RockAI CMO 邹佳思：端侧智能怎样经由过程「原生影象」与「自立进修」，完成从东西迈向伙伴的人机瓜葛丨GAIR 2025 导语：当Transformer走到终点，面临的是参数及范围的极限，端侧群体智能也许是AI成长的另外一条前途。

12月12日，第八届 GAIR 全世界人工智能与呆板人年夜会在深圳正式拉开帷幕。

本次年夜会为期两天，由GAIR研究院与雷峰网结合主理，大作院士任引导委员会主席，杨强院士与朱晓蕊传授任年夜会主席。

作为AI产学研投界标杆嘉会，GAIR自2016年开办以来，始终苦守“传承+立异”内核，是AI学界思惟接力的阵地、技能交流的平台，更是中国AI四十年成长的精力家园。已往四年年夜模子驱动AI财产加快厘革，岁末年头GAIR践约所致，以高质量不雅点碰撞，为行业与公共出现AI时代的前沿洞见。

本次峰会之上，RockAI CMO邹佳思以“挣脱Transformer的束厄局促，让智能从头界说硬件”为主题，为参会者们带来了一场出色纷呈的演讲。

邹佳思经由过程提出一个糊口场景的假定作为开场，描绘了一幅充实开发轫侧智能后的一样平常糊口图景。于假想中，家庭场景中智能装备的联动无需云端介入。如回家后装备主动完成放音乐、加热水、拉窗帘、定闹钟、点早饭等操作，这一系列动作，经由过程于终端装备长进行当地私有化部署的人工智能模子，实现了场景装备间的智能互联，邹佳思将其称之为“端侧智能”。他还有夸大，端侧智能并不是等在云端年夜模子的小参数版本。

邹佳思注释称，比起云端智能，利用端侧智能来实现很多糊口场景的智能化是更好的选择。省去云真个介入于答应模子越发个性化的同时，还有防止了利用云端可能带来的小我私家隐私和成本问题。他认为，此刻主流“为云端模子Token付费是一种过错的理念，天天全球的Token耗损到达万亿以上，而此中至少有50%是被华侈失的”。

邹佳思认可，从云端迈向端侧智能的历程中，还有有很多挑战存于，包括算力、内存等硬件资源受限，实用性要求较高，以和缺乏自立进修能力等方面。但他认为，一味的堆算力实在抹杀了立异，而人工智能的开发就像人类，“各人的智力程度可能都差未几，很高很低的都很少，但就是这么一群智商上面差未几的人，咱们堆积于一路，可以造火箭，可以造AI，可是单小我私家是干不可这些工作的。”

是以RockAI致力在以非Transformer架构的模子，开发装备端侧的智能装备，其焦点于在使AI拥有原生影象及自立进修的能力，进而终极到达“群体智能”的生态情况。

邹佳思指出，端侧智能的发展于在其自立进化，从“固定东西”到“连续进修”，并从“周期更新”的模式改变为“即时发展”，让年夜模子再也不“灭亡”在部署。

如下是邹佳思的现场演讲内容，雷峰网(公家号：雷峰网)作了不转变原意的编纂和收拾：

各人好，今天我想切磋一个与各人糊口紧密亲密相干的主题——装备真个智能。

假想如许一个场景：于竣事一天的事情后，我倍感疲劳，晚上十点回抵家。此时我所期待的应该是，推开门时说一句“今天事情很累，想洗个澡马上歇息，明早七点还有需夙起”，家中装备能自立启动一系列操作——例如播放一首悠扬的音乐放松表情、热水器最先加热、窗帘主动拉合、设定明早六点的闹钟，甚至预订好六点半的早饭。这般情形并不是幻想，它实在是可以实现的，并且咱们估计将于不久后成为实际。

然而这里存于一个问题：于整个装备联动的历程中，是否真的需要云端介入？没关系想象一些详细情境，例如当我走进浴室时，我但愿热水即刻流出，但毫不想某个云端模子看到我正于沐浴、进入浴室或者卧室——如许的画面很诡异。现实上，这些操作彻底可以依靠装备之间的当地联动来完成，无需任何云端参与。

那为何会呈现云端模子？咱们认为，当前按Token付费的云端模子模式是一种过错的理念。如今全世界云端模子逐日耗损的Token总量已经达万亿甚至百万亿级别。于这重大的耗损中，毕竟有几多是真正有用或者值患上的？

再举一个简朴例子：假定我对于着手机说“给隔邻老王发送一条生日祝愿短信”。假如是云真个模子，履行这个指令的流程是：这段语音需先传输至云端模子，由云端解析为文字，再交由年夜模子处置惩罚并转换为指令，传回当地手机后打开当地运用，可见此链路很是繁杂很是绕远。技能寻求简朴，简朴即真谛，是以咱们判定，至少有50%的Token现实是被华侈的。

包括以前说起的家居场景，实在阿谁场景可能彻底无需云端介入。正因云云，咱们更存眷端侧智能的成长。事实上，端侧智能本年已经引起广泛存眷，浩繁公司最先于此范畴发力，年夜模子也逐渐从云端向端侧延长。有动静称，OpenAI来岁或者将发布自有硬件，并与模子联合，甚至传言将练习小参数的模子直接部署在装备端。因而可知，端侧人工智能确凿于连续演进。

但端侧智能一样面对诸多挑战，包括及时性、功耗以和有限的计较资源，特别是硬件方面的限定。此中一个焦点问题于在端侧的进修能力。由于每一台装备——不管是手机、PC还有是穿着装备——都具备高度个性化特性。正由于高度个性化，包罗年夜量小我私家私有数据，模子若要理解这类个性化并与用户切近，就必需具有进修能力。不然，现行“预练习-数据压缩-部署至装备”的模式，将象征着模子掉去了发展性。特别于量化历程中，模子经量化后进修能力会进一步削弱，而反量化的成本又十分昂扬。

当单个装备变患上充足智能，咱们身旁又拥有浩繁装备——家居场景中的、随身穿着的、事情情况内的——假如这些装备可以或许彼此联动，是否会催生另外一种形态的智能？就像人类，每一个人的技术标的目的各别，但智力程度年夜多相近，极高或者极低者均属少数。恰是如许一群智力相仿的人堆积协作，能造出火箭、开发AI，这是单一个别难以完成的工作。

回到技能线路。当前年夜模子的成长仍以Transformer架构为主导。已往几年，核心多集中在范围化练习——依靠更大都据、更年夜算力、更高人材密度，以打造更强盛、更万能的模子。暂且岂论这般投入是否存有泡沫，现实上，算力的增加正于抹杀立异，也令很多小团队掉去时机。今朝海内外年夜模子厂商基本都于拼资源。假如所有介入者都需要云云重大的资源，立异将从何而来？当各人于统一条门路上愈行愈远，真实的问题于在：模子是否必需充足年夜？数据是否必需海量？我小我私家也许不曾读过上千本书，但这其实不故障我今天于此分享不雅点，也没关系碍我从事AI行业。我一定没有一个年夜模子晓得多，它可能已经遍览所有的册本与资料，但人类的进化与事情方式并不是云云。

此刻的云端模子还有可经由过程于线检索等方式获取及时常识，但依靠搜刮来实现这一功效自己已经显不足。是以咱们认为，静态的函数压缩式智能难以降生真实的智能。

第二个问题是：更多参数是否象征着更强智能？咱们认为参数目的扩展仅是扩大了函数空间的容量，实现了常识的压缩与流传，并未真正创造常识。

关在影象，今朝很多年夜模子厂商也于切磋影象功效，但现有方案多经由过程RAG、数据库或者上下文等方式实现。这类方式比如借助条记本记载数据，却没有真正进入模子的年夜脑。

是以对于在将来的智能硬件而言，咱们认为最主要的于在原生影象与自立进修能力。影象可分为多个维度，包括形态影象与常识影象。形态影象手印型记住一串数字、一个德律风号码或者银行卡号；常识影象则差别，它并不是详细数字，而是经年夜脑转化后形成的常识，例如我正于输出的不雅点。

更高一层是影象所组成的世界不雅。犹如人类三不雅的形成，它其实不是靠他人于某一天告诉你“应该成为如何的人”，而是经由过程持久影象与进修慢慢构建的价值不雅。若模子仅有外部接入的影象，或者自身缺少影象能力，那末所谓的模子个性化和后续进化险些都难以实现。

除了了影象，装备端与云真个一年夜差异于在装备端具备部署属性。也许有人质疑：装备端也能够联网，那末接入云端模子是否也能实现不异的功效？以人脸辨认为例：初期人脸辨认多于云端完成，如今却险些全数移至装备端。这不仅是时延与隐私的考量，也触及成本问题。

是以咱们认为，年夜模子的成长标的目的应从固定东西转向连续进修，从每一三月或者半年更新一次的常识库，改变为可以或许及时发展的体系。

这是咱们RockAI开发的非Transformer架构Yan年夜模子，其重要特色包括两项焦点技能：一是影象模块，二是选择激活机制。影象模块被内置于模子架构中，能更精准地节制细密度，从而于进修时，更新参数的权重会具备更正确的靶点靶向。

经由过程这张对于比表可以看出，非Transformer架构于多项指标上与Transformer架构模子效果差异不年夜。固然Transformer于某些指标上仍优在咱们，是以咱们另有晋升空间。但于整体成长标的目的上，非Transformer架构应该据有一席之地。

这里做一个简短演示（本年世界人工智能年夜会也曾经现场展示）：把模子部署得手机上，经由过程手机进修某些观点、动作或者常识，进而批示呆板狗完成指定使命。

从视频可以看出，端侧模子于很多情境下具有很强的理解能力。它可以或许从非装备本体的动作中抽象出观点，进而组合装备的原子能力并从头编排，以复现该动作。

此类运用场景素质上十分广泛。例如：一名白叟对于空调说“我的小孙子天天下战书三点踢完足球回家时满头年夜汗，不要对于着他吹风，同时将温度调至28度以上。”这整段话是一个完备诉求，白叟但愿空调于检测到小孩子进门时主动履行该指令。该指令素质上涵盖多层技能，包括模子理解、图象理解以和影象能力——模子需记住诉求，并于每一次孩子回来时反复履行，这是真正可落地的运用。

咱们认为当前很多硬件仍处在偏静态的阶段，即即是一些小型装备终端，特别像AI玩具，其素质仍因此玩具为主体，只是挂载了接入云端模子的AI功效，AI并未真正融入装备本体。

是以它的AI功效并没有素质上的差异化。对于小伴侣来讲，它没法孕育发生陪伴感，由于模子不具有感情反馈，不克不及随利用者进修，也没法理解情绪表达的差异——例如上一次与这一次不开心有甚么差别，也没法理解你指望它做些甚么。

而当AI具有原生影象与自立进修能力后，咱们认为不仅Token收费模式将闭幕，整个装备端也会愈加个性化、富有感情且更相识用户。届时，软件与硬件方能实现真正交融。

咱们认为，优异的AI硬件应是让人感触感染不到AI的存于——正如如今人们过闸机时，不会心识到暗地里有强盛的人脸辨认于运作，只感觉它天然解决了问题。但当前很多装备，包括云端办事器和运用，仍让人强烈感知到“这是一个AI”。咱们间隔真实的AI普和以致AGI仍有鸿沟需要超过。只有当各人再也不察觉AI存于时，才象征着AI真正融入了一样平常糊口。

RockAI今朝重要聚焦在消费电子类装备，包括平板、PC、呆板人等标的目的。这里有一个比力典型的案例可供参考，这个能力现已经运用在多款呆板人。

固然，该模子撑持的模态仍有限，间隔理解更多模态还有有很长的路要走。咱们也熟悉到当前模子于数据与模态理解等方面面对的困境，但这件事值患上投入。至少咱们信赖，本身正走于准确的门路上。

这张图包罗的内容许多，但其焦点想表达的是“群体智能”这四个字。这是咱们公司以和学界部门专家认为更具可行性、标的目的更明确的一条路径。咱们不确定一个拥有十几万亿参数的模子将来可否成为周全的“六边形兵士”，但天然界已经给了咱们很多启迪——好比人类及动物的群体协作。

回首最初所举的例子，此中80%的问题也许彻底可以由装备间协作解决。终极落实到一样平常糊口，咱们假想的将来将是云端与装备端相联合、按比例分配协作的模式。

咱们仍旧期待装备间可以或许互联，终极实现群体智能，让装备互联涌现出一种新的智能形态。当Transformer门路抵达终点，面对参数与范围的极限时，咱们坚信需要于架构上立异，而非仅于现有路径上不停聚集数据与算力，由于那也许是一条不归路。国度层面与全世界经济因素暂且岂论，仅从技能角度出发，新的线路亟待呈现。

感激列位，我今天的分享就到这里。

下面是于演讲以后，针对于讲座的问答环节

问：对于在端侧智能是必然要用非 transformer 架构做吗？

邹佳思：这个也纷歧定，咱们是感觉于线路上最最少是应该百花齐放的，由于单一的架构，各人实在也看到许多问题，好比算力、数据、还有有超高的人材密度，这些实在是显而易见的问题。还有有像端侧落地的模子怎么变小，模子怎么能跑患上起来？这些是架构层面存于的问题。既然有问题，必定有对于应的新的方式去解决，只不外咱们是走了一个新的方式罢了。此刻看不出来哪一个线路能走到末了，可是多一条线路，多一个选择，多一些可能性。

问：为何选择此刻Yan架构的这个线路？

邹佳思：实在初期的时辰重要还有是由于装备上资源的限定，咱们从2021年最先做的时辰，实在其时的装备比此刻的许多算力资源还有要低。纵然是Transformer架构的3B模子于其时也跑不起来，但咱们其实不想等产物进化到满意前提后再来做这件工作。以是咱们一直于做新的测验考试，一直试到2024年，许多的方案咱们都申请了专利，虽然这些方案都掉败了，可是于测验考试的历程中，末了试出来此刻Yan模子的方案。咱们从2024年1月份Yan 1.0的发布到Yan 1.3，整个模子能贸易化、能不变运行，实在也走了差未几一年的时间。

问：假如我用了端侧模子，这个装备会不会不敷智能了？小爱同窗这类AI也是于云真个，假如把它部署于那末一个小盒子上，它的成本是否是就会很年夜，或者者小爱同窗就不是那末智慧的AI了。

邹佳思：咱们做装备端有一个很主要的点是它是跟场景挂钩的，云真个模子各人可能会更偏向在它是一个六边形兵士，就是它甚么都能干，可一旦到了装备端之后它必然是有倾向的，各人许多的场所也都于讲，说这个落地必然要垂直。

而装备端它有典型的场景限定，就是说我不会用一个手机，或者者用一个简朴的装备干所有的工作。对于在这个工作，一旦你走到垂直范畴的时辰，实在模子真个差异可能就不会那末年夜。可能你要解决的就是其他问题，好比说功耗，好比说对于硬件的需求。

适才咱们也有一页PPT展示了与其他模子的对于比，虽然可能不那末权势巨子，但还有是能看出来一些眉目，就是好比一个小参数的3B模子，可能它能到达没有做过优化的8B模子甚至更高的模子的效果，并且这个工作于许多MIT的论文内里已经经论证过了，就是模子参数很年夜，但于解决现实场景的时辰，许多参数实在也是华侈。以前有一篇尤其成心思的论文就是关在一个百亿参数的模子，把许多参数都给剪裁失，或者者是给 mark失，可是发明做使命的效果实在是同样的，以是于必然水平上注释了这个工作。

不外一个3B的模子要跟一个万亿的参数去比，这必定是有差距的，可是就要看这个模子现实场景能解决哪些问题。就像此刻智能家居的这个场景，假如所有的装备上都布了一个3B的模子，那它就能帮你解决许多糊口内里你需要去做的工作。

讲座完备视频，详见链接：https://youtu.be/-zosrLdozQI

雷峰网原创文章，未经授权禁止转载。详情见转载须知。