您所在的位置：首页 - 教育 - 正文教育
寻找端侧大脑岩芯数智要让每台设备拥有智能
admin
08-09
【教育】
400人已围观
摘要IT时报记者孙妍今年被认为是端侧AI元年，AI手机、AIPC、AI机器人不断涌现。在2024世界人工智能大会（WAIC）上，一个像人一样有着高情商的多模态机器人引人注目，“我看到了一位打扮时尚的小姐姐，她好像在参加一场名叫WAIC的大型展会。”接着走了四步就作了一首以枫叶为主题的诗，简直是“四步成诗”的大诗人。它是来自岩芯数智RockAI，搭载树莓派5代芯片的“小智”，在极低算力设备上实现了多模态能力，即便断网也能继续执行任务。如何在手机、电脑、机器人等设备上，让端侧AI“大脑”驱动最低算力，实
IT时报记者孙妍
今年被认为是端侧AI元年，AI手机、AIPC、AI机器人不断涌现。
在2024世界人工智能大会（WAIC）上，一个像人一样有着高情商的多模态机器人引人注目，“我看到了一位打扮时尚的小姐姐，她好像在参加一场名叫WAIC的大型展会。”接着走了四步就作了一首以枫叶为主题的诗，简直是“四步成诗”的大诗人。它是来自岩芯数智RockAI，搭载树莓派5代芯片的“小智”，在极低算力设备上实现了多模态能力，即便断网也能继续执行任务。
如何在手机、电脑、机器人等设备上，让端侧AI“大脑”驱动最低算力，实现像人一样阅读、交流，并不断自主学习和成长？岩芯数智RockAI给出了一个答案，今年初，岩芯数智RockAI发布了Yan1.0云端大模型，而“小智”的大脑已经进化到Yan1.2大模型，具备了语音和视觉处理能力，能准确理解用户的模糊指令和意图，并据此控制其机械躯体完成各类复杂任务。
端侧AI告别“一次性”
端侧AI指在终端设备上直接运行和处理人工智能算法的技术，可以直接利用设备的计算能力处理数据，不需要将数据发到云端或服务器进行处理，无论网络环境如何都能及时响应，降低云端算力的成本，也能更好保障数据安全。
如何把大模型“蒸馏”后塞进PC或手机？传统轻量化部署往往以性能损失为代价，AIPC就是将大模型通过量化压缩部署到个人电脑，70亿参数的大模型还需额外定制PC芯片提供算力。而此前在微型电脑主板树莓派5上打出“1.89tokens每秒速度运行、支持8K上下文窗口”战绩的Llama38B，同样止步于“有损压缩”。压缩后的模型不仅性能大打折扣，还会失去再训练、再学习的能力，成为无法定时更新底层知识的“一次性AI”。
Yan1.2大模型已无损跑通树莓派，原生无损地以超6tokens/s的速度运行于树莓派上，并在这个体积仅有信用卡大小的芯片上实现多模态能力，不仅能“听说读”，还可识别模糊指令，进行学习、创作及互动。关键是树莓派的算力只有普通电脑的八分之一，可用于物联网、工业自动化、智能家居等场景，搭载在门禁、机器人等终端上，而且大部分时间没有联网。
而是手机、PC、机器人等搭载主流消费级CPU的端侧设备上，能实现每秒超20tokens原生无损地输出，这主要得益于对大模型基础架构的“破坏式”创新。
今年1月，岩芯数智RockAI发布国内首个非Transformer的Yan架构大模型时，行业内仍有质疑的声音。但半年过后，行业开始发现，Transformer的确不是大模型的最终答案。Yan架构大模型通过替换Attention机制，将计算复杂度将为线性，大幅降低算力需求，用百亿级参数达成千亿参数大模型的性能效果。
而在算法侧，RockAI采用了基于仿生神经元驱动的选择算法，实现了类脑分区激活的工作机制（比如开车和写字会激活人脑不同的区域），使大模型可以根据学习的类型和知识的范围分区激活，大幅减少了数据训练量。
让每个设备都拥有主动学习的“AI大脑”
历经了卷参数、卷市场的阶段，大模型当下正集中于一个“卷智能”的时代，因此，让大模型无损跑通更多低算力设备只是第一步，接下来就要思考如何提高端侧大模型的知识密度、智能密度。RockAICEO刘凡平表示，在实现通用人工智能的同时，应将AI与每个人独特的地方结合在一起，模型具备自主学习能力，让每个设备都拥有个性化的智能。
以往，大模型的开发是通过预训练和后期的微调对齐，在通用场景使用绰绰有余，但换一个没有经过预训练的工作场景，Transformer大模型往往要先经过1-2个月去把原有数据清掉后，再进行重新训练并投入使用，无论从算力、时间还是经济成本，对企业而言都“难以接受”。
如何让大模型像人一样实时学习？RockAI团队展示了“同步学习”机制的实验室示例，据展台工作人员介绍，该机制已处于实验室最后验证阶段，试图能更低代价更新神经网络，实现对现有知识体系的快速更新，辅以模型分区激活降低功耗、实现部分更新，使大模型像人类学习一样建立自己的知识体系，在推理同时进行之时更新与学习，实现边跑边进化，无需像云端大模型一样“返厂”更新或预训练。
“我们认为大模型未来的市场是不是toC，也不是toB，寻找端侧大脑岩芯数智要让每台设备拥有智能而是toD，也就是设备端”RockAI展台工作人员对《IT时报》记者表示，下一步，RockAI计划基于Yan模型打造通用人工智能操作系统，也就是1.0时提出的全模态实时人机交互系统，并以此搭建诸如群体智能等多样交互的人工智能生态。
“让每一台设备都拥有自己的智能，让每个人都能拥有专属的个性化人工智能服务。”刘凡平表示。
Tags： 寻找端侧大脑岩芯数智要让每台设备拥有智能
上一篇： 旗舰没了~荣耀外观公布八边形潜望长焦
