2024中国生成式AI大会于12月5日在上海盛大启幕，以“智能跃进创造无限”为主题的会议吸引了众多行业专家参加。在这场重磅活动中，RockAI的首席技术官杨华发表了题为《非Transformer架构大模型Yan在端侧的实践》的主题演讲，深入探讨了生成式AI在终端设备上所面临的挑战。
演讲中，杨华特别指出，尽管Transformer架构在大模型开发领域取得了显著成功，特别是在自然语言处理方面，但其在计算和内存消耗上的缺陷正促使业界重新审视其可持续发展性。针对这一现状，RockAI提出了一种全新的非Transformer架构大模型——Yan。这个模型的技术核心包含两大创新：类脑激活机制和MCSD（多通道选择性激活设计）。
类脑激活机制的灵感来源于人脑神经元的工作原理，旨在大幅减少计算冗余，从而提升计算效率和精度。而MCSD则在模型训练期间，充分利用GPU的并行计算能力，从而解决内存消耗逐渐增加的问题。这两项技术的结合，使得Yan架构在手机、电脑及其他边缘设备上均具有卓越的应用性能。
在此次大会上，杨华详细介绍了Yan架构的多模态应用前景。与当前大多数模型聚焦于单一模态不同，Yan-Omni多模态模型则兼顾了文本、声音、图像和视频等多种输入形式，具备强大的指令跟随能力。例如，当用户通过语音提问时，模型不仅能够生成文本响应，还能以声音形式进行回复，展现出其独特的交互能力。
此外，RockAI还展示了Yan架构在不同设备上的本地化部署能力。在低算力的树莓派上，Yan架构的推理表现也相当出色，吞吐量可达到每秒7个token，在中低算力手机上则可高达20个token每秒，足以支撑复杂场景下的智能交互。
在无人机等场景应用中，Yan架构不仅能够进行环境感知，还可执行多项任务，如巡航点的高度调整与垃圾溢出检测等，无疑为相关行业带来了新的技术红利。
RockAI的愿景是迈向群体智能，让每一个部署有Yan架构的智能终端都具备自主学习能力，这也成为其追求AGI（通用人工智能）的可能路径。而通过兼容多种终端设备、实现实时互动和自主学习，RockAI正在引领生成式AI的未来，构建一个具有广泛适应性的智能生态圈。
预计在未来，随着Yan架构的广泛应用，RockAI将推动生成式AI在更多领域的变革，真正实现智能的自主演变与集体提升。