1月24日,岩芯数智正式发布了海内首个非Attention机制的通用自然措辞大模型——Yan模型。
作为行业内少有的非Transformer大模型,Yan模型用全新自研的“Yan架构”代替Transformer架构,用百亿级参数达成千亿参数大模型的性能效果,实现了影象能力、速率和推理吞吐量等多方面的提升。

从卷参数到卷应用岩芯数智自研大年夜模型要做人工智能根本举动办法_模子_架构 云服务

发布会上,岩芯数智CEO刘凡平表示:“我们期望Yan架构可作为人工智能领域的根本举动步伐,并以此建立AI领域的开拓者生态,终极让任何人在任何设备上都能利用通用大模型,获取更加经济、便捷、安全的AI做事,推动构建普惠的人工智能未来。

在Transformer已霸占人工智能领域半壁江山确当下,为何岩芯数智会选择自主研发Yan架构?岩芯数智CEO刘凡平阐明称,核心源于行业对付高效能、低能耗AI大模型的需求正不断增长。

在刘凡平看来,Transformer作为GPT、LLAMA、PaLM等大模型的根本架构,虽然已经取得了显著的成功,在实际运用中的高算力和高本钱,让不少中小型企业望而生畏。
其内部架构的繁芜性,让决策过程难以阐明;长序列处理困难和无法掌握的幻觉问题也限定了大模型在某些关键领域和分外场景的广泛运用。

中国信通院上海工创中央总工程师李韩军同样表示:“人工智能发展至今,大模型的架构升级始终在不断进化,在技能与运用的双重驱动下,生态边界也在扩展。
可以说,每一次技能上的打破,都会带来智能生态的发展。
从当前着眼通用性,到未来的个性化发展,我们期待行业生发更多新的生产力工具,引发新一轮技能革命,推动全体AI行业向更加高效和可持续的方向发展。

一方面,在Attention机制下,现有架构的调度险些已经达到瓶颈;另一方面,岩芯数智更期望降落企业对大模型的利用门槛,让大模型在更少的数据、更低的算力下具备更强的性能,以运用于更广泛的业务。

从岩芯数智给出的比拟结果来看,在同等资源条件下,Yan架构的模型,演习效率和推理吞吐量分别是Transformer架构的7倍及5倍,并使影象能力得到3倍提升。
比拟数据表明,在单张4090 24G显卡上,当模型输出token的长度超出2600时,Transformer的模型会涌现显存不敷,而Yan模型的显存利用始终稳定在14G旁边,理论上能够实现无限长度的推理。

除了在技能上的打破创新,Yan模型也同时具备了私密化、经济化、精准化和实时性、专业性、通用性等六大精良商业化落地能力。

事实上,大模型竞赛已经从“卷参数”的时期过渡到了“卷运用”的阶段,详细的场景和运用作为大模型创造代价的载体,常常面临着跨行业、跨领域的诸多难点。

如在汽车行业的客户做事中,须要处理技能性和专业性问题,涉及企业的专有知识和合规性哀求;而在金融行业中,则每每更多须要适配客户做事与营销场景。
这也意味着,行业对付通用大模型的需求亟待办理,故而许多大模型会通过剪枝、压缩等主流技能手段来实现在设备上的运行。

比拟来看,Yan模型100%支持私有化支配运用,不经裁剪和压缩即可在主流消费级CPU等端侧设备上无损运行,达到其他模型在GPU上的运行效果。
这一点在这次发布会上也得到了印证,研究职员现场展示了Yan模型在个人电脑真个运行推理,下阶段有望在手机端等更加便携的设备或终端中进行无损支配。

从岩芯数智对付商业化的布局来看,通用机器人,将成为其未来发展的关键一环。

据悉,现阶段岩芯数智商业化的重点紧张在于本地化运用和支配,知足客户对付数据隐私、安全及低本钱支配上的需求。
面向B端客户,打造基于Yan架构的专业生产力工具,实现端侧演习、训推一体。
未来,Yan 2.0将会以“全模态实时人机交互系统”全面打通感知、认知、决策与行动,构建通用人工智能的智能循环,同时让2.0在更广泛的设备中运用,为通用机器人等具身智能方向的研究供应大模型根本底座的更多选择。

岩芯数智董事长陈代千也在发布会上表示:“随着Yan模型的进一步落地和运用,期待以Yan架构为根本的通用大模型,为各种机器人、嵌入式设备、物联网设备供应所需的智能化能力,能为人工智能行业注入新的活力、新的思路,新的可能,为企业和用户创造更多的代价。
也用我们的力量,参与推动人工智能领域新一轮的技能变革。

南都 于典 发自上海