后摩智能推出边端大年夜模型AI芯片M30赋能多场景智能化_加快卡_芯片
近日,后摩智能推出基于存算一体架构的边端大模型AI芯片——后摩漫界™️M30,最高算力100TOPS,范例功耗12W。为了进一步提升支配的便捷性,后摩智能同步推出了基于M30芯片的智算模组(SoM)和力谋®️AI加速卡。
随着AI大模型支配需求从云端迅速向端侧和边缘侧设备迁移,AI芯片的性能、功耗和相应速率面临前所未有的寻衅。后摩漫界™️M30芯片兼具高性能与低功耗特性,可知足边端侧大模型支配对高效率和实时性的严苛哀求。
M30是一款通用的边端大模型AI芯片,能够支持多种大模型,包括但不限于ChatGLM、Llama2、通义千问等。以Qwen1.5-7B-Chat为例,M30的运行性能可达15-20 Tokens/s。
基于M30芯片的智算模组(SoM)支持PCIe EP模式,以其小巧的体积、强劲的性能和极低的功耗,成为小型扮装备和功耗敏感嵌入式场景的空想选择。此外,基于M30芯片的力谋®️AI加速卡作为标准的半高半长PCIe加速卡,能在PC、一体机和做事器中实现快速支配,支持主动散热和被动散热两种模式,确保设备在不同环境下的稳定运行。
后摩漫界™️M30将以“+AI”的办法,为传统的端侧和边缘侧设备注入强大的大模型能力,现已成功适配包括X86、ARM在内的多种主流处理器,可广泛运用于AI PC、边缘AI一体机、智能座舱、商用显示、智能领悟网关,NAS(网络附加存储)等领域,为AI技能在更多领域的深入运用注入强大动力。
本文系作者个人观点,不代表本站立场,转载请注明出处!