而随着端侧AI产品的快速增长，运用于端侧、边缘侧的AI算力芯片NPU（神经网络处理单元）或将逐步起量。
NPU能够更高效率、更低能耗地处理人工神经网络、随机森林等机器学习算法和深度学习模型，被认为是更适宜边缘侧、端侧的处理器，与GPU、CPU共同构成当前的AI打算底座。

端侧AI运用加速落地

2023年，云端大模型开始在行业层面展开运用，但智能终端如手机、PC、汽车等AIoT设备，无疑是通用人工智能更广泛的运用载体和场景。

海内AI算力公司爱芯元智创始人、董事长仇肖莘近日在2024天下人工智能大会“芯领未来丨智能芯片及多模态大模型论坛”上表示，“大模型要想真正落地，一定是落到云边端三级结合的办法，一定要真正落到与日常生活息息相关的硬件设备里。
”

此前，商汤（00020.HK）曾在2023年年报中表示，2024年将是端侧大模型运用的爆发之年。
商汤联合创始人、首席科学家王晓刚阐明称，本钱、数据传输延迟、数据安全与隐私等几个主要问题，都可以通过端侧AI或云端结合来办理。

“凭借在本钱、隐私、延时性、可靠性等方面的上风，端侧AI发展会成为环球趋势，这也意味着大模型正式进入了轻量化时期。
”大模型厂商北京面壁智能科技有限任务公司（简称面壁智能）副总裁贾超也在上述论坛上表示。

事实上，在2024年上半年，端侧AI运用已加速落地。
苹果在2024年WWDC发布会聚焦Apple Intelligence，公布了其运用在端侧AI的系列产品，端侧+隐私的技能处理办法得到市场认同；安卓系列手机运用AI化也在持续推进，模型侧各厂商均推出自主研发的边缘端模型产品，如VIVO蓝心大模型、OPPO安第斯大模型等。

根据Counterpoint Research，2024年一季度，环球具备GenAI功能的手机市占率提升至6%，较上季度1.3%大幅提升，AI功能手机渗透率持续提升。

“在中国做家当每每须要规模化，这就须要对付本钱和运用的全流程进行充分考量。
目前海内智能设备有几十亿（台），比如智好手机、智能眼镜、智能音箱、智能电视、智能车舱等，如果都接上大模型，就能实现运用边际本钱的大幅降落。
”商汤COO骆静日前在接管第一财经专访时表示，中国市场的先天上风在于大众对付人工智能的认知和接管度较高，随意马虎接管AI产品，而产品一旦落地就会快速推开。
“估量端侧AI产品明年上半年就会开始快速推广。
”

NPU更适宜端侧、边缘侧支配

“大模型支配到端侧时，对芯片的算力、存储、数据传输都有明确哀求，哀求这些芯片能更好地支持Transformer、Diffusion等架构。
”王晓刚表示。

比较于在云端用GPU支配Transformer大模型，在边缘侧、端侧支配Transformer的最大寻衅来自于功耗。
因此在端侧和边缘侧，GPU并非最得当的架构。

“找到适宜的端侧芯片和模型来做事端侧、边缘侧场景将是未来一个主要的方向。
”骆静见告第一财经。

贾超在上述论坛上表示，企业开拓端侧大模型须要算法侧和芯片侧的“双向奔赴”，端侧模型用端侧芯片，在用户场景上高效落地，才能给用户带来最极致的体验。

“Transformer是现在所有大模型的根本，它本身的根本架构也是固定的，在这种根本最原子层架构固定的情形下，DSA架构是比GPU更优的架构。
对付AI推理芯片，尤其是在边缘侧、端侧支配的推理芯片来说，DSA架构芯片的运算效率、能量花费优于GPU。
”仇肖莘表示。

NPU便是基于DSA领域专用架构技能的处理器，它采取“数据驱动并行打算”的架构，在电路层仿照人类神经元和突触，特殊善于处理***、图像类的海量多媒体数据。

差异于CPU、GPU所遵照的冯诺依曼架构，NPU能够通过突触权重实现存储打算一体化，提高运行效率，因此比GPU更善于推理，且NPU芯片设计逻辑更为大略，在处理推理事情负载时具有显著的能耗节约上风，因此NPU可以作为在AI打算效率和功耗之间的平衡方案。

“NPU跟CPU、GPU一样，都是全体打算架构的一部分，是打算架构里边异构的处理器，用以实现不同的功能。
GPU原来是专门为图形渲染做的，更像是张量打算利用的一个处理器，而NPU更像是一个原生的AI打算处理器，CPU则是其余一个处理器，这三个处理器加起来构成了AI的一个打算底座。
”仇肖莘在接管第一财经专访时表示，“实际上，NPU在GPU的根本上更近了一步，它的灵巧性不如GPU，但它的好处是能效比非常高，更适宜边缘侧、端侧。
”

NPU渗透率提升，本钱是关键

NPU适宜广泛支配在端侧、边缘侧的主要缘故原由，也在于端侧与边缘侧须要性价比，须要在本钱可控的条件下供应AI能力。
仇肖莘认为，如何以低本钱的NPU去实现AI的代价，是实现AI普惠的关键。

“现在自动驾驶很火热，但一个显而易见的问题是，到底有多少车能够用得起这个功能？如果一套办理方案花费在1万元公民币，可能10万元以下的车就用不起；如果能够把它的全体本钱降到5000元以下，或者3000元，占整车本钱的比例就会低很多，遍及也会更快一些。
”仇肖莘称，现在有一些高端手机和新出的AIPC已经搭载了NPU，但价格确实比较贵，要把NPU的本钱降下来，须要达成规模效应，现在量没有起来确实很难贬价。

仇肖莘认为，从今年开始，NPU的需求，或者说端侧AI芯片的需求会是一个快速上涨的趋势。
“从我们自己客户的需求来看，他们的预测都会比原来更高。
”

(本文来自第一财经)