Intel 4004

Intel i9-13900K

在2023年的科技领域，无论是桌面还是移动处理器，它们都已经开始步入了AI的新纪元。
自OpenAI的ChatGPT引发了AI技能的爆发性增长后，AI已经成为了2023年环球科技界的主宰主题。
位于科技漩涡中央的处理器市场自然也受到了这股风潮的影响。

图片源自于互联网

下半年以来，各大处理器品牌都开始动手布局AI产品线。
NVIDIA以其无可匹敌的地位推出了H800和A800等专业AI打算加速卡。
而在消费级桌面端市场，Intel和AMD也不甘示弱，Intel操持在其第14代处理器Meteor Lake中首次集成AI加速引擎（NPU），而AMD在2023年发布的7040系列处理器中集成了AMD Ryzen AI引擎，这是一款专门用于神经网络AI运算的处理单元，最高可实现每秒十万亿次的AI运算。

点击查看

在移动设备领域，高通和联发科也将AI打算能力作为其年度旗舰芯片的重点宣扬工具。
苹果的A17pro和M3也在持续优化其NPU架构和增加神经引擎的核心数量，以期在苹果未来的AI生态中发挥出更大的浸染。
这些新动态都预示着，AI技能不仅正在颠覆我们的生活，更在深度重塑环球的科技格局。

骁龙8Gen3官方宣扬资料

当前AI在桌面端上的表现我们有目共睹，LLMs与SDXL为首的运用正在对多个行业产生着重要冲击，而移动端侧仿佛在2023Q4也开始了“春秋之战”。
那事实上，移动端侧的AI打算能力到底如何了呢？作为普通消费者是否对移动端本地化AI打算有所需求呢？

1.7B、10B、13B参数AI模型，这个B是个什么玩意？

AI天生-Midjourney

相信很多小伙伴都看到“高和联”两家旗舰芯片的宣发时都会把稳到，他们都将成功运行XXB（多少亿）参数AI大措辞模型的字眼作为营销重点。

图片源自于互联网

那么这个B或者说参数量级是什么意思？在AI模型领域，\"大众B\"大众 常日代表 \"大众billion\"大众，也便是十亿，它指的是模型参数的数量。
例如，\"大众LLama-2-7B\"大众 中的 \"大众7B\"大众 意味着这个模型有大约70亿个参数。

Meta开拓的LLama-2-7B模型，做事于移动设备或低功耗PC

参数数量是衡量模型繁芜度的一个主要指标。
一样平常来说，参数越多，模型的繁芜度越高，对数据的拟合能力越强。
大略说，这个数字很是关键，常日情形下，参数越多，模型的处理能力和理解繁芜性越强，但也须要更多的打算资源。

丰富的模型参数数量犹如给一位厨师以丰富的食材质料

AI天生-Midjourney

2.那参数量越大越好吗？

不见得，在某些情形下，特化的小模型可能在特界说务或场景上表现得频年夜模型更好。
这是由于小模型可以更好地针对特定的任务进行优化，而大模型可能在考试测验适应更广泛的任务时失落去了一些特定性。

例如，假设我正在开拓一款专注于美容美颜主题的AI大措辞模型。
我网络了所有关于美容养颜的网络资料，终极模型的参数量达到了30亿（3B）。
只管参数量较小，但模型能够更精确地针对特界说务进行优化，有效避免过拟合问题。
同时，模型可以专注于与特界说务干系的特色，无需学习大型模型中的无关特色。
比较之下，这种专注性使得小型模型在某些方面超越了参数量为30B或50B的通用大型模型。

AI天生-Midjourney

从某开源AI模型的测试成绩中，我们也可以看到这一点。
在这次测试中，LLaMA2-13B模型的子项分数和均匀分数均优于Aquila2-34B模型。

图片源自于互联网

3.主流的AI大措辞模型的参数量是多少？

以我们熟知的ChatGPT为例，其GPT-3.5版本（于2022年12月发布）拥有1750亿（175B）参数。
而目前我们最常用、最熟习的GPT-4在完全的120层模型中拥有18000亿（1800B）参数。
另一个表现出色的模型，Claude 2，其参数量为1300亿（130B）。

图片源自于互联网

在国产模型方面，只管百度的文言齐心专心没有公开其参数量，但根据我们的推算，其最新的4.0版本的参数量估量也已超过千亿，即1000亿（100B）以上。
最近盛行的海内大模型月之暗面（Moonshot）的参数量也超过了千亿。
在部分小模型中，阿里云的通义千问开源版本达到了140亿（14B）参数量。

图片源自于截图

4.移动端处理AI性能的能力

只管MTK 9300和高通8gen3这两款旗舰芯片没有公开其实际运行模型的测试过程，我们仍可以从它们的声明中获取一些信息。
MTK 9300强调，它可以在运行参数量为70亿（7B）的模型时实现20 tokens/s的性能。
须要把稳的是，\"大众tokens\"大众这个词在这里的含义可能会有所不同，它可能指一个词、一个字符，或者在某些措辞中的一个字母。

MTK 9300的官方宣扬素材

在高通方面，他们声明其8gen3芯片在运行Meta开拓的Llama 2模型时（Llama 2有7B、13B和70B版本，如果没有特殊强调，那么一样平常指的是7B版本）可以达到15 tokens/s的性能。

高通骁龙8Gen3官方宣扬资料

根据一些履历来判断，在7B大小的模型中，二者的速率都已经够快了，可以较为流畅自然的速率来实现笔墨对话或者实时的语音识别与翻译。

5.移动端处理AI性能的性能巨大花费

虽然移动设备如手机和平板电脑确实可以在本地运行AI模型，但由于这些设备更多地用于个人用场，运行AI模型时会调用一些特定的资源。
首当其冲的便是神经处理单元（NPU），这是今年几款旗舰SoC芯片（如A17pro、8Gen3、9300、X Elite等）都在强调的部分。
NPU是专门用于神经网络处理的处理器，拥有高效的矩阵乘法和卷积运算能力。
在处理AI任务时，NPU紧张用于实行模型的推理。

AI天生-Midjourney

此外，手机的中心处理单元（CPU）和图形处理单元（GPU）也会实时参与个中，卖力实行模型的解码、预处理和后处理等任务。
同时，手机的随机存取内存（RAM）也会被大量利用。
对付熟习AI模型的用户来说，无论是在PC本地的LLMS还是SDXL上，对内存和显存的占用都是相称大的。
在移动设备上，RAM紧张用于存储AI模型、数据和中间结果。
在处理AI任务时，内存的带宽和容量是影响性能的主要成分。

图片源自于互联网

对用户实际利用影响最大的部分是大量的RAM花费。
在MTK 9300的官方发布中，联发科官方先容说，一个拥有1300亿参数的AI大模型大约须要13GB的内存（在INT8精度下）才能运行。
因此，纵然是一个拥有70亿参数的模型，也大约须要7GB的内存。
只管存在一些技能，如INT4量化（通过降落打算精度以减少内存花费），但是在完全调用运行一个7B的AI模型时，也须要至少4GB的内存花费。
这对付RAM资源本就非常宝贵的Android系统来说，无疑是雪上加霜。

图片源自于互联网

可以想象，如果未来本地的AI模型遍及开来，当前主流的8GB手机RAM肯定是不足用的。
一旦打开AI程序，用户可能会面临其他运用被逼迫关闭，以及由于反复调用部分运用而导致的系统卡顿等问题。

6.AI落地移动端？让子弹飞一会

图片源自于互联网

不幼年伙伴看到这里，都以为我在唱空移动端侧AI，但实在错了，实在我对付移动端AI运用是一个多头。
毕竟手机是我们日常生活中最常用的智能设备，而且我们也看到，从OpenAI布局移动版的ChatGPT，到海内大模型纷纭转战移动端APP，再得手机厂商的“百模大战”，还有智能汽车领域的算力大辩论，都表明移动真个AI运用潜力巨大。

图片源自于互联网

而发展方向上，我认为移动端侧当前十分强调确当地LLMs（大措辞模型）并不会是终极的发力方向，由于由于在精度的限定，本地LLMs的质量可能堪忧，纵然可以输出较长的对话内容，但其逻辑性与合理性上都会与已知的PC端产品有较大的差距。

那么移动端该如何发展本的AI呢？我认为首当其冲的该当是图像识别与TTS（语音合成系统）。
移动设备（涵盖手机与智能汽车）作为视觉与听觉传播的主要媒介，其能带来的远不止笔墨流的输出。

关于图像识别功能，随着手机摄像头技能的不断进步，图像识别在移动真个运用越来越广泛。
例如，人脸识别、物体识别、场景识别等。
未来，随着手机端AI算力的提升，图像识别的准确性和实时性将得到显著改进。

《GPT长眼睛了！
史诗级功能悄咪咪发布！
》点击查看

此外，随着智能汽车移动端AI打算能力的提升，图像识别技能在智能汽车中的运用将变得更加广泛和精准。
例如，自动驾驶系统可以借助图像识别技能实时识别路况、标志牌、行人以及其他车辆，从而做出准确的驾驶决策。
同时还可以衍生出图像识别可以用于识别车辆的周围环境，并供应干系的做事信息。
例如，车辆可以通过图像识别来识别附近的餐厅、酒店等信息，并供应导航和预订等做事，催生新的业态。

其余一点便是语音合成（TTS）这也是本次OpenAI开拓者大会中提及的重点内容，该技能结合AI，可以将文本转换为自然语音，广泛运用于智能助手、语音导航、语音阅读等场景。
随着手机端AI算力的提升，TTS技能将更加成熟，天生的语音将更加自然、流畅。
合营智能AI助理等功能来实现钢铁侠中“贾维斯”的科幻场景落实。

图片源自于互联网

同时，移动端侧越来越强大的AI算力，还可以让V2V（车车互联）逐步实现，通过AI和V2V技能，车辆可以共享路况信息，如拥堵情形、事件、路面状况等。
这些信息可以帮助驾驶员或自动驾驶系统做出更好的导航决策，提高道路利用效率。
乃至，可以自动与同目的地的车辆组成车队，AI可以掌握一组车辆以固定的速率和间隔行驶，从而提高燃油效率和道路容量。

图片源自于互联网

在对未来人工智能市场的展望中，可以明确地预见到，在日常民用领域，移动端将无疑霸占主导地位。
目前，移动设备在运行大规模AI模型时，的确面临着内存和打算资源的限定。
然而，随着科技的持续进步，我们有情由相信这些寻衅将会被逐步战胜。

作为消费者，在面对如潮水般涌来的AI营销攻势时，我们须要保持复苏的判断力，同时也应对新兴技能抱有好奇心和期待。
毕竟，自傲息技能革命以来，很少有哪一项技能能引发如此广泛的关注，并引发环球科技巨子展开如此激烈的竞争。
人类历史已经多次证明，只有竞争的时期才是科技进步最快的时期，才是人类文明的闪耀时候。

图片源自于互联网