麒麟芯片的黑科技:同样的App在华为手机上就多几种AI能力_华为_算子
编辑:泽南
各家厂商都有自己的 AI 芯片,但华为率先做到了从芯片到运用,再到云做事的高度协同。
手机上的 NPU 推出了四年,韶光已不算短,人工智能运用得怎么样了?
现在很多手机芯片上都有 AI 打算单元,每个人都可以有自己的答案。不过用华为手机的人,得到的体验常常比其他用户好一点:他们的手机有更强的旗子暗记,均衡的能效比,还有领悟在系统中,供应便利的各种 AI 功能。
华为的产品还支持最新 AI 算法,你大概会创造,同样的 App 在华为手机上多了一些专属的能力,如实时***超分辨率、***风格迁移、本地化的输入法预测等等。
本日,人工智能不是「元宇宙」这样遥不可及的观点,而是已被每天数亿人大量利用的普遍技能,它乃至改变了很多人打开 App 的办法。
这些 AI 技能的效果超出了人们的最初想象。
用低清流量,看「高清***」
我们对付「***超分辨率」的印象,大多还勾留在英伟达 GPU 对付游戏大作的帧率加成上。自从 RTX 系列显卡出身以来,深度学习超采样技能 DLSS 大幅提升了玩家的游戏体验。这种技能可以通过深度学习把低分辨率图像自动「脑补」成高分辨率,输出 4K 分辨率的画面时,只需天生 1080P 的画面再用 AI 来转化,可以减小显卡包袱,提升效率。
打游戏有这么大的提升,在手机上看短***和直播能不能加入超清效果呢?HUAWEI HiAI Foundation 已经让很多运用实现了这个能力。
「在超分辨率任务上,传统算法须要 CPU 和 GPU 对图像进行二次加工打算,功耗极高,效果就像是『调亮了一点』,并不明显,」华为技能专家表示。「若想办理算力、IO、功耗等问题须要结合 HUAWEI HiAI Foundation 和 NPU 来完成。我们与很多厂商互助,在当前主流的 App 上集成了画质增强功能。」
原画面、AI 超分辨率算法和低分辨率 + 锐化处理的比拟。
今年 3 月,在爱奇艺 App 最新发布的版本中,爱奇艺与 HUAWEI HiAI Foundation 互助,在带有 NPU 机型的运用上率先供应了「增强画质」功能。该功能可让***在 480P 分辨率播放过程中,保持相同流量花费的情形下体验到更高清品质的视觉效果。
这项功能适配了从 Nova 6 到 Mate 40 系列等多个华为机型。
开启画质增强功能后,480P 及以下清晰度的***可以秒变高清,大致相称于 1080P 的水平。
「增强画质」是基于爱奇艺自研超分算法支配在麒麟芯片 NPU 引擎(神经网络处理器)和 HUAWEI HiAI Foundation 上的功能,可以在画面轮廓清晰度、画面通透性、色彩饱和度等方面实现明显提升。
通过这一能力,手机可以在本地完成***实时增强画质处理,在不影响帧率的情形下把清晰度提升两倍,有效办理了***播放卡顿问题,在地铁或高铁等旗子暗记弱,网络不流畅的场景下,也能看高清***。
在爱奇艺、优酷等主流*** App 平台上,HUAWEI HiAI Foundation 加持的超分辨率性能最高可以提升 80%,功耗最高可降落 45%。
在手机上实现异构打算
除了图像技能,手机上还能直接跑一个完全的输入法预测模型。譬如,在百度输入法华为版中,其利用的 AI 算法构造繁芜,但通过任务拆分,工程师们把模型推理的打算事情分配到 NPU 和 CPU 上进行异构打算,并进行了极致的优化,把输入法预测任务从云端完备转移到了手机上。
百度语音语义的模型技能较新,构造也很繁芜,最近的很多 AI 运用都是如此。从最早的 CNN、LSTM,再到近期盛行的 Transformer 构造,人们对 AI 专用打算单元的算力需求正在快速提高。另一方面,不同厂家硬件的差别明显,AI 打算的架构也在不断演进,如何充分利用好算力是开拓者面临的寻衅。
让芯片上的 CPU、GPU 和 NPU 协同参与 AI 打算,是目前发展的趋势。「在语音语义类业务上如果用异构办法运行模型推理,其性能要比单 NPU 或单 CPU 运行提升超过 40% 以上,很多业务适宜通过异构方法运行,」华为技能专家表示。「NPU 长于处理 CNN 等经典神经网络,但业界近期得到运用的网络类型变革较快,很多新模型利用 CPU 加 NPU 联合打算可以得到更高效率。」
华为供应的工具可以大幅提升 AI 算法的运行效率,快手和抖音也因此受益:两家短***运用在接入 HUAWEI HiAI Foundation 后模型精度得以提高,通过充分利用算力实现了更加真实的 AI 殊效,增加了业务场景。
对付运用开拓者们来说,给运用接入异构打算能力并不须要演习专用的算法,也不须要重新构建一个 App,只需调用几个接口就可以完成了,如果开拓者利用的机器学习平台接入了 HUAWEI HiAI Foundation,这个过程乃至可以是无感的,开拓者无需进行操作即可得到麒麟芯片 AI 算力的优化。
原生 AI 加速,每天运行超 600 亿次
为开拓者打开新天下大门的 HUAWEI HiAI Foundation 是麒麟芯片 AI 打算能力的开放平台,其目标是全面开放 NPU 能力。它可以自动把开拓者手中的 AI 模型轻量化成移动版,集成到 APP 上,并获得手机芯片异构算力的原生优化加速。
2017 年 9 月,华为发布了首款自带神经网络打算单元 NPU 的移动芯片麒麟 970。2018 年 3 月,HUAWEI HiAI Foundation 随之发布。经由几年景长,HUAWEI HiAI Foundation 已经从仅支持手机扩展到了全场景硬件,还可以做到一次开拓多端运行。打算能力上看,则可以协同 NPU/CPU/GPU/DSP 实现异构打算,大幅提升了效率。
在 HUAWEI HiAI Foundation 的最新版本上,新增的能力紧张有三个方面:供应 AI 模型性能优化快速升级的端云协同;开放为开拓者供应更多可选模型构造的 Model Zoo;还有模型量化工具包,可以快速压缩 App 中 AI 模型的体积。
经由多代持续打磨,HUAWEI HiAI Foundation 的兼容性和易用性已经相称成熟。人们熟知的鸿蒙 OS 的用户已经超过了 1.5 亿,是史上发展最快的终端操作系统。而作为麒麟芯片打算能力的开放平台,HUAWEI HiAI Foundation 的运用范围也是前所未有 ,它现在的日调用量高达 600 亿次。
比较 TensorFlow Lite GPU、Android NN 等端侧 AI 打算生态,HUAWEI HiAI Foundation 已经成为了业内最盛行的 AI 架构,而且领先幅度正变得越来越大。
每天百亿调用量意味着海量的聪慧业务正在端侧运用,充分发挥了麒麟芯片的 AI 算力,为用户带来了前所未有的体验。随着 AI 生态的不断演进,技能运用的履历也会为未来的改进打下根本,助力下一代芯片的研发。
黑科技:端云协同
仅仅方便开拓,体验好还不足。与高通、联发科等公司提出的工具比较,华为的上风在于「端云协同」。
深度学习算法由很多打算单元组成,我们称这些打算单元为算子(Operator,简称 Op)。从广义上讲,对任何函数进行某一项操作都可以认为是一个算子。在深度学习框架中,算子对应层中的打算逻辑,例如:卷积层(Convolution Layer)中的卷积算法,是一个算子;全连接层(Fully-connected Layer)中的权值求和过程也是一个算子。
对付构建 AI 运用来说,算子提升了效率,然而大多数手机中的算子库集成于系统中,加入新功能要等手机系统几个月一次的更新,这是很多 AI 新算法难以落地的缘故原由。
HUAWEI HiAI Foundation 选择把算子库放到云端,当有新开拓的算子时,只须要比拟一下旧的算子库,把更新算子***得手机端里就可以让所有手机支持新技能了。这种端云协同的办法既提高了开拓者事情效率,又扩大了运用范围,算子更新的频率可以和 App 更新的速率同步。
比较之下,其他厂商发布的深度学习框架,其算子更新速率常日因此年为单位的。
作为连接底层硬件算力和运用之间的桥梁,HUAWEI HiAI Foundation 目前支持超过 300 个通用算子,TensorFlow、PyTorch 等主流深度学习框架,海内开源深度学习平台,以及很多厂商的自用框架。硬件支持从麒麟 810 到麒麟 9000——内置华为自研 NPU 的所有芯片。
从一篇顶会论文得手机上的 App,AI 新技能的引入是一个繁芜的工程化过程,须要担保性能、功能哀求,进行多轮优化。由于海思和华为终端联合运作的办法,在 HUAWEI HiAI Foundation 上芯片厂商与开拓者直接进行互助,在一些关键问题上能真正做到效果最优,这是其他竞争对手无法比拟的。
把更多 AI 搬得手机上
HUAWEI HiAI Foundation 未来的发展方向,是让移动端 AI 模型更大略、更安全、能效更优,构筑全面开放的聪慧生态,让开发者能够快速地利用华为强大的 AI 处理能力,为用户供应更好的聪慧运用体验。
机器学习模型在最初的研究阶段可能须要泰坦 GPU 进行演习,A40 进行推理,谷歌能让机器学会「阅读理解」的 BERT 模型在刚刚发布时体积达到了 500MB 但手机 App 上,自然措辞处理模型只有 50 到 100MB 的空间,模型必须被大幅压缩。
HUAWEI HiAI Foundation 推出的 NAS 模型搜索技能,能让开发者只须要将自己的模型、数据集作为参数提交给工具,随后就能通过自动搜索得到能在端侧运行,效果与原模型效果相称的模型出来。该技能目前紧张面向图像识别、分类、检测等任务,在指界说务中可以自动搜索出效率最优的模型,且搜索结果能够实现在 NPU 上性能、功耗比最优。
另一方面,HUAWEI HiAI Foundation 供应的端侧算力让很多原来必须支配在云真个算法落在了本地,所有数据形成闭环,业务数据、照片、语音信息等敏感内容不离开用户,担保了数据安全。越来越多的端侧 AI,会持续强化这一趋势。
未来,各种运用对 AI 的需求会越来越拥挤,华为还在连续努力,让麒麟芯片带来更大代价。
2021 年,我国网和颜悦色均手机 App 安装总量是 66 款,每人每天利用 App 的时长已超过 5.1 小时,这是一个前所未有的数字。人工智能技能带来的便利,是手机承担起越来越多任务的缘故原由之一。
还记得 2017 年,华为发布第一款带有 NPU 的芯片麒麟 970 的时候,有很多人会问「它能做什么?」现在,问题已经变成了「这件事,麒麟芯片能不能也来做?」
昨天人们还在开的脑洞,已经被 HUAWEI HiAI Foundation 一步步实现了。
本文系作者个人观点,不代表本站立场,转载请注明出处!