文 | 信仪

智东西10月26日宣布，在最近公布的环球“最严格”AI基准测试MLPerf成绩榜单中，浪潮凭借自研的AI做事器NF5488A5冲破了18项推理性能记录，成为冲破记录最多的AI做事器，成功问鼎AI“机王”。
在焦点赛道ResNet50基准性能测试中，NF5488A5以54.9万/秒的推理性能问鼎，比较2019年榜单做事器环球最好成绩性能提升高达3倍。

浪潮NF5488A5创造18项MLPerf推理性能记录

此前，MLPerf演习榜单于今年7月公布，NF5488A5仅用时33.37分钟就完成了ResNet50模型基于ImageNet 数据集的演习任务，单机性能高居榜首。
自此，浪潮AI做事器NF5488A5在今年的MLPerf基准测试中取得了演习、推理双料冠军。

浪潮技能卖力人对智东西说：“NF5488A5如此高倍的性能的提升要取决于硬件和软件两个层面。
而对付技能的整体升级来说，如果想要把硬件性能完备发挥出来，不是说单颗芯片好就够了，这对付全体做事器来说是一个别系优化的工程。
”

浪潮AI做事器NF5488A5

被视为环球最威信的AI软硬件基准测试MLPerf到底是一个若何的存在？浪潮在MLPerf中挤进“破记录冠军”行列有何意义？浪潮又是如何从Intel、NVIDIA、DELLEMC等大佬云集的参赛军队中脱颖而出的？

浪潮是如何“突出重围”在MLPerf中问鼎AI“机王”的？智东西与这次浪潮参与MLPerf项目的技能卖力人进行了深入对话，解构出浪潮AI做事器飞速“发展”背后的故事。

一、冲破18项推理性能记录， 新一代AI做事器成最大焦点

在“扒开结果看过程”之前，我们首先须要知道：MLPerf是什么？MLPerf的冠军，到底厉害在哪？

MLPerf官网首页

当前，AI的运用日益繁芜化、多样化，一方面，AI芯片、系统厂商纷纭给出不同的标准，以证明其产品在打算性能、单位能耗力等方面处于行业领先水平；同时，用户更关心的则是如何能从厂商给出的信息中止定出AI算力是否能实际知足其真实场景的需求。

因此，2018年5月环球AI基准测试组织MLPerf推出了MLPerf基准测试。
MLPerf基准测试是业内首套衡量机器学习软硬件性能的通用基准，即测试深层神经网络在不同量级的设备（物联网、智好手机、PC、做事器）、各种运用（自动驾驶、NLP、打算机）上的打算性能。

MLPerf由图灵奖得主大卫·帕特森（David Patterson）于2018年联合企业及高校成立。
MLPerf基准同盟现有 50 多家成员，包括谷歌、微软、Facebook、阿里巴巴、浪潮等企业，以及斯坦福、哈佛等高校。
本次参赛团队共计 23 家，包含 Intel、NVIDIA、DELLEMC、Lenovo、QCT（广达）、Fujitsu、Gigabyte（技嘉）等。
目前业内最具威信性的AI基准测试非MLPerf莫属。

MLPerf基准测试分为封闭模型分区（Closed Model Division）和开放模型分区（Open ModelDivision）：

封闭模型：哀求利用相同模型和优化器，并限定超参数的值等，衡量的是同一深度学习模型及对应的演习/推理过程在不同软硬件上的性能,稽核的是软硬件系统优化的能力。

开放模型：放开了对深度学习模型及精度的约束，只限定利用相同的数据办理相同的问题，模型或平台都不会限定，侧重于深度学习模型及算法优化的能力，旨在推进ML模型和优化的创新。

今年的MLPerf基准测试包括四大场景种别，分别针对：数据中央、边缘端、移动端和notebook端。
个中，浪潮最新自研AI做事器NF5488A5冲破了18项记录，成为榜单中冲破记录最多的AI做事器。

原始测试成绩表格

各做事器厂商的数据比拟图表（蓝色为浪潮NF5488A5数据）

在数据中央场景下的16项基准测试性能指标中：对付封闭模型测试任务分区，浪潮冲破了11项整机性能记录，NVIDIA冲破4项记录（2项与浪潮并列）、QCT冲破3项记录；开放模型分区的6项测试中，浪潮冲破2项记录，NVIDIA冲破1项记录。

在边缘端基准测试中：对弈封闭模型测试分区，NVIDIA冲破14项记录，浪潮冲破3项记录；开放模型分区的4项测试中，浪潮冲破2项记录，DELL冲破1项记录。

浪潮NF5488A5在数据中央和边缘端场景基准测试冲破性能记录次数

在这次基准测试中，浪潮AI做事器NF5488A5在开放优化(Open)和固界说务(Closed)的ResNet50基准性能测试中，均表现精良。
在焦点赛道ResNet50基准性能测试中，NF5488A5表现出了54.9万/秒的推理性能，比较2019年MLPerf推理榜单的环球最好成绩性能提升高达3倍。

MLPerf ResNet50推理性能2019 VS 2020比拟

在短短一年的韶光内，如此高倍的性能提升令人惊叹，而更让人为之称奇的是，NF5488A5已经量产，并非仅作为高端产品参与测试。

1年韶光，18项记录，3倍性能提升，这些数字不止支撑着浪潮新一代AI做事器在MLPerf中问鼎AI“机王”，也代表着浪潮AI做事器在技能积累上的充足底气。

二、是单个软硬件的性能PK，也是整机系统优化的性能磨练

NF5488A5是浪潮在MLPerf中大展光彩的“元勋”。
NF5488A5单机演习性能可达5 PetaOPS，比较浪潮上一代做事器打算性能提升234%。

在最新公布的 MLPerf推理测试榜单中，浪潮NF5488A5问鼎 AI 推理基准测试 18项记录，全面覆盖图像分类、目标检测、自然措辞理解、智能推举等场景。
个中在ResNet50模型推理任务处理达到每秒处理54.9万多张图片的推理性能；Bert 自然措辞理解推理任务达 26675 条/秒；DLRM 智能推举每秒推理处理能力达 210 万条。

在7月 MLPerf公布的演习测试榜单中，NF5488A5仅用时33.37分钟，就在包含 128 万张图片的 ImageNet数据集上完成ResNet50模型的演习，相称于每秒演习 23000多张图片，单机打算性能高居第一，可谓是最快人工智能演习做事器。

NF5488A5是这次MLPerf环球竞赛中唯一可以在4U空间内支持8块安培架构A100芯片实现NVLink高速互联的AI做事器。

浪潮NF5488A5在系统拓扑上采取了超低延迟设计，支持PCIe 4.0全链路极致优化，高频通信单元采取一级拓扑最近连接，最大限度提升处理器到AI芯片间的通信性能。

同时，通过配置NUMA节点，确保每颗处理器与其直连的GPU之间通信性能最优，最大限度降落通信延迟。
此外，NF5488A5通过深度优化系统构造设计，确保设备可在高环温下稳定运行。

在用户体验方面，用户会在稳定性和性能两方面体会到浪潮最新一代AI做事器的不同。
纵然在35摄氏度的环温下，NF5488A5也能稳定高性能的运行。
NF5488A5是一款通用做事器，可以支持各种盛行的AI运用处景，如打算机视觉、语音识别、智能客服等。

三、系统优化是核心竞争力

早在今年4月，浪潮首席科学家王恩东提出了“智算中央”的观点，并表明环绕智算中央打造AI算力生产、聚合、调度、开释的四大关键作业模式。

​

浪潮首席科学家王恩东提出“智算中央”

浪潮技能卖力人对智东西说：“如果要想把硬件性能完备发挥出来，仅考虑芯片的性能是不足的，须要考虑做事器系统优化。
以A100 GPU为例，将8块A100 GPU都放在一个做事器中，如果不办理它的散热问题，GPU可能运行几分钟频率就降下来了，运用性能就会很糟糕。
此外，GPU之间、CPU与GPU之间的互联、内存等都会对深度学习的推理和演习性能有比较大的影响。
浪潮目前在做事器整机的设计优化能力是业界领先的。
”

从2012年浪潮初步布局AI做事器，到2017年4月浪潮成立AI&HPC产品部并正式迈入AI家当，再到今年浪潮的AI做事器创造了环球最快性能记录，8年的韶光，这个中的每一个脚印都印刻着浪潮在硬件、软件及整机上的技能积累。

结语：AI做事器落地两步走

浪潮NF5488A5 AI做事器一举冲破 18 项 MLperf 推理性能记录，展示出我国自主做事器头部玩家在AI这条路上越走越宽、越走越稳。

在浪潮看来，AI算力的多元化支持将会是AI做事器发展的一个紧张趋势。
AI家当目前正处于落地阶段，首先要将AI算法赋能到用户的实际业务场景中，随后通过软硬件协同优化持续提升用户的AI运用性能。

从浪潮在 MLperf 中的表现来看，浪潮已在家当AI化中霸占了有利位置，我们也期待浪潮与其他玩家一起加速推进家当AI化进程。