该研究提出了一种名为SAMP的推理加速工具，通过自适应稠浊精度技能，在保持模型性能的同时，显著提高推理速率。
个中包含自适应稠浊精度编码器和一系列前辈的领悟策略。
自适应稠浊精度编码器可以在大量的通用矩阵乘法（GEMM）运算和Transformer层中找到最佳浮点定点稠浊精度组合办法，使模型推理的性能最贴近用户需求（打算精度或推理效率）。
终极，稠浊精度打算取得了比全定点打算更好的打算精度。
领悟策略对embedding算子和量化干系打算操作进行领悟改进，使得 CUDA 内核调用减少一半。
同时，SAMP是由C++编程措辞实现的端到端工具包，具有出色的推理速率，也降落了演习后量化推理的工业运用门槛。

表1：SAMP与同类系统比较的创新点

SAMP具有以下几项紧张亮点：

1.自适应。
SAMP 在演习后量化推理方法中平衡打算精度和延迟性能。
用户可以针对不同的任务选择得当精度和推理延迟的稠浊精度配置。
SAMP还可通过自适应分配方法推举给用户最佳的量化组合模式。

2.推理效率。
在较宽的精度范围（浮点到定点）中，SAMP 显示出比其他推理工具包更好的推理加速。
在中文措辞理解测评基准（CLUE）分类任务数据集中，与FasterTransformer比较，SAMP实现了高达1.05-1.15倍的加速。

3.灵巧性。
SAMP 涵盖浩瀚下贱任务，如分类、序列标记、文本匹配等。
Target 模块是可扩展的并且可以灵巧定制。
它对用户友好且对平台依赖性较低。
SAMP 支持 C++ 和 Python API，仅须要 CUDA 11.0 或更高版本即可。
其余，SAMP也供应了许多模型转换工具，支持不同格式模型之间相互转换。

图1：该论文在EMNLP2023现场展示和分享

紧张研究者来自快手的田荣表示，能在模型推理这样的场景下取得佳绩是全体团队共同努力的结果，SAMP的贡献紧张在三个方面，首先是办理了现有后量化（PTQ）推理工具在工业运用中精度丢失大的问题；第二是推动了后量化（PTQ）技能在 NLP 多个下贱任务中大规模利用；同时，该推理库还有轻量、灵巧，对用户友好的特点并支持用户自定义任务目标。

据悉，EMNLP（Empirical Methods in Natural Language Processing）是自然措辞处理和人工智能领域的顶级国际会议之一，聚焦于自然措辞处理技能在各个运用处景的学术研究，尤其重视自然措辞处理的实证研究。
该会议曾推动了预演习措辞模型、文本挖掘、对话系统、机器翻译等自然措辞处理领域的核心创新，在学术和工业界都有巨大的影响力，这次入选也意味着快手在该领域的研究成果得到了国际学者的认可。

本文源自金融界资讯