机器之心编辑部

以 ChatGPT 为代表的大模型产品引领了一场新的家当革命，引发了国内外各机构积极投入干系技能研究的激情亲切。
在过去几个月的技能竞争中，国产大模型在文本理解和知识理解任务方面表现出色，堪称一位精良的 “文科生”。

然而，在繁芜数学推理打算、物理建模、科学创造等 “理科” 领域，大模型的研究尚未达到令人满意的水平，与美国顶尖科技公司（OpenAI、Google、Anthropic）比较，仍存在很大差距。
例如，在数学推理方面的威信评测集 GSM8K 和 MATH 上，美国 AI 公司一贯霸占前几名，突显了其领先地位。

在这样的背景下，上海交大天生式人工智能研究组 (GAIR) 积极占领难关，研发并开源了数学打算大模型 “阿贝尔（Abel）”，在多个榜单上取得开源第一！
是首个海内外高校团队推出的 SOTA 数学开源大模型。

项目主页：https://GAIR-NLP.github.io/abel开源模型：https://github.com/GAIR-NLP/abel

“在还未返国前，我和 Meta 非常精良的科学家互助了一篇叫做 LIMA 的事情，在那篇事情里我们仅利用 1000 个样本就可以演习模型使其在达到靠近 GPT4 的水平。
但是这种 “少即是多” 的思想并没有在所有的任务场景上都得到了验证，比如数学推理。
这也成为当时的遗憾，使得我对如何让大模型学好数学充满了兴趣。
”上海交大天生式人工智能研究组卖力人同时也是阿贝尔项目的卖力人刘鹏飞分享道。
“Abel 是为了致敬挪威伟大数学家 尼尔斯・阿贝尔 (Niels Henrik Abel) 在代数和剖析方面的首创性事情而创建的，代数也是现在模型相对善于办理的，不过，我们还有很长的路要走。
”

模型表现

表 1： 代表专有模型，而 表示开源模型， 表示模型开拓由学术大学主导（而不是由公司主导）；这里仅考虑不该用任何工具（例如 Python）的模型；GAIRMath-Abel 为该团队提出的模型

在阿贝尔（GAIRMath-Abel）这个项目里，作者展示了，只管

没有利用工具没有利用数学领域的大规模预演习数据没有利用褒奖模型没有利用基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）仅利用有监督精调（Supervised Fine-tuning，SFT）

阿贝尔在 GSM8k（83.62）和 MATH（28.26）威信评测集上实现了开源数学模型（不该用外部工具）的最好成绩，详细说来：

在 GSM8K 上的性能达到了 83.62，超过了许多国外大厂精良的模型，如 PaLM-1、Minerva（Google）、Claude-instant（Anthropic）以及 ChatGPT（OpenAI），仅掉队于 Google 的最新模型 PaLM-2-Flan1 个百分点；同时也显著高于所有开源国产模型在具有高难度的数学竞赛问题上，阿贝尔准确率达到了 28.26%（比较于 GPT4 的 42.5%），它在其他开源模型中保持了显著领先地位，超过了之前最佳的开源模型 5 个多百分点7B 和 13B 模型在 GSM8K 和 MATH 两方面以显著上风取得了开源模型性能的最佳阿贝尔在排行榜前十名中霸占了 3 个位置，并且是唯一一家由大学领导的项目（其他都是明星创业公司或大型科技公司）利用作者的方法，不仅在 GSM8K 和 MATH 上取得了出色的成绩，而且在供应新数据集（TALSCQ-EN）时，迅速达到了最好性能（SOTA），并且轻松超越了商业模型 MathGPT 和 GPT4。

除了精良的性能本身，该项目也揭示了：

有监督精调的能力被严重低估，研究职员该当以应有的敬畏和谨慎来对待这个过程。
出色的数学问题办理能力可以通过有监督精调实现的很好，这将在未来对这个方向的探索中引发更多富有想象力的可能性

演习方法

为了演习阿贝尔，该团队提出Parental Oversight （家长监督），一种监督微调的保姆策略（Babysitting Strategy）。

Parental Oversight 的核心理念在于，在对大模型进行微调的过程中该当怀着一种敬畏和谨慎的态度，就犹如家长在对孩子进行教诲时，必须要用最浅近易懂并谨慎的办法进行教导，在稳健发展的同时避免拔苗助长。
各种不同的数据和数据的呈现办法 代表的是不同的教诲办法，而研究者必须谨慎小心的选择最好的办法教导大模型。

事实上，在 GAI 的背景下，数据构造工程 (Data Structure Engineering) 已经成为一种新的范式。
有效的处理数据的方向对大模型在不同下贱任务上的成功与否有着极为关键性的影响。
从 Parental Oversight 理念出发，在繁芜推理任务上取得好的结果，最关键的是要精心策划演习数据，而不是不加选择地利用任何样本进行监督学习。

通过最精确谨慎的监督，帮忙大模型在繁芜推理的下贱任务上发展。
在有监督精调的演习样本中，不仅应包含精确的答案，还应见告模型如何从预演习模型的知识中得到精确答案。
此外，如果措辞模型的知识不敷以得到真实答案，监护监督该当帮助模型迅速补充知识上的空缺。

局限性 & 方案

只管阿贝尔数学模型在评估的几个数据集上表现精良，但是开拓者也总结了它的不敷之处：

过拟合：只管进行了鲁棒性剖析，并考虑到数学天生型 AI 天生具有薄弱性（常日须要高等解码策略，如多数投票），但过于依赖构建 SFT 样本以提高性能可能会不可避免地导致模型涌现过拟合征象。
（然而，过拟合并不是当前项目的紧张关注点，由于纵然对过拟合各种增强演习数据，对付繁芜的数学推理任务，如 MATH 数据集，仍旧很难实现有利的测试结果。
）只管如此，团队仍旧须要进行更广泛的健壮性剖析，并积极探索可以将模型转化为数学通才的演习方法，并进行更全面的跨领域泛化剖析。
泛化性：一个好的数学模型不应仅限于办理 GSM8K 和 MATH 数据集上的问题；它该当能够处理各种类型的问题，包括评估不同知识领域并须要不同类型的回答的问题（例如，多项选择、真假、证明、算术等）。
当前模型的能力不敷以泛化到这些多样的场景。
通用性：终极，作者估量大型模型授予的数学推理能力可以整合到各个领域的谈天机器人中，如医学、法律、物理学、化学等。
实现 AGI 的关键在于将强大的数学模型的力量融入其他模型中，而这在当前项目中尚未探索。
多措辞性：当前模型的演习数据和基本模型限定了它在除英语以外的措辞中供应回应的能力。
高等技能：当前模型紧张关注有监督精调（SFT），尚未探索褒奖模型、RLHF（从人类反馈中进行强化学习）和工具调用等高等技能。

开拓者表示已经列出了一系列问题，并用 Github 掩护这些限定和潜在办理方案。
欢迎大家提出培植性见地和见地。

下一步操持

末了，作者也大略用一张图透露了实验室的下一步操持：从 “阿贝尔” 到 “伯努利”。