最新显示，由非营利性人工智能研究组织EleutherAI孵化出的美国新兴初创公司Synth Labs，已从微软旗下风投基金M12和谷歌前CEO施密特（Eric Schmidt）的深度科技风投基金First Spark Ventures处成功筹集了种子轮融资，将用于帮助一系列公司确保其AI系统按照人类的意图来运作。

据Synth Labs的官网先容，该机构正在开展透明、可审计的人工智能对齐前沿研究，将与顶尖研究学校和环球独立研究者社区互助，力求建立一个完备可审核且强大的AGI（通用人工智能）对齐平台，实现预演习、规模化、自动化数据集的管理和增强，并侧重于开源模型。

其官网称，当前的“对齐”方法不足有效，对AI模型的评估更差，这导致AI软件的运行效果每每不尽如人意。
人类意图中的丰富偏好被统一的模型瓦解，基于人类原始数据的模型培训无法拓展，但这些模型理应拥有自动适应和拓展的能力。

据腾讯研究院等多方资料先容，人工智能对齐，也可称为人工智能代价对齐，指的是勾引AI系统的行为，使其符合设计者的利益和预期目标，特殊是要确保AI追求与人类代价不雅观相匹配的目标，确保AI以对人类和社会有益的办法行事，不对人类的代价和权利造成滋扰与侵害。

随着人工智能技能的快速发展和运用遍及，AI的多任务学习能力和泛化能力越来越强，也令人工智能对齐成为AI掌握与AI安全的主要议题，以期戒备可能带来的风险与寻衅。

曾有研究者认为，必须在超级人工智能出身前办理对齐问题，由于一个设计不足完善的超级人工智能可能会从理性上迅速节制可掌握权，并谢绝创造者对其进行任何修正。

而如果AI与人类的代价不雅观不能对齐，可能会涌现以下风险：AI的行为不符合人类意图的目标；在多种设定目标冲突时做出错误取舍；侵害人类的利益；以及分开掌握等。

目前，OpenAI成立了对齐团队并提出InstructGPT模型，其竞争对手、由谷歌支持的Anthropic也将“AI对齐”作为Claude模型的开拓重点，致力于打造“更安全的AI谈天机器人”。

Synth Labs联合创始人、也是领先的人工智能研究组织CarperAI创始人Louis Castricato对媒体称，过去几个月，Synth Labs已经构建了可在多个繁芜主题上轻松评估大措辞模型表现的工具，目标是遍及易于利用的工具，后者可以自动评估和对齐人工智能模型。

Synth Labs近期撰写的研究论文称，他们在OpenAI的GPT-4以及Stability AI的Stable Beluga 2人工智能模型天生对提示语的回答根本上创建了一个数据集，随后将其用于一个自动化流程，以辅导AI谈天机器人避免评论辩论某个话题，并开启评论辩论另一个话题。

而孵化了Synth Labs的EleutherAI则称，希望通过独立研究更好地理解人工智能如何运作和演进，确保AI连续为人类的最大利益做事，为此他们将在透明和协作的根本上，对市情上现有的人工智能模型进行研究、演习并公开拓布一系列大措辞模型。
该组织还方向于开源人工智能：

“关于人工智能的未来和支配的决策，不应完备由那些寻求利用人工智能盈利的科技公司做出。
”

本文来自华尔街见闻，欢迎***APP查看更多