界面***编辑 | 宋佳楠

“我们知道天下将会不同。
一些人笑了，一些人哭了，绝大多数人沉默不语。
”1945年7月16日凌晨5点30分，第一次核试验后，原子弹之父罗伯特·奥本海默如是说。

如今，AI正在越来越多地被拿来与核武器类比，也被认为是“人类末了的技能”。

近日，智源大会举办的两天内，大模型创业者像明星一样被人群牢牢环绕、合影。
只管极少评论辩论商业版图，他们的辞吐仍旧被迅速扩散开来。
当AI从业者享受前所未有的追捧时，有关AI安全的谈论也成为重中之重。

当外界还在聚焦于GPT5何时发布，重磅炸弹是什么时，他们提问：如果AI能力被坏人拿走了，将会发生什么？如果AI可以掌握现实天下，人类该怎么办？

来自北京和加州的天下顶尖科学家们都对AGI的发展表达了担忧，环绕AI安全问题展开舌战。
他们呼吁政府强有力的监管必须参与AI发展。
一个更安全的AI，也意味着更多层面更风雅的监管，AI的技能增速放慢。

与之前技能中立不同的是，多位科学家直言：AI是一个新物种，而非一项新技能。

“我们正处于人工智能的‘奥本海默时候’。
”MIT人工智能与根本交互研究中央教授Max Tegmark提醒道，人类间隔第一个AI核弹只有几年的韶光。

危险的AI

2019年，Stuart Russell来到清华大学开讲座，他刚刚出版了《人类兼容：人工智能及掌握问题》一书，给清华大学人工智能学院院长、图灵奖得主姚期智留下深刻印象。

“这不仅仅是作为人的纯粹的智力追求，全天下都已意识到问题的严重性。
”姚期智称，AI与人类过往履历不同，过去是坏人试取利用工具作歹，但现在，这个工具可能便是对手。
真正的难题在于：人类如何在新的环境中生活？如何与一个比人类更聪明的新物种共存？原则上，这是站不住脚的，两个超级物种很难在地球上共存，并达到平衡。

智源研究院学术顾问委员会主任张宏江则表示，AI可以被运用于任何目标，好或者坏的，就像核武器。
AI正在以一种超级快的速率进化。
对此，Stuart Russell认为，必须要做好操持，不能任由其像科幻小说的发展那样失落控，“那些被认为发生在未来迢遥宇宙的事情，可能很快就要发生。
”

AI有潜力改进人类生活，但关键在于，如何看待AI这一技能？

有人认为，人类是可有可无的，只要有高智商的机器在地球上运行，便是一个完备可以接管的选择，这是最恐怖的事情。
Stuart Russel说话严厉地指出，人类作为一个物种，只能选择安全、有益的AI，要绝对担保AI不会失落控，不会侵害我们，“如果没有担保，唯一的选择便是大略地结束人工智能的发展。
”

张宏江则表示，潜在的财富加速集中，与可能的事情两极化，大模型将带来新的工业化革命，人们该当关注新的经济体系以及随之而来的风险。
过去六个月，并非每件事都那么美好，并非统统都在掌控之中，OpenAI的超级对齐团队终结是一个危险的旗子暗记。
“对齐是确保AI安全的主要步骤，具有人类代价，但我们是否投入了足够的资源来自救？我们能采纳什么行动？”

“我们只有2到4年的窗口期来办理这一问题。
”Google DeepMind前沿安全与管理主任Allan Dafoe作出这一判断。
在他看来，即将到来的是一种新的生命形式，一个新物种，它将比我们更有能力，要支配比人类水平更高的系统。
人工智能文明将很快超过人类的数量，或许会达到1:100，1:1000，乃至更高的人机比例。

在AI技能尚未完备开拓出来之前，人们陷入对监管的迷茫：AI安全的目标是什么？

作为这一轮AI技能的最有力推动者——Open AI吸足“火力”。
例如奥特曼说，OpenAI的愿景是创造一个安全和有益的AGI，并采纳相应的方法来减轻或肃清这些风险和影响。
Stuart Russell对此持批评见地，称这显然是倒退，“一旦你做了一个AI，它还不屈安，那就太晚了，你没有另一个十年的韶光来弄清楚如何让它安全。
”制造安全的AI就意味着在一个狭窄的框架内开拓AI系统。

“大模型将保持其数据私密性，无论公司对软件做出什么声明，都不可信。
”据Max Tegmark透露，Open AI的技能水平已经达到GPT4.5，“奥特曼是一个聪明的家伙，我们须要负责地对待他。
”

美国最近的一项研究表明，最好的AI系统愚弄了42%的人，让人类以为它是人。
Anthropic的达里奥·阿莫给出了一个数字，人类有10%-25%的可能性被AI消灭。

办理之道

为应对AI安全风险，智源将AGI水平和能力划分为0-5级。
第3级时，AI的感知和认知能力同时超越人；第4级，当机器从具备意识进化为具备自我意识，人类将沦为次等物种。
第5级是AGI的认知不再源于人类知识，AGI神经构造超越人类大脑，形态和智力水平都超出了人类想象，可以适应不同的物理环境，开始宇宙智能进化的新进程。

AI技能的发展速率正在呈指数级增长，但监管尚未跟上，这正是科学家们担心的。

Max Tegmark认为，人工智能的监管该当像医药、航空和核能等领域，“切尔诺贝利事宜”的涌现则会直接摧毁全体核工业。
没有安全，就没有好处。

当法律哀求AI系统该当输出真实准确的信息时，很多AI业界的人抱怨这太难了，他们无法实现。
鉴于大模型算法无法逼迫实行，AI系统发展的合理规定都将遭到强烈抵制，由于任何合理的规则都会限定技能开拓。

Max Tegmar等多位科学家建议，该当树立AI行业监管规范，例如美国的FDA、中国的国家药品监督管理局、中国民用航空局，有严格的药品和航空安全标准，政府对这些行业负有监管任务，产品只有达到安全标准才能上市。

这些顶尖科学家们紧张呼吁从以下三方面对AI履行安全监管。

一是管理AI安全，环球互助至关主要。
只管国际互助是出了名的缓慢，但人工智能的风险是环球性问题，对人类构成了重大乃至极度的风险。
人类须要一个以AI安全为主题的大型国际组织。
现在环球有30多个紧张研究中央，但这些中央缺少折衷沟通，很多事情只能自主行动。

其次，应该先有政府和行业联合制订的统一标准，再发卖可信任的人工智能系统。

Max Tegmark表示，必须履行真正的安全标准，以强硬的法律作为后盾，让人工智能像其他行业一样被规范和约束。
中国是第一个履行严格人工智能安全法规的国家，而欧盟也在今年3月通过了《人工智能法案》。

再者，“红线”的观点让AI安全变得详细可行。
今年3月，Geoffrey Hinton、姚期智、Stuart Russell、傅莹等30余位专家，共同拟定并签署了《北京AI安全国际共识》，为AI划定五条不可超出的红线：自主复制或改进、权力寻求、帮忙武器制造、网络安全、欺骗。

上述专家们指出，人们不能仅仅是谈论AI安全与否，由于安全和不屈安很难区分，应划定红线并哀求AI不能超越这些红线。
让AI像药品、核电站、飞机一样，接管合理、安全的监管。

值得关注的是，这一共识并不具有真正的法律效应和逼迫监管的属性。
姚期智认为，从长远来看，人类会建立一套与密码学类似的根本科学工具，紧张处理知识的生产和分配，以及谁该当拥有何种知识。

Max Tegmark也强调，AI革命将带来巨大危险，如果不以一种安全的办法制造它，所有人都是输家，只有机器会赢。