根据《自然》杂志宣布，近期发布的一项研究以KataGo2（被认为是目前最成功的开源围棋人工智能系统）为例，指出人工智能系统并非总是可以在围棋领域轻易地击败人类。

这项研究作为预印本于今年6月在线发布，还未经由同行评审。
研究职员利用了“对抗性攻击”来创造围棋AI系统的漏洞，这是一种向AI系统输入设计好的数据，诱使系统犯错的策略。
例如，某些提示可以让谈天机器人“越狱”，使其供应出它们被演习禁止表达的有害信息。

科幻记录片《我们须要谈谈AI》（AI We Need To Talk About A.I.，2020）画面。

在围棋中，研究职员通过演习对抗性AI机器人击败KataGo，这是目前最好的开源围棋AI系统。
研究职员表示，这些对抗性机器人找到了能够常常击败KataGo的漏洞，只管它们在其他方面表现并不好。
此外，人类可以理解这些机器人的技巧并采取它们来击败KataGo。

KataGo的漏洞是一次有时征象，还是指向了所有“超人类人工智能”的根本弱点？为了调查这一点，研究职员利用对抗性机器人测试了围棋AI三种应对防御策略。
结果显示，面对三种不同的防御策略，对抗性机器人终极还是找到了围棋AI的弱点，胜率可以达到80%-90%。

在所有这些情形下，对抗性机器人虽然能够击败KataGo和其他顶级围棋系统，但它们被演习的目的是创造其他AI的隐蔽漏洞，而不是成为全面的计策家。
“这些对手仍旧相称弱，人类自己也能轻松击败它们，”研究职员说道。

这项研究结果不仅局限于围棋AI，也可能对包括ChatGPT在内的大型措辞模型的AI系统产生广泛影响。
“关键的结论是漏洞难以肃清，如果我们不能在像围棋这样大略的领域中办理这个问题，那么在短期内，彷佛不太可能修复类似于ChatGPT中的越狱问题。
”

多位专家指出，这篇论文供应了迄今为止最有力的证据，表明让高等AI模型稳定地表现出预期行为是很难的，这解释想要构建一个可以信赖的、强大的现实天下的AI系统还有很长的路，“最主要的结论是我们本日构建的AI系统，人类自己并不完备理解。
”

参考资料：

(1)Can AI be superhuman? Flaws in top gaming bot cast doubt

https://www.nature.com/articles/d41586-024-02218-7

(2)OpenAI Co-Founder, Who Helped Oust Sam Altman, Starts His Own Company

https://www.nytimes.com/2024/06/19/technology/ilya-sutskever-openai-safe-superintelligence.html

编译/李永博

编辑/罗东

校正/柳宝庆