在2024天下人工智能大会全体会议上，上海人工智能实验室主任、首席科学家，清华大学惠妍讲席教授周伯文揭橥主旨演讲，带来了“探索人工智能45°平衡律”的不雅观点。

周伯文说，当前，以大模型为代表的天生式人工智能快速发展，但随着能力的不断提升，模型自身及其运用也带来了一系列潜在风险的顾虑。

从公众年夜众对AI风险的关注程度来看，首先是数据透露、滥用、隐私及版权干系的内容风险；其次是恶意利用带来假造、虚假信息等干系的利用风险；当然也诱发了偏见歧视等伦理干系问题；此外还有人担心：人工智能是否会对就业构造等社会系统性问题带来寻衅。
在一系列关于人工智能的科幻电影中，乃至涌现了AI失落控、人类损失自主权等设定。

这些由AI带来的风险已初露端倪，但更多的是潜在风险，戒备这些风险须要各界共同努力，须要科学社区做出更多贡献。

去年5月，国际上数百名AI科学家和"大众年夜世人物共同签署了一份公开信，表达了对AI风险的担忧，并呼吁该当像对待盛行病和核战役等其他大规模的风险一样，把戒备人工智能带来的风险作为环球优先事变。

周伯文认为，有这些担忧的根本缘故原由是目前的AI发展是失落衡的。
他向大家展示了一张坐标图——横轴是AI技能能力的提升，呈现指数级增长；纵轴是AI的安全维度，范例的技能如红队测试、安全标识、安全护栏与评估丈量等，呈现零散化、碎片化，且后置性的特性。

“总体上，我们在AI模型安全能力方面的提升，还远远掉队于性能的提升，这种失落衡导致AI的发展是跛脚的，不屈衡的背后是二者投入上的巨大差异。
”周伯文指出，“比拟一下，从研究是否体系化，以及人才密集度、商业驱动力、算力的投入度等方面来看，安全方面的投入是远远掉队于AI能力的。
”

周伯文说，可信AGI须要能够兼顾安全与性能，人们须要找到AI安全优先，但又能担保AI性能长期发展的技能体系，“我们把这样一种技能思想体系叫作‘AI-45°平衡律’。
”

AI-45°平衡律是指从长期的角度来看，要大体上沿着45度安全与性能平衡发展，平衡是指短期可以有颠簸，但不能长期低于45°，也不能长期高于45度——这将阻碍发展与家当运用。
这个技能思想体系哀求强技能驱动、全流程优化、多主体参与以及敏捷管理。

周伯文先容，实现AI-45°平衡律大概有多种技能路径，上海人工智能实验室近期在探索一条以因果为核心的路径，并将其取名为：可信AGI的“因果之梯”，致敬因果推理领域的先驱——图灵奖得主朱迪亚·珀尔。

周伯文说，可信AGI的“因果之梯”将可信AGI的发展分为三个递进阶段：泛对齐、可干预、能反思——“泛对齐”紧张包含当前最前沿的人类偏好对齐技能；“可干预”紧张包含通过对AI系统进行干预，探究其因果机制的安全技能；“能反思”则哀求AI系统不仅追求高效实行任务，还能核阅自身行为的影响和潜在风险，从而在追求性能的同时，确保安全和道德边界不被打破。
这个阶段的技能，包括基于代价的演习、因果可阐明性、反事实推理等。

周伯文表示，目前，AI安全和性能技能发展紧张勾留在第一阶段，部分在考试测验第二阶段，但要真正实现AI的安全与性能平衡，我们必须完善第二阶段并勇于攀登第三阶段。
沿着可信AGI的“因果之梯”拾级而上，“我们相信可以构建真正可信AGI，实现人工智能的安全与卓越性能的完美平衡。
”

新民 郜阳