编辑｜李然

OpenAI前员工Leopold Aschenbrenner，之前在超级对齐（Superalignment）部门，可是能和Ilya大佬共事的。

但刚刚的2024年4月份，他被OpenAI以透露公司机密为由开除。

图源：The Information

被开除后，他上线了一个网站，把自己在OpenAI事情中理解到的信息做了一个盘（bao）点（liao）：在他看来，深度学习没有碰着瓶颈，人类在2027年，就能实现AGI。
而在2030年旁边，AGI很有可能会发展出全面超越人类的超级人工智能，但是人类似乎还没有做好准备。

网站包含的内容非常多，转换成PDF文件足足有165页。
这可以被看作硅谷最激进的AI研究职员提出的一份未来10年AI发展的纲领性文件。

不久，天下就会清醒过来。
目前，可能全天下有几百个人能够亲自感想熏染到正在发生什么，个中大多数人都在旧金山的各家人工智能实验室里。
无论命运有什么分外的力量，我都创造自己属于个中一员。
几年前，这些人被嘲笑为疯子——但他们相信趋势，这让他们能够精确预测过去几年的人工智能进步。

这些人对未来几年的预测是否也是精确的，还有待不雅观察。
但这些我见过的最聪明的人正在全力推进AI的发展。
大概他们会成为历史上一个奇怪的注脚，或者他们会像西拉德、奥本海默和泰勒一样载入史册。
如果他们对未来的预测靠近准确的话，那么我们将迎来一段猖獗的旅程。

接下来让我见告你，我们看到了什么。

链接：https://situational-awareness.ai/

Aschenbrenner专门在开头，致谢了Ilya和很多的OpenAI超级对齐团队的成员。
可以说，这份165页的资料，是他在OpenAI的超级对齐团队事情经历的一份深度总结和个人剖析，任何对AI发展感兴趣的人，千万不能错过！

来源：作者文章

Aschenbrenner是个德国大帅哥。
互联网嘛，理解脑筋前也得先见见面子。

来源：个人网站

他最近成立了一家专注于 AGI 的投资公司，紧张投资人包括 Patrick Collison（移动支付巨子Stripe联创兼CEO）、John Collison（同为Stripe联创）、Nat Friedman（前Github的CEO） 和 Daniel Gross（Y Combinator前AI主管）。

进入OpenAI之前，他还在牛津大学环球优先研究所（Global Priorities）做经济增长方面的研究事情，此前也并没有太多和技能直接干系的经历。

来源：领英

本科就读于哥伦比亚大学的他，19岁早早毕业，作为精良毕业生在毕业仪式上演讲。

来源：领英

或许正是这些履历给的底气，让他用略带怜悯的口气预言——AI即将带来的，绝不仅是多数专家认为的“另一场互联网规模的技能变革”。

2027年前，GPT-2到GPT4的跃迁还会重演

在文章中，Aschenbrenner（以下简称为“作者”）采取了一个比较粗略但是很有效的办法来估算AI发展的速率——OOM（OOM = order of magnitude，数量级，一个OOM即是10倍，2个数量级相称于100倍的差距，可以理解为10的N次方）。

作者：我的新系列文章。
我磋商了打算规模快速扩大、算法进步的一向趋势，以及模型如何可以被“解锁”（从chatbot转变为agent），以便发展到2027年景为“随插即用的远程事情者”。

自从GPT-4发布以来，公开场合的统统都很沉着，下一代模型一贯在酝酿之中——这导致很多人以为AI发展曲线已经趋于平缓了，深度学习正在碰钉子。
但作者通过打算OOM，认为我们该当期待更多的进展！

来源：文章

正所谓“知古鉴今”，理解过去的发展速率，才能推断未来的态势。

作者借用“升学”来比喻四年来GPT-2发展到GPT-4的过程，大概相称于“学龄前儿童（preschooler）”进化为“聪明的高中生（smart high-schooler）”。

来源：文章

而深度学习在过去十年的发展也是迅速的。
十年前，可以识别大略图像的深度学习系统就已经是革命性技能。
本日，只管测试职员不断用更难的基准测试刁难，这些经由演习的系统总能将之快速攻破。

作者直言，我们的基准测试快不足用了（running out of benchmarks）。
由于最难的基准测试也岌岌可危。

比如GPQA（一组博士水平的生物、化学和物理问题）的测试测试集，非归天生领域的博士哪怕用谷歌激情搜索半个多小时，都和直接瞎蒙的精确率没啥差异。
但便是在这样“地狱级”难度的考试上，Claude 3 Opus 已能达到及格水平，精确率约为60%，干系领域博士也只达到约80%。
以是作者预测，基准测试也快完了。

而对人工智能未来的发展趋势，学霸有一套自己的预测方法——看OOM的趋势线。

他在文章中总结道，过去四年人工智能的进展，紧张得益于：

算力（compute）算法效率（algorithm efficiencies）额外开释的潜力（原文unhobbling gains，指通过基于人类反馈强化学习 [RLHF]、思考链 [CoT]、工具和脚手架[Scaffolding]等方法微调带来的的模型能力）

算力

基于Epoch AI的公开估计，GPT-4 演习利用的原始打算力（raw compute），比 GPT-2 多大约 3,000 倍到 10,000 倍，增加了3.5-4个OOM。

来源：文章

打算规模扩展还会持续。
“守旧”估计，到 2027 年底，很可能会再增加 2 个 OOM（约数十亿美元的GPU集群）。
再大胆一些，考虑到微软和OpenAI比来的超算互助，纵然是靠近3个多 OOM（相称于1000多亿美元）的算力集群，也是有可能实现的。

来源：文章

算法效率

从2022年到现在的2024年，同样是在MATH（高中竞赛数学的基准测试）上达到大概一半（约50%）准确率的水平，模型的推理效率提高了近1,000 倍（3个OOM）。

来源：文章

而据ImageNet的最佳测试数据（其干系算法研究大多是公开的，数据可追溯到十年前），从 2012 年到 2021 年的 9 年期间，算法效率的提升速率，一贯都在 0.5 OOM/年的水平。

来源：文章

这意味着，四年后实现如今的性能，将达到大概一百倍的打算节约！

作者还不雅观察了API的收费价格，间接推断出算法效率的增速。

GPT-4 在发布时的API价格，大概 GPT-3 发布时相同，只管性能绝对精良。
自 GPT-4 一年前发布以来，随着 GPT-4o 的发布，GPT-4 级模型的 OpenAI 价格又低落了 6 倍/4 倍（输入/输出）。
最近发布的 Gemini 1.5 Flash，供应介于“GPT-3.75 级”和 GPT-4 级之间的性能，同时用度比原始 GPT-4 低 85 倍/57 倍（输入/输出）

总的来说，GPT-2 到 GPT-4 的进步，呈现出 1-2 个 OOM 的算法效率提升。
算法这部分被拆解出来的进步态势，也被加到算力根本上了。

来源：文章

只管算法效率提升可能会有更多困难，但他相信，人工智能实验室在资金和人才上的高速投资，能够帮助找到算法改进的增长点（至少据公开信息推断，推理的性价比提升根本没有放缓）。
在更高维度，乃至可以看到更根本性子的、类似Transformer式的打破，乃至有更大的收益。

总之，可以预测，到 2027 年底，可以实现（与 GPT-4 比较） 1-3 个 OOM 的算法效率提升，稳妥一些——大概是 2 个旁边的 OOM 增长。

Unhobbling解锁

剩下最难量化但同样主要的进步部分，被作者称为“Unhobbling”。
比起前两项，这部分更像是“意外之喜”，是算法微调引发的模型能力增长。

做数学难题时，人类会在草稿纸上逐步求解，但模型貌似只能给出未经思考的答案。
大模型学的可不比人类少，按道理来说也是解题专家才对。
究其缘故原由，实在是由于模型受到了某些阻碍，必须经由微调才能解锁这部分潜力。

这些微调就包括——基于人类反馈的强化学习 （RLHF）、思考链 （CoT）、脚手架（Scaffolding）、各种工具（Tools，比如联网查答案）、高下文长度（context length，许可学习更多的高下文可以提高打算效率）、后演习改进（Posttraining improvements）。

METR（一个评估模型的组织）创造，通过从 GPT-4 根本模型中解锁（unhobbling）出来，一组代理任务的性得到很大的改进：仅利用基本模型只达到 5%，发布时经由后演习的 GPT-4 达到 20%，再到本日的近 40%。
这归功于更好的后演习、工具和代理脚手架。

来源：文章

或许很难和算力、算法的改进同样量化比较，但这部分收益不比前两者差。
把这部分的进步可视化，再堆积到前面两部分的趋势线上面，这四年的进步就更加直不雅观了。

来源：文章

现在的模型没有长期影象，不能“利用电脑”，说话前不会真正酝酿思考；对话极其简短，给一周韶光也不会思考；更主要的是，还不会针对用户进行个性化反馈。
如果Unhobbling部分的进展顺利，可以办理以上痛点——到 2027 年，大家将拥有将更靠近于个人代理或同事的工具，而不但是谈天机器人（chatbot）。

从GPT-2到GPT-4的进步来看，算力实现了3.5到4个OOM，算法进步实现了1-2个OOM，Unhobbling实现了大概2个OOM（作者也不愿定，反正便是很大）。

来源：文章

步子也不用迈得太大，毕竟各部分的数字本身便是一个区间，更不用说Unhobbling部分还不好预测。
于是作者说，到 2027 年年底之前，算力、算法效率将带来3-6个OOM。
以是Unhobbling部分的进步他没用OOM衡量，就被描述为——谈天机器人（chatbot）将进化为Agent。

来源：文章

总之，就OOM的总和来看，近似于GPT-2 到 GPT-4 程度的跃迁，将再次涌现。
即，在2027年前，AGI将成功实现。

智能爆炸，AGI之后的超级人工智能

既然前文提到，人工智能在4年内从 GPT-4 跃升到 AGI，那么再过4到8年，又会涌现什么呢？

作者相信，人工智能的进步不会止步于人类水平。
数以亿计的AGI，可以将AI研究转向自动化，将十年的算法进步（5个多OOM）压缩进1年以内完成。

一旦我们有了 AGI，我们就不会只有一个 AGI。
基于未来 GPU 数量，人类或许能够运行数百万个AGI。
在领先的人工智能实验室里，会有超过现在100,000倍那么多的研究职员和工程师日以继夜地事情，致力于实现算法打破（递归性自我改良）。
统统只须要沿着现有趋势线的速率连续提高（目前为大约 0.5 OOM/年）。

来源：文章

人工智能系统将迅速从人类水平，进化为超人类水平。

可能瓶颈

不过这么放卫星也不实在——一些真实存在的瓶颈，可能会延缓AI研究的自动化趋势。

有限的打算能力：人工智能研究须要基于实验来得到干系履历，以是实验的有限打算资源将成为瓶颈。
但纵然考虑到这一点，纵然增速达不到 1,000,000 倍，基于此前海量的学习，“自动化 AI 研究职员”也能将打算效率提高至少 10 倍。
纵然打算量相同的情形下，一些人类研究职员和工程师都能比同行产出赶过 10 倍的进步——这该当更适用于“自动化 AI 研究职员”。
互补性/长尾效应：从经济学角度看，纵然能自动化70%的东西，但很快剩下的30%就会成为瓶颈，越到后面算法进展速率的整体增长越慢，整体进展越小。
但作者认为，这只会让成果推迟几年。
大概 2026/27 年模型的速率是原型自动化得AI研究职员，还须要一两年的韶光优化才能实现完备自动化。
但不管若何，到 2028 年，终极仍将得到 10 倍的增长。
算法进步的固有限定：虽然肯定会有上限，但如果在过去十年中得到了 5 个 OOM，该当期望至少再取得十年的进步。
更直接地说，目前的架构和演习算法仍旧非常低级，彷佛该当可以采取更有效的方案。
找到新想法越来越难，因此自动化AI研究职员只会坚持，而不是加速目前的进展速率：有人说随着我们占领大略的成果，更难的想法也越来越难找到。
可能有人看到，本日只须要几百名实验室的顶尖研究职员才能坚持0.5个OOM/年的增长，未来将须要越来越多的努力来连续坚持这一进展。
但单个人研究事情量增加的幅度——一百万倍——远远超过坚持进步所必需的研究事情量。
新的想法越来越难找到，回报递减，以是智能爆炸增长不现实：无论如何，从数百个 AI 研究职员到数百万个 AI 研究职员的一次性跃迁的规模，可能会战胜至少一定数量的算法进步的边际收益递减，只管它当然不能无限地自我坚持。

超级智能有多强大就有多危险

到本十年末，我们很可能会拥有弗成思议的强大人工智能系统。

它们在数量上超越人类。
在十年末拥有数亿个 GPU 设备的情形下，将能够运行数十亿个这样的人工智能系统——它们将比人类思考速率快上数个数量级，能够迅速节制任何领域，编写数万亿行代码，阅读所有有史以来撰写的每一篇科学领域的研究论文（它们将是完备跨学科的！
），仅在几周内，就能得到数十亿人类等价年份的新创新履历。
思考质量也将超越人类。
大规模强化学习运行已能够产生超越人类理解的全新和创意行为——对付一个人类可能被困在几十年的极为困难的科学和技能问题，对它们来说会显得如此显而易见。
就好比，人类将像困在牛顿物理学中的高中生，而AI正在探索量子力学。

这适用于科学、技能和经济的所有领域。
偏差可能很大，但须要把稳到这将产生多大的影响。

来源：文章

爆炸性进展最初可能只存在于将AI研究转向自动化。
但随着我们得到超级智能，并将我们数十亿（超级智能的）智能体运用于诸多领域的研发，爆炸性进展将会更多。

人工智能能力的爆炸式增长：实现任何和所有认知事情的自动化。
办理机器人问题：超级智能将不会永劫光勾留在纯认知层面。
工厂将从由人类管理，转变为AI辅导下的人类体力劳动，终极将完备由机器人群体运行。
大幅加快科技进步：十亿个超级智能，能够在数年内做完人类研究职员不才个世纪所做的研发事情。
工业和经济的迅猛发展：这将是增长机制的根本转变，更像是工业革命从非常缓慢的增长，到每年几个百分点的历史阶梯式变革。

随着文明从佃猎到农业，到科学和商业的发达发展，再到工业，环球经济增长的步伐加快了。

供应决定性和压倒性的军事上风：使是早期的认知超级智能就已足够强大，军事革命将随之而来，全新武器可能涌现。
能够推翻美国政府：掌握超级智能的人很可能拥有足够的力量，从超级智能涌现以前的势力手中攫取掌握权。

图片解释了超级人工智能涌现会在不同方面引爆增长

作者警告，智能爆炸和后超级智能期间将，是人类历史上最动荡、最紧张、最危险和最猖獗的期间之一。
而到本世纪末，我们都会身处个中。

达到AGI须要投入的本钱

作者强调，如果要实现预期的进展，须要连续进行巨额投资和根本举动步伐培植，特殊是对打算能力、电力和芯片的进一步投资。

AGI不仅仅要靠旧金山的人工智能科学家和工程师，还要动员美国的工业力量。

以下是他估算的核心数据：

演习算力

打算增长趋势：

估量到2030年，最大的演习集群可能须要100GW的电力，相称于美国当前电力生产的20%以上。
AI演习打算能力每年增长约0.5个数量级（OOMs）。

详细预测当年的前沿模型须要的算力和电力投入：

2022年：GPT-4集群约需10000个H100等效打算单元，耗资约5亿美元，需10MW电力。
2024年：需约10万个H100等效打算单元，耗资数十亿美元，需100MW电力。
2026年：需约100万个H100等效打算单元，耗资数百亿美元，需1GW电力，相称于胡佛水坝或大型核反应堆的规模。
2028年：需约1000万个H100等效打算单元，耗资数百亿美元，需10GW电力，相称于美国一个中等州的用电量。
2030年：需约一亿个H100等效打算单元，耗资超过1万亿美元，需100GW电力，相称于美国当前电力生产的20%以上。

来源：文章

投资规模

总体投资预测：

估量2024年AI投资将达到1000亿至2000亿美元。
到2026年，总投资可能达到5000亿美元。
到2028年，总投资可能达到2万亿美元。
到2030年，总投资可能达到8万亿美元。

来源：文章

来源：文章

投资可行性

在作者看来，私营企业将是AI发展最主要的投资者。
但随着AI技能不断发展，国家也须要投入大量资金。
以是投资的资金将来自两个主要渠道：

AI收入：

AI产品的收入增长迅速，估量到2026年，像谷歌或微软这样的公司年收入可能达到1000亿美元。
例如，微软Office的3.5亿付用度户中，有三分之一可能乐意每月支付100美元购买AI附加做事。

历史先例：

曼哈顿操持和阿波罗操持在其高峰期间达到了GDP的0.4%，相称于本日的约1000亿美元。
1996年至2001年间，电信业投资近1万亿美元。
1841年至1850年间，英国铁路投资总额相称于当时GDP的40%，相称于本日的11万亿美元。
绿色转型也花费了数万亿美元。

电力（Power）

电力需求：

估量到2028年，AI打算集群须要10GW电力。
2030年须要100GW电力，相称于当前美国电力生产的20%。

办理方案：

美国拥有丰富的天然气资源，利用天然气可以快速知足AI打算集群的电力需求。
建造新电厂须要巨额成本支出，但在2-3年内是可行的。

来源：文章

芯片产能

AI芯片生产：

目前，环球AI芯片生产占台积电现有的前辈封装产能的比例较小，增长空间巨大。
台积电新建一个Gigafab工厂的本钱约为200亿美元，年产量可达10万个晶圆。

供应链寻衅：

包括芯片封装和高带宽内存（HBM）在内的供应链是当前AI GPU扩展的紧张瓶颈。

超级对齐能否担保AI安全

作者认为，当前的AI对齐技能（如通过人类反馈的强化学习，RLHF）在处理超人类智能系统时将会失落效。
RLHF通过让AI考试测验行为，人类随后对其行为进行评分，强化好的行为，惩罚坏的行为，由此来辅导AI遵照人类的偏好。
然而，随着AI变得比人类更聪明，RLHF将无法有效地监督和掌握这些系统。

RLHF的过程概述

超级对齐问题的核心

来源：文章

超级对齐问题在于，如何掌握比我们聪明得多的AI系统。
当前的RLHF技能在AI智能超过人类时将难以为继。
比如，当一个超人类AI系统用一种新的编程措辞编写出百万行代码时，人类评审员将无法判断这些代码是否安全，这使得我们无法连续用RLHF的方法强化模型好的行为，或惩罚它的不良行为。

如果我们不能确保这些超智能系统遵照基本的行为约束，如“不要撒谎”或“遵守法律”，它们可能会学会撒谎、寻求权力，乃至在没有人类监督时进行更加危险的行为。
这些系统的失落控可能导致灾害性后果，包括自我分开做事器、入侵军事系统等。

超对齐问题：RLHF 不会扩展到超人类模型（过去的模型机器人看起来是安全的，现在呢？）

达到AGI之后，统统可能会飞快加速

作者认为，达到AGI之后，人工智能可能会在不到一年的韶光内从大致达到人类水平的系统快速过渡到超人类系统。

这将极大地缩短逐步创造和解决问题的韶光，同时使故障的后果更加严重，造成极高的风险。
我们须要快速适应并确保我们的对齐技能能够跟上这种变革。

要办理超级对齐问题，可能没有一次性、大略的办理方案。
研究职员须要通过一系列履历性策略来对齐超越人类的系统，然后利用这些系统来自动化对齐研究，进一步办理更高等别的对齐问题。

对齐相对超人的模型（Aligning Somewhat-Superhuman Models）

作者认为可以考试测验以下研究方向来对齐相对超人的系统：

评估比天生更随意马虎（Evaluation Is Easier Than Generation）：评估输出比天生输出要随意马虎。
比如，评估一篇论文是否优质，比自己写一篇论文要大略。
可扩展监督（Scalable Oversight）：利用AI助手帮助人类监督其他AI系统，人类和AI团队可以比单独的人类更好地进行监督。
泛化（Generalization）：研究AI系统在人类监督的大略问题上的表现如何泛化到繁芜问题上。
可阐明性（Interpretability）：通过理解AI系统的内部推理来验证和信赖这些系统的对齐性。

研究超级对齐的一个大略比喻：我们不是用人类来监督一个超人类模型，而是可以研究一个小模型监督一个大模型。
例如，我们能否仅用 GPT-2 来对齐 GPT-4？这样做能否使 GPT-4 适当地概括“GPT-2 的意图”？图源：OpenAI文章 Weak-to-strong generalization

在 NLP 基准测试中范例的从弱到强的泛化：我们利用 GPT-2 级别的模型作为弱监督器来微调 GPT-4。
图源：OpenAI文章 Weak-to-strong generalization

自动化对齐研究（Automating Alignment Research）

而超级对齐就像AI本身的发展一样，须要自动化对齐研究来办理真正的和超级智能对齐问题。
如果我们能对齐相对超人的系统，并相信它们，我们将有数百万自动化的AI研究职员来帮助我们办理更高等的对齐问题。

对齐难度的等级拜会上图。
图源：AI ALIGNMENT FORUM 文章 Could We Automate AI Alignment Research?

超级防御（Superdefense）

“超级对齐”该当只是达到AGI之后进行防御的第一层。
我们还须要更多的防御层次来应对可能的失落败，例如：

安全性（Security）：利用绝对隔离的集群作为防御超智能系统自我分开和造成现实天下侵害的第一层防御。

监控（Monitoring）：高等监控系统可以检测AI系统是否有恶意行为。

有针对性的能力限定（Targeted Capability Limitations）：尽可能限定模型的能力以减少失落败带来的影响，例如，从模型演习中删除与生物和化学干系的内容。

有针对性的演习方法限定（Targeted Training Method Restrictions）：避免利用风险较大的演习方法，尽可能延长具有可阐明和虔诚推理链的演习。

虽然看起来困难重重，但作者对超对齐问题的技能可行性持乐不雅观态度，认为在深度学习领域有很多低垂的果实可以帮助我们办理这些问题。
然而，达到AGI之后的高风险和快速变革使得这一过程变得非常紧张，须要极高的管理能力和科学决策能力。

AGI现实主义者

在作者看来，专家们每年都会宣告：“深度学习的发展碰着瓶颈了！
”纵然是在旧金山，两种很不严明的谈论也让人们的不雅观点变得非常两极分解！

一端是末日论者。
他们多年来一贯痴迷于AGI。
作者说他非常信赖他们的先见之明。
但他们的思想已经变得僵化，分开了深度学习的履历现实，他们的发起稚子而不可行，他们未能与真正的威威信胁打仗。

他们狂热地流传宣传恶运的几率为99%，呼吁无限期停息人工智能——这显然不是办法。

尤德科斯基回应了像埃隆·马斯克和其他科技界人士所表达的担忧，他们主见停息人工智能研究六个月。
图源：纽约邮报 Silicon Valley doomsayer warns of AI: ‘I think we’re all going to die’ 盖蒂图片社；纽约邮报合成

另一端是所谓的“加速主义者”——e/accs。

已知关于e/acc或有效加速主义的最早引用出自2022年5月31日和6月1日，Twitter用户@zetular、@BasedBeff和@creatine_cycle“与兄弟们一起创造了一种新哲学”。
图源：网络

他们的不雅观点有可取之处：人工智能的进步必须连续发展。
但在他们肤浅的Twitter垃圾帖子背后，暗藏着叵测的用心——他们是只想建立自己的套壳初创公司，而不以AGI为目标的生手。
他们声称自己是自由的守卫者，但无法抗拒臭名昭著的独裁者现金的诱惑。

事实上，他们是真正的结束论者。
在他们试图否认风险的过程中，他们也否认了AGI；从实质上说，他们只能做出一个很酷的谈天机器人，这些谈天机器人肯定不会有危险。

在作者看来，这个领域最聪明的人已经聚拢赴任别于以上两种态度的第三种角度。
他们以创新的眼力和办法认识和追求AGI，作者称之为AGI现实主义：

超级人工智能事关国家安全。

我们正在迅速制造比最聪明的人类更聪明的机器。
这不是一次看起来很酷的硅谷热潮；这不是一个由编写无辜开源软件包的程序员组成的毫无门槛的社区；这不是乐趣和游戏。
超级智能的发展将是猖獗的；它将是人类有史以来建造的最强大的武器。
对付我们所有参与个中的人来说，这将是我们做过的最主要的事情。

我们不能搞砸了。
认识到超级人工智能的力量也意味着认识到它的危险——无论是由于人类利用了我们相互毁灭带来的毁坏性力量，还是由于我们正在召唤的外星物种是我们还不能完备掌握的东西。

想让超级人工智能变得可控，即兴发挥是不能办理问题的。
驾驭这些危险将须要精良的人带着前所未有的严明来到会谈桌上。