当人们为人工智能技能的突飞年夜进而欢呼雀跃，并期盼着超级人工智能到来时，我们不能忘了人类正面临着一个非常关键的寻衅：如何确保人工智能的发展以人为本，基于人类的共同代价造福人类？这本书为我们带来了罗素教授多年潜心的研究成果和深刻洞见，读起来令民气旷神怡。

——张宏江（智源研究院理事长）

撰文 | 斯图尔特·罗素（加州大学伯克利分校打算机科学家，人类兼容人工智能中央主任）

01 近未来

1997年5月3日，IBM制造的国际象棋打算机“深蓝”和国际象棋天下冠军加里·卡斯帕罗夫（Garry Kasparov，或许是历史上最精良的人类棋手）之间的国际象棋比赛开始了，美国《***周刊》称这场比赛是“大脑的末了一战”。
前5局，双方2.5∶2.5平分秋色。

5月11日，“深蓝”在决胜局中降服了卡斯帕罗夫。
IBM的市值一夜之间增加了180亿美元。
所有人都说，人工智能取得了巨大的打破。
从人工智能研究的角度来看，这场比赛根本没有打破。
“深蓝”的胜利虽然令人印象深刻，但它只是延续了几十年来显而易见的趋势。
国际象棋算法的基本设计是由克劳德·喷鼻香农在1950年提出的，这一基本设计在20世纪60年代初实现了重大改进。
此后，最精良的国际象棋程序的等级评分稳步提高，这紧张是由于打算机速率更快，让程序能够算到未来更远处。

1994年，我和彼得·诺维格列出了1965年以来最好的国际象棋程序和国际象棋棋手的等级评分。
在这个评分系统中，卡斯帕罗夫的评分是2805分。
1965年，国际象棋程序的等级评分从1400分开始，在随后的30年里以一条近乎完美的直线上升。
从1994年开始推算，系统预测打算机将会在1997年击败卡斯帕罗夫，而这与现实完备符合。

对人工智能研究职员而言，真正的打破发生在“深蓝”进入公众视野之前的三四十年。
类似的，在深度卷积网络开始成为***的20多年前，它就已经存在了，所有的数学问题都完备办理了。

公众年夜众从媒体上看到的人工智能取得打破的不雅观点——人类取得的辉煌胜利，机器人成为沙特阿拉伯公民等，与全天下各地的研究实验室里真正发生的事情险些没有关系。
在实验室里，研究包括大量的思考、互换和在白板上写数学公式。
想法不断产生、被抛弃和重新被创造。
好的想法，即真正的打破，每每在当时没有被把稳到，可能直到后来才会被认为给人工智能的重大进步供应了根本，或许是当有人在更得当的韶光重新改造它的时候。
想法是经由试验的，它最初每每在大略的问题上证明了基本直觉的精确性，然后在更困难的问题上，我们才能不雅观察到想法的延伸效果。
常日，一个想法本身并不能供应能力上的本色性改进，它必须等待另一个想法的涌现，二者结合才能证明代价。

所有这些活动都是外界完备看不见的。
在实验室之外的天下里， 只有当想法逐渐积累，当其有效性的证据超越一个阈值时，人工智能才会被看到：在这个临界点上，人工智能值得投入资金开展技能事情，创造新的商业产品或令人印象深刻的演示了。
然后，媒体宣告我们取得了打破。

因此，人们可以预期，在未来几年里，天下各地的研究实验室酝酿的许多其他想法将超过商业适用性的门槛。
随着商业投资率的提高，以及天下对人工智能运用的接管程度越来越高，这种情形将会越来越频繁地发生。
本章供应了一些我们很快就会看到的例子。
在此过程中，我将提到这些技能进步的一些缺陷。
你可能会想到更多的缺陷，但别担心。
我将不才一章谈论这些内容。

02 人工智能生态系统

最初，大多数打算机的运行环境基本上是空洞无形的：它们唯一的输入来自穿孔卡片，唯一的输出方法是在行式打印机上打印字符。
大概由于这个缘故原由，大多数研究职员将智能机器视为问答系统。
直到20世纪80年代，机器作为智能体在环境中感知和行动的不雅观点才被广泛接管。

20世纪90年代，万维网的涌现为智能机器开辟了一个全新的天地。
人们创造了一个新词“Softbot”，用来描述完备在Web等软件环境中运行的“软件机器人”。
Softbot（后来被称为 bot，即机器人）可以感知网页，并通过发出字符序列、网址等来实行动作。

人工智能公司在互联网繁荣期间（1997—2000年）迅速发展，为搜索和电子商务供应了核心能力，包括链接剖析、推举系统、信誉系统、比较购物和产品分类。

世纪初，配有麦克风、摄像机、加速计和GPS的手机遍及开来，为人工智能系统进入人们的日常生活供应了新的路子。
亚马逊Echo、谷歌Home和苹果HomePod等“智能音箱”已经完成了这一过程。

到2008年旁边，接入互联网的物体数量已经超过了接入互联网的人数，这一转变被一些人认为是物联网（IoT）的开端。
这些物体包括汽车、家用电器、交通灯、自动售货机、恒温器、四轴翱翔器、摄影机、环境传感器、机器人，以及在制造、分销和零售系统中的各种物料。
这为人工智能系统供应了更强大的感知能力和对现实天下的掌握路子。

末了，随着感知能力的提高，人工智能机器人得以走出工厂，进入真实的、非构造化的、混乱的天下，在工厂里它们依赖于严格约束的工具排列，而走出工厂之后，它们的摄像机可以看到一些有趣的东西。

03 无人驾驶汽车

20世纪50年代末，约翰·麦卡锡设想有一天会有一辆无人驾驶汽车把他送到机场。
1987年，恩斯特·迪克曼斯（Ernst Dickmanns）在德国的高速公路上展示了一辆无人驾驶的奔驰面包车，它可以保持在车道上行驶，尾随在另一辆车后面，变换车道、超车。
330多年过去了，我们仍旧没有一辆全自动汽车，但间隔它成为现实已经越来越近了。
开拓的重点早已从学术研究实验室转移到大公司。
截至2019年，性能最好的测试车辆已经在公共道路上行驶了数百万英里（在驾驶仿照器中行驶了数十亿英里），没有发生严重事件。
不幸的是，其他无人驾驶汽车和半自动驾驶汽车已经造成数人去世亡。

我们为什么要花如此长的韶光才能实现安全的无人驾驶？第一个缘故原由是，性能哀求非常严格。
在美国，人类司机大约每行驶1亿英里会遭遇一次致命事件，这设置了一个很高的标准。
无人驾驶汽车要想被人们接管，就须要表现得比这更好，大概要每行驶10亿英里涌现一次致命事件才行。
或者说，无人驾驶汽车如果每周行驶40小时，则25000年才会涌现一次致命事件。

第二个缘故原由是，一个预期的变通办法——当交通情形混乱或超出其安全操作条件时，将掌握权交给人类，根本行不通。
当汽车无人驾驶时，人类很快就会分开当前的驾驶环境， 无法足够迅速地重新理解周围环境，安全地接管汽车。
此外，如果出了什么问题，坐在后座的非驾驶员或出租车搭客将无法驾驶汽车。

目前的项目目标是达到美国汽车工程师学会（SAE）的L4级自动驾驶。
这意味着车辆必须在任何时候都能够自动驾驶、安全停车，但是它受地理条件和蔼象条件的限定。
由于地理和蔼象条件可能会发生变革，并且可能涌现L4 级车辆无法处理的非常情形，以是必须有人在车内，并在须要时随时准备接管汽车。
（L5级是不受限定的自动驾驶，它不须要人工驾驶，但更难实现。
）

L4级自动驾驶的自主性远远超出了大略的反射型任务，如在白线内侧行驶和避开障碍物。
车辆必须基于当前和过去的不雅观察结果，评估所有干系物体的意图和未来可能的轨迹，包括评估现在可能看不到的物体。
然后，利用前向搜索，车辆必须找到一条优化了安全性的提高路径。
一些项目正在考试测验采取更直接的方法，这些方法基于强化学习（当然紧张是仿照）和监督学习（从数百名人类驾驶员的记录中学习），但是这些方法彷佛不太可能达到所需的安全水平。

无人驾驶汽车的潜在好处是巨大的。
每年，车祸造玉成天下120万人去世亡，数千万人受重伤。
无人驾驶汽车的合理目标是将这些数字降落到现在的10%。
一些剖析还预测，交通本钱、停车场举动步伐本钱将因此降落，拥堵和污染情形也将有所好转。
城市中的私家车和大型公共汽车将转变为无处不在的共享无人驾驶电动汽车，供应门到门的交通做事，并为枢纽之间的高速公共交通连接供应支持。
由于每位搭客每英里的运输本钱低至3美分，大多数城市可能会选择免费供应这项做事，而让搭客承受没完没了的广告轰炸。

当然，要得到所有这些好处，业界必须戒备风险。
如果有太多的去世亡归因于设计不当的实验车辆，监管机构可能会停息操持中的支配，或者履行可能几十年内都无法达到的极其严格的标准。
当然，人们可能会决定不购买也不乘坐无人驾驶汽车，除非它们确实是安全的。
2018年的一项民意调查显示，与2016年比较，消费者对无人驾驶汽车技能的信赖度大幅低落。
纵然这项技能取得了成功，向无人驾驶的过渡也将是一个令人感到尴尬的过程：人类驾驶技能可能会退步或消逝，而由人类驾驶汽车这种冒失和反社会的行为可能会被完备禁止。

04 智能个人助理

到目前为止，大多数读者都已经体验过不太智能的个人助理：把从电视购物节目入耳到的话当成购买指令去实行的智能音箱，或者听到“给我打电话叫救护车！
”（Call me an ambulance!）之后回答“好的，从现在开始我叫你‘Ann Ambulance’”的手机谈天机器人。
这些系统实质上是运用程序和搜索引擎的语音接口，它们紧张基于固定的刺激—反应模板。
这种方法可以追溯到20世纪60年代中期的Eliza（人工智能软件）。

这些早期的系统有三大毛病：访问毛病、内容毛病和语境毛病。
访问毛病，即它们对正在发生的事情缺少感官意识，例如，它们可能能够听到用户在说什么，但看不到用户在和谁说话。
内容毛病，即它们根本无法理解用户所说的话或发送的短信的含义，即便它们可以访问这些内容。
语境毛病，即它们缺少跟踪和推理日常生活的目标、活动和关系的能力。

只管存在这些缺陷，智能音箱和手机助手仍为用户供应了足够的代价，它们进入了数亿人的家中和口袋里。
从某种意义上讲，它们是人工智能的“特洛伊木马”。
由于它们就在你的身边，嵌入险些每个人的生活中，它们的能力的每一个眇小进步都代价数十亿美元。

因此，进步正在密集而又迅速地到来。
或许最主要的是理解内容的基本能力：当它听到“约翰在医院”时，它要不仅仅会回答说“但愿没有什么大碍”，而且还应理解更多实际信息，比如用户8岁的儿子在附近的医院，并且可能受了严重的伤或生了病。
访问电子邮件和文本通信以及（通过屋内的智能音箱）访问电话和家庭对话的能力， 将为人工智能系统供应足够的信息，它以此来构建关于用户生活的合理且完全的画面。
这大概比为19世纪贵族家庭事情的管家或为如今的CEO（首席实行官）事情的行政助理得到的信息还要多。

当然，仅仅理解原始信息是不足的。
智能助理要想真正发挥浸染，还须要理解天下运转的知识：医院里的孩子不可能同时待在家中，因手臂骨折而住院的时长很少会超过一天或两天，孩子的学校须要提前知道缺勤情形等。
这样的知识使智能助手能够跟踪它没有直接不雅观察到的东西，这是智能系统的一项基本技能。

我认为，上一段中描述的能力在现有的概率推理技能下是可行的，但是这须要花费非常大的努力来构建构成我们日常生活的各种事宜和事务的模型。
到目前为止，由于所涉及的本钱和不愿定的回报，知识类的建模项目常日还没有开始（可能在情报剖析和军事操持的分类系统中除外）。
然而现在，这样的项目很随意马虎触及数亿名用户，因此投资风险更低，潜在回报更高。
此外，通过打仗大量用户， 智能助理可以快速学习并补充知识上的所有空缺。

因此，人们有望看到的智能助理是，用户每月只需付几美分就可以让它帮助自己管理越来越多的日常活动：日程、旅行、家庭购物、支付账单、辅导孩子作业、发电子邮件和打电话、提醒、伙食操持，以及人们“做梦都想找到的”钥匙。
这些技能不会分散在多个运用程序中。
相反，它们将是一个单一、综合的智能体的各个方面，这些方面可以从协同浸染中受益，就像军事职员所说的“通用作战态势图”那样。

智能助手的通用设计模板包括：关于人类活动的背景知识、从感知和文本数据流中提取信息的能力，以及使智能助手适应用户的特定环境的学习过程。
相同的通用模板至少可以运用于其他三个紧张领域：康健、教诲和财务。
对付这些运用程序，系统须要跟踪用户的身体、思想和银行账户的状态（广义地说）。
与日常生活中的助理一样， 在这三个领域中创建必要的通用知识所付出的前期本钱要分摊到数十亿名用户身上。

例如，在康健领域，我们所有人的生理状况大致相同，关于人体如何事情的详细知识已经被编码成机器可读的形式。
系统将适应你的个人特点和生活办法，供应疾病的预防建媾和疾病的早期预警。

在教诲领域，智能传授教化系统的前景早在20世纪60年代就得到了承认，但真正的进步还须要很永劫光。
紧张缘故原由是内容和访问上的毛病：大多数传授教化系统不理解它们声称要教授的内容，也不能通过语音或文本与学生进行双向互换。
（我在想象自己用我完备不会说的老挝语教授我完备搞不懂的弦理论的情景。
）语音识别的最新进展意味着，自动化的西席终极可以与尚未完备识字的学生进行互换。

此外， 概率推理技能现在可以跟踪学生的知识节制情形，并优化传授教化内容， 最大限度地提高学习效果。
始于2014年的“环球学习XPRIZE竞赛” 供应了1500万美元奖金，用于开拓“开源的、可扩展的软件，使发展中国家的儿童能够在15个月内自学基本的阅读、写作和算术”。
来自获奖者“Kitkit School”（套件学校）和“onebillion”（十亿）的结果表明，这一目标已基本实现。

在个人金融领域，系统将跟踪个人的投资、收入流、逼迫性的支出和可自由支配的支出、债务、利息、紧急准备金等，就像金融剖析师理解公司的财务情形和前景一样。
与处理日常生活的智能体进行整合，将使系统供应更细致的做事，乃至可以确保孩子得到他们的零费钱，孩子还会由于他们搞恶作剧而被扣掉一部分零费钱。
人们在不久的将来将会得到以往专为超级富豪准备的高质量的日常财务建议。

如果在阅读上面几段时，你的“隐私警报”没有响起，那解释你没有关注***。
然而，隐私问题有多个层面。
首先，如果你的个人助理对你一无所知，那么它真的有用吗？大概没用吧。
其次，如果个人助理不能从多个用户那里采集信息，从而更多地理解普通人和与你类似的人，那么它真的有用吗？大概没用吧。
因此，这两件事是否意味着我们必须放弃我们的隐私，才能在日常生活中受益于人工智能呢？

答案是否定的。
缘故原由是学习算法可以利用安全多方打算技能对加密数据进行操作，这样用户就可以在不危害自身隐私的情形下从资源池中获益。
软件供应商会在没有立法规定的情形下志愿采取隐私保护技能吗？这还有待不雅观察。
然而，彷佛不可避免的是，只有当个人助理的紧张职责是为用户做事，而不是为开拓它的公司做事时，用户才会信赖它。

05 智能家居和家用机器人

智能家居的观点已经发展了几十年。
1966年，西屋电气的工程师詹姆斯·萨瑟兰（James Sutherland）开始搜集多余的打算机部件，用来打造第一台智能家居掌握器ECHO。
不幸的是，ECHO重800磅，电功率3.5千瓦，却只能管理三个数字时钟和电视天线。
随后的系统又哀求用户节制极其繁芜的掌握界面。
不出所料，它们从未盛行起来。

从20世纪90年代开始，几个年夜志勃勃的项目试图设计出能够在人为干预尽可能少的情形下进行自我管理的住宅，并利用机器学习来适应居住者的生活办法。
为了让这些实验故意义，必须有真人住在屋子里。
不幸的是，缺点决策的频繁涌现使系统变得糟糕透顶——居住者的生活质量非但没有提高，反而低落了。
例如，在华盛顿州立大学2003年的MavHome项目中，如果访客的就寝韶光比居住者常日的就寝韶光晚，那么他们就不得不坐在阴郁中，而这种情形常常发生。
就像不太智能的个人助理一样，这样的失落败缘于系统对居住者活动的感官打仗不敷，以及无法理解和节制屋子里发生的事情。

配备了摄像头、麦克风，拥有必要的感知和推理能力的真正的智能住宅，可以理解居住者在做什么：做客、用饭、睡觉、看电视、阅读、磨炼、为长途旅行做准备，还是跌倒后无助地躺在地板上。
通过与智能个人助理合营，住宅可以非常清楚地知道谁会在什么韶光进出房间，谁会在哪里用餐等。
这种理解使它能够管理暖气、照明、百叶窗和安全系统，及时发送提醒，并在涌现问题时关照用户或供应应急做事。
美国和日本的一些新建公寓楼已经采取了这种技能。

智能家居的代价因其实行器而受到限定。
虽然更大略的系统（定时恒温器、动作感应灯和防盗报警器）对环境不那么敏感，但它们可以用更可预测的办法供应许多相同的功能。
智能家居不能叠衣服、洗碗或拿报纸。
它的确须要一个物理机器人来实行它的指令。

我们等待的韶光可能不会太久。
机器人已经展示了许多必需的技能。
在我的同事彼得·阿贝尔（Pieter Abbeel）所在的加州大学伯克利分校实验室中，BRETT（Berkeley Robot for the Elimination of Tedious Tasks，意为“肃清啰嗦任务的伯克利机器人”）自2011年以来一贯在叠成堆的毛巾，而波士顿动力公司的SpotMini机器人可以爬楼梯和开门。
有几家公司已经在制造烹饪机器人了，只管它们须要分外的封闭式设置和预先切好的食材，而且在普通的厨房里无法事情。

实用家用机器人须要三种基本能力：感知能力、机动性和灵巧性。
个中，灵巧性最成问题。
正如布朗大学的机器人学教授斯蒂芬妮·泰利克斯（Stefanie Tellex）所说：“大多数机器人在大部分韶光里都无法拿起大多数物体。
”其缘故原由有三：一是触觉感知问题；二是制造问题（目前，制造一只机动的机器手本钱非常高）；三是算法问题，我们还没有很好地理解如何将感知和掌握结合起来，以节制和操纵家庭中各种各样的常见物体。
仅仅针对刚性物体就有几十种抓握类型，并且有成千上万种不同的操作技巧，比如从瓶子里倒出两粒药丸，撕掉果酱罐上的标签，在软面包上涂抹硬黄油，或者用叉子从锅里挑起一根意大利面条，看看它是否熟了。

BRETT机器人叠毛巾（左）；波士顿动力公司的SpotMini机器人正在开门（右）

触觉感知和制造问题有可能通过3D（三维）打印来办理，波士顿动力公司已经将3D打印用于Atlas人形机器人的一些更繁芜的部分。
机器人的操作技能正在迅速进步，这在一定程度上得益于深度强化学习。
末了的推动力——把所有这些整合到一起，形成近似于电影中的机器人那种令人敬畏的身体技能，很可能来自相称乏味的仓储行业。

这个行业里只有亚马逊一家公司雇用了几十万人，他们从大型仓库的箱子中挑出产品，然后分发给顾客。
从2015年到2017年，亚马逊每年都会举办一次“挑拣寻衅赛”，以加速能够完成这项任务的机器人的发展。
虽然还有很长的路要走，但当核心研究问题得到办理时——很可能在10年内，我们就可以期待高性能机器人的迅速问世。
它们最初将用于仓库，然后用于其他商业运用，如农业和建筑业，在这些运用中，各种任务和工具都是相对可预测的。
我们也可能很快会看到它们在零售部门做一些事情，比如给超市货架装货和把衣屈服新叠好。

第一个真正受益于家庭机器人的群体是年迈体弱的人，对他们而言，实用的机器人可以供应一定程度的独立性，这种独立性在其他情形下无从得到。
纵然机器人能够完成的任务很有限，而且它们对正在发生的事情只有初步的理解，它们也非常有用。
而要制造那种可以从容地管理家务，并预见主人每一个欲望的机器人管家，我们仍旧有一段路要走，由于这须要某种靠近人类水平的人工智能的通用性。

06 环球层面的智能

发展理解语音和文本的基本能力，将会使智能个人助理可以做一些人类助理做的事情。
（但是它们做这些事的本钱是每月几便士，而不是每月几千美元。
）基本的语音和文本理解能力，也会让机器能够做一些人类做不到的事情——不是由于理解的深度，而是由于事情的规模。
例如，一台具备基本阅读能力的机器将能够在午餐韶光阅读人类曾经写过的所有内容，然后它会四处探求其他事情做。
凭借语音识别能力，它可以不才午茶之前收听每一个广播和电视节目的音频。
比较之下，仅仅为了阅读完当前世界上所有的出版物（更不用说过去所有的书面材料）就须要20万名全职职员，收听当前的广播则还须要6万名全职职员。

这样一个别系，如果它能提取大略的事实性陈述，并能跨所有措辞整合所有这些信息，那么它就会成为令人难以置信的回答问题和揭示模式的资源，可能比目前代价约1万亿美元的搜索引擎还强大得多。
它对历史学和社会学等领域的研究代价将是不可估量的。

当然，监听天下上所有的电话也是可能的（这项事情须要大约2000万人）。
有些秘密机构会创造这很有代价，个中一些机构多年来一贯在进行大略的大规模机器监听，比如找出对话中的关键词，现在已经由渡到将全体对话转录成可搜索的文本。
转录当然有用，但不犹如时理解和整合所有对话的内容有用。

机器可以利用的另一种“超级力量”是瞬间看到全体天下。
粗略地讲，卫星每天以每像素约50厘米的均匀分辨率拍摄全体天下。
在这个分辨率下，地球上的每一栋屋子、每一艘船、每一辆汽车、每一头奶牛和每一棵树都清晰可见。
检讨所有这些图像须要超过3000万名全职员工。
因此，目前没人能遍览绝大多数卫星数据。
打算机视觉算法可以处理所有这些数据，天生一个每天更新的可搜索的环球数据库，还能天生经济活动、植被变革、动物迁徙和人口流动、景象变革影响等的可视化和可预测模型。
像Planet（星球）和 DigitalGlobe（数字地球）这样的卫星公司正忙着把这一想法变成现实。

随着环球层面的感知成为可能，环球层面的决策也在成为可能。
例如，通过环球卫星数据，人们可以建立详细的模型来管理环球环境，预测环境和经济干预的影响，并为联合国的可持续发展目标供应必要的剖析输入。
我们已经看到了“聪慧城市”掌握系统，它旨在优化交通管理、运输、垃圾网络、道路维修、环境保护和其他造福市民的功能，这些可能会拓展到国家层面。
直到最近，这种程度的折衷仍旧只能通过弘大、低效的人类官僚机构来实现，这些将不可避免地被照顾我们集体生活越来越多方面的超级智能体所取代。
当然，随之而来的可能是环球范围内的隐私陵犯和社会掌握，我将不才一章谈论这个问题。

人们常常让我预测超级人工智能何时到来，而我常日谢绝回答，缘故原由有三。
首先，历史上预测出错的情形常常涌现。
例如，1960年，人工智能先驱、诺贝尔经济学奖得主赫伯特·西蒙（Herbert Simon）写道：“从技能上讲……20年内，机器将能够胜任人类能做的统统事情。
”1967年，达特茅斯会议（1956年该研讨会首次提出“人工智能”的观点）的联合组织者马文·明斯基写道：“我相信，在一代人的韶光内，机器会占领险些所有智力领域，创造‘人工智能’的问题将得到本色性办理。
”

第二个缘故原由是，超级人工智能将要超过的门槛并不明确。
机器在某些领域已经超越了人类的能力。
这些领域将会被拓展和深化，在我们拥有一个完备通用的超级人工智能系统之前，很有可能会涌现“超级通用知识系统”“超级生物医学研究系统”“超级机动和敏捷的机器人”“超级企业方案系统”等。
这些“不完备超级智能”的系统，无论是单独的还是集体的，都会产生许多与通用智能系统相同的问题。

第三个缘故原由是，超级人工智能何时到来在实质上是不可预测的。
正如约翰·麦卡锡在1977年的一次采访中指出的那样，超级人工智能须要“观点上的打破”。
他接着说：“要想造出超级人工智能，你须要的是1.7个爱因斯坦和0.3个曼哈顿操持，而你首先须要的是爱因斯坦。
我相信这须要5到500年的韶光。
”不才一节中，我将阐明一些观点上的打破可能是什么。
它们到底有多不可预测？大概就像在卢瑟福宣告链式核反应完备不可能的几个小时后，西拉德就发明了链式核反应一样不可预测。

在2015年天下经济论坛的一次会议上，我回答了我们何时才能看到超级人工智能的问题。
这次会议是按照“查塔姆宫守则”进行的，这意味着任何出席会议的人都不能对外揭橥任何辞吐。
即便如此，出于谨慎的考虑，我还是在我的回答前面加上了“严格保密”4个字。
我提出，除非发生灾害，否则超级人工智能很可能涌如今我孩子的有生之年。
由于他们还很年轻，随着医学的进步，他们可能比参加会议的许多人活得更长。
结果不到两个小时后，《逐日电讯报》就刊登了一篇文章，引用了我的辞吐，还配上了狂暴的闭幕者机器人的图片，标题是《“反社会”机器人可能在一代人的韶光里超越人类》。

我提出的韶光点（比如说那之后80年）比范例的人工智能研究者的不雅观点要守旧得多。
最近的调查表明，大多数生动的研究职员估量人类水平的人工智能将在21世纪中叶到来。
我们在核物理学方面的履历表明，假设进展可能会很快涌现，那么人们做好相应的准备才是明智的。
如果只须要一个类似于西拉德创造中子诱发的链式核反应这种观点上的打破，某种形式的超级人工智能就可能会溘然涌现，那么到时我们很有可能毫无准备：如果我们制造出了具有任意程度自主能力的超级智能机器，我们很快就会创造人类无法掌握它们。
然而， 我相称有信心，我们尚有喘息的空间，由于现在和超级人工智能之间还隔着好几个重大打破，而不仅仅是一个。

人工智能可以供应的功能是受限的。
地皮和原材料并不是无限的，因此人口不可能无限增长，也不可能每个人都在私人公园里拥有豪宅。
（由于那须要在太阳系的其他地方采矿，并在太空中建造人工栖息地，但我承诺过不谈科幻小说。
）骄傲也是受限的：在给定的所有指标中，只有1%的人可以排在前1%。
如果跻身前1%才能感到幸福，那么99%的人就不会幸福，纵然那些处在前1%末端的人也拥有客不雅观上美好的生活办法。
因此，对我们的文化而言，逐渐淡化骄傲和妒忌是感知自我代价的主要成分，这一点很主要。

AI新生，由中信出版集团出品

正如尼克·波斯特洛姆（Nick Bostrom）在他的书《超级智能》的结尾所说的那样，人工智能的成功将催生“一条文明轨迹，实现富有同情心地利用人类被授予的宇宙资源的文明的进步”。
如果我们不能充分利用人工智能的上风，那么我们只能怪自己。