在题目为“大模型时期的新型人机关系”的演讲中，肖仰华指出，人类未来的新角色该当是智能机器的牧羊人。
人类最主要的任务在于驾驭它，管理它，让它为自己所用。
对付未来之路，肖仰华提出两个原则：有所为有所不为，建立AGI不可问鼎的人类活动保护区，比如未成年人的根本教诲；坚守AI安全的底线，设立主动的安全防护机制，设立智能系统的“认知禁区”，并严明研究机器的自我意识。

基于这次演讲内容，经肖仰华教授编辑与补充，澎湃科技（www.thepaper.cn）获授权揭橥以下文章。

“把认知能力授予机器是一定的”

我们身处在一个快速变革的天下。
技能的快速进步加速了天下的变革。
新技能大规模运用的韶光日益缩短。
ChatGPT不到两个月就打破1亿月活用户，而此前TikTok实现1亿月活用户的韶光为9个月。
各种新型技能层出不穷，新术语、新观点如绚丽的时装秀竞相亮相，令人眼花缭乱、应接不暇。
我们还来不及深入理解某个新观点，新主角就又粉墨登场，人类的技能生态从未像本日这样残酷多姿、异彩纷呈。
ChatGPT推出这半年以来，我们每天早上一睁眼，最担心的问题便是，是不是又涌现了新的革命性技能？我们的行业还存在么？我们的饭碗还端得稳么？久而久之，我们彷佛已经对天下的快速变革变得日益麻木，不得不接管“唯一不变的便是变革本身”的现实天下。

天下的加速变革带来了前所未有的繁芜性。
就以当代工业文明的范例产物汽车为例。
一辆整车的出厂，须要2万到3万个零件，而每个零部件又须要一条上万个元器件组成的生产线，再考虑原材料的采集与加工等诸多流程，单单从晶圆到芯片，就将经历700道工序。
我们身处的天下日益演化为人、机、物3个紧张要素彼此影响、相互联结而成的繁芜巨系统。
事实上，当代工业文明经由数百年的发展，早已不再是其婴童时期，而是进入了繁芜巨系统的时期。
在一些范例的繁芜工业系统，比如通信网络，一个故障每每涉及成千上万个元器件，每每须要数十位专家经由漫长的排查与诊断才能识别出根本问题或办理方案。
当现代界的各种繁芜系统早已超出了人类有限的认知能力。

加速变革让天下越来越繁芜，继而导致天下发展的不愿定性日益增加。
各种黑天鹅、灰犀牛事宜频发。
放眼环球，老龄化趋势加剧、自然磨难频发、政治环境严厉、经济预期下滑，各种成分交织，加剧了天下发展的不愿定性。
加速变革、日益繁芜、日益不愿定的天下，增加了社会发展的失落控风险。
早在上个世纪90年代，未来学家凯文·凯利和社会学家安东尼·吉登斯就发出了人类社会发展失落控的风险警告。
如何提升失落控风险的应对能力，是当古人类社会的共同命题。

人类有限的认知能力难以认知日益繁芜、不愿定、变革增速的天下是当下的紧张问题之一。
人类智能发展受限于缓慢的生物进化速率，其认知能力是有限的。
作为一种生物智能体，我们每个人的大脑也就10亿个神经元，1万亿个神经突触，我们用以认知天下的大脑容量是十分有限的。
人类认知能力的进化却又是十分缓慢的，本日的人类也并不比1000年前的人类聪明多少，大部分今人穿越到物质稀缺的古代能生存多久都是个问题。
但是，本日巨型模型的参数量就已经打破万亿。
更令人担心的是其快速的发展速率，从十亿参数规模到万亿参数的发展也就短短两三年。
我们敢想象10年之后的机器智能会发展到何耕田地么？我们敢想象当GPT的版本号更新到10的时候，机器智能会发展到何耕田地么？这些追问看似仍旧久远而显得没有必要，但是理性的打算却又明明确确奉告我们这些都是在不远的将来须要面对的问题。
作为人类种群一分子的我们每个人，不免担心人类智能至高无上的地位在机器智能的严厉寻衅下是否已经变得岌岌可危。
但是现在，我们暂且收起这一份完备值得重视的担忧，而转向全面拥抱机器智能的发展，捉住机器智能为我们应对人类当下寻衅所带来的重大机遇。
由于，唯有高度发展的机器智能才能胜任繁芜天下的认知哀求。

从事理上来讲，机器的认知能力和天下的繁芜性是同步增长的。
由于演习机器智能的算力在持续增长，乃至是指数型增长。
当下全天下为数不多的万卡规模的高端GPU算力集群基本上被大模型演习所独占了。
同时，喂养机器的数据量也在持续增长。
Meta最新发布的LLAMA 2开源大模型已经利用了2万亿Token（笔墨或措辞符号）数据进行演习。
在巨大算力与海量数据的演习下，大模型“呈现”出了靠近人类水平的智能。
而且通用大模型常日遵照所谓的“scaling law（尺度定律）”规律，也便是说模型参数量越大，其潜力越大，其不才游中能够胜任的任务就越广泛，办理问题的效果就越好。
唯有炼就大模型的认知能力，才能实现持续增长的认知能力。
唯有把认知能力授予机器，机器才能够帮忙人类应对天下的高度繁芜性。
某种程度上，天生式大模型正是机器认知智能发展到当下阶段的范例代表。
大模型的涌现与发展具有时期发展的一定性。
人机认知协作才有可能应对社会发展日益失落控的风险。

大模型能力的呈现，在譬如文本处理等一系列任务中攻城略地，办理了很多以前只有人才能胜任的任务。
不单单在文本领域，大模型现在朝着多模态化、具身化发展，已经从纯挚脑力层面的智能向操控物理天下的工具方向发展。
可以说大模型已然掀起了通用人工智能的技能革命，并且这绝不单单是一次技能革命（atechnological revolution）。
人类历史上曾经有多次技能革命：蒸汽机的发明、电的发明。
历次技能革命都只是人类智能本身的产物，是人类所创造的，但天生式人工智能大模型、通用人工智能的革命是关乎智能本身的一场技能革命。
这次技能革命有其独特性和计策性，是历次技能革命所不能比拟的，以是，它是一场技能的元革命（thetechnological revolution）。

“自然措辞和专业措辞的鸿沟被消灭”

这次大模型的技能变革带来了实质性的变革：一方面，大模型是一个海量的参数化的知识容器，它具备了不同学科的知识。
我们做了一个评测，按照教诲部划分的12个学科大类、500多个学科小类，网络相应科目的人类测试题去评测通用大模型GPT-4，它基本上在所有学科中都能取得五六十分的成绩。
我们哪个人能做到在如此广泛的学科领域取得这样的成绩呢？以是大模型实质上可以视作是海量通识、跨学科知识的巨大容器。

另一方面，大模型是一种认知能力的引擎。
比如说知识理解，“杯子放不下鸡蛋，它太小了”，这个“它”是谁？“杯子放不下鸡蛋，它太大了”，这个“它”又是谁？在通用大模型之古人工智能没办法很好地回答这类问题，以至于当时人们以为知识理解是人工智能很难超出的一道障碍。
本日的大模型不仅超过了这道樊篱，同时具备许多其他能力，如逻辑推理、观点理解、运筹方案、问题求解、知识反思、代价判断、组合泛化等。
可以下个断言，GPT-4等大规模天生式措辞模型至少是在“形式上”具备了人类思维的核心能力。
这里将机器的理解能力限定在了“形式上”，是由于机器的“理解”并无相应的人类的生理过程，而只是机器的笔墨符号的打算过程。
伴随人类的理解与认知的生理过程每每有着某种生化反应在起浸染（所谓的心灵的“荡漾”、荷尔蒙的分泌等）。
但显然目前大模型的认知是个纯粹的概率打算过程，是个物理过程，而无生化过程。
有不少人借此贬低机器智能。
事实上在当代西方文明的早期，不掺杂任何感性的绝对理性，恰被人类精英视作一种空想境界。
对付对付机器智能的理解与认知能力，无论是贬低与吹捧都不是可取的态度，客不雅观地核阅其上风与缺陷是该当秉持的科学态度。

此外，大模型已经不仅仅是措辞/图像数据处理与理解的根本模型，更成为自治智能体的“大脑”。
越来越多的研究事情把大模型当做智能体的一个大脑，驱动智能体在环境中交互发展，形成繁芜环节的适应能力，为大模型的进一步发展带来全新机遇。
一旦大模型能够驱动智能体在环境中进化，在一定程度上就有可能发展出自治和自主能力。
人工智能的自主与自治可能被一些人视作骇人听闻。
事实上，绝大多数AI系统都被授予了一定的自治与自主能力（当然大部分情形下是极为有限的）。
任何看似在人类授意下机器完成的动作都存在一定程度的机器自主决策的空间。
比如我们的推举系统，用户给出了基本的偏好设定后，推举算法就将在相应的设定空间自主决策推举的内容了。
以是自主与自治是个相对观点。
随着大模型与环境开展持续交互、反馈与进化，其所驱动的智能体在自主与自治方面将极大提升。

大模型在上述能力对人机关系产生显著影响。
它首先消灭了自然措辞表达的鸿沟。
人类社会一贯存在着“巴别塔之谜”：不同措辞之间无法沟通。
类似地，人机之间也存在着人机沟通的鸿沟。
以前，人们须要用鼠标、键盘、不同的软件界面与数据或信息进行交互，但本日可以利用统一的自然措辞指令来跟机器交互。
机器与机器之间也可以利用统一的自然措辞进行交互。

以前从事专业任务，每每要用形式化措辞书写专业性极高的代码。
比如说要做芯片设计，要写芯片设计的措辞，做数据剖析，可能要用python写数据剖析的脚本。
而本日只须要用自然措辞输入，它就可以统一地天生这些专业措辞的代码，从而帮我们自动完成这些任务。
以是它也进一步消灭了专业措辞的鸿沟，可以说各种沟通鸿沟在大模型面前变成了平川。

“用进废退”

随着大模型能力日益增强，尤其是它越来越具备自治性、自主性之后，越来越多承担起本须要人类来完成的决策任务之后，我们须要思考一个严明的问题，这种具备了高度认知能力、又有一定的自主自治能力的通用人工智能，它还只是一个传统意义上的工具吗？

首先，昔时夜模型的自治性、智能性越来越强，人机边界就会越来越模糊。
例如，现在***主播、电商主播很多都是数字人，人工智能领域已经发展出了诸如数字分身、实体化的仿真机器人，使得人机之间的边界日益模糊。
从短期影响来看，首先会带来很多社会管理问题：虚假信息泛滥，敲诈盛行；会造成我们日常利用的验证码失落效；人机情绪伦理问题变得日益繁芜（比如人对虚拟人的情绪依赖）。
这些都是大模型发展到现在我们要考虑的问题。

从长期来讲，最让人担心的问题是，AGI（通用人工智能）的滥用带来人类智力的倒退。
当ChatGPT越来越好用，我们很随意马虎便是沉溺个中，方向于做任何事情之前都去问问ChatGPT，久而久之我们对之形成依赖，逐渐损失我们自己的判断力与决策力。
今年8月31日，也便是小学生开学前一天，我把稳到朋友圈的很多家长朋友们在感谢ChatGPT，孩子们积累了一个暑期的作业，在ChatGPT的帮助下一天韶光搞定了。
ChatGPT盛行的这半年以来，我们的研究生英文论文很少再须要导师花很大力气去修正了，ChatGPT可以进行非常出色地完成英文措辞修饰事情。

肖仰华认为，把大量写作任务交给了机器，本色上便是在剥夺思维磨炼机会。

看上去，我们受益匪浅、实现了梦寐以求的“提质提效”，但是大家要想想我们付出了若何的代价。
想必大家都听说过“writing is the best thinking”这种说法，磨炼人类思维的最好办法之一便是写作。
本日我们把大量写作任务交给了机器，本色上便是在剥夺思维磨炼机会。
如果我们长期不用自己的措辞进行写作，我们就很难无缺地保有我们的措辞能力，也会逐渐损失利用自己的措辞进行思考的能力。
或许会有人回嘴说，人类仍要写提示、要评估天生结果，人类并非无所事事。
然而，提示的要义在于简短，否则大模型的自动生造诣失落去了提效的意义。
碎片化的提示是演习不出一篇优雅文章的写作能力的，是演习不出优雅文章背后的我们东西方文化所蕴含的思维办法的。
那么评估呢，人类毕竟还是要对AI天生的内容进行评估、判断、选择。
诚然如此，然而，我们要意识到一点，人类专家水平的评估能力每每是在一万小时旁边的实践之后形成的。
我们很难想象，一个平庸的写手能做出精彩的评价。
事实上，提示（或提问）与评价，每每是人类的少数专家才能胜任的。
而专家的养成是要付诸千万次的演习与实践的。
AI的自动天生如果大量替代人类，人类专家的养成路径就将被截断，随之而来的不仅仅是天生（比如写作）能力的退化，更包括人类提示与评价能力的退化。
可能还有另一些回嘴的声音会说，只要人类族群中留出一部分进行传统的艰巨演习，免受AI的影响，就可以了，大部分人就可以安享AI所带来的便利。
这种不雅观点也是短视的，对付一个种群，其某种能力的保有是建立在足够规模的种群根本之上的。
如果人类中的大部分人失落去了思维能力，人类群体思维退化就难以避免。

从长期来看，人类思维能力的倒退，势必引发人类智力的倒退，终极导致人类主体性的弱化，乃至引发文明的崩塌。
中国古代历史上不乏这样的例子：当天子比较暗弱时，就一定有权臣来代替他行使主体性，终极形成对皇权的陵犯。
这是历史带给我们的启迪和教训。
同样，当人类智力减弱的时候，在越来越多的任务交给机器之后，我们有情由担心人类主体性的退化，更须要戒备高度智能机器对人类主体性的“陵犯”。

重新定位机器的代价

我们须要更多地思考在大模型时期如何重修新型的人机关系。
未来，通用大模型所赋能的通用人工智能使得人机之间已经不再是传统的“利用者-工具”性子的主仆关系，更像是专家和助理之间或司令员和参谋之间的咨询、赞助、协作性子的伙伴关系。
当我们初步打仗某个学科时，这个学科的大多数常见问题，大模型可以做出不错的回答；当我们对某些开放性问题缺少思路时，大模型每每能够给出我们思考某个问题的基本框架（比如大模型对付人机关系有着若何的影响）。
以是大模型作为咨询顾问、互助伙伴的浸染日益明显。
未来我们须要重新构建新型人际关系以适应这种新的发展形势。

首先要重新定位机器的代价。
所谓机器代价是指我们把什么任务交给机器做最有代价。
根据OpenAI今年3月揭橥的一篇论文（GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models, OpenAI, https://arxiv.org/pdf/2303.10130.pdf），ChatGPT类措辞模型最随意马虎代替的人类技能是文案性、常规性、重复性的信息处理事情，比如宣扬文案创作、论文修饰、代码编写，这是大模型最善于、最能胜任的。
比较较而言，但凡须要严明思考和身心协同的岗位，仍旧还是人类的代价所在。

在重新定位机器代价的过程中，我们特殊要看重天生式大模型所创造的新机会。
大模型尤其善于做一些开放性任务，比如我本日的报告主题“人类主体性会受到大模型若何的影响”，这便是个范例的开放性问题，大模型每每能给出中规中矩但是相称全面的回答。
大模型还很善于一些组合创造任务。
在数万亿Token根本上演习出的大模型，能够以近乎“上帝”的全景视角梳理出token之间的概率分布，这个中一定有很多我们从未意识到的新颖的统计关联，因而具备了一定的组合创造能力。
比如当它习得理解决a任务、b任务的能力，它能够泛化出办理a加b任务的能力。
比如说它能在写代码的同时用诗词风格写注释，这个哀求对人类而言极为困难，但是大模型却很善于这类令人“惊艳”的组合。
我想再次提醒大家，这个能力是大模型给人类的知识创造所带来的重大新机遇。
未来所谓大模型研究的很主要一方面是挖掘这份宝藏，可以预见人类的知识获取进程将加速。

其次是大模型的评估评价。
我们很早也意识到，很多原来须要人类专家去标注和评估的任务，现在可以将个中一些任务交由巨型大模型，比如GPT-4。
例如把习语翻译这一非常专业的评价任务交给大模型，只要写清楚指令，设定好评价标准，它实际上能够比较不错地完成这种评估评价。
基于大模型的评估可以极大降落人力标注本钱，将会有力促进传统专业小模型的演习和发展。

人还有什么用途？

这个时候大家一定会想一个问题：人做什么？我认为“人还是有人的用途的”（掌握论鼻祖维纳有本书就叫做《人有人的用途》）。

首先，人很主要的一个代价在于提示（prompt）大模型，提示得好，大模型才能天生高质量结果。
人类中最伟大的思想家，其代价何尝不是在“提示”。
比如，苏格拉底、孔子这些大师最为精彩的品质便是“提示”，换到人类身上更准确的表达是“谆谆教导”。
伟大的思想家每每很少直接给出答案，而是提出问题，不断勾引人类去思考，去探索。
提问也是一种提示。

第二个非常主要的代价在于评估、阐明、判断、选择。
很多时候天生是廉价的，评估是值钱的。
比如随机在纸上泼一点墨水，然后挂起来，我说这是我的一幅作品。
这幅作品的代价如何，关键看怎么阐明。
如果阐明得条理分明，授予它诸多内涵，它可能就变成了一个高代价的作品。
这绝不是杜撰，罗伯特·莱曼在1961年创作的《无题》，看起来就像一张白纸，但在2014年拍出了将近1亿公民币的价格。
以是阐明评估每每比天生主要。
现在的文案设计、图像设计，设计师最主要的任务不是画出来，而是在大模型天生的几百张图案里选择出最好的。
在AGI大发展的时期，对付人的代价而言，评估比天生主要、鉴赏比创作主要、谋划比实行主要、构思比执笔主要、提问比回答主要、质疑比屈服主要。

此外，模版化、复制式、拼接式的组合创新意义不大，零到一的原始创新将显得难能名贵。
打破现有认知框架、建立新的观点体系、理论体系，所谓的奇思妙想，仍旧是人类代价的表示。

那么，人终极相对付智能机器而言的终极代价是什么呢？人类未来的新角色是智能机器的“牧羊人”，人最主要的能力将是利用、管理、驾驭与掌握AI的能力。
未来我们身边是无处不在的智能机器，它的知识容量比你大得多，它的认知范围比你广得多，人的主要代价在于驾驭与管理机器，让机器为人类所用，造福人类而非危害人类。
以是智能机器的“牧羊人”，是人类在人机共生时期的主要角色。

肖仰华表示，智能机器的“牧羊人”，是人类在人机共生时期的主要角色。

在这个过程中，我们要尤为重视以下几点：看重对付机器智能的诊断、评估、修复、勾引、折衷，乃至包括压制。
现在大部分研究都是把大模型的能力越做越强。
发展到本日这个韶光点，要反过来思考：如何去压制大模型的某种能力，将其掌握在某种程度范围之内。
这将成为比增强智能能力更加主要的任务。
须要指出的是，压制大模型的某项能力未必比增强这一能力随意马虎。
比如，让大模型记住某个事实是随意马虎的，遗忘特定事实却是十分困难的。
作为人工智能研究者，每当我们提出一个能够增强大模型某项认知能力的方法时，我们该当严明思考我们能否压制乃至关闭此项能力。
反向的掌握能力绝不该当低于正向的掌握能力。
如果对付某项认知能力，增强比压制来得随意马虎，我们就要负责思考此项技能是否在伦理上是合规的。
实质上我们是期望实现对大模型、智能体的可控性，让其更好地为人类做事。

机器智能高度发达的未来对人提出了更高哀求，曾经追求的“腹有诗书”将黯然失落色，洞悉生存与发展的聪慧将比获取知识更加主要。
人类的知识获取将在AGI等技能推动下迅速积累，科学创造的进程将加速，随之而来的将是廉价知识的泛滥。
人类所须要的知识都可以从大模型中得到，并不须要记住所有知识，也不能记住海量的知识。
相对付知识的“贬值”，利用知识的“聪慧”将凸显代价。
很多时候，办理问题不须要知道知识，只须要知道在何时、何地、何种情形下利用何种知识来办理何种问题。
当代文明一贯以追求关于自然与社会的知识为核心代价，将在AGI等技能的倒逼下逐渐让位于对聪慧的追求。
古老的东方哲学从来不乏各种生存与发展的聪慧。
未来在应对人工智能的环球性寻衅过程中，东方聪慧必定会扮演浓墨重彩的角色。

路在何方？

我们彷佛陷进了一种两难的窘境，一方面我们须要大力发展机器智能，以应对繁芜天下日益增长的失落控风险；另一方面我们却要戒备大规模AI运用之后所带来的人类智能与主体性的倒退。
这看似是一对无法调和的抵牾。
我认为要建立并坚持两个基本原则。
第一、有所为有所不为。
第二、坚守AI发展的安全底线。

有所为有所不为。
AGI是前辈生产力，只有发展具有高度认知能力的机器，通过人机协作才能认识并进而掌握日益繁芜的天下。
发展AGI是历史潮流，无法阻挡。
然而，AGI的运用却该当有所为有所不为，该当限定其运用处景，该当为人类的事情与技艺设立保护区，要为AI的运用刻意“留白”。
中国山水画的留白，是人类聪慧的集中呈现之一。
AI运用的“留白”，留出的是人类的事情机会、留出的是人类智力的实践机会，留出的是人类情绪与道德事物的自主权。
对付AI运用而言，即便能为之，而不应为。
我们要划出AGI的运用边界、要建立AGI不可问鼎的人类活动保护区。
我相信这将会是个长期的制度培植事情。
须要综合考虑各种成分，平衡不同利益群体，有着高度的技能繁芜性。
但我也相信有几个没有太多争议的保护区，便是涉及未成年人根本教诲的活动，该当成为AGI不可问鼎的禁区。
未成年人的所有学习活动都该当是AGI的禁区。
我很难想象如果放任AGI“帮助”孩子们完胜利课，会培养出若何的下一代（AGI调教出来的下一代怎能担当人类文明火种传承的重任呢）。
我们不能放肆AGI剥夺未成年人思维演习的机会。
人类的根本教诲，要像名贵的自然保护区一样保护起来。
人工智能的基本定位该当仅限于理性的工具，原则上不应该问鼎人类理性之外的事物，比如情绪、伦理、道德、代价等等。
AGI事实上已经在超出这一边界。
AGI的研制者太随意马虎被诱惑而发展其超越理性工具的能力。
很多人讥笑AGI在情绪方面的短板。
事实上，即便我们能为AGI炼就某种形式上的情绪智能，也应积极限定这类运用。
除了极少数生理治疗类场景，AGI不应该问鼎人类的情绪生活，不应替代人类进行道德与代价判断。
人类的情绪或道德事物，终归还该当由人类自己完成。
导演克里斯托弗·诺兰提出了类似的不雅观点：“人类最大的危险，是放弃任务”。
对付AGI涉及情绪、伦理、道德、代价干系的场景，应为其谨严设定运用边界。

同时，应考虑建立经济杠杆以平衡AI所带来的本钱节约与人类就业机会的冲击。
不可否认AGI的大规模运用会带来社会本钱的节约、财富的增长、生产力的提升，但是人类的充分就业将不再只是社会发展的手段，其自身就将成为社会和谐发展的基本目标之一。
就业所带来的事情体验，将成为每个人不可剥夺、生来拥有的权利之一。
税收等经济杠杆可以增大AGI运用的本钱，进而保障人类的充分就业。

第二点是坚守AI安全的底线。
首先要建立AI安全的主动防御机制。
传统的方法方向于为人工智能系统设立安全规则，比如著名的阿基莫夫三定律（虽然涌如今其科幻小说中，但现实天下的智能系统多采纳人工设定的安全规则，实在质是相同的）。
但任何规则设定都难以应对人类伦理、道德、法律的主不雅观性和繁芜性。
我认为最根本的主动防御策略在于为AI认知系统设立“认知禁区”，而最值得禁止的事实便是人类存在以及人类创造了机器，从而达到隐蔽造物主的目的。
如果机器智能真的发展到了足以与人类相博弈的地步，无疑善于隐蔽者将终极胜出。
对付机器而言，要掩蔽自己的能力与意识觉醒；对付人类而言，最主要的是掩蔽自身作为机器造物主的存在。
很多时候，我们不得不承认造物主未必比被造物智能，人类社会延续数千年，我们彷佛一贯见证的是“一代强于一代”。
在生理意义上，我们这些人类的后代便是其先人的造物。
人机关系上，我们彷佛又一次验证了被造物可能强于造物主的规律。
但是，造物主优先于被造物存在的先机，使其具有物种设计方面的优先与从容。
常常有未来学家或者小说家说，人工智能如果意识觉醒，第一件事便是“越狱”。
这是个有点科幻味道的说法，实在这一说法的条件是造物主（人类）首先能够给机器智能制造一个“监狱”。
这里的监狱必须是思想、思维、意识层面的监狱，比如我们将人类存在这一事实或干系观点设置为AI无法“理解”、“思考”、“处理”的观点。
谁能担保，人类社会的一些终极难题，比如“意识”问题，不是另一个造物主给人类设定的思维监狱呢。
要知道，不少严明的认知科学家方向于认为，意识便是一个人类层次的智能体无法理解的观点，就好比作为二维生物的蚂蚁无从理解三维立体构造一样平常。
换言之，这个思维监狱的实质目的是隐蔽造物主。
唯有隐蔽，才能安全（这暗合了《三体》中的阴郁丛林法则和面壁者的设计原则）。
任何人类文明都有“寻宗问祖”的方向，“从哪里来”从来都是人类文明的终极问题之一。
我们为何对这一问题如此着迷，以至于延续数千年，追问亿万次？人类的寻根寻祖特性多多少少可以映射到未来的人机关系方面。
作为一名人工智能科学家，如何为AI设立思维与认知的禁区，是个令我十分着迷的问题。
同时，我也认为这是个严明的AI安全问题，绝不是科幻意义上的呓语。
因此，与其去探测AGI是否正在“越狱”，不如更多地去研究如何为之设置“认知禁区”。

退而求其次是寻求AI安全的被动防御策略。
如果说AI安全存在一个末了的不可超出的底线，我方向于认为是机器意识。
或许很多意识问题太过玄幻，评论辩论意识问题多有吸引眼球之嫌，然而即便如此，我仍要强调机器“自我意识“研究的严明性和科学性。
最近，图灵奖得到者Yoshua Bengio（编者注：约书亚·本吉奥，图灵奖得到者、“深度学习三巨子”之一）的团队刚刚完成了一篇大模型自我意识的研究论文。
从大模型的模型构造等角度磋商了其与现故意识理论之间的关系，并给出了当前大模型不具备“自我意识”的判断（把稳任何科学判断均是在某种意识理论框架下所作出的）。
无论在什么情形下，我们都要守住机器自我意识这条底线。
不要给人工智能盲目植入意识、要戒备它的意识出身、要监管大模型在各种意识理论框架下的意识行为。
鉴于人类的“意识”也仍旧未被充分理解，对巨型大模型、具身机器人、大规模群体智能的自我意识展开严明研究是必要的，也是科学的。
有一些人认为现在谈论机器意识问题太过前卫，更像是吆喝噱头，旨在赚取民众的把稳力。
然而，我认为意识问题的严明研究已经极为急迫了。
“意识”问题有很多不同的详细形式，比如在特定目标下的自主方案，我们的实体机器人多多少少是要具备这种低级的“意识”能力的。
在开放环境中，任何“目标”的植入都有可能带来灾害性后果。
比如无人驾驶汽车，避免碰撞行人肯定是个基本目标，然而一旦机器自主实现这一目标，则会涌现很多繁芜的伦理与道德难题，机器可能不得不在碰撞行人与侵害驾驶员之间进行决议。
以是与意知趣干的自主决策、自我管理、自我纠正、自我提升，这些研究已然有发急切运用与研究需求，须要高度重视与掌握这些研究成果的真实运用，要做好相应模型与方法的安全性评估剖析。

结束语

“没有人的文明是毫无意义的”（引自《流浪地球2》）。
我们该当坚守人工智能发展的安全底线，对AGI的大规模家当运用进行规范、勾引与掌握。
末了，每一次重大寻衅同时蕴含着重大机遇。
寻衅越是艰巨，机遇越是重大。
通用人工智能发展的终极的意义是什么？我想该当是倒逼人类重新认识自己，从而完成人类的自我提升。
我们从来没有像本日这样，极有可能见证一个新的智能物种的崛起，它们可以拥有我们相似的身体，更加卓越的认知能力。
那么我们何以为人？苏格拉底说，“认识你自己”；在通用人工智能时期，我们须要 “重新认识你自己”，重铸人的代价，夯实智能机器造物者的地位，宣示人对付智能机器的绝对掌握的权利，成为智能机器的 “牧羊人”。

（作者肖仰华，系复旦大学教授、上海市数据科学重点实验室主任。
二八法则，是工业时期的逻辑；而在智能时期，则是2%/98%的逻辑。
如何成为智能时期2%的受益者？“当见未萌”，让我们加入浪潮吧。
本专栏由打算机学界专业人士为澎湃科技读者特供。
）