10月18日，中国发布的《环球人工智能管理倡议》，以及11月1日，首届人工智能安全峰会发布的《布莱奇利宣言》，都呼吁人们关注人工智能的安全风险，加强环球协作。
当下，人工智能的发展到了若何的阶段？未来社会，会被人工智能所主导吗？人工智能时期的环球管理该怎么做，有哪些难点？本期节目，特邀中国科学院自动化研究所研究员、类脑智能实验室副主任、人工智能伦理与管理中央主任、联合国人工智能高层顾问机构专家组专家曾毅进行解答。

图为中国科学院自动化研究所研究员、类脑智能实验室副主任、人工智能伦理与管理中央主任、联合国人工智能高层顾问机构专家组专家曾毅曾毅 拍照/伦晓璇

曾教授您好！
欢迎您做客中国网《中国访谈》。

曾毅：您好，各位网友大家好！

中国网：发展人工智能技能的初衷是造福人类，这方面的成效和进展都非常显著。
目前，环球人工智能技能的发展到了若何的阶段和水平？

曾毅：人工智能作为一个学科提出是在1956年，那时候讲的人工智能和现在大家听到的人工智能实在还是挺不一样的。
人类的学习或者是智能的方方面面能够被精确地描述，并且你可以用一个机器去仿照它的话，我们把这样的系统叫做人工智能。
以是，人工智能最开始提出的时候便是面向通用化的，面向人类水平智能并且是去模拟人类智能的。

但实际上，现在在家当当中、生活当中用的人工智能，实在是一个看似智能的信息处理的根本举动步伐，它可以做数据剖析，可以赞助人类做一些任务，但是实际上它的内部机理和人类智能可能没有太多的关系。

我认为，在科学上，该当说人工智能实在这几十年没有特殊多的进展。
但是，它的用户体验的水平可以说在今年达到了前所未有的高度，运用的广泛程度达到了前所未有的高度。
以是，应该客不雅观看待人工智能的进展。
它这种用户的体验达到了前所未有的高度是由于大规模数据的积累，大规模算力，具备这样的根本举动步伐，在这个根本之上，然后运用人工智能的模型和算法，它能够具备处理如此海量数据的规模以及人类的反馈等等，再加上很多工程化的处理使得用户体验达到了前所未有的水平，但是科学上的进展人工智能实在还须要进一步的打破。

中国网：就像您说的，人工智能这些年飞速的发展实在分两个方面，一个是科学方面的进展相对来说没有那么快，但是运用大家的感想熏染是非常良好的，您怎么看待未来人工智能发展的前景以及方向呢？

曾毅：人工智能的发展，未来应该呈现至少两个路子。
一个路子是，我们在家当当中利用的，这种比较宽泛的看似智能的信息处理工具的人工智能，它要从现在的看似智能但是有时候还会犯很多人不犯的缺点的这个阶段，让它把信息处理变成真正的具有一定程度的理解能力。
以是，现在大家看到人工智能虽然说它在体验上绝大多数情形下彷佛还不错，但是当它犯错的时候它犯的实在很多是人不会犯的缺点。

中国网：比如前段韶光我们看到***有机器***的情形涌现，这实在还都给大家带来很多担忧和惶恐的。

曾毅：以是人工智能缺少真正的理解能力，如果它是一个信息处理的工具它就仍旧会（犯错）.实在我认为人工智能比人类最大的上风是什么，人是很难遍历生活当中、场景当中所有的缺点的，但是人工智能这一点是比人强多了，以是它会在人很不经意的时候遍历人所有的缺点，这也便是人工智能现在真正的风险所在。
以是，我实在就想起来“当代掌握论”最主要的奠基人之一罗伯特·维纳1960年时，在《科学》期刊上曾经写过一篇文章里有一句话，他说，“我们最好非常确定我们让打算机干的事情是我们真正本来的意图。
”这句话什么意思呢？便是你不管作为程序员还是作为用户，要非常精确地描述你的用户需求，但是你自己也要把风险避免清楚。
但这实际上现在的技能上就很难做到。
近期的天生式人工智能的发展，特殊是类似于最近OpenAI又推出了一个版本叫做GPT Turbo，可以让用户基于自然措辞交互的形式天生自己的软件，这个看起来非常酷，由于你往后乃至不须要去编写软件了。
我们本科学人工智能包括打算机科学，一个非常主要的课便是信息安全，这险些是所有的本科生都须要去学习的。

中国网：一个必修课。

曾毅：由于你去布局一个软件它有可能从哪些方面产生风险这些必须从专业的角度去看，但对付一个用户来讲，如果你让它说几句话就天生一个这样的软件，可能这种风险和隐患绝大多数的"大众年夜众是没可能节制的。
在这种情形下他创造的软件如果要在互联网平台上做事于成千上万乃至上亿的人时，它的这种风险也就可能波及给上亿人。
以是，人工智能运用的前景非常广泛，运用的范围也非常可期，但是，随之而来的这种风险我们至少要同等程度地重视，才能够担保人工智能能够稳健地发展。

中国网：10月18日中国发布了《环球人工智能管理倡议》，倡议提出要尽快达成具有环球共识的人工智能管理的框架以及标准规范，对此您怎么看？您有哪些建议？

曾毅：中国提出《环球人工智能管理倡议》，实际上是在环球很多的国家都形成了人工智能安全伦理管理的规范，但缺少环球协作这样的大背景下天生的。
天下上有很多区域性的网络，比如经合组织有人工智能事情组，天下上还有一个叫做环球人工智能伙伴关系的组织，但这些可以说是全都是区域型的组织，几十个国家、二三十个国家这样的，而且它不致力于扩大规模。
这个时候来自于发展中国家的声音，来自于亚洲的声音很多实在都是被忽略的。

其余，在各个国家的伦理管理乃至是关于人工智能的法律，相互之间如何具备互操作性，有一个接口能够协作，这些问题实在都须要环球的协作的机制。
该当说中国从2017年发布了《新一代人工智能发展方案》到2019年发布《新一代人工智能管理原则》，2021年推出《新一代人工智能伦理规范》，这一系列的努力之下到2023年的时候，在已经参与了一些环球对话的根本之上，意识到环球人工智能管理已经迫不及待，在那个文件当中，中国政府表态的是什么？第一，经中国政府的总结，环球的共识有哪些。
第二，环球的协作机制，中国政府认为应该信赖什么样的机制。
虽然环球人工智能倡议是由中国政府提出的，但是中国政府它的决定并不是说环球的人工智能管理该当由一个国家来做，而是提出该当积极地支持联合国来进行环球人工智能管理的协同。

可以看到，现在所有的人工智能区域性的对话机制、协作机制实在全都是非常有限的地域性的，而且它很少考虑到其他地域的利益，大国之间的竞争有的时候实在会忽略这个技能、科学比较捉襟见肘的一些国家，它应得的一些发展的机遇，可能给它带来的风险和隐患。
以是，这个时候一定要有一个相对中立的国际折衷机制，才能够做这样的环球人工智能的管理。

图为中国科学院自动化研究所研究员、类脑智能实验室副主任、人工智能伦理与管理中央主任、联合国人工智能高层顾问机构专家组专家 曾毅接管《中国访谈》专访 拍照/伦晓璇

中国网：以是中国一贯在致力于能够匆匆成这样一个环球协作的管理平台？

曾毅：是的。

中国网：在这方面您认为进展如何？

曾毅：首先，基本上从2020年往后中国积极参与了一些真正具有国际性的协作的机制。
比如，在2021年的时候联合国教科文组织的《人工智能伦理建议书》，这是由193个会员国磋商折衷同等发布的一个关于环球人工智能伦理管理的第一份真正的共识性文件。
再比如说在特定的领域，天下卫生组织成立了专家组，专门为环球的卫生康健领域人工智能伦理和管理制订了康健领域人工智能伦理和管理的原则。
这两项紧张的都是建议性的，它是一种软性的约束，它还不是人工智能的法律。
真正有一定区域性代表性的法律性子的实际上是欧盟的《人工智能法》，它不是针对详细领域制订的，它是针对全体人工智能及其运用这样的一个法律，但是，它是非常特定的便是欧盟这个区域。

我国其实在人工智能立法方面也很早，最开始先是信息推举算法的管理规定，后来又出了深度合成的管理规定，以及今年推出生成式人工智能的管理办法。
我国立法的特点便是垂直领域，欧盟是水平领域的。
垂直领域的好处是对新近的发展能够非常快地给它管起来，促进它发展的同时避免它没有把稳到的底线的问题。
但是现在中国也在发展自己的人工智能法，由于确实也是须要一个更上位的法律，对未来前瞻性的可能的方向和更广泛的人工智能进行规制。

以是，我们看到这些虽然有环球折衷，但是，这些环球折衷现在实在勾留在软性约束的阶段，但是全体环球人工智能管理体系是从这种伦理管理原则、标准规范、法律，全体要形成一个体系，现在该当说是在这些方面的互操作性，实在还是非常缺少的。
以是，该当说环球人工智能管理事情现在还处于一个非常初步的、万事开头难的阶段。

中国网：实在很多国家都意识到形成这样一个环球互助机制的主要性，但真正推动和落实实在还须要很长的路要走。

曾毅：是。

中国网：《倡议》还提出发展要坚持“智能向善”的宗旨，要武断戒备胆怯主义、极度势力以及跨国有组织犯罪集团对人工智能技能的恶用滥用，尤其是在军事领域的研发和利用更要谨慎卖力，对此您怎么看？“智能向善”是我们的宗旨，但如何形成真正的约束和管控呢？

曾毅：首先，发展赋能性。
由于人工智能是一个赋能性的技能，中国在推出自己的人工智能管理的原则伦理规范的时候，里面写得就很清楚，作为一个赋能性技能它该当推进环球可持续发展目标的实现和人类命运共同体的形成，实在这和有些国家有差异的。
有些国家的人工智能就提出须要做事于本国公民，须要做事于本国的代价不雅观，但我们国家的管理原则和伦理规范是从环球可持续发展目标的实现和人类命运共同体形成的角度去提出的。

什么是真正的AI向善，所说向善便是环球人类福祉，以此为目标。
实在我们说向善，进一步阐明就和倡议中提到的“以人为本”很干系了，我们说的“以人为本”不是human centric人类中央主义，人类中央主义更强调在全体生态中人类的位置，但实际上我们说“以人为本”首先做事于人类，提升人类福祉，但另一方面它会关照人类作为生态的一部分，如何去跟其他的生命和谐共生，人工智能能否促进人类和其他的生命之间的和谐共生，这背后便是有非常深刻的意义。

刚才你讲到，现在有一些国家开始脱钩断链、构筑小院高墙来影响部分国家的人工智能的发展，我个人看来，这肯定是一个非常缺点的决定。
终极的效果只会促进像中国这样有自主能力研发人工智能全体体系发展的国家的自主创新，它会短期内，几个月内，最多一两年轻微延缓一下像中国这样的国家的人工智能整体发展水平，但是，我相信超不过三年，这些问题我认为对付中国来讲都可以办理。
以是，在我看来这样的考试测验会加快中国的自主创新，换到其他的国家我相信实在也是一样的。
以是，它对付真君子类命运共同体，对付我们说环球人类的福祉，都是有百害无一利的。

中国实在也是在这样的环境下，人工智能的软硬件的根本举动步伐，实在现在该当说是在快速地崛起。
当我们在这样的环境下发展起来，我们如何去对别人，这个就非常关键了。
以是，我们刚才讲到了，如果我们把人工智能看作是赋能社会发展、生态可持续性的根本举动步伐，那像中国这样的负任务创新大国也就有责任把这个根本举动步伐供应给环球南方国家、中低收入的国家，为它们供应根本举动步伐的做事。
在开拓运用的层面，我们国家可以通过“一带一起”或其他的机制赋能当地，为他们开拓更符合他们的措辞文化生活习气的这样的运用，这样的话实际上我认为它是一个双赢的发展。

你刚才讲到的一个问题非常关键，便是虽然愿景是好的，我们该当本着“智能向善”的目标，但是现在在武装军事冲突当中人工智能逐步也被引入，用到军事领域智能还怎么向善呢？未来军事领域的人工智能如何管理呢？现在对付环球来讲这是在人工智能安全领域最大的寻衅。

首先我想纵然是在军事领域的运用也是有“智能向善”的理念的。
首先在军事领域，人工智能作为一种赋能性的技能它可以提升军事的管理方面的效率，它可以让态势感知预测方面的能力有所提升，但是，人工智能如果运用于构建致命性的自主杀伤武器，这应该是不被支持的。
人工智能由于快速的发展，代替人类决策这个我以为也不应当被支持。
其余，这种军事人工智能的武器被民间滥用和恶用的时候，特殊是到了胆怯分子的手里，这时候对付环球来讲都是一个巨大的冲击和寻衅了。
更何况是现在人工智能自主性越来越高的时候，这种风险就变得越来越大了。

终极能不能管控起来，能不能形成在军事领域的人工智能的安全伦理、管理的原则、规范、法律，这是一个环球议题。
其实在联合国的场景下，特殊是关于致命性自主武器规制的问题也已经进行了很永劫光的会谈，但是我认为我们远远可以比那个做得更好。
以是，我相信在环球人工智能管理倡议的框架根本上，对付人工智能在国防军事领域的运用该当有一个更踏实的推进。

去年在荷兰召开了负任务的军事人工智能论坛，在提升军事人工智能安全意识方面也达成了相对广泛的，有几十个国家参与的一个共识，当时中国也做了贡献，也参与了这个共识。
但我想远远不足，未来在风险戒备、人工智能风险自动化的检测履历分享等等方面，该当在环球国防领域可以进行更多的沟通。

中国网：现在大家普遍的感想熏染是，对付风险戒备也好，规则标准法律的制订也好，是慢于人工智能技能发展的速率的。

曾毅：我以为这是一个问题，人工智能的伦理安全管理只会担保人工智能稳健的发展，防止它的野蛮成长，防止它的滥用，人工智能的伦理安全管理从来不会阻碍人工智能的康健稳健的发展，我们要防止的是这种野蛮的滥用，以是，管理它不会阻碍发展。

在这种条件下，该当采纳的不是现在的这种相对来说被动性的管理，而是该当更主动性的、前瞻性的（管理），尤其人工智能领域常常这样说，有时候国际上也有很多谈论，人工智能可能会给人类带来风险，乃至是生存风险，乃至威胁到人类的存在，有些人说，这种事情五十年到一百年都不会发生的。
但是当你反思这个问题本身的时候，你是不是能够在五十年到一百年之内能够找到办理它的方法，未必，以是，这便是说从现在开始思考那个问题有可能都来不及了。

中国网：这不是杞人忧天。

曾毅：对，绝对不是杞人忧天，是你从现在就要开始做好准备，如果你的统统的准备是很完善的，它二十年、三十年、五十年之后才到来，那么人类有足够充分的韶光去准备。
但如果它真正随着打算智能化、人工智能的快速迭代蜕变、智能的呈现认知的升级，以一种不可估量的速率人工智能、超级智能到来了，这个时候人类完备没有做好准备，我们如何应对，这个时候对人类社会才是最大的寻衅。

中国网：有的时候我们也会想，为什么对付安全风险的戒备彷佛是滞后于我们对这个技能速率的追赶，这两部分事情是同一批人在做吗？

曾毅：对付人工智能风险的预期，绝大多数更具前瞻性的风险的预期，我现在很遗憾地说绝大多数不是由打算机人工智能的从业者所提出的，比如最开始的时候，霍金、马斯克，包括物理学家MIT的迈克斯·泰格马克等等，他们提出的更前瞻的人类面对人工智能的问题，实在都是从人工智能的发展相对察看犹豫者的视角去提出的。
由于在人工智能发展的过程中，人工智能从业者总会以为技能的进展不会那么快，由于在他们看来更多的是须要去办理的问题，智能水平还非常有限。
但是，这些年的实践，越来越呈现出来的是，由于技能发展认知升级的速率变快，开始风险的判断预研就显得非常不敷，以是，这些年该当说人工智能的创新者自身重视到了人工智能可能的风险、安全和伦理的隐患。
所有的担忧，绝大多数最开始是来自于大规模的工程领域，社会科学领域的一些担忧。

最开始人工智能领域的人绝大多数会认为杞人忧天。
但这些年，该当说人工智能领域的从业者，已经对风险的类型、风险到来的速率，也逐步地首先意识到它；第二，纵然是专业人士也很难准确地预测，而且表示出了更多的担忧。
以是，人工智能风险伦理安全的这些问题，实在未来不是一个人工智能研究的分支领域，它是所有的人工智能从业者的必修课。
而且纵然在这种情形下，纵然你提升了这些意识，风险到来的办法仍旧很难预期，以是，我们该当感到非常紧迫，而且确实要提前的布局。

我记得今年，人工智能大模型进展到将近GPT4的时候，美国生命未来研究所就提出说是不是能够停息人工智能研究六个月。
很多人便是不理性地看待这个事情，当时说为什么要停息，这个技能的发展大家看不到，那个发起其实在说的事情是，先去处理风险的问题。
由于它的进展和风险同步增长的情形下，你对它的进展非常激动的时候，你对它的风险是没有太多的处置的。
在这种情形下，我们该当先把伦理安全风险框架做好，再去推进技能的发展。

图为中国科学院自动化研究所研究员、类脑智能实验室副主任、人工智能伦理与管理中央主任、联合国人工智能高层顾问机构专家组专家 曾毅接管《中国访谈》专访 拍照/伦晓璇

中国网：可以说最初这种杞人忧天的声音来自圈外，但终极它的落实还是须要靠人工智能行业的从业者来完成。

曾毅：我认为它未来该当变成一个人工智能的内生的根本举动步伐，现在是我们用一些规则，用一些检测来封堵这个可能的漏洞，但是大家要知道，封堵的都是一些临时处理的方案。

中国网：被动的行为。

曾毅：对，被动的行为。
而且它什么时候又漏了实在你也不知道，由于有些地方现在看起来好好的没漏的，那只是你没有创造而已。
一旦人工智能根本举动步伐有内生的安全伦理的机制，这个时候它就会非常不一样了，但是要把稳一点，虽然我们要非常踏实地去支配人工智能伦理安全检测这些评估的事情，但是纵然你通过了所有的安全检测也不能说你没问题，你只能说，就我现在已知的范围内没有创造明显的问题，没有创造明显的问题不代表没问题。
实际上一贯要保持一个非常复苏的头脑，对风险时候当心。

中国网：11月1日-2日，首届环球人工智能安全峰会召开了，会上也发布了《布莱奇利宣言》，您作为中国学者也是在会上进行了讲话，在这个会上中国通报了若何的中国声音和中国态度呢？

曾毅：我认为是这样，人工智能的安全是一个环球性的议题，可以说来自于中国的声音首先是对环球认知的一个同等性的赞许，人工智能可能存在着近期、长远的风险，我们都要给予充分的重视，采纳充分的行动。
在里面我也提出几个意见。
第一，人工智能的进展的办法，实在很难预期，进展的速率也很难预期，这样也就带来了可能的风险实在也变得难以预期。
人类可能并不能成功地预见人工智能的风险，但我们是否便是以可以放弃，反正我们都估量不准，是不是就可以不去做预研预判了？答案也是否定的，我们绝对不能停滞。
实际上这样的话，更要进行前瞻性的这种预研，这个大家还是广泛地赞许的。

其余，当时对付在人工智能领域是否适宜开源的生态这件事情，实在是存在着广泛地质疑的。
由于人工智能系统一旦开源，它所有的安全风险伦理的漏洞就更随意马虎被创造，以是大家说是不是不开源就直接供应这些商业性的做事、学术性的做事比较好，这样的话风险可能还没有那么大。
但是大家也看到了，几十年来打算机科学人工智能的发展之以是这么迅速，各个国家的技能都能被很多个国家运用起来，正是由于开源带来的好处。
但是在西方国家对付人工智能是否开源与否的谈论，很多的时候是比较一边倒的。

但是我们从中国发展的和谐共生的不雅观点来看，风险和机遇一定是相伴相生的，但是如何去最大化它的机遇，最小化它的风险，如何去习得这种平衡，这实在是须要不断地探索。
以是，当时我们也提出了一些方案。
乃至，我们看到有些人在创造人工智能系统的安全隐患时，开始利用这个作为挣钱的契机，就相称于说见告大家，所有的系统都具备这样的风险，只有我有办理方案，如果你想买这个漏洞的补救的方法就向我买。
我们乃至看到了这样的考试测验，当时我们也对这样的考试测验进行了非常光鲜的批评。
我们以为在制度上须要重新设计，而不是要停滞开源的人工智能。
而是说，你在创造风险的同时要公布这种风险漏洞的补丁，不是说你不可以盈利。
比如说打算机的时期、信息技能的时期，也有杀毒软件是付费的，但是我以为要有一种新的制度设计，比如公布了这个大家可以先免费地利用，但有一个利用期，先办理了面前的问题。

另一方面，我提出人工智能安全的问题，没有一个国家能够独善其身，你的人工智能是安全的，但人工智能是一个环球化的做事，你自己的人工智能也可能和其他人工智能系统间存在接口，以是任何一个国家的人工智能只假如不屈安的，环球的人工智能家当链和平台系统就可能有风险和隐患。

《布莱奇利宣言》现在是28个国家加上欧盟共同签署的，但是这个范围很显然还非常不足的。
以是，在末了实在我也提出了，便是要更原谅性的发展，不能使任何一个国家掉队。
以是，我当时也提出了，如果第一年有28个国家，希望第二年有40个国家，未来希望环球能够参与，实在这也是为什么中国会去更支持联合国的协作的机制。

《布莱奇利》宣言是继联合国教科文组织《人工智能伦理环球建议书》的根本之上具有相称广泛参与度的一个紧张面向民用领域人工智能的、二十多个国家的共识。
但是真正落地，真正环球的这种实践可能还是要回到联合国的机制，以及再加上中国和各个国家共同的贡献，比如来自中国的《环球人工智能管理倡议》，一个是共识性的我们有表达，但中国当时也提出了很多问题，应该防止“脱钩断链”，应该防止“小院高墙”，应该防止大国对其他国家的负面影响等等。
以是，真正开展环球范围内的实践，不管是《人工智能问题伦理建议书》，还是《布莱奇利宣言》，还是中国的《环球人工智能管理倡议》，我认为现在都是在为开始做准备，而不是我们已经准备好了。

未来我们该当在联合国的协作机制之下，来构建一个环球人工智能管理的网络，这个网络没有中央，它是一个不同的区域性的节点，进行自主性的协作。
当然联合国也有不同的分支机构，它要去协作这些不同的分支机构，如何去做事于各个国家不同区域性组织之间的折衷当中。
以是，我认为未来联合国的机制该当是在前瞻性的议题上供应一定的建议，在环球折衷方面去发挥区域性的组织不能发挥的浸染，以及须要它站出来进行环球折衷的时候，各个国家的领导人该当支持联合国的这个事情。

更关键的是如何在类似于像联合国提出的Leaving no one behind（不使任何一个人掉队）的机制之下，大国的创新同时关照到环球所有国家的发展，共享发展，共护安全。

中国网：未来天下各国，如何在对付人工智能技能的竞争以及安全风险戒备方面的互助，这两者如何达成一个最大的共识，您认为还有哪些难点呢？

曾毅：我认为现在便是对付人工智能安全风险的认知，各个国家还有不同的认知。
在民用的领域，可能存在一定的竞争，但是在人工智能安全领域实在不存在竞争。
由于任何的这些方面的努力、履历的分享，都会使得人工智能朝着更安全、更踏实、更稳健的方向发展。
以是，人工智能安全伦理管理方面的互助，在我看来应该是放在第一位的，由于在这方面达成了同等，有了互助的根本，人工智能该当往哪个方向去运用，也就有了更多的根本。
中国的实践以及包括来自天下的实践，非常主要的一点便是两件事情。

第一，在人工智能技能还不是足够稳健，还没有达到真正的智能和聪慧水平，还只是一个看似智能的信息处理工具的条件下，在能不用的条件下实在也可以不该用。
第二，人工智能不应当遍布所有的位置，有一句话叫做Make AI everywhere（使人工智能无处不在），我对这个不雅观点不太赞许，由于使人工智能无处不在也就使人工智能的风险无处不在。
以是，实在来自于中国的实践以及像联合国教科文组织的建议书当中就提到了，实际上人工智能应该适度的利用，它就像我们发展城市一样，城市当中很多部分是方案的，但你也会创造城市当中还有一部分实在它还是留给人与人之间的互换的。
比如说在很分外的期间，我们可能会开一些线上的会议，但是，当具备开线下会议的条件时，你会创造人们还是非常乐意去线下分享互换，这些并不是技能的赋能，使得技能让我们远间隔的互换成为可能的时候，人们就永久地会去利用那样的技能。

中国网：有些是不可替代的。

曾毅：是的。

中国网：感激曾教授为我们带来精彩的解读。

（本期职员：编导/主持：佟静；拍摄：董超 刘凯；拍照：伦晓璇；后期：刘凯；主编：郑海滨）

***加载中...