来源:多无人系统协同中的人工智能安全探索[J].中国工程科学,2021,23(3):82-89.

多无人系统协同中的人工智能安然探索丨中国工程科学_体系_人工智能 文字写作

编者按

多无人系统协同可以将在空间上分布的无人系统有机连接起来,实现多系统在韶光、空间、模式、任务等多维度上的有效协同,终极形成目标探测、跟踪识别、智能决策、自主掌握和效能评估的完全链条。
多无人系统协同在给社会创造代价的过程中,也会带来着诸多安全隐患,特殊是在军事作战、家当升级、政府监管、社会管理以及伦理等多个方面将给国家安全带来新的寻衅。

中国工程院陈杰院士科研团队在中国工程院院刊《中国工程科学》2021年第3期揭橥《多无人系统协同中的人工智能安全探索》一文,阐述了统筹推进多无人系统协同赋能运用与风险防控的重大意义,提出了“四位一体”全面推进多无人系统协同安全发展的计策思路,探索了多无人系统协同在内平生安和衍平生安层面潜在的寻衅与应对思路。
就智能无人系统安全,文章建议,构建国家级无人系统验证平台,推动人才军队培植;逐步深化无人系统家当“放管服”,发展新一代人工智能安全生态;充分发挥多无人系统协同的上风,赋能保障和改进民生,做事构建人类命运共同体。

一、序言

智能无人系统种类多样,覆盖海陆空不同空间,正在全面深入国家安全和社会生活各领域,并推动新一轮家当变革和干系技能高度集成。
多无人系统协同作为一项人工智能的颠覆性技能,将在空间上分布的无人系统有机连接起来,实现多系统在韶光、空间、模式、任务等多维度上的有效协同,终极形成目标探测、跟踪识别、智能决策、自主掌握和效能评估的完全链条。
伴随着技能水平的不断提升,多无人系统的义务任务将不断拓展,将极大地改变日常生活办法和军事作战办法。

多无人系统协同在给社会创造代价的过程中存在着诸多安全隐患,如无人车的交通事件,无人机的扰航、胆怯打击,机器人造成工人失落业等。
多无人系统协同可能将在军事作战、家当升级、政府监管、社会管理以及伦理等多个方面给国家安全带来新的寻衅。

目前,海内多无人系统协同的研究仍处于起步阶段,其根本理论框架对未来无人系统发展和技能打破起着至关主要的浸染。
因此,本文针对这一空缺领域展开前瞻研究,旨在揭示多无人系统协同中人工智能安全的主要意义,针对相应问题提出对策建议,以期为我国无人系统安全发展供应参考。

二、统筹推进多无人系统协同赋能运用

与风险防控意义重大

(一)多无人系统协同研究持续高速发展的主要抓手

2017 年 7 月,***印发的《新一代人工智能发展方案》阐释了人工智能新时期计策的丰富内涵,这为我国多无人系统中人工智能安全改革指明了方向,进一步明确了中长期发展的目标。
我国人工智能新时期计策履行以来迎来了很大转机,但关于多无人系统中的人工智能安全问题仍未给出明确办理方案。
探求各项问题办理方案,立足安全根本,推进多无人系统的稳步发展,有利于多无人系统人工智能落地。

(二)不断增强我国军事实力的有效路子

军事实力是综合国力最直接的表示,在多无人系统广泛运用于军事领域的背景下,其安全问题的主要性更加突出。
一方面,越来越多的国家研发出了智能化武器,实现多无人系统协同作战的能力越来越强,未来的战役将由多无人系统协同作战主导;因此,在智能化战役中如何担保领土主权和国土安全具有主要意义。
另一方面,在智能化战役中多无人系统自身的防护同样具有主要意义,如何担保自身材系的安全、担保数据不透露、掌握权在手、遭遇打击仍能完成任务是目前多无人系统研究的一大课题。

(三)提升我国社会安全保障水平的关键条件

人工智能安全是关系到我国经济社会发展的时期性、计策性问题。
多无人系统协同将广泛运用于工业、农业、经济和国防领域,对国家安全也会带来深刻变革。
由于多无人系统滥用门槛低,随意马虎被极度组织和犯罪团伙利用,管理难度远大于从前。
加强人工智能新时期多无人系统立法,形成数据、模型、运用等一系列干系的法律、法规,完善人工智能利用标准的制订,有助于带动国家整体社会安全保障水平的提升。

(四)实现未来高度智能化社会培植的一定哀求

传统无人系统目前已运用于社会的智能化培植,如智能快递分拣、无人超市、交通违章识别等,节省了大量的人力。
未来,多无人系统协同的广泛运用将会在更大程度上保障和改进民生。
但相较于传统无人系统,运器具备通信和交互能力的多无人系统可能会引发更加严重的公共安全、伦理安全等问题。
因此,重点加强多无人系统运用中的问题研究和风险戒备至关主要,只有处理好上述问题,才能确保多无人系统在未来能够安全可靠地为社会做出贡献,推动我国新一代人工智能康健发展。

三、多无人系统协同安全发展概况

随着多无人系统协同理论体系的成熟,相应的产品与运用呈现出迅猛发展的势头。
从运用领域的角度,多无人系统产品紧张包括无人车集群,无人机集群和无人船集群。
无人车集群不但能够将各种车辆的驾驶职员解放出来,极大地减轻汽车驾驶员的事情量,还能够通过智能优化算法合理安排道路资源,缓解交通压力,并减少道路交通安全事件的发生。
无人机集群的运用则涵盖了军事上的攻击、骚扰、侦查任务以及民用的磨难接济、监控巡查、环境监测、农业植保等领域。
无人船集群则紧张用于实行危险、呆板以及其他不适于有人舰艇实行的任务,包括水质监测、航道测绘、海上巡逻等。
相较于传统的有人系统,多智能体系统具有多方面上风,包括更低的操作门槛,更低的运维本钱,更广泛的运用领域,更稳定的运行状况,更高效的资源分配等。
在军事上,多无人系统更是能够极大程度地保障操作职员的安全,减少职员的伤亡,在进攻端还能够利用其数量上风形发展间隔、大范围、高精度的饱和式打击,乃至有可能改变当代战役的模式。

随着多无人系统的飞速发展,很多发达国家目前正积极推进智能多无人系统安全框架研究以及法案的制订。
美国在多无人系统中的人工智能安全方面的研究以及政策发布非常频繁,2019 年 6 月,美国更新了《国家人工智能研究和发展计策操持》,将人工智能系统安全列为计策目标之一;2020 年 1 月发布的《人工智能运用监管指南备忘录(草案)》提出了人工智能十项监管原则;2020 年 3 月通过的《2020 年国家人工智能操持法案》支持对无人系统的道德、法律、社会等安全问题展开研究;2020 年 11 月更新的《人工智能和国家安全》中详细写明了智能多无人系统在军事上的发展与伦理安全问题。

欧盟方面同样在智能无人系统安全上展开了积极研究以及政策制订,欧盟各成员首都纷纭出台法律法规以规范无人机运行。
法国自 2019 年 7 月起规定无人机必须注册电子账号;德国规定所有无人机必须在机身刻上所有者的姓名与地址;英国把机场附近的无人机禁飞区半径从原来的 1 km 增加到 5 km;西班牙、葡萄牙、意大利等首都禁止无人机在夜间翱翔。
2019 年初,欧盟委员会发布了《关于欧洲人工智能开拓与利用的协同操持》,将人工智能安全列为了一大关键发力领域,在环球人工智能伦理道德领域霸占了领先地位;2019 年 4 月,欧盟委员会发布了《人工智能伦理准则——可信 AI 伦理指南》,提出了可信 AI 的七大原则;2020 年 6 月,欧盟新发布的无人机通用准则在欧盟全境正式启用,该准则取代了欧盟成员国各自的现行法规,为欧洲发展无人机行业供应了明确、统一的规则。

我国的多无人系统干系法案制订也在逐步推进。
2017 年 7 月,我国***首次颁布的人工智能计策性文件《新一代人工智能发展方案》,提出了 2030 年人工智能核心家当规模应超过 1 万亿元,带动干系家当规模超过 10 万亿元的目标,并对多无人系统协同中的人工智能根本理论框架给出了定义,提出了“加强人工智能干系法律、伦理和社会问题研究,建立保障人工智能康健发展的法律法规和伦理道德框架”。
但该框架在自主协同掌握与优化决策理论的定义中,更侧重于协同掌握的实现与优化,对付多无人系统中可能存在的安全性隐患没有较多阐述。
2020 年 12 月,中国信息通信研究院安全研究所发布了《人工智能安全框架(2020 年)》,制订了一个较为全面的人工智能安全框架,但个中对付多无人系统协同中特有的安全问题表述仍不详细。

四、多无人系统协同面临的寻衅

差异于传统无人系统研究,多无人系统协同的核心要素包括通信交互,互助博弈,以及群体智能蜕变等。
结合多无人系统协同的上述特点,坚持以问题为导向剖析其详细计策举措,环绕多无人系统本身的内平生安和多无人系统对外界的衍平生安两大模块构建了多无人系统协同中的人工智能安全框架,如图 1 所示

图1 多无人系统协同中的人工智能安全框架

(一)内平生安

为了多无人系统任务的可靠实行,内平生安紧张考虑的是系统本身是否稳定可靠,能否在通信交互过程中不泄密,能否担保掌握权始终在自己手中,以及能否在涌现故障后连续完成任务。
多无人系统协同的内平生安要关注多无人系统事情的各个环节,从担保局部每个环节的安全以确保整体的安全,这个中涵盖了各无人系统单体间交互的数据安全、多无人系统所处的网络安全、搭载于多无人系统的软件及其算法安全、多无人系统本身的系统架构安全等。

多无人系统协同的内平生安包括了通信与交互安全、协同决策与集群蜕变算法安全和系统架构安全三部分。

1. 通信与交互安全

多无人系统协同任务在实行过程中,须要频繁的进行通信交互,这个中包括各多无人系统个体之间的交互,还包括各多无人系统与其所有者之间的交互,多无人系统与各种实体任务工具交互等。
因此,通信与交互安全是多无人系统协同内平生安的主要内容。
通信网络安全的主旨是戒备来自网络的攻击,保障多无人系统所有者能够安全可靠地掌握多无人系统,担保数据不被盗取和修改。
一方面,多无人系统的协同中须要保障彼此之间的通信安全可靠,一旦数据传播受到截断,信息内容被他人盗取、解密或修改,多无人系统将受到极大的威胁,我方计策意图也将受到严重打击。
另一方面,如果通信网络的安全性不能知足哀求,则多无人系统的掌握权将不能得到保障,由于多无人系统极强的行为能力,与纯挚的各种数据丢失比较较,掌握权不屈安造成的后果每每更严重。

针对上述多无人系统存在的数据透露及掌握权丢失的问题,为系统个体搭载不可被外界直接访问的安全存储空间,对数据进行加密处理,担保通信过程中的数据安全;同时可以采取数字证书、密钥等认证材料进行双向的远程身份认证,以确保系统中每个个体身份的合法性以及指挥部的可信性。

2. 协同决策与集群蜕变算法安全

在算法安全上,一方面要考虑多无人系统能否做出精确的决策,另一方面更要考虑协同决策算法和自学习蜕变的方向是否自主可控。
决策算法不成熟可能导致协同欠鲁棒,难以实现临机协同决策和行动,当系统构造受外界影响发生变革时,智能协同算法如未能实时完成掌握和优化,则很难实现精准的协同掌握任务,使协同一致性和稳定性降落,从而增加了协同任务失落败和多无人系统在任务中损毁的风险。
在未来的发展中,基于群体智能蜕变的多无人系统能够自主学习和换代,其蜕变方向的安全性更为主要,将成为多无人系统协同中算法安全的全新寻衅。

针对上述问题,改进决策算法的演习过程,揭示无人系统集群的协同蜕变规律,设计主动防御的机制,在演习过程中加入大量可能涌现的对抗样本,即在演习过程中添加假想敌,从而提高算法的鲁棒性,减少协同掌握任务失落败以及蜕变方向缺点的可能性,更加安全可靠地实现协同决策和蜕变。

3. 系统架构安全

系统架构安全可细分为机电安全和拓扑安全两个方面。
个中,机电安全要考虑多无人系统中每个个体的信息收发特性、信息处理能力是否足够,传感器、通信模块能否知足实行协同任务的需求。
拓扑安全则是建立在机电安全的根本上,须要考虑多无人系统的整体相应速率和协同模式,能否在繁芜场景下实时采集、处理和交流信息,进一步精确分配和实行任务,并且在部分无人系统单体涌现故障时,能否精确检测故障,进行拓扑切换连续任务。

建立多层分簇的协同框架可以有效办理系统架构安全问题,多层分簇的框架可以帮助多无人系统在面对变革时快速做出反应,纵然碰着故障也能实现拓扑切换,连续完成好下一步任务,从而使得网络拓扑构造更加稳定,实现更加稳健和鲁棒的多无人系统协同。

(二)衍平生安

多无人系统协同的衍平生安紧张考虑的是多无人系统在投入利用后,系统外部的人或其他事物可能面临的影响。
在系统涌现故障、受到滋扰或涌现决策失落误时,除了任务失落败和系统本身损毁的风险外,还可能引发衍平生安问题。
同时,如果多无人系统掌握权的所有者怀有恶意,对多无人系统下达了带有其不良企图的任务目标,可能产生更为严重的衍平生安风险。
多无人系统协同中的人工智能衍平生安紧张考虑公共安全、伦理安全和军事安全三个方面。

1. 公共安全

多无人系统协同事情时,事件的发生将会危害公共安全,不但会对社会秩序造成一定影响,更有可能会威胁到人身财产安全。
当前多无人机协同系统在各行各业广泛利用,但安全性能评估体系还未完善,易涌现各种事件,例如各种外界滋扰导致的无人机群演示失落败、无人车造成道路交通拥堵等。
同时,多无人机协同具有低本钱、用场广、利用门槛低、身份信息暗藏、大面积杀伤等特点,造孽利用将会严重威胁到人身财产安全,多无人系统的发展势必会带来新的违法犯罪形式,而与单无人系统比较,多无人系统便于无身份有组织犯罪,会极大地危害公共安全。

面对多无人系统可能对社会公共安全带来的冲击,加强监管无疑是最为有效的办理路子。
加强对所有无人设备厂商以及持有者的监管,对付厂商严格检讨其所有生产线、搭载算法以及设备流利工具,对付所有私人持有的无人设备实施严格的实名制登记管理,让所有合法的无人机拥有其自己的“***明”,对付未登记的无人机以及登记但不合法的无人机持有者进行严明处理。

2. 伦理安全

社会伦理方面,在民用领域,多无人系统在从事重复性、规则性、可编程的事情内容方面更加快速、高效、精确,不仅可以替代体力劳动,而且可以替代大部分脑力劳动,在制造业、农业以及医疗中发挥主力军的浸染,从而导致浩瀚工人面临转业或者失落业的问题;在军用领域,由于技能故障、判断失落误等缘故原由,在利用多无人协同系统作战时将涌现对人类的误伤乃至是误杀。
同时,多无人系统各个个体之间,以及多无人系统与人之间的交互建立在信赖的根本之上,一旦智能无人系统具备了独立思维能力,将导致机与机乃至人与机之间的冲突。
从远期来看,多无人协同系统智能化和自主化水平的不断提升,存在超出人类掌握的风险,将可能对人类产生侵害。

人工智能的发展造成工人转业、失落业的问题是一定会涌现的,在家当构造转型的过程中,旧职业被新职业替代是不可避免的,工业革命的成功同样伴随着大量工人的转业。
因此,将视角转向人工智能创造出来的新职业,不应去回避失落业、转业的问题,而是在高新技能领域、新兴家当以及当代做事业中加大投入力度,主动推动家当构造的转型升级,鼓励劳动力从第一、第二家当转向第三家当。
至于人工智能具备独立思维而对人类造成侵害的问题,以目前技能,这还只是一个迢遥的假设,但在未来面对有自主学习能力的人工智能时,可以在其学习初期,将人类代价不雅观中的协同互助、利他主义等内容让其学习,踏出人类与人工智能和谐相处的第一步。

3. 军事安全

当前,国际竞争形势错综繁芜,不愿定成分所致的安全隐患陡增,保护国家主权和领土完全,抵御外来武装力量的侵略是军事安全的核心,强大的军事实力一贯以来都是我国强大的根本,军事安全的主要性不言而喻。
多无人系统协同目前在军事上的运用最为广泛,未来的作战模式将由多智能无人武器协同的涌现而彻底改变。
在军事上,我们不仅要具备抵御外来武装力量入侵的能力,还要具备主动打击外来威胁源的能力。

我国要加强多无人系统在国防计策中的布局,夯实多无人系统协同技能发展的根本,密切关注天下军事科技和武器装备发展动向,努力抢占科技研发的计策制高点,牢牢把握多无人系统在军事领域发展的趋势,为未来战役中可能存在的各种风险寻衅做好准备,推动国防培植超过式发展,为实现中国梦、强军梦供应倔强力量,为和平与发展这一全人类共同欲望的实现贡献力量。

五、“四位一体”全面推进多无人系统

协同安全发展

构建多无人系统安全管理框架,与国际接轨,构筑面向多种无人系统的生态系统。
立足创新驱动发展计策,落实多无人系统协同干系理论根本,提升人工智能科技创新能力,充分发挥多学科交叉领悟的上风,大力发展智能多无人系统前端技能,培植智能的经济社会体系。
培植安全管理法治体系,完善智能多无人系统运用干系的法律法规,建立完善的人工智能社会任务制度,实现新时期的全面依法治国。
制订伦理准则,完善人工智能技能研发规范,培植与人工智能和平共处的社会,实现智能化的新时期。

(一)推进无人系统的安全生态培植

为了保障多无人系统协同中人工智能技能的康健发展,构建完善的多无人系统安全管理框架势在必行。
通过国际间的互换互助,建立一套面向无人机、无人车、无人艇等多种无人系统的健全的安全评估和监管体系。
强化风险把控,针对多无人系统协同技能的内平生安和衍平生安问题,构建多无人系统协同风险评估指标体系,对可能产生的危害及其程度进行评估,划分危险等级,制订相应的安全标准和对策方法,并规范评估程序。
建立专门的管理机构,如多无人系统协同安全委员会,统筹管理多无人系统协同的安全发展问题,对多无人系统中的人工智能技能进行安全评估和监管,保障国家人工智能干系安全政策落实到位,并对多无人系统中的人工智能可能带来的就业、公民生命财产安全、隐私安全等社会问题开展研究,并与社会各领域进行广泛的互换与互助,提出可操作的、培植性的政策建议。

(二)推进无人系统的前辈技能培植

坚持国际互助与自主创新并举,根本研究与运用落地并行。
始终如一加强多无人系统协同的干系根本理论研究,集中力量打破根本理论和干系家当的薄弱环节,前瞻性瞄准多无人系统技能的新兴方向,重点关注量子人工智能密码、联邦学习、对抗样本天生、分簇自组网技能、区块链技能等与多无人系统的架构安全、通信安全和数据安全等问题紧密干系的根本理论研究。
提升人工智能科技创新能力,时候关注国际上的多无人系统发展动向,学习前辈知识和前沿技能,提升自主可控技能的创新能力,担保干系技能的安全性,进一步保障多无人系统协同中的人工智能安全。
充分发挥多学科交叉领悟的上风,探索多学科交叉领悟的有效路子,大力发展智能多无人系统前端技能,培植智能的经济社会体系。
立足走中国特色自主创新道路、坚持科技创新与制度创新协同发力、持续加强根本研究三个方面,贯彻新发展理念,彰显对加强自主可控技能与创新的信心与决心,增强自主创新能力,加快培植创新型国家。

(三)推进无人系统的法律规范培植

与时俱进制订并完善人工智能的干系政策和多无人系统协同的干系法律,坚持柔性的原则和规范化的法律相结合,构建以人工智能为特色的新法治体系,为实现全面推进依法治国,加快培植社会主义法治国家供应强力支撑。
开展与多无人系统技能运用干系的民事与刑事任务确认、个人隐私安全、数据安全、产权保护等法律问题的研究,建立保障多无人系统协同技能康健发展的法律法规和伦理道德框架。
建立健全问责追责制度,明确任务划分、强化任务落实,明确监管者、产品开拓者和用户之间的权责关系。
重点明确人工智能研究职员在人工智能安全领域的专业任务,哀求其通过技能手段来保障多无人系统的安全。
环绕自动驾驶、做事机器人等运用根本较好的细分领域,加快研究制订干系安全管理法规,为新技能的快速运用奠定法律根本。
根据多无人系统的功能、用场和安全性,建立完善的多无人系统的分类和分级体系。
加快推进技能安全标准的制订,细化指标的同时覆盖更多领域。
加快海内安全技能标准与国际标准的衔接,向国际领先水平看齐。

(四)推进无人系统的社会伦理培植

多无人系统由于其频繁交互、协同作业的特点,一方面可以大幅改进人类的生活质量,另一方面也可能涌现产生独立意识而不可控的安全风险。
在多无人系统协同的研发过程中加入伦理设计,将人类代价不雅观中的协同互助、利他主义等内容供其学习,使多无人系统在初始时就具备一定的道德判断能力。
在实际运行过程中,该系统能够遵照人们预设的伦理道德准则,以此杜绝危害人类社会的可能性。
由人工智能安全管理机构提出的详细的伦理哀求,在产品研发中通过技能手段嵌入伦理道德的要素,并通过政策哀求和法律规范予以落实和保障,从思想源头上遏制多无人系统中人工智能技能的可能风险,实现科学技能和人文关怀的统一,踏出人类与人工智能和谐相处的第一步。

六、对策建议

(一)构建国家级无人系统验证平台,推动人才军队培植

构建“产学研”于一体的自主无人系统公共技能验证平台,为复合型高端人才和高水平创新团队供应沃土。
发挥“政产学研”主体活力,引进和培养一批做事根本创新研究和家当康健发展的青年人才,给予平台充分的开放性和资源支持,办理人才军队后顾之忧。
重点打破和验证可控智能蜕变、可信感深交互和可靠协同掌握等与安全运用落地紧密干系的共性关键技能,勾引和支持各方共研共建自主无人系统通用安全保障技能体系。

(二)逐步深化无人系统家当“放管服”,发展新一代人工智能安全生态

推动以民用无人系统为代表的人工智能行业准入标准和产品全面深度质检体系的建立,深化“放管服”,以保障实际投入利用的民用无人系统的安全可靠,促进家当生态康健发展。
在此根本上,逐步细化无人系统在各细分领域运用的法律法规,制订某些特定领域中,无人系统设计、生产、利用和做事干系职员的资格认证标准,更聪慧地把握机遇与应对寻衅。

(三)充分发挥多无人系统协同的上风,赋能运用

深入调研以无人系统为代表的新一代人工智能技能和家当发展过程中伴生的社会治安、就业安置、家当安全和国防奇迹中的新风险,制订局部风险处置预案和总体安全发展方案。
在制造业、农业、法律、教诲、国防和医疗等领域促进无人系统逐步运用落地,趋利避害,赋能保障和改进民生,做事构建人类命运共同体。
实现在无人系统及其协同技能的高速发展和运用阶段平稳过渡,牢牢把握机遇,从容应对寻衅。

注:本文内容呈现略有调度,若需可查看原文。

作者简介

陈杰

掌握理论与掌握工程专家,中国工程院院士。

紧张从事动态环境下繁芜系统的多指标优化与掌握、多智能体协同掌握的研究。

\公众>

注:论文反响的是研究成果进展,不代表《中国工程科学》杂志社的不雅观点。