2016年6月，这位有自主学习算法的Promobot机器人由于工程师忘却关闭安全门，从实验室跑到了大街上，前行约50米后因没电停在马路上，引起交通瘫痪。
不料一周往后，被抓回去的Promobot因更新定位系统失落败再次成功出逃。

日前，人工智能依然是科技界最火的话题，但对它的研发回勾留在弱人工智能的水平。
纵然是这样，也已经涌现了机器人“逃跑”这样令人意外的状况。
当人工智能家当连续发展，变得越来越“聪明”，我们还能相信它吗？

这正是南开大学物联网工程系主任张金的疑问。

他在6月13日召开的第七届NSC网络安全大会上先容了这个故事，并引申到了工业场景下：人工智能运用到工业上会有什么新风险？如何将这些风险降到最低以担保其“可信赖”？

近几年，张金看到了人工智能对传统行业的赋能浸染，他认为，人工智能是第四次工业革命的最大推动力，这一点也可以从国家政策中得到佐证。

自2017年7月***发布《新一代人工智能发展方案》之后，政府陆续制订出台了人工智能干系的政策文件，人工智能一词也在政府事情报告中被反复提及。
“从这个方案中，我们可以看出国家最关心的是人工智能在根本工业上的落地。
”他表示。

对付企业而言，张金提到，根本行业的企业拥抱人工智能是不可避免的趋势，“不用交社保，不要加班费，不随意马虎涌现工伤，24小时连轴转，哪个企业会不愿意？”他表示，当人工智能代替传统人工之后，一个企业真正得到开释的是管理本钱，将带来巨大幅度的 “减员增效”。

但与此同时，新的风险也不可避免。
“机器人由于事情职员的失落误和轻忽有不受人掌握的行为产生，这也是新的风险之一”，张金表示，新的风险来自于新的技能。
在他看来，工业领域的人工智能技能分为机器视觉（用机器代替人眼来做丈量和判断）、机器听觉（用机器代替人耳来做丈量和判断）、机器行为（机器人依赖方案功能拟定行动步骤和动作序列）和智能自主决策（比如用AI系统追踪员工效率）。

目前紧张的风险集中在前两种，针对的是图像和声音。
这意味着，攻击者可以利用对抗性图像或者声音欺骗机器的学习模型，使其给出非常的解释，误导后续的判断。

以措辞攻击为例，张金先容道：“在比利时一个团队的实验中，扬声器发出一段人类无法辨认的噪音，却能够在三星Galaxy S4以及iPhone 6上面被精确识别为相对应的语音命令，达到让手机切换翱翔模式、拨打911等行为。
”

前文提到的Promobot机器人，因其有自主学习的算法，会由于研究员的失落误和轻忽有不受人掌握的行为产生，这也是新的风险之一，张金表示。

如何将这些风险降到最低？欧盟试图给出答案。

今年4月，欧盟人工智能高等别专家组发布了《人工智能道德准则（Ethics Guidelines For Trustworthy AI）》，他们希望在人工智能融入社会以前，未雨绸缪，制订干系准则，规范其未来发展。

该报告提出了实现可信(trustworthy)人工智能的框架，个中包括七个要素，分别为人的能动性和监督、稳健性和安全性、隐私和数据管理、透明度、非歧视性和公正性、社会和环境福祉和问责制。
个中最主要的“人的能动性和监督”要素指出，人工智能系统应通过支持人的能动性和基本权利以实现公正社会，而不是减少、限定或缺点地辅导人类自治。

“电影里讲的人工智能水平超越人类、毁灭人类该当还很迢遥，但是对付它们的失落控进行戒备还是很现实的，这也是未来等保3.0要考虑的问题。
”张金说。

采写：南都个人信息保护研究中央研究员李慧琪