天生式人工智能内容检测平台DeepReal，可鉴别AI换声、AI换脸等假造内容

据新加坡8频道11月1日宣布，印尼政府部门日前专门澄清了一段印尼总统佐科“说中文”的***，称其是深度假造***。

网络上的信息来源浩瀚，鱼龙殽杂，真假难辨，人工智能会如何检测网络虚假信息？

近日，国家金融监督管理总局北京监管局提示了三类新型骗局：校园贷款连环套、“AI 换脸”和伪装监管行骗，并发布风险提示，树立反诈防骗意识，严防新型敲诈手段，提高打假维权本领，守护财产安全。

在环球化时期，社交媒体成了滋长虚假信息的温床，凭借一段原始语音、一张原始图片，犯罪分子就可以编造出一段真假难辨的谣言。

2023年10月11日，全国信息安全标准化技能委员会官网发布《天生式人工智能做事安全基本哀求（搜聚见地稿）》，这是海内首个专门面向天生式AI安全领域的规范见地稿，也是对2023年7月推出的《天生式人工智能做事管理暂行办法》的支撑。

“随着技能的发展，天生式人工智能可以低本钱快速制作以假乱真的***和画面，推翻了人们眼见为实的传统认知。
”北京瑞莱聪慧科技有限公司联合创始人、算法科学家萧子豪见告《瞭望东方周刊》，道高一尺、魔高一丈，人工智能造假和人工智能打假将是一个持续攻防迭代的过程。

金融诱骗多发

不法分子利用人工智能技能进行违法犯罪活动，给网络安全带来了严厉寻衅。

2023年9月，江苏省昆山市市民王师长西席接到公安局反诈中央96110的来电，当时他由于做生意须要资金，正在某贷款App上填写资料。
接完电话，他立即打消了从网络平台贷款的动机。
电话那头及时劝住他的警官，正是AI反诈民警“鹿小安”。

据理解，通过大数据智能剖析，AI民警可以快速识别正在进行的疑似诱骗行为，形成预警信息推送给一线反诈民警。
这位AI民警可以根据高下文和市民进行有效沟通，其“聪明程度”不亚于人工电话员，但拨打效率却大大提升。
目前，“鹿小安”的数据库已经深度打磨各种精准反诈话术，可做到反诈场景全覆盖。

在这个日益数字化的时期，人们在网络上的活动越来越频繁，险些每个人每天都在天生大量的数字化信息。
这为诱骗者供应了广阔的操作空间，他们可以利用网络平台，合营人工智能技能，进行大规模、精准的诱骗行为。
而金融，便是诱骗犯罪的重灾区。

对此，萧子豪表示，北京瑞莱聪慧科技有限公司研发的人脸AI安全防火墙RealGuard，能够在金融和政务等行业运用处景中，帮助系统有效戒备以AIGC（Artificial Intelligence Generated Content，即人工智能天生内容）换脸为首的各种新型人脸攻击，比如对抗样本攻击、深度假造换脸、照片活化等，能够实时创造恶意人脸图像，同时支持移动端安全风险监测。

据先容，线上银行的人脸认证被破解后，常被用于造孽转账等违法犯罪行为。

“而RealGuard可广泛适用于采取人脸识别系统的全部场景，如远程银行开户、身份核验、刷脸支付等，能够对当前业内基于开源或自研的人脸识别算法做安全补充，精准识别新型人脸识别攻击手段，填补早期人工智能算法系统存在的安全问题。
”萧子豪说。

目前，RealGuard已在金融、政务、互联网等行业浩瀚头部企业落地运用，为人脸识别筑牢安全防线，及时跟踪黑产攻击动态，帮助用户应对各种安全威胁。

例如，在某地区政务干系的民生运用程序中，该人脸AI安全防火墙每天都对50万次人脸识别校验进行防护，半年来有效拦截恶意换脸攻击数万条，阻断了多起冒名顶替的工商注册、市场监督、信用做事等多种线上人脸身份验证的风险。

当心AI 换脸诱骗短片***截图（图片源自北京市公安局西城分局）

当心“AI诱骗潮”

2019年，环球首例AI诱骗案发生在英国，一名诱骗者利用前辈的AI语音模拟软件，假扮公司高层，成功骗取了一家英国能源公司总经理的22万欧元。

随着AI技能加速迭代，涉诈风险也在积聚。

2023年5月8日，内蒙古包头警方通报一起利用AI履行诱骗的案件，福州市某公法律定代表人郭师长西席在利用微信与好友***谈天的短短10分钟内被骗取了高达430万元。
据通报，不法分子通过AI换脸和拟声技能，佯装熟人履行诱骗。

该案表露后，不少宣布称需当心“AI诱骗潮”，并曝光多起类似案件。
如江苏常州的小刘被骗子伪装其同学发语音、打***电话，小刘看到***后信以为真，“借”了6000元给骗子。

这些骇人听闻的案例揭示了人工智能天生虚假信息所潜在的巨大社会风险，同时也让人们对人工智能软件被用于各种犯罪活动的可能性深感忧虑。

据统计，新浪微博在2022年处理的虚假信息超过8万条。
2023年以来，已有“中国电科员工不满逼迫加班‘怒怼’领导”等虚假信息在网络上引起热议。
谣言层出不穷，单靠人力排查效率明显不敷。

2023年6月，绍兴上虞区警方创造有网民发布了关于上虞工业园区发生失火的***，浏览量在短韶光内迅速上升。
***中，上虞区一工业园区内火势剧烈，全体园区被浓烟覆盖，现场时时传出爆炸声，场面触目惊心。

民警核查创造，***中的建筑、森林大火场景，并非该工业园真实场景，并且疑似源自其他***。
经剖析，民警判断该***是利用人工智能合成技能，将网络上多段不同***剪辑拼接而成。
警方经侦查，认定某网络科技公司员工有较大作案嫌疑，急速赴该公司所在地抓获包括汤某在内的3名犯罪嫌疑人。

上虞区分局民警沈林丰先容，犯罪嫌疑人首先在网上搜集热门话题，通过天生式人工智能技能自动天生脚本，并在网上抓取干系***片段，利用AI软件合成完全***，配上音乐、字幕。
不到一分钟，一段虚假***便“新鲜出炉”。

对此，北京市天元状师事务所合资人杨虎城表示，老话说“眼见为实”，但今后眼睛看到的也不一定是真实的。
未来，涉及人工智能合成技能的诱骗、敲诈打单等违法犯罪和肖像、名誉等民事侵权问题，值得戒备。

2022年10月22日， 北京地铁一号线，反电信网络诱骗专用号码96110的***宣扬广告

AI辨真假

随着AIGC领域各种技能的开源，天生式人工智能走进各行各业的场景。
当人们的肉眼无法分辨音视图文等内容是否由人工智能天生时，人工智能打假平台可以将其识别。

究其事理，天生式大模型实质上依托于一个参数量巨大的神经网络模型，在演习数据的过程中进行模型的推理。

“我们在演习模型时，会将一些数据通过天生的办法为其打上标签，见告它哪些数据是真实的数据，哪些是假的数据。
通过这种办法，我们可以让模型进行直接的输出，判断真假。
”萧子壮举了一个例子：假造的图片每每会在热力争上露出漏洞——真实图片的热力争无热力区域，而假造图片会显示有热力区域。

2023年1月，在中国信息协会区块链专业委员会的辅导下，SAFEIS安全研究院发布《2022年区块链安全白皮书》，显示2022年区块链安全事宜涉事总金额超过753亿美元。

区块链技能背景下，虚拟货币去中央化、匿名性、交易便捷等特性及反追踪技能的不断升级，增加了司法机关的办案难度。
如何快速识别嫌疑人真实身份、迅速追踪资金去向、极速跟上资金转移速率，是办案过程中亟待办理的几个核心难题。

“将人工智能引擎与链上大数据剖析技能结合，运用到案件追踪系统中，能够极大提高案件的侦破速率。
案件追踪系统可以自动剖析和提取海量链上数据，将繁芜的资金流向以可视化的网状图和树状图呈现出来，使司法职员快速节制案件的关键信息。
”北京大数据研究院家当发展部主任蔡晓见告《瞭望东方周刊》。

据蔡晓先容，案件追踪系统通过深度学习、剖析海量案件模型，可以创造人工难以察觉的规律，再借助资深业务知识，可帮忙侦查职员准确判断案情并锁定犯罪目标，找出终极的链上地址并识别该地址的交易场所。

目前，深度假造技能也在不断自我优化、升级迭代，天生的声音越来越自然流畅，***也越来越逼真，当我们无法及时利用打假平台辨别真伪时，可以怎么办？

萧子豪给出了妙招：“如果碰着疑似AI换脸诱骗的情形，可以在***时故意识地勾引对方做一些动作，如：大幅度地摇头或张嘴。
如果骗子技能手段较弱，那么我们就可能创造对方面部边缘或者牙齿的瑕疵，从而识别出AI换脸。
不过，这个方法对付识别出‘高水平’的不法分子，还存在难度。
”

近年来，天生式人工智能技能快速发展，为经济社会发展带来新机遇的同时，也产生了传播虚假信息、侵害个人信息权柄、数据安全和偏见歧视等问题。
如何统筹天生式人工智能的发展和安全，引起各方关注。

2023年7月10日，国家互联网信息办公室、国家发展和改革委员会等七部门联合发布《天生式人工智能做事管理暂行办法》（以下称《办法》），自2023年8月15日起施行。
出台《办法》，既是促进天生式人工智能康健发展的主要哀求，也是戒备天生式人工智能做事风险的现实须要。

随着大模型运用越来越多，安全漏洞也在不断增加。
萧子豪表示，人工智能有三个维度的风险：首先是算法本身；其次是数据透露；第三是运用的问题。
确保算法安全、数据安全，以及在运用中进行防御和检测，变得尤为主要。

同样主要的还有，在人工智能逐渐成为人们生活和事情中不可或缺的部分之际，防止AI技能滥用。

“为防止AI技能滥用，所有的人工智能软件上线之前，都要通过严格的审查，才能安全上线；上线之后，干系机构也要对其运行情形进行禁绝时审查。
”萧子豪见告《瞭望东方周刊》，目前，我国正在推进审查事情。

事实上，关于如何确保人工智能技能的康健发展和运用，浩瀚企业、研究机构以及监管者也在努力探索办理方案。

清华大学人工智能国际管理研究院副院长梁正表示，对公司来讲，最佳办理方案是在产品上标注“识别标记”，比如数字水印，核心是对平台产生的内容做标注——首先，可以识别这条内容是人工智能天生的、并不是人类创作的；其次，可以识别这条内容是在哪个平台天生的，由哪个用户天生并传播出去的。
这样，有清晰的追溯链条，就能更清晰地定义任务人。

据先容，目前，OpenAI已经这样做了，推出了AI识别的工具。

中国互联网协会监管支撑部主任郝智超建议，人工智能技能发展须要干系法律法规来划红线、踩刹车，须要进一步加强对个人隐私数据透露问题的关注，明确信息监管红线，对人工智能技能的研发、传播、利用做到有规可循，并根据技能发展实际情形，及时完善对技能做事商行为的规范勾引。

“技能是一把双刃剑。
如何掌握技能向善除恶，是一个须要不断学习的课题。
”萧子豪说。

（本刊演习生傅熙雯对此文亦有贡献）

来源： 新华社