“AI原生”骗局江湖：真的真、假的真、真的假、假的假_人工智能_技巧

2024-08-27 21:34:01 科技快讯

文 | 甲子光年科技家当智库，作者｜刘杨楠‍‍，编辑｜王博

“AI原生”骗局江湖：真的真视频、假的真视频、真的假视频、假的假视频_人工智能_技巧科技快讯

“Sora的涌现超乎所有人的预期，我们在2021年制订的部分防御策略，本日可能已经不适用了。
”

瑞莱聪慧RealAI联合创始人&算法科学家萧子豪见告「甲子光年」。

虽然Sora还未对普通用户公开测试，但是Sora天生***的逼真效果，不得不让人“未雨绸缪”。

试想一下，如果骗子利用Sora天生一个人被抢救或者被绑架的***，再用“AI换脸”技能换成目标当事人亲友的形象，同时利用分外方法割断当事人与亲友之间的联系，进而履行诱骗。
如果在没有各方安全防护方法的情形下，是有可能成功的。

纵然没有诱骗，虚假***、谣言也会对社会产生不良影响。

“人工智能进入爆发式发展的关键阶段。
我们主见发展与安全并重，既要拥抱新事物新机遇，也要装好刹车再上路，共同推进人工智能环球管理。
”3月7日，中共中心政治局委员、外交部长王毅在回答有关人工智能的提问时明确表态。

据不完备统计，在今年的全国两会上，已有20多位代表、委员环绕“人工智能”提出了干系建议。
个中，“安全”与“合规”是他们关注的焦点。

早在ChatGPT涌现之初，「甲子光年」就曾在《第一批因ChatGPT下狱的人，已经上路了》一文中写道：“在ChatGPT技能前景、商业模式都还朝阳东升的时候，环绕自身的‘犯罪方案’以及所造成的负面影响却已真实发生。
由新技能衍生的网络信息安全以及违法犯罪等方面的风险，成了摆在环球AI科学家、企业以及国家面前的严明问题。
”

一年后，Sora的涌现，让新的安全问题涌如今了人们面前，而涌现多年的“AI换脸”技能也在不断迭代升级。

无论是近期喷鼻香港警方表露的涉案金额高达2亿港元的“AI换脸”诱骗案，还是前段韶光梅西澄清***被质疑“AI换脸”风波，都让更多人意识到“眼见不一定为实”，AI带来的争媾和风险实在就在人们身边。

“安全问题就像景象问题一样，如果大家现在只看重发展，不重视安全问题，一贯拖延下去，等到很严重的时候再行动可能就太迟了。
”萧子豪说。

震荡、好奇与惶恐感情交织，面对天生式AI模型带来的全新寻衅，监管方、AI安全厂商乃至置身个中的每一个人又该如何应对？

隐秘的角落

天生式AI模型是Deepfakes（深度假造）的技能根本，而以“AI换脸”为代表的人脸假造技能是Deepfakes的一个主要分支。

2019年，两位艺术家和一家广告公司制作了Facebook创始人马克·扎克伯格 (Mark Zuckerberg) 的Deepfakes***，并将其上传到Instagram。

这段***由艺术家Bill Posters和Daniel Howe与广告公司Canny互助制作，***中马克·扎克伯格坐在办公桌前，彷佛在揭橥有关Facebook权力的演讲。

“想象一下：一个人完备掌握了数十亿人被盗的数据、他们所有的秘密、他们的生活、他们的未来，”AI版“扎克伯格”在***中说，“谁掌握了数据，谁就掌握了未来。
”

原始的真实***来自扎克伯格2017年9月在Facebook上揭橥的一次演讲。
Instagram的帖子称其是利用CannyAI的***对话更换 (VDR) 技能创建的。

可以看到，AI版“扎克伯格”已经十分逼真，全体画面像是一个真实的***片段，词条写着“我们正在提高广告的透明度”。

这件事引起了Facebook以及舆论的强烈反对。
此后，Deepfakes技能迅速成长迭代为一种新型骗局。
在毕马威发布的报告中，80%的领导者相信Deepfakes对其业务构成风险，但只有29%的人表示他们已采纳方法打击这些风险。

随着天生式AI模型的发展，以Deepfakes为代表的安全问题也愈发难以被检测。

开源生态繁荣的背面，也让天生式AI更随意马虎被滥用。
开源模型的开源协议一定程度上捐躯了开拓者对模型的掌控。
为了知足开源容许哀求，其他人须要能够研究、利用、修正和共享人工智能系统。
“修正”，则意味着其他人可以删除人工智能模型的原初创立者添加的任何保护方法。

这些新生的AI安全隐患也直指人性的幽暗之处——情色、暴力、金钱诱骗与权力争斗。

互联网不雅观察基金会 (IWF) 创造，犯罪分子正在用开源人工智能来创建儿童性虐待材料 (CSAM)。
根据IWF报告，短短一个月内，他们在一个暗网论坛上记录了20000张人工智能天生的图像。
令人不寒而栗的是，IWF指出，罪犯社区常常谈论Stable Diffusion模型。

据《纽约时报》宣布，虽然尚未证明这些图像是如何制作的，但网络安全公司Reality Defender认为有90%的可能确认这些图像出自Diffusion模型。

近期，新泽西州一所高中的学生制作了一个可以从女孩照片中制作露骨图像的网站，女同学报告说，她们是人工智能天生的裸照在学平生分发的受害者。
而据哥伦比亚广播公司（CBS）***宣布，这只是高中发生的许多类似事宜的一个例子。
盛行歌手泰勒·斯威夫特 (Taylor Swift) 此前也深受其害。

天生式AI也正在“重塑”诱骗家当链。

近期，喷鼻香港警方表露了一起多人“AI换脸”诱骗案，涉案金额高达2亿港元。
据央视***宣布，一家跨国公司喷鼻香港分部的职员受邀参加总部首席财务官发起的“多人***会议”，并按照哀求先后转账多次，将2亿港元分别转账15次，转到5个本地银行账户内。
之后，其向总部查询才知道受骗。
警方调查得知，这起案件中所谓的***会议中只有受害人一个人是“真人”，其他“参会职员”都是经由“AI换脸”后的诱骗职员。

相似的案件此前也有发生，2023年4月20日，内蒙古包头市发生了一起金额高达430万元的诱骗案件，也与“AI换脸”有关。

此外，政治宣扬和误导也是深度造假带来危害的领域。
据美联社宣布，今年1月，有人用AI模拟美国总统拜登的声音，给新罕布什尔州的选民打电话滋扰选举。

天生式AI虽然正以前所未有的速率重塑工业、科研及日常生活的方方面面，但由此带来的安全隐患也正在不断下探至更隐秘的角落。

不过，魔高一尺，道高一丈。
针对这些隐患的应对方法也在加速完善。

魔高一尺，道高一丈

作为环球人工智能领域的风向标，OpenAI的一举一动都被放在显微镜下核阅。
安全，是OpenAI必须要完成的课题。

2023年9月，OpenAI推出“Red Teaming Network（红队网络）”。

图片来源：OpenAI官网

这是一个签约专家组，旨在帮助为公司的人工智能模型供应风险评估信息。
目前，红队可以捕捉（只管不一定修复）OpenAI的DALL-E 2等模型中的种族或性别偏见内容。

此外，OpenAI打算将识别元数据纳入任何面向"大众年夜众的产品的未来版本中；现有的防御方法将谢绝违反公司利用政策的prompt，包括描述极度暴力、性内容和名人肖像。

同时，OpenAI和Meta等公司正在研究帮助识别人工智能制作内容的方法。
例如，在创建人工智能制作内容时加上独特的“水印”，或在分发时引入检测人工智能图像特色的算法。

然而，虽然干系事情已经取得了一些成果，但开源仍可能是一道执拗的缝隙，一些利用开源模型的犯罪分子不汇合营利用这些功能；分发后检测人工智能天生的图像也只能在一定程度的置信度下完成，目前还会产生太多的误报或漏报。

除了企业利用技能手段“以牙还牙”之外，政府监管力度也在大幅收紧。

美国韶光2023年7月21日，拜登于在白宫调集了七家发展人工智能技能的头部公司——亚马逊、Anthropic、谷歌、Inflection AI、Meta、微软和OpenAI，并得到了七家人工智能头部企业的志愿性承诺，确保人工智能技能的安全性、有保障性和可信任性。

同时，白宫呼吁七家领先的人工智能公司赞许志愿保护未发布的模型权重。
模型权重相称于人工智能模型的“秘密武器”，其他人能够通过修正模型权重，在没有保障方法的情形下在新系统中重新创造他们的能力。

不止国外，海内也针对天生式AI的安全防御快马加鞭。

瑞莱聪慧便是个中之一，他们的策略是“用AI检测AI”。

瑞莱聪慧RealAI于2018年7月依托清华大学人工智能研究院发起设立，面向城市管理、金融、教诲科研、智能汽车等行业场景，供应以通用AI模型、AI安全为核心能力的AI平台产品与行业办理方案。

瑞莱聪慧RealAI联合创始人&算法科学家萧子豪见告「甲子光年」，目前对付AI换脸技能有两种主流方法，一种是识别***是否有编辑痕迹，如液化、磨皮等均会留下分外的编辑痕迹；一种是判断***内容是否违背知识。
此前，谷歌Gemini 1.5便用第二种方法“拆台”Sora，指出Sora天生***违背物理知识。

不过，萧子豪表示，谷歌Gemini基于人类反馈演习，这也间接决定了其在识别AI天生***时存在一定局限性——人类无法识别的Gemini也无法识别。
为此，瑞莱聪慧着重开拓相应技能识别人眼无法识别的痕迹。

整体来看，天生式AI天生的虚假***检测，或许须要一套完备不同于从前“AI换脸”的检测技能。
“AI换脸的攻击方法比较多，但攻击区域比较小。
但天生式AI的假造方法还比较少，除了Diffusion外，其他技能路线做出来的***都不足逼真，瑕疵会暴露在整幅画面上。
”

“AI天生***的检测和传统的AI换脸会有不同，但究竟有多大不同还无法确定，须要看更多Sora的***示例才行。
”萧子豪表示，团队正在对天生式AI进行一次系统性梳理，预判可能的发展趋势。
从技能上看，Diffusion模型天生的***会有特殊的频谱或噪点。

中科睿鉴也是数字安全领域的代表性玩家，已在该赛道深耕近20年。

Sora的涌现给AI***检测带来了更大不愿定性，带出了“真的假***”（AI天生***），“假的假***”（真人摆拍伪装Sora天生***）等征象，判真判假都很主要。
更有网友戏称：现在有真的真***、假的真***、真的假***、假的假***……

天生***与真实***检测结果比拟，图片来源：中科睿鉴

对此，中科睿鉴也在内部做了大量有关Sora天生的***测试。
结果显示，目前Sora天生的***在技能上是能检测的。

中科睿鉴公布的数据显示，已实现针对Sora的天生***鉴定，实测准确率85%以上。
除了Sora，睿鉴天生***检测引擎对十余种其他主流技能路线天生的***，均匀检出率在90%以上。

中科睿鉴见告「甲子光年」，面对天生模型技能事理打破带来的成代际的快速跃升，检测模型仅仅靠数据和算力的线性迭代是不足应对的，培植和积累假造检测的AI底座和专用根本模型能力至关主要。

国家监管方面也正在加快脚步。

2023年发布的《最高公民法院、最高公民审查院、公安部关于依法惩处网络暴力违法犯罪的辅导见地》已有明确规定，对“利用‘深度合成’等天生式人工智能技能发布违法信息”的环境予以从重惩罚。

3月4日下午，在全国政协十四届二次会议上，全国政协委员、全国工商联副主席、奇安信集团董事长齐向东建议，从供给侧的角度可以鼓励各行业头部企业与专业安全厂商结成创新联合体，在关键行业选取范例场景开展联合创新，共同探索大模型安全创新产品在威胁检测、漏洞挖掘、指挥研判等方面的运用，在实战中推动“AI+安全”进入越用越强的良性循环。

从需求侧角度，齐向东表示，积极的政策勾引是推动新事物落地运用、发展壮大的催化剂。
建议像支持新能源汽车的发展一样，支持“AI+安全”发展，设置专项基金，对研发创新“AI+安全”产品的企业，给予政府基金、贴息贷款或科研项目等支持；对率先取得技能打破，实现成果转化的科研机构和企业给予褒奖；对积极利用干系技能、产品和做事的企业给予相应补贴，推动“AI+安全”干系家当取得更多科技创新成果。

全国人大代表、农工党中心委员、南昌大学元宇宙研究院院长闵卫东也提出，应该加快研究数字技能戒备人工智能风险的干系建议。
他建议，在人工智能飞速发展的同时，也要建立起相应的数字之“盾”，拉紧人工智能的“缰绳”。

全国人大代表、科大讯飞董事长刘庆峰则建议环绕大模型的数据安全、隐私透露、可靠性、知识产权等几大关键方面制订法律法规，提升通用人工智能技能可靠性与规范性；并针对通用人工智能技能可能带来的社会风险、伦理寻衅和人类文明变革进行开放式课题研究。

不过，一个残酷的现实是——建立数字之“盾”的命题依然任重而道远。

一场永无止境的“追击”

2021年天下人工智能大会上，瑞莱聪慧发布了天生式人工智能内容检测平台DeepReal。

DeepReal检测演示，图片来源：瑞莱聪慧

彼时，Deepfakes的紧张形式是通过换脸公众年夜世人物传播虚假辞吐；黑产也在用AI换脸诱骗获利。
瑞莱聪慧发布该产品的两大初衷，便是过滤虚假信息和反诱骗。

“近几年AI发展太快，有时我们会高估它的速率，有时会低估，但大多数时候都在低估，”萧子豪说，“Sora的涌现超乎所有人的预期，我们在2021年制订的部分防御策略，本日可能已经不适用了。
”

2022年，ChatGPT引爆天生式AI的热潮后，萧子豪明显感到客户需求增加了。
“AIGC产品有其成熟和落地的周期，我们的检测技能也受AIGC技能和产品周期的影响。
”萧子豪透露，接下来，产品迭代的重心将是持续适应攻击算法的蜕变。
瑞莱聪慧正在改进内部研发流程，从根本长进步适应的速率。

毋庸置疑，天生式AI的遍及会给AI安全厂商乃至全社会带来更大的寻衅。

不过，在萧子豪看来，最大的寻衅不在于技能。
“AIGC产品天生的***人眼辨识的难度确实增加了，但从技能角度出发，AI攻击和防御技能的gap总体并没有质的加大。
”

真正的寻衅在于，在客户的实际场景中，AI安全厂商常常要“戴着桎梏舞蹈”。
真正将一套AI安全办理方案落地到客户场景时，并不完备是技能比拼，首先要做的是把帐算清楚。
“客户场景的数据特点、硬件条件以及详细的场景需求各有不同，我们须要考虑到方方面面。
”萧子豪表示。