寻找 AI 马脚的对话_破绽_德格
林恩·宫下(Lynn Miyashita):非常感谢您约请我们。
谢罗德·德格里波(Sherrod DeGrippo):感激你加入我。以是我想和你们俩谈谈的缘故原由是,漏洞赏金,我们知道什么,我们喜好它,但 AI 漏洞赏金是一个奇怪的新事物,Microsoft于 2023 年推出。从那时起,人工智能漏洞赏金就成了人们常常评论辩论的事情——我想我们是第一个这样做的人。我把稳到在社交媒体上,人们会在人工智能中创造缺点。就像,这是一件大事,人们 这险些就像过去的虫子佃猎一样 人们乃至不想找到东西;他们只是作为用户在胡闹,然后溘然涌现一些东西,他们说,“哦,这彷佛是一个问题。那么,林恩,你能给我们先容一下,比如,什么是漏洞赏金?但是,AI漏洞赏金是如何开始的呢?这是怎么回事?漏洞赏金是怎么回事?
林恩·宫下(Lynn Miyashita):是的。因此,Microsoft 漏洞赏金操持供应金钱褒奖,以勉励我们的外部安全研究职员创造并报告高影响的安全漏洞,从而帮助我们办理安全问题并帮助保护我们的客户。因此,我的团队是管理和建立与安全研究职员和我们的行业互助伙伴建立这些关系的团队。我们以及我们在这里的关系,帮助识别客户威胁和新涌现的漏洞模式。因此,我们采取这些模式和见地,并与全体公司的工程团队分享,以推动安全投资,而不仅仅是这些一次性的缺点修复。因此,我们的人工智能赏金操持是自Copilot推出以来数月投资和学习的关键结果,Copilot以前是Bing Chat,个中包括AI安全研究寻衅,乃至更新了Microsoft关于AI系统漏洞严重性分类的指南。我认为安德鲁实际上可以多谈谈 AI 缺点栏。
谢罗德·德格里波(Sherrod DeGrippo):是的。什么是缺点栏?
安德鲁·帕弗德:绝对。感激,林恩。感激,谢罗德。从实质上讲,作为任何类型的漏洞赏金操持的关键第一要素,我们须要的是一个非常明确的定义,即我们所说的漏洞。那么,研究职员将向我们报告哪些类型的事情,以及我们如何用一种共同的措辞来评论辩论它们,如果你乐意的话,就漏洞是什么,它影响什么,然后严重性级别是什么?所有这些都在漏洞赏金操持中发挥了浸染。因此,正如Lynn所提到的,随着Copilot和新的AI系统的兴起,我们不得不扩展Microsoft的漏洞严重性分类,或者非正式地扩展我们的bug栏,以涵盖这些新的AI和机器学习系统。这也是我们去年所做的,这构成了我们漏洞赏金的根本。
谢罗德·德格里波(Sherrod DeGrippo):那么你能给我举个例子吗,比如,有些东西可能会到达缺点栏,有些东西可能不会?如果我只是想把它从我的头顶上弹出来,我能不能在高下文中考虑一下?
安德鲁·帕弗德:绝对。大概我可以先跳进去。因此,我们对这个缺点栏进行了大量仔细的思考。首先要提到的是,目前,我们专注于安全问题。有一个操持对此进行更广泛的思考。但就目前而言,我们鼓励研究职员探求他们所期望的安全问题,他们会向Microsoft报告,但特殊是更广泛地考虑人工智能系统可能涌现的新安全问题。因此,我们当然可以深入研究细节。但是,我们看到的人工智能系统涌现的一个非常有趣的类是这一类,比如说,命令注入或提示注入。这很有趣,由于在当前一代人工智能系统之前,这并不存在。因此,我们非常希望看到研究职员在这种领域探求新的和有趣的漏洞。
谢罗德·德格里波(Sherrod DeGrippo):明白了。以是提示注入是个中很主要的一部分,听起来像,我知道这是人们有时创造的例子之一,只是开始在社交媒体上粘贴屏幕截图,比如,“看看我让人工智能做了什么或说了什么。因此,当人们创造这些时,这些示例是您希望提交到漏洞赏金操持中的吗?
安德鲁·帕弗德:我想是的。答案乃至比这更奇妙。因此,我们在 AI 缺点栏中指出的一件事是查看它基本上能够通过提示注入实行的效果。如果您能够以某种办法对其他用户造成侵害,那么显然这是我们将立即办理的问题,并且必须报告。如果它只是导致 AI 的行为可能略有不同,我会说我们须要从以下问题开始:如果您乐意,这是否符合我们的漏洞赏金操持的标准?因此,我们真的想鼓励人们探求能够产生最大影响的东西,如果这在某种程度上故意义的话。
谢罗德·德格里波(Sherrod DeGrippo):确定。以是,比如,从严重性的角度对漏洞进行优先级排序,诸如此类。
安德鲁·帕弗德:完备。是的。
谢罗德·德格里波(Sherrod DeGrippo):以是,Lynn,帮我理解,艾克,漏洞赏金中包含哪些产品,以及是否有任何新产品可能会添加。那么包括什么呢?
林恩·宫下(Lynn Miyashita):是的。因此,本日,我们的 AI 漏洞赏金侧重于漏洞和 Copilot AI 体验。因此,如果您想到Microsoft Edge 浏览器中的 copilot.microsoft.com 或 Copilot 体验,乃至是适用于 Android 和 iOS 的 Copilot 移动运用程序,这些便是我们现在在公共 AI 赏金操持范围内所拥有的。但是我们一贯在后台事情,发展、迭代和发展我们的赏金操持,以包括更多的 Copilot AI 体验套件,由于 Microsoft 每天都在推出新功能和新产品。
谢罗德·德格里波(Sherrod DeGrippo):明白了。以是你能见告我吗,林恩,比如,如果我创造一个缺点或我认为是一个缺点的东西,我该如何处理它?
林恩·宫下(Lynn Miyashita):尽快提交给 MSRC。因此,我们在 aka.ms/secure-at 有一个 MSRC 研究职员门户。在那里,您会找到一个提交表格供您填写,个中包含您创造的漏洞类型、受影响的产品以及观点证明等信息。因此,无论此观点验证是***还是屏幕截图,乃至只是重现问题的书面步骤,所有这些信息都对我们的团队能够尽快进行调查非常有帮助。
谢罗德·德格里波(Sherrod DeGrippo):明白了。以是我想我的问题是,比如——我将从安德鲁开始。好。让我们来看看。我正在经历 Copilot,是 AI Copilot 之一——我个人常常利用 Copilots。比方说,我创造一些行为看起来是缺点的或不好的,或者我利用某种提示注入技能来让副驾驶以一种真正不屈安、不聪明、不好或不屈安的办法行事。我把它提交给 Lynn 提到的门户网站,这是 aka.ms/secure-at -- 我们会把它放在节目解释中,这样每个人都可以直接点击它,如果他们乐意-- Microsoft用它们做什么?
安德鲁·帕弗德:哦,好问题。因此,一旦你提交了一些东西,第一件事便是我们开始计时。稍后我会在我的例子中回到这个时钟,但请记住这一点。因此,从实质上讲,从技能方面发生的事情是,它来到了我们,Microsoft安全相应中央。我们做的第一件事便是努力重现和理解这个漏洞-- 已经报告的潜在漏洞。这确实是一个关键的步骤,由于首先,我们希望确保我们完备理解研究职员见告我们的内容,我们可能会通过一个开放的沟通渠道回到研究职员那里说,“嘿,我们须要更多的信息”,或者,“这份报告究竟是如何事情的?因此,一旦我们从我们这边完备理解了漏洞,我们将开始与工程团队互助,以理解该漏洞的严重性或影响。在我们评估该漏洞严重程度的同时,工程团队开始对其进行修复或缓解。正如我所说,所有这统统都与我们与研究职员本身保持开放的沟通渠道并行,这便是 Lynn 和团队的用武之地,以确保对赏金方面的事情有后续跟进。如果研究职员的报告有资格得到赏金,则赏金过程将在之后连续进行。以是回到我一开始提到的时钟,为什么我们要在时钟下做这统统?紧张有两个缘故原由。首先,显然,我们希望确保尽快修复漏洞,并优先考虑严重性最高的漏洞,但也由于我们 Microsoft 是折衷漏洞表露的武断倡导者。因此,这常日意味着研究职员可能会推迟公布他们的漏洞,直到我们有机会采纳缓解方法。因此,从我们的角度来看,我们连续为此类事情定义韶光表是公正的。正如您可能已经从最近宣告的“安全未来操持”中看到的那样,这非常主要,既可以更快地相应,又可以完备透明地处理此类漏洞。因此,一旦我们设法修复和缓解了这个漏洞,我们就会鼓励研究职员保持透明并真正宣扬这一点,以便全体社区都能从漏洞的创造中吸取教训。以是这是一个相称繁芜的过程。希望这能总结一下。
谢罗德·德格里波(Sherrod DeGrippo):以是我认为每个人都想知道的是,这些缺点中有多少被提交了?我们在看什么样的指标?有什么支出,我们见过的任何大额赏金支出吗?我们能谈谈吗?
林恩·宫下(Lynn Miyashita):是的。因此,到目前为止,我们已经看到了一些很棒的提交,并且通过这些报告,我们一贯在学习有关研究职员如何方法的新事物,例如研究和人工智能系统。安德鲁,我不知道你能不能举几个例子,或者——
谢罗德·德格里波(Sherrod DeGrippo):是的,见告我。我很想知道。比如,你提交了哪些你认为很酷、很奇怪或有趣的东西?有哪些值得把稳的事情?
安德鲁·帕弗德:是的。因此,我认为从我们这边来看,有一个非常有趣的例子,正如我之条件到的,提示注入攻击肯定是众所周知的。但有趣的是,你可以利用提示注入攻击来做什么?从广义上讲,这可能因产品而异。但大概个中一个更有趣的问题,也是一个可能须要进一步研究的领域,即是否可以利用即时注入攻击以某种办法透露私人数据。因此,要获取模型有权访问的数据,请以某种办法发送给攻击者。现在可能有各种可能的方法,我们已经看到了一些非常聪明的方法,但研究职员自己有特权表露这些方法。但从广义上讲,这些有趣的方面是我们最感兴趣的。
谢罗德·德格里波(Sherrod DeGrippo):因此,让我问你,如果一个研究职员提交了漏洞赏金,被创造是一个合法的漏洞,并且该漏洞得到了修复,等等,你会得到一个CVE吗?
安德鲁·帕弗德:这是一个非常有趣的谈论。目前,业内正在谈论我们该当为这些新兴领域做些什么,比如云漏洞和人工智能漏洞。过去曾针对 AI 漏洞发布过 CVE,但这仍旧是一个过程,每个人都在理解什么有资格得到 AI CVE。以是我认为有很多"大众 -- 有一些公共事情组、规则和谈论正在进行。因此,人们实际上可以去查看 CVE 委员会的规则,看看将来哪些人可能有资格得到 CVE。
谢罗德·德格里波(Sherrod DeGrippo):我认为,当我们进入这个新的人工智能天下时,当涉及到这样的事情时,它将须要新的思维办法。CVE可能须要对AI的归属进行某种审查,由于AI是一种互动的东西。这不仅仅是一个大略的代码缺点。这有点像一个整体的系统性缺点,涉及用户以及用户对它做了什么。以是我也想知道,如果你认识一个传统的漏洞猎手,一个在传统软件包中探求安全漏洞的人,你会建议他们开始做人工智能漏洞赏金吗?林恩,我先从你提及。您认为更传统的漏洞赏金背景人们该当看看吗?
林恩·宫下(Lynn Miyashita):百分之百。是的。我认为,任何背景的人都可以从这个领域开始。正如安德鲁提到的,您可以找到许多不同类型的漏洞,其严重程度各不相同。我认为这为任何背景的人打开了大门,他们有机会去 copilot.microsoft.com 并开始与Copilot谈天,看看他们能找到什么。
谢罗德·德格里波(Sherrod DeGrippo):安德鲁,你的意见是一样的吗,把传统的虫子赏金猎人带到这里?
安德鲁·帕弗德:绝对是100%。在林恩所说的根本上,我想补充一点,由于我们正在从整体上看待这个别系,人工智能只是一个更大的系统的一部分。因此,肯定有可能创造漏洞,这些漏洞超过了你所说的漏洞猎人的传统范围,以及可能因人工智能而涌现的新漏洞的范围。大概最有趣的是这两个方面之间的交集。因此,肯定会鼓励大家来看看我们的系统。
谢罗德·德格里波(Sherrod DeGrippo):因此,对付那些正在那里收听并且熟习乃至可能参与过传统漏洞赏金操持的人来说,看看,如果你能进入那里并开始考试测验,大概会积累一些 AI 缺点。我认为探求 AI 缺点或我们有时称之为 Microsoft AI 红队的有趣事情之一有点像搞砸它,以至于您不必对系统、编码和协议有大量理解。我喜好这些东西。但是,如果你以前从未考试测验过这些东西,那么险些任何人,安德鲁,林恩,如果我错了,请纠正我,任何人都可以成为人工智能缺点猎人,对吧?
林恩·宫下(Lynn Miyashita):百分之百。
谢罗德·德格里波(Sherrod DeGrippo):是的,这太酷了。我认为这是它有趣的事情之一。你知道,有很多不同的副驾驶可供选择。有 Copilot for Security,我常常利用它,但 Bing 中也有 Copilot,对吧?就像它是一个搜索引擎 Copilot 系统。这个真的非常非常迷人。这真的很有趣,由于在我利用 Bing AI 时,它具有所有这些不同的模块和适用于不同用例的功能。我最喜好的是得到在线购物优惠。因此,它利用人工智能在网络上为您找到交易。我认为这将是一个开始探求漏洞的利益所,由于你知道,与互联网生态系统互动以找到交易对它来说非常主要,那里可能有很多可能性。以是,人工智能漏洞猎人,林恩,末了一个问题要问你。如果你要让某人开始在人工智能中探求缺点并提交到程序中,你会见告他们什么?
林恩·宫下(Lynn Miyashita):首先,转到 aka.ms/aibounty,由于您可以理解我们的范围以及 Andrew 在那里评论辩论的 AI 缺点栏的漏洞类型。其次,一定要跟上 MSRC 博客和我们的 Like X(或以前的 Twitter)社交媒体渠道,由于我们的团队会发布一些非常酷、有趣的研究,这些研究正在内部进行。我们也一贯在评论辩论新的和即将到来的赏金范围。因此,当我们的 AI 赏金范围有更新时,我们一定会在我们的社交媒体上发布。
谢罗德·德格里波(Sherrod DeGrippo):棒。安德鲁,你想在一条建议上添加什么,你可能会给某人,“我想开始做人工智能缺点佃猎吗?
安德鲁·帕弗德:好吧,很难听懂林恩的回答。绝对是林恩所说的统统。我想我唯一要给出的额外建议是说,考试测验一下。这是一个全新的天下。这是一个令人愉快的新方面,你不须要利用这项技能很多年。没有人在这方面有几十年的履历。以是真的考试测验一下。如果您创造任何有趣的东西,请将其发送给我们。
谢罗德·德格里波(Sherrod DeGrippo):非常好。好吧,林恩,安德鲁,非常感谢你加入我。我认为我们该当在这里结束它,以便人们可以开始在 Copilot 产品中探求缺点并找到这些缺点并开始提交它们。感激你加入我。和你聊天真是太好了。
林恩·宫下(Lynn Miyashita):再次感谢我们,Sherrod。
安德鲁·帕弗德:非常感谢。
谢罗德·德格里波(Sherrod DeGrippo):感谢您收听 Microsoft 威胁情报播客。我们很乐意听取您的见地。将您的想法通过电子邮件发送给我们 tipodcast@microsoft.com.每一集,我们都会解码威胁态势,并为您供应应对威胁行为者所需的情报。msthreatintelpodcast.com,请查看我们,理解更多信息,并在您最喜好的播客运用程序上订阅。
本文系作者个人观点,不代表本站立场,转载请注明出处!