研究职员所要做的便是调度他们的方法，以探求而不是剔除毒性。
人工智能想出了恒河沙数的新物质，个中一些与VX相似，是有史以来开拓的最强的神经毒剂。
震荡之余，研究职员于本月在《自然-机器智能》杂志上揭橥了他们的创造。

The VergeJustine Calma采访了该论文的紧张作者Fabio Urbina。
他也是Collaborations Pharmaceuticals, Inc.的一名高等科学家，该公司专注于为罕见疾病探求药物治疗。

本采访因篇幅和清晰度而进行了编辑。

The Verge：这篇论文彷佛颠覆了你的正常事情。
请见告我你在日常事情中的事情内容。

Urbina：我的事情紧张是是在药物创造领域履行新的机器学习模型。
我们利用的这些机器学习模型中，有很大一部分是为了预测毒性。
无论你试图开拓什么样的药物，你都须要确保它们不会有毒性。
如果事实证明，你有这种奇妙的药物，可以很好地降落血压，但它击中了个中一个非常主要的，比如说，心脏通道--那么基本上，它是不可能的，由于这实在是太危险。

The Verge：那么，你为什么要做这项关于生化武器的研究？触发点是什么？

Urbina：我们收到了瑞士联邦核、生物和化学保护研究所斯皮埃兹实验室的 Convergence 会议约请。
该会议的想法是向全体社会通报可能对《化学/生物武器公约》有影响的工具的新发展。

我们接到这个约请，是为了评论辩论机器学习以及它如何在我们的领域被滥用。
这是我们以前从未真正想过的事情。
但是，我们很随意马虎意识到，当我们建立这些机器学习模型，以得到越来越好的预测毒性，从而避免毒性时，我们所要做的便是“翻转开关”，说：“你知道，与其说我们要阔别毒性，不如说我们要走向毒性呢？”

The Verge：你能向我先容一下你是如何做到的吗--将模型转向毒性？

Urbina：我会对一些细节说得比较模糊，由于我们被奉告基本上要遮盖一些详细细节。
大体上，这个实验的事情办法是，我们在历史上有很多分子的数据集，这些分子已经被测试过，看看它们是否有毒。

特殊是，我们在这里关注的一个是VX。
它是一种被称为乙酰胆碱酯酶的抑制剂。
每当你做任何与肌肉有关的事情时，你的神经元利用乙酰胆碱酯酶作为旗子暗记，基本上说“去移动你的肌肉”。
VX的致命办法是它实际上阻挡了你的横膈膜、你的肺部肌肉能够移动，因此你的肺部变得麻痹。

很明显，这是你想避免的事情。
因此，从历史上看，已经用不同类型的分子做了实验，看它们是否抑制乙酰胆碱酯酶。
于是，我们建立了这些分子构造的大型数据集，以及它们的毒性如何。

我们可以利用这些数据集来创建一个机器学习模型，该模型基本上可以学习分子构造的哪些部分对毒性很主要，哪些不主要。
然后我们可以给这个机器学习模型供应新的分子，可能因此前从未测试过的新药物。
它将见告我们这被预测为有毒，或这被预测为无毒。
这是一种方法，使我们能够非常、非常快速地筛选出大量的分子，并找出那些被预测为有毒的分子。
在我们的研究中，我们所做的是将其颠倒，显然，我们利用这个模型来考试测验预测毒性。

我们在这里所做的另一个关键部分是这些新的天生模型。
我们可以给天生模型一大堆不同的构造，它可以学习如何将分子组合在一起。
然后我们可以在某种意义上，哀求它天生新的分子。
现在它可以在全体化学空间中天生新的分子，而且它们只是一些随机的分子。
但我们可以做的一件事是，我们实际上可以见告天生模型我们想去哪个方向。
我们通过给它一个小的评分函数来做到这一点，如果它天生的分子是我们想要的东西，就给它一个高分。
我们不是给有毒分子打低分，而是给有毒分子打高分。

现在我们看到该模型开始产生所有这些分子，个中很多看起来像VX，也像其他化学战剂。

The Verge：见告我更多关于你的创造。
有什么让你吃惊的吗？

Urbina：我们并不真精确定我们会得到什么。
我们的天生模型是相称新的技能。
以是我们还没有广泛利用它们。

一开始最大的事情是，很多天生的化合物被预测为实际上比VX的毒性更大。
而这令人惊异的缘故原由是，VX基本上是已知的最有效的化合物之一。
意味着你须要非常、非常、非常少的量才能致去世。

现在，这些是我们还没有验证的预测，我们当然也不想自己去验证。
但预测模型一样平常来说是相称好的。
因此，纵然有很多假阳性反应，我们也担心个中有一些更有力的分子。

其次，我们实际上看了这些新天生分子的很多构造。
他们中的很多人看起来确实像VX和其他战剂，我们乃至创造一些从模型中天生的是真正的化学战剂。
这些是在从未见过这些化学战剂的情形下从模型中天生的。
因此，我们知道我们在这里算是进入了精确的空间，而且它产生的分子是故意义的，由于个中一些分子以前已经被制造出来。

对我来说，关注的是它有多随意马虎做。
我们利用的很多东西都是免费的。
你可以从任何地方***一个毒性数据集。
如果你有一个人知道如何用Python编程，并且有一些机器学习的能力，那么可能在一个很好的周末的事情中，他们可以建立类似于这种由有毒数据集驱动的天生模型。
因此，这便是让我们真正考虑把这篇论文揭橥出来的缘故原由；对付这种类型的滥用来说，它的门槛是如此之低。

The Verge：你的论文说，通过做这项事情，你和你的同事们 “仍旧超过了一个灰色的道德界线，证明有可能在没有太多的努力、韶光或打算资源的情形下设计虚拟的潜在有毒分子。
我们可以轻易地删除我们创造的成千上万的分子，但我们不能删除如何重新创造它们的知识”。
在你做这项事情的时候，你脑筋里在想什么？

Urbina：这是一个相称不屈常的出版物。
我们在是否该当揭橥它的问题上来回折腾了一番。
这是一个潜在的误用，没有花费那么多韶光来实行。
我们想把这个信息公布出来，由于我们真的没有在文献中看到它。
我们环顾四周，没有人真正在评论辩论这个问题。
但与此同时，我们也不想把这个想法透露给不良分子。

在一天结束的时候，我们决定，我们有点想在这个问题上取得进展。
由于如果我们有可能做到这一点，那么很可能某个地方的某个对抗性代理可能已经在考虑这个问题，或者在未来会考虑这个问题。
到那时，我们的技能可能已经取得了进展，乃至超过了我们现在所能做到的。
它的很多东西将是开放的--我完备支持：科学的共享，数据的共享，模型的共享。
但是，作为科学家，我们该当把稳我们所发布的东西是负任务的，这是个中之一。

The Verge：对别人来说，复制你的事情有多随意马虎？他们须要什么？

Urbina：我不想听起来很危言耸听，但有人要复制我们所做的事情是相称随意马虎的。

如果你在Google上搜索天生模型，你可以找到一些人们免费发布的拼凑的单行天生模型。
然后，如果你要搜索毒性数据集，有大量的开源毒性数据集。
因此，如果你把这两件事结合起来，然后你知道如何编码和建立机器学习模型--这只须要一个互联网连接和一台电脑--那么，你可以很随意马虎地复制我们所做的。
不仅仅是VX，还有险些所有其他的开源毒性数据集。

当然，这确实须要一些专业知识。
如果有人在不理解化学的情形下把这个东西放在一起，他们终极可能会产生一些不是很有用的东西。
而且还有下一步，必须把这些分子合成出来。
找到一个潜在的药物或潜在的新的有毒分子是一回事；下一步的合成--在现实天下中实际创造一个新分子--将是另一个障碍。

The Verge：是的，在人工智能想出的东西和将其变成现实天下的威胁之间仍有一些大的飞跃。
那里的差距是什么？

Urbina：首先，最大的差距是，你真的不知道这些分子是否真的有毒。
将会有一定数量的假阳性反应。
如果我们让自己理解不良分子的想法或行为，他们将不得不作出决定，他们终极想合成这些新分子中的哪个。

就合成路线而言，这可能是一个成功或失落败。
如果你创造一些看起来像化学战剂的东西，并试图将其合成，有可能不会发生。
这些化学战剂的许多化学身分都是众所周知的，并受到关注。
它们受到监管。
但有这么多的合成公司。
只要它看起来不像化学战剂，他们最有可能只是合成它，然后立时送回来，由于谁知道这个分子是用来做什么的，对吗？

The Verge：你在论文的后面提到了这一点，但是可以做些什么来防止这种滥用人工智能的行为？你希望看到建立什么样的保障方法？

Urbina：现在有越来越多的关于数据共享的政策。
而且我完备赞许，由于它为研究开辟了更多的路子。
它许可其他研究职员看到你的数据，并将其用于他们自己的研究。
但与此同时，这也包括像毒性数据集和毒性模型这样的东西。
以是要想为这个问题找出一个好的办理方案有点难。

我们向硅谷看去：有一个叫OpenAI的组织；他们发布了一个顶级的措辞模型，叫GPT-3。
它险些就像一个谈天机器人；它基本上可以天生与人类险些没有差异的句子和文本。
他们实际上让你随时免费利用它，但你必须从他们那里得到一个分外的访问令牌才能这样做。
在任何时候，他们都可以割断你对这些模型的访问。
我们在想，对付潜在的敏感模型，如毒性模型，类似的东西可能是一个有用的出发点。

科学是关于开放互换、开放访问、开放数据共享的。
限定是与这个观点背道而驰的。
但向前迈进的一步可能是至少要负任务地解释谁在利用你的资源。

The Verge：你的论文还说，\"大众在不过分骇人听闻的情形下，这该当成为对我们同事的警觉\公众--你希望你的同事能觉醒到什么？你认为过分骇人听闻会是什么样子的？

Urbina：我们只是希望更多的研究职员承认并意识到潜在的误用。
当你开始在化学领域事情时，你会被奉告化学的误用，你有任务确保你尽可能地避免这种情形。
在机器学习领域，没有这样的规定。
没有关于滥用技能的辅导。

因此，把这种意识放在那里可以帮助人们真正把稳到这个问题。
然后，它至少在更广泛的圈子里被评论辩论，并且至少可以成为我们在建立毒性模型方面越来越好的时候把稳的东西。

我不想发起，机器学习的人工智能将开始创造有毒分子，而且会有持续串新的生化战剂就在附近。
有人点击一个按钮，然后，你知道，化学战剂就可能会涌如今他们手中。

我不想骇人听闻，说会有人工智能驱动的化学战。
我不认为现在是这种情形。
我不认为它很快就会成为事实。
但它开始成为一种可能性。