新一代人工智能模型可以在文本提示的根本上，按照需求制作出“创造性”图像。
诸如Imagen、MidJourney和DALL-E 2等图像天生系统正在开始改变创作内容对版权和知识产权的影响办法。

虽然这些模型的输出每每令人震荡，但是现在还难以确定它们究竟是如何产生结果的。
上周，美国研究职员令人饶有兴趣地流传宣传：DALL-E 2模型或许发明了自身的秘密措辞。

通过提示DALL-E 2系统创作包含文本字幕的图像，然后再将由此产生的字幕gibberish（令人费解的胡话）输回系统，研究职员创造：DALL-E 2认为“Vicootes”的意思是“蔬菜”，而“Wa ch zod rea”则是指“鲸可能会吃的海洋动物”。

人工智能（视觉中国）

这些说法令人着迷，如果属实，可能对这种大型人工智能模型产生主要的安全与解读能力影响。
那么，原形到底如何呢？

拥有秘密措辞？

DALL-E 2可能并无“秘密措辞”。
或许比较准确的说法是，它拥有自己的词汇，但是即便如此，我们也没把握。

首先，这个阶段，很难证明有关DALL-E 2及其他大型人工智能模型的任何说法，由于只有少数研究职员和创意从业者打仗它们。

公开分享的任何图像都应打个折扣，由于它们是由人从人工智能创作的很多图像中“筛选出来的”。

纵然是那些打仗这些系统的人，也只能有限利用这些模型。
比如，DALL-E 2用户可以制作或修正图像，但是（迄今）不能更深入地与人工智能系统互动，比如修正幕后代码。

这意味着不能用“可阐明的人工智能”的方法理解这些系统的事情事理，而系统性地研究其行为也非常困难。

一种可能是，“令人费解的胡话”短语与来自非英语的词语有关。
比如“Apoploe”，类似于拉丁语“Apodidae”（雨燕科）一词，彷佛以Apoploe作提示创作出来的图像都是鸟类。

这彷佛是一种合理的阐明。
比如，DALL-E 2接管大量基于互联网搜索而来的数据的演习，包括很多非英语词语。

类似情形以前也发生过：由于机缘巧合，大型自然措辞人工智能模型在没有接管刻意培训的条件放学会了编写打算机代码。

原形扑朔迷离

支持这种理论的一个论点便是如下事实：人工智能措辞模型与你我解读文本办法并不相同。
相反，它们将输入文本打碎成“令牌”，然后再进行处理。

不同的“令牌化”方法会产生不同的结果。
把每个词当作一个令牌，彷佛是一种直觉的方法，但是当相同的令牌有不同的意思时（比如“match”一词，当打网球时以及点火时，就有不同的意思），就会引起麻烦。

另一方面，把每一个字母当作一个令牌，所产生的可能的令牌数量较少，但是每个令牌通报的信息含义都要小得多。

DALL-E 2（及其他模型）利用一种中间方法，称做字节对编码（BPE）。
检讨某些令人费解的胡话的字节对编码表征可以创造，这可能是理解这种“秘密措辞”的主要成分。

这种“秘密措辞”也可能只是“垃圾进，垃圾出”原则的一个例子。
DALL-E 2不会说“我不知道你在说什么”，因此它总是通过给定的输入文本，产生某种图像。

不管若何，这些选项都不是完全的阐明。
比如，从令人费解的胡话中去掉个别字母，彷佛会以非常详细的办法毁坏已产生的图像。
而且，将单个胡话词语组合起来，并不一定产生合乎逻辑的复合图像（如果确实存在秘密“措辞”，那是可以的）。

正视现有担忧

除了求知欲，你或许在思考这是否真的主要。

答案是，是的。
DALL-E的“秘密措辞”是机器学习系统“对抗攻击”的一个例子：一种通过故意选择人工智能无法精确处理的数据输入，冲破系统的故意行为。

对抗攻击担心的一个缘故原由是：它们寻衅我们对这个模型的信心。
如果人工智能以意外办法解读胡言乱语，那么它或许也会以意外办法解读故意义的词。

对抗攻击也提出了安全关怀。
DALL-E 2对输入文本进行过滤，防止用户产生有害或侵权内容，但是令人费解的胡话“秘密措辞”可能会让用户规避这些过滤。

近期研究创造：某些措辞人工智能模型的对抗“触发短语”——简短的废话，可能触发模型涌出种族主义、有害或带有偏见的内容。
这项研究也是目前正在开展的调研活动，以便理解和掌握繁芜的深度学习系统如何通过数据进行学习。

末了，DALL-E 2“秘密措辞”这种征象引起理解读能力担忧。
我们希望这些模型按照人类的预期那样表现，但是看到胡言乱语的构造化输出令我们的预期受挫。

你或许还记得2017年终于脸书网站一些“发明了自身措辞的”谈天机器人的鼓噪辩论。
现在局势有点类似：结果令人担忧，但不是那种“‘天网’即将取代天下”式的担忧。

相反，DALL-E 2的“秘密措辞”突出了目前对付深度学习系统的稳健性、安全以及解读能力的担忧。

在这些系统较广泛地运用之前，特殊是，在来自非英语文化背景的广泛用户能够运用它们之前，我们确实无法真正理解到底在发生什么。

来源：参考网