【新智元导读】Wayve推出的LINGO-1，让自动驾驶长嘴了！
这车该怎么开，它自个给自个讲授，大措辞模型，再也不是黑盒了。

自发明以来，自动驾驶最让人担心之处，莫过于人类无法知道它的脑筋里到底在想些什么。

本日开始，它居然可以把自己的想法「讲出来」了？

最近，Wayve推出了基于视觉措辞行动的大模型（VLAMs）的自动驾驶交互大模型LINGO-1，把大措辞模型和自动驾驶进行了深度领悟。

详细来说，LINGO-1演习了一个***措辞模型，它可以说是相称有个性——可以对面前正在进行的场景揭橥评论！

-你在干嘛？ -我在小心翼翼地穿越车流，由于目前路面情形很繁芜。
-下一步你打算要做什么？ -我要准备左转了。
-面前的场景中有哪些潜在风险？ -旗子暗记灯，骑自行车的人，过马路的行人

你对智驾系统的迷惑，它统统给你阐明清楚。

问：为什么停下了？答：由于现在是红灯。

在经由各种视觉和措辞数据的演习之后，LINGO-1不仅可以实行视觉问答（VQA）任务，如感知、反事实、方案、推理和把稳力，而且还能对驾驶行为和推理进行描述。

也便是说，我们可以通过对LINGO-1进行提问，来理解影响驾驶决策的成分是什么。

网友感慨道：「端到真个黑盒，就这么被打开了，切实其实是GPT时期的大力失事业。
自动驾驶系统离真实的物理天下交互，又提高了一大步。
」

可以想象，随着我们打破具身人工智能的界线，视觉-措辞-行动模型将产生巨大的影响，由于措辞供应了一种新的模式，来增强我们阐明和演习自动驾驶模型的办法。

自动驾驶车里进来一个捧哏的？

LINGO-1中的独特之处在于引入了一个人类专家，对驾驶场景的措辞评论讲授数据进行演习，让模型把环境感知、行动决策和类人的场景解读联系在一起。

这样，它就可以通过自然措辞交互，来解读自动驾驶系统的决策和行动了。

英伟达高等AI科学家Jim Fan愉快地点评道：这是我近期读到的自动驾驶领域最有趣的作品！

从前的自动驾驶，是「感知 -> 驾驶操作」，而往后的自动驾驶，加进了推理的这一步，是「感知->笔墨推理->行动」。

这个新加的显式推理步骤，有哪些优点？Jim Fan阐明如下——

- 可阐明性：驾驶模型不再是一个神秘的黑盒。

- 反事实情景：它能够想象出演习数据中没有的场景，并推理出如何精确地进行处理。

- 长尾编程：驾驶中存在大量边缘场景，要对所有场景进行良好的数据覆盖是不可能的。
与其网络成千上万的示例来对一个案例进行「神经编程」，不如让人类专家编写提示（prompt）来阐明少量的示例，从而辅导系统如何处理特定或繁芜的情景。

不仅如此，LINGO-1还和游戏人工智能领域的一些研究密切干系，比如MineDojo和思想克隆，它们都是AI智能体。

前者可以学习一种褒奖模型，把评论文本和「我的天下」（Minecraft）游戏***像素关联起来。
后者可以实现「像素->措辞->行动循环」的一整套链路。

LINGO-1——开环驾驶讲授员

自个讲授自个

模型在关注什么？在做什么？现在，这些都不是谜了。

LINGO-1会对你阐明清楚，它的每一步辇儿为是在干嘛。

比如它想超越一辆停在路边的车辆——

LINGO-1：由于车流缓慢，我正在超车。
LINGO-1：我正在超越一辆停在路边的汽车。
LINGO-1：由于前方道路畅通，我正在加速。

驶近斑马线时——

LINGO-1：我正在保持车速；道路仍旧畅通无阻。
LINGO-1：现在正在刹车减速。
LINGO-1：在斑马线处停下。
LINGO-1：我正在从停滞的位置加速。
LINGO-1：我正在加速，由于道路通畅。

在十字路口左转时——

LINGO-1：我保持不动，由于前车也停了下来。
LINGO-1：我正在加速，由于前车已经驶离。
LINGO-1：我正在踩刹车，准备在路口停车。
LINGO-1：我正在提高，由于车道畅通。
LINGO-1：完成左转，沿着路线行驶。

视觉问答（VQA）

除了能讲授自个儿，LINGO-1还能针对你的提问进行答疑，让我们能够评估它的场景理解和推理能力。

比如，如果问LINGO-1，在这个十字路口要把稳什么？

它会说：「我得把稳前面的旗子暗记灯、我前面骑自行车的人和正在穿过道路的行人。
」

问一下LINGO-1，现在是什么景象？会对驾驶产生什么影响？

它会说：「现在是雨天，我开车时须要极其小心，由于雨天路面湿滑，能见度降落。
」

LINGO-1，你该若何安全地和自行车并排行驶？

它会说：「我得和骑自行车的人保持间隔，必要的时候停下来，它是一个潜在危险。
其余路边停的车我也得把稳。
」

关键：驾驶讲授数据集

开拓LINGO-1的关键，就在于创建一个可扩展的多样化数据集。
这个数据集包含了专业驾驶员在英国各地驾驶时的讲授，包括图像、措辞和行动数据。

这让我们想起在驾校时跟教练学开车时的场景——他们会时时揭橥类似下面这样的评论和解说，阐明自己在驾驶时为什么要有这种行为，好让学员们举一反三。

- 前方车辆/交通信号灯有变，请减速 - 现在该变换车道了 - 可以加速了，把稳不要超过最高限速 - 把稳！
其他车辆驶入道路/停在十字路口了 - 把稳前方环岛和让路标志 - 前方有停放车辆/交通信号灯/学校 - 阁下车辆正在变道/超过停在路边的车辆 - 骑车的人/行人正在斑马线上期待

当以上这些语句和感官图像、底层驾驶动作在韶光上同步时，研究者就得到了丰富的视觉-措辞-行动数据集，可以用于演习各种任务的模型。

视觉-措辞-行动模型（VLAM）

LLM崛起后，许多视觉措辞模型（VLM）都将LLM的推理能力与图像和***相结合。

而Wayve进一步推出了视觉-措辞-行动模型（VLAM），包含三种信息——图像、驾驶数据和措辞。

以前，在机器人演习（尤其自动驾驶领域）中，很少会用到自然措辞。

如果加进了自然措辞，就会让我们更有力地阐明和演习根本驾驶模型，这种崭新的模式会产生巨大的影响。

通过用措辞来阐明驾驶场景中的各种因果成分，就可以加快模型的演习速率，推广到全新的场景中。

而且，既然可以向模型问问题，我们就能知道模型究竟理解了什么，它的推理和决策能力有多强。

自动驾驶系统也不再是个神秘的黑盒，我们开车时可以时时时地问问它：你在想啥？

这无疑会提高大众对自动驾驶的信赖。

其余，虽然只有少量的演习样本，但自然措辞的快速学习能力，可以让模型迅速高效地学习新任务、适应新场景。

比如，只要我们用自然措辞见告模型「这种行为不对」，就能纠正自动驾驶系统的缺点行为。

从此，或许只须要自然措辞，就能为端到端自动驾驶建立根本模型了！

准确率60%

这段韶光，团队一贯在对模型架构和演习数据集进行改进。

从图中不丢脸出，LINGO-1的性能比较于最开始已经提高了一倍。

目前，LINGO-1的准确率已经达到了人类水平的60%。

显然，自然措辞的引入，可以在多个方面彻底改变自动驾驶技能。

提高端到端模型的可阐明性

机器学习模型缺少可阐明性的问题，一贯以来都是研究的焦点。

通过创建基于自然措辞的交互界面，可以让用户直接进行提问并让AI解答，从而深入理解模型对场景理解以及是如何做出决策的。

这种搭客与自动驾驶汽车之间的独特对话，可以提高透明度，让人更随意马虎理解和信赖这些系统。

同时，自然措辞还能增强模型适应人类反馈并从中学习的能力。

就像教练辅导学生驾驶一样，随着韶光的推移，纠正指令和用户反馈可以完善模型的理解和决策过程。

更好的方案和推理，提高驾驶性能

有两个紧张的成分会影响自动驾驶性能：

1. 措辞模型准确阐明各种输入模式场景的能力

2. 模型将中层推理转化为有效底层方案的闇练程度

对此，团队正在考试测验通过LINGO的自然措辞、推理和方案能力，来对闭环驾驶模型进行增强。

Wayve LINGO-1闭环自动驾驶模型

新场景或长尾场景的高效学习

平时，一张图片赛过千言万语。

但在演习模型时，是一段笔墨赛过千幅图片。

现在，我们不再须要成千上万个汽车为行人减速的示例，只须要几个示例，配上简短的笔墨解释，就可以教会模型减速，让它学会在这种情形下该当如何行动，该当考虑什么。

要知道，在自动驾驶中，最主要的部分之一便是因果推理，它能让系统理解场景中元素和行为之间的关系。

一个性能良好的VLAM，可以让系统将在斑马线上等待的行人与「请勿穿越」的交通信号牌联系起来。
这种数据有限的寻衅性场景中极故意义。

其余，LLM早已从互联网数据集中节制了大量人类行为知识，因此能够理解识别物体、交通法规和驾驶操作等观点，比如树、商店、屋子、追逐球的狗和停在学校门口的公交车之间的差异。

通过VLAM对图形数据更广泛的信息编码，自动驾驶会变得更前辈、更安全。

局限性

当然，LINGO-1也存在着一定的局限性。

泛化

LINGO-1是根据伦敦市中央的驾驶履历和互联网规模的文本进行演习的。

虽然已经学到了全天下的驾驶文化，但目前最善于的还是对英国的交通法规进行解读。

它还须要学习其他国家的驾驶履历。

幻觉

在大措辞模型中，幻觉是一个众所周知的问题，LINGO-1也不例外。

不过比起一样平常LLM，LINGO-1有一个上风：由于以视觉、措辞和行动为根本，它就有了更多的监督来源，从而可以更好地理解天下。

高下文

***深度学习之以是具有寻衅性，是由于***数据常日比图像或文本数据集大几个数量级。

基于***的多模态措辞模型尤其须要较长的高下文长度，以便能够嵌入许多***帧，来推理繁芜的动态驾驶场景。

闭环推理

目前，Wayve正在研究模型的可阐明性，但终极，他们LLM的推理能力能够真正影响到人类的驾驶。

研究者正在开拓一种闭环架构，未来能在自动驾驶车辆上运行LINGO-1。

网友谈论

对此，网友们也以为很振奋民气。

「有趣的是，我认为措辞模型是用笔墨阐明了驾驶掌握模型的转向、制动和油门预测，而不是影响驾驶本身，由于自然措辞会丢失所需的精度。
」

「通过这种方法，我们正在非常靠近AGI。
」

「可以认为它是在世界模型中添加措辞。
我一贯不明白为什么以前从未考试测验过，由于演习Agent进行沟通这个想法彷佛大家都能想到。
」

「从纯挚的感知行动到添加文本推理，这种转变改变了游戏规则！
在我看来，这正是自动驾驶中缺失落的部分，由于它以非技能性的办法使可阐明性成为可能。
」

目前来说，机器人演习与自然措辞的整合，仍处于早期阶段。

而LINGO-1，正式在利用自然措辞加强根本驾驶模型的学习和可阐明性上，迈出的主要一步。

试想一下，往后我们只须要通过大略的笔墨提示，就能让AI见告前面的路况，或者让AI学习不同地区的交通法规，这个场景切实其实太令人激动了！

因此，自然措辞在开拓更安全、更可靠的自动驾驶汽车方面，一定大有可为。

参考资料：

https://wayve.ai/thinking/lingo-natural-language-autonomous-driving/?continueFlag=94beb9def3b2abc69ded207e71ffda33