编译 | ZeR0

编辑 | 漠影

新的索尼大法来了！

智东西2月10日宣布，今日，索尼AI部门Sony AI重磅宣告，其AI程序击败了天下上最顶级的赛车游戏选手，并登上国际学术顶刊Nature的封面。

论文链接：

https://www.nature.com/articles/s41586-021-04357-7

这是继AI在扑克、象棋、围棋、星际争霸、DOTA等游戏击败人类冠军选手后，游戏AI实现的又一里程碑。

作为环球首个能够在高度拟真赛车仿照游戏中降服最强人类选手的赛车AI智能体，索尼的赛车游戏AI GT Sophy仅用一两天磨练战术和技巧，就做到了超过赛车仿照游戏《GT赛车》中可以击败95%的人类玩家。
在演习总计45000小时后，这个AI程序已经能与顶级GT赛车玩家一较高下。

比较此前AI已经节制的棋牌类游戏及部分多人策略游戏，《GT赛车》更加繁芜，由于它高度仿照现实天下，每辆车、每条轨道都经由建模，视觉、音频以及动态方面全部尽可能地还原现实天下的驾驶体验。

这使得AI必须具备极强的持续判断和快速反应能力，在高速变动的条件下，综合考量摩擦、空气动力学、驾驶路线、速率、方向等各种成分，在间隔对手几英寸的范围内，对具有繁芜非线性动力学的车辆进行实时掌握，并知道如何在不违规的条件下超越对手。

“在一场正面竞赛中如此超越精彩的人类车手，是AI领域的一项里程碑式造诣。
”共同撰文的斯坦福大学汽车研究中央联席主任克里斯·格迪斯（Chris Gerdes）教授相信，用于开拓该AI的技能有望在自动驾驶汽车软件中发挥浸染。

GitHub链接：

https://sonyai.github.io/gt_sophy_public/

一、比玩星际争霸更强的智能体，精通掌握、战术和礼仪

GT Sophy研究项目启动于2020年4月，是一个利用新型深度强化学习平台进行演习的自主AI智能体，也是Sony AI自2019年11月成立以来一贯致力于应对的关键寻衅之一。

Sony AI以日本、美国和欧洲三地为据点，重点推进游戏、成像、传感三个AI旗舰项目。
Sony AI环球卖力人北野弘明还曾放言：“到2050年，要让 AI 凭自己的科研成果拿下诺贝尔奖！
”

而今日登上Nature封面的赛车游戏AI，正是Sony AI韬光养晦、谋划已久的大招！

过去两年间，Sony AI团队、《GT赛车》系列背后的游戏开拓事情室Polyphony Digital（PDI）以及索尼互动娱乐（SIE）的云游戏团队密切互助，利用SIE管理的云游戏根本举动步伐演习这个AI。

为了尽可能重实际际天下的赛车环境，PDI为PlayStation 4创建了超现实主义驱动仿照器GT Sport，并供应API访问。

GT Sport配备了一些最新的汽车动力学仿照，逼真地还原了赛车、赛道乃至空气阻力、轮胎摩擦等物理征象，并在汽车制造商的辅导下严扣从车身曲线、车身面板间隙到大灯形状等每个细节。

该仿照器是与国际汽联合作设计的，在环球拥有超过40万人的电子竞技社区，它带来了一个具有明确规则和判断标准的公正赛车环境。

GT Sophy即是在这个终极仿照环境中演习而出，同样，分布式演习平台DART也对付该AI新成果功不可没。

基于这个定制平台，Sony AI研究职员能在SIE云游戏平台的PlayStation 4掌握台上演习GT Sophy。

DART许可研究职员轻松指定实验，在云资源可用时自动运行，并网络可以在浏览器中查看的数据。
此外，该平台还管理PlayStation 4掌握台、代理打算资源和GPU，用于跨数据中央的演习。

它能访问1000多个PlayStation 4掌握台，每个都用于网络演习GT Sophy的数据或评估演习有素的版本。
该平台由必要的打算组件（GPU、CPU）组成，用于与大量PlayStation 4进行交互，并支持永劫光的大规模演习。

DART使得Sony AI的研究团队能够同时无缝运行数百个实验，并探索将GT Sophy提升到更高水平的技能。

在这些根本举动步伐的支持下，仅在一两天内，GT Sophy就做到超过GT Sport中约95%的选手。
经由10天、总计45000小时的驾驶学习，GT Sophy在所有三条赛道上取得了超人般的计时赛表现。

为了验证这个赛车游戏AI的实力，研究职员让GT Sophy在2021年7月2日和10月21日举行的“2021赛车寻衅赛”中，与天下上最精良的四名GT赛车手同台竞技，并成功超过这些顶级人类选手。

二、顶级赛车游戏AI是若何炼成的？

为了打造出超强赛车游戏AI，Sony AI研究职员和工程师开拓了创新的强化学习技能，包括一种名为Quantitile-Regression Soft Actor-Critic（QR-SAC）的新演习算法、一种可以理解的赛车规则编码，以及一种促进得到细微的赛车技能的演习方案。

深度强化学习是街机游戏、国际象棋、围棋等繁芜策略游戏及其他实时多人策略游戏中大多数AI里程碑的关键组成部分，特殊适宜开拓游戏AI智能体，由于强化学习智能体会考虑其行为的长期影响，并能在学习期间独立网络自己的数据，从而避免了对繁芜、手工编码的行为规则的需求。

而处理《GT赛车》等繁芜领域，须要同样繁芜和奇妙的算法、褒奖和演习场景。

AI从多个《GT赛车》游戏中获取信息，通过最大化快速跑圈的褒奖和最小化碰撞的惩罚等办法来学会如何取胜。
比如，如果它超过另一辆车就会得到一定权重的褒奖，但涌现抄近路、碰撞、打滑等事件则受随处分。

GT Sophy在《GT赛车》的三种汽车和赛道组合上接管了多种场景的演习。
个中一些只有AI智能体在赛道上，而另一些则增加了7个正常游戏的NPC对手。
每次赛道位置、起始速率、汽车之间的间距以及对手的技能水平都是随机的。

通过持续学习和积累履历，GT Sophy节制了赛车掌握、赛车战术和赛车礼仪的技能。

（1）赛车掌握：赛车实质上是试图驾驶处于掌握边缘或行驶更远地方的汽车。
估计制动点、找到最佳路线、探求抓地力以最大限度地提高速率和掌握力等，本身就是非常有趣的机器学习问题。

一种新的算法QR-SAC明确推理了GT Sophy高速行动的各种可能结果。
阐明驾驶动作的后果和个中的不愿定性，有助于GT Sophy在车体极限上通过弯道，并在与不同类型的对手比赛时考虑繁芜的可能性。

我们来看一个展示GT Sophy极限驾驶技能的例子，在没有打仗的情形下，智能体可驾驶通过一系列紧贴墙壁的弯道行驶。

（2）赛车战术：车手需能在高速变革的赛车情形下快速做出决策，到线路超过对手，同时考虑到对手对超车考试测验的反应。
虽然AI智能体可以网络自己的数据，但演习尾流超车（slipstream passing）等特定技能须要对手处于特定位置。

为理解决这个问题，GT Sophy的学习包括利用在每条赛道上可能至关主要的人工比赛情形进行稠浊场景演习，以及帮助智能体学习这些技能的专门对手。
这些技能培养场景帮助GT Sophy得到了专业的赛车技能，包括处理拥挤的起跑、弹弓式尾流超车，乃至防御机动。

▲GT Sophy利用急转弯成功超车人类赛车手

（3）赛车礼仪：车手须要遵守详细规则，以限定赛车可以滑出赛道的程度，以及在发生碰撞时谁该当背责。
与此同时，车手须要积极开车才能得胜，找到精确的平衡是一大寻衅。

为了帮助GT Sophy学习运动礼仪，Sony AI研究职员找到了将成文和不本钱比赛规则编码为繁芜褒奖功能的方法。
研究团队还创造，有必要平衡对手的数量，以确保GT Sophy有竞争性的演习比赛，同时不会对人类竞争变得过于激进或胆怯。

例如，GT Sophy在不堵塞驾驶线路的情形下超过了人类车手，给他们留下了足够的机动空间，展示出公正和体育精神。

这些特性，使得GT Sophy与此前在一些经典游戏中击败人类冠军的早期AI智能体区分开来。

国际象棋、围棋等属于完备信息类游戏，AI无需节制现实天下的物理，只需专注于游戏策略。
即便是玩星际争霸的AlphaStar和Dota的OpenAI Five，也没有试图节制现实天下的物理学。

而现在，GT赛车就在试图仿照现实天下，因此其战术、策略和礼仪都至关主要，更难的是，AI须要在汽车在物理极限加速时具备这些技能。

三、还能运用于机器人、无人机和自动驾驶

就像其他打败人类冠军的AI一样，GT Sophy的代价可不仅局限于玩游戏。

在GT Sophy的开拓过程中，研究职员定期与顶级驱动程序互动，以测试最新版本。

“索菲的赛车路线是人类车手永久想不到的。
”《GT赛车》的创造者、现实生活中的赛车手Kazunori Yamauchi说，这项技能将成为其未来版本游戏的一部分，并有望帮助新手和专业司机提高他们的技能。
“我认为很多关于驾驶技能的教科书都将被重写。
”

GT Sophy也带给了顶级人类车手新的灵感。
FIA Gran Turismo锦标赛2018年冠军Igor Fraga夸奖说：“GT Sophy向我们展示了我们之前从未想象过的新可能性。
”

赢得电子竞技赛车赛事前所未有“三冠王”的日本顶级选手Takuma Miyazono，从4岁就开始玩虚拟赛车，但他从未碰着过像GT Sophy这样的赛车手。
“Sophy非常快，圈速比最好的车手的预期要好。
”他认为，看到Sophy，有些动作才成可能。

FIA Gran Turismo锦标赛2020年天下决赛选手Emily Jones亦受到GT Sophy的启示，她在Dragon Trail上的圈速是107.964秒，而AI的圈速是106.417秒。

▲Emily Jones

“在某些弯道上，我把车开得很大，然后倒车，而AI则把车开得很近，以是我学到了很多关于线路的知识。
还知道该优先考虑什么。
以进入第1个弯道为例，我刹车的韶光比AI晚，但AI会比我有一个更好的出口，并不才个弯道打败我。
直到我看到AI，我才意识到这一点，并认为「好吧，我该当这么做。
」”Emily Jones说。

更主要的是，这一研究打破将引发一场关于无人驾驶汽车利用的最佳打算方法的辩论。

Sony AI环球卖力人北野宏明谈道，GT Sophy的目的不仅是超越人类玩家，而是为玩家供应一个具有刺激性的对手，加速并提升玩家的技能和创造力。
为GT Sophy开拓的AI算法可能也适用于无人机、机器人等其他类型的机器。

“除了为游戏社区做出贡献外，我们相信这一打破也为自动赛车、自动驾驶、高速机器人和掌握等领域带来了新的机遇。
”北野宏明说。

▲Sony AI CEO北野宏明

丰田研究所人类中央驾驶研究高等经理阿维纳什·巴拉昌德拉（Avinash Balachandra）认为：“在赛车中利用机器学习和自动掌握是令人愉快的。
”该研究所正在测试能够在极度速率下运行的自动驾驶汽车。
他说，丰田正在研究“人类放大技能，利用专家从赛车运动中学习的技能，有朝一日可以改进主动安全系统”。

马萨诸塞大学阿姆赫斯特分校研究强化学习的教授布鲁诺·卡斯特罗·达席尔瓦（Bruno Castro da Silva）评价GT Sophy是“一项令人印象深刻的造诣”，是朝着为自动驾驶汽车演习AI迈出的主要一步。

但他认为，从《GT赛车》到现实天下将是一个寻衅，由于像GT Sophy这样的强化学习算法很难考虑决策的长期影响，而且也很难担保这些算法的安全性或可靠性。

“如果我们希望这样的AI系统在现实生活中支配，安全保障是最主要的。
”da Silva说，“缺少安全保障，是基于机器学习的机器人尚未广泛运用于工厂和仓库的紧张缘故原由之一。
”

四、结语：AI与游戏玩家的双重胜利

在评价这一研究进展时，索尼集团董事长、总裁兼CEO吉田宪一郎说：“索尼的宗旨是「通过创造力和技能的力量，让天下充满情绪」，而GT Sophy便是这一理念的完美表示。
”

总体来看，赛车游戏AI不仅展现了AI如何学习在繁芜情形下事情策略的技能进展，也展示出AI如何为玩家供应新的游戏体验。

据悉，Sony AI和PDI将探索如何将GT Sophy集成到《GT赛车》系列的未来版本中。
Polyphony Digital总裁Kazunori Yamauchi相信，这一AI观点将促进游戏和汽车的未来。

来源：Sony AI，Nature，Ars Technica，Wired