13年以前，有这样一款“变态”级难度的游戏曾风靡一时。

它的名字大略粗暴——QWOP。
意思是让玩家用这四个键位掌握游戏人物的旁边大腿和小腿，以最快的速率跑完100米。

实际上，大部分玩家刚上手的时候，可能连出发点线都迈不过去就Game Over了。

如果你能跑出几米远，绝对算是一个高手，乃至能在朋友面前炫耀一番。

QWOP的难点在于，一旦角色失落去平衡就很难再挽回，须要在100米的间隔内一贯保持重心不过于向前后倾斜。

当你经由苦练第一次跑起来时，又会被50米处作者故意设置的栏杆摆一道：说好的100米短跑怎么变跨栏了？

△某

在那个4399小游戏盛行的年代，这款也被戏称为“是男人就跑100米”。
因难堪度过于“变态”，QWOP开拓者曾收到过很多辱骂邮件。

虽然绝大部分人难以跑到终点，但仍有一批骨灰级玩家乐此不疲，他们不仅能轻松跑完，至今还为竞争天下排名而不断寻衅。

2个月前，一位日本玩家创造了新的天下记录：48.34秒。

看到这款“沙雕游戏”，你是不是会想到强化学习来演习双足机器人的画面？

一位来自波士顿咨询的数据剖析师Wesley Liao也是这么想的。

不过别以为“变态”难度的游戏到了AI面前就变成了毛毛雨。

Liao综合了之前多种强化学习算法，末了乃至请来了“天下名师”传授教化，费了好大一番功夫，才终于让AI在上周冲破人类玩家的记录。

可见这款游戏的难度一点都不比围棋低啊。
（手动狗头）

小试牛刀

一开始，Liao利用OpenAI Gym强化学习环境来演习AI，先设定好游戏的状态、操作和赏罚机制。

状态包括每个身体部位和枢纽关头的位置、速率和角度。
操作办法限定为11种：4个QWOP按键、6种两两按键组合以及不按任何键。

用来演习AI的算法是ACER（具有履历回放能力的Actor-Critic）。
这种算法的优点是，不仅可以从其最近得到的履历中学习，也可以学习存储数据中更早的履历。

由于ACER非常繁芜，Liao利用了别人的实当代码“Stable Baselines”。

Liao首先考试测验了让AI自己学习。
经由多次实验后，他创造AI只学会了“蹭膝盖”这种办法跑过终点，速率很慢。

这和许多人类普通玩家以及其他强化学习算法是一样的，离高手的水平还差很远，更不用谈冲破记录了。

仔细剖析可以创造，AI根本没有学习到跨步机制，只是学习到了最安全、最慢的方法来到达终点。

看来靠AI完备自学是弗成了。

类似于DeepMind用顶级棋手教AlphaGo下棋，Liao想到是不是也可以让人类玩家来教一下AI。

但是Liao本人的技能和顶级玩家差距太大，自己最多也只能跑到28米。

这都不主要，主要的是最少Liao跨出更大步伐的技巧，只能寄希望于AI能从“渣技能”里学到一点奔跑的技巧吧。

但是结果很不幸，AI很好地诠释了“邯郸学步”：不仅没节制跑步技巧，反而在出发点就跌倒了。

然后Liao让AI自己连续演习。
所谓师父领进门，修行在个人，AI能否将人类技能和自学能力结合起来？

结果令人愉快，经由90个小时的演习，AI终于学会了像人一样奔跑！

终极成绩是1分25秒，已经能跑进环球排行榜的前15名，离超过人类不远了。

接下来要做的便是再向AI教授更多技巧，奈何本人技能太渣。

以是要想进一步提高AI的水平，必须找顶级高手来帮忙。

Liao不雅观察速通排行榜上的录像，创造顶级玩家的技巧是把左腿抬高可以跑得更快。

△排名第一玩家gunmaneko的踢腿技巧

他开始环球排名前二的玩家gunmaneko和Kurodo请教踢腿技巧的操作。

两位玩家激情亲切地回答了他的问题。
个中Kurodo指出这个技巧的关键在于减少游戏角色在纵向的移动，并提出把保持身体高度加入AI的褒奖函数。

Liao向Kurodo分享了他的代码，Kurodo年夜方地利用代码记录了50次自己游戏时的按键记录发给Liao。

Liao考试测验利用这些数据对AI进行预演习，但效果并不好。
AI还没来得及学会踢腿技巧，倒先把基本的跑步方法忘却了。

Liao不得不改变方法，他把Kurodo的数据注入到AI的回放缓存（Replay Buffer）中。
这相称于修正AI的影象，使AI有一半的影象是自己的，另一半来自Kurodo。

并且是AI每自己玩一次，就注入一次Kurodo的数据，担保AI随机从影象中选取一段来学习时选到两种影象的概率相同，避免在学习新技巧的过程中把基本操作忘掉。

AI利用Kurodo的数据演习了15个小时，终于学会了踢腿，但由于两种影象无法折衷在一起，跑韶光长了动作会不稳定。

Liao此时把Kurodo的影象移除，又让AI自己演习了25小时，总演习韶光达到了65小时。

终极AI的成绩达到1分08秒，终于进入前十。

Liao把教AI玩这个游戏的过程做成***发在网上。
一个月前，外媒Gismodo问他：为什么AI还没有冲破天下记录？

于是Liao重新演习了一个只为优化速率而存在的新AI。

新AI改用Prioritized DDQN算法，由于这种算法会给学习效率更高的状态增加权重而不是均匀采样，能使新AI迅速学会旧AI已经节制了的技巧。

并且，新AI的褒奖函数去掉了身体高度，膝盖波折角度等参数，改成只和提高速率干系。

新AI先用已有数据进行只有几分钟的预演习，随后是40小时的自演习。
终极，新AI每秒所做的动作数在演习环境中由9提高到18，并在测试环境中达到25。

新AI对踢腿技巧的节制非常稳定，纵然被障碍物影响也能迅速规复。

快速高效的动作使AI的成绩提高到47.34秒，比人类最高记录48.34秒刚好快1秒。

这才终于算是，在人工智能超越人类的游戏列表中又增加了一项。

你以为这就完了？

跑完100米不算完，这款游戏还有一种天下级难度——“是男人就跑完马拉松”。

为Liao供应帮助的玩家Kurodo最近刚刚提交了天下记录，环球也只有两人完成了这项壮举。

很难想象他们在电脑前连续按几个小时QWOP的画面。

其余，QWOP的开拓者Bennett Foddy一贯在坚持开拓这类“变态”难度的独立小游戏。

有一款Getting Over It with Bennett Foddy名气颇高，中文名“掘地求升”。
玩法便是一个装在坛子里的人一直用锤子让自己升高。

Foddy曾经在普林斯顿大学和牛津大学担当博士后研究员，现在是一名独立游戏设计师。
QWOP便是他在普林斯顿大学期间开拓的。

我只能说，学霸开拓的游戏，学渣真的玩不起。

QWOP在线游戏地址：http://www.foddy.net/Athletics.html

参考链接：[1] https://github.com/Wesleyliao/QWOP-RL[2] https://www.speedrun.com/qwop[3] https://gizmodo.com/an-ai-was-taught-to-play-the-worlds-hardest-video-game-1846388137[4] https://towardsdatascience.com/achieving-human-level-performance-in-qwop-using-reinforcement-learning-and-imitation-learning-81b0a9bbac96[5] https://www.youtube.com/watch?v=82sTpO_EpEc[6] https://wesleyliao.com/

— 完 —

量子位 QbitAI · 号签约

关注我们，第一韶光获知前沿科技动态