制作：关西科健家当研究院 Chubbler

监制：中国科学院打算机网络信息中央

最近，AI英雄榜又喜迎一位重量级新成员。
在大家逐渐接管了人工智能“阿尔法狗”（AlphaGo）先后完虐人类两大顶尖棋手李世石和柯洁的事实，并开始逐渐淡定之时，8月11日，由埃隆·马斯克（Elon Musk）推出的一位AI玩家——OpenAI Bot高调出席了Dota2国际约请赛“The International”），并在1v1比赛环节中于第一局比赛开场的十分钟之内，就迅速“吊打”了乌克兰现役Dota2顶级职业玩家Danylo Ishutin（外号“Dendi”）。
媒体当即哀鸿遍野，Dota2沙场正式“被”宣告沦陷。

（Dendi与OpenAI Bot的“世纪之战”，图片截图自优酷视频）

于此同时，谷歌DeepMind联手暴雪娱乐也发出官方声明，欲演习AI寻衅《星际争霸2》天下顶级玩家。

人工智能代表着打算机领域发展的制高点，在各行各业具有着无限潜力和运用代价，但不难创造，近几年来新闻中出镜率颇高的AI（人工智能）技能打破每每总和各种游戏联系在一起，从传统的棋牌类游戏（象棋、围棋、德州扑克）到电子游戏（星际、Dota），投资商及软件开拓精英彷佛总是偏爱从与人类生活关系并不密切的游戏入手，通过开拓，如AlphaGo这样的游戏AI，在娱乐中匆匆使我们思考诸如人类与人工智能的关系、人工智能的发展方向与未来等深奥的科学哲学问题。

那么问题来了，为何AI的开拓总要以游戏为切入点呢？

正如AlphaGo之父，谷歌旗下DeepMind公司CEO哈萨比斯所说：“游戏是测试AI算法的完美平台，这里有无限的演习数据，不存在测试偏差，能够履行并行测试，并且还能记录每个可以量化的进展”。

\公众Games are the perfect platform for testing AI algorithms. There's unlimited training data, no testing bias, parallel testing, and you can record measurable progress.\公众

-- Demis Hassabis, CEO and co-founder of DeepMind

（AI研究者与游戏寻衅的关系，图片来自网络）

由此可见，与其说是AI 研究者爱跳游戏寻衅的坑，不如说是游戏寻衅平台高效、安全和可测的运行环境便是为AI 研究者跳坑而生。
例如，在开拓在自动驾驶系统中可以自动识别交通标志的AI时，为了避免在现实环境中进行测试为正常的车辆和行人造成困扰，普林斯顿大学（Princeton University）的研究团队更方向于选择在《侠盗车手》（Grand Theft Auto）游戏中对AI识别交通标志的能力进行开拓和测试。

由此可见，在这些游戏中胜出的AI，其意义远不仅局限于赢得比赛本身，而是想通过AI算法的开拓，让其像人脑一样不仅具备处理各种问题的能力，还兼具自我学习和进化的能力，再利用其算法为人类做出更多的贡献。

事实上，自2014年以来，连续举办的通用游戏AI竞赛（General Video Game AI Competition，GVG-AI Competition）的核心便是测试AI办理各种问题的能力。
在这项比赛中，AI 须要在未知的10款Atari游戏中对战并学习如何赢得比赛。

正如阿尔法狗在真正进行人机对弈之前，进行过无数次的自我对弈一样，游戏AI的对手并不局限于人类，不同团队开拓的游戏AI之间，乃至某个游戏AI自身都可以进行对弈。

（传统的俄罗斯方块游戏（左）与GVG-AI竞赛中AI之间的俄罗斯方块比赛（右），图片来自网络）

以是说，现在AI开拓者都在玩什么游戏呢？

随着AI技能的不断发展，AI所能进行的竞技性游戏更加繁芜化、多元化。
广义上来说，竞技性电子游戏可分为两种类型：完备信息博弈（complete information game）游戏和不完备信息博弈（Incomplete information game）游戏。

完备信息博弈游戏：在这类游戏中，每一个参与者都拥有所有其他参与者的特色、策略集及得益函数等方面的准确信息的博弈（尴尬而不失落礼的翻译：己方的生命值，武器系统，技能系统等干系信息都被博弈对手所完备节制，反之亦然。
当然，这里并不是说你将要使出的招法在出招之前就能被对方预知，而是说你只能使出招式表中的招法。
对手即便知晓你的全部出招可能，出什么招，何时出仍旧是你根据场上形势随机应变，相时而动的）。

范例的完备信息博弈游戏包括：《乓》、《太空侵略者》、《街霸3》和《象棋》等等。
进行这类游戏时，两个玩家共享同一个屏幕，看到的画面完备同步。

（完备信息博弈游戏，图片来自网络）

不完备信息博弈：对其他参与人的特色、策略空间及收益函数信息理解的不足准确、或者不是对所有参与人的特色、策略空间及收益函数都有准确的信息，在这种情形下进行的博弈便是不完备信息博弈（尴尬而不失落礼的连续翻译：玩家只能知道己方（乃至仅仅自己）正在进行的操作，而对付对方玩家的情形仅知晓一部分。
最范例的例子便是RTS游戏中的战役迷雾（war fog）让玩家并不能直接获取对手的动态，对手是选择暴兵还是升级科技每每只有短兵相接的那一刻才能真正揭开答案。
）。

范例的不完备信息博弈游戏包括《星际》、《CS:GO》、《Dota》等即时计策（RTS）或第一人称射击游戏。

（不完备信息博弈，图片来自网络）

纵然通过游戏体验，普通玩家也能猜到完备信息博弈环境下的游戏AI开拓难度要远远低于非完备信息博弈。
譬如，在棋类游戏中，游戏AI与人类玩家共享相同的战局态势，一旦打破了核心算法，AI的超强运算能力就有了用武之地。
AlphaGo在与柯洁的对战中表示出滴水不漏的攻防，展示出决胜千里的妙招也就不足为奇了。

在AlphaGo这样高度进化的游戏AI涌现之后，人类围棋技艺中所谓“势”的观点也可能要成为历史了。
“势”这样玄乎其技的说法，实际上是在掩饰笼罩人类大脑的运算能力无法看破繁芜局势的窘迫，对付AI来说，于人类而言犹如迷雾一样平常的棋局可能不过是中心处理器多运行的几十个纳秒而已。

通用游戏AI竞赛中的十多款Atari游戏都属于完备信息博弈。
在这些游戏中，繁芜度最高的几款游戏AI仍达不到击败人类玩家的水平。
而在别的的一些规则相对大略的游戏中（如《乓》和《太空侵略者》游戏），人类玩家已经远不是AI的对手。

在这些游戏中，AI是如何被开拓并优化，一步步击败人类的呢？

目前比较盛行的通用游戏AI演习办法因此2013年NIPS上揭橥的，关于深度Q网络（Deep Q-Learning Network , DQN）为根本的强化学习（Reinforcement Learning）和深度神经网络（Deep Neural Network,DNN）的结合。
下面两篇文献中有详细的阐明，这里仅以《乓》为例做简要先容。

•Playing Atari with Deep Reinforcement Learning. ArXiv （2013）

•Human­level control through deep reinforcement learning. Nature （2015）

首先，简要先容一下啥叫强化学习和深度神经网络。

强化学习（Reinforcement Learning）是机器人（可以理解为AI）在与环境交互中，根据得到的褒奖或惩罚，不断进行学习的一种机器学习办法。

（强化学习示意图）

如图所示，从环境中，机器人会不断地得到状态（State）和褒奖（Reward）。
这与动物学习非常类似。
一开始，机器人不知道环境会对不同行为做出什么样的反应，仅从环境中获取不雅观察的状态，这便是最上方箭头表示的感知（Perception）。
而环境能够根据机器人的行为反馈给它一个褒奖。

例如在《乓》中，向上移动还击小球，如对手没接住就分会增加一分，那么这一步的褒奖便是正值；反之，褒奖为负值。
重复感知、行动和褒奖的过程就形成一个强化学习的交互流程，AI在这种交互中不断纠正自己的行为，从而对环境变革做出最佳的应对。

深度神经网络（Deep Neural Network,DNN），也被称为深度学习，其产生来源于科学家们仿照人脑中神经元之间通报旗子暗记的方法开拓出的机器学习技能（以是才叫人工智能啊喂）。

众所周知，人脑中神经网络由1000亿多个神经元（即神经细胞）构成，不同神经元之间通过突触构造彼此相连。
在这之中，每个神经元须要吸收来自不同数个附近神经元传来的旗子暗记（输入1，输入2，输入3……），进行整合（后终极被传播到“输出层”，将神经网络的终极结果输出给用户。

由此可见，神经元的打算对数据的识别、处理（加权）及终极输出具有至关主要的浸染，在打算机领域，这个中间步骤被称为网络的“隐蔽层”。

（神经元/深度神经网络事情事理，图片来自网络）

深度神经网络与强化学习的联合运用，即是深度Q网络模型（深度强化学习）。
例如，在《乓》中深度Q网络的简单流程 ：输入游戏原始画面，经由隐蔽层加权后会输出概率动作输出空间。
例如，在《乓》中选择上移（Up）、下移（Down）和不动（Stay）的概率。

（深度Q网络流程图（图片来自https://blog.openai.com））

又如，Deepmind在2013年提出的一个更为繁芜的深度Q网络网络构造。
输入是连续4帧游戏原始画面，输出是不同动作的长期化收益Q，中间为两个卷积层（Convolutional Layer）和两个全连接层（Fully Connected Layer）。

（DQN网络构造图（图片来自http://www.teach.cs.toronto.edu））

我们再回到开头，看一下这次Dota2的人机对抗视频。
比赛距今已约两周的韶光，OpenAI终极公布了Dota AI的一些比赛细节，不过还是有所保留，并未公布全部的技能细节，不过我们可以从公开中预测一二：

1.Dota是不完备信息博弈，玩家并不能直不雅观得到对手的位置和活动信息。
这使得每一步的决策都是在具有不愿定性的条件下做出的。

2.AI机器人并不能局限于仅供应类似“向上移动”这样的微不雅观操作。
必须把微不雅观操作转换连续的宏不雅观动作流程，就像比赛视频中的卡兵操作。

3.Dota是多机器人 （multi-agent） 互助博弈，这是当前AI领域最具有寻衅性的部分。

4.合理的分配、利用道具，这涉及到长期的方案策略。

OpenAI Bot选择了1v1的对抗模式，简化其有效动作数（available actions）和有效状态空间（state space）数。
在该限定条件下，对抗的关键为技能选择和短期策略，并不涉及到长期方案和多机器人折衷。
也便是说对战环境的设置更加类似于《街霸》一类的格斗游戏，而不是真正的即时计策。

（一些可能的AI输入信息）

值得把稳的是，如果将游戏设置为即时计策（RTS）模式，从目前来看，就算在OepnAI的限定场景下， OpenAI Bot还未达吊打人类的水平。
由于算法鲁棒性和泛化能力的局限性，它还无法像人类玩家一样从多少几次合的对局中找到对手弱点并加以针对。
就像Deepmind在开源的星际2人工智能学习环境（SC2LE）中指出的那样，现阶段，AI还不具备在即时计策（RTS）游戏中对抗人类玩家的能力。

（OpenAI Bot被战翻50余次）

从传统的棋牌类游戏（象棋、围棋、德州扑克）到经典对战电子游戏（星际、Dota、CS），AI在征服了险些全部的棋牌类游戏之后，又将魔爪伸向了即时计策游戏。
人类还能在多大程度上延缓AI的攻势，即时计策游戏何时才会全面沦陷？非完备信息博弈游戏集中表示了人类聪慧的高度，犹如两国交战，战术和计策层面的各类策略——诱敌深入、千里奔袭、围魏救赵、擒贼擒王、声东击西、瞒天过海……都可以在Dota以及CS中找到对应的影子。

如果有一天，AI也能产生“打算”，像人类一样运筹帷幄、纵横捭阖，类似电影《闭幕者》系列中拥有自主智能并致力于绞杀人类的AI“天网”可能绝非狂想。
在不断提升AI性能、运用领域的同时，人类还需不断的思考人工智能的发展方向以及人类与人工智能的未来。

参考文献

1.Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller. Playing Atari With Deep Reinforcement Learning. NIPS Deep Learning Workshop, 2013.

2.Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg, Demis Hassabis. Human-level Control through Deep Reinforcement Learning. Nature, 518: 529–533, 2015.

3.PySC2 - StarCraft II Learning Environment. https://github.com/deepmind/pysc2

4.Dota Bot Scripting - API Reference. https://developer.valvesoftware.com/wiki/Dota_Bot_Scripting_-_API_Referenc

“科普中国”是中国科协携同社会各方利用信息化手段开展科学传播的科学威信品牌。

本文由科普中国领悟创作出品，转载请注明出处。