漫谈游戏的深度学习算法,从FPS和RTS角度分析

　人工智能那么火热，作为游戏行业的技术人员可定也不会放过，今天，我们就一起来聊聊，在游戏中人工智能是如何实现深度学习技术的。

　我们关注基于深度学习的游戏 AI 中广泛存在的问题以及使用的环境，如 Atari/ALE、《毁灭战士》（Doom）、《我的世界》（Minecraft）、《星际争霸》（StarCraft）和赛车游戏。另外，我们综述了现有的研究，指出亟待解决的重要挑战。我们对能够玩好电子游戏（非棋类游戏，如围棋等）的方法很感兴趣。本文分析了多种游戏，指出这些游戏给人类和机器玩家带来的挑战。必须说明，本文并未涉及所有 AI 在游戏中的应用，而是专注于深度学习方法在电子游戏中的应用。深度学习并非唯一应用于游戏中的 AI 方法，其他有效方法还有蒙特卡洛树搜索 ［12］ 和进化计算 ［85］， ［66］。

　 深度学习概述

　　本节我们概述了应用于电子游戏中的深度学习方法，及多种方法结合起来的混合方法。

　　A. 监督学习

　　在人工神经网络（ANN）的监督训练中，智能体通过样本进行学习 ［56］， ［86］。智能体需要做出决策（已知正确答案），之后，使用误差函数确定智能体提供的答案和真正答案之间的区别;这将作为损失用于更新模型。在大数据集上进行训练后，智能体应该学习通用模型，使之在未见过的输入上依然表现良好。

　　这些神经网络的架构大致可分为两个主要范畴：前馈网络和循环神经网络（RNN）。

　　B. 无监督学习

　　无监督学习的目标不是学习数据和标签之间的映射，而是在数据中发现模式。这些算法可以学习数据集的特征分布，用于集中相似的数据、将数据压缩成必要特征，或者创建具备原始数据特征的新的合成数据。

　　深度学习中有多种不同的技术允许使用无监督学习。其中最重要的是自编码器技术，这种神经网络尝试输出自我输入的复制版本。

　　C. 强化学习方法

　　在用于游戏的强化学习中，智能体通过与环境互动来学习打游戏。其目标在于学习策略，即每一步需要用什么操作才能达到想要的状态。这种情况通常出现在电子游戏中，玩家每一步可以采取的操作数量有限，动作的顺序决定玩家玩的如何。

　　D. 进化方法

　　另一个训练神经网络的方法基于进化算法。该方法通常指神经进化（neuroevoluTIon，NE），可以优化网络权重和拓扑。与基于梯度下降的训练方法相比，NE 方法的优势在于不要求网络可微分，且可用于监督学习和强化学习问题。

　　E. 混合方法

　　近期，研究者开始研究适用于玩电子游戏的混合方法，即将深度学习方法和其他机器学习方法结合起来。

　　这些混合方法旨在结合两种方法的优点：深度学习方法能够直接从高维原始像素值中学习，进化方法不需要依赖可微分架构，且在稀疏奖励的游戏中表现良好。

　　在棋类游戏中有重大意义的混合方法是 AlphaGo ［97］，该方法依赖深度神经网络和树搜索方法，打败了围棋领域的世界冠军。

　　游戏类型和研究平台

　　本节概述流行的游戏类型和研究平台（与深度学习相关）。我们简略地概述了这些游戏的特点和算法在玩游戏时遇到的挑战。

　　A. 街机游戏

　　经典的街机游戏是上世纪 70 年代晚期 80 年代早期流行的游戏类型，在过去十年中这种游戏常常作为 AI 的测试基准。

　　街机游戏的代表性平台是 Atari 2600、Nintendo NES、Commodore 64 和 ZX Spectrum。大多数经典街机游戏的特点是在二维空间中的移动、图文逻辑（graphical logic）的大量使用、连续时间进度（conTInuous-TIme progression），以及连续空间或离散空间移动。这类游戏的挑战因游戏而异，不过大部分此类游戏都需要快速反应和抓住时机。很多游戏需要优先处理多个同时发生的事件，这要求预测游戏中其他实体的行为或轨迹。另一个普遍要求是穿过迷宫或其他复杂环境，比如吃豆人（Pac-Man，1980 年出现的游戏）和钻石小子（Boulder Dash，1984 年出现的游戏）。

　　最著名的用于深度学习方法的游戏平台是街机模式学习环境（Arcade Learning Environment，ALE）［6］。ALE 由 Atari 2600 模拟机 Stella 打造，包含 50 个 Atari 2600 游戏。该框架抽取游戏得分、160&TImes;210 的屏幕像素和可用于游戏智能体的输入的 RAM 内容。该平台是第一批深度强化学习论文（使用原始像素作为输入）探索的主要环境。

另一个经典的街机游戏平台是 Retro Learning Environment（RLE），目前该平台包含 7 个发布到超级任天堂（SNES）的游戏 ［9］。这些游戏中很多都有 3D 图画，控制器允许超过 720 种组合操作，这使得 SNES 游戏比 Atari 2600 游戏更加复杂和