漫谈游戏的深度学习算法,从FPS和RTS角度分析
人工智能那么火热,作为游戏行业的技术人员可定也不会放过,今天,我们就一起来聊聊,在游戏中人工智能是如何实现深度学习技术的。
我们关注基于深度学习的游戏 AI 中广泛存在的问题以及使用的环境,如 Atari/ALE、《毁灭战士》(Doom)、《我的世界》(Minecraft)、《星际争霸》(StarCraft)和赛车游戏。另外,我们综述了现有的研究,指出亟待解决的重要挑战。我们对能够玩好电子游戏(非棋类游戏,如围棋等)的方法很感兴趣。本文分析了多种游戏,指出这些游戏给人类和机器玩家带来的挑战。必须说明,本文并未涉及所有 AI 在游戏中的应用,而是专注于深度学习方法在电子游戏中的应用。深度学习并非唯一应用于游戏中的 AI 方法,其他有效方法还有蒙特卡洛树搜索 [12] 和进化计算 [85], [66]。
深度学习概述
本节我们概述了应用于电子游戏中的深度学习方法,及多种方法结合起来的混合方法。
A. 监督学习
在人工神经网络(ANN)的监督训练中,智能体通过样本进行学习 [56], [86]。智能体需要做出决策(已知正确答案),之后,使用误差函数确定智能体提供的答案和真正答案之间的区别;这将作为损失用于更新模型。在大数据集上进行训练后,智能体应该学习通用模型,使之在未见过的输入上依然表现良好。
这些神经网络的架构大致可分为两个主要范畴:前馈网络和循环神经网络(RNN)。
B. 无监督学习
无监督学习的目标不是学习数据和标签之间的映射,而是在数据中发现模式。这些算法可以学习数据集的特征分布,用于集中相似的数据、将数据压缩成必要特征,或者创建具备原始数据特征的新的合成数据。
深度学习中有多种不同的技术允许使用无监督学习。其中最重要的是自编码器技术,这种神经网络尝试输出自我输入的复制版本。
C. 强化学习方法
在用于游戏的强化学习中,智能体通过与环境互动来学习打游戏。其目标在于学习策略,即每一步需要用什么操作才能达到想要的状态。这种情况通常出现在电子游戏中,玩家每一步可以采取的操作数量有限,动作的顺序决定玩家玩的如何。
D. 进化方法
另一个训练神经网络的方法基于进化算法。该方法通常指神经进化(neuroevoluTIon,NE),可以优化网络权重和拓扑。与基于梯度下降的训练方法相比,NE 方法的优势在于不要求网络可微分,且可用于监督学习和强化学习问题。
E. 混合方法
近期,研究者开始研究适用于玩电子游戏的混合方法,即将深度学习方法和其他机器学习方法结合起来。
这些混合方法旨在结合两种方法的优点:深度学习方法能够直接从高维原始像素值中学习,进化方法不需要依赖可微分架构,且在稀疏奖励的游戏中表现良好。
在棋类游戏中有重大意义的混合方法是 AlphaGo [97],该方法依赖深度神经网络和树搜索方法,打败了围棋领域的世界冠军。
游戏类型和研究平台
本节概述流行的游戏类型和研究平台(与深度学习相关)。我们简略地概述了这些游戏的特点和算法在玩游戏时遇到的挑战。
A. 街机游戏
经典的街机游戏是上世纪 70 年代晚期 80 年代早期流行的游戏类型,在过去十年中这种游戏常常作为 AI 的测试基准。
街机游戏的代表性平台是 Atari 2600、Nintendo NES、Commodore 64 和 ZX Spectrum。大多数经典街机游戏的特点是在二维空间中的移动、图文逻辑(graphical logic)的大量使用、连续时间进度(conTInuous-TIme progression),以及连续空间或离散空间移动。这类游戏的挑战因游戏而异,不过大部分此类游戏都需要快速反应和抓住时机。很多游戏需要优先处理多个同时发生的事件,这要求预测游戏中其他实体的行为或轨迹。另一个普遍要求是穿过迷宫或其他复杂环境,比如吃豆人(Pac-Man,1980 年出现的游戏)和钻石小子(Boulder Dash,1984 年出现的游戏)。
最著名的用于深度学习方法的游戏平台是街机模式学习环境(Arcade Learning Environment,ALE)[6]。ALE 由 Atari 2600 模拟机 Stella 打造,包含 50 个 Atari 2600 游戏。该框架抽取游戏得分、160&TImes;210 的屏幕像素和可用于游戏智能体的输入的 RAM 内容。该平台是第一批深度强化学习论文(使用原始像素作为输入)探索的主要环境。
另一个经典的街机游戏平台是 Retro Learning Environment(RLE),目前该平台包含 7 个发布到超级任天堂(SNES)的游戏 [9]。这些游戏中很多都有 3D 图画,控制器允许超过 720 种组合操作,这使得 SNES 游戏比 Atari 2600 游戏更加复杂和
- 机器学习算法盘点:人工神经网络、深度学习(07-02)
- 2016年人工智能与深度学习领域的十大收购(07-26)
- AI/机器学习/深度学习三者的区别是什么?(09-10)
- 深度学习的硬件架构解析(10-18)
- 麻省理工科技评论评选的14大医疗领域突破科技(上)(10-14)
- 探秘机器人是如何进行深度学习的(09-18)