新型阿尔法狗如何通过自学3天击败李世石旧版？

经过短短3天的自我训练，AlphaGo Zero就强势打败了此前战胜李世石的旧版AlphaGo，战绩是100:0的。经过40天的自我训练，AlphaGo Zero又打败了AlphaGo Master版本。"Master"曾击败过世界顶尖的围棋选手，甚至包括世界排名第一的柯洁。

对于希望利用人工智能推动人类社会进步为使命的DeepMind来说，围棋并不是AlphaGo的终极奥义，他们的目标始终是要利用AlphaGo打造通用的、探索宇宙的终极工具。AlphaGo Zero的提升，让DeepMind看到了利用人工智能技术改变人类命运的突破。他们目前正积极与英国医疗机构和电力能源部门合作，提高看病效率和能源效率。

 以下转载一篇关于论文深度解读，部分内容会与前面部分有重复

论文深度解读

作者: 开明 Nature上海办公室

人工智能棋手 AlphaGo先后战胜了两位顶尖围棋高手李世乭和柯洁。在这场猛烈风暴席卷了世界后，AlphaGo宣布不再和人下棋。但它的创造者并没有因此停下脚步，AlphaGo还在成长，今天Deepmind又在《自然》期刊上发表了关于 AlphaGo的新论文。

Deepmind于2016年1月28日在Nature杂志上发表第一篇关于AlphaGo的论文，并登上封面。

这篇论文中的 AlphaGo是全新的，它不是战胜柯洁的那个最强的 Master，但却是孪生兄弟。它的名字叫AlphaGo Zero。和以前的 AlphaGo相比，它：

• 从零开始学习，不需要任何人类的经验

• 使用更少的算力得到了更好的结果

• 发现了新的围棋定式

• 将策略网络和值网络合并

• 使用了深度残差网络

白板理论（Tabula rasa)

AlphaGo Zero最大的突破是实现了白板理论。白板理论是哲学上的一个著名观点，认为婴儿生下来是白板一块，通过不断训练、成长获得知识和智力。

作为 AI 领域的先驱，图灵使用了这个想法。在提出了著名的"图灵测试"的论文中，他从婴儿是一块白板出发，认为只要能用机器制造一个类似小孩的 AI，然后加以训练，就能得到一个近似成人智力，甚至超越人类智力的AI。

现代科学了解到的事实并不是这样，婴儿生下来就有先天的一些能力，他们偏爱高热量的食物，饿了就会哭闹希望得到注意。这是生物体在亿万年的演化中学来的。

监督学习 Vs 无监督学习

计算机则完全不同，它没有亿万年的演化，因此也没有这些先天的知识，是真正的"白板一块"。监督学习（Supervised Learning）和无监督学习（Unsupervised Learning）是镜子的两面，两者都想解决同一个问题——如何让机器从零开始获得智能？

监督学习认为人要把自己的经验教给机器。拿分辨猫猫和狗狗的AI来说，你需要准备几千张照片，然后手把手教机器——哪张照片是猫，哪张照片是狗。机器会从中学习到分辨猫狗的细节，从毛发到眼睛到耳朵，然后举一反三得去判断一张它从没见过的照片是猫猫还是狗狗。

而无监督学习认为机器要去自己摸索，自己发现规律。人的经验或许能帮助机器掌握智能，但或许人的经验是有缺陷的，不如让机器自己发现新的，更好的规律。人的经验就放一边吧。

从无知到无敌

就像这篇新论文中讲述的那样。AlphaGo Zero是无监督学习的产物，而它的双胞胎兄弟Master则用了监督学习的方法。在训练了72小时后AlphaGo Zero就能打败战胜李世乭的 AlphaGo Lee，相比较AlphaGo Lee训练了几个月。而40天后，它能以89:11的成绩，将战胜了所有人类高手的Master甩在后面。

AlphaGo Zero从0开始的学习曲线,这个版本的神经网络由40个模块组成。

图灵的白板假设虽然无法用在人身上，但是AlphaGo Zero证明了，一个白板AI能够被训练成超越人类的围棋高手。

强化学习

强化学习（Reinforcement Learning）是一种模仿人类学习方式的模型，它的基本方法是：要是机器得到了好的结果就能得到奖励，要是得到差的结果就得到惩罚。AlphaGo Zero并没有像之前的兄弟姐妹一样被教育了人类的围棋知识。它只是和不同版本的自己下棋，然后用胜者的思路来训练新的版本，如此不断重复。

AlphaGo Zero就像人类初学者，需要经历一定时间摸索。不同训练阶段进行的三场自我对弈游戏中的头80步，图中显示的下法来自AlphaGo Zero的一个版本，这个版本的神经网络由20个模块组成。

图片来自DeepMind

通过这一方法，AlphaGo Zero完全自己摸索出了开局、收官、定式等以前人类已知的围棋知识，也摸索出了新的定势。

算法和性能

如何高效合理得利用计算资源？这是算法要解决的一个重要问题。AlphaGo Lee使用了48个TPU，更早版本的 AlphaGo