AlphaGo强大运算的根本，Google 的 TPU到底是个啥玩意？

我们对 Google 的 TPU 并不陌生，正是它支撑了 AlphaGo 强大快速的运算力，但 Google 一直未曾披露细节，使 TPU 一直有神秘感。

美国当地时间 4 月 5 日，Google 终于打破沉寂，发表官方部落格，详细介绍 TPU 各方面。 相关论文更配以彩色 TPU 模块框图、TPU 芯片配置图、TPU 印制电路等，可谓图文并茂，称其为「设计教程」也不为过。 不出意料，这之后会涌现一大批仿效者。

论文中还给了 TPU 与其他芯片的效能对比图，称「TPU 处理速度比目前 GPU 和 CPU 要快 15 到 30 倍」，有人赞叹 TPU 的惊人效能，但也有人对此种「比较」表示质疑，因其拿来的比较对象并非市场效能最好的。

这篇论文有哪些亮点？ 争议点在哪里？ Google 公布 TPU 细节会对业界产生什么影响？ 本文要解答这几个问题。

Google 为什么要做 TPU？
这篇论文的主题为：《数据中心的 TPU 效能解析》（In-Datacenter Performance Analysis of a Tensor Processing Unit），共同作者多达 70 人，领衔第一作者是硬件大师 Norman Jouppi。

Jouppi 在接受外媒 Wired 采访时说，Google 一开始曾经考虑要用 FPGA，但是后来经过实验发现，这种芯片无法提供理想的速度。

程序化芯片制造费用太高，我们分析认为，FPGA 芯片并不比 GPU 快。

最终，他们将目光放到 ASIC（专属集成电路，一旦设计制造完成后电路就固定了，无法再改变）上，TPU 就是一种 ASIC。 在接受外媒 The Next Platform 采访时，Jouppi 表示 TPU 可适用现存各种神经网络模型，从影像辨识的 CNN 到语音识别的 LSTM，都适用。

TPU 跟 CPU 或 GPU 一样是程序化的。 TPU 不是专为某一个神经网络模型设计；TPU 能在多种网络（卷积网络、LSTM 模型和大规模全联机的神经网络模型）上执行 CISC 指令。

Google 已使用 TPU 两年，应用在各领域工作，包括：Google 影像搜寻（Google Image Search）、Google 照片（Google Photo）、Google 云视觉 API（Google Cloud Vision API）、Google 翻译以及 AlphaGo 的围棋系统中。

TPU 只是一种推理芯片
需要明确说明的是：TPU 是一款推理芯片，并不是用做训练。 根据辉达首席科学家 William J. Dally 的说法，在深度学习领域，主要有 3 种运算方式：

数据中心的训练（用于训练模型，计算机往往需要以较高的精确度运算，一般使用 32 位浮点运算）。

数据中心的推理（在云端进行实时连续运算，精确度可以适当牺牲，换取更快的速度和更低能耗）。

内嵌式装置的推理（这类应用的核心是低能耗的 ASICs）。

所以 TPU 针对的，就是第二种运算方式：数据中心的推理。 对推理运算而言，重要指针就是快速和低能耗。 在 Google 部落格里，Jouppi 特别强调 TPU 以下效能：

我们产品的人工智能负载，主要利用神经网络的推理功能，其 TPU 处理速度比目前 GPU 和 CPU 要快 15 到 30 倍。

较之传统芯片，TPU 也更加节能，功耗效率（TOPS/Watt）提升了 30 到 80 倍。
驱动这些应用神经网络只要求少量程序代码，少得惊人：仅 100~1,500 行。 程序代码以 TensorFlow 为基础。

70 多个作者对这篇文章有贡献。 很多人参与了设计、证实、实施以及配置类似这样的系统软硬件。

AI 业界如何看待这篇论文？
亮点：特定场域下的高效率
对于 Google TPU 论文里的技术特点，雷锋网采访了寒武纪科技 CEO 陈天石，他分别从架构、效能和工程 3 个角度，分析这篇论文涉及的技术问题。

并不意外，这款芯片仍然沿用传统的脉动数组机架构，也是当今许多深度学习 DSP 采用的架构。 事实上，寒武纪团队成员早期与 Olivier Temam 教授、Paolo Ienne 教授共同发表于 ISCA2015 的 ShiDianNao 学术论文已经讨论过这样的架构，同时 MIT 于 2016 年前后发表的 Eyeriss 也是类似架构。

效能上看，确实透过裁剪运算器宽度（8 位定点）达到非常高的理论峰值，在大多数卷积作业效率很好。 但在部分其他类别的神经网络作业上，效率不是太高。

从工程角度看，Google 透过 TPU 项目对深度学习硬件加速做出了有益的尝试，令人敬佩；未来 Google 一定会持续更新 TPU 架构。 寒武纪商用产品最终并没有走脉动数组机的技术路线，而是走一条通用智能处理器之路。 我们十分期待未来继续与国际工业界和学术界同行同台竞技。

虽然寒武纪与 Google 分别在硬件方面选了不同的商用形态，但是双方都从彼此身上学习。 陈天石提到 Google 这篇 TPU 文章，参照了寒武纪团队成员前期发表的 6 篇学术论文，并有专门段落回顾一系列学术工作。

论文中在提到 DaDianNao / PuDianNao / ShiDianNao 时还专门用英文注释这几个名字的含义（Big computer, general computer, vision computer），对我们前期学术工作显示尊重。 非常值得骄傲的是，我们早期与 Olivier Temam 教授共同开展的系列开拓性学术工作，已经成为智能芯片领域参考次数最多的论文。 而 Olivier Temam 教授几年前就已加入 Google。 相信他会把 DianNao 家族的学术思想融入 TPU 后续版本，把 TPU 的事业继续推向新高度。