一文读懂人工智能芯片所有猫腻，CPU/GPU/FPGA等都有啥差异？

1.GPU是什么？
图形处理器GPU最初是用在个人电脑、工作站、游戏机和一些移动设备上运行绘图运算工作的微处理器，可以快速地处理图像上的每一个像素点。后来科学家发现，其海量数据并行运算的能力与深度学习需求不谋而合，因此，被最先引入深度学习。2011年吴恩达教授率先将其应用于谷歌大脑中便取得惊人效果，结果表明，12颗英伟达的GPU可以提供相当于2000颗CPU的深度学习性能，之后纽约大学、多伦多大学以及瑞士人工智能实验室的研究人员纷纷在GPU上加速其深度神经网络。

2.GPU和CPU的设计区别
那么GPU的快速运算能力是如何获得的？这就要追溯到芯片最初的设计目标了。中央处理器CPU需要很强的处理不同类型数据的计算能力以及处理分支与跳转的逻辑判断能力，这些都使得CPU的内部结构异常复杂；而图形处理器GPU最初面对的是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境，所以GPU只需要进行高速运算而不需要逻辑判断。目标运算环境的区别决定了GPU与CPU不同的设计架构：

CPU基于低延时的设计
·大量缓存空间Cache，方便快速提取数据。CPU将大量访问过的数据存放在Cache中，当需要再次访问这些数据时，就不用从数据量巨大的内存中提取了，而是直接从缓存中提取。

·强大的算术运算单元ALU，可以在很短的时钟周期内完成算数计算。当今的CPU可以达到64bit双精度，执行双精度浮点源计算加法和乘法只需要1～3个时钟周期，时钟周期频率达到1.532～3gigahertz。

·复杂的逻辑控制单元，当程序含有多个分支时，它通过提供分支预测来降低延时。

·包括对比电路单元与转发电路单元在内的诸多优化电路，当一些指令依赖前面的指令结果时，它决定这些指令在pipeline中的位置并且尽可能快的转发一个指令的结果给后续指令。

GPU基于大吞吐量的设计
·压缩缓存空间Cache，从而最大化激发内存吞吐量，可以处理超长的流水线。缓存的目的不是保存之后需要访问的数据，而是担任数据转发的角色，为线程提高服务。如果有很多线程需要访问同一个数据，缓存会合并这些访问，再去DRAM中访问数据，获取的数据将通过缓存转发给对应的线程。这种方法虽然减小了缓存，但由于需要访问内存，因而自然会带来延时效应。

·高效的算数运算单元和简化的逻辑控制单元，把串行访问拆分成多个简单的并行访问，并同时运算。例如，在CPU上约有20%的晶体管是用作计算的，而GPU上有80%的晶体管用作计算。

3.GPU和CPU的性能差异
CPU与GPU在各自领域都可以高效地完成任务，但当同样应用于通用基础计算领域时，设计架构的差异直接导致了两种芯片性能的差异。

CPU拥有专为顺序逻辑处理而优化的几个核心组成的串行架构，这决定了其更擅长逻辑控制、串行运算与通用类型数据运算；而GPU拥有一个由数以千计的更小、更高效的核心组成的大规模并行计算架构，大部分晶体管主要用于构建控制电路和Cache，而控制电路也相对简单，且对Cache的需求小，只有小部分晶体管来完成实际的运算工作。所以大部分晶体管可以组成各类专用电路、多条流水线，使得GPU的计算速度有了突破性的飞跃，拥有了更强大的处理浮点运算的能力。这决定了其更擅长处理多重任务，尤其是没有技术含量的重复性工作。

当前最顶级的CPU只有4核或者6核，模拟出8个或者12个处理线程来进行运算，但是普通级别的GPU就包含了成百上千个处理单元，高端的甚至更多，这对于多媒体计算中大量的重复处理过程有着天生的优势。

举个常见的例子，一个向量相加的程序，可以让CPU跑一个循环，每个循环对一个分量做加法，也可以让GPU同时开大量线程，每个并行的线程对应一个分量的相加。CPU跑循环的时候每条指令所需时间一般低于GPU，但GPU因为可以同时开启大量的线程并行地跑，具有SIMD的优势。

4.GPU行业的佼佼者：Nvidia
目前全球GPU行业的市场份额有超过70%被英伟达公司占据，而应用在人工智能领域的可进行通用计算的GPU市场则基本被英伟达公司垄断。

2016年三季度英伟达营收为20.04亿美元，较上年同期的13.05亿美元增长54%；净利润为5.42亿美元，较上年同期的2.46亿美元增长120%，营收的超预期增长推动其盘后股价大幅上涨约16%。以面向的市场平台来划分，游戏业务营收12.4亿美元，同比增长63%，是创造利润的核心部门；数据中心业务营收2.4亿美元，同比增长193%，成为增长最快的部门；自动驾驶业务营收1.27亿美元，同比增长61%，正在逐步打开市场。

这样的业绩创下了英伟达的历史