认识多种处理芯片的特性和实战

是无限的，即使算法再庞大也不存在存储器空间不够，无法把算法读入的情况。而且计算机系统还可以外挂硬盘等扩展存储，通过把暂时不执行的算法切换到硬盘保存更增加了指令存储的空间。

处理器芯片各自长期发展的过程中，形成了一些使用和市场上鲜明的特点。CPU&GPU领域存在大量的开源软件和应用软件，任何新的技术首先会用CPU实现算法，因此CPU编程的资源丰富而且容易获得，开发成本低而开发周期，而FPGA&ASIC编程需要的资源通常很难获得，这些资源往往以IP（intellectual property）的方式授予和收费，授予的周期往往很长而且需要签署法律协议，而费用也很昂贵。导致FPGA&ASIC的开发成本高而且周期很长。

1.3 CPU架构和编程设计

无论是x86体系为代表的繁杂指令系统（CISC)CPU还是精简指令系统(RISC)CPU，其核心都是执行一套指令系统。x86体系的CPU不断更新换代，不断提升主频，采用更先进的工艺和新架构，目的就是为了更高性能地执行x86指令。因为X86系列的CPU应用广泛，已经成为事实上的标准，本文所指的CPU特指X86系列的CPU。

从CPU内部结构观察，大致可分为控制器和执行器，再加上存储管理部件MMU以及总线接口部件。控制器不断从存储器取出指令，进行指令译码，执行器从译码完成的指令队列中取出译码指令执行。各个功能部件既能独立工作，又能与其他部件配合工作，下图给出了CPU各个部件之间的指令操作流水图。

指令系统是计算机系统发展中的巨大进步。借助指令系统，高级语言的出现成为可能，大大方便了计算机的应用。但是事情的另一面是使用指令系统后，所有的计算任务都要翻译为指令，执行一个简单的计算任务可能就需要多条指令完成。从晶体管的角度来看，简单的计算任务可能就需要众多的晶体管共同参与。为提升性能，采用指令系统的CPU，其性能设计出发点是增强指令执行的效率。

以前CPU的架构设计一直围绕如何增强指令执行的效率，为此采取的措施是不断提升主频、加多流水线（奔腾首次应用了双路流水，而现在的CPU往往拥有20以上的流水数目

）以及增加CPU的cache提升取指令的效率（早期奔腾芯片拥有几十K的缓存,而至强E5的三级缓存超过10MB，甚至可达到30MB）。近几年，CPU的架构更加重视多核的应用，期望通过多核实现更高的性能。

CPU设计出发点是增强指令的运行性能，因此CPU的核心功能强大，占用的晶体管资源庞大，具有很高的运行效率，因此CPU的多核不可能做到非常多。目前顶级的X86 CPU具有十多个核心，而GPU已经达到几千个核心。

对编程设计来说，如果线程完全独立的执行计算任务，线程间数据不存在共享和竞争关系,那么并行效率可以达到线性效果。不过现实中的编程，有很大一类是单任务的并行化，即将一个繁杂的任务通过多核并行执行来加速，那么就面临两个困难：一个是将任务并行化之后面临多线程之间的切换代价。因为CPU核心功能强大，因此操作系统切换线程时需要CPU内部大量的状态寄存器置位，所以线程之间切换是代价很大的操作（实测中，线程切换大概需要几十微秒），如果计算任务的执行时间小于这个数字，那么多线程执行对性能提升可能并无收益，甚至可能效率反而下降。

另一个问题是任务执行中数据的依赖关系。如果计算任务中某部分必须利用前面部分的计算结果，即存在数据依赖性，那么就必须等前面部分计算完成才能执行后面的计算，而不可能并行计算。数据依赖是计算中经常遇到的场景，编程设计需要调整代码结构尽量减少相关性提升并行性。

1.4 GPU的架构和编程设计

GPU（图形处理器）这个概念最早是显卡厂商Nvidia公司提出来，如它的名字所象征的意义，主要是为图形处理而设计。图形处理计算的特征表现为高密度的计算而计算需要的数据之间较少存在相关性。下图展示了GPU和CPU设计的不同之处。

图 CPU架构和GPU对比

如图所示，GPU的设计出发点在于GPU更适用于计算强度高、多并行的计算。因此，GPU把晶体管更多用于计算单元，而不像CPU用于数据Cache和流程控制器。这样的设计是因为并行计算时每个数据单元执行相同程序，不需要繁琐的流程控制而更需要高计算能力，因此也不需要大的cache容量。

图 GPU内部结构

如上图所示，GPU的架构围绕流处理器（SMX）阵列构建的。 流处理器能同时并发执行上百线程。指令流水线化以利用单线程内的指令级并行，与CPU核不同，GPU指令顺序发射，没有分支预测和猜测执行。

流处理器以32个为一组创建、管理、调度和执行并行线程，这32个线程组称为束（warps