看FPGA如何击败GPU和GPP

　　最近几年，深度学习成为计算机视觉、语音识别、自然语言处理等关键领域中所最常使用的技术，被业界大为关注。然而，深度学习模型需要极为大量的数据和计算能力，只有更好的硬件加速条件，才能满足现有数据和模型规模继续扩大的需求。现有的解决方案使用图形处理单元（GPU）集群作为通用计算图形处理单元（GPGPU），但现场可编程门阵列（FPGA）提供了另一个值得探究的解决方案。日渐流行的FPGA设计工具使其对深度学习领域经常使用的上层软件兼容性更强，使得FPGA更容易为模型搭建和部署者所用。FPGA架构灵活，使得研究者能够在诸如GPU的固定架构之外进行模型优化探究。同时，FPGA在单位能耗下性能更强，这对大规模服务器部署或资源有限的嵌入式应用的研究而言至关重要。本文从硬件加速的视角考察深度学习与FPGA，指出有哪些趋势和创新使得这些技术相互匹配，并激发对FPGA如何帮助深度学习领域发展的探讨。

　　简介

　　机器学习对日常生活影响深远。无论是在网站上点击个性化推荐内容、在智能手机上使用语音沟通，或利用面部识别技术来拍照，都用到了某种形式的人工智能技术。这股人工智能的新潮流也伴随着算法设计的理念转变。过去基于数据的机器学习大多是利用具体领域的专业知识来人工地"塑造"所要学习的"特征"，计算机从大量示例数据中习得组合特征提取系统的能力，则使得计算机视觉、语音识别和自然语言处理等关键领域实现了重大的性能突破。对这些数据驱动技术的研究被称为深度学习，如今正受到技术界两个重要群体的关注：一是希望使用并训练这些模型、从而实现极高性能跨任务计算的研究者，二是希望为现实世界中的新应用来部署这些模型的应用科学家。然而，他们都面临着一个限制条件，即硬件加速能力仍需加强，才可能满足扩大现有数据和算法规模的需求。

　　对于深度学习来说，目前硬件加速主要靠使用图形处理单元（GPU）集群作为通用计算图形处理单元（GPGPU）。相比传统的通用处理器（GPP），GPU的核心计算能力要多出几个数量级，也更容易进行并行计算。尤其是NVIDIA CUDA，作为最主流的GPGPU编写平台，各个主要的深度学习工具均用其来进行GPU加速。最近，开放型并行程序设计标准OpenCL作为异构硬件编程的替代性工具备受关注，而对这些工具的热情也在高涨。虽然在深度学习领域内，OpenCL获得的支持相较CUDA还略逊一筹，但OpenCL有两项独特的性能。首先，OpenCL对开发者开源、免费，不同于CUDA单一供应商的做法。其次，OpenCL支持一系列硬件，包括GPU、GPP、现场可编程门阵列（FPGA）和数字信号处理器（DSP）。

　　作为GPU在算法加速上强有力的竞争者，FPGA是否立即支持不同硬件，显得尤为重要。 FPGA与GPU不同之处在于硬件配置灵活，且FPGA在运行深入学习中关键的子程序（例如对滑动窗口的计算）时，单位能耗下通常能比GPU提供更好的表现。不过，设置FPGA需要具体硬件的知识，许多研究者和应用科学家并不具备，正因如此，FPGA经常被看作一种行家专属的架构。最近，FPGA工具开始采用包括OpenCL在内的软件级编程模型，使其越来越受经主流软件开发训练的用户青睐。

　　对考察一系列设计工具的研究者而言，其对工具的筛选标准通常与其是否具备用户友好的软件开发工具、是否具有灵活可升级的模型设计方法以及是否能迅速计算、以缩减大模型的训练时间有关。随着FPGA因为高抽象化设计工具的出现而越来越容易编写，其可重构性又使得定制架构成为可能，同时高度的并行计算能力提高了指令执行速度，FPGA将为深度学习的研究者带来好处。

　　对应用科学家而言，尽管有类似的工具级选择，但硬件挑选的重点在于最大化提高单位能耗的性能，从而为大规模运行降低成本。所以，FPGA凭借单位能耗的强劲性能，加上为特定应用定制架构的能力，就能让深度学习的应用科学家受益。

　　FPGA 能满足两类受众的需求，是一个合乎逻辑的选择。本文考察FPGA上深度学习的现状，以及目前用于填补两者间鸿沟的技术发展。因此，本文有三个重要目的。首先，指出深度学习领域存在探索全新硬件加速平台的机会，而FPGA是一个理想的选择。其次，勾勒出FPGA支持深度学习的现状，指出潜在的限制。最后，对 FPGA硬件加速的未来方向提出关键建议，帮助解决今后深度学习所面临的问题。

　　FPGA

传统来说，在评估硬件平台的加速时，必须考虑到灵活性和性能之间的权衡。一方面，通用处理器（GPP）可提供高度的灵活性和易用性，但性能相对缺乏效率。这些平台往往更易于获取，可以低廉的价格生产，并且适用于多