TensorFlow、MXNet、CNTK、Theano四个框架对比分析

　　本文通过五个任务分别测试了 MLP、CNN 和 RNN 模型，机器之心不仅对该试验进行了介绍，同时还使用 Keras（TensorFlow 后端）在 MNIST 数据集上试运行了 CNN。

　　如果我们对 Keras 在数据科学和深度学习方面的流行还有疑问，那么考虑一下所有的主流云平台和深度学习框架的支持情况就能发现它的强大之处。目前，Keras 官方版已经支持谷歌的 TensorFlow、微软的 CNTK、蒙特利尔大学的 Theano，此外，AWS 去年就宣布 Keras 将支持 Apache MXNet，上个月发布的 MXNet 0.11 就新增 Core ML 和 Keras v1.2 的支持。不过到目前为止 MXNet 好像只支持 Keras v1.2.2 而不是最新版 2.0.5。

　　尽管我们可以使用任何 Keras 所支持的后端部署模型，但开发者和方案架构师应该了解 Keras 作为各深度学习库的高级 API，其本质上是不支持各个库所提供的全部基本参数微调。因此如果我们想要精细调整后端框架所提供的所有参数，那么我们最好直接使用深度学习框架而不是使用 Keras。当然这个情况会随着各种工具添加到 Keras 和深度学习框架中而得到改善，但现在 Keras 仍是一个十分优秀的工具，它能极好地适应于深度学习开发的早期阶段，并且为数据科学家和算法工程师快速构建与测试复杂的深度学习模型提供了强大的工具。

　　机器之心也尝试使用 TensorFlow 作为后端测试了 Keras，我们发现整个模型的搭建非常简洁，连入门者都能轻松读懂整个网络的架构。相比于直接使用 TensorFlow 搭建卷积神经网络，将 Keras 作为高级 API，并使用 TensorFlow 作为后端要简单地多。后面我们将会把 Keras 实现 CNN 的代码与注释上传至 机器之心 GitHub 项目 中，下图是我们使用 TensorFlow 作为后端初始化训练的情况：

　　以下是整个卷积网络的架构：

　　上面的代码清晰地定义了整个网络叠加所使用的层级。SequenTIal 代表序贯模型，即多个网络层的线性堆叠。在建立序贯模型后，我们可以从输入层开始依次添加不同的层级以实现整个网络的构建。上面的架构首先使用的是 2 维卷积层 Conv2D，卷积核大小为 3*3，激活函数为 ReLU，其中第一个参数 32 代表卷积核数目。此外，该卷积网络还使用了最大池化层 MaxPooling2D，pool_size=（2，2） 为两个方向（竖直，水平）上的下采样因子;Dropout 层，以 0.25 的概率在每次更新参数时随机断开输入的神经元;Dense 层，即全连接层;还有 Flatten 层，即将输入「压平」，也就是把多维的输入一维化，常用在从卷积层到全连接层的过渡。以上是该架构的基本层级，更详细的代码及注释请查看机器之心 GitHub 项目。

　　下面是 Jasmeet BhaTIa 测评的具体情况。

　　Keras 后端框架性能测试

　　Keras 还能使开发人员快速测试使用不同深度学习框架作为 Keras 后端的相对性能。Keras 配置文件中有一个参数决定了使用哪一个深度学习框架作为后端，因此我们可以构建一个相同的模型在不同的深度学习框架（如 TensorFlow、CNTK、Theano）上直接运行。而对于 MXNet 来说，由于目前只支持 Keras ver1.2.2，所以我们需要对代码做一点点修改就行。当然这个模型可以根据各个深度学习框架中的不同库而进行微调以实现更好的性能，不过 Keras 仍然提供了很好的机会来比较这些基本库之间的性能。

　　早先已经有一些文章比较了 Keras 所支持后端框架的相对性能，但是对比的时间都比较早，且主要是以 TensorFlow 和 Theano 作为后端的对比。因此本文根据 Keras 和深度学习框架的最新版本在更大的范围内做了一次对比。

　　我们首先了解一下用于测试的配置。所有的性能测试都在 Azure NC6 VM 上使用 Nvidia Tesla K80 GPU 执行，使用的 VM 镜像是 Ubuntu 上的 Azure DSVM（数据科学虚拟机）。除了其他数据科学工具，我们还预安装了 Keras、TensorFlow、Theano 和 MXNet。对于测试来说，所有的软件包都是用的最新版，但因为 MXNet 只支持 Keras 1.2.2，所以其使用的旧版。

　　配置

　　因为每一个深度学习框架的依赖项不同，我们的测试在下面三种配置中运行：

　　性能测试

　　为了比较 DL 框架不同的性能，我们如下所述使用了 5 种不同的测试模型。为了确保没有特定的框架得到任何特定的处理，所有模型都来自 GitHub Keras/examples 仓库中所维护的。

　　模型源代码地址：https://github.com/fchollet/keras/tree/master/examples

　　测试的代码可以在作者的 GitHub 项目中找到：https://github.com/jasmeetsb/deep-learning- keras-projects

注意：有两个测试 MXNet 并没有参