Hot Chips 2017——人工智能近期的发展及其对计算机系统设计的影响（附PPT资料下载）

示。

而 Google Brain 在 ICML 2017 的论文《Neural Optimizer Search with Reinforcement Learning》中，就讲到了一种学习优化更新规则的技术。神经优化器搜索如下图所示：

总结

最后，Jeff Dean 总结说，未来人工智能的发展可能需要结合以上介绍的所有思路：需要大型、但稀疏激活的模型；需要解决多种任务的单个模型；大型模型的动态学习和成长路径；面向机器学习超级计算的特定硬件，以及高效匹配这种硬件的机器学习方法。

当然，目前在机器学习与系统／计算机架构的交叉领域还存在一些开放问题，例如：

• 极为不同的数值是否合理（例如，1-2 位的激励值／参数）？

• 我们如何高效的处理非常动态的模型（每个输入样本都有不同的图）？特别是在特大型机器上。

• 有没有方法能够帮助我们解决当 batch size 更大时，回报变小的难题？

• 接下来 3-4 年中，重要的机器学习算法、方法是什么？

如今，神经网络与其他方法随数据、模型大小变化的准确率对比图如下：

未来，可能又是一番境况。

演讲PPT地址：http://pan.baidu.com/s/1kVyxeB1