AI除了深度学习，还有什么领域值得关注？

的时间序列(比如说强化学习的任务规划);超清晰图像;通过2D图像修复3D结构;对小型的带标签数据集进行归纳;从一个输入推出多个正确结果的软任务(比如预测视频的下一帧);在对话接口(如聊天机器人)中创建自然语言;加密;当并非所有数据都带标签时进行半监督学习;艺术风格的变换;合成音乐和语音;图像修复。

公司：Twitter Cortex，Adobe，Apple，Prisma，Jukedeck*，Creative.ai，Gluru*，Mapillary*，Unbabel。

主要研究者：Ian Goodfellow(OpenAI), Yann LeCun和Soumith Chintala(Facebook AI Research), Shakir Mohamed和A?ron van den Oord(Google DeepMind), Alyosha Efros(Berkeley)等。

3、带记忆的神经网络

为了让AI能像我们人类一样归纳不同的现实世界环境，它们必须能够不断学习新任务并记住如何在未来执行所有这些任务。然而，传统神经网络一般都不能记住此类任务序列。这一缺点的术语叫做灾变性失忆(catastrophic forgetting)。之所以会发生这种情况，是因为在一个神经网络中对于解决任务A很重要的权重在该网络随后受训解决任务B时会发生变化。

不过有若干强大的架构能赋予神经网络不同程度的记忆功能。这些就包括了长短期记忆人工神经网络(LSTM，递归神经网络的派生)，这种网络能处理和预测时间序列;为了自行学习复杂数据结构并在其中导航，DeepMind的可微神经计算机结合了神经网络和内存系统，学习的弹性权重合并(elastic weight consolidation)算法，视之前在任务中的重要性不同，这种算法可放慢特定权重的学习;渐进性神经网络( progressive neural networks)，这种神经网络可以学习任务相关模型的横向联系，从而从此前学过的神经网络中析取出有用的功能来执行新任务。

应用：可归纳到新环境的学习代理;机器臂空子任务;无人车;时间序列预测(比如金融市场，视频，物联网等);自然语言理解和下一个单词预测。

公司：Google DeepMind，NNaisense(?), SwiftKey/微软研究院, Facebook AI Research。

主要研究人员：Alex Graves, Raia Hadsell, Koray Kavukcuoglu(Google DeepMind), Jürgen Schmidhuber(IDSIA), Geoffrey Hinton(Google Brain/Toronto), James Weston, Sumit Chopra, Antoine Bordes(FAIR)。

4、从更少的数据学习，建立更小的模型

深度学习模型因为需要庞大规模的训练数据才能实现最好性能而引人关注。比方说， 让参赛队伍挑战自己的图像识别模型的ImageNet Large Scale Visual Recognition Challenge(ImageNet大规模视觉识别挑战赛)拥有120万张手工标记的训练图像，涵括了1000个对象类别。如果没有大规模的训练数据，深度学习就没有办法集中到优化设置上面，注入语音识别或者机器翻译之类的那些复杂的任务就无法执行得好。当单个神经网络用于端到端解决一个问题(也就是说，把说话的裸音频录音作为输入然后输出说话的录音文本)时，这一数据需求只会越来越高。这跟用多个神经网络各提供中间表示是不一样的(比如说，裸语音音频输入→音素→单词→录音文本输出)。如果我们希望AI系统解决那些训练数据尤其具有挑战性、成本又高、又敏感或者获得又十分耗时的任务时，从较少例子(比如1次或0次学习)形成可学习优化解决方案的模型就很重要了。当针对小规模数据集进行训练时，其挑战包括过度拟合，处理异常值的困难，训练和测试之间不同的数据分布等。一个替代的方案是用一个共同的流程将机器学习模型执行之前任务获得的知识转移过去以改善新任务的学习，这被称为是迁移学习(transfer learning)。

一个相关问题是利用类似数量或者数量显著减少的参数开发更小型的最新深度学习架构。其优势包括更有效的分布式训练，因为数据需要在服务器之间进行沟通;从云导出新模型到边缘设备需要更少的带宽;可以部署到内存有限的硬件，灵活性得到了改进。

应用：训练浅层网络学习模仿原本基于大型带标签训练数据而训练出来的深度网络的表现;参数更少但表现与深度模型相当的架构(比如SqueezeNet);机器翻译。

公司：Geometric Intelligence/Uber, DeepScale.ai, 微软研究院, Curious AI Company, Google, Bloomsbury AI。

主要研究人员：Zoubin Ghahramani(剑桥大学), Yoshua Bengio(蒙特利尔大学), Josh Tenenbaum(MIT), Brendan Lake(纽元大学), Oriol Vinyals(Google DeepMind), Sebastian Riedel(UCL)。

5、用于训练与推理的硬件

AI取得进展的一个主要的催化剂是图形处理单元(GPU)被重新利用到了训练大型神经网络模型上面。