从应用、算法、芯片角度了解语音识别技术

端到端语音识别系统。

　　基于word-based CTC准则，使用10万个词作为输出目标且使用 12.5 万小时训练样本得到的语音序列到单词序列的模型，能够超越基于音素单元的模型。但是word-based CTC模型有训练困难及收敛慢的问题。

　　4.2 AttenTIon-based模型

　　相比于CTC准则，AttenTIon-based模型不需要有帧间独立性假设，这也是AttenTIon-based模型的一大优势，因而AttenTIon-based模型可能能够取得更好的识别性能。但是相比于CTC准则，Attention-based模型训练更加困难，且有不能单调地从左到右对齐及收敛更慢的缺点。通过将 CTC 目标函数用作辅助代价函数，Attention训练和 CTC 训练以一种多任务学习的方式结合到了一起。这种训练策略能够很大程度上改善Attention-based模型的收敛问题，并且缓解了对齐问题。

　　语音识别的发展过程中，深度学习起到了关键的作用。声学模型遵循从 DNN 到 LSTM再到端到端建模的发展路径。深度学习最大的优势之一是特征表征。在有噪声、回响等情况下，深度学习可以把噪声、回响看为新的特征，并通过对有噪声、回响数据的学习，达到比较理想的识别性能。目前阶段，端到端的建模方式是声学模型建模的重点研究方向，但是相比于其它的建模方式，其还没有取得明显的性能优势。如何在端到端建模的基础上，提升训练速度及性能，并解决收敛问题是声学模型的重要研究方向。

　　5、解码

　　基于训练好的声学模型，并结合词典、语言模型，对输入的语音帧序列识别的过程即为解码的过程。传统的解码是将声学模型、词典以及语言模型编译成一个网络。解码就是在这个动态网络空间中，基于最大后验概率，选择一条或多条最优路径作为识别结果（最优的输出字符序列）。搜索常用的方法是Viterbi算法。对于端到端的语音识别系统，最简单的解码方法是beam search算法。

　　6、远场复杂环境下解决方案

　　目前阶段，在近场安静环境下，语音识别能够取得非常理想的识别效果，但是在高噪声、多人说话、强口音等环境，特别是远场环境下，语音识别还有诸多问题需要解决。语音模型自适应、语音增强与分离、识别模型优化等是常用的可选解决方案。

　　6.1 语音增强与分离

　　远场环境下，语音输入信号衰减比较严重，为了对语音信号增强，常采用麦克风阵列的波束形成技术，比如，Google Home采用双麦的设计方案，亚马逊Echo采用6+1的麦克风阵列设计方案。近年，深度学习方法被应用到语音增强与分离中，核心思想是把语音增强与分离转化为一个监督学习问题，即预测输入声音源的问题。有研究使用DNN替代波束形成，实现语音增强，并在一定场景下取得了比较理想的效果。但是在背景噪声很大的环境中，该方法性能还有较大提升空间。

　　在多人说话的情况下，如果不对输入信号做分离处理，而进行语音识别的话，识别效果会很差。对于该问题，在多个说话人距离较远的情况下，波束形成是一个比较好的解决方案，但是当多个说话人距离很近的时候，波束形成的语音分离效果也很差。为了避开波束形成所带来的场景分类问题，传统的方法多是在单通道下尝试解决该问题，常用算法有computational auditory scene analysis、非负矩阵分解、deep clustering 等，但是这些方法只有当噪声信号（除声源外的其他信号）与声音源信号有明显不同的特征时，这些技术才取得比较好的效果。其它情况下，这些方法在语音分离中取得的效果一般。2016年，俞栋博士提出了一种新的深度学习训练准则-- permutation invariant training，巧妙地解决了该问题，并取得了不错的效果。

　　6.2 语音模型自适应

　　大量且丰富（能够提供更多信息）的数据集是提升模型泛化能力的最直接简单的方法；

　　基于成本及训练时间的考虑，一般情况下只使用有限的训练数据。此时，在模型训练中加入Kullback-Leiblerdivergence正则项是解决模型自适应问题非常有效的方式；

　　除了加入正则项外，使用非常少的参数来表征说话者特征是另一种自适应方式，其包括：奇异值分解瓶颈自适应，把满秩矩阵分解为两个低秩矩阵，减小训练参数；子空间法，子空间法又包括：

　　1. 在输入空间及深度网络的各个层中加入i-vector、扬声器（speaker）编码、噪声估计等辅助特征；

　　2. 聚类自适应训练（CAT）;

　　3. 隐层分解（FHL），相比于CAT，FHL只需要少量的训练数据，原因在于FHL的基是秩为1的矩阵，而CAT的基是满秩矩阵，在基数量一样的情况下，CAT需要更多的训练数据。

实时性是语音识别应用中关注度很高的问题之一，实时性直接影响用户的体验感，提高语音识