从应用、算法、芯片角度了解语音识别技术

3）循环神经网络（RNN）/卷积神经网络（CNN）模型

　　对于不同的音素与语速，利用语境信息最优的特征窗长度是不同的。能够有效利用可变长度语境信息的RNN与CNN在语音识别中能够取得更好的识别性能。因而，在语速鲁棒性方面，CNN/RNN比DNN表现的更好。

　　在使用RNN建模方面，用于语音识别建模的模型有：多隐层的长短期记忆网络（LSTM）、highway LSTM、ResidualLSTM、双向LSTM、时延控制的双向LSTM。

　　LSTM，基于门控电路设计，其能够利用长短时信息，在语音识别中取得了非常好的性能。另外，可以通过增加层数进一步提升识别性能，但是简单地增加LSTM的层数会引起训练困难及梯度消失问题。

　　Highway LSTM，在LSTM相邻层的记忆单元间添加一个门控的直接链路，为信息在不同层间流动提供一个直接且不衰减的路径，从而解决梯度消失问题

　　Residual LSTM，在LSTM层间提供一个捷径，亦能解决梯度消失问题。

　　双向LSTM，能够利用过去及未来的语境信息，因而其识别性能比单向的LSTM好，但是由于双向LSTM利用了未来的信息，因而基于双向LSTM建模的语音识别系统需要观察完整的一段话之后才能识别，从而不适用于实时语音识别系统。

　　时延控制的双向LSTM，通过调整双向LSTM的反向LSTM，实现了性能与实时性的一个折中建模方案，能够应用于实时的语音识别系统。

　　CNN建模方面，包括时延神经网络（TDNN）、CNN-DNN、CNN-LSTM-DNN（CLDNN）、CNN-DNN-LSTM（CDL）、深度CNN、逐层语境扩展和注意（LACE）CNN、dilated CNN。

　　TDNN，最早被用于语音识别的CNN建模方式，TDNN 会沿频率轴和时间轴同时进行卷积，因此能够利用可变长度的语境信息。TDNN用于语音识别分为两种情况，第一种情况下：只有TDNN，很难用于大词汇量连续性语音识别（LVCSR），原因在于可变长度的表述（utterance）与可变长度的语境信息是两回事，在LVCSR中需要处理可变长度表述问题，而TDNN只能处理可变长度语境信息；第二种情况：TDNN-HMM 混合模型，由于HMM能够处理可变长度表述问题，因而该模型能够有效地处理LVCSR问题。

　　CNN-DNN，在DNN前增加一到两层的卷积层，以提升对不同说话人的可变长度声道（vocal tract）问题的鲁棒性，对比于单纯DNN，CNN-DNN性能有一定幅度（5%）的提升

　　CLDNN及CDL，在这两个模型中，CNN只处理频率轴的变化，LSTM用于利用可变长度语境信息。

　　深度CNN，这里的"深度"是指一百层以上。语谱图可以被看作是带有特定模式的图像，通过使用比较小的卷积核以及更多的层，来利用时间及频率轴上长范围的相关信息，深度CNN的建模性能与双向LSTM性能相当，但是深度CNN没有时延问题。在控制计算成本的情况下，深度CNN能够很好的应用于实时系统。

　　逐层语境扩展和注意（LACE）CNN及dilated CNN，深度CNN的计算量比较大，因而提出了能够减小计算量的 LACE CNN与dilated CNN，其把整个话语看作单张输入图，因而可以复用中间结果，另外，可以通过设计LACE CNN及dilated CNN网络每一层的步长，使其能够覆盖整个核，来降低计算成本。

　　语音识别的应用环境常常比较复杂，选择能够应对各种情况的模型建模声学模型是工业界及学术界常用的建模方式。但是各个单一模型都有局限性。HMM能够处理可变长度的表述，CNN能够处理可变声道，RNN/CNN能够处理可变语境信息。声学模型建模中，混合模型由于能够结合各个模型的优势，是目前声学建模的主流方式。

　　3.2 语言模型

　　语音识别中，最常见的语言模型是N-Gram。近年，深度神经网络的建模方式也被应用到语言模型中，比如基于CNN及RNN的语言模型。

　　4、端到端的语音识别系统

　　在DNN-HMM或者CNN/RNN-HMM模型中，DNN/CNN/RNN与HMM是分开优化的，但是语音识别本质上是一个序列识别问题，如果模型中的所有组件都能够联合优化，很可能会获取更好的识别准确度，这一点从语音识别的数学表达式也可以看出（利用贝叶斯准则变化之后的表达式），因而端到端的处理方式亦被引入到语音识别系统中。

　　4.1 CTC准则

其核心思想是引入空白标签，然后基于前向后向算法做序列到序列的映射。CTC准则可分为character-based CTC、other output units-based CTC、word-based CTC，由于CTC准则是直接预测字符、单词等，而不是预测音素，因而其能够剔除语音识别中的字典等专家知识。由于在非word-based CTC中，仍然需要语言模型及解码器。因而，character-basedCTC与other output units-based CTC是非纯粹的端到端的语音识别系统。相反，word-based CTC模型是纯粹的