中文语音处理在数字助听器中的开发
时间:01-15
来源:互联网
点击:
目前国外对助听器研究发展的一个热点则是集中在中国,确切地讲是基于对汉语语言和语音研究,开发相关的语音识别技术和产品。为中心的中文听力学也不例外。我们已经知道听觉科学是一门发展迅速、知识更新很快的一门学科,它所研究的对象以人的听觉为中心,现在我们将介绍和讨论科学家和听力学家更关心的是怎样将听觉科学运用到中国人的听觉和言语实际中去。
汉语是具有特征化的音调性语言,与其他以拼音字母为主的语系,如斯拉夫语系等具有很明显的语音学差别。这种差别不仅仅在语言特征上非常明确,在具体使用时,区别也很大。是否不同语系的不同语音特征会影响听觉受损患者对言语的理解,尤其是在使用基于不同语系研究成果制作成的助听器时,这种语音的差异是否起到重要作用,最近已成为学术和科研的一个热门课题。比如国内研制的人工耳蜗的一个特点便是在设计其算法时考虑到中文语音特点。国外助听器厂商将在近期推出以中文语音为特征算法的助听器。加拿大在中国的一语音实验室通过多年的研究和实验,早在 2000 年运用领先的数字信号处理 (DSP) 技术,在其数字助听器中加入中文语音算法,并同时申请了相关专利。目前他们率先推出的以中文语音处理技术为核心的全新数字助听器 —Intelligia ,在临床试验中得到受试者的认可,初步证明这种新型助听器对说以中文为母语的患者有益处。
目前研究的结果表明,不同的语系,如汉语和英语有各自特点,在听觉感知过程中有很大差别。英文和汉语在语音和口语上有重要区别, Ming-Xi Tsai el al ( 2000 )认为汉语和英文语音在结构上特征区别很大。汉语的词、字、音节和声、韵母分节含有不同层次的信息,并保持复杂的关系。在口语中,汉语发音差异也很大,在不同会话条件下,受到这些结构中不同层次信息的影响。
对中文语音识别和中文语音音调的研究表现在人工耳蜗的算法上面。言语处理策略是人工耳蜗帮助患者理解语言核心技术,已有大量研究。但对于言语声尤其是声调、语调的研究,比如对以语调为基础的汉语研究还是很少。在最近的一个试验中,他们用澳大利亚人工耳蜗来观察对汉语语音理解的影响。结果表明在某些言语处理策略中汉语的使用的理解度要高于其他时间策略。如果能提高刺激率,加强对语音和音调的理解,他们也认为不同的言语处理策略对汉语说法也有理解。研究再次证明,汉语应该有一定的语音系统处理自己的语言,尤其是对听障人士尤为重要。
美国麻省理工学院研究者 Michael Qin 在其《在噪音背景发音和音调的辨认》的试验中,对汉语普通话音调的辨认和噪音的关系进行了研究。他认为不同的语言利用不同类型的声调使我们口语富于不同的意义,在噪音环境下这些有意义的声调会受到影响,因此他需要发现说普通话的中国人怎样在噪音环境里辨认不同的声调。在试验中他使用 6 个辅元音的音位,同时使用 4 个声调:阴阳上去。其结果表明在信噪比降低的情况下,对汉语声调和元音的识别受到很大影响,从而影响降低言语的理解能力。因此信噪比影响理解中文很重要的因素。这个试验对听觉康复和设计有针对性的助听器具有重要意义。
同时,最近美国成立了一个综合性专家研究小组,开始研制适合中文语音的助听器。该小组成员包括世界闻名的豪斯耳研究院、香港中文大学耳鼻喉科等。与上述研究类似。他们认为在聆听以声调作为识别语音和语义的语言时,如普通话、广东话和泰国语等,可能听觉更重要的是依靠基频相关的信息来理解语言,这是与别的语言不同的。因此,在研制助听器时,我们应该考虑到这些患者的语言特点。
当然,笔者最感兴趣的是最近由威耳康研究基金 (Wellcome Trust) 赞助的一项题为《中文普通话会话者在理解语言时比英文会话者用脑更多》的试验,其目的是使用影像技术来观察和研究中文母语和英文母语说话者大脑出现的不同活动。主持该项研究的心理学家索菲斯高特博士发现,当英语的受试者听到英文时,其左颞叶变得异常活跃,研究者认为这个区是把言语声组合在一起形成独立的字词。但是当中文受试者听到普通话时,其左右颞叶同时活跃起来。显然,由于说不同语言的受试者用他们大脑的不同区域对不同语言的刺激进行解码。这对我们理解这些理论产生了很大的影响。他们进一步认为中文受试者的左颞叶处理语音信号,而他们的右颞叶则处理声调,同时产生意义。言语声是非常复杂的声音,而正确理解言语传递的意思,在这种情况下,大脑会充分利用说话者抑扬顿挫的声调来对其言语进行解码,从而将口语变成有意义的信号。
大脑听觉区域很容易受外部影响,而改变对声音的分辩能力。一旦听觉受到损伤,必需进行康复,大脑需要重新连接和编码。大脑的可塑性是很强的。了解大脑对不同语言的反应,可以有效地帮助听觉患者重新恢复对语言的理解。重要的是基于这些研究,我们可以清楚地看到研制出具有中文语音特征的听力康复设备。记得在 2002 年北京大学和中国残联成立言语听觉中心的开幕式上,邓朴方先生在发言中专门谈到:他第一次听说中文语音处理特征对助听器使用者的影响,他认为这是一个重要课题,需做大量工作,而研制出以中文语音为特征的听觉康复设备将会有重要的意义。根据国际确认的听损发病率,中国有 10 %的人口,即一亿三千万人有不同程度听力损失,因此,利用中文语音处理技术更有效地帮助听残患者具有非常重要的作用。
汉语是具有特征化的音调性语言,与其他以拼音字母为主的语系,如斯拉夫语系等具有很明显的语音学差别。这种差别不仅仅在语言特征上非常明确,在具体使用时,区别也很大。是否不同语系的不同语音特征会影响听觉受损患者对言语的理解,尤其是在使用基于不同语系研究成果制作成的助听器时,这种语音的差异是否起到重要作用,最近已成为学术和科研的一个热门课题。比如国内研制的人工耳蜗的一个特点便是在设计其算法时考虑到中文语音特点。国外助听器厂商将在近期推出以中文语音为特征算法的助听器。加拿大在中国的一语音实验室通过多年的研究和实验,早在 2000 年运用领先的数字信号处理 (DSP) 技术,在其数字助听器中加入中文语音算法,并同时申请了相关专利。目前他们率先推出的以中文语音处理技术为核心的全新数字助听器 —Intelligia ,在临床试验中得到受试者的认可,初步证明这种新型助听器对说以中文为母语的患者有益处。
目前研究的结果表明,不同的语系,如汉语和英语有各自特点,在听觉感知过程中有很大差别。英文和汉语在语音和口语上有重要区别, Ming-Xi Tsai el al ( 2000 )认为汉语和英文语音在结构上特征区别很大。汉语的词、字、音节和声、韵母分节含有不同层次的信息,并保持复杂的关系。在口语中,汉语发音差异也很大,在不同会话条件下,受到这些结构中不同层次信息的影响。
对中文语音识别和中文语音音调的研究表现在人工耳蜗的算法上面。言语处理策略是人工耳蜗帮助患者理解语言核心技术,已有大量研究。但对于言语声尤其是声调、语调的研究,比如对以语调为基础的汉语研究还是很少。在最近的一个试验中,他们用澳大利亚人工耳蜗来观察对汉语语音理解的影响。结果表明在某些言语处理策略中汉语的使用的理解度要高于其他时间策略。如果能提高刺激率,加强对语音和音调的理解,他们也认为不同的言语处理策略对汉语说法也有理解。研究再次证明,汉语应该有一定的语音系统处理自己的语言,尤其是对听障人士尤为重要。
美国麻省理工学院研究者 Michael Qin 在其《在噪音背景发音和音调的辨认》的试验中,对汉语普通话音调的辨认和噪音的关系进行了研究。他认为不同的语言利用不同类型的声调使我们口语富于不同的意义,在噪音环境下这些有意义的声调会受到影响,因此他需要发现说普通话的中国人怎样在噪音环境里辨认不同的声调。在试验中他使用 6 个辅元音的音位,同时使用 4 个声调:阴阳上去。其结果表明在信噪比降低的情况下,对汉语声调和元音的识别受到很大影响,从而影响降低言语的理解能力。因此信噪比影响理解中文很重要的因素。这个试验对听觉康复和设计有针对性的助听器具有重要意义。
同时,最近美国成立了一个综合性专家研究小组,开始研制适合中文语音的助听器。该小组成员包括世界闻名的豪斯耳研究院、香港中文大学耳鼻喉科等。与上述研究类似。他们认为在聆听以声调作为识别语音和语义的语言时,如普通话、广东话和泰国语等,可能听觉更重要的是依靠基频相关的信息来理解语言,这是与别的语言不同的。因此,在研制助听器时,我们应该考虑到这些患者的语言特点。
当然,笔者最感兴趣的是最近由威耳康研究基金 (Wellcome Trust) 赞助的一项题为《中文普通话会话者在理解语言时比英文会话者用脑更多》的试验,其目的是使用影像技术来观察和研究中文母语和英文母语说话者大脑出现的不同活动。主持该项研究的心理学家索菲斯高特博士发现,当英语的受试者听到英文时,其左颞叶变得异常活跃,研究者认为这个区是把言语声组合在一起形成独立的字词。但是当中文受试者听到普通话时,其左右颞叶同时活跃起来。显然,由于说不同语言的受试者用他们大脑的不同区域对不同语言的刺激进行解码。这对我们理解这些理论产生了很大的影响。他们进一步认为中文受试者的左颞叶处理语音信号,而他们的右颞叶则处理声调,同时产生意义。言语声是非常复杂的声音,而正确理解言语传递的意思,在这种情况下,大脑会充分利用说话者抑扬顿挫的声调来对其言语进行解码,从而将口语变成有意义的信号。
大脑听觉区域很容易受外部影响,而改变对声音的分辩能力。一旦听觉受到损伤,必需进行康复,大脑需要重新连接和编码。大脑的可塑性是很强的。了解大脑对不同语言的反应,可以有效地帮助听觉患者重新恢复对语言的理解。重要的是基于这些研究,我们可以清楚地看到研制出具有中文语音特征的听力康复设备。记得在 2002 年北京大学和中国残联成立言语听觉中心的开幕式上,邓朴方先生在发言中专门谈到:他第一次听说中文语音处理特征对助听器使用者的影响,他认为这是一个重要课题,需做大量工作,而研制出以中文语音为特征的听觉康复设备将会有重要的意义。根据国际确认的听损发病率,中国有 10 %的人口,即一亿三千万人有不同程度听力损失,因此,利用中文语音处理技术更有效地帮助听残患者具有非常重要的作用。
- 医疗电子技术大会折射行业发展方向(04-18)
- 基于Blackfin DSP的哮喘管理设备(12-18)
- 医学成像的未来(08-25)
- 基于DSP的EASI十二导联多功能Holter系统(03-08)
- 基于AD5933的高精度生物阻抗测量方法(03-15)
- 现代医疗传感器种类及前沿应用简介(10-09)