基于FPGA的手势语音转换器

摘要：

一直以来，聋哑人与健康人之间的交流就十分的困难，特别是没有学习过手语的人。我们的这个项目旨在打破这个障碍，让没学过手语的人也能听见聋哑人的心声。我们的手语语音转换器目的就是就是通过它提供一种有效的途径将聋哑人的手势识别出来，并转换成我们普通人所习惯的语音信息，从而实现聋哑人与我们的有效沟通。目前手语识别可以分为基于视觉的识别系统和基于数据手套的识别系统。基于视觉的手势识别系统采用常见的视频采集设备作为手势感知输入设备，价格便宜、便于安装。鉴于基于视觉的手势识别方法交互自然便利，适于普及应用，且更能反映机器模拟人类视觉的功能，我们这次的识别方法为基于视觉的手势识别。

1 绪论

1.1 项目背景与分析

一直以来，聋哑人与健康人之间的交流就十分的困难，特别是没有学习过手语的人。我们的这个项目旨在打破这个障碍，让没学过手语的人也能听见聋哑人的心声。我们的手语语音转换器目的就是就是通过它提供一种有效的途径将聋哑人的手势识别出来，并转换成我们普通人所习惯的语音信息，从而实现聋哑人与我们的有效沟通。

目前手语识别可以分为基于视觉的识别系统和基于数据手套的识别系统。前者需要使用者戴上数据手套，这就给使用者造成一定的不便，基于视觉的手势识别系统采用常见的视频采集设备作为手势感知输入设备，价格便宜、便于安装，提供了更加自然、直接的人机交互方式。在以后的发展中，手势识别是有着很大的前景，在人机交互中起着不可忽视的作用。

我们这次的识别方法为基于视觉的手势识别。手势识别分为动态手势识别和静态手势识别，动态手势定义为手运动的轨迹，而静态手势强调通过手型传递一定的意义。本文研究静态手势识别。静态手势识别通常是基于视觉的2D手势识别，设计一个手势语音的转换器可以说给聋哑人带来了福音，解决了聋哑人与健康人的交流困难。

本文所设计的手势语音识别器大大提高了残疾人与正常人进行交流沟通的方便性。系统的开发与利用将可以促进手势识别技术的发展，具有很强的实用性和广阔的应用前景。

手势识别还可以应用到很多其他的机器视觉领域，实现人机之间的更好的交互，在越来越注重用户体验的今天，手势识别的定会在今后的交互中大放异彩。

1.2 目前相关技术的研究及应用状况

当今社会中中传统的人机交互方式已经不能满足人们对现代生活方式的追求。传统的一些交互方式在舒适性，易用性，趣味性，个性化等方面已经越来越凸显出不足之处。自然语言是人类交流的主要手段，通过语言同计算机交谈无疑是广大计算机用户梦寐以求的愿望新型直观自然的交互方式如动作交互，语音交互越来越成为生活中必要的方式，但是由于由于其技术复杂度高、环境干扰因素较大、数据处理量大、成本高，研发速度和研发水平等受到严重的制约，但是， 现代化发展的今天，人们又迫切需要更加舒适更加自然的交互方式，现在的交互方式逐渐不能满足人们的要求。

目前，国内外相关技术研究大多还处于理论研究阶段，很多技术都不成熟，手势识别技术却很少有比较成熟的产品出现，基本上处于理论研究阶段，即便有，也只是对一些简单的动作通过加速度等传感器来实现，相对比较简单。但还没有能将手势通过图像识别出来的相关产品，我们的手势语音识别器就是在手势动作识别的基础上实现的，将该技术应用在解决聋哑人的语言交流问题，我们在这里对其进行了尝试。

2 系统功能描述及设计

2.1 功能概述

上图是手势语音转换器的系统结构框架图，在手势识别的时候需要做到准确性，实时性的要求。我们的设计利用图像传感器在外界环境中的手势图像进行实时采集，通过我们的系统平台对图像进行一系列的处理之后，转换为对应的语义，再利用语音合成芯片变为文字语音输出。将手势转换为对应的语音意义输出。其功能框架结构图如下：

2.2 具体方案选择

2.2.1 图像采集模块

两个方案 1.直接利用USB摄像头进行图像采集2.利用模拟摄像头，经过AD芯片转换

方案一

优点：直接利用电脑的USB摄像头，虽然是CMOS摄像头，但是摄像头已经内置DSP芯片，无需再对模拟数据进行AD转换，FPGA芯片可以直接利用，并且USB接口标准已经非常普及，所以此方案将会使用很普遍并且非常普及。我们也配备了USB摄像头。

缺点：USB协议非常复杂，不得不熟悉USB协议，但是USB协议学习要很长的时间，另外要增设USB的主从芯片（USB-HOST，比如SL811HS）。这也将会使我们的项目进展更加缓慢。

方案二

优点：采用美国OmniVision公司开发的CMOS彩色/黑白图像传感器芯片OV7620，此芯片的