基于眼动生理特征的视觉随动系统

• 课题背景与现状

人体的体感控制是智能控制设备的一个典型的研究方向，其典型的代表就是基于人体表现的运动控制，已被广泛应用于游戏及体育训练等很多方面。尽管业界广泛认为基于脑波控制是体感控制的最有效措施，但由于脑波信息的复杂性使得相关技术仍旧停留在实验室研究阶段。视频信息是人类获取外界信息的主要渠道，相应的眼球运动也具有典型的行为模式特征，其运动范围小，释义明显，因而基于眼球兴趣移动信息的控制也被业界广泛关注，相应的产品在国外也有一定表现。

眼动仪是用于记录人在处理视觉信息时的眼动轨迹特征的一种设备，根据角膜和瞳孔的反光原理设计的眼动仪有：美国应用科学实验室(ASL)生产的504型和501型眼动仪、加拿大SR公司生产的eyelinkII型头盔式眼动仪、法国的Metrovision公司生产的Mon VOGl型和Mon VOG2型眼动仪、美国Fourward Optical Technology公司生产的第六代双普金野眼动仪以及德国SMI公司生产的MEye Track型眼动仪等等。美国LC技术公司生产的eye gaze communication system也是用这个原理生产的眼动仪，它可以帮助那些不能用手进行计算机键盘操作的病人用眼睛代替手来操作键盘。

根据电流记录法原理生产的眼动仪有法国Metrovision公司生产研制的Model Mon EOG眼动仪，这种眼动仪可以记录水平和垂直方向的眼动情况。

根据电磁感应原理生产的眼动仪有荷兰SKALAR公司生产的磁感应眼动记录系统。该系统被广泛应用于神经生理学、阅读、神经病学和视觉研究中。

另外，瑞典托比公司和中国联想集团3月1日在德国汉诺威2011年信息和通信技术博览会上共同推出世界上第一款用眼睛控制的笔记本电脑。该电脑的焦点总能聚集在用户正在注视的屏幕位置上,其眼控功能可以与键盘和鼠标联动以提高使用电脑的速度。

目前结合视频场景观测，脑波及眼动监测的人体研究设备发展迅速，相关研究具有较强的科研价值。

• 研究的目的与意义

项目以人眼的兴趣移动为研究对象，设计相应的硬件系统同步远端摄像头的移动、对焦，经过视频眼镜显示远端摄像头采集的图像。

项目控制以眼球兴趣移动作为控制判决依据，符合人眼观察特点，对于基于视觉兴趣的环境信息控制研究具有一定意义，运用前景广泛。设计系统具备两路眼动视频监测及眼球运动的实时检测能力，同时可实现相应的远端视频图像获取及云台移动、摄像头对焦同步，具有完整的高速处理系统特点，整体数据吞吐能力超过100Mb/S，同步速率达到10次/S。

• 方案设计和实施计划

1. 系统设计

本作品的系统设计示意图如图1所示：

图1 系统设计图

系统按照功能分为4个模块：

1. 云台模块，由云台、摄像头和步进电机组成，主要功能是控制云台摄像头的水平转动、俯仰运动和自动对焦，并采集图像；
2. 视频眼镜模块，由视频眼镜及其控制板，内置两个微型摄像头组成，主要功能是用于显示云台摄像头采集的图像并通过内部放置的两个微型摄像头采集人眼图像；
3. 图像处理及显示平台，采用Intel低功耗ATOM系列处理器平台，安装Windows XP操作系统，由液晶显示屏显示界面，主要功能是显示工作界面，实现人眼运动识别并返回计算结果；
4. 主控制板，采用FPGA为主处理芯片，带有高速存储器和串口、视频接口、云台接口等，它是整个系统的核心控制模块，主要功能是负责与云台、图像处理平台和视频眼镜之间的数据交互，管理整个系统的数据流和控制流；

2. 工作流程

整个工作流程如下图所示：

图2 工作流程

通过视频眼镜内部的两个微型摄像头采集人眼图像，图像处理平台实现人眼的运动识别，主控制板根据图像处理结果控制云台摄像头的移动和自动对焦，并将摄像头采集的图像在视频眼镜中显示；继续对人眼进行监控判断，形成不断循环的闭环运行流程。

• 研究的主要内容

1. 模块组成
   1. 云台模块

云台模块由云台、电机模块、摄像头和外接口组成，它的功能是控制电机的转动从而实现摄像头的水平和垂直方向的运动，同时把摄像头采集的图像输出。

1. 云台采用PTS-3030CQ型号的吊装云台（图4-1-1-1），内置两个24V交流电机，水平旋转角度最大为355度，俯仰角度范围为-5度到50度。由于该云台需要交流供电，不满足本项目要求，所以将原有的交流电机更换成直流步进电机。

图 4-1-1-1

2. 电机模块由两个12V直流两相步进电机（图4-1-1-2）和配套的电机驱动器组成。步进电机的步距角为1.8度，最大静力矩约为3600 g*cm，如图1-2所示。驱动器的驱动电压小于40V，驱动电流0.8—5V可调，细分数可由拨码开关设定1/2，1/4，1/8，1/16。

图4-1-1-2

3. 摄像头采用彩色一体化摄像机（图4-1-1-3），成像元件是SONY CCD ima