微波EDA网,见证研发工程师的成长!
首页 > 硬件设计 > 嵌入式设计 > 基于眼动生理特征的视觉随动系统

基于眼动生理特征的视觉随动系统

时间:07-07 来源:互联网 点击:

实现出色的显示质量。

(4)SP3220:串口通信芯片

SP3220E包含一个高效电荷泵,工作于3.3V电压时,只需0.1μF电容即可操作。该电荷泵允许SP3220E在+3.3V到+5.0V的电压范围内发送符合RS-232协议的信号。SP3220E的ESD保护使得收发器的管脚可承受±15kV的人体放电模式和IEC1000-4-2气隙放电模式。
  SP3220E包含低功耗关断模式,该模式下驱动器输出和电荷泵将被禁止。关断状态下,电源电流低于1μA。

  1. 程序设计
    1. 1 上位机程序设计

上位机程序采用VC6.0开发环境和OpenCV图像处理库编写,主要功能是通过处理人眼图像,识别人眼的运动,从而判别人眼注视方向。并将计算结果通过串口返回给主控制板。

  1. 界面效果图

  1. 程序流程图

  1. 瞳孔定位算法

本算法主要基于图像的灰度分布来定位人眼瞳孔和轮廓,根据左右眼瞳孔和轮廓的位置来判断人眼的注视方向,具体步骤如下所示:

第一步,将左右眼图像转换成320*240的图像;

第二步,选择合适的阈值将灰度图像二值化,使眼部轮廓清晰地呈现出来,然后从图像的四周开始向内寻找眼部轮廓找,并用矩形画出眼部轮廓;

第三步,将图像转换成灰度图像,选择合适大小的区域,在眼部轮廓中寻找灰度最小的那块区域,取该区域的中心设为检测到的瞳孔位置;

第四步,根据左右眼瞳孔与眼睛的轮廓的位置关系和移动情况,设定合适的阈值来判断人眼的注视方向(上、下、左、右、平视);

第五步,将计算结果发送给主控制板,由主控制板控制云台电机的转动带动云台摄像头的转动。

  1. FPGA程序设计

程序分为串口接收与云台控制部分和视频处理部分。两部分程序并行运行,相互保持独立。

2.2.1

串口接收与云台控制部分

通用板处理后结果用串口发送到串口接收与云台控制模块,此处对命令进行译码,分别进行云台电机的运动控制和摄像头的拉远拉近以及聚焦的控制。

2.2.2

视频处理部分

先配置编码芯片和解码芯片,对视频输入信号进行行,列,场的分辨。视频处理主要包括字符叠加,颜色的改变,二值处理等等,处理完的视频信号叠加上行场信号进行输出。

2.3硬件电路设计

主芯片采用BGA封装,其他芯片为SMA表贴封装,电路板为八层,信号线宽为5mil,电源线宽30mil,板厚2mm, 为了保证信号完整性,其中4层为信号走线层,两层地层,两层电源层,信号层之间用地层或电源层隔开,相邻信号层走线尽量保持垂直。

  • 设计性能指标
  1. 双路人眼图像的分辨率为320x240,平均处理速度为10帧/秒;
  2. 视频眼镜双路VGA视频显示,分辨率为640x480,帧频为25帧/秒;
  3. 水平方向视场范围为0到355度,竖直方向视场范围为-5到50度,水平转动和俯仰运动的最小角度是0.9度;
  4. 水平方向视场最大转速约为20度/s,垂直方向视场最大转速约为10度/s;;
  • 创新点和结论
  1. 将远端摄像头与人眼的观察动作同步,实现观察范围和对象的自动调整,整个控制过程符合人体用眼习惯,方便快捷;
  2. 将专用系统平台(硬件和软件自行设计)和通用系统平台(软件设计)高效联合使用;
  3. 模块化设计,方便二次开发,可作为高校学习和实验的平台。
  • 成果的应用前景
  1. 医疗电子领域

在现场手术和远程医疗中,利用高性能摄像头可以辅助医生准确精细进行手术,同时操作更加方便、人性化;

  1. 车辆驾驶

驾驶者可利用该系统通过人眼的移动控制车辆的行驶方向,为残疾人群驾驶车辆提供可能;

  1. 探测和监控

将该系统组装在机器人上,用于在极端环境或者对人体有害的环境等条件下远程控制机器人探测目标;

  1. 消费电子领域

基于视觉信息的人机交互可应用于3D游戏和家庭影院;

  1. 军事领域

可应用于头盔显示器,在车辆、飞机驾驶员以及单兵作战时的命令传达、战场观察、地形查看、夜视系统显示、车辆和飞机的炮瞄系统等;

  1. 心理学科学研究

通过设置特定视频场景并实时获得眼球动作,一定程度上可获得测试者心理表现的信息,相应的技术结合脑电及心电的监测可以促进对人体系统信息反映及心里活动的研究;

  1. 实验平台

模块化设计,可作为高校课程实验和课外创新活动的平台,学生可以编写自己的算法实现不同的功能。

虽然我国在此领域的研究和开发工作已经开展,但是目前国内市场上尚无具有完全自主知识产权的同类产品。由于其在民用和军用方面的广泛和重要的应用,其经济效益十分可观。

Copyright © 2017-2020 微波EDA网 版权所有

网站地图

Top