视频融合在遥操作机器人系统中的应用

伴随着科技发展、社会进步，人类对未知领域的探索不断深入，能够代替人类进行危险、恶劣环境作业的遥操作机器人技术越来越成为研究的热点。19世纪40年代，美国阿尔贡国立实验室ANL(Argonne National Laboratory)制造的用于核环境的Model-M1型机械式主从操作手可作为遥操作机器人的发端。20世纪60年代早期，美国与法国的海军开始在潜水艇上安装遥操作手和摄像机进行深水作业，将遥操作技术应用于海洋；70年代以后，研制出登陆火星的遥操作机器人；80年代末90年代初，以加拿大SPAR公司建造的20 m长的遥操作臂RMS(Remote Manipulator System)为代表出现了几种非常著名的空间遥操作系统。21世纪以来信息网络化的发展，促使研究者将网络和遥操作机器人技术相结合，为遥操作机器人技术带来了巨大变革[2-4]。当代数字图像信息作为最重要的信息之一被越来越广泛地使用，人们获取信息的70%来自视觉系统，也就是说在所有多媒体数据中，图像提供的信息量最多，将机器人恶劣环境的作业情况以图像的形式实时反馈给控制室，控制者通过图像获得更多的现场信息，这种遥操作机器人中的视频监控技术获得广泛的应用和研究[5-6]。采用进一步提高反馈视频预测精度的H.263压缩算法，目的就是以尽量少的bit数来表征图像，同时保持复原图像的质量，使图像在网络上传输延时在允许范围内，避免操作者因延时产生的误操作[7-9]。虽然选择适当的压缩算法，能够满足图像传输要求，可以减轻图像存储和传输的负担，但是在工业生产中需要机器人的精确作业(如焊接机器人焊接时焊缝必须精准无误)[10-11]。因此，控制命令如何在网络介质里实现快速传输、准确抵达、实时处理，检测机器人的作业精确度使机器人能对误操作及时做出调整的技术问题成为遥操作机器人领域新的挑战。

1 系统总体结构

针对以上情况，本文提出采用建立标准坐标系使仿真机器人和反馈视频在同一界面融合的方法，仿真模型预演作业任务而反馈视频则跟踪其轨迹进行作业，通过两者对比及时发现机器人作业情况，一旦越界违规立刻停止。操作者也能根据两者的比较了解现场环境，如出现障碍物或机器人伤人事件时，立刻做出下一步命令以避免危险发生。系统总体结构如图1所示。具体工作流程：摄像头采集真实机器人的视频数据传送到服务器端图像采集卡的静态内存中对其进行H.263压缩，视频数据压缩后经网络传输送到客户机端。客户机对数据进行解压、还原、显示、在仿真模型界面显示视频使两者融合，同时客户机实现操作界面程序编写。操作界面包括视频融合模块、视频处理模块和控制模块。视频融合模块对视频进行相应的坐标变换后使其同仿真机器人在一个界面上重合显示。视频处理模块包括视频放大、视频缩小、视频保存、打开视频、视频截图、存位图、存JPEG图、打开位图、打开JPEG图等功能。仿真三维立体模型采用3DSMAX建立，在OPENGL编程环境下对其进行相应的绘制及控制。反馈视频数据经压缩、传输、解压、相应的坐标变换及比例缩放后在客户端显示。服务器完成视频采集、压缩、存储、传输。客户机完成仿真模型控制、解压、显示视频，以及对视频进行相应的放大、缩小、截图、保存。由于网络传输存在延时，而且这种延时除了传输指定距离所需的固定延时及指令执行延时外，还有一些随机扰动延时，如果这种延时不能够及时发现，操作者根据视频反馈会做出错误判断。根据这种情况在客户端绘制接收数据字节曲线，可形象直观地观察到网络状况对视频传输的影响，如图2所示。





控制模块如图3所示，包括每个关节的启动、停止按钮、速度输出及速度变量输出显示。



2 仿真模型建立及视频融合实现

2.1 通信建立与视频传输

网络通信分为同步方式和异步方式。同步方式是发送方不等接收方响应，便接着发下一个数据包的通信方式；异步方式是发送方发出数据后，等收到接收方发回的响应，才发下一个数据包的通信方式。本系统开发的是客户端/服务器(C/S)结构的软件，该软件是异步非阻塞模式。此模式的优点是既可以同步执行，也可以重叠执行。图像在网络中传输时，不可避免地要牵涉到传输协议的问题。TCP/IP是一组协议，其中底层的协议TCP和UDP对于图像的传输起着至关重要的作用。TCP是面向连接的，即在端与端的通信中，TCP协议建立一条端与端之间的虚电路。UDP是一种面向无连接的，它取消了重传校验机制，能够达到很高的通信效率，很适合于可靠性要求不高的数据传输。由于本机器人系统对视频的丢帧情况要求不高，故采用客户/服务器模式的UDP协议方式。视频传输采用UDP传输，建立Socket类直接传输图像数据，客户端调用自写show函数在OPENGL编程环境下绘制反馈视频，实现视频再现。系统中，使用MFC来开发通信程序及操作界面。这是因为MFC主要是基于窗口和文档的应用软件编程，它集成了大量的数据和方法，将许多烦琐的任务，如应用程序初始化、文档处理和磁盘I/O封装起来，为使用者的编程带来了巨大的方便。