基于多DSP和FPGA的实时双模视频跟踪装置

1、引言

随着现代高速处理器的迅猛发展，图像处理技术也日益成熟。其中，移动目标的视频检测与跟踪是图像处理、分析应用的一个重要领域，是当前相关领域的研究前沿。移动目标视频检测与跟踪技术，在机器人视觉、交通监测、可视预警、机器导航等民用领域有着广泛的应用，同时在火力拦截、导弹电视和红外视频制导等军用方面也发挥着重要作用。基于二维转台以DSP和FPGA为核心器件构成的视频识别和跟踪装置，可工作于电视图像或红外两个波段，实现图像跟踪各项功能。本文提出的跟踪算法与设计的跟踪装置可在一定程度上解决视频跟踪精度低、处理速度慢的问题，同时本视频跟踪装置也可作为进一步研究图像处理与跟踪控制的平台。

2、视频跟踪装置的硬件设计

图像处理最主要的是实时性、可靠性和精确度。针对图像处理速度慢的问题，考虑从硬件和和软件两方面解决：一是选择高速的DSP和FPGA为核心器件；二是从平衡图像处理的实时性和效果中选择最优的图像处理算法。针对图像跟踪可靠性问题，采用双模式复合制导，由处理器根据信号的置信度来选择跟踪模式。针对图像形心跟踪算法的精度问题，采取基于去图像阴影的图像跟踪算法。

2.1 视频跟踪装置的图像信号处理模块硬件组成

为达到实时处理图像信号信息，我们选择3片高速DSP作为核心处理器。其中用作信息融合的是TMS320C6416，在跟踪模块中，使用了两片相对价格低廉一些的TMS320C6201实现并行图像跟踪算法。配合DSP工作的外围逻辑电路，我们采用xlinix公司的XCV400E型FPGA，同时实现部分的图像预处理功能。



2.2视频跟踪装置运动控制模块的硬件组成

运动控制模块硬件由GPT转台构成。GPT系列转台为模拟火炮或雷达跟踪系统的旋转运动系统，它包含电控箱、两维数控转台本体及运动控制器三大部分。转台本体主要由机械结构件（含PAN和TILT）、驱动用交流伺服电机（两套）、谐波减速器、斜齿轮、限位开关等部分组成。电控箱内安装有交流伺服驱动器、I/O接口板、开关电源、开关、指示灯和电气元件等主要部件。运动控制器主要由GT-400-SV运动控制卡、GM-400-SV运动控制卡用户接口软件等部分组成。作为机电控制系统的核心组成部分，GPT转台可用作监控设备的基础运动平台，又可作为研制火箭、导弹、鱼雷和卫星等高科技尖端武器的仿真和试验平台。该系统可实现：定位精度：±0.0069°；重复精度：±0.00056°；速度：0.01～90°/sec；加速度：90°/sec2；行程：Pan方向为±176°；Tilt方向为-15°～+50°；负载：30kg。

3、视频跟踪装置算法的分析



按照处理顺序，我们将整个过程分解为图2所示。图像采集模块：对视频图像进行A/D转换，形成原始的256级灰度图像，作为待处理的图像信息。背景差分模块：重建背景，并完成与当前帧的差分。在背景重建时采用基于最小二乘法的时域递推公式来完成，这个方法只需要一帧图像的存储，而且可以用递推实现。去噪声模块:做应用邻域平均法实现图像平滑滤波，以及采用颜色滤波法去除阴影等工作。以上算法都是针对FPGA的特点提出的，将FPGA设计成专用运算器并实现算法。

形心跟踪模块和相关跟踪模块分别使用的形心投影方法和二维最小绝对差累加和算法计算目标的位置，融合决策模块实现置信度选择，同时对目标信号进行拟合和轨迹外推，实现目标在偶然丢失下的预测跟踪，以及深度丢失下的跟踪状态转换和搜索状态下控制二维转台对视场的慢速扫搜。这部分针对DSP的特点，采用C语言编程实现。

3.1主要算法特点分析

（1）背景差分法算法

背景差分是利用当前图像与背景图像差分来检测出运动区域的一种技术，一般能提供最完全的特征数据，但对于动态场景的变化，如光照等事件的干扰特别敏感。考虑到摄像机移动缓慢，背景图像变化比较迟缓，而运动对象相对于背景变化较快，这样相对于变化较慢的背景图像来说，可把运动对象看作是一个对背景图像的随机扰动。针对本装置的设计要求，我们应用Kalman滤波器在零均值白噪声的退化公式即渐消记忆递归最小二乘法，来更新和重建背景图像，得到时域渐消递归最小二乘法的递归式：



（2）颜色滤波去阴影算法

如果图像中具有运动阴影和分割碎块，分割所得的图像往往与实际目标不符，产生欠分割或过分割的现象。由于阴影象素的灰度值在一个局部领域中变化不是很大，所以颜色滤波主要是构造一个包含阴影的模板，再用这个模板与差分结果做逻辑与的操作，从而检出阴影。本算法比较简单，执行速度快，处理中不需要区分阴影和半阴影，而且可以将移动阴影和背景中的阴影都检出来，只是模板中的参数要根据现实情况和经验来定。由于静止物体的阴影也是不动的，所以静止目标可以归入背景中。由公式（2）可检测出动目标。



（3）形心跟踪算法

形心跟踪是将整个跟踪波门内的图像二值化，用求目标形心的办法获得目标位置参量。由于形心值是相对于目标面积归一化的值，因此形心值不受目标面积、形状以及灰度分布细节的限制。同时，形心跟踪的计算颇为简便。但是，形心跟踪器受目标的剧烈运动或目标被遮挡的影响较为严重，瞄准点漂移是远距离跟踪系统的主要误差之一。这也是我们采用目标轨迹拟合算法来外推运动目标位置，并与相关跟踪法并行工作的原因。由于形心算法比较普及，本跟踪装置直接采用了改进的形心跟踪算法，用目标峰值自适应检测算法使系统的计算可靠性和实时性达到最佳结合值。

（4）相关跟踪算法

相关跟踪是对目标图像和输入图像进行相关运算，通过对搜索区域每次运算结果进行处理获取相关峰值，从而确定目标在输入图像的位置。在图像目标背景比较复杂以及背景与目标无明显灰度差的场合，相关跟踪具有较好的抗干扰能力，可以应付一定的形变和灰度畸变，能对复杂场景中的指定目标进行稳定跟踪，并对目标交叉遮挡有较好的记忆效果，因此我们采用基于二维最小绝对差累加和算法的相关匹配算法进行图像特征识别，相似性度量为：



（5）双模式组合算法



如表1所示，由于形心跟踪和相关跟踪各有优缺点，具有较大的互补性

。采用形心跟踪算法的DSP和相关匹配跟踪算法的DSP同时工作，按照各自的图像分割方法分割出目标和背景，抽取目标的特征，输出目标的跟踪信息。最后在主控的TMS320c6416进行检查，把相关匹配跟踪模式中采用相关峰值的相关度函数构造的目标位置置信度和形心跟踪模式的置信度进行置信度判决，从而决定选择跟踪控制信号，同时对不适当的跟踪模块进行重新装定。

（6）目标暂时丢失下目标轨迹外推算法

在跟踪目标的过程中，目标在视场中可能会被短时遮挡而丢失；另外当目标在视场中停留，则目标可能融入背景，也会出现目标丢失的现象。针对这两种情况，当目标短时遮挡，根据存储记忆以前各帧和本帧的目标信息，采用微分线性拟合外推方法预测下一时刻目标的位置。而当目标在视场停留时，首先按目标被遮挡处理，当外推有限步，或是外推到接近边界时目标仍未出现时，则确定该目标在视场停留，标记停留位置，当目标再次出现时继续完成跟踪。