分布式多视角目标跟踪算法在OMAP3平台上的实现与优化

摘要：本设计在最新的TI OMAP3平台上实现分布式多视角目标跟踪算法。系统由多个摄像头及相应的处理部分组成，各个摄像头分别独立地采集图像数据并进行跟踪。本设计构造了分布式目标跟踪软件框架和网络传输协议，在各摄像头的跟踪算法中采用了最大似然估计、序列蒙特卡洛方法以及基于卡尔曼外观滤波的模版更新匹配等最新算法，同时对各摄像头算法进行优化以保证实时性。

关键词：分布式多视角跟踪算法;OMAP3530;SoC1.

　　引言

本系统主要针对多个视角视频数据中目标的跟踪。多视角目标跟踪，可以利用空间上多个摄像头之间目标信息的交互，来有效提高跟踪精度，解决单摄像头系统难以解决的问题。本系统采用的算法[1-5]为复旦大学电子工程系数字信号处理与传输实验室多年积累的最新研究结果，其中很多成果已发表于国内外权威杂志。

　　2.系统架构

2.1　系统简介

本设计在TI最新的OMAP35x EVM平台上实现了实时鲁棒的多视角目标跟踪系统。OMAP3530处理器包含一个720MHz主频的ARM Cortex-A8处理器核和一个520 MHz的C64x+DSP核，为视频跟踪算法提供了强大的运算能力。OMAP开发板上含有多种视频输入和输出接口，能满足各种视屏输入和输出的需求;还含有10M/100M以太网口，能满足分布式系统的视频数据传输需求。

硬件系统的实现框架如图1所示。图中显示了系统各部分的连接关系。三块OMAP3530开发板是系统算法实现的核心，它们分别从三路摄像头接收数据，然后处理数据，再显示在显示器上。三块开发板通过100M以太网构成分布式系统，从而可以交换三个摄像头之间的数据，使得跟踪过程具有更高的精确度和鲁棒性。系统具有如下的特点：

⒈系统目前具有三个摄像头，可以很方便地扩展为更多摄像头;

⒉分布式处理系统：系统中每个摄像头可对目标进行独立跟踪;在任何摄像头关闭或发生意外后，其他摄像头继续跟踪;该摄像头的程序重启后，能恢复跟踪;

⒊可对目标信息进行高效融合：采用高效序列蒙特卡洛的数据融合方式来提高跟踪精度;

⒋能有效抵抗遮挡：多个摄像头中，可以利用信息交互，有效纠正摄像头的遮挡。

2.2　软件分工及流程

本设计中，OMAP3530的ARM核运行基于Linux操作系统的应用程序，主要负责视频采集、视频预处理、视频输出和网络数据交换等功能，并将预处理后的视频数据通过共享内存传送给DSP进行处理。DSP核上运行DSP/BIOS实时操作系统和整个跟踪算法的大部分内容。所有算法的接口都符合TI xDAIS标准，由Codec Engine调用。ARM核和DSP核的通信由TI提供的Codec Engine软件框架负责。DSP上的跟踪算法主流程如图2所示，分为三个主要阶段：数据融合，精确模板匹配和模板更新。为了提高系统并行性，DSP在处理第n帧视频的时候，ARM正好显示第n-1帧视频并采集n+1帧视频。

　　3.算法解析

本系统采用“一种基于最大似然的分布式多视角目标跟踪算法”[1-5]，是复旦大学信息学院数字信号处理与传输实验室的最新研究成果，本系统在已有跟踪算法的基础上进行移植和优化裁减，通过序列蒙特卡洛方法[7-8]来具体实现数据融合，比较好地解决了视频跟踪中常见难题比如遮挡等，取得了较好跟踪效果。本系统算法具有如下特点：

⒈采用鲁棒的结构相似度作为匹配程度的度量;

⒉基于最大似然多视角信息融合及遮挡处理;

⒊序列蒙特卡洛方法(粒子滤波);

⒋分布式跟踪系统;

⒌动态模板更新：抑制漂移的带掩蔽卡尔曼外观滤波算法。

3.1　视角内模板匹配

本文中单个视角内基本跟踪算法是一种基于模板匹配(Template Matching, TM)技术的跟踪算法，即在手工选定或自动选定了待跟踪目标后，提取目标的外观信息作为模板，在后续的视频序列中，将候选图像区域与目标模板进行匹配，找到最相似的图像区域，作为目标的位置所在。本文中采用结构相似度指数[6](SSIM)作为模板匹配的指标。SSIM是对于两幅图像之间差异的客观描述，它考虑了很多人类视觉系统的特性。人类视觉系统在提取场景中的结构信息上比较敏感，考虑到这一点，结构相似指数就是基于结构信息的退化性。

3.2　基于粒子滤波的视角间信息交互

本系统中采用具有分布式特点的多视角目标跟踪算法。该算法首先对多视角目标跟踪进行建模，将各摄像机视野中目标位置的估计转化为基于最大似然准则的估计问题，并将似然函数分解成本地似然函数和远程似然函数乘积的形式。每台摄像机节点首先需要利用本地图像数据计算出本地似然函数，再借助于消息传递机制计算出远程似然函数，最后对两者进行数据融合，无须预先进行遮挡检测，即可完成每台摄像机对目标的准确跟踪