基于关键帧提取技术的网络视频监控系统

出，按协议进行对包的卸载，提取出ASF文件，再将ASF文件按序列传输到下一处理单元进行视频解码，并提取出关键郑

2.网络视频关键帧提取

视频数据是分层结构，结构粒度从上到下逐渐减小。最顶层是粒度最大的视频，即一段视频流。最底层是粒度最小的帧，即单个的视频帧图像，对帧图像的处理可以采用图像特征提取技术，提取诸如颜色、纹理、形状等静态特征或空间运动的动态特征。镜头是一组时间上连续的帧序列，它代表一个场景中在时间上和空间上连续的动作，对应着摄像机的一次记录起停操作，也称为剪裁或拍摄。镜头是视频数据的最小单元，视频检索的结果就是获得符合条件的若干镜头。场景是一组语义上相关联及在时间上相邻的镜头的集合。

图3 视频层次结构示意图

关键帧是反映一组镜头中主要信息内容的一帧或若干帧图像，可以简洁地表达镜头内容。因为每个镜头都是在同一场景下拍摄的，同一个镜头中的各帧图像有相当大的重复信息。考虑到存储容量和处理效率的因素，仅需要存储镜头关键帧，可达到降低系统存储容量和减少处理器冗余工作的效果。其次，从关键帧的匹配效率考虑，用关键帧来代表镜头，作用类似于入侵检测系统中的匹配规则，这样对网络视频流可用图像匹配技术进行处理。

针对关键帧的特点，选取时有两个基本要求:第一，所选帧必须能够反映镜头中的主要事件，描述应尽可能准确完全，所以一般采用保守原则，宁可错选，也不能少提取;第二，为了减少系统存储设备，提高处理数据包的效率，数据处理量应尽量小，计算不宜过于复杂，因此关键帧的抽取应尽量少而精确。

早期的提取关键帧的尝试主要是采用颜色特征。一个简单的提取关键帧的想法是选择镜头片段的第一帧作为关键帧。当然这样提取的关键帧是很不准确的。在基于镜头的方法中，比较经典的有帧平均法和直方图平均法。帧平均法是从镜头中取所有帧在某个位置上像素值的平均值，然后将镜头中该点位置的像素值最接近平均值的帧作为关键帧。直方图平均法则是将镜头中所有帧的统计直方图取平均，然后选择与该平均直方图最接近的帧作为关键帧。这些方法的优点是计算比较简单，所选取的帧具有平均代表意义。缺点是只从一个镜头中选取一个关键帧，无法处理运动强度较高的镜头。一般说来，从镜头中选取一帧或固定数目的关键帧的方法并不是很好，因为当处理变化很少的镜头时，这样选取的关键帧过多，而对于运动较多的镜头，用一两个关键帧又无法充分描述其内容。所以有人提出了基于内容分析的方法。

综合前人的研究成果，我们在本系统采用渐变控制的方法。首先选取每个镜头的第一帧作为关键帧，同时作为其他候选关键帧的参考帧，将后续每帧和参考帧比较，当其差别大于预定的阀值时，即将当前帧作为新的关键帧，同时将此帧作为新的参考帧。

3. 视频关键帧匹配

常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征等。

颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。

颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。颜色直方图简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。

纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。

通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。形状的表达和匹配采用更为简单的区域特征描述方法，例如采用有关形状定量测度(如矩、面积、周长