小波变换在IPTV编码中的应用

一、引言

　　IPTV业务主要用来为电视机、手机和电脑等终端提供电视节目直播（LTV）、视频点播业务（VoD）、准视频点播（NVoD）、时移电视点播（TSTV）以及视频即时通信等服务，这些服务都涉及到大量的图像与视频数据，这些数据在传输时需要相当大的带宽，而且需要相当高的QoS保证。因此，在通过网络扩容来不断增加带宽和采用各种网络技术来节约带宽的同时，如何通过编码技术将原始图像和视频在传输前进行有效压缩也成为了人们所关注的焦点。

　　研究表明，图像和视频数据都是高度相关的，一幅图像的内部以及视频序列中的相邻图像之间存在着大量的冗余信息。比如一张教室的照片，图像的某些区域可能是一均匀着色墙或规则显示的窗等，因此存在着大量的空间冗余信息；再比如一段办公室内的视频，桌、椅、电脑等办公用品基本上是不移动的，各帧的图像之间差别很小，因此存在着大量的时间冗余信息。为了达到较高的压缩比，在保持重建的图像和视频质量可以接受的同时，尽量去除这些空间和时间冗余信息，就可以节省大量的传输带宽。实际上，除了空间和时间冗余信息之外，还存在着熵、结构、知识、视觉等各方面的冗余信息。图像和视频编码的目的就是要尽可能地消除这些冗余信息，达到降低图像和视频传输带宽需求的目的。

　　图像和视频编码的种类很多，基本的方法包括脉冲调制、矢量量化、时空子抽样编码、子带编码、熵编码、预测编码、变换编码等，JPEG2000、MPEG-2、MPEG-4、VC-1等图像和视频编码标准中都使用了上面所提到的这些编码方法中的几种。近些年来，模式识别、计算机图形学、计算机视觉、神经网络、小波分析、分形几何等基础理论研究与发展非常迅速，同时随着人类的视觉生理和心理特性的研究成果也相继问世，各种新型的图像和视频编码技术也相继问世，小波编码就是其中的一种。

二、IPTV业务编码需求

　　与以往其他业务相比，IPTV业务具有比较鲜明的特征，包括高带宽需求、高QoS保证需求、点对多点的广播流需求、大量的系统资源需求、巨大的并发服务/业务数需求等。IPTV的业务属性如图1所示。


图1 IPTV业务属性

　　1.高带宽需求

　　IPTV业务涉及大量的图像和视频数据，在传输这些数据时往往需要占用大量的带宽资源，而且IPTV的用户将会比以往任何时候都要多得多。因此，IPTV业务对带宽的需求尤其强烈。

　　2.高QoS保证需求

　　IPTV业务主要是流媒体业务，包括电视节目直播（LTV）、视频点播业务（VoD）、准视频点播（NVoD）、时移电视点播（TSTV）以及视频即时通信等服务，而相当小的时间间隙就能够为人眼所感知。因此，这些服务都需要相当高的实时性保证。另外，如果输出的图像和视频过于粗糙，也直接影响到用户的感受。

　　3.点对多点的广播流需求

　　在IPTV业务中，电视节目直播（LTV）、视频点播业务（VoD）、准视频点播（NVoD）、时移电视点播（TSTV）等服务都需要支持从广播源到用户终端的流传输。由于这些服务往往在同一时刻同时有许多用户需要相同的数据，因此需要提供点对多点的广播流。

　　4.大量的系统资源需求

　　图像和视频数据的文件往往都非常大，而且处理起来非常繁琐，因此不仅存储时需要大量的存储空间，而且编解码时还需要大量的交换空间。

　　5.巨大的并发服务/业务数需求

　　电视机的用户数本来就已经非常巨大，并发用户数多本来就是电视业务的特点，加上计算机和手机终端的用户后，这一特点尤其明显。

　　IPTV业务的上述特点要求IPTV节目的编码必须能够提供尽可能大的压缩比，编解码速度要尽可能快，解码后输出的图像和视频质量尽量与原图像和视频相近。小波变换在这些方面的表现都很出色，因此非常适用于IPTV的图像和视频编码。

三、小波变换在IPTV编码中的应用

　　鉴于小波变换具有诸多的优点，因此也就成为了IPTV编码领域所热捧的对象。但是这种方法实现起来比较复杂，占用资源比较严重，所以只有少数编码标准提供了小波变换编码方式。MPEG-4就是其中的支持者之一。

　　MPEG-4标准的编码中使用了离散小波变换方法，这也是MPEG-4的特色之一。但由于它还存在需要持续的占用很大内存空间的问题，同时考虑到DCT已经在运动补偿视频编码方面取得了非常好的效果，因此，MPEG-4只是在进行纹理编码时采用了离散小波变换，其中的应用包括矩形纹理对象编码（例如整个图像框架）、任意形状纹理区域编码和映射到二维或三维网状对象上的纹理编码等。

　　在进行小波编码压缩过程中，为了能得到比较好的效果，必须选择合适的小波进行变换。同时，在对图像进行多级小波变换后，变换系数在同一子带内的不同分辨率间存在一种树状结构的关系，如果能够合理地应用这种关系还可以大大的提高压缩效率。目前比较好的一种方法就是零树小波（Zero-treeWavelet）编码压缩算法，这是最先由Shapiro提出的一种针对小波的树状结构进行压缩的嵌入式编码方法。在编码过程中，把小波系数分为重要系数及非重要系数，同时应用逐次逼近量化的方法为重要系数提供了一种紧凑的多重精度表示。MPEG-4标准中的纹理编码就是采用了这种方法。

图2 小波静态纹理编码器的基本结构

　　MPEG-4标准中的静态纹理编码器的基本结构如图2所示。将一个二维小波变换应用到纹理对象中，产生一个低频子带和许多高频子带，将低频子带量化、预测编码（使用了一种差分脉冲编码调制的方式）并使用算法编码器进行熵编码；高频子带量化后进行重新扫描、零树编码和熵编码。

　　在进行高频子带处理时，可以采用树状或逐带两种方式进行重新扫描。树状扫描如图3(a)所示。在利用这种方法扫描时，最低子带的系数最先编码，然后逐渐对更高子带进行编码。这种编码方法可以使EZW（EmbeddedZero-treeWavelet，嵌入式零树小波）编码能够充分利用上下级系数之间的相关性。逐带扫描就是逐个子带进行扫描，如图3（b）所示。在利用这种方法扫描时，首先对第一个子带中的所有系数进行编码，然后对下一个子带所有系数进行编码，如此下去。这种编码方法的优点是支持空间扩展形式，缺点是编码效率往往较低。


　　在进行低频子带处理时，使用差分脉冲编码调制（DPCM）进行编码，每个系数都使用相邻和前面已经编码的系数进行空间预测。高频子带使用基于嵌入式零树小波编码，每个树（或每个子带）都从第一个系数开始编码。

　　上述方法是在进行基本静态纹理图像出历史所采用的。在高级可变纹理编码时，MPEG-4首先将图像分割成几个互不重叠的子图像，然后利用上述方法分别进行编码，这样就可以使用DWT处理任意形状的纹理对象了。