视音频、流媒体、图像编码标准综述

一 视频编码综述

1. MPEG标准的发展

MPEG是Moving Pictures Experts Group（动态图像专家组）的缩写。是一个致力于数字视频、音频技术发展及标准化的杰出组织，它是ISO（International Standard Organization）与IEC（International Electronic Committee）在1988年联合成立的，正规的组织代号是ISO/IEC JTCI/SC29/WG11，成员专家来自于不同国家的最有业界影响力的研发机构。

在十多年的时间里，MPEG组织取得了丰硕的成果，自身也有了很大的发展。1992年11月，MPEG-1被批准，并于1993年被ISO组织接纳为国际标准；1994年11月，MPEG-2标准发布，并在1995年成为国际标准；MPEG-4标准则于1999年和2001年分别有了版本1和版本2；目前，H.264/MPEG-4 AVC（即 ISO MPEG-4 Part 10）正在制定之中。

2. ISO MPEG-1 标准

MPEG-1 制定于1992年，为工业级标准而设计，编号为ISO/IEC 11172。MPEG-1针对CIF标准分辨率（NTSC制为352×240；PAL制为352×288）的图像进行压缩，并在标准中规定了视音频信息经过压缩后的数据码率最大为1.5Mbps。MPEG-1可实现在不同带宽的设备，如CD-ROM、Video-CD等数字媒体上进行存储，也可以在局域网、ISDN网上进行视音频信息的传输。

3. ISO MPEG-2 标准

MPEG组织在1994年推出了MPEG-2压缩标准，并在1995年成为国际标准，编号为ISO/IEC13818。MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率可达100Mbps。MPEG-2不是MPEG-1的简单升级，它在系统和传送方面作了更加详细的规定和进一步的完善。MPEG-2特别适用于广播级的数字电视的编码和传送，被认定为SDTV和HDTV的编码标准。

(1)MPEG-2标准的构成

MPEG-2标准目前分为9个部分，各部分的内容描述如下：

1) 第一部分－ISO/IEC13818-1，System：系统，描述多个视频，音频和数据基本码流合成传输码流和节目码流的方式。

2) 第二部分－ISO/IEC13818-2，Video：视频，描述视频编码方法。

3) 第三部分－ISO/IEC13818-3，Audio：音频，描述与MPEG-1音频标准反向兼容的音频编码方法。

4) 第四部分－ISO/IEC13818-4，Compliance：符合测试，描述测试一个编码码流是否符合MPEG-2码流的方法。

5) 第五部分－ISO/IEC13818-5，Software：软件，描述了MPEG-2标准的第一、二、三部分的软件实现方法。

6) 第六部分－ISO/IEC13818-6，DSM-CC：数字存储媒体-命令与控制，描述交互式多媒体网络中服务器与用户间的会话信令集。

以上六个部分均已获得通过，成为正式的国际标准，并在数字电视等领域中得到了广泛的实际应用。此外，MPEG-2标准还有三个部分：第七部分规定与MPEG-1音频非反向兼容的多通道音频编码；第八部分现已停止；第九部分规定了传送码流的实时接口。

(2)MPEG-2编解码原理

MPEG-2视频压缩的原理是利用了图像中的两种特性：空间相关性和时间相关性。这两种相关性使得图像中存在大量的冗余信息。为了能够有效的去除图像中的冗余信息，MPEG-2标准中将编码图像被分为三类，分别称为I帧，P帧和B帧。I帧图像采用帧内编码方式。P帧和B帧图像采用帧间编码方式。P帧图像只采用前向时间预测，B帧图像采用双向时间预测，可以大大提高压缩倍数。

MPEG-2的编码码流分为六个层次，从上至下依次为：视频序列层（Sequence），图像组层（GOP：Group of Picture），图像层（Picture），像条层（Slice），宏块层（MacroBlock）和像块层（Block）。

在帧内编码的情况下，编码图像仅经过DCT，量化器和比特流编码器即生成编码比特流。在帧间编码的情况下，原始图像首先与帧存储器中的预测图像进行比较，计算出运动矢量，由此运动矢量和参考帧生成原始图像的预测图像。而后，将原始图像与预测像素差值所生成的差分图像数据进行DCT变换，再经过量化器和比特流编码器生成输出的编码比特流。

(3)MPEG-2中的Profile@Level

现有MPEG-2视频标准的技术规范集包括5类（Profile）4级（Level）组成，并采用分级编码。类和集的若干组合构成MPEG-2标准在某种特定应用下的子集。

级（Level）是指MPEG-2的输入格式，标识从有限清晰度的VHS 质量图像到HDTV图像，每一种输入格式编码后都有一个相应的范围。共分4级：

1) 低级LL(Low Level)，图像输入格式的像素是ITU-R Rec.BT 601格式的1/4，即352×240×30或352×288×25。

2) 主级ML(Main Level)，图像输入格式符合ITU-R Rec.BT 601格式，即720×480×30或720×576×25。

3) 1440高级H14L（High 1440 Level），图像宽高比为4∶3，采用1440×1080×30的高清晰度格式。

4) 高级HL（High Level），图像宽高比为16∶9，采用1920×1080×30的高清晰度格式。

类（Profile）是指MPEG-2的不同处理方法，每一类都包括压缩和处理方法的一个集合，较高的类意味着采用较多的编码工具集，进行更精细的处理，达到更好的图像质量，同时实现的代价也更大。共分5类：

1) 简单类SP（Simple Profile），使用最少的编码工具集。

2) 主类MP（Main Profile），它比简单类增加了一种双向预测方法，在相同比特率的情况下，将给出比简单类更好的图像。

3) 信噪比可分级类SNRP（SNR Scaleable Profile）和空域可分级类SPP（Spatially Scaleable Profile），这两种类允许将编码的视频数据分为基本层和附加层，提供了一种多种广播的方式。

4) 高级类HP（High Profile），应用于图像质量、比特率要求更高的场合。

(4)MPEG-2的特点及应用

MPEG-2具有以下几个突出特点：①支持的图像分辨率最高，包括符合ITU-RRec.601（CCIR601）格式的标准分辨率的数字电视和更高分辨率的HDTV。②支持包括高速体育运动在内的各种活动图像。③支持的应用最为广泛，既包括存储媒体中的DVD，广播电视中的数字广播电视和HDTV，还可应用于交互式的视频点播（VOD）和准视频点播（NVOD）。④还能够适配ATM等宽带通信网。

4. ISO MPEG-4标准

MPEG-4于1998年10月定案，在1999年1月成为一个国际性标准，随后为扩展用途又进行了第二版的开发，于2001年有了其第二个版本。MPEG-4的国际标准编号为ISO/IEC14496。MPEG-4的特点是其更适于交互AV服务以及远程监控，是一个有交互性的动态图像标准。

(1)MPEG-4标准的构成

1) 多媒体传送整体框架（DMIF）：主要解决交互网络中、广播环境下以及磁盘应用中多媒体应用的操作问题。通过DMIF，MPEG-4可以建立起具有特殊品质服务（QoS）的信道和面向每个基本流的带宽。

2) 数据平面：MPEG-4中的数据平面可以分为传输关系和媒体关系两部分，并引用了对象描述（OD）和流图桌面（SMT）的概念，使基本流和AV对象在同一场景中出现。

3) 缓冲区管理和实时识别：MPEG-4定义了一个系统解码模式（SDM），该解码模式描述了一种理想的处理比特流句法语义的解码装置，它要求特殊的缓冲区和实时模式。通过有效地管理，可以更好地利用有限的缓冲区空间。

4) 视频编码：MPEG-4支持对自然和合成的视觉对象的编码，合成的视觉对象包括2D、3D动画和人面部表情动画等。