用于便携式多媒体SoC的视频处理方案

强烈的消费需求以及与便携式多媒体设备相关的技术进步向制造商提出了诸多挑战，即要求在更小、更便宜和通用性更强的产品中继承更多的功能和业务。为了理解如何设计出真正有价值的和满足这一市场需要的差异化产品，首先必须了解目前典型的多媒体设备所能够实现的各种技术：

1. 多媒体。多种视频、音频和图像编解码标准，如H.264、VC-1、MPEG-4、AAC、MP3、JPEG；

2. 无线。GSM或CDMA、WCDMA、TD-SCDMA、1xEV-DO、WiMAX；

3. 图形。包括用于游戏和高级图形用户界面的二维和三维图形；

4. 语音识别。几乎是市面上任何一台新手机中的标准配置功能；

5. 基于连结和定位的技术。比如包括天线、射频和基带处理在内的蓝牙，以及GPS、Wi-Fi、UWB、WiMAX等。

在为SoC设计视频引擎时，引擎必须支持许多不同的应用和标准，比如：

1. 采用H.264、MPEG-4、VC-1或MPEG-2标准的视频回放/记录(电影、剪辑、Podcasts等)；

2. 采用H.263(MPEG-4短报头)或H.264标准的视频会议；

3. 采用H.264或VC-1标准的移动电视。

更进一步，在与目前的便携式多媒体设备相关的各种视频标准中，还存在许多内容类型和文件格式。

1. 文件格式：3gp、m4v、mpg、avi等。

2. 内容类型：

a. 基于文件。当播放或记录存储在设备本地存储器中的剪辑和电影时使用；

b. 视频流。用于播放通过运营商网络传输的剪辑；

c. 广播。用于移动电视；

d. 交互。允许用户与多媒体内容进行交互。

为了在便携式多媒体SoC中支持上述所有的视频标准和内容类型，有三种可用的方案：硬件加速、视频协处理器和通用处理器(DSP/RISC)。

硬件加速--规模小且效率高

硬件加速只执行一个特定标准(通常是单个标准)的单一功能(编码或解码)，具有最高的效率和较少的门数。研发时，不同的SoC只有在功能完全相同时才能复用。例如，当加速器支持以VGA分辨率编码的MPEG-4简单格式时，需要大约15万个等效二输入与非门，而当加速器需要同时支持MPEG-4(简单格式)和分辨率为D1的H.264(基线格式)编码时，则需要完全重新设计，需要大约35万门。

图1给出一个SoC的推荐架构，其中包括了视频硬件加速器，用于音视频处理的DSP引擎，还有一个CPU用来实现音视频之间的同步，并执行其它的日常工作和系统任务。

图1：采用硬件加速器的系统架构示意图。

采用硬件加速器具有以下几个优点：

1. 规模。只执行固定的操作，不包括任何指令处理(存取、解码)，也没有程序存储器管理。因此门数较少。

2. 功率。由于门数较少、效率高，因此功耗较小。

3. 性能。这是一项效率非常高的实现方案，按执行时间计算该方案运行较快。

但是该方案也有如下一些缺点：

1. 只能处理视频。当采用硬件加速器时，多媒体中的音频和语音部分必须由SoC中的其它部分来处理(通常是CPU或DSP)；

2. 音视频之间的同步必须在CPU上进行。在CPU上实现同步增加了研发难度、集成难度和QA；

3. 功率耗散。当采用硬件加速器时，CPU通常执行算法的信息编码(如CAVLC)和后处理(如解锁滤波器)，这使得方案耗费的功率极大(在大约150MHz的载荷上，一个ARM11内核消耗的功率就高达120mW)；

4. 软件升级和缺陷修复。无法通过软件升级的方法来隔离或修复缺陷，这通常导致重新流片；

5. 新一代的产品。一个在SoC中执行特定任务的硬件加速器似乎不能满足下一代的需求；

6. 存储器。在SoC中，加速器专用存储器不易被其它元件访问，因此从成本和硅片面积的角度上来看效率较低。

一些硬件加速器能够支持多种标准的解码(如H.264基线格式和MPEG-4简单格式)。尽管这些加速器更有用，却丢掉了门数少这个主要优点。

视频协处理器--多标准视频引擎

视频协处理器以可编程的方式支持不同的视频标准，通常执行解码和编码处理。基于视频协处理器的架构规模通常比基于硬件加速器的规模要大(40~50万门用于视频协处理器)。但是，视频协处理器在支持多视频标准时有较大的应变能力。

对于视频协处理器来说，基本上有以下两种不同的模型：

1. 混合模型。由专用的CPU和附加的硬件模块一起构成视频协处理器，实现视频加速功能；

2. 专用视频核。一种多标准视频引擎。该方案比混合模型效率高，不过视频核(与前种模型不同)没有任何CPU的功能，因而只能进行视频处理。

图2是面向SoC的一个推荐架构，它包括一个执行编解码功能的视频处理器、一个用于音视频处理的DSP引擎和一个实现音视频间同步以及其它常见任务和系统任务的CPU。

图2：采用视频协处理器的系统架构示意图。