视频多媒体手机之系统架构规划

目前电子产业的设计动能，无疑将很大的一部分集中在移动终端，尤其是手机的开发上头。就通信环境来说，移动通信系统持续朝向更高传输量及IP化发展，在应用上则带动了VoIP、email、简讯、Java Game甚至是VoD、Mobile TV等网路、广播服务的出现。这些应用型态，对于移动终端的设计都是新的挑战，本文将着重于探讨多媒体手机的开发及系统架构规划。

为了因应多媒体的表现，今日的手机必须在软硬件架构上进行必要的调整：首先是显示器，除了萤幕的尺寸愈来愈大外，为提升显示品质，在解析度上从qQVGA、QCIF，一路往QVGA升级；面板技术上则从CSTN、A-TFT、LTPS，逐渐升级到OLED；此外，MVA、IPS等宽视角技术也愈来愈受重视。

在多媒体的应用功能上，包括了视频（录影、视频节目等）、音频（语音、音乐、影音效果等）和图形（照片、游戏等），分别需要用到专门的处理技术，以及镜头、感测器、处理器、记忆体和显示器等硬件系统配备。以照相功能为例，手机相机除了诉求更高解析度、对动态摄影要求具有SDTV视频的捕捉能力外，光学伸缩镜头（Optical zoom）、手振校正功能及闪光灯都将是高阶手机的附加功能。

手机多媒体处理架构

随着多媒体任务愈来愈繁重，单单依赖基频已难以承受所有处理工作，因此应用处理器（application processor）的角色就因应而生。将应用处理功能从基频中分离出来，一方面可以分担彼此的工作，另一方面则可以视市场的需求而各自调整、升级个别的功能，例如基频可以专注于因应通信规格的变化，而支援GPRS/EDGE及WCDMA等多模功能。此外，系统业者也能依自己的需求来搭配这两个单元。

应用处理器在功能上的演进压力也很大，例如对照相功能得准备再升级到三百万，甚至是五百万画素，视频上也得进一步支援30ftp的VGA画质；在图形处理方面，它得嵌入2D/3D绘图引擎，以满足游戏的临场感；至于最新的应用需求则是支援要DVB-H、T-DMB或Media FLO等移动电视规格。

由于业者的技术背景不同，目前市场上应用处理器的架构作法也不尽相同，以处理器技术见长的厂商提出採用高效能的单一ARM核心来处理所有工作的架构；同时有更多人採用ARM加DSP的双核心架构，也就是将控制与讯号处理工作分流，由ARM的RISC核心主要进行控制工作，大量的讯号加、解码工作则交给DSP来执行。此外，有些专属性应用的处理工作非常消耗运算资源，这时，应用处理平台中会考虑加入专属的加速器来提升处理效能。

由于手机中的应用功能不断增加，因此，在应用处理平台中加入包括视频、音频、2D/3D绘图、PAN/WAN、安全和GPS定位等专属功能加速器的分散式处理架构，已成为多媒体手机的重要发展方向，请参考(图一)。此架构让系统能以更低的时脉频率达成复杂的多媒体工作，并能降低主处理器的负荷。以Nomadik平台为例，即是在ARM926EJ-S的主处理器核心外，搭配智能性视频加速器（Smart video accelerator）和智能音频加速器（Smart audio accelerator）、多媒体信号处理器（MMDSP）、加速功能硬件（Acceleration hardware）等多颗可程式智能加速器来分担在音频和视频上的前、后处理任务。



图一　分散式处理模式（以Nomadik为例）

在任务执行中，这些智能加速器在产生图像、录影、播放节目和双向影音通信时，能独立且同时的运作，进而让系统能在低耗电的条件下达成需求的应用功能表现，所提供处理动力和记忆体频宽，足以驱动1024x1024 pixels的萤幕；此外，这些复杂的加速器能独立地与区域DMA和记忆体资源一起工作，让主处理器能在同一时间中更专注于处理应用功能，或进入省电状态来延长电池寿命。

视频处理单元

在视频压缩技术方面，今日主要的格式包括MPEG-4、H.264、H.263和VC-1等。相较之下，MPEG-4问世的时间较久，市场上採用的情况也较高，但H.264由于是最新的标准，能提供当前最佳的视频压缩效能，并且已获得MPEG/lS0和ITU两大国际标准组织的支持，再加上它的适用范围极广，所以自2003年标准推出后，即成了HDTV、HD-DVD、手机及视频串流等业者非常重视的规格。

不过，不同的视频压缩格式，由于规格复杂度不同，需要的运算资源也不同；此外，编码（encode）又比解码（decode）耗用更大的运算资源。以MPEG-4为例，以软件来做解码或许还可行，但若要以软件来进行编码就会耗掉太多的系统运算资源。类似地，不同的显示器视频品质也意味着不同的运算需求，例如若要以单一处理器来提供30 fps的VGA画质视频，可能得用到GHz等级的处理器才跑得动，不过，这在手机的环境下显然是行不通的，因为此方案的耗电太惊人，散热也难以处理。

在此情况下，专属的视频加速器就是最可行的方案。在Nomadik应用平台中的视频加速器，能针对MPEG-4的编解码提供30 fps的CIF画质、24 fps的VGA画质和384Kbit/s的传输率，也具备图像前／后处理的能力，如(图二)。在视频的编、解码上，除了运算处理外，记忆体的容量与架构也是设计上的关键。举例来说，以CIF的显示器加上抓取缓冲（grab buffer）就需要1200 Kbyte以上才够。若能开发一套智能性的动作估计演算法（motion estimation algorithm），就能大幅降低记忆体大小和耗电性。

Nomadik以48 Kbyte的on-chip SRAM来支援VGA视频编码，它用在视频频框的抓取和搜寻视窗的储存，外部的记忆体则被用于其余视频功能的处理。此一作法降低了记忆处理的延遟，让效能可以大幅提升，同时也为改善了I/O和匯流排的设计，能进一步降低耗电；此外，在成本上也因晶片尺寸的缩小而降低。

此外，高品质、低复杂性演算法对于H.264的编解码也有很大的帮助，以ST来说，就已提出运动估算与速率控制演算法，以及用于H.264解码的错误检测与隐藏演算法，能让解码器承担并隐藏数据封包损失，在无线封包网路上实现IP网路的最佳效能。



图二　智能视频加速器