视频多媒体手机之系统架构规划

音频处理单元

手机的基本功能，即在处理语音的通话音频。但在多媒体手机中，音频的处理任务愈来愈复杂，除了语音外，还要求具备多音调振铃、MP3音乐、FM广播及游戏音效，而且不能只是单声道的效果，现在还要求能提供Hi-Fi立体声的临场感体验。

从单声道到立体声，对手机音频系统的设计是一种改革性的挑战。一般而言，Hi-Fi是指16-bit立体声品质、以44.1kHz取样的音频，也就是CD音乐的规格；电话语音则是8-bit和8kHz的单声道（mono）、低阶品质音频。过去这两个世界是井水不犯河水的，但今日在手机上得一併考虑设计才行了。

在音频编解码（CODEC）上，也有琳瑯满的规格需要支援：针对音效的编码就有PCM、ADPCM、DM、PWM、WMA、OGG、AMR、ACC、MP3Pro以及MP3等；针对人类语音有LPC、CELP与ACELP等；其他还有MPEG-2、MPEG-4、H.264、VC-1等视听节目的编码格式。手机多媒体格式的市场趋势请参考(图三)。



图三　手机多媒体格式的应用市场趋势

在Nomadik中具有一个音频加速器，它是一个完全以C语言加以程式化的多媒体DSP（MMDSP）核心，此核心採用採用超长指令集（very-long-instruction-word, VLIW）架构，它的每个指令执行为一个循环，而且完全是由C语言撰写的程式，适用于与媒体内容相关的处理，以及协定、负载平衡和多工架构等用途。此一音频加速器能够对包括AAC、MP3、MPEG-1、MPEG-2、MIDI、Dolby Digital等广泛的数字音频格式进行加码或解码，也支援SRS、WOW等3D音频环绕效果，如(图四)。



图四　智能音频加速器

硬件加速器

为了要进一步降低耗电，有必要将硬件线路运算器（hardwired operator）和MMDSP一起使用，这样能保证即使在最糟的状况下还有足够的效能表现。低频率的硬件负责处理动作估计（motion estimation）、编码转换（transform coding）、变数长度解码（variable length decoding）、图像过滤（image filtering）和色彩转换（color conversion）等需要大量MIPS计算的工作。

软件架构剖析

吸引人、负担得起和互动性的多媒体通信、资讯和娱乐将新的移动服务中处处可见。但对软件厂商和设备制造商来说，如果每次都要针对不同的无线平台重新撰写同样的应用功能，自然是让人很气馁的经验。Java这类run-time技术能支援下载游戏和应用，但需要有足够程式资源。有趣的多媒体应用需要愈来愈多的资源和耗电，这对于体积小的手机设备是很大的挑战。

要克服这些问题的一个务实方式，是採用开放多媒体介面的一般性架构，而且是基于抽象硬件介面（hardware abstraction）的作法。在这个架构同时提供上层和下层的观点，上层的观点提供应用程式撰写者一套针对特定作业系统的统一软体介面，并对底层的处理器设计加以抽象化。

在底层的部分包括多媒体加速器和影音编解码器，UART、USB及蓝芽等通信介面，以及LCD控制器、影像感测器或照相机等一般性应用週边的标准硬件介面；在中间的部分为涵盖核心、设备驱动程式和档案系统的作业系统功能，以及多媒体架构、语音及网路的通信架构、Java和安全性架构等等；上层的部分则是各种应用功能，例如语音、游戏、短信、浏览、PIM等等功能。这三层之间则透过底层API及高层API来进行沟通，请参考(图五)。



图五　软件架构示意图

结论

目前移动终端设备的应用性不断地延伸，其中最主要的趋势自然是从单纯语音走向消费性娱乐的多媒体应用功能。单以视频应用来说，就包括摄影（camcorder）、媒体播放（media player）、移动电视、视频电话（video telephony）等等，要提供这些应用功能，今日的手机除了需要提升镜头、感测器、处理器、记忆体和显示器等硬件系统配备外，开发者还得面临不少设计挑战。

先进的多媒体应用平台要能支援多重的视频及音频格式，以提供丰富的影音应用功能；要支援更高的解析度和传输、处理速度，以提升用户的视听感受经验；在应用处理负荷增加下，仍能保持或延长电池的使用寿命。要克服这些挑战，在设计上有必要採取更先进的软、硬技术与系统架构。

本文中针对多媒体手机的系统需求提出了分散式处理的加速器架构，它能有效地降低系统的负荷，并满足各种应用的处理效能。在新兴的多媒体应用及服务上，除了考虑处理效能及展现品质外，往往还得解决内容的安全性的问题，因此，手机系统也需针对行动商务（M-commerce）、身分证认（authentication）和数字版权管理（DRM）等应用做出安全的安全保障架构，这和终端本身记忆体的作法以及通信系统的认证机制息息相关，例如可用专属的安全模组记忆体作法来储存保密性的资料。

最后，在通信的世界中需要打造一个开放性的环境，才能让这些内容、应用及服务遍及最多的用户。目前有IMTC（International Multimedia Teleconferencing Consortium）、MPEG IF和Internet Streaming Media Alliance (ISMA)等国际组织在推动音、视频及串流格式的一致性作法，以确保在不同的终端设备和电信系统中能顺畅的传递视频内容。这些非营利组织之间也有密切的合作关系，在开放性的精神下，让多媒体的服务能更快速的进入每个人的行动生活当中。