基于KeyStone DSP的多核视频处理技术

　　随着越来越多的移动手持终端支持视频功能，对于流媒体内容及实时通信的网络支持需求也在显著上升。虽然对已部署的 3G 媒体网关进行升级可以支持较低的分辨率和帧速率，但这种由于自身的有限处理能力而进行的升级并不能满足视频成为主流应用的需求。

　　为了使可扩展视频应用能够支持高密度 (HD)，需要显著提高视频处理能力，而多核数字信号处理器 (DSP) 不但拥有能满足此类需求的增强型视频处理功能，同时还能充分满足运营商在可扩展性和低功耗方面的需求。

　　本文旨在介绍一种全新的多内核平台，其能够通过优化内核通信、任务管理及存储器接入实现高密度视频处理能力，此外，本文还阐述了扩展实施的结果如何支持多通道和多内核 HD 视频应用的高密度视频处理。

　　1 介绍

　　3G 与 4G 移动网络在全球范围内的广泛部署以及无线创新热点的不断涌现，催生了手持终端用户所需的关键数据带宽。除了 web/数据应用以外，视频已成为移动数据普及的另一推动力。

　　随着越来越多的用户转而使用视频应用，网络基础局端需要实现显著的性能提升才能支持视频内容，这从最近苹果公司 Facetime 视频呼叫应用及类似应用的流行上可见一斑。

　　手持终端能够以更高的分辨率和帧速率支持视频捕获与播放。传统部署的 3G 媒体网关专用于支持低分辩率视频应用中的高密度多语音通道，但通常不能满足用户对于高质量的预期。

　　此外，由于手持终端因电池使用寿命和存储器大小等技术局限性，通常仅能以有限的参数集支持几种标准，因而媒体网关需要支持更多的编解码器和转码模式，如转码、传输量以及传输速率等。例如，当移动手机用户驾车高速驶过某个区域时，让网络去适应由当时瞬时链接条件提供的带宽并提供相应的压缩、分辨率及比特率更具高效性，这样视频链不致中断，而且手持终端也不会因支持缩放或剪辑造成带宽或电池电量的浪费。

　　为了充分满足这些需求，我们需要显著提高高密度媒体网关的视频处理能力。多内核 DSP 能够以较低运营成本提供可扩展的解决方案，从而全面解决运营商重点关注的功耗与空间占用问题。

　　本文的组织结构如下：

　　首先，阐述了处理高分辨率视频面临的挑战和资源需求，以及如何有效地实现带可扩展实施功能的视频编码算法，以便同时支持低分辨率和高分辨率通道。

　　其次，还对软硬件选项如何提高多内核运行的效率展开了讨论。

　　最后，本文回顾性介绍了多内核 DSP 领域前沿技术的发展历程，并探讨了开发人员可资利用的平台。

　　2 基础局端 HD 视频面临的挑战

　　图 1 描述了基于基础局端网络的视频通信系统。一个典型的系统应支持多种功能，其中包括：

• 　　高密度媒体的码制转换与速率适应
• 　　与视频转码相关的音频转码
• 　　大型多方视频会议
• 　　诸如语音等其他媒体形式的处理

图 1 基于网路的视频通信

　　转码是一种典型的通信基础局端视频应用，我们可在其中通过已压缩的输入流对 YUV 域视频流进行解码，然后再使用不同的标准（转码）、不同的比特率（码流速率）、分辨率（传输大小）或上述各项的任意组合重新进行编码。从高质量的高清专业相机到低分辨率的智能电话录制，视频内容来源广泛；而视频内容接收器也是种类繁多，从大型的高清电视屏幕到低分辨率的手持终端，无所不包。视频基础局端必须全方位满足各种需求，其中包括：

• 　　多重编码和解码标准，如 DV、MPEG2/4、H.264 以及未来的 H.265 等。
• 　　多种分辨率和帧速率，从 128×96 像素的次 1/4 公用中分辨率格式 (SQCIF) 乃至更低分辨率，到高清 (1920x1080) 甚至是超高清 (4320P, 8K)，从每秒 10 帧到每秒 60 帧不等。
• 　　各种编码的输入/输出 (I/O) 比特率，如从低分辨率低质量手持终端视频流的 48 Kbps 到专业质量的 50 Mbps（H.264 级 4.2）甚至更高。YUV域视频流的带宽要求非常高，例如，采用 4:2:0 配色方案的 YUV 1080p60 视频流需要 1.5 Gbps 左右的带宽。

　　延迟要求因应用而异：视频会议和实时游戏应用对延迟的要求非常严格，不能超过 100 毫秒；视频点播应用则可以接受中等延迟（可达几秒钟），而且存储等非实时应用的处理能够允许更长时间的延迟。

通信基础局端网络面临的挑战在于，如何才能够将所有的内容交付给所有所需用户，同时又能维持硬件资源的高利用率和高效性。为了进一步阐述这一挑战，不妨考虑一下这个事实，单个 1080i60 通道要求的处理负载与 164 个帧速率为 15 fps（假定负载与分辨率和帧数量之间呈线性关系）的 1/4 公用中分辨率格式 (QCIF)的通道相同。因此，支持单个 1080i60通道的硬件也应该能够以同等的高效性和高利用率支持 164 个