双核3D多媒体系统设计原理及计划书

（一）设计概述

设计意图

随着集成电路的迅猛发展，多媒体设备越来越大众化、人性化。今天的多媒体，已不再是几年前多媒体的概念，而是汇集了最前沿的科技以及用户体验于一身。多媒体厂商也越来越注重用户的体验性、潮流性。小到智能手机，大到多功能智能电视，无不表现出这种趋势。而作为现在最为热门的3D影像，则是代表了未来多媒体的发展方向。三星、HTC等移动多媒体设备巨头无不纷纷瞄准了这一点，推出了具有强大竞争力的3D多媒体设备。

基于以上背景，本设计将开发一个基于Avnet Spartan-6 FPGA 工业视频处理套件的3D影像多媒体系统，该系统包括如下几个部分：视频解码器、2D视频转3D视频模块、双摄像头3D影像拍摄播放模块、视频缩放模块、手势识别控制模块、OSD（on screen display）控制模块，以力求构成一个具有2D转3D、能够进行3D录像并播放、能够通过手势控制和键盘控制双控制方式的并适用于多种分辨率的SOC系统。

（二）设计思路

考虑到软硬件结合的灵活强大功能特性，本作品将基于EDK嵌入式系统开发平台，以双MicroBlaze处理器为核心，实现软硬件的协同设计。其中，将计算量大、实时性要求强的功能模块交给硬件来实现，硬件配合软件，实现硬件加速。而将人机交互界面、静态图像播放等实时性不高的模块用CPU来完成。为了提高用户的体验效果以及完善系统功能，本作品将移植实时操作系统以及图形界面，以充分发挥软硬件各自的优势。另外，双cpu处理模式将进一步的增强处理速度，提高视频影像处理的实时性。使得实现更复杂的功能算法成为可能。

（三）适用范围

本系统可以应用于数字电视、手机、平板电脑、数码相框等消费电子产品中，实现2D图像（或视频）到3D图像（或视频）的转换，3D影像拍摄和播发功能。从而有效解决3D片源不足的问题，并为家庭或个人带来立体图像的视觉享受。而且，由于灵活的可裁剪性，本系统还可以作为多媒体系统的开发平台，开发功能更强、适用范围更广的多媒体产品。

（四）器件选择

根据本设计的功能要求，我们选择了Avnet Spartan-6 FPGA 工业视频处理套件，其板上的FPGA 是Spartan6 LX150T ，该FPGA具有两万多个Slice，以及内嵌众多的硬件乘法器等资源，完全满足我们系统的设计要求，而板上具有丰富的外围设备，其中包括了128M的DDR3，32M的flash，两个外扩摄像头等，非常适合用于搭建视频处理系统。因而选择该开发板是合适的。

设计实现结构

整个系统的设计架构如图（1）所示。

图（1）系统实现框图

（一）各个功能模块的硬件实现框图

（a）2D转3D模块：其硬件系统结构如图（2）所示，其利用视频序列的的运动信息来估算出初始的深度图，并通过检测视频中的运动物体来对初始的深度图进行精化处理。接着，由双边滤波器完成对深度图的前处理。根据深度图，采用DIBR技术来产生左眼图像。同时，原视频序列的当前帧作为右眼图像。

图（2）：2D 转3D模块的实现框图

（b）双摄像头3D视频产生模块：双摄像头通过Expansion Header1、2输入，并从两路输入中分别提取R分量和GB分量，经过处理后由HDMI接口输出，其硬件实现框图如图（3）所示。

图（3）：双摄像头3D视频产生模块方框图

（c）视频解码器：该视频解码器采用的协议是H.264，为了给2D转3D模块提供视频源而设计的，其输入是压缩后的数据流，输出是解压后的视频流，其实现框图如图（4）所示。

图（4）视频解码器的实现框图

（d）视频缩放模块：视频缩放模块通过改变视频影像的分辨率，使系统适用于各种主流的消费电子平台。该缩放模块将采用双三次样条插值算法。其模块实现框图如图（5）所示。

图（5）视频缩放模块框图

（e）手势识别控制模块与普通OSD模块：对于用手势识别来控制多媒体系统，本设计将采用上下、左右、确认5种手势来实现菜单的左右选择、上下选择以及选择确认功能。具体的手势识别系统流程框图如图（6）所示。

图（6）手势识别系统框图

而为了增加实用性，设计中还利用开发板上的按键，作为普通OSD控制键盘。作为系统控制的辅助模块。

系统软件流程图

对于软件方面的设计，我们将移植操作系统，并加上图形化操作界面，其控制方式将运用图像界面控制方式实现用户与系统之间的交互。本作品中软件控制部分的流程图如图（7）所示：

图（7）软件流程图

设计特点 本作品通过2D转3D技术，将2D影像转换为3D影像，并可在2D/3D影像和动态/静态影像之间进行切换，实用性非常强，具有广阔的应用前景。 本作品可通过图形用户界面，任意切