双目立体视觉摄像头模块开发搭建，含源代码、电路图

作品摘要

本作品为基于ATLYS FPGA开发平台、VmodCAM双目摄像头模块开发设计的双目立体视觉系统。VmodCAM用于采集双路的视觉信息，FPGA开发平台负责完成视觉信息的处理及图像的高速分析。采集到得左右两路图像信息通过分析处理，便可得到二维图像上的深度信息。深度信息的体现本作品中设计了两种方式，其一为视觉信息的立体显示，经过处理生成叠加的红蓝3D图像，给人直观上的立体感受。该设计方面可以应用于立体视觉的采集与显示，定位为立体视觉的采集与显示系统。另一方面，通过在FPGA片上设计的高速图像处理系统，可以根据左右图像的差距，计算出图像的深度信息，也就是物体在环境中相对于双目摄像头的三维坐标。该设计方面可以应用到人机交互、机器视觉领域，作为机器对环境情况的认知设备。

FPGA开发板在本作品中的作用主要有：①配置摄像头模块，采集摄像头数据；②将图像数据缓存在片外的DDR2中；③完成图像的分析处理；④完成图像的显示及UART数据传输。

设计目标

一方面，完成立体视觉实时采集与显示系统的设计，让人戴上3D眼镜后可以实时看到立体画面；另一方面，实现物体三维空间定位。

已实现：基于红蓝3D眼镜的立体视觉实时采集与显示；红外光点的三维空间定位。

将实现：基于偏振3D眼镜的立体视觉实时采集与显示；简单环境下的物体空间定位及环境三维重建，并开发成用于人机交互的设备。

设计总概

本设计为在FPGA片上完成的视频、图像采集与处理系统，完成三维图像的重建与数学建模。片上系统使用VHDL+Verilog联合开发，具有很高的数据处理速度。该设计的两个方面目前已初步实现，图像的采集、处理过程均由片上系统完成，为该设计的进一步优化打下了很好的基础。

开发工具

硬件方面：

Diglient ATLYS FPGA 开发板 Diglient VmodCAM 双目摄像头模块 LCD 显示器 计算机

软件方面：

XILINX ISE Digilent Adept Processing

背景

根据有关科学统计，人们通过视觉获得的信息量约占获得信息总量的70%。视觉信息中具有着很多有价值的信息量，但是由于视觉信息数据量大，处理过程复杂等因素，过去很长一段时间中，视觉信息处理仅处于理论研究阶段。

过去20年间，随着IT产业的飞速前进，软硬件方面均发生的翻天覆地的变化，这让许多复杂的视觉信息的处理的过程变得越来越可实现化。

近几年以来，视频图像处理方向上的工程应用越来越多，并已走入大多数人的生活。比如：指纹识别、Kinect体感器等等。

然而，目前的图像处理过程的实现大多是基于软件平台的，如Intel开发的图像处理库OpenCV等。对于低速、简单的图像处理，软件尚能胜任，但高速、杂的图像处理过程用软件处理起来很难达到实时性。鉴于这方面的原因，我们决定采用FPGA的并行处理、流水线处理能力实现视觉信息的高速处理。

通过FPGA做视觉信息处理的过程，不断探索硬件图像处理算法。同时，图像具有的很多方面特征用并行处理方式去完成将具有显著优势，这也将是未来图像处理的一个重要发展方向。

设计介绍

第一部分：立体视频采集与显示

系统组成：

　１.总体框图：

本系统由从硬件上看由三大部分构成，分别是用于图像采集的摄像头模块、实现图像处理的FPGA开发板、进行结果显示的LCD显示器。

２.硬件组成部分：

（１）摄像头模块：采用Digilent公司出品的VmodCAM摄像头模块。该模块上搭载有两个Micron公司的MT9D112 CMOS图像传感器（本系统中用到一个）。该传感器最高支持1600x900分辨率，采用IIC的配置协议，并且内置PLL锁相环，能够产生严格精准相位的控制时钟，达到高速高精度的目的。

数据处理系统：本硬件平台的数据图像处理，智能识别系统由FPGA开发板实现。本项目中使用的为Digilent公司的ATLYS FPGA 开发板。其上集成的FPGA 芯片为Xilinx 公司生产的Spartan-6 LX45。该开发板上集成有多个视频输入输出接口（HDMI），适合做视频处理。

显示模块：我们采用液晶显示器作为系统的显示界面，达到可视化强，便于实时的交互的效果。 片内系统部分：

（１）系统架构

（１）系统架构

（2）摄像头模块

Input:

D_I(7:0)：8-bit数据输入（data input），来自片外的摄像头模块，传输像素的值，通常两个时钟的数据（16bit）组成一个像素值；

CLK：时钟信号，来自时钟模块Inst_SysCon的CAMCLK_O输出；

CLK_180：时钟信号，来自时钟模块Inst_SysCon的CAMCLK_180_O输出（应该为CLK信号的180度相差信号