辅助驾驶：汽车环视系统设计，完整硬件平台参考方案

一、项目背景

1.1 研究背景

本项目研究内容是开展汽车环视系统((AVM)技术与产品的研究与开发，通过驾驶员实时实景环视辅助系统，提高汽车行驶及停车时的安全性。主要研究内容包括: AVM产品技术与功能分析；产品规格总体设计；实时数字图像快速处理；图像显示加速；多场景、多视点图像几何处理及其合成拼接成像技术；高性能处理平台设计；车载数字图象质量Qos研究；AVM产品样机设计开发等。

1.2 基于AVM平台采用FPGA算法的优越性

采用可编程的FPGA进行设计，便于设计的更新与升级，节约成本。 通过使用图像拼接技术，使系统在图像呈现的清晰性、稳定性和可靠性得到有效地保证。 LCD体积小、质量轻、功耗低，可以用大规模集成电路直接驱动，可以在明亮环境下显示，不含射线伤害。

二、项目方案

2.1、实现功能

1 ）通过处理四组影像，合成为一幅360度的图像制成如同从上方俯瞰车辆一样的影像后显示在显示器上。

2 ）利用FPGA算法，通过使用图像拼接技术对于对预处理后的四幅图像进一步切割，已达到完美的反走样拼接。

2.2方案设计原理

该方案使用AVM硬件平台，系统原理框图如下：

三、硬件设计框图

Spartan-6承担4幅图像实时处理的任务，对来自每个摄像机的原始图像进行几何坐标变换、反走样、矫正、拼接等处理； 4xVideo In:连接4个CMOS数字摄像头，直接物出YUV数字视频信号； 1xVideo Out:用于连接车载TFf LCD显示器用于显示360度的全景图象； 四组x120-180度广角高分辨率小型数字摄像头(CMOS/CCD) ； 7英寸彩色LCD液晶显示屏(分辨率720x480像素)； 摄像头辅助声纳系统可以作为选配，能够起到距离测量和声音警示的作用。并可以通讯与系统在相对应的显示区域用颜色警示，配合AVM系统给驾驶员最大的安全保障。

四、辅助泊车

1) 无车区域和停车位置搜索和定位。

2) 自动辅助泊车控制。

辅助泊车系统通过安装在车身上的摄像头，超声波传感器，以及红外传感器，探测停车位置，绘制停车地图，并实时动态规划泊车路径，将汽车指引或者直接操控方向盘驶入停车位置。

3）辅助泊车传感器信息处理和地图绘制。

图1 超声波检测

图2 无车区域检测

图3 停车位置检测

4）停车位置检测

路径规划需要建立建立汽车运动型运行模型，汽车运动学模型一般采用前轮驱动模型。参考路径模型根据泊车方式分为 2 种:

（1) 圆弧模型，一般用于车库泊车；

（2) 五阶曲线模型，一般用于平行泊车。

图4 平行泊车 图5 车库泊车

五、图像拼接合成技术

5.1图像几何处理技术:

通过转换四个视点坐标(眼坐标)到大地坐标的坐标变换，几何校正及进行反走样处理等，产生4幅可以拼接合成的素材。要求主处理芯片能够达到图像算法实时性处理的速度要求。

5.2多视点图像合成技术:

通过处理四组影像，合成为一幅360度的图像制成如同从上方俯瞰车辆一样的影像后显示在显示器上。对于对预处理后的四幅图像进一步切割，已达到完美的反走样拼接。

5.3图像拼接技术

图像拼接(image mosaic，或者称图像配准)是图像处理的一项重要内容，主要用于匹配取自不同时间、不同传感器或不同视点的两幅或多幅图像。目前使用的较多的领域为多视角的卫星遥感图像的拼接融合，以及在医学检测中多种类型的检测仪器采集的图像进行拼接融合。在三维重构系统中则是将两幅或多幅局部采集的编码图像进行拼接，使得能够将大范围的三维物体进行一次重构。

5.3.1 图像拼接的一般方法

1)基于像素的拼接方法。这类方法根据拼接图像的相关函数， Fourier变换等关系式来计算拼接参数口最常见也是最简单的方法就是窗口(模板)匹配法。

(2)基于特征的拼接方法。这类方法是根据需要拼接图像的重要的相同的特征之间的几何关系确定拼接参数，因此这类方法首先需要提取特征，如边缘、角点、线、曲率等。然后建立特征点集之间的对应关系，由此求出匹配参数。

(3)基于模型的拼接方法。这种方法是根据图像失真的数学模型来对图像进行非线性校准的拼接，多用于医学图像。

5.3.2 基于特征曲线的图像拼接

图像拼接算法

将带拼接的左、右2幅图像分别记为、，宽和高分别为、和、，.取图像的左上角作为图像坐标的原点。

对于每幅图像，首先利用Canny算子提取图像的边缘，在每一列的边缘点中找出梯度最大的一点，记录该点的纵坐标。若次列不存在边缘点，则直接找出该列的梯度最大点，对于图像中任意一点，梯度值由下式给出：

其中为点(i，j)的灰度值。这样可得到2个长度分别为和数组和，数组中的兀素是图像中该列梯度最大点的坐标。这2个数组反应了2幅图像中按列最大梯度特征点分布的情况。在确定每列梯度的最大点时，遵循以下的原则: