R-Car如何带来身临其境之感

作者: Simon Oudin

全景环视是泊车辅助系统的重要组成部分，将会成为汽车的一项标配功能。随着人们对驾乘体验、可扩展性等方面的要求越来越高，全景环视原本兴起于亚洲汽车制造商所推动的小众市场的，当下已经成为主流汽车厂商提供的选配功能。瑞萨作为汽车信息娱乐系统和先进驾驶辅助系统(ADAS)领域的SoC供应商，在早期阶段就已成为支持全景环视技术的主要厂商。如今，瑞萨提供基于新一代SoC的高扩展性、创新的解决方案来应对全球市场需求。

基于R-Car第二代产品的全景环视系统

全景环视的作用是实时显示汽车周围环境的全貌。这种以二维视角从空中360度成像的方式叫做鸟瞰图或俯视图。通过多个摄像头的图像矫正，可将采集图像无缝衔接在一起。同时通过对不同摄像头的亮度和色彩进行调节，以使合成的全景视图看上去更加协调。

不过仅仅显示这一影像并不能在泊车过程中为驾驶人员提供帮助。为了更好地进行操控，在显示二维视图和车后方视图时需要为驾驶人员显示更多的信息。而另外一种补充方法是通过车周围环境的三维视图来加强司机对距离的感知。通过安装在汽车四周的二维相机来生成当下汽车周边的三维全景影像和三维的汽车影像，为驾驶人员提供参考。影像必须真实反映出汽车与附近物体(行人、车辆和建筑)的距离。三维球面视图应随着汽车的运动动态地变化。汽车模型必须融合在周围景象中，光照或反射光线都要在汽车模型上反映出来 。

此类应用推动了汽车嵌入式平台中的三维图形和计算机视觉的性能提升。瑞萨R-Car SoC系列产品可用于此类应用。第二代R-Car于2013年3月首次发布，它支持多种应用，如外部设备连接、娱乐扩展和先进驾驶辅助(ADAS)。该系列产品具有卓越的性能和优化的功耗，通用的API可降低客户开发工作量。该系列的两款产品支持全景环视应用：R-Car H2和R-Car V2H。

R-Car H2带来全新三维体验

R-Car H2是2013年3月份发布的首款产品，是专为包含三维全景功能的集成式驾驶舱解决方案而定制的。在该应用中，首先需要考虑三维图形引擎的性能要求，特别要注意两个方面：二维摄像头图像纹理在三维球面视图的映射和汽车三维成像。成像场景中的多边形计数取决于三维球面视图的变换和汽车模型的渲染效果。图形引擎必须能够在短时间内处理大量的多边形运算，从而使渲染效果更佳。

此外，由于此应用可针对同一个场景使用不同的着色器程序，因此图形引擎必须具有功能强大的着色器引擎。这些性能要求较高GPU频率以实现高速数据处理。这些应用方面的性能要求都推动了瑞萨将高性能的三维图形引擎集成在R-Car H2中。事实上，该产品的三维图形引擎提供了与iPad Air 的三维图形引擎相当的性能。

通向增强真实感之路

感知三维场景是另外一个重要方面，有两种实现技术。一种是人类立体视觉，不过它的缺点是使相机成本和集成工作量增加了一倍。另一种是创建车辆的“运动恢复结构(SfM)”，从而提供一段时间内的立体视觉。瑞萨的R-Car产品系列采用了视觉专用硬件加速器，支持四个摄像头的实时运行算法，从而同时满足对高性能和低功耗的要求。

SfM算法生成代表车辆和周围物体运动的流矢量列表。下一步关键是从流矢量中计算本体运动并作匹配以计算出车辆的自运动。从基础矩阵中，可根据环境中的动态和静态物体将流矢量进行分类。静态物体流矢量可直接提供物体的距离(与移动距离成反比）。


图1：SfM算法在R-Car H2中的实现。SfM算法在R-Car H2一个的摄像头视频上的运行结果(上图)。基于SfM处理结果的环境三维模型(下图)。

图1(上)展示了R-Car H2的一个运行实例。圆圈代表静态特征点，是结构计算的结果。一个颜色对应一串物体，这些物体随后反馈给模型变换。这些数据用来调整如图1(下)所示环境的实时三维模型。最后，利用图形引擎，生成三维球面的映射三维模型来创建出逼真的汽车环境影像。

以太网：基于R-car V2H的便捷之路

R-Car系列产品还包括R-Car V2H，它提供了一种利用以太网的视频传输方法，从摄像头视频采集直到显示接口。这种流水线方法不仅降低了对系统其余部分(如整体延迟、内存带宽和CPU干预)的要求，而且大大降低了系统制造商软件开发的复杂度。图2展示了R-Car V2H的这种视频路径。从四个摄像头数据的解复用到图像矫正，不需要访问外部存储器，并且每一个摄像头都对应有专用的硬件加速器。


图2：R-Car V2H的以太网全景视频传输路径

系统成本的降低有助于全景环视的广泛应用，而布线成本是不可忽视的一个部分。近年来出现了2种降低成本的方法，可减小当前基于LVDS的全景环视系统成本。一种是使用非屏蔽双绞线上的以太网传输，另一种方法是更经济的同轴电缆的升级版LVDS传输。两种方法的系统成本差不多。不过，以太网解决方案不仅有助于降低系统成本而且为之后的应用提供了更好的灵活性。例如，随着行车记录系统的使用越来越广泛，只需增加少量成本即可支持新的功能（如多通道同步录像），因为这只需要带有SD卡接口即可实现。相比LVDS，以太网传输的另一个好处在于基于AVnu联盟的MAC层和基于开放联盟的PHY层都是标准化的。