R-Car如何带来身临其境之感

最佳视频延迟控制路径

在全景环视应用里，其中一个需要精心设计的方面是视频传输(包括压缩和解压缩)和视频处理阶段中的延迟。事实上，从摄像头采集影像到显示影像的总体延迟应低于100ms，才能使驾驶人员能够实时地感知环境。

目前，摄像头工作的帧率为30帧/秒。使用全局快门时，传感器电池在曝光时同时进行充电，然后成像器开始逐个输出像素。因此，影像捕捉后大概一帧(33ms)左右传输最后一个像素。这个首帧延迟，无法缩短。另一个不可缩短的延迟是影像显示，所有像素都必须在显示影像之前传输完毕，这个延迟也是33ms左右。最后只剩下33ms来执行图3所描述的其他任务。


图3：视频传输和图像矫正的延迟

这个数据传输通路的第一步是数据传输。以太网协议并没有提供专用机制来确保低延迟传输和摄像头同步。这也是瑞萨在R-Car系列产品中首先引入了带高级AVB硬件支持的千兆以太网MAC的原因。这为降低CPU负载和优化整个压缩视频接收提供了必要的硬件支持。一些专门的机制用于实现智能数据包解封和摄像头视频滤波。AVnu联盟AVB协议的汽车规范里定义了对录制视频的快速启动、低延迟(最大延迟为2ms)等多视图摄像头应用的关键技术的考虑。

最早的以太网的多摄像头系统采用了低延迟的动态JPEG(MJPEG)压缩技术。该技术基于众所周知的JPEG标准，已被广泛应用于消费类数码相机。然而该技术对视频质量的影响可能会限制后续视觉处理性能。因此，瑞萨认为H.264压缩技术是最佳的视频传输解决方案。这项技术提供了更好的压缩比，可改进视觉处理性能。目前H.264技术已经广泛应用在各种娱乐终端设备，它们也可已通过瑞萨丰富的汽车娱乐连接方案连接到汽车上。在R-Car V2H上，瑞萨实现了首个支持高清多通道、符合H.264标准且具有低延迟的视频解码的汽车SoC。

减少延迟的最后一步是缩短处理数据的延迟。事实上，传统的基于DSP的系统需要通过双缓冲区来采集视频。R-Car V2H具有称为IMR的专用引擎，可瞬时完成图像矫正。此功能支持从最多5个低延迟视频解码器的直接传输图像。由于R-Car V2H具有视频直通路径，以太网传输网络中的总体延迟比传统的LVDS大大降低了，如图3所示。

成像与探测

IMR还可以采用查找表(LUT)即时进行视角转换的二维或三维全景成像。可针对每个输入帧更改摄像头视角，以实现用户视角间的动态转换。其本身支持双线性过滤，可提供出色的图像质量。通过此方法，R-Car V2H自身只需极小的内存即可支持三维全景成像。R-Car V2H 具有与R-Car H2相同的图像识别硬件。因此，它也可同时实现SfM计算，也还可以实现行人探测。它可以采用梯度直方图和支持向量机分类，对四个摄像头的数据同时进行行人探测。去年9月份在日本举行的Renesas Developer Conference,11月份在德国举行的慕尼黑电子展和今年3月份上海慕尼黑电子展上就对此功能进行了展示(图4)。


图4：基于 R-Car V2H的带行人检测功能的三维全景演示

结论

本文针对汽车多摄像头应用的趋势尤其是泊车辅助系统中的三维全景环视功能进行了讨论。介绍了具有丰富可扩展性的R-Car汽车SoC系列产品。R-Car H2能够实现汽车周围环境即时的三维全方位成像，使泊车操作更加方便。在R-Car V2H中，引入了独到的以太网视频直通方法和以太网AVB MAC以及多通道H.264低延迟解码器，从而实现了超低延迟视频处理并减小了内存带宽。瑞萨也引入了功能安全所需的关键特性，以使采用该产品的系统在功能安全上能达到ASIL B级别。