基于视觉处理的高级驾驶员辅助系统实现
时间:11-20
来源:互联网
点击:
高级驾驶员辅助系统(ADAS)在未来几年将出现大幅增长。主要原因之一是安全意识的增强,以及客户对驾乘舒适度要求的提高。但最重要的原因是欧洲新车安全评鉴协会(Euro NCAP)加强了安全要求,这将促使明年ADAS设备安装率从个位数上升到几乎100%。因此,可商业化运行的解决方案无疑是当务之急。
这是为了满足当今大容量标准设备和一般客户选择功能的全新部署要求。ADI公司最近推出了全新的ADAS处理器系列(即Blackfin ADSP-BF60x系列),以满足这一新兴巨大市场的需求。这一全新系列目前已推出两款处理器,能够满足基于摄像头的解决方案的全新需求。
根据需要解决的ADAS任务不同,如今的系统中采用了不同类型的传感器。针对车辆附近的近场和远场环境监控,可将雷达、超声、激光雷达、PMD、摄像头和夜视摄像头用作单传感器或多传感器系统。后者结合传感器数据,可以根据需求实现更加精确的结果。摄像头系统将进一步得到改善,可以看到车内以便分析驾驶员的状态。驾驶员的状态和预测分析可用于更好地过滤ADAS系统未来会产生的各种警告信息。其目的是不要让无关的警告信息充斥驾驶员。如果系统检测到一名运动型轿车的驾驶员正全神贯注地看着前方的交通状况,过早警告他紧跟着一辆汽车可能会让人不胜其扰。然而,如果知道驾驶员正在分神玩手机,或者快睡着了,同样的情况下,及早发出警告甚至做出刹车动作可能就非常合适。
ADAS系统可以扩大车外视野,并对物体进行检测和分类,系统还可以确定驾驶员的状态。这类系统的目的都是为了提高道路安全性,其也将很快成为新车标准设备的一部分。ADAS系统提升了驾乘舒适性和经济性,例如,可以在发生倾斜之前及时控制换档。这会进一步提高驾驶员对系统的认可度,并使汽车制造商实现市场上除标准ADAS设备以外的其他可选功能。
Euro NCAP推动ADAS部署
Euro NCAP测试并公布了欧洲市面上车辆的安全性。测试采用透明的测试方法,测试分为四个种类:成人乘客保护、儿童乘客保护、行人保护和安全辅助(如安全带提醒)。最终,Euro NCAP给出了五星级安全性评价,这一结果将在其网站上公布。每一个安全等级(一至五星)都需要达到四类中每一类的最低分,同时达到最低总分。
预计到2017年,如果不安装ADAS系统,汽车将无法达到期望的五星级要求。因此,汽车制造商届时将至少采用一套ADAS系统作为标准设备。从Euro NCAP的评级方案和近年来的变化对比中我们可以看到目前的考查重点。2011至2012年间,行人保护的最低得分要求提升了50%。这进一步提升了ADAS摄像头的重要性,这是因为其不仅能对行人等对象进行检测和分类,还可以根据评级方案要求对模糊不清的行人进行检测和分类。
摄像头促成标准设备
基于摄像头的ADAS并非新技术——这项技术在过去几年中逐渐成熟,但大多数时候都被视为高级品牌轿车上的客户选配。这项技术不断完善,如今已经显现出巨大作用,能够满足新兴的Euro NCAP要求。然而,我们必须反思这项技术,因为标准设备业务将其在商业方面的价值推到了公众的焦点。过去,系统往往复杂且具有高性能,而目前所面临的任务却大不相同。如今的ADAS系统必须在适当的商业水平下恰好满足所需的功能。系统提供商和器件供应商(如ADI公司)如今面临着权衡问题:既要实现具有商业吸引力的解决方案,又要保持OEM差异化生产的自由性。
ADI公司很早就涉足驾驶员辅助系统开发,并不断投资这项新兴技术。如今,ADI公司已经开发出了一套先进的专用ASAD解决方案,目前首批推出的两款针对基于摄相机系统的处理器开始样片。从一开始,以ADAS摄像头为中心的处理器的规格目标就是减少总拥有成本(ToC),同时又不牺牲系统供应商和OEM的灵活性。除了所需的编程能力和足够的处理能力外,该处理器还实现了同级产品的最低功耗,使散热设计易于实现。该处理器支持ISO 26262要求的功能安全,可提供面向应用的开发环境以及最优的视觉处理库,从而有助于设计出一套上市时间短、风险低的总体系统。
系统级最佳性能
ADSP-BF60x将具有五项功能的系统的总体成本降低了30%。ADSP-BF609(可处理高达百万像素格式)和ADSP-BF608(可处理高达VGA格式)支持高达五种并行视觉功能,每秒可处理高达30帧。ADSP-BF60x在105℃环境温度下的功耗不足1.3W,具有同类产品的最低功耗。
为了实现这一功耗,ADI公司采用了直接又特别的概念。这一概念基于两个Blackfin内核,因为已量产的ADAS系统正采用这一架构。然而,那些无法经济高效地在软件中模型化的算法已经采用硬件引擎实现,由此产生了高度可配置的视觉处理单元工具箱。ADI公司将其称作“流水线视觉处理单元”(PVP),如今它已成为全新ADSP-BF60x处理器的一部分。虽然采用了低功耗处理技术,但还需要以进一步创新来解决现代设计中最重要的功耗问题:外部存储器(DDR)接口。通过适当分配处理能力和合理利用适度的存储器带宽,可以实现最低功耗。此外,一些硬件模块也增强了Blackfin架构,使其能够满足功能安全要求。
有效数据流
许多芯片架构都从视频传感器接收数据,并将其逐帧保存至外部存储器(如DDR)以供逐帧回读(略有延迟)。多核架构甚至还趋向于大幅加快数据移动,目的只是为了使内核能够识别每一帧感兴趣区域(ROI)。ADSP-BF60x概念避免了视频数据的这种功耗传输。全帧依然存储在DDR2存储器中,但无需回读整帧。输入数据一被器件接收后,就会多点传输至流水线视觉处理单元(PVP),PVP会在数据输入过程中直接对其进行预处理。
如图1所示,PVP摄像头数据流水线可以产生多达三个中间预处理结果,例如边缘图像、积分或通过非线性阈值的重新量化。在上方,它可以提供直方图之类的状态信息。无需在Blackfin内核上执行一条指令,也无需通过DDR总线传输一个字节,就可以实现这些结果。此外,PVP在输出中间结果时还采用了高密度数据格式,因此,结果在大多数时候都存储在片内L1和L2存储器中。
这是为了满足当今大容量标准设备和一般客户选择功能的全新部署要求。ADI公司最近推出了全新的ADAS处理器系列(即Blackfin ADSP-BF60x系列),以满足这一新兴巨大市场的需求。这一全新系列目前已推出两款处理器,能够满足基于摄像头的解决方案的全新需求。
根据需要解决的ADAS任务不同,如今的系统中采用了不同类型的传感器。针对车辆附近的近场和远场环境监控,可将雷达、超声、激光雷达、PMD、摄像头和夜视摄像头用作单传感器或多传感器系统。后者结合传感器数据,可以根据需求实现更加精确的结果。摄像头系统将进一步得到改善,可以看到车内以便分析驾驶员的状态。驾驶员的状态和预测分析可用于更好地过滤ADAS系统未来会产生的各种警告信息。其目的是不要让无关的警告信息充斥驾驶员。如果系统检测到一名运动型轿车的驾驶员正全神贯注地看着前方的交通状况,过早警告他紧跟着一辆汽车可能会让人不胜其扰。然而,如果知道驾驶员正在分神玩手机,或者快睡着了,同样的情况下,及早发出警告甚至做出刹车动作可能就非常合适。
ADAS系统可以扩大车外视野,并对物体进行检测和分类,系统还可以确定驾驶员的状态。这类系统的目的都是为了提高道路安全性,其也将很快成为新车标准设备的一部分。ADAS系统提升了驾乘舒适性和经济性,例如,可以在发生倾斜之前及时控制换档。这会进一步提高驾驶员对系统的认可度,并使汽车制造商实现市场上除标准ADAS设备以外的其他可选功能。
Euro NCAP推动ADAS部署
Euro NCAP测试并公布了欧洲市面上车辆的安全性。测试采用透明的测试方法,测试分为四个种类:成人乘客保护、儿童乘客保护、行人保护和安全辅助(如安全带提醒)。最终,Euro NCAP给出了五星级安全性评价,这一结果将在其网站上公布。每一个安全等级(一至五星)都需要达到四类中每一类的最低分,同时达到最低总分。
预计到2017年,如果不安装ADAS系统,汽车将无法达到期望的五星级要求。因此,汽车制造商届时将至少采用一套ADAS系统作为标准设备。从Euro NCAP的评级方案和近年来的变化对比中我们可以看到目前的考查重点。2011至2012年间,行人保护的最低得分要求提升了50%。这进一步提升了ADAS摄像头的重要性,这是因为其不仅能对行人等对象进行检测和分类,还可以根据评级方案要求对模糊不清的行人进行检测和分类。
摄像头促成标准设备
基于摄像头的ADAS并非新技术——这项技术在过去几年中逐渐成熟,但大多数时候都被视为高级品牌轿车上的客户选配。这项技术不断完善,如今已经显现出巨大作用,能够满足新兴的Euro NCAP要求。然而,我们必须反思这项技术,因为标准设备业务将其在商业方面的价值推到了公众的焦点。过去,系统往往复杂且具有高性能,而目前所面临的任务却大不相同。如今的ADAS系统必须在适当的商业水平下恰好满足所需的功能。系统提供商和器件供应商(如ADI公司)如今面临着权衡问题:既要实现具有商业吸引力的解决方案,又要保持OEM差异化生产的自由性。
ADI公司很早就涉足驾驶员辅助系统开发,并不断投资这项新兴技术。如今,ADI公司已经开发出了一套先进的专用ASAD解决方案,目前首批推出的两款针对基于摄相机系统的处理器开始样片。从一开始,以ADAS摄像头为中心的处理器的规格目标就是减少总拥有成本(ToC),同时又不牺牲系统供应商和OEM的灵活性。除了所需的编程能力和足够的处理能力外,该处理器还实现了同级产品的最低功耗,使散热设计易于实现。该处理器支持ISO 26262要求的功能安全,可提供面向应用的开发环境以及最优的视觉处理库,从而有助于设计出一套上市时间短、风险低的总体系统。
系统级最佳性能
ADSP-BF60x将具有五项功能的系统的总体成本降低了30%。ADSP-BF609(可处理高达百万像素格式)和ADSP-BF608(可处理高达VGA格式)支持高达五种并行视觉功能,每秒可处理高达30帧。ADSP-BF60x在105℃环境温度下的功耗不足1.3W,具有同类产品的最低功耗。
为了实现这一功耗,ADI公司采用了直接又特别的概念。这一概念基于两个Blackfin内核,因为已量产的ADAS系统正采用这一架构。然而,那些无法经济高效地在软件中模型化的算法已经采用硬件引擎实现,由此产生了高度可配置的视觉处理单元工具箱。ADI公司将其称作“流水线视觉处理单元”(PVP),如今它已成为全新ADSP-BF60x处理器的一部分。虽然采用了低功耗处理技术,但还需要以进一步创新来解决现代设计中最重要的功耗问题:外部存储器(DDR)接口。通过适当分配处理能力和合理利用适度的存储器带宽,可以实现最低功耗。此外,一些硬件模块也增强了Blackfin架构,使其能够满足功能安全要求。
有效数据流
许多芯片架构都从视频传感器接收数据,并将其逐帧保存至外部存储器(如DDR)以供逐帧回读(略有延迟)。多核架构甚至还趋向于大幅加快数据移动,目的只是为了使内核能够识别每一帧感兴趣区域(ROI)。ADSP-BF60x概念避免了视频数据的这种功耗传输。全帧依然存储在DDR2存储器中,但无需回读整帧。输入数据一被器件接收后,就会多点传输至流水线视觉处理单元(PVP),PVP会在数据输入过程中直接对其进行预处理。
如图1所示,PVP摄像头数据流水线可以产生多达三个中间预处理结果,例如边缘图像、积分或通过非线性阈值的重新量化。在上方,它可以提供直方图之类的状态信息。无需在Blackfin内核上执行一条指令,也无需通过DDR总线传输一个字节,就可以实现这些结果。此外,PVP在输出中间结果时还采用了高密度数据格式,因此,结果在大多数时候都存储在片内L1和L2存储器中。
- 汽车智能化,真伪需求调查结果出炉(12-14)
- 提高汽车安全性能的通过高级驾驶员辅助系统(03-27)
- 高级车内系统的参考设计(12-16)
- 高可靠芯片搭配视觉演算法,影像式ADAS满足车规要求(12-14)
- 简述在汽车中导入ADAS的三大设计方式(12-12)
- 如何优化工业DAQ系统设计(12-12)