嵌入式视觉系统的概念及关键因素

另一个对图像处理链和 SWAP-C 具有很大影响的决策是：大部分图像处理链应该在哪实现：
●　在边缘，即在嵌入式视觉系统之内。这样会提高系统的功耗和处理/存储要求，但能够实现更快的响应。在边缘处理将在大部分嵌入式应用（例如高级驾驶员辅助、机器视觉等）中成为主导。
●　在云中，这需要嵌入式视觉系统捕获图像，并且利用网络技术将图像发送到云。可在云中处理的典型应用包括医疗成像或科研应用。这类应用中，处理非常密集，且不需要实时结果。

为实现处理链，处于嵌入式视觉系统核心的处理内核不仅要能控制所选的图像传感器，还要能接收和实现图像处理流水线，并通过指定网络基础设施传送图像或发送到选定的显示器。考虑到这些严苛要求，因此经常要选择 FPGA，或者越来越多的情况下需要使用 All Programmable 片上系统，例如 Zynq 器件。

Zynq 器件将两个高性能 ARM A9 处理器与 FPGA 架构相结合。这样使得处理系统 (PS) 可用来通过 GigE、PCIe 或 CAN 等接口与主机系统通信，同时执行系统的一般管理和日常事务。器件的另一半，即可编程逻辑 (PL) 可用来接收和处理图像，充分利用 FPGA 架构的并行处理特性。如果要求通过网络基础设施传送图像，那么可使用 Zynq 中的直接存储器访问 (DMA) 控制器高效地将图像数据从 PL 移动到 PS DDR 存储器。图像到了 PS DDR 存储器内，可利用所选传输介质的 DMA 控制器进一步访问。

当然，一旦图像处在 PS DDR，高性能 A9 处理器也可提供进一步的处理操作。Zynq 架构的特点在于还可将处理后的图像从 PS DDR 移回 PL 中的图像流水线。

传感器融合

很多嵌入式视觉系统还要求能够集成更多传感器数据以更好地感知环境。这包括使用很多同类传感器（同类传感器融合）扩大视场，例如高级驾驶员辅助系统的全景功能；或者整合多个不同类型的传感器（异构传感器融合）提供可见光谱下无法看到的视觉内容，例如在常规图像传感器数据上叠加红外信息。

很多情况下，需要将嵌入式视觉应用的输出与其他传感器数据进行融合，使产生的图像包含多个不同传感器的信息。最简单的传感器融合应用是将不同频谱的图像相结合，例如可见光与红外线融合以实现更好的夜视效果。

传感器融合的另一个更为复杂的用途是将成像系统、全球导航卫星系统 (GNSS)、数字地图信息以及不同波长下运行的其他传感器（例如雷达）进行融合，以确定另一辆汽车的相对位置，从而实现避撞功能。

由于要将不同系统融合在一起，并提取信息，因此传感器融合对处理器的要求会非常高。All Programmable 片上系统解决方案能够与多个传感器建立接口连接，并行处理信息，增大数据吞吐量，因而具有多种显著优势。

结论

嵌入式视觉已变得非常普遍，其市场渗透率和应用范围将在下个十年里只增不减。

在传感器和系统层面，有多个因素必须加以考虑。有多种技术、框架和器件可用来实现嵌入式视觉系统。