嵌入式视觉系统基本概念以及传感器的选择

器输出的色彩空间（前提是系统使用彩色组件）不同。嵌入式视觉中主要使用的色彩空间为：

．红、绿、蓝：

包含RGB信息作为影像传感器的输出，通常用于VGA等简单接口的输出。

．YUV：

包含亮度（Y）和色度（U和V），该色彩空间用于大多数编译码器和一些显示标准。

常用的YUV格式为YUV4:4：4和YUV4:2：2。两种格式的区别在于4:4：4 格式下，每像素由8位表示，可得到24位像素；而在4:2：2格式下，U值和V值在像素之间共享，可得到16位像素，同时可节省储存空间。

图像处理链于何处执行将影响系统效能

另一个对图像处理链和SWAP-C具有巨大影响的决策是，大部分图像处理链应在哪里执行。

首先是在边缘端执行，亦即在嵌入式视觉系统内执行。在边缘端的执行可提高系统的功耗和处理/储存要求，但能够实现更快的响应速度。在边缘端的处理将成为大部分嵌入式应用中的主导应用，例如自动驾驶辅助系统、机器视觉等。

其次是在云端执行则需要嵌入式视觉系统捕捉影像，并且利用网络技术将影像传送到云端。可在云端处理的典型应用，包括医疗影像或科学应用。这类应用的信息处理非常密集，且毋需实时结果。

为实现图像处理链，嵌入式视觉系统的核心需要一个处理核心，不仅须控制所选的影像传感器，还要能接收和执行图像处理管线，并通过指定网络基础设施传送影像，或发送到选定的显示器。诸多严苛的要求导致经常必须选择FPGA，或者使用如Zynq组件的All Programmable SoC。

Zynq组件将两个高效能ARM A9处理器与FPGA架构结合，让处理系统（PS）能够用来透过GigE、PCIe或CAN等接口与主机系统连接，同时执行系统的一般管理和日常事务。组件的另一半，即可编程逻辑（PL），可用来接收和处理影像，并充分利用FPGA架构的平行处理特性。若影像被要求通过网络基础设施传送，便能使用Zynq中的直接内存访问（DMA）控制器有效地将影像数据从PL移动到PS DDR内存。当影像移到PS DDR内存内，便可进一步被所选传输媒介的DMA控制器使用。

当然，一旦影像位于PS DDR内，高效能A9处理器亦可提供进一步的处理操作。Zynq架构的特点在于将处理后的影像从PS DDR移回PL中的影像管线。

传感器融合为嵌入式视觉发展最终目标

许多嵌入式视觉系统还要求能整合更多传感器数据，以便更佳地感测环境。包括使用许多同类型传感器扩大视野，例如自动驾驶辅助系统的全景功能，或者整合多个不同类型的传感器，提供可见光谱下无法看到的视觉内容，如在一般影像传感器数据上覆盖红外线信息。

在很多应用情境下，需要将嵌入式视觉应用的输出与其他传感器数据进行融合，让产生的影像包含多个不同传感器信息。最简单的传感器融合应用是将不同频谱的影像结合，例如将可见光与红外线融合以实现更好的夜视效果。

传感器融合另一项更加复杂的应用是，将影像系统、全球定位卫星系统（GNSS）、数字地图信息，以及不同波长下运行的其他传感器（例如雷达）进行融合，以确定另一辆汽车的相对位置，避免汽车互相碰撞。

由于要将不同系统融合在一起并撷取信息，因此传感器融合对处理器的条件要求非常高。All Programmable SoC解决方案能够与多个传感器建立接口连接，以及平行处理信息，提升数据传输量，因而在许多方面具备显著优势。

在传感器和系统层面，必须考虑诸多因素，并有许多技术、架构和组件可用来实现嵌入式视觉系统。