嵌入式视觉系统基本概念以及传感器的选择

意指读取前像素的曝光时间。在较简单的CCD系统上，须要接近电子装置在组件外执行该时序。然而对于CIS组件而言，整合时间可透过指令接口由缓存器来配置，然后CIS组件可针对常用的两种读取模式精确地执行整合时间。

．全局快门模式：

此种模式下，所有像素同时接受光照，然后读取。由于所有像素同时读取，因此会增加读取噪声。此模式是用于若针对快速移动物体进行拍摄快照。

．滚动快门模式：

此种模式下，进行逐行曝光和读取。此模式的读取噪声较小，然而在捕获快速移动物体较不如全局快门模式。

选择合适的传感器之后，在进行系统开发的过程中还须考虑和解决诸多挑战。除了技术挑战之外，开发系统还会面临时间压力，确保产品在既定时程上市。

尺寸/重量/功耗　系统开发挑战多

使用者必须根据时间限制，了解开发过程中哪部分活动能带来附加价值，接着做出正确的选择，并厘清哪部分应该自行开发（以能创造附加价值的增值作业），哪部分可以购买商用现成产品（COTS）或委外代工。聚焦于附加作业及运用硬件、软件和FPGA 层级的IP模块，是满足上市时程的重要促成因素之一。

除了上市时程的限制，嵌入式视觉系统开发过程中还必须考虑尺寸、重量、功耗和成本（SWAP-C）要求。什么主导并支配系统内的SWAP-C，取决于具体应用领域，例如手持设备在功耗方面的必备条件，相较于自动驾驶辅助系统更为严格。然而，就自动驾驶辅助系统而言，由于必须生产几百万台，因此解决方案的成本便成为主要考虑因素。

倘若想在尺寸、重量、功耗和成本方面获得良好的成效，必须设法让传感器和处理系统更紧密的结合，成为使用数量更少但功能更强的整合型组件。

每种应用领域都具有不同附加价值及不同的尺寸、重量、功耗和成本考虑，因此几乎所有嵌入式视觉系统都须要执行图像处理序列。此序列可与所选的传感器建立接口连接，并执行所需的操作，以便产生适合进一步加工或直接透过网络传输的影像。基本的图像处理序列包含：

．照相机界面：接收来自传感器的原始影像

．颜色滤波数组：重建像素颜色

．色彩空间转换：转换成针对编解碼的正确色彩空间

．输出格式化：与输出媒介进行接口连接

序列在图像处理管线中针对接收的影像执行和应用算法。算法会根据应用的不同而变化，不过，有一些常用的图像处理算法可用来提高对比度、检测影像中的特性、目标或运动，或校正模糊影像。

现成架构有助算法加速开发

这些算法应该在一个架构内被开发，以在最短时间内将产品推向市场，并鼓励重复使用，以降低非重复性和重复性之工程成本。以下为几种应考虑的现成架构：

．OpenVX：

用于开发图像处理应用的开放原始码应用程序。

．OpenCV2：

计算机视觉开放原始码，为一款以C/C++为基础的实时计算机视觉函式库。

．OpenCL：

以C++为基础的计算机语言开放原始码，用于开发GPU、FPGA等常见平行处理应用。

．SDSoC：

赛灵思的一款设计环境，开发人员借助该环境可在Zynq或 UltraScale+ MPSoC组件的ARM处理系统中执行编写的C/C++算法，分析基准程序代码特性以找出效能瓶颈，接着利用赛灵思高阶合成技术，将瓶颈转换至硬件支持的IP，并在组件的可编程逻辑（PL）部分中运行。

若采用FPGA或All Programmable SoC方案时，将这些架构与HLS结合使用，能够高效开发出嵌入式视觉应用，并藉由硬件回路快速演示。

影像经过处理管线序列之后，数据从系统输出的方式也很重要，以下有三种选择：

1.利用视讯图形数组（VGA）、高画质多媒体接口（HDMI）、串行数字接口（SDI）或DisplayPort等标准将影像输出到显示器。许多电动车采用触控式显示屏幕，以便对系统进行控制和配置。

2.将影像或从影像中撷取的信息传送到另一个系统，如同云端处理应用般使用影像或撷取出的信息。

3.将影像储存在非挥发性媒介中，供未来使用。

对于绝大多数选项而言，在完成图像处理链后，皆须确定影像格式化方式。此时，使用者须要决定是否使用如MPEG-4 Part 10高阶视讯编码（H.264）或高效率视讯编码（H.265）等产业标准影像/视频压缩算法，以便对影像进行编码，而这些执行方案通常被称为编译码器。编译码器能提高通讯和网络带宽的使用效率，或降低实现影像高保真度所需的储存空间，因为编码通常会导致影像失真。若因使用编译码器促使影像失真且无法被接受，还可按原始格式传送和储存影像，或以无损格式进行编码。

嵌入式视觉常用之色彩格式

大多数编译码器所使用的色彩空间都与影像传感