嵌入式视觉应用中的传感器融合

对于嵌入式视觉传感器融合应用，我们可进一步利用处理器为所用的众多传感器提供简单接口。例如，加速计、压力计、陀螺仪和 GPS 传感器都配有串行外设接口 (SPI) 和内部集成电路(I2C)接口，都得到 All Programmable Zynq®-7000 和 MicroBlaze 软核处理器的支持。这使软件能够快速、方便地从不同类型的传感器获得所需信息，并提供给可扩展架构。

在可编程逻辑架构中可轻松实现用于从图像传感器提取信息的图像处理流水线，此外，可编程逻辑架构还可用来为其他异构传感器（例如 RADAR 和 LIDAR）或者同构系统中的多种情况实现处理流水线。

当使用 All Programmable Zynq-7000 或 All Programmable UltraScale+™ MPSoC 时，处理器存储器与可编程逻辑之间紧密耦合的架构允许应用软件访问所得到的数据集，以便进一步处理和制定决策。独立传感器链可在可编程逻辑中实现，而且可并行运行，这对于立体视觉等需要同步操作的情况非常有利。

为了加速在可编程逻辑中实现的融合应用的交付进程，我们可利用高层次综合 (HLS) 开发可直接在可编程逻辑架构中实现的算法。

实例架构

开发前面介绍的对象检测和距离算法，利用 All Programmable SoC 演示同构和异构方案。尽管两种方案使用的传感器类型不用，但这两种架构的最终目标都是将两个数据集放在处理系统的 DDR 内存，同时将可编程逻辑架构的性能最大化。

实现同构对象检测系统需要使用相同的传感器类型，这里是 CMOS 成像传感器。这样做的优势是只需要开发一条图像处理链，这个图像处理链可以为两个图像传感器在可编程逻辑架构中实例化两次。

同构架构实现立体视觉系统的条件之一是要求两个图像传感器同步在可编程逻辑架构中并行实现两个图像处理链并使用具有适当约束的相同时钟，这样有助于满足这一苛刻的要求。

尽管视差计算需要进行密集处理，但两次实现相同的图像处理链的能力可显著节省开发成本。

上图给出了同构方案的架构，其中两条图像处理链主要基于可用的 IP 模块。图像数据采用定制的传感器接口 IP 模块捕获，并从并行格式转换为 AXI 流媒体。这样能实现轻松可扩展的图像处理链；我们可以利用高性能 AXI 互连以及视频 DMA 将结果从图像处理链传送到 PS DDR。

考虑采用不同类型传感器的异构实例， 我们可将上面介绍的图像传感器对象检测架构与 RADAR 距离检测相结合。对于 RADAR 的实现，我们有两个选择：脉冲方案(多普勒)或者连续波。具体选择哪种方案取决于最终应用要求，不过，这两种方法大同小异。

RADAR 的架构可分成两部分：信号生成和信号接收。信号生成部分负责生成连续波信号或者待传输的脉冲信号，无论哪种方案都需要利用信号生成 IP 模块与高速数模转换器进行接口连接。

信号接收部分也需要使用高速模数转换器来捕获接收到的连续波或脉冲信号。说到信号处理，这两种方案都需要使用通过可编程逻辑架构实现的 FFT 分析方法；同样，我们可使用 DMA 将得到的数据集传送到 PS DDR。

无论选择哪种实现架构,两个数据集的融合算法都是通过软件用 PS 来执行。另外，这些融合算法对处理带宽要求较高，实现更高性能的一种方法是使用现有工具集功能，尤其是设计环境 SDSoC™。

SDSoC 可利用 Vivado HLS 和连接框架（二者对软件开发人员都是透明的）无缝地在处理器与 SoC 可编程逻辑之间传输软件功能。当然，我们可利用高层次综合为同构和异构实现方式的处理链开发功能。我们还可进一步扩展，针对所选的实现方案创建定制 SDSoC 平台，然后借助 SDSoC 功能，利用未占用的逻辑资源进一步加速整个嵌入式视觉系统性能的提升。

结论

传感器融合已经扎根，同时,嵌入式视觉系统正在迅速增长，传感器快速推广和普及。All Programmable FPGA 和 SoC 提供的功能使多种类型的传感器可并行运行并按要求实现同步；同时，利用 SoC 处理系统或软核处理器来执行数据融合和决策活动。

系统和高层次综合工具（如 SDSoC 和 Vivado HLS），为工程设计团队带来了多种优势，可确保如期进行应用开发。