莱迪思技术专家分享：基于FPGA的视频监控时代

　　作者：莱迪思半导体公司 Kambiz Khalilian

　　视频监控市场及发展趋势

　　不断升级的安全问题迫使各国政府和机构在监控和安全设备上投入巨资。此外，在图像及视频处理领域的技术创新彻底改变了视频监控行业，这不限于安防，还包括银行、交通、教育、零售、医疗保健，游戏和其他领域。根据ABI Research的预测，整个视频监控市场的收入将从2008年的16亿美元增加到2015年的29亿美元，有9％的复合年增长率。

　　视频监控已经从模拟标准清晰度摄像机和VCR转变到兆像素的高清摄像机，以及DVR到通过以太网的IP网络摄像机的视频流，到基于云计算的网络视频录像机（NVR）。取代了现场观看，连续记录和通过记录材料的可视化搜索，智能摄像机和录像机目前已能够实施基于事件的录像和报警触发，并通过记录材料自动搜索。

　　这些先进的安防和监控设备与先进的图像传感器技术和半导体的图像信号处理功能紧密结合。这些包括摄像机的架构，传感器接口/传感器桥接、图像信号处理、高动态范围（HDR）处理和视频分析。

　　摄相机的体系结构

　　一个典型的摄相机由图像传感器，图像信号处理器和一些输出接口所组成。除了这些功能块之外，摄相机还可以包括视频压缩或视频分析功能。图1示展示了LatticeECP3 FPGA器件上实现兆像素网络摄像机的一个实例。

　　图1 用FPGA实现的摄相机架构

　　传感器接口/传感器桥接

　　通常图像信号处理器（ISP）有一个或多个图像传感器接口。最常见的图像传感器是CMOS传感器。较低的分辨率和较低的帧速率传感器可以通过并行接口连接到ISP。更高分辨率和更高帧速率的图像传感器需要高速的接口，包括MIPI、Aptina HiSPi或sub-LVDS接口。低成本的ISP通常只支持一个并行接口。因此，传感器桥接功能必须能够转换MIPI、HiSPi sub-LVDS信号至并行接口。低成本的FPGA可用于转换MIPI、HiSPi或sub-LVDS接口至并行接口。在图2中，莱迪思的MachXO2 FPGA用于转换来自两个Aptina图像传感器（MT9034）的HiSPi传感器信号到一个并行格式，然后用TI DSP器件（DM8127）进行处理。

　　图2 使用FPGA的传感器接口桥接应用

　　图像信号处理（ISP）

　　图像信号处理器（ISP）通常由多个视频处理算法组成，对输入的视频流，以集束流水线的形式执行图像增强和转换功能。图像流水线可以实现为软件在计算机，FPGA或数字信号处理器（DSP）上运行，或作为一个专用应用标准产品（ASSP）。

　　图3 用FPGA实现的图像信号处理器（ISP）流水线

　　图3中展示了一个典型的图像处理流水线。从CMOS图像传感器接收到原始的传感器数据。线性化之后，根据与它们相邻的像素值校正有缺陷的传感器像素。典型的图像传感器提供了灰度图像，通过使用bayer滤波器（称为de-bayering）转换成红，绿和蓝色。彩色校正矩阵（CCM）用来消除红色，绿色和蓝色像素之间的色度亮度干扰。

　　自动曝光（AE）模块自动调整曝光时间，以弥补不断变化的光照情况。HDR算法改进了图像的亮和暗区域的对比度（HDR将在下一节中做更详细的解释）。自动白平衡（AWB）根据场景中的一个白色参考点对所有颜色作出调整。噪声减小器消除噪声，在不同的平滑颜色的区域常可见有明显错误颜色的随机点。噪声随着温度和曝光时间而增大。伽玛校正重新分配原本的摄相机色调级到更均匀的和更适合人眼观看的水准，从而最有效地使用一个给定位的深度。

　　重叠功能使得文本和图形能够在视频的顶部重叠，用于显示菜单或摄相机的设置。根据特定的要求，可以添加额外的功能模块。可以变化压缩算法H.264或JPEG来达到这些要求，可运用运动检测、目标检测，或人脸识别来进行智能视频分析。

　　HDR处理

　　图像的质量取决于各种因素，包括照明。根据照明情况，场景的部分区域可能太暗，而有些区域太亮。在这些区域往往看不到细节。丢失的细节可能在应用中是非常重要的，那里需要作出关键的决策。

　　图4 HDR处理实例

　　动态范围（也称为图像的最大对比度）描述图像的最亮点到相同图像最暗点之间的比率。人的眼睛能够看到这两个区域中的细节，但大多数图像传感器具有有限的动态范围，并且不能够捕捉相同图像在这两个区域中的细节。为了能够在高对比度区域看到细节，需要捕获具有不同的曝光时间的同一场景的多个图像。需要很短的曝光时间以捕获非常明亮的区域，需要长曝光时间以捕获暗的区域。

具有不同曝光时间的图像可以被组合成一个图像，提高了图像的动态范围。不同曝光时间的场景捕获和这些图像整合为一个图像被称为高动态范围（HDR）处理，也被