使用FPGA的高动态范围图像信号处理

 　　视频图像信号处理(ISP)从模拟信号时代发展而来，已经经历了很长一段时期。今天，数字信号处理实现了可以在位级进行图像数据处理，为图像质量提供了前所未有的控制。数字信号处理显然不等同于数字信号处理器或DSP。虽然DSP已经被广泛用于视频图像信号处理的数字领域，ISP可以由各种处理器件实现，如DSP、ASIC、ASSP和越来越多的现场可编程门阵列，即FPGA。

为什么使用FPGA?

有几个原因推动了FPGA的日益普及。这些原因中的两个反映了安防摄像机的最新趋势，大大增加了需要处理的图像数据量，第三个是经济方面原因，即摄像机元器件材料成本(BOM)。

安防摄像机的趋势：有两个主要趋势正在改变安防摄像机的结构设计方法：

1. 百万像素传感器的问世

2. 对高(或宽)动态范围(HDR/WDR)的需要

百万像素传感器

曾经有一段时间，VGA分辨率传感器对于安防目的的摄像机来说已经足够了，当时通常由操作人员来监查或者仅是存档以备日后查看。然而，随着安防摄像头在全球范围内使用的数量急剧增加，没有足够的操作人员来监查，所以安防产业已经开始依靠软件来分析视频，用以监控是否在“关注的区域”有任何异常发生，无论是实时的或留作日后分析。复杂的视频分析(VA)算法已发展到可以将异常情况从正常情况中分辨出来;然而，为了更加切实有效，这些算法需要比VGA分辨率的摄像机所能提供的更多的细节信息。

摄像机需要更高的分辨率使得VA能够识别出有限和/或大面积区域内的一般活动，例如：一个停车场。一个摄像机需要约30像素/输入用于车牌识别，以及约150像素/输入用于查看更细节的活动，如确定收银机交易。一百万像素涵盖了7英尺X 7英尺范围内的详细信息，并且4个VGA摄像头才能抵得上一个一百万像素的摄像头。

图像传感器已经开发出来并且已经商业投产，适用于1百万、2百万、5百万甚至1千万像素的分辨率。显然，随着像素数的增加，因此必须处理的数据量也利用了更高的分辨率这一优势。

高动态范围(HDR)

HDR也称为宽动态范围(WDR)，用以测量传感器和ISP功能是否能够很好地区分黑暗和明亮区域。我们都对业余拍摄的以太阳为背景的家庭照片非常熟悉。虽然沐浴在阳光下的风景明亮清晰，但是人们的脸上都非常暗。这是因为(通常是自动)相机调整在阳光下的场景的曝光。然而，这个曝光时间太短，以至于无法正确识别较暗的对象。如果手动设定曝光或者使得光圈获得更多的光线，这样就能分辨出暗部的细节，但是这样做的结果是，现在明亮区域的细节已经过度曝光，甚至彻底洗白。这对于操作人员或者VA软件来说都不是一个好的结果，因为很多关注区域的细节信息都已经丢失。

HDR传感器使用创造性的方式解决了这个问题，根据不同的曝光时间拍摄多张照片，然后通过ISP流水线组合并融合这些图像，保存并呈现所关注区域的亮部和暗部区域的细节信息。显然，当对于同一个图像进行多次曝光，造成了所需处理的数据量增加。例如，当一台摄像机可以输出每秒60帧的全高清1080p图像，带有HDR传感器，每帧3次曝光，在其工作时，摄像机内的ISP流水线实际处理的是60× 3，即相当于180帧每秒。

FPGA和增加的处理负荷

一个百万像素的传感器和HDR相结合大大提高了ISP流水线的处理负荷。DSP器件本质上是“顺序处理引擎”，很难负荷巨大的数据处理负载。它可能仍然可以处理我们上述示例中高端DSP中的1080p 60HDR流水线的数据，但成本和功耗高得令人望而却步，并且在经济上无法负担。FPGA由于其固有的并行性，非常适合承担高清、高动态范围图像信号处理所增加的负载。

可编程的重要性

除了以极低的功耗和成本提供高性能之外，FPGA定义为可编程的，这提供了超越ASIC和ASSP的显著优点。ASIC的设计和构造都极其昂贵，一旦完成就不能更改。基于ASSP的摄像头设计可能会受到已经制成的标准件功能的限制，这也就无法再进行修改。事实上，在视频图像处理市场中的一些DSP和其它的ASSP器件，需要一个FPGA来桥接传感器和标准部件，以适应新的传感器制造商正在使用的新的串行接口，用于接收其传感器传输的百万像素数据。随着基于FPGA的实现方法的出现，摄像机制造商可以利用可编程的优势，迅速在其设计中采用新的传感器和技术，或迅速改变他们的ISP算法。

在FPGA中实现带有HDR的ISP

为了在FPGA实现带有HDR的ISP，至少必须实现如图1所示的图像信号处理流水线中的ISP块。

图1 图像信号处理流水线

需要以下ISP模块：

传感器端口，具有自动的黑电平校正：这对于检测和配置图像传感器寄存器和采集图像数