便携式设计中图像采集与处理的挑战与解决方案

这个共分四部分的系列文章深入研究了在手机和其他手持设备平台上的图像采集与处理的趋势以及设计上的挑战。本部分主要讨论的是使用软件增强光学性能。

晶圆规模的制造技术的发明使得以非常低廉的成本生产及其紧凑的相机模块成为可能。处于物理上的原因，很小的相机模块其性能要劣于大一些的相机模块，但小相机模块产生的缺陷可以通过新式的采用晶圆规模制造的镜头结构来纠正。然而，这只能用来保持现状，无法提升图像质量也无法增强用户的体验。

当前，高分辨率拍照手机的设计师们已经可以仅突出像素数量来向消费者推销其产品。随着拍照手机的广泛应用（已经超过80%的手机安置了至少一个摄像头），消费者们已经意识到图像的质量和其像素数不存在必然的联系。事实上，从火星车上传回的令人惊叹的图片是通过仅为1M像素的相机拍摄的。同样，专业级相机的设计师们已经很早就知道，为了获取一个更高质量的数码图片，就需要光学和软件的密切配合。

如在本文的第一部分讨论的那样，客户的需求提高了新式拍照手机的图像质量以及一系列嵌入式功能。其中最让人期待的是光学变焦、调焦以及低光学灵敏度，例如没有闪光的拍照。所有这些功能都是实现起来相对简单的，前提是允许增加高度和成本，尤其是变焦的范围。传统的变焦需要两个镜头来在相机内的光轴上做相对运动。这可以通过微型驱动器来完成，但最终的产品会体积大、功耗大、反应速度慢，并且不符合便携式电子设备的恶劣环境下的完整无损，尤其是"跌落试验"。因此，相机模型的设计师们如何能提供所有的消费者所需的功能，提高图片质量，同时不影响产品的外观、可靠性以及最重要的成本？答案就是软件增强光学。

软件增强光学

软件增强光学，或称之为"智能光学"，是一种对已知光学效应进行图像处理的纠正技术。光学效应可以是必须予以纠正的内在缺陷，或有意引入一种能提供某功能或特定效果的人为修正。如果目标仅仅是提高图像的质量，那么可以不用投资购买高质量、高精度的光学设备，可以通过软件就可以纠正由低廉光学镜头仓引来的已知畸变。例如，如果尺寸以及成本受限，就意味着图片的角落总是存在相同程度的模糊不清，软件增强光学可以应用边缘锐化算法来修正这些角落区域。然后，用户就会对这样的图片感到满意，因为这些相机模块内部固有的缺陷可以修正或被掩盖，而呈现出的图片在所有部门都很好。为了进一步高效，这种修正可以完全做到对用户透明，即无需用户干涉。

有了这种软件增强光学的概念，新的机会处处逢生。这些基本的方法是使用专业镜头，在光线进入相机时对这些光线进行操作，按照所需的功能来将这些光线在分布在成像器上。受操作的图片没有直接使用，它需要软件进一步修正。然而，因为图像按照已知的方式被操作，在数字上是可以被恢复的，从而高质量的输出被提出出来。通过这种办法便可实现很多功能，包括无运动部件的全光学变焦、延长景深以及低能见度环境下的小F值光学性能。

用于光学变焦的软件增强光学解决方案利用了这种现象，即在常规光学镜头仓中，信息的密度在视野范围内是不一致的。中心区域包含了更多的数据，而边缘相反。然而一个图像传感器有一个规则的、二维的像素阵列。这意味着取景时，成像器的中心是正常采样，而边缘是过采样。软件增强光学解决方案利用了特定设计的像素镜头，从而提供了视野内非均匀分布的光学感应性能，从而与固态成像器的量化格式相吻合。在效果上，这与自然界所采取的传统方法相反。很多带有单孔径眼睛的动物，尤其是鸟类，有一个标准的"镜头"，但在视网膜上的导管和圆锥细胞是非均匀分布的。在这两种情况中，都会导致图像失真，但都可以得到纠正，因为镜头的设计以及成像器（或者视网膜）的像素分布都是已知的。

为了能以一样的放大倍数查看，算法必须压缩视野中央区域的细节，因为在这个区域中专业镜头增加了放大倍数和分辨率。因此，压缩不会降低图像的质量，而实际上，软件增强镜头解决方案在这样的设计中，可以使得图像质量与传统的相机产生的一样。当图像进行缩放时，图像的边框会出现，而已经放大的中央区域会被保留。随后，图像会被纠正失真。这是与数字变焦最大的不同，因为变焦是镜头运动的结果，并在图像采集时已经固定下来，因此变焦后的图像保留了其原始的较高的分辨率。软件增强光学可以实现3倍的变焦。

图7是一个使用软件增强光学来提供变焦功能的例子。在这个方案中，没有可运动的部件，即是物理上的紧凑型、坚固耐用、瞬间可视、耗电量很小的、进而成本很低。这明显好于数字变焦。数字变焦涉及到了图像的修剪和扩展来填补视野，这自然会降低分辨率，因为可用的信息将分散在更大的区域上。在一个3倍的数字变焦中，几乎90%的质量信息会在图像采集时丢失，这也是为什么数字变焦只提供了很小倍数的放大功能。用于变焦的图像增强解决方案可以通过固定镜头和一个简单的算法来实现。这使得这种方案对所有成像器技术以及所有分辨率（从QCIF到>10M像素）都适应，所以预计将在短期内广泛应用于拍照手机中。



图7. 使用OptiMLTM变焦软件增强光学解决方案实现的光学变焦（仅显示视野的中央区域）(左图）进行失真纠正前的图像（中图）经过1倍光学变焦放大的失真纠正后的图像（右图）经过2倍光学变焦放大的失真纠正后的图像。来源：Tessera公司

通过拍照手机得到的图片往往是出于"一时兴起"的事情。消费者不希望场景是安排好的，并且将没有时间或感到麻烦来将相机和他们本人置于距目标最合适的地方。借助于这些小型光学器件，一个传统的相机模块只需在一定的距离内聚焦目标，典型的是60厘米到数十米。由于未能了解和遵守这个限制，消费者往往对他们自己成像后的图片无法感到满意。针对这个问题的图像增强解决方案是"扩展景深"。这导致了场景的所有细节将会被定焦，只要这些细节在距相机模块10厘米到无穷远的范围内。类似于软件增强镜头变焦方案，这可以通过专业镜头提供的光学放大和一个简单算法的合并得到。它不涉及任何运动部件，因此是坚固的、可靠的、瞬时的并低功耗的。

在传统的相机模块中，光学镜头仓被设计用来聚焦光源点，因此放置在相机内离成像器一定的距离的位置上。如果镜头无法聚焦或者目标离镜头太近，涂点会出现在弥漫的区域，因此图像会变得模糊。这种镜头将光源变换成模糊光斑的规律可以描述成一种数学上的变化，称之为点扩散功能。如果镜头的点扩散功能已知，模糊可以通过使用数字信号处理来恢复到原始的现场情景。但当图片中的仅某个区域失焦，则不管采用什么变换方法，都无法可靠的识别出来。软件增强光学解决了这个问题，方法是通过可控的方法来重新定焦整个图像。镜头有效的创建了一个不管离光源多远模糊程度都一样的图像，这可以通过一个直接的算法来进行解交织。其结果使得图像更加良好、清晰，不管前景、中距或者远景都能同时在焦点上。图8给出一个很好的例子。



图8.一种传统的镜头只能聚焦有限范围内的目标，尤其是中距和远距离的目标；一种软件增强光学解决方案，如OptiML聚焦，可以实现扩展景深，从10厘米到无穷远，而无需增相机模块的高度或者复杂度。来源：Tessera公司

关于拍照手机的主要抱怨之一是其低能见度时的性能。其实这只是一个半真理命题。小型相机模块因为其像素尺寸的缩小，无疑导致了相对于数字静止相机光学灵敏度的降低。从2007年像素尺寸为2.2μm到2008年的1.75μm，预计2009年会发展到1.4μm，最终会达到1.1μm，这一趋势会对低能见度性能和图像质量有着显著的影响。简而言之，随着像素尺寸的降低，其敏感度也在减小。从更为技术的角度来看，光二极管吸收光子和释放电子的能力随着像素的下降而减弱。小像素尺寸带来的其他相应影响，包括第动态范围和下降的信噪比。现实中，拍照手机较差低能见度性能的感知更主要的是由越来越多在低能见度环境下拍照而带来的；典型的，在晚上以及在如俱乐部和饭店等场所，在这些地方的光照强度大约在5 lux，而远远小于白天室外的>350 lux。由于亮度下降，从数字成像器得到的图片质量自然迅速恶化，如同增加噪声一样出现缺陷，细节丢失或者色彩错误。

拍照手机低能见度性能不足的一个重要原因是，无法改变光学镜头仓的F值，因为这在制造时就一定固定了。大多数数字静态相机提供了一个增大光圈的选项，来补偿昏暗场景下光子数目的减少。但机械可调光圈会使得机身变得很大、不坚固、反应速度慢并功耗较高。简单的降低固定光圈相机的F值来提高低光敏感度，不是一个很好的选择，因为较大的光圈会减小景深，从而当场景有景深时很难获取一个很好的图像质量。典型的，标准拍照手机使用的光圈在F/2.8到F/2.4之间，主要是为了保留足够的深度，来对正常亮度条件下的对焦。一个简单的成像光圈固定，在低光条件下，不能延长曝光时间。然而，这会使得图片易受到运动模糊或机身晃动的影响，并且不可能用于视频采集，因为视频采集需要曝光时间受帧率限制在67毫秒以内。
"速度"是描述光学系统将光线传递到成像器的能力的一种简单方法。在光线好的环境下对"慢镜头"进行操作。这是因为，光学允许使用小光圈以及慢快门来获取很好的景深。而在差光线下或在好光线但需要快门速度很快（如下面提到的体育运动）的条件下拍照，需要一个"快镜头"。因此，这个挑战是在光照条件、景深、快门速度间提供一个很好的联系，并开发一种快速镜头来适用于低光场景。

软件增强光学为拍照手机提供了一种全自动解决方法，从而可以使消费者可以在更广泛的光照条件下拍摄清晰的图片。这种方法的基本思想是设计带有低F值光学器件的相机模块，典型是F/1.75，并通过一种上述的扩展景深解决方案来将景深恢复成正常情况。低F值光学器件使超高速镜头解决方案适用于静态摄影以及视频采集。信号处理可以补偿对比度的损失并随后降低最终图像中的噪声，而保留了原始图像的边缘、细节以及质地等。这是可能的，因为写入线性缓存器中供算法使用的信息提供了基于像素平均的数据，并提高了图像的信噪比约6个dB。该种方案的有效性可以通过对比图9中由1.75μm成像器得到的两张图来描述。



实现

软件增强光学综合了专业镜头和自定义的算法，从而提供了有着卓越质量的图片，并对用户完全透明。然而，相机模块的设计师们需要事先考虑如何将这些增强技术纳入到手持机中，而不是一个插件的形式。原则上，所有需求只是一个客户制定的光学镜头仓中的镜头，这可以通过现有的架构和镜头材料来制造而成。自定义的镜头可以甚至可以取代现有的镜头。和这个镜头一起的，还有图像处理算法。用于这些方案中的算法可以非常小，通常是10万级逻辑门。这对于嵌入到CMOS成像器而言非常小，但这需要与成像器制作商协调，然后模具必须安置正确的光学器件。

另一种放置算法的方法是软件或固件的形式，可以运行在图像处理器或者手机处理器上。同样，两种方案在技术角度上都很简单，但需要与传统的相机模块供应商进行很好的沟通。不过，这些方案的益处是如此引人注目，带有扩展景深的3百万像素拍照手机已在量产并将在2009年配置到高分辨率相机-连同变焦和超快速镜头解决方案。

虽然这些可以提升高度微型化和低成本相机模块的原始性能的软件增强光学工作，是独立于变焦解决方案，他们都没有提供可以提升用户拍摄体验时的满意度的功能。这个问题并不涉及相机模块设计师们，而是原始设备制造商的任务。一个数码相机最常见的问题是红眼现象，这解释了为什么当前80%以上的数码静态相机都实现了减弱红眼现象的功能。这些功能是否会在拍照手机上提供，以及它们是如何被集成的，我们将在本系列文章的第四部分讨论。