双目摄像技术分析--突破光学与尺寸的极限

背景知识

运动模糊

钓寒江雪整理

Figure 1 水平方向运动模糊50像素（图像已经缩小）

Figure 2 水平方向运动模糊10像素（图像已经缩小）

Figure 3 软件模拟水平方向运动模糊5像素（图像已经缩小）

Figure 4 软件模拟无运动模糊（图像已经缩小）

Figure 5 软件模拟运动模糊对比（图像无缩放，左上：无运动模糊，右上：运动模糊5像素，左下：运动模糊10像素，右下运动模糊50像素）钓寒江雪整理

Figure 6 软件模拟运动模糊对比（图像无缩放，左上：无运动模糊，右上：运动模糊5像素，左下：运动模糊10像素，右下运动模糊50像素）钓寒江雪整理

Figure 7 软件模拟运动模糊对比（左上：无运动模糊，右上：运动模糊5像素，左下：运动模糊10像素，右下运动模糊50像素）钓寒江雪整理

Figure 8 运动模糊（左30毫秒，右50毫秒）

Figure 9 运动模糊（左10毫秒，右30毫秒）

图像配准

配准是寻找从一个数据集到另一个数据集的转换关系的问题。大部分这类直接形式中，这两组数据集的维度相同(例如，我们配准3D数据到3D数据或者2D数据到2D数据)，转换方式有旋转，平移，也可能有缩放。好的方法对此类问题非常有用。很多案例中人们希望知道一个在与自己具有相同维度的数据集中的目标的位姿—世界坐标中的位置和方向。例如，我们有一个病人体内的MRI（核磁共振）图像（3D数据集），我们希望叠加在真实病人的画面上以指导外科手术。这种情况下，我们希望知道旋转，平移，缩放模型，用以将一个图像叠加在另外一个图像上（钓寒江雪翻译）。还有个例子，我们可能有一个2D图像模板，我们想在一副航拍图像中找到该模板，我们同样需要知道旋转平移和缩放关系，以将一副图像叠加在另外一个副上。我们可能也使用匹配质量打分的方式来表示我们是否建立了正确的匹配关系。我们使用搜索和发现位姿恒常性特性来解决此类问题。位姿恒常性是指刚性物体中不同特征集反应该物体相同的位姿。结果，刚性物体配准问题变得简单很多，因为我们只需找到一小部分特征来估计物体的位姿（钓寒江雪翻译），且我们能用其他部分来确认该位姿。

该问题一个重要的变种是在投影关系下实施配准。这种情况下我们看到一个3D物体的图像，且需要将该物体配准到图像。通常，这个问题能够用同维度数据集配准的搜索算法来解。这里我们需要借助一种有时被称为摄像机恒常性的特性的帮助，摄像机恒常性意思是图像中的所有特征在都是同一个摄像机拍摄的（钓寒江雪翻译）。摄像机恒常兴意味着，刚性物体到图像的匹配搜索问题被大大简化，因为我们只需要一小撮特征来估计物体的位姿和摄像机的标定，且我们可以用其他剩余的特征来确认位姿。

最复杂的配准问题是要处理能发生形变的物体。这种情况下，配准两个数据集的转换模型是个大家族（译者注：不只旋转，平移，缩放，投影）。搜索特定转换相对而言更加复杂。配准可形变土体是医疗图像分析的一个核心技术，因为人体组织可形变且通常在不同的成像模式下对相同的身体部分进行成像。

刚性物体配准

假设我们有两个点集，源集与目标集。目标集是源集的旋转，平移及缩放版本，且其中可能有噪点。我们希望计算该旋转，平移及缩放量。

这个问题可以直接表达为公式，如果我们知道到的映射，记为目标点集合中某点索引到源集中第i个点（钓寒江雪翻译）。这种情况下，我们可以计算一个最小二乘方程，最小化

其中s是缩放因子，是旋转，是平移。如果目标没有缩放，我们设s=1。

我们能可以用数值优化的方法解该优化问题，虽然该问题有解析解。Horn(1987b)认为平移两可以从中心点恢复，旋转和缩放可以从点集的各类矩中得到。事实上，这篇文章认为如果目标是源的旋转平移和缩放版本，点到点的映射关系无关紧要。这个案例违背了配准问题，但是实际中并不常见。

更普遍地，S是一个从几何结构中采样到的点集，T是一个从相同结构的旋转平移缩放版本中采样的的点集。例如，S可能是物体的集合模型，T是通过立体重构或者激光测距的方式获得。另一个例子，S和T可能是从不同的3D图像解剖结构数据集中通过特征检测齐获得。不同例子中，我们相信S是T的旋转平移及缩放版。但是T中的点未必对应S中的点。更糟糕，采样过程意味着我们无法准确估计矩。所以Horn的算法不行。还有糟糕的事情，数据集可能包含较大的误差和错误外点。

记

该数据集通过源集的旋转平移与缩放得到。在解决该问题的方法中，中大部分点需要靠近T中的一个点。且提供一个映射关系。我们通过估计映射关系来搜索正确的转换关系，然后通过估计得转换关系来估计映射关系，然后重复。我们也可以选择一小部分数据来搜索，然后用以估计转换关系。