双目摄像技术分析--突破光学与尺寸的极限

另一个例子， 假如我们我们有一个获取视频的固定的摄像机。逐帧配准后，我们可以估计（a）运动物体，（b）背景，且用新的方式向观众呈现（figure 12.2）。还有个例子，我们能够构建圆柱面全景图像，模仿圆柱面摄像机拍摄的图像。甚至球面全景图像，模拟球面球面摄像机拍摄的图像。全景图像的一个特性看起来像一个视角的图像，容易查询提取信息。特别地，容易使用全景图像模仿摄像机旋转聚焦点时之所见。

创建拼接式图像配准的一个重要应用。在最简单的例子中我们希望配准两张图像我们先找到标记，然后确定哪些点是匹配额，然后选择转换关系，并最小化２次匹配误差。Brown and Lowe(2003)给出了寻找标记的策略。他们找到感兴趣点，然后计算领域的ＳＩＦＴ特征，然后使用近似最临近点方法寻找匹配对，一小组匹配点足以拟合映射关系。

figure 11 左图，空中飞机拍摄的视频帧（钓寒江雪翻译）。这些帧被矫正并拼接到右图，其中显示（a）视频中飞机飞行轨迹和（b）观察者的飞行轨迹。注意拼接显示了飞机移动速度（可看到每一个飞机拼接实体间距多远；如果间距远，说明移动快）。

这类有两种有用的转换关系。最简单的例子中，摄像机是一个垂直平移的摄像机，且它被平移。这意味着图像标记平移（钓寒江雪翻译），因为我们只需要估计图像之间的平移量，另一个复杂的例子，摄像机是一个绕其焦点旋转的透视的摄像机。如果我们对该摄像机一无所知，这个I1和I2的关联部分是一个面投影转换关系，又称单应变换。了解更多关于摄像机及环境信息，能够得到更紧的约束条件的转换（钓寒江雪翻译）。

在单应坐标中，转换关系将点I1中的Ｘ１＝映射到Ｉ２中的。转换关系的形式是3x3行列式非零的矩阵。记为Ｈ。我们用平面上４个对应点估计元素值。记为第Ｉ１中第ｉ个点，对应，现在我们有式

Figure 12

如果我们叉乘并相减，我们根据每一组映射点对的未知矩阵入口得到单应线性方程，例如：

这个系统给出了H大小的（up to scale,原文）求解方法（我们工作在单应坐标系下）。这是一个根据少量点估计Ｈ好的方法，　但当我们有一大堆映射点对时，可能得不到最准确的解。这种情况下，我们应该最小化Ｈ的函数

其中g是判别函数，如果我们有外点的话，这不是个好主意，或者一个M估计器。这个函数值关于H的大小是不变的（意思是H矩阵的元素统一放大或者缩小都不影响函数值），所以我们需要一个归一化的形式（钓寒江雪翻译）。我们可以设置一个量为1来归一化（不是个好主意，因为这带来了偏置量），或者要求Frobenius 范数等于1。好的估计单应矩阵的软件已经可以在Web上获得。Manolis　Lourakis在http://www.ics.forth.gr/~lourakis/homest/发表了一个 C/C++ 库; there is a set of MATLAB functions for multiple view geometry at一个ＭＡＴＬＡＢ多视几何函数集，http://www.robots.ox.ac.uk/~vgg/hzbook/code/,作者是 David Capel, Andrew　Fitzgibbon, Peter Kovesi, Tomas Werner, Yoni Wexler, and Andrew Zisserman.

最后，OpenCV也有单应估计方法。

如果有超过2张图像，配准图像到拼接图像更有意思。想想我们有三个图像，我们能够配准图像1到图像2，然后图像2到图像3。但是如果图像3具有一些图像1所具有的特征，这可能是不明智的做法。记为图像2到图像1的转换关系（依次类推）。问题是可能不是图像2到图像1的转换关系的好的估计。在三张图像的情况下，误差可能不是那么大，但是能累加。　

为了解决误差累加的问题，我们需要使用全部的误差值一次估计所有的配准数据。这个动作叫做绑定调整（bundle adjustment），依靠分析运动中结构的相关项实施（章节8.3.3）。一个自然方法是选择一个坐标帧，图像帧再其内工作－例如，第一帧图像，然后搜索一系列其他图像与第一幅图像的匹配关系，并最小化点对误差平方和。例如，记为第j元组，它由图像ｉ中及图像k中组成。我们可以通过最小化下式估计和，　

(其中，如果没有外点，g是一致的，否则是M估计器)，然后用转换关系配准。注意，随着图像数量增加，这个方法可能带来大的和差的优化问题（钓寒江雪翻译），很可能出现局部最小值，所以需要从一个好的转换估计值开始。配准独立图像对能够提供这样的起始点。一旦图像已经配准到另外一副图像，我们能得到一单张全景图像，然后小心地混叠像素以处理由镜头系统导致的空间亮度变化（图12.5）。　

基于模型的视觉：使用投影配准刚性物体

MODEL-BASED VISION: REGISTERING RIGID OBJECTS WITH PROJECTION我们现在已经可以用图像配准刚