为何自动驾驶/无人机/服务机器人都离不开这三种视觉算法

因为人眼看不到红外光斑，而且纹理非常复杂，这就非常有利于双目匹配算法，可以用非常简洁的算法，识别出深度信息。

尽管Kinect的内在原理官方并没有给出解释，在近年来一篇Kinect Unleashed的文章中，作者向公众hack了这个系统的工作原理：

首先，红外图像在基线方向上采样8倍，这样可以保证在做双目匹配后实现3bit的亚像素精度。然后，对图像做sobel滤波，使得图像的匹配精度提高。而后，图像与预存的投影光斑模板图像进行SAD block matching。该算法的计算复杂度小，适合硬化和并行。最后，经过简单的图像后处理，下采样到原始分辨率，得到最终的深度图。

我们可以看到，随着2009年Kinect设备在消费机市场的爆发（发售头10天100万台），逐渐开始催生了类似技术变种在移动端设备的研发热潮。从2013年至今，随着计算能力的提升和算法的进步，硬件成本更低的主动／被动双目深度相机开始在移动手机上涌现。

过去认为很难实时运行的双目匹配算法，即使在没有主动结构光辅助的情况下，也表现出非常优异的3D成像质量。Segway robot采用了主动／被动可切换的双目深度视觉系统。如下图所示，

左侧三个传感器分别为，左红外相机，红外pattern投影，右红外相机。在室内工作时，因为红外光源不足，红外投影打开，辅助双目匹配算法。在室外工作时，红外光源充足，红外投影关闭，双目匹配算法可以直接运行。综合看，此系统在室内外都表现出优异的深度传感能力。

算法二：定位导航

Q：视觉处理后，机器人是如何实现导航的？

机器人导航本身是一个比较复杂的系统。其中涉及到的技术会有如下列表：

视觉里程计 VO

建图，利用VO和深度图

重定位，从已知地图中识别当前的位置

闭环检测·，消除VO的闭环误差

全局导航

视觉避障

Scene tagging，识别房间中物体加上tag

机器人开机，视觉里程计就会开始工作，记录从开机位置起的6DOF定位信息。在机器人运动过程中，mapping算法开始构建机器人看到的世界，将空间中丰富的特征点信息，二维的地图信息记录到机器人map中。

当机器人运动过程中因为遮挡、断电等原因丢失了自身的坐标，重定位算法就需要从已知地图中定位到机器人当前的位置估计。另外，当机器人运动中回到了地图中曾经出现过的位置，往往视觉里程计的偏差会导致轨迹并没有完全闭合，这就需要闭环算法检测和纠正这个错误。

有了全局地图之后，机器人就可以给定一些目标点指令，做全局的自主导航了。在现实中，因为环境是不停变化的，全局地图并不能完全反映导航时的障碍物状况，因此需要凌驾于全局导航之上的视觉避障算法进行实时的运动调整。

最后，一个自动的导航系统还需要机器人自动识别和理解空间中的不同物体的信息、位置、高度和大小。这些tag信息叠加在地图上，机器人就可以从语义上理解自己所处的环境，而用户也可以从更高层次下达一些指令。

Q：视觉VSLAM在机器人上的实现有哪些难点？

视觉VSLAM是一个集合了视觉里程计，建图，和重定位的算法系统。近年来发展很快。基于特征的视觉SLAM算法从经典的PTAM算法开端，目前以ORB－SLAM为代表的算法已经可以在PC上达到实时运行。下面是一个ORBSLAM的框图：

从名字可见，其使用ORB作为图像特征提取工具，并且在后续的建图及重定位中均使用了同一份特征点信息。相对于传统的SIFT和SURF特征提取算法，其效率高出很多。

ORB－SLAM包含三个并行的线程，即跟踪，建图和闭环。其中跟踪线程运行在前端，保证实时运行，建图和闭环线程运行在后端，速度不需要实时，但是与跟踪线程共享同一份地图数据，可以在线修正使得地图数据精度和跟踪精度更高。下图是ORB－SLAM地图的主要数据结构，

点云和关键帧。两者之间通过图像上2D特征点与空间中的点云建立映射关系，同时还维护了关键帧之间的covisibility graph关系。通过这些数据关联，用优化方法来维护整个地图。

ORB－SLAM在机器人上应用仍然存在如下难点：

1．计算量过大，在4核处理器上通常会占去60％左右CPU资源。

2．在机器人运动过快时会出现跟丢不可复原的情况。

3．单目SLAM存在尺度不确定的问题。在机器人快速旋转时，此问题尤其明显，很快会出现闭环误差过大无法纠正的情况。

针对尺度问题，有两种方法解决：增加一个摄像头形成双目SLAM系统，或者增加一个IMU形成松耦合／紧耦合的视觉惯导定位系统。这里简单介绍松耦合的视觉惯导定位系统。一般把VSLAM当成一个黑盒子，将其的输出作为观测量放到一个基于IMU的EKF系统中，EKF最终fuse的输