为何自动驾驶/无人机/服务机器人都离不开这三种视觉算法

出即是系统的输出。

考虑到camera数据和IMU数据通常是不同步的，因此通过硬件时间戳，需要判断图像数据对应的时间戳与IMU时间戳的关系。在EKF propagate步骤，更高帧率的IMU数据不停的更新EKF的状态。在camera数据到来时，触发EKF update步骤，根据EKF建模方程来更新状态变量、协方差矩阵，并且重新更新所有晚于camera数据的IMU数据对应的状态变量。

Segway Robot采用了业界领先的视觉惯导定位系统，下面是一个在楼道里面运行一圈，回到原点之后的效果图，具体有如下优势：

1．在大尺度下可以保证非常小的闭环误差

2．实时运行，需求CPU资源小

3．允许快速旋转等情形，不会跟丢

算法三：避障

Q：视觉避障的算法原理是怎样的？

导航解决的问题是引导机器人接近目标。当机器人没有地图的时候，接近目标的方法称为视觉避障技术。避障算法解决的问题是根据视觉传感器的数据，对静态障碍物、动态障碍物实现躲避，但仍维持向目标方向运动，实时自主导航。

避障算法有很多，然而这些方法都有严格的假设，假设障碍物为圆形或假设机器人为圆形，假设机器人可以任意方向运动，s或假设它只能走圆弧路径。然而实际应用上，机器人很难达到条件。比如VFF算法， 该算法假设机器人为点，而且可以任意方向运动。VFH＋假设机器人为圆形，通过圆形膨胀障碍物，在考虑运动学问题时仅仅假设机器人以圆弧路径运动。DWA也假设机器人为圆形，在考虑运动学问题时只模拟了前向圆弧运动时的情况。

相对而言，我们不限制机器人的形状，考虑运动学问题时，模拟多种运动模型，而不限于圆弧运动，因为这样可以为机器人找到更佳避开障碍物的行为。

这张图显示了使用不同运动学模型导致不同的避障结果。左图表示使用圆弧模型时模拟的路径，右图表示使用另一种路径模型模拟的路径。在这种狭小环境，此方法可以提前预测多个方向的障碍物情况，选择合适的模型可以帮助找到更合适的运动方向躲避障碍物。

和目前常用的避障算法之间存在的差异在于，它将运动学模型抽象化到周围环境地图中，然后就可以使用任何常用的避障算法，这样就解耦了运动学模型与算法的捆绑，而且任何要求严格的避障算法都能加入进来。Segway Robot的避障系统，综合了深度传感器，超声波，IMU等sensor。在复杂的环境中，可以自如躲避障碍物。

这张图是我们的避障系统的一个截图，可以看到深度图和2维的避障地图。最下面红色的指针就代表了每时每刻避障的决策。

精彩问答

Q：为什么选用ir相机而不是传统的rgb相机呢？ir相机相对来讲的优势在哪里？

A：ir相机可以看到人眼看不到的物体，比如深度相机需要在室内投射红外纹理，帮助深度识别。人眼看不到，但ir相机可以看。

Q：现在机器人导航是否主要是slam技术，还有没其他导航技术？主要流行的slam技术有哪些？用于无人驾驶和无人机的视觉导航技术有哪些异同？

A：slam技术是导航中的一个基础模块，种类很多，有单目，双目，depth，imu＋视觉等传感器为基础的算法。双目相机可以很好的适应室内和室外的环境。他的体积其实非常小，segway robot使用的camera长度在10cm左右

Q：现在有无用于机器人导航的导航地图存在，类似车载导航地图？用于机器人导航的地图数据有哪些？

A：现在还没有这样的机器人导航地图存在，但是是研发热点。比如tesla和mobileye的地图之争。