深度学习在无人驾驶环境感知中的应用方案

一个是检测，训练一般主要是离线进行，就是把采集到的样本输入到训练的网络中。训练网络进行前向输出，然后利用标定信息进行反馈，最后训练出模型，这个模型导入到检测的网络中，检测网络就可以对输入的视频和图像进行检测和识别。通常情况下，样本的数量越多，识别的精度一般也会越高，所以这个样本的数量是影响深度学习精度重要的一个因素。

深度学习在无人驾驶感知上应用前景广阔

一般的环境感知方面用到的深度学习会多一些，主要是视觉与毫米波雷达方面。在驾驶策略里面也会用到机器学习，但是我们一般叫做增强学习，用于驾驶策略的研究。在环境感知方面，深度学习可以在视觉感知、激光雷达感知，还有驾驶员状态监测等方面，甚至在摄像头和毫米波雷达融合方面都具有优势。

在环境感知方面，我们在这方面做的重要工作就是前向视觉感知应用。大家知道前向视觉感知是作为无人驾驶很重要的一部分，我们尝试深度学习在这方面一些应用。主要采用了单目摄像头的方案，选用的模型是Faster R-CNN，在GPU TITAN 平台上运行。目标检测物主要包括车道线、车辆、行人、交通标识和自行车，目前车辆的样本有3万左右，行人样本大概2万左右，其他的样本较少，大概1000—2000。从运行效果来看，识别精度、识别类型较以前开发的一些传统的视觉算法，我们觉得有比较大的改善。

深度学习的优势之一，容易扩展目标物体类型。

例如，我们当初只有对车的样本进行了学习，发现效果不错，然后把人的样本加进去，再把自行车的样本加进去，效果都不错，按照这个逻辑，你只要采集到样本，放进网络去训练学习，然后就可以做出相应的检测。如果学习样本达到2000以上，就能有一个比较好的效果，样本越多精度一般会越好的。

深度学习优势之二，能够提高部分遮挡物体的识别精度。

例如在图1中如果采用传统的视觉算法，人在车辆前面，一般的车辆检测比较困难。在图2中，可以看到深度学习的检测结果，红色车的前面已经有人和自行车，但是这个车辆仍然能够被检测到，采用深度学习能提高部分遮挡物体的识别精度。

深度学习优势之三，可以解决临车道车辆部分出现视频中的识别困难问题。

其中图1是采用传统的算法，右车道白色的车辆没有被检测出来。为什么没有被检测出来？我们知道一般的传统算法主要是对车辆后部的车子进行检测，对车辆侧向的检测并不好，离你最近的两个车道临近车辆其实对你也是一个危险物。如果能把左右车辆出现部分车辆能够检测出来，我觉得这个对视觉也是一个比较大的改善。前面讲的特斯拉事故，就是说一个车停在路旁，前面的车突然转道，刮蹭的事故中就是因为这个车辆离它太近，没有检测到故障车辆的原因。从图2中可以看到我们用深度学习检测的效果，右车道车辆只有部分在图像中，这个车辆仍然能够被检测出来。所以我们感觉利用深度学习可以解决临道车辆部分出现在视频中识别困难的问题。

深度学习优势之四，可以减少光线变化对物体识别精度的影响。

图1是晚上的识别效果，但是实际上我们整个训练样本中没有晚上的车辆和行人。我们最后是把训练之后的网络，检测晚上的视频，效果不错。图2中可以看出，右边树荫底下的几个人，其实如果用肉眼看很难分别出来有几个行人，但是使用深度学习，基本上能把行人都检测出来了。以上就是我们在深度学习中的一些体会，不一定正确，因为我们只是做了一些粗浅的研究。更细的问题，如果大家有什么好的建议，或者发现有一些更新的东西我们可以一起来分享。

小结：

1，深度学习在无人驾驶视觉感知方面，相对于传统的视觉算法，在精度、环境适应性和扩展性方面有一定的优势。前面看到的几个，都是我们做的一些实践的总结。

2，深度学习大家知道除了在视觉方面，在毫米波雷达、激光雷达甚至驾驶员识别方面，我们觉得也有广阔的应用前景。特别是驾驶员状态识别方面，我想提一下，因为最近特斯拉的一些事件都是驾驶员采用的无人驾驶状态，然后把手撒开方向盘，手没有在方向盘上。如果我们有一种摄像头可以检测到这个驾驶员状态的话，那么可以给驾驶员提醒，甚至说监督驾驶员是不是把手放在方向盘上，这样可以减少事故的发生。

3，我们这个PPT仅仅是探讨了深度学习在视频检测中的一些粗浅的应用，距离工程化应用方面仍然还有很多的技术困难需要克服。