东南大学物联网交通应用研究中心
东南大学物联网交通应用研究中心
北京时间:
深度学习在无人驾驶汽车上面的运用有哪些?
2018-09-28 17:06   作者:   来源:搜狐网 推荐人:戴昀琦   浏览:66   我要评论
    要回答这个问题,我们首先要看看为了实现自动驾驶(特指L3以及更高级别的),有哪些问题是需要被解决的。

    我们首先来从人作为驾驶员来拆分这个问题,为了拿到驾照,你需要做到:


    任务1. 作为驾驶者,你必须拥有对车辆所有控件的控制;
    任务2. 在驾驶过程中,需要按照法律法规,行驶在规定道路内;
    任务3. 驾驶同时,要根据看到的路人,其他车辆,以及标牌来规划路线,改变驾驶状态,包括路口红绿灯判断,跟车车距调整,紧急情况应对;

    任务4. 启动/泊车/入库


    我们再来看看如果让自动驾驶来完成的话会如何实现:
    任务1对于自动驾驶来说不是问题,而且是自动驾驶的硬件基础
    接下来的任务都很大程度上可以被归为一个领域的应用:计算机视觉。
    在传统的机器视觉研究中(深度学习流行前),基于边缘检测实现的道路检测,基于HOG/SIFT特征的行人、车辆检测,基于HSV空间区域色彩判定实现红绿灯检测,这些都是已经被实现的技术,上过数字图像处理的人大致都用matlab撸过一遍这些代码,然而为什么集齐了龙珠却召唤不出自动驾驶的神龙?一方面因为这些方法太过专精,只对特定区域有效,另一方面驾驶场景何其复杂,我们也无法设计出能够覆盖所有情况的系统,光是条件语句就能写死人(插一句话,即使到今天,自动驾驶中还有大量的预定义场景,比如据传百度无人车, 三千多个场景,一万多个if语句)
    自从2012年开始,CNN网络在物体分类场景识别中一步步取得高分,神经网络模型不断被改良,以至于在数据库中达到人类水平的正确率,上面的问题很大程度得到了解决,我们从软件、硬件、数据三个角度分别阐述。
软件层面
    首先在识别任务中,CNN是可以理解图片中结构关系的神经网络,可以精确识别图像中的行人、车辆、路牌等等,但是这还不够,除了是什么,还有在哪里的问题,同时还需要有实时性,要是等CNN几百万个参数算完,人早就给撞死了。RCNN以及后续的Fast-RCNN以及Faster-RCNN(啧啧啧这命名品味)逐步做到了能够实时给出图像中物体位置。更进一步,2015 cvpr 的论文中有人开始使用CNN来分割图像,试图估测出每个部分与摄像头的距离:
 


   还有试图根据素材材质分割图像,判别目标轮廓(MAC-CNN):


    
    比起单纯的用bounding box圈出目标,这样的识别更接近人类的感觉,对于自动驾驶来说,也就越容易接近人类水平。
    目标识别的同时自动驾驶还需要再此基础上操纵车辆, RNN是用来处理序列的神经网络,RNN以图像(或者CNN处理过的数据)和人类驾驶员的操作序列为输入,学习人类的驾驶之外,使自动驾驶得以应对各种路况。
    深度学习主要用传感器来智慧操纵车辆,与这些建立在车辆上的自动驾驶不同,福特有更激进的想法,试图用基于城市的连接,车辆之间的链接,道路设施的链接,来创造一个完全智能调度的移动出行网络:



    这当然是可能的,但是难度远大于基于每辆车的方案(隐私,城市规划),并且深度学习涉及不多,这里不再赘述。
硬件方面
    硬件方面,神经网络的兴起伴随着GPU被大量应用。深度的神经网络中参数量动辄百万而且具有对不同数据相同操作的特点,适合并行计算的GPU被大量应用。在这次深度学习浪潮中,可以说最大的得利者不是用深度学习挖金矿的,而是卖锄头的英伟达。在英伟达显卡垄断深度学习硬件市场的背景和黄教主All-In深度学习的宣言下,英伟达的股票一年涨了三倍。但是具体到自动驾驶,大家都希望有专用的芯片,轻量化低功耗,而不是载着核弹到处跑,英伟达之前的Jetson系列嵌入式板子,把原本用到手机的平台拉来跑神经网络,倒是取得奇效,但是这些平台的性能还是过低,深一点的网络经常5fps都跑不到,用来识别猫猫狗狗是够了,拿来当老司机还是不灵,今年英伟达在CES上新发布的几款自动驾驶芯片,希望能使这个领域也有丰富的硬件资源供开发者榨取。
    传感器作为神经网络的输入,大部分厂商和开发者处于成本考虑都使用的普通摄像头或者RGBD(深度)摄像头,精度更高成本也更高的激光雷达,虽说被谷歌号称降到了1/10,那也是7500美元的高档货,这方面的取舍是每个厂商要面临的选择,也是消费者选择的重要参考。
    同时还有路线规划问题,需要高精度地图和准确定位的辅助,这也是英伟达拉百度来当合作伙伴的原因,在国内还是得承认百度在自动驾驶上的巨大优势。
数据层面
    最后是数据,可以说数据是驱动AI的燃料,虽然我们前两年火热的大数据热度褪去被喷过度炒作,但是海量的数据被收集这个事实倒是帮了深度学习的大忙,也不是说这些数据可以用来训练自动驾驶模型,而是成熟的数据收集、传输、储存、以及分布式并行计算为深度学习提供了很大的方便,从hadoop的机器学习组件到spark上的caffe,这两个领域将会是相互促进的互利关系。即便如此,深度学习需要的带有标记(label)的数据仍然是稀缺资源,为了防止在某一数据库上过拟合到地老天荒,数据库开源成为流行。还有去年大流行的GAN,让这个领域重新注意到了比起判别模型,生成模型用来解决数据短缺的思路。
    更妙的思路我认为是大牛云集的OpenAI开源的universe,让研究者在GTA5中训练自动驾驶,在游戏中设置各种场景和路线来测试AI。
    自动驾驶是深度学习完美的研究对象和应用场景,这些年自动驾驶的概念火热,一个很重要的原因是谷歌的突然入局,试图从软件角度,直奔L4级别自动驾驶,在谷人希的感召力下,巨头和创业者都试图抢滩登陆,资本和媒体也随之而来,赞美和质疑都大量存在,然而我仍对深度学习的未来深信不疑,你我都处在随时可能见证历史的时代,或早或晚,自动驾驶一定会到来。





相关阅读
发表评论
姓名:
联系方式:
评论专区
东南大学 东南大学交通学院 清华大学 同济大学 西南交通大学 北京航空航天大学 上海交通大学 浙江大学
University of Wisconsin - Madison University of Michigan Rensselaer Polytechnic Institute Santa Clara University Rutgers University
交通运输部路网监测与应急处置中心 江苏省交通运输厅 南京智库联盟 江苏交通控股有限公司 江苏高速公路联网营运管理有限公司
中心概况研究动态新闻中心合作交流加入我们
Copyright © 2015 东南大学物联网交通应用研究中心 All Rights Reserved.