文/溫泉 衣麗君 李敏

基于深度學習的駕駛場景數(shù)據(jù)應(yīng)用

文/溫泉 衣麗君 李敏

真實駕駛場景是智能網(wǎng)聯(lián)汽車開發(fā)、測試及相關(guān)技術(shù)發(fā)展的基礎(chǔ)條件及關(guān)鍵支撐，可為相關(guān)研究的開展提供重要理論依據(jù)，而目前，我國有關(guān)真實道路場景數(shù)據(jù)的相關(guān)研究比較匱乏。本文首先研究搭建Tensorflow框架用以處理視覺感知任務(wù)的深度學習平臺，然后基于真實駕駛場景數(shù)據(jù)，研究智能車輛視覺感知駕駛環(huán)境所依賴的核心算法與網(wǎng)絡(luò)模型，采用卷積神經(jīng)網(wǎng)絡(luò)MultiNet實現(xiàn)真實交通環(huán)境中行駛車道的分割和目標物的檢測。

駕駛場景 智能網(wǎng)聯(lián)汽車 深度學習道路分割 目標物檢測

就汽車行業(yè)而言，無人駕駛迅速發(fā)展，已經(jīng)成為汽車行業(yè)未來的發(fā)展方向。深度學習算法憑借其強大學習能力和處理復雜環(huán)境的能力，正逐漸被用于無人駕駛中的環(huán)境感知和行駛決策過程，并成為汽車大腦的主流選擇。本文首先基于專業(yè)的深度學習庫Tensorflow搭建處理深度感知任務(wù)的深度學習平臺，研究真實駕駛場景道路分割、目標車輛識別等卷積神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)真實駕駛場景的智能感知。

1 Tensorflow深度學習平臺

深度學習目前在業(yè)界已經(jīng)得到了廣泛的應(yīng)用。至今也已有數(shù)種深度學習框架，如 TensorFlow、Caffe、Theano、Torch、MXNet等框架都能夠支持深度神經(jīng)網(wǎng)絡(luò)模型。TensorFlow最初由Google Brain團隊的研究員和工程師研發(fā)，目前已成為GitHub上最受歡迎的機器學習項目。TensorFlow主要特性有以下幾點：

1.1 使用靈活

采用圖計算模型，支持High-Level的API，支持Python、C++、Go、Java接口。

1.2 跨平臺

支持CPU和GPU的運算，支持臺式機、服務(wù)器、移動平臺的計算。

1.3 產(chǎn)品化

支持從研究團隊快速遷移學習模型到生產(chǎn)團隊。

1.4 高性能

采用了多線程，隊列技術(shù)以及分布式訓練模型，實現(xiàn)了在多CPU、多GPU的環(huán)境下分布式訓練模型。

通過對Tensorflow框架的特點、架構(gòu)、常用接口、網(wǎng)絡(luò)模型的層次結(jié)構(gòu)和軟硬件部署等多個方面的研究，基于ubuntu16.0操作系統(tǒng)，部署cuda 8.0并行計算平臺和cuDNN 5.0 GPU計算加速庫，搭建Tensorflow 1.1深度學習平臺。

2 卷積神經(jīng)網(wǎng)絡(luò)介紹

深度學習在無人駕駛中的應(yīng)用涉及到多個環(huán)節(jié)，其中卷積神經(jīng)網(wǎng)絡(luò)算法在圖像識別領(lǐng)域應(yīng)用成熟，可用于提高環(huán)境感知中的圖像識別的準確度，已經(jīng)成為無人駕駛感知部分必不可少的技術(shù)研究點。

本文基于開源的MultiNet卷積網(wǎng)絡(luò)，對真實的駕駛場景數(shù)據(jù)進行道路分割與目標檢測研究。該模型被設(shè)計為encoder-decoder架構(gòu)，在每項任務(wù)中使用一個VGG編碼器和幾個獨立解碼器。權(quán)重初始化通過ImageNet上預先訓練的VGG權(quán)重對編碼器進行初始化。使用單位分布隨機初始化檢測和分類解碼器權(quán)重。道路分割解碼器的卷積層也使用VGG權(quán)重進行初始化，并且轉(zhuǎn)置卷積層被初始化以執(zhí)行雙線性上采樣。目標識別解碼器在推理速度和檢測性能上基于Faster-RCNN改進得到。MultiNet的實時存檔速度和分割性能都處于最先進水平。

3 車道線分割和目標識別

道路分割和目標檢測都可以轉(zhuǎn)換為圖像分類相關(guān)的語義任務(wù)，自從AlexNet網(wǎng)絡(luò)模型出現(xiàn)后，大多數(shù)現(xiàn)代圖像分類方法都開始利用深度學習算法。深度學習實現(xiàn)的目標檢測首先圈定目標區(qū)域，然后對目標區(qū)域進行評估。而卷積神經(jīng)網(wǎng)絡(luò)則在圖像分割中應(yīng)用更為廣泛。MultiNet聯(lián)合圖像分割和目標檢測語義任務(wù)，建立聯(lián)合的深度架構(gòu)，實現(xiàn)端到端的訓練，多重任務(wù)共享編碼器，獨享解碼器。編碼器由VGG16網(wǎng)絡(luò)模型的前13層組成。目標檢測解碼器由一個卷積層、一個全連接層和softmax層構(gòu)成，形成基于回歸的檢測系統(tǒng)。分割解碼器在VGG網(wǎng)絡(luò)模型基礎(chǔ)上加以改進，將VGG的全連接層轉(zhuǎn)換為卷積層，最后三個轉(zhuǎn)換卷積層進行上采樣得到。MultiNet模型通過KITTI數(shù)據(jù)集訓練，在測試集中分割和識別表現(xiàn)都非常好，實現(xiàn)了不同任務(wù)類似語義之間的遷移學習。

圖1

圖2：可視化分割輸出

4 展望

無人駕駛的環(huán)境感知包括車道線、車輛、行人、交通標志等目標的自動檢測。卷進神經(jīng)網(wǎng)絡(luò)應(yīng)用于真實駕駛場景的道路分割和目標識別研究，可加深駕駛場景環(huán)境要素的理解，助力無人駕駛技術(shù)的進一步完善。

[1]喬維高.無人駕駛汽車的發(fā)展現(xiàn)狀及方向[J].上海汽車,2007(07):40-43

[2]余志生.汽車理論[M].北京:機械工業(yè)出版社,2009.

[3]R.B.Girshick,J.Donahue,T. Darrell, and J.Malik. Rich feature hierarchies for accurate object detection and semantic segmentation.CoRR, abs/1311.2524,2013.

作者單位中國汽車技術(shù)研究中心 天津市 300000