田 晟，馮宇鵬，張裕天，黃 偉，王 蕾

（1. 華南理工大學土木與交通學院，廣東 廣州 510640；2. 廣州市交通設計研究院有限公司，廣東 廣州 511430）

目前，比較傳統(tǒng)的自動駕駛方案是間接感知方法，又稱為基于規(guī)則的系統(tǒng)[1 ? 3]。主要思路是將自動駕駛問題劃分為多個子任務來解決，根據(jù)人為設定規(guī)則做出決策，其優(yōu)點是較易獲取數(shù)據(jù)，有嚴謹規(guī)則，系統(tǒng)可解釋性強，缺點是系統(tǒng)復雜、計算量大和對硬件要求高[4 ? 6]。

基于深度學習的端到端方法，通過采用監(jiān)督學習的方法學習人類駕駛動作，建立傳感器與駕駛動作之間的直接映射關系[7 ? 9]。2005 年，Lecun等[10]基于端到端學習利用智能車進行了野外避障研究，構建了具有6 層卷積神經(jīng)網(wǎng)絡的端到端模型。2016 年，NVIDIA 通過采集實車數(shù)據(jù)訓練了一個卷積神經(jīng)網(wǎng)絡模型，該模型能夠根據(jù)前置攝像頭傳輸?shù)膱D像得出轉(zhuǎn)向命令，經(jīng)實車路測，證明了端到端控制方法的可行性[11]。

Xu 等[12]進一步提出了 FCN-LSTM(Fully Convolutional Network-Long Short Term Memory，全卷積網(wǎng)絡長短時記憶)的網(wǎng)絡架構，增強了模型對場景的理解能力，實現(xiàn)了對離散或連續(xù)的車輛動作進行預測。Chi 等[13]采用ConvLSTM（Convolutional Long Short Term Memory，卷積長短時記憶）神經(jīng)網(wǎng)絡進一步提高了端到端模型對自動駕駛車輛方向盤轉(zhuǎn)角的預測精度。Dosovitskiy 等[14]在Carla 上通過模仿學習訓練端到端自動駕駛模型。

端到端方法與間接感知方法相比，能夠有效減少系統(tǒng)復雜度。當前端到端自動駕駛系統(tǒng)的研究方法主要是使用卷積神經(jīng)網(wǎng)絡直接預測方向盤轉(zhuǎn)角，存在著自動駕駛控制的局限性。本文主要提出一種基于端到端學習的CNN-LSTM(Convolutional Neural Network-Long Short Term Memory，卷積神經(jīng)網(wǎng)絡-長短時記憶)多模態(tài)多任務神經(jīng)網(wǎng)絡模型，同時預測方向盤轉(zhuǎn)角和速度，實現(xiàn)自動駕駛的橫縱向控制。

1 方法

1.1 神經(jīng)網(wǎng)絡模型架構

基于端到端學習的CNN-LSTM 多模態(tài)多任務神經(jīng)網(wǎng)絡模型主要由CNN 分支網(wǎng)絡、LSTM 分支網(wǎng)絡、橫向控制網(wǎng)絡和縱向控制網(wǎng)絡組成，網(wǎng)絡輸入為單幀圖像、速度序列和方向盤轉(zhuǎn)角序列等模態(tài)信息。2 個LSTM 分支網(wǎng)絡的輸入分別為包含之前10 個時間戳的速度序列和方向盤轉(zhuǎn)角序列，先經(jīng)過1 層維度為128 維的LSTM 層，再通過2 個全連接層進一步提取特征后，輸出均為128 維的時間序列特征，最后分別流向橫向控制網(wǎng)絡和縱向控制網(wǎng)絡。CNN 分支網(wǎng)絡的輸入圖像尺寸為224×224×3，采用的卷積神經(jīng)網(wǎng)絡為ResNet50[15]。首先，第1 個卷積層采用64 個大小為7×7、步長為2 的卷積核，輸出尺寸為112×112，然后進行大小為3×3、步長為2 的最大池化操作后緊接4 種不同的殘差模塊，每個殘差模塊均由大小為1×1 和3×3 卷積核組合而成，ResNet50 提取特征之后輸出1000 維的特征向量，最后通過3 層全連接層降維成128 維后分別流向兩個分支網(wǎng)絡。一個流向橫向控制網(wǎng)絡，另一個流向縱向控制網(wǎng)絡，與LSTM 分支網(wǎng)絡提取到的時間序列特征相融合，最后輸出方向盤轉(zhuǎn)角和速度的預測值，完成車輛的橫縱向控制任務。圖1為CNN-LSTM 多模態(tài)多任務神經(jīng)網(wǎng)絡模型架構圖。其中，多模態(tài)指網(wǎng)絡輸入的單幀圖像、速度序列和方向盤轉(zhuǎn)角序列信號，多任務指橫向控制和縱向控制任務。

1.2 神經(jīng)網(wǎng)絡作用層

本文所構建的CNN-LSTM 神經(jīng)網(wǎng)絡模型主要由卷積層、池化層、LSTM 層、特征融合層、激活層、全連接層和Dropout 層組成。卷積層用于提取圖像特征。池化層的作用是有效縮小節(jié)點矩陣的尺寸，降低特征維數(shù)，壓縮數(shù)據(jù)和參數(shù)的數(shù)量。LSTM 層的作用是提取序列數(shù)據(jù)之間的時間上下文特征。特征融合層的作用主要是融合兩個或多個特征向量，并生成新的語義特征。激活層的主要作用是通過非線性變換來增強神經(jīng)網(wǎng)絡的表示能力和學習能力。本文采用的激活函數(shù)為ELU[16]（Exponential Linear Unit，指數(shù)線性單元）函數(shù)，函數(shù)定義如式（1）所示。

圖 1 CNN-LSTM 神經(jīng)網(wǎng)絡模型架構

式中：x為 輸入的加權和；γ為可調(diào)整的超參數(shù)，定義為當輸入x是一個較大的負數(shù)時，ELU 函數(shù)接近的值，通常設置為1。

全連接層的作用有兩點：一是維度變換，將高維的特征向量降到低維；二是整合提取到的圖像特征，獲取圖像特征具有的高層含義。Dropout 層的主要作用是解決深層網(wǎng)絡訓練過程中產(chǎn)生的過擬合問題。

1.3 損失函數(shù)和訓練算法

本文構建的CNN-LSTM 神經(jīng)網(wǎng)絡模型輸出的決策值是連續(xù)值，屬于回歸問題，因此采用的是回歸模型中使用最廣泛的均方誤差（Mean Squared Error Loss，MSE）損失函數(shù)，其定義如式（2）所示。

式中：n為 樣本量；為第i個樣本的輸出預測值；yi為對應的真實值。

訓練算法采用的是 Nadam[17]（Nesterovaccelerated Adaptive Moment Estimation）算法。該算法能計算出每個參數(shù)的自適應學習率，對學習率的約束更強，學習速度更快，擁有更好的優(yōu)化效果，具體公式為：

式中：θ為網(wǎng)絡權重；gt為梯度，下標t表示第t步迭代過程；mt為一階矩，即梯度的期望值，表示一階矩的Nesterov 加速值；vt為二階矩，即梯度平方的期望值；表示糾正一階矩；表示糾正二階矩；β1、β2表示衰減率；η表示學習率；ε表示微小量。β1、β2、η、ε為訓練開始前人為設置的超參數(shù)，不需要 通過訓練進行學習。

2 數(shù)據(jù)

2.1 GTAV 數(shù)據(jù)集

本文選擇GTAV 搭建自動駕駛仿真平臺。GTAV是由Rockstar Games 公司開發(fā)的一款開放世界游戲，里面場景充分模擬了現(xiàn)實世界中的洛杉磯，能夠自由采集游戲內(nèi)場景的數(shù)據(jù)。圖2 為基于GTAV的自動駕駛仿真平臺架構圖。仿真平臺主要由環(huán)境端和代理端組成，環(huán)境端的ScriptHookV 是一個dll 插件，提供超過5000 個C++的APIs 接口，通過修改腳本實現(xiàn)對GTAV 中多種環(huán)境因素的控制，有利于采集不同場景下的數(shù)據(jù)。當GTAV 主程序啟動時，它的控制插件DeepGTAV 開始工作，通過TCP 協(xié)議連接的方式實現(xiàn)消息的發(fā)送和接收。代理端能夠使用Python 語言編寫代碼通過DeepGTAV 實現(xiàn)與環(huán)境端的通信。虛擬環(huán)境啟動后，DeepGTAV 開始從游戲中采集數(shù)據(jù)并以JSON格式發(fā)送回代理端的Dataset 模塊，經(jīng)由Python pickle 模塊序列化后生成數(shù)據(jù)集，輸入到深度學習模型進行訓練。DeepGTAV 最終能將模型生成的控制命令發(fā)送回環(huán)境端，實現(xiàn)GTAV 游戲世界車輛的控制以測試模型效果。

圖 2 基于GTAV 的自動駕駛仿真平臺架構圖

通過基于GTAV 自動駕駛仿真平臺采集的數(shù)據(jù)集進行模型的訓練和測試，共采集了30 萬張圖像，場景包括高速公路和城市街道，同時記錄下圖像所對應的方向盤轉(zhuǎn)角、速度、剎車和油門等數(shù)據(jù)。圖3 為采集到的GTAV 場景圖像示例。

圖 3 GTAV 數(shù)據(jù)集圖像示例

2.2 真實場景數(shù)據(jù)集

本文所用的實車采集和道路測試平臺的硬件核心為NVIDIA Drive PX2 計算平臺。本文自動駕駛平臺硬件連接如圖4 所示，PX2 的ParkerA 連接有1 路前向攝像頭，ParkerB 連接有7 路GMSL 攝像頭，1 個前向激光雷達，通過4 路USB 轉(zhuǎn)CAN卡連接4 個側向毫米波雷達、1 個前向毫米波雷達以及整車。

圖 4 自動駕駛平臺硬件連接

自動駕駛實車軟件平臺架構為模塊化框架，包含有端到端模塊、感知模塊、決策模塊、控制模塊、導航模塊等?；赗OS[18]（Robot Operating System，機器人操作系統(tǒng)）的自動駕駛實車軟件平臺架構如圖5 所示。為了加快自動駕駛技術開發(fā)的速度，在ROS 下，將傳感器驅(qū)動、控制策略、通信和底層執(zhí)行機構控制等任務分成若干節(jié)點，節(jié)點間可以通過發(fā)布/訂閱消息話題的形式進行通信。本文所討論的是端到端模塊，在ParkerA 上運行，只使用1 路前向攝像頭。首先傳感器驅(qū)動節(jié)點采集傳感器數(shù)據(jù)后通過話題的形式發(fā)布特定類型的數(shù)據(jù)，接著控制策略節(jié)點訂閱來自各傳感器的數(shù)據(jù)話題，經(jīng)端到端深度學習算法得出方向盤轉(zhuǎn)角和速度信號2 個控制量，然后將這2 個控制量以話題形式發(fā)布到串口驅(qū)動和CAN 驅(qū)動，最后將這些控制信號發(fā)送到車內(nèi)總線，使底層執(zhí)行機構完成控制。

圖 5 基于ROS 的自動駕駛實車軟件平臺架構圖

通過該平臺采集真實場景數(shù)據(jù)。圖6 為采集到的真實場景圖像示例，采集地點為廣州市國際生物島區(qū)域。生物島的道路交通環(huán)境良好，車流量和人流量都比較少，車輛行駛速度低，車道線明顯，采集到的數(shù)據(jù)質(zhì)量較高，適合進行自動駕駛數(shù)據(jù)采集和道路測試工作。選擇在晴朗天氣下進行數(shù)據(jù)采集，場景中的車道線、車輛等比較清晰，有利于神經(jīng)網(wǎng)絡模型的訓練，共采集圖像數(shù)據(jù)10 萬張。

圖 6 真實場景圖像示例

3 實驗

3.1 實驗環(huán)境與評判標準

訓練模型所用的GPU 為NVIDIA Titan X 顯卡，軟件環(huán)境為Keras2.1 深度學習框架，后端為Tensorflow-gpu 1.4。

本文采用均方根誤差（Root Mean Square Error，RMSE）作為評價CNN-LSTM 神經(jīng)網(wǎng)絡模型好壞的客觀標準，衡量預測值和真實值之間的偏差如式（9）所示。采用對神經(jīng)網(wǎng)絡模型預測曲線與實際曲線的相似性度量作為主觀評價標準。

式中：n為 樣本量；為第i個樣本的輸出預測值；yi為對 應的真實值。

3.2 基于仿真平臺的實驗與分析

對采集到的GTAV 數(shù)據(jù)集進行分析和預處理，方向盤轉(zhuǎn)角數(shù)據(jù)分布如圖7 所示，數(shù)據(jù)集分布不平衡，大部分樣本的轉(zhuǎn)向角標簽集中分布在0 的附近。為解決這一問題，采用圖像增強及采樣的方式，對圖像進行隨機偏轉(zhuǎn)，即給方向盤轉(zhuǎn)角標簽值設置隨機偏移量，同時調(diào)整相應圖像的像素，從而使得圖像向左或向右偏轉(zhuǎn)。另外對轉(zhuǎn)向角接近0 的圖像進行欠采樣，對轉(zhuǎn)向角大的圖像進行過采樣，經(jīng)過圖像增強和數(shù)據(jù)采樣之后的數(shù)據(jù)分布如圖8所示。

圖 7 調(diào)整前的方向盤轉(zhuǎn)角數(shù)據(jù)分布圖

圖 8 調(diào)整后的方向盤轉(zhuǎn)角數(shù)據(jù)分布圖

模型訓練的超參數(shù)設置如下：訓練算法為Nadam 算法，學習率η設為0.002，β1設為0.9，β2設為0.999，ε設為1e-8，Dropout 的概率值設為0.5。當驗證集的誤差不再下降時，模型訓練完成。為了對比分析引入長短時記憶神經(jīng)網(wǎng)絡對方向盤轉(zhuǎn)角預測的影響，將LSTM 分支網(wǎng)絡移除后，使用相同的訓練集對CNN 模型進行訓練。

如表1 所示，表中CNN-LSTM 的MSE 損失函數(shù)值為方向盤轉(zhuǎn)角、速度兩個損失函數(shù)誤差之和，方向盤轉(zhuǎn)角和速度損失函數(shù)的比重為1∶1。從表中可以看出CNN-LSTM 模型在訓練集、驗證集和測試集上的MSE 損失值都低于CNN 模型，能夠更好地收斂。

表 1 模型誤差值

對方向盤轉(zhuǎn)角預測性能進行評估，表2 為模型方向盤轉(zhuǎn)角均方根誤差值，CNN 模型的均方根誤差值為0.302，CNN-LSTM 模型的均方根誤差值為0.092，CNN-LSTM 模型的均方根誤差值更小，其方向盤轉(zhuǎn)角預測值更接近真實值。這說明加入LSTM分支網(wǎng)絡能夠改善模型對方向盤轉(zhuǎn)角的預測效果，使得預測精度更進一步地提升。

表 2 模型方向盤轉(zhuǎn)角均方根誤差值

圖9 和圖10 為方向盤轉(zhuǎn)角預測曲線和實際曲線的對比圖，其中橙色曲線表示實際曲線，藍色曲線表示預測曲線。通過對比兩個圖可以發(fā)現(xiàn)，CNN 模型的預測曲線從整體上來看能夠擬合實際曲線，但抖動幅度比較大，出現(xiàn)高頻震蕩的現(xiàn)象。而CNN-LSTM 模型的預測曲線能夠更好地擬合實際曲線，預測曲線更為平滑，抖動幅度更小，能夠更準確地預測方向盤轉(zhuǎn)角值。

圖 9 CNN 模型的方向盤轉(zhuǎn)角預測曲線

圖 10 CNN-LSTM 模型的方向盤轉(zhuǎn)角預測曲線

圖 12 城市路況下CNN 分支網(wǎng)絡的可視化圖

接下來對速度預測性能進行評估，計算出CNN-LSTM 模型對速度的均方根誤差值為0.194，選用測試集上的2 000 幀圖像做出如圖11 所示的速度預測曲線和實際曲線的對比圖。從圖中可以看到預測曲線能夠很好地擬合實際曲線，LSTM 分支網(wǎng)絡的加入能夠更好地促進縱向控制網(wǎng)絡的學習，提高了模型的預測精度。

圖 11 CNN-LSTM 模型的速度預測曲線

為了更好地理解CNN-LSTM 多模態(tài)多任務神經(jīng)網(wǎng)絡模型做出決策的依據(jù)，對模型的關注點進行可視化分析。圖12 為城市路況下CNN 分支網(wǎng)絡的關注點，可以清晰地看到網(wǎng)絡對于地面道路邊界、車道線和前方車輛以及部分建筑物有明顯關注。模型決策過程中所重點關注的點與人類駕駛員開車過程中所關注的點相同，推測神經(jīng)網(wǎng)絡模型是通過這些關注點來預測決策量。

3.3 基于真實場景數(shù)據(jù)的實驗與分析

通過在GTAV 數(shù)據(jù)集上完成端到端自動駕駛模型的訓練后，把表現(xiàn)良好的模型固化下來，接下來采用真實場景數(shù)據(jù)進行遷移學習[19]再訓練。神經(jīng)網(wǎng)絡的前幾層學習到的特征通常為通用特征，后面更深層次的網(wǎng)絡學習到的特征為特定任務場景下的特定特征，對學習到通用特征的網(wǎng)絡層進行遷移，同時對學習到特定特征的層進行微調(diào)(finetune)。微調(diào)是指針對新的學習任務將他人已經(jīng)訓練完成的神經(jīng)網(wǎng)絡模型進行權重參數(shù)調(diào)整的方法，采用微調(diào)能夠更好地解決數(shù)據(jù)之間的差異導致模型效果下降的問題。

采用微調(diào)對在GTAV 數(shù)據(jù)集上訓練好的CNN-LSTM 模型進行再訓練，使用的數(shù)據(jù)集為生物島真實場景數(shù)據(jù)集。生物島真實場景數(shù)據(jù)集與GTAV 數(shù)據(jù)集相比，包括車道線、車輛等對影響自動駕駛車輛的決策控制量的因素雖然有差異，但具有很高的相似性。有較大差異的是橋梁、建筑物及交通標志，這些對于使用本文神經(jīng)網(wǎng)絡模型進行橫縱向控制來講沒有車道線和車輛等的影響程度大，并且生物島的場景中路邊的建筑物較少，與GTAV 場景中郊區(qū)的道路狀況更為類似，GTAV 中的場景與國內(nèi)部分道路的真實場景的相似度高。因此本文進行遷移學習時的微調(diào)策略為將ResNet50 和LSTM 層的權重固定，初始化全連接層進行訓練，利用反向傳播機制來對網(wǎng)絡權重進行再訓練。學習率設為0.0001，訓練算法為Nadam算法，當誤差不再下降時，模型訓練完成。圖13為CNN-LSTM 網(wǎng)絡在生物島真實場景數(shù)據(jù)集上訓練的損失函數(shù)曲線，神經(jīng)網(wǎng)絡在訓練過程中收斂較快，最終誤差值趨近于0，誤差值很小。

圖 13 CNN-LSTM 網(wǎng)絡損失函數(shù)曲線圖

對模型的預測性能進行評估，計算出CNNLSTM 模型對方向盤轉(zhuǎn)角和速度的預測值與真實值的均方根誤差值分別為0.146 和0.347，RMSE 值比較小。這說明CNN-LSTM 網(wǎng)絡模型在真實場景數(shù)據(jù)集上通過遷移學習再訓練后的方向盤轉(zhuǎn)角和速度預測效果好，有著良好的泛化性，對方向盤轉(zhuǎn)角和速度的預測比較準確。

圖14 示出可視化預測的方向盤轉(zhuǎn)角。在測試集上選取1 組連續(xù)5 幀的圖像，將模型的方向盤轉(zhuǎn)角預測值和真實值疊加顯示在圖像上，其中藍色線代表方向盤轉(zhuǎn)角預測值，黃色線代表真實值，可以看出藍色線與黃色線基本重合，在連續(xù)過彎時預測值與真實值的偏差很小。

圖 14 可視化預測的方向盤轉(zhuǎn)角圖

圖15 和圖16 分別為方向盤轉(zhuǎn)角和速度的預測曲線與實際曲線的對比圖。從整體上看，CNNLSTM 模型預測的方向盤轉(zhuǎn)角與人類駕駛員的方向盤轉(zhuǎn)角的整體變化趨勢一致，能夠很好地擬合實際曲線，偏差較小，能夠較為準確地預測方向盤轉(zhuǎn)角值。從圖16 中可以看到速度預測曲線與實際曲線能夠很好地擬合，表明CNN-LSTM 神經(jīng)網(wǎng)絡模型能夠較為準確地預測速度值。

3.4 實車測試

通過在測試集上進行的離線測試結果表明CNN-LSTM 神經(jīng)網(wǎng)絡模型的效果較好。為進一步驗證神經(jīng)網(wǎng)絡模型的有效性，將端到端模型部署到車上的自動駕駛平臺上以驗證模型的效果。測試地點為廣州市國際生物島部分路段，為保證測試過程中的安全，選擇行人和車輛較少的路段進行測試，分別對端到端模型的車道保持和避障功能進行了測試。

圖 15 真實方向盤轉(zhuǎn)角與預測方向盤轉(zhuǎn)角對比曲線

圖 16 真實速度值與預測速度值對比

車道保持測試過程如圖17 所示。在實際測試過程中車輛的車道保持效果令人滿意，能夠跟隨車道線行駛，且運動軌跡基本處于道路中間，只有在過十字路口后發(fā)生偏離車道線的情況，之后車輛逐漸修正回到道路中間，在行駛過程中方向盤和車速均保持穩(wěn)定。

圖 17 車道保持實車測試

自動駕駛車輛避障測試如圖18 所示。圖中車輛障礙物用紅色圓圈標出，在測試過程中車輛能夠在遇到障礙物時減速并繞開，證明神經(jīng)網(wǎng)絡模型能夠有效地完成車輛的橫縱向控制，基本實現(xiàn)避障的功能，在10 次測試過程中有7 次能完成避障。分析避障成功率未接近完美的原因是訓練數(shù)據(jù)中車道保持的數(shù)據(jù)量遠多于避障的數(shù)據(jù)量，因此神經(jīng)網(wǎng)絡模型的學習帶有一定的偏向性，更多地學會了車道保持，未來工作可以考慮采集更多的避障數(shù)據(jù)對模型進行訓練。

4 結論

本文構建了一個基于端到端學習的CNNLSTM 多模態(tài)多任務神經(jīng)網(wǎng)絡模型來解決自動駕駛的控制難題，搭建了基于GTAV 的自動駕駛仿真平臺，在自動駕駛仿真平臺上訓練出性能較好的模型，采用深度遷移學習的方法解決了仿真場景與真實場景的差異問題，將預訓練網(wǎng)絡模型在真實場景數(shù)據(jù)集上進行了再訓練，并搭載在實車上進行了道路測試。測試結果表明，神經(jīng)網(wǎng)絡模型能夠較為準確地預測方向盤轉(zhuǎn)角和速度，在真實環(huán)境中能夠完成車道保持任務和基本實現(xiàn)自動駕駛避障測試，但仍然存在著不足之處，還有提升空間。本文認為未來的研究工作可以從以下幾個方面進行：

1）解決模型存在的累計誤差問題，累計誤差的存在會導致車輛出現(xiàn)偏離車道等問題；

2）傳感器融合技術，將激光雷達和毫米波雷達的數(shù)據(jù)融合進來有助于提高模型的性能；

3）輔助駕駛任務，加入語義分割作為輔助駕駛任務，為模型提供可行駛域。