張凱祥, 朱 明

(中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院, 合肥 230027)

隨著卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展, 自動駕駛越來越多地出現(xiàn)在我們的視野中, 成為研究人員重點研究的領(lǐng)域. 在自動駕駛中, 環(huán)境感知是至關(guān)重要的, 可以為控制系統(tǒng)提供不可或缺的環(huán)境信息, 保證車輛的正常行駛. 自動駕駛的環(huán)境感知一般包括目標(biāo)檢測、車道線檢測以及可行駛區(qū)域分割. 目標(biāo)檢測主要用于檢測行駛道路上的道路交通標(biāo)志、周邊車輛、行人等, 使得車輛可以遵守道路交通規(guī)則, 避讓行人. 車道線檢測是用于提取道路的邊緣線, 用于自動駕駛車輛的定位和糾偏, 是平穩(wěn)安全行駛的重要保障之一. 可行駛區(qū)域分割是將自動駕駛車輛行駛的道路進(jìn)行全景分割, 并檢測其中可行駛的區(qū)域, 前方道路阻塞, 障礙物擋道等情況下, 可保證車輛行駛安全.

近年來, 人工智能技術(shù)的革新進(jìn)一步推動了自動駕駛領(lǐng)域的發(fā)展. 對于單任務(wù)的環(huán)境感知方法, 目標(biāo)檢測算法通常分為兩階段目標(biāo)檢測和單階段目標(biāo)檢測[1],兩階段目標(biāo)檢測算法首先對輸入圖像提取候選框, 再根據(jù)第一階段選定的候選框擬合最后的檢測結(jié)果, 可以更好地處理類別不均衡的問題, 檢測精度更高, 但由于需要進(jìn)行兩階段計算, 速度較慢, 無法滿足實時檢測場景; 單階段目標(biāo)檢測則同時進(jìn)行分類和檢測, 直接生成物體類別概率和位置坐標(biāo), 提高了檢測速度, 但精度有所下降. 基于卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測通常作為語義分割任務(wù)對輸入圖片進(jìn)行分類, 通過后處理擬合出最后的車道線, 但由于車道線像素較少, 造成了類別不平衡的問題, 降低了檢測的準(zhǔn)確率. 可行駛區(qū)域分割一般也是作為語義分割任務(wù), 對輸入像素進(jìn)行二分類,從而分割出背景和可行駛區(qū)域.

然而自動駕駛場景需要同時獲取道路上的多種信息, 單個任務(wù)的環(huán)境感知方法無法滿足需求, 因此多任務(wù)自動駕駛環(huán)境感知算法成了開發(fā)人員的迫切需要.多任務(wù)的環(huán)境感知算法通常結(jié)合多個任務(wù)的特點, 設(shè)計符合要求的骨干網(wǎng)絡(luò), 多個分支之間共享參數(shù), 從而減少計算量.

基于YOLOv5網(wǎng)絡(luò)[2], 本文提出了一個用于多任務(wù)自動駕駛環(huán)境感知算法, 如圖1所示, 可根據(jù)單張輸入圖片端到端地輸出目標(biāo)檢測, 車道線檢測和可行駛區(qū)域分割的結(jié)果. 編碼部分以改進(jìn)的YOLOv5作為骨干網(wǎng)絡(luò), 解碼時目標(biāo)檢測頭仍使用YOLOv5檢測頭, 車道線檢測和可行駛區(qū)域分割作為兩個語義分割任務(wù)共享骨干網(wǎng)絡(luò), 在解碼部分采用實時語義分割網(wǎng)絡(luò)ENet頭[3]進(jìn)行解碼, 由于分割任務(wù)和目標(biāo)檢測任務(wù)存在一定的差異, 因此本文為分割任務(wù)單獨增加一個FPN結(jié)構(gòu)[4], 以獲得更好的分割效果.

圖1 多任務(wù)環(huán)境感知算法處理結(jié)果

1 相關(guān)工作

1.1 單任務(wù)環(huán)境感知方法

基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的目標(biāo)檢測根據(jù)有無候選框的生成分為兩階段目標(biāo)檢測和單階段目標(biāo)檢測,對兩階段目標(biāo)檢測算法, Girshick等人首次提出用含有CNN特征區(qū)域進(jìn)行目標(biāo)檢測的算法R-CNN[5], 效果顯著優(yōu)于基礎(chǔ)傳統(tǒng)圖像特征的方法, 但由于存在大量冗余的特征計算, 速度比較低. Lin等人提出了空間金字塔池化網(wǎng)絡(luò)[4], 使得CNN只需要計算一次特征圖,避免了反復(fù)計算卷積特征. Ren等人提出Faster-RCNN檢測算法[6], 引入了區(qū)域生成網(wǎng)絡(luò), 是第一個端到端的實時目標(biāo)檢測網(wǎng)絡(luò), 但其網(wǎng)絡(luò)的檢測部分仍存在冗余計算. 對于單階段目標(biāo)檢測算法Redmon等人首次提出單階段目標(biāo)檢測算法YOLOv1[7], 完全拋棄了提取候選框再驗證的檢測范式, 而是將圖像分割成多個區(qū)域, 同時預(yù)測每個區(qū)域的邊界框和檢測分類, 但其對于小物體的定位效果較差. Redmon等人先后發(fā)布了YOLOv2[8], YOLOv3[9], 通過引入類似于ResNet的殘差結(jié)構(gòu)以及FPN等操作, 提高了檢測精度. Bochkovskiy等人提出YOLOv4[10], 以CSPDarknet53作為骨干網(wǎng)絡(luò), 引入空間金字塔池化(SPP)模塊等, 大幅度提高了檢測的速度和精度. 同年, Ultralytics提出YOLOv5[2],通過基于訓(xùn)練數(shù)據(jù)集自動適應(yīng)錨點框等不僅減少了模型大小, 還大大提高了訓(xùn)練收斂的速度, 根據(jù)網(wǎng)絡(luò)不同的深度和寬度實現(xiàn)了s, l, m, x四個版本, 本文在YOLOv5s v6.0的基礎(chǔ)上進(jìn)行相關(guān)算法的實現(xiàn)和改進(jìn).

可行駛區(qū)域分割是以語義分割任務(wù)進(jìn)行處理的,語義分割是計算機(jī)視覺的另一個關(guān)鍵任務(wù), Long等人首次提出全卷積網(wǎng)絡(luò)FCN[11]用于語義分割. 隨后Chen等人[12]提出Deeplab系列的分割網(wǎng)絡(luò), 提出了空洞卷積擴(kuò)大了感受野, 在空間維度上實現(xiàn)金字塔型的空間池化. Zhao等人提出PSPNet[13], 新增金字塔池化模塊用于聚合背景并采用了附加損失. 由于以上語義分割的速度都達(dá)不到實時, Paszke等人提出實時語義分割網(wǎng)絡(luò)ENet[3], 使用bottleneck模塊以更少的參數(shù)量獲得更高的精度.

車道線檢測方面, 基于深度學(xué)習(xí)的方法常分為基于語義分割的方法和基于行分類的方法. Pan等人提出基于分割的車道線檢測網(wǎng)絡(luò)SCNN[14], 設(shè)計了一個特殊的3D操作, 能夠更好地獲取全局特征. Hou等人提出基于知識蒸餾的車道線檢測算法SAD, 增強(qiáng)了多種輕量級車道線檢測模型如ENet-SAD[15], 并在多個數(shù)據(jù)集取得SOTA效果. 為了提高實時性, 降低計算量, Qin等人提出基于分類的車道線檢測算法[16], 轉(zhuǎn)換為逐行分類任務(wù), 提高了檢測速度.

1.2 多任務(wù)環(huán)境感知方法

多任務(wù)環(huán)境感知是單個深度學(xué)習(xí)模型能夠同時完成兩個或兩個以上的檢測任務(wù), 不同任務(wù)之間通過共享參數(shù)等減少計算量, 并且有關(guān)聯(lián)的檢測任務(wù)相互促進(jìn)可以達(dá)到更好的擬合效果. Teichmann等人提出基于編解碼結(jié)構(gòu)的多任務(wù)網(wǎng)絡(luò)MultiNet[17], 可同時處理目標(biāo)檢測, 路面分割和場景分類3個任務(wù), 3個任務(wù)共享編碼結(jié)構(gòu), 使用3個不同的解碼器得到3個任務(wù)的結(jié)果, 但其在目標(biāo)檢測解碼階段缺乏尺度信息, 對于不同大小的物體檢測效果一般, 分割部分采用FCN結(jié)構(gòu)存在較多冗余計算, 速度較慢. Qian等人提出DLT-Net[18],在子任務(wù)解碼器之間構(gòu)建了上下文張量共享參數(shù), 能夠同時處理目標(biāo)檢測, 車道線檢測和可行駛區(qū)域分割3個任務(wù), 但由于這種共享方式也導(dǎo)致該網(wǎng)絡(luò)在車道線稀疏的場景表現(xiàn)效果不佳. Wu等人提出實時多任務(wù)網(wǎng)絡(luò)YOLOP[19], 也是同時處理DLT-Net中的3類任務(wù),只是在參數(shù)共享部分, 3個任務(wù)僅共享了編碼階段, 在解碼時單獨處理, 該網(wǎng)絡(luò)在BDD100K數(shù)據(jù)集[20]上取得了SOTA效果, 但由于未考慮到分割任務(wù)和目標(biāo)檢測任務(wù)的差異性, 導(dǎo)致在車道線檢測方面的準(zhǔn)確率較低.

1.3 本文工作

為了在自動駕駛中同時進(jìn)行目標(biāo)檢測, 車道線檢測和可行駛區(qū)域分割, 本文貢獻(xiàn)如下: 1) YOLOv5s作為骨干網(wǎng)絡(luò), ENet作為分割分支設(shè)計了多任務(wù)自動駕駛環(huán)境感知網(wǎng)絡(luò); 2) 在車道線檢測任務(wù)和可行駛區(qū)域分割任務(wù)前設(shè)計獨立的FPN結(jié)構(gòu), 以提高車道線檢測和可行駛區(qū)域分割的準(zhǔn)確率; 3) 損失計算時使用更優(yōu)越的 α -IoU[21]計算方法. 實驗表明, 本文所提算法優(yōu)于當(dāng)前流行的多任務(wù)深度學(xué)習(xí)網(wǎng)絡(luò)YOLOP等.

2 算法設(shè)計和實現(xiàn)

本節(jié)從網(wǎng)絡(luò)結(jié)構(gòu), 損失函數(shù)兩部分進(jìn)行詳細(xì)介紹本算法結(jié)構(gòu).

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

整個網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示, 網(wǎng)絡(luò)由特征提取模塊, 空間特征池化模塊, 檢測模塊組成.

圖2 基于YOLOv5的多任務(wù)自動駕駛環(huán)境感知算法網(wǎng)絡(luò)結(jié)構(gòu)

(1) 特征提取模塊

本文使用YOLOv5s[2]的CSPDarknet作為特征提取模塊, 以3通道的圖片作為輸入, 經(jīng)過多層卷積后得到的特征圖為原圖的1/32, v6.0版本YOLOv5的特征提取模塊有以下特點. 第一是使用一個等效的卷積層替換了Focus層, 不僅提高了運(yùn)算速度, 更方便導(dǎo)出模型; 第二是使用模塊C3取代之前的BottleneckCSP, 降低了卷積層的深度, 也取消了Concat層之后的卷積層,以達(dá)到更快的速度. 第三是標(biāo)準(zhǔn)卷積中封裝了3個模塊, 包括卷積(Conv2d)、批量標(biāo)準(zhǔn)化(BatchNorm2d)、激活函數(shù), 標(biāo)準(zhǔn)卷積的激活函數(shù)使用SiLU函數(shù), 該函數(shù)的數(shù)學(xué)表達(dá)式如下所示:

Sigmoid函數(shù)在趨向無窮的地方, 容易造成梯度消失, 不利于深度神經(jīng)網(wǎng)絡(luò)的反向傳播, 而SiLU函數(shù)的一階導(dǎo)數(shù)則更加平緩, 更適合提取更深層網(wǎng)絡(luò)的特征.

(2) 空間特征池化模塊

在編碼器和解碼器之間有一層空間特征池化層,該層包括快速空間卷積池化層(SPPF)和特征金字塔層(FPN), 如圖2所示, SPPF層由兩個標(biāo)準(zhǔn)卷積層和3個MaxPoll層以及相加層組成, 相對于原YOLOv5的SPP層, 將MaxPool層的kernel_size統(tǒng)一設(shè)置為5,通過級聯(lián)的方式連接3個MaxPool層, 不僅精度未下降, 還大大提高了推理速度. SPPF層主要用于提取不同尺寸的特征圖, 將不同感受野的特征融合, 有利于檢測不同尺度的物體. FPN實現(xiàn)的具體步驟如表1所示, 表中以輸入大小為640×640的3通道圖片為例,FPN層的輸入是SPPF層的輸出, 為原尺寸的1/32,經(jīng)過多層卷積以及尺度參數(shù)為2的上采樣層, 經(jīng)過Concact層與編碼器不同尺度的特征融合, 最終得到特征金字塔, 用于下游的檢測和分割任務(wù). 本文在實驗中發(fā)現(xiàn)目標(biāo)檢測任務(wù)和其他兩類分割任務(wù)存在明顯差異, 目標(biāo)檢測任務(wù)關(guān)注的更多是全局特征, 而分割任務(wù)則更關(guān)注像素級特征, 應(yīng)設(shè)計獨立的FPN結(jié)構(gòu), 以輔助分割分支更好地獲取輸入圖像特征, 擬合最終的結(jié)果.

表1 FPN網(wǎng)絡(luò)結(jié)構(gòu)具體實現(xiàn)

(3) 檢測模塊

本文將3個任務(wù)分別用3個檢測頭來完成, 目標(biāo)檢測任務(wù)的檢測頭和YOLOv5保持一致, 將車道線檢測視為分割任務(wù), 與可行駛區(qū)域分割任務(wù)一樣, 都采用ENet檢測頭. 如圖2所示, 目標(biāo)檢測檢測頭的輸入是自頂向下的FPN結(jié)構(gòu)的不同尺度的特征, 再經(jīng)過一個自底向上的路徑聚合網(wǎng)絡(luò)(PAN), 最終經(jīng)過檢測頭輸出不同尺度的計算結(jié)果. 為了達(dá)到實時檢測的效果, 本文的分割任務(wù)采用和ENet類似的檢測頭, Bottleneck upsample層是將卷積和上采樣層聚合的模塊, Bottleneck regular層由3層卷積和激活函數(shù)以及Dropout層構(gòu)成,Dropout層用于提高模型泛化能力, 防止過擬合, ENet的檢測頭部的輸入是FPN的最后一層的輸出特征, 經(jīng)過多層Bottleneck層后通過全卷積層輸出分割結(jié)果,由于本文都是二分類, 因此最后的特征圖大小是(2, W,H), 分別代表背景類像素和目標(biāo)像素的概率.

2.2 損失函數(shù)

本文的損失函數(shù)計算包含3個分支的部分, 目標(biāo)檢測分支的損失記為 Ldet, 該部分的損失包含分類損失Lclass, 回歸損失Lbox和 置信度損失Lobject, 3類損失加權(quán)后構(gòu)成了目標(biāo)檢測部分的損失, 如下所示:

分類損失使用二分類交叉熵?fù)p失, 計算公式如下:

式(3)和式(4)考慮到一個物體可能屬于多個類別的問題, N 表示類別總數(shù), xi表示當(dāng)前類別的預(yù)測值,yi代表經(jīng)過激活函數(shù)后的當(dāng)前類別的概率,表示當(dāng)前類別的真實值(0或1).

邊界框回歸損失本文在YOLOv5的基礎(chǔ)上進(jìn)行改進(jìn), 原YOLOv5的回歸損失采用的是CIoU, 計算公式如下所示:

其中, ρ(B,Bgt)為目標(biāo)框和真實框中心點之間的距離,c為包住目標(biāo)框和真實框的最小外接框的對角線長度,v 用來度量目標(biāo)框?qū)捀弑鹊囊恢滦? β為權(quán)重函數(shù). 本文在YOLOv5s v6.0的基礎(chǔ)上, 使用α-IoU取代CIoU計算邊界框回歸損失, 計算公式如下:

通過調(diào)節(jié)α, 可以使檢測器在不同水平的邊界框回歸方面具有更大的靈活性, α大于1時有助于提高IoU較大的目標(biāo)回歸精度.

車道線檢測損失 Lll和可行駛區(qū)域分割損失 Lda都包含交叉熵?fù)p失, 借鑒YOLOP的損失計算方法, 本文在車道線檢測任務(wù)中也加入了IoU損失, 以提高車道線的檢測精度, 最后總體的損失由3個任務(wù)加權(quán)后的損失組成, 計算如下所示:

3 實驗分析

3.1 數(shù)據(jù)集

本文測試數(shù)據(jù)集是BDD100K, 該數(shù)據(jù)集是目前最大規(guī)模, 內(nèi)容最具有多樣性的公開自動駕駛數(shù)據(jù)集, 共有100k張圖片, 其中訓(xùn)練集70k張, 驗證集10k張, 測試集20k張, 包含晴天、陰天、雪天、雨天、多云、有霧6種不同天氣, 以及城市道路、隧道、高速公路、住宅、停車場、加油站6種不同場景.

3.2 實現(xiàn)細(xì)節(jié)

本文實驗中訓(xùn)練時的warmup設(shè)置為3個epoch,初始的學(xué)習(xí)率設(shè)置為0.001, 優(yōu)化器使用ADAM,β=(0.9,0.999), IoU閾值為0.2, anchor閾值設(shè)置為4.0,損失函數(shù)計算時, α設(shè)置為3, α1-α3, γ1-γ3設(shè)置為1. 因為BDD100K的測試集并未完全公開3類任務(wù)的標(biāo)簽,因此本文在70k張訓(xùn)練集圖片上訓(xùn)練, 并在驗證集上驗證模型效果. 數(shù)據(jù)增強(qiáng)方面, 本文主要考慮到光照畸變和幾何畸變, 光照畸變本文通過隨機(jī)改變圖片的色調(diào)、飽和度和亮度進(jìn)行增強(qiáng), 幾何畸變本文通過隨機(jī)旋轉(zhuǎn)、縮放、平移和左右翻轉(zhuǎn)等幾何操作進(jìn)行增強(qiáng)數(shù)據(jù)集, 以提高模型在不同環(huán)境中的魯棒性. 本實驗過程中測試FPS時使用的硬件配置如表2所示.

表2 實驗所用硬件配置

3.3 實驗結(jié)果

為了驗證本算法的有效性, 本文分別從3個任務(wù)的檢測結(jié)果與其他多種多任務(wù)環(huán)境感知算法對比, 本文和當(dāng)前最好的多任務(wù)自動駕駛環(huán)境感知算法YOLOP的結(jié)果對比圖如圖3所示.

圖3 實驗結(jié)果對比圖

從圖3中我們可以看到, 在白天, 夜晚以及雨天的情景下, 我們的算法處理結(jié)果均優(yōu)于當(dāng)前最好的多任務(wù)網(wǎng)絡(luò)YOLOP. 在第1張圖片中, 本文的目標(biāo)檢測邊界框回歸更精準(zhǔn), 而YOLOP還出現(xiàn)了誤檢的情況; 第2張圖片中, YOLOP的車道線檢測出現(xiàn)了缺失, 過長等情況, 本文結(jié)果車道線擬合更準(zhǔn)確; 第3張圖片在雨天的情況下, 本文的結(jié)果仍比YOLOP的處理結(jié)果精度更高.

目標(biāo)檢測方面如表3所示, 本文對比了當(dāng)前流行的多任務(wù)深度學(xué)習(xí)網(wǎng)絡(luò)MultiNet[17], DLT-Net[18], 以及目前表現(xiàn)SOTA的YOLOP, 除此之外筆者還對比了單任務(wù)目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN[6]和YOLOv5s[2], 關(guān)于速度的測試都是基于顯卡NVIDIA GeForce 1080Ti進(jìn)行的, 表中對比3個目標(biāo)檢測評價標(biāo)準(zhǔn)召回率、平均精度和幀率, 可以看出本文工作結(jié)果在多任務(wù)中取得了SOTA效果, 檢測準(zhǔn)確率比當(dāng)前最好的多任務(wù)網(wǎng)絡(luò)提高了0.9%, 速度也提高了0.9 , YOLOv5s的速度雖然比本文快, 但是該網(wǎng)絡(luò)沒有處理分割任務(wù)的能力.

表3 目標(biāo)檢測結(jié)果對比

可行駛區(qū)域分割的結(jié)果如表4所示, 在對比時除了3個多任務(wù)網(wǎng)絡(luò)還對比了單任務(wù)分割網(wǎng)絡(luò)PSPNet[13],使用平均交并比(mIoU)來評價網(wǎng)絡(luò), 從結(jié)果可以看出本文結(jié)果在BDD100K和其他網(wǎng)絡(luò)相比表現(xiàn)最佳.

表4 可行駛區(qū)域分割結(jié)果對比

車道線檢測的結(jié)果如表5所示, 實驗對比了多任務(wù)網(wǎng)絡(luò)YOLOP以及一些傳統(tǒng)的單任務(wù)車道線檢測網(wǎng)絡(luò)ENet[3], SCNN[14], ENet-SAD[15], 使用準(zhǔn)確率和IoU評價網(wǎng)絡(luò)的效果, 準(zhǔn)確率的定義如下:

表5 車道線結(jié)果對比 (%)

為驗證本文算法對于復(fù)雜場景的有效性, 本文對BDD100K數(shù)據(jù)集中的不同場景、不同時段的圖片分別計算3個任務(wù)的檢測性能, 結(jié)果如表6所示, 從表中可以看出本算法在各個場景下均優(yōu)于YOLOP.

表6 不同場景下結(jié)果對比 (%)

3.4 消融實驗

為了驗證本文所提網(wǎng)絡(luò)中用到的模塊的有效性,本文做了如下消融實驗, 采用普通的IoU計算方式和去除分割分支的獨立FPN結(jié)構(gòu)進(jìn)行實驗, 實驗結(jié)果如表7所示.

表7 消融實驗結(jié)果對比 (%)

表7中網(wǎng)絡(luò)baseline在損失函數(shù)計算時使用一般的CIoU計算方式, 分割分支和目標(biāo)檢測分支共用一個特征金字塔結(jié)構(gòu), 目標(biāo)檢測使用mAP評價, 可行駛區(qū)域分割使用mIoU評價, 車道線檢測使用準(zhǔn)確率進(jìn)行評價. 從表7中結(jié)果我們可以看到, α-IoU提升了目標(biāo)檢測準(zhǔn)確率, 而獨立FPN結(jié)構(gòu)則有效提升了分割分支的檢測效果.

4 結(jié)論與展望

本文基于YOLOv5設(shè)計了一個多任務(wù)自動駕駛環(huán)境感知算法, 可以同時處理目標(biāo)檢測, 可行駛區(qū)域分割,車道線檢測3個任務(wù), 并且在1080Ti顯卡上達(dá)到了76.3 fps, 在BDD100K數(shù)據(jù)集上與其他多任務(wù)網(wǎng)絡(luò)相比取得了最佳的效果. 下一步的研究工作將在本文的基礎(chǔ)上結(jié)合車道線檢測的特點, 增加一些后處理操作,進(jìn)一步提高車道線檢測的準(zhǔn)確率, 構(gòu)建一個工業(yè)級的多任務(wù)自動駕駛環(huán)境感知算法.