肖雨晴楊慧敏

(東北林業(yè)大學(xué) 工程技術(shù)學(xué)院,哈爾濱 150040)

0 引言

在現(xiàn)代交通追求更安全、更智能的背景下,自動駕駛技術(shù)發(fā)展迅速[1]。深入研究自動駕駛問題,不僅可以促進汽車與人工智能、通信等技術(shù)的深度融合,還可以推動自動駕駛生態(tài)產(chǎn)業(yè)的發(fā)展[2]。在自動駕駛技術(shù)中,道路交通目標(biāo)的精準(zhǔn)檢測是關(guān)鍵的研究問題。傳統(tǒng)算法利用哈爾特征(Haar-like feature,Haar)、局部二值模式(Local binary pattern,LBP)和方向梯度直方圖(Histogram of oriented gradient,HOG)等特征與機器學(xué)習(xí)結(jié)合的方式檢測識別交通場景目標(biāo),檢測效率低,難以實現(xiàn)不同尺度目標(biāo)的實時檢測定位[3-6]。隨著研究的深入,基于深度學(xué)習(xí)的目標(biāo)檢測算法憑借檢測速度快的優(yōu)點被廣泛應(yīng)用在道路目標(biāo)檢測[7-8]。例如,Xu等[9]利用通道注意力(Squeeze and excitation network,SENet)改進YOLOv3算法,車輛檢測的速度和精度均有提升,但算法的參數(shù)量增大;Choi等[10]通過高斯建模邊界框坐標(biāo),實現(xiàn)了檢測速度與精度的良好平衡,但對圖像尺寸有一定要求;Chen等[11]通過剪枝YOLOv3_tiny算法來檢測車輛目標(biāo),大幅提升了檢測速度,可以實現(xiàn)嵌入式設(shè)備應(yīng)用,但對小目標(biāo)和遮擋目標(biāo)檢測存在局限性。Cai等[12]利用可變卷積構(gòu)造新型主干網(wǎng)絡(luò)并添加特征融合模塊,解決了車載計算平臺資源有限問題,促進了自動駕駛的研究。

盡管基于深度學(xué)習(xí)的目標(biāo)檢測算法表現(xiàn)出強大的優(yōu)越性,但交通場景目標(biāo)檢測仍存在多尺度信息丟失和小目標(biāo)檢測精度低的問題[13]。因此,本文提出一種適應(yīng)交通場景的YOLOv3_4d目標(biāo)檢測算法。主要解決如下問題:①四尺度檢測網(wǎng)絡(luò)。在檢測網(wǎng)絡(luò)上增加一個檢測尺度,獲取不同尺度特征信息;②注意力殘差單元。設(shè)計注意力殘差單元構(gòu)造主干網(wǎng)絡(luò)(DarkNet_SE),增強特征圖中關(guān)鍵信息的權(quán)重;③特征增強模塊。利用不同卷積核的最大池化對特征圖進行增強操作,獲取高維融合特征,提高目標(biāo)檢測精度;④損失函數(shù)。引入GIoU函數(shù)對邊界框回歸,優(yōu)化反向傳播過程,替換置信度損失函數(shù)為Focal函數(shù),平衡正負樣本,增強算法的魯棒性。

1 交通場景目標(biāo)檢測難點

1.1 小目標(biāo)檢測精度低

交通場景中小目標(biāo)覆蓋區(qū)域較小,檢測十分困難。圖1中綠色框為未檢測出的目標(biāo)。經(jīng)過分析,小目標(biāo)檢測困難的原因主要有以下3點[14-15]:①特征信息較少。小目標(biāo)在圖像中占用像素少,標(biāo)注面積占比小,特征信息不易提取,且易受噪聲、遮擋等因素干擾,進而無法精準(zhǔn)定位;②卷積神經(jīng)網(wǎng)絡(luò)下采樣率大,在卷積神經(jīng)網(wǎng)絡(luò)下采樣提取特征過程中,輸出特征圖尺度不斷縮小,當(dāng)下采樣率大于小目標(biāo)尺寸時,傳遞的特征圖則不能包含需要的小目標(biāo)信息;③正負樣本分布不均。常用數(shù)據(jù)集包含的小目標(biāo)樣本數(shù)占比少,而中、大樣本數(shù)居多,在訓(xùn)練過程中,算法會更加關(guān)注中、大目標(biāo)樣本而忽略小目標(biāo)樣本,從而使小目標(biāo)樣本不能充分訓(xùn)練,造成小目標(biāo)檢測困難。

圖1 小目標(biāo)檢測效果Fig.1 Small targets detection effect

1.2 多尺度目標(biāo)信息丟失

道路場景中存在車輛由近及遠、由遠及近的尺度變化情況[16]。圖2中,道路目標(biāo)種類多樣,不同目標(biāo)尺度變化很大,甚至同種類型目標(biāo)也出現(xiàn)了一定程度變形等情況。車輛在行駛過程中攝像頭的視角和高度存在差異,會造成多尺度信息丟失的問題,影響交通目標(biāo)檢測的效果。

圖2 不同道路交通場景Fig.2 Different road traffic scenes

2 改進的YOLOv3算法

2.1 算法結(jié)構(gòu)

改進算法由主干網(wǎng)絡(luò)(Darknet_SE)、特征融合網(wǎng)絡(luò)和檢測網(wǎng)絡(luò)3部分組成,如圖3所示。依據(jù)卷積網(wǎng)絡(luò)在大尺度特征圖上檢測小目標(biāo)效果好的特點,在YOLOv3算法原有3個檢測尺度的基礎(chǔ)上,對特征融合網(wǎng)絡(luò)和檢測網(wǎng)絡(luò)進行設(shè)計,增加1個檢測小目標(biāo)的大尺度特征輸出圖,設(shè)計的算法稱為YOLOv3_4d算法。為適應(yīng)新增特征圖的尺度變化,特征融合網(wǎng)絡(luò)在原先2個拼接模塊(Concat)的基礎(chǔ)上新增1個拼接模塊,同時在主干網(wǎng)絡(luò)后增加1個特征增強模塊。主干網(wǎng)絡(luò)第3個殘差塊輸出的64×64特征圖通過1次上采樣與第2個殘差塊輸出的特征圖128×128進行拼接,隨后交替使用3×3和1×1的卷積操作映射得到張量數(shù)據(jù)(YOLO_Head)。主干網(wǎng)絡(luò)輸出的4、8、16、32倍下采樣的特征向量,經(jīng)過一系列特征融合形成具有4層檢測層的檢測網(wǎng)絡(luò),分別對小、中、大目標(biāo)獨立檢測。

由表1可知,主干網(wǎng)絡(luò)(DarkNet_SE)由5個殘差塊組成,每個殘差塊由多個注意力殘差單元構(gòu)成,注意力殘差單元由卷積層(Conv2d)和注意力(SE)模塊組成。其中,Conv2d是基本組成構(gòu)件,包括卷積,批歸一化和Leaky Relu激活函數(shù)。注意力殘差單元可以獲取高維信息,在遠景小目標(biāo)的檢測上考慮更加充分。

圖3 YOLOv3_4d算法Fig.3 YOLOv3_4d algorithm

表1 主干網(wǎng)絡(luò)Tab.1 Backbone network

2.2 注意力殘差單元

通道注意力(SENet)模塊易于實現(xiàn),并且很容易引入現(xiàn)有的算法框架中,不僅如此,SENet模塊能夠顯著改善網(wǎng)絡(luò)的特征提取能力,并且對算法的負面影響較小[17-19]。SENet結(jié)構(gòu)如圖4(a)所示,將SENet模塊改進,提取深層次圖像語義信息。

注意力殘差單元結(jié)構(gòu)如圖4(b)所示,具體實現(xiàn)如下內(nèi)容:①輸入為特征圖H×W×C,經(jīng)過2層卷積(Conv2d)處理,特征圖的尺寸與通道數(shù)保持不變;②處理后的特征圖通過全局平均池化層生成特征圖1×1×C,然后輸入第1層全連接層后特征圖變?yōu)?×1×C/r,利用激活函數(shù)ReLU非線性變換后輸入第2層全連接層恢復(fù)為1×1×C,r為縮放系數(shù),取值為16;③全連接層處理后的1×1×C特征圖通過Sigmoid函數(shù)生成權(quán)重系數(shù)矩陣,再將權(quán)重系數(shù)乘以對應(yīng)的通道數(shù)生成H×W×C特征圖。④將卷積(Conv2d)輸出特征圖與H×W×C特征圖進行相加操作獲取融合特征圖。

2.3 特征增強模塊

交通場景圖像中含有豐富的空間與位置信息,應(yīng)該充分提取其特征,提高目標(biāo)檢測效果。而對于目標(biāo)檢測任務(wù),網(wǎng)絡(luò)的層數(shù)達到一定數(shù)量時再繼續(xù)增加,會發(fā)生精度下降等情況[20]。所以算法設(shè)計特征增強模塊,利用不同卷積核的最大池化對主干網(wǎng)絡(luò)輸出的特征圖進行深度提取,增強特征圖的表現(xiàn)性能,并通過跳躍連接實現(xiàn)深層特征與增強特征的融合[21-22]。

特征增強模塊如圖5所示,輸入尺度為H×W×C的特征圖,使用卷積核為5、9、13的3個最大池化對特征圖進行特征增強并利用Concat模塊拼接不同尺度增強特征圖,融合特征圖尺度不變,但通道數(shù)由C擴大為4×C,再經(jīng)過卷積(Conv2d)降維通道數(shù)為C進行目標(biāo)預(yù)測。

圖4 注意力殘差單元Fig.4 Res_block_SE unite

圖5 特征增強模塊Fig.5 Feature enhance module

2.4 損失函數(shù)

YOLOv3算法的邊界框損失采用均方差損失函數(shù),該函數(shù)主要有2方面不足:一是4個坐標(biāo)的預(yù)測是獨立的,與實際情況不符;二是4個坐標(biāo)沒有實現(xiàn)正則化[23]。在此基礎(chǔ)上,曠世科技提出IoU損失函數(shù)(公式中用IoU表示),將4個坐標(biāo)看作整體進行預(yù)測,使預(yù)測更為精確。但IoU仍然有一定局限性,當(dāng)2框之間沒有重疊面積時,不能預(yù)測目標(biāo)[24]。因此,算法引入GIoU函數(shù)(公式中用LossGIoU表示),如公式(1)和(2)所示[25]。

式中:IoU為預(yù)測框(b)與真實框(bgt)的交并比;B為真實框與預(yù)測框相并的面積;Ac為包含真實框與預(yù)測框的最小包閉區(qū)域面積。

此外,在訓(xùn)練過程中一些難以檢測的正樣本不能充分學(xué)習(xí),制約交通目標(biāo)檢測效果。所以,算法引入Focal函數(shù)(公式中用LossFocol表示)作為置信度損失函數(shù),如公式(3)所示。該函數(shù)是在交叉熵函數(shù)中添加動態(tài)因子,減少易分樣本損失,增大難分樣本損失,加強網(wǎng)絡(luò)對難樣本的學(xué)習(xí)和挖掘[26]。

式中:α代表平衡參數(shù),取值為0.25;γ代表聚焦參數(shù),取值為1.5;y′為預(yù)測標(biāo)簽概率。

至于目標(biāo)分類損失仍采用交叉熵函數(shù)(公式中用LLosscls表示),如公式(4)所示,y為真實標(biāo)簽概率。所以,改進算法的損失函數(shù)(公式用Loss表示)如式(5)所示。

3 結(jié)果與分析

3.1 實驗數(shù)據(jù)集

(1)BDD 100K數(shù)據(jù)集[27]。該數(shù)據(jù)集是目前內(nèi)容最具多樣性的自動駕駛數(shù)據(jù)集,共有70 000張訓(xùn)練圖像,10 000張測試圖像,包含公交汽車、交通標(biāo)志和騎行人等10類目標(biāo)。數(shù)據(jù)集標(biāo)簽采用json格式,訓(xùn)練前將格式轉(zhuǎn)為符合YOLO算法的txt格式。為平衡不同類別樣本的數(shù)量,將Train類目標(biāo)去除,構(gòu)建包含9類目標(biāo)的交通場景數(shù)據(jù)集。

(2)VOC 2012數(shù)據(jù)集[28]。該數(shù)據(jù)集是目標(biāo)檢測任務(wù)的基準(zhǔn)數(shù)據(jù)集,來自Pascal VOC計算機視覺挑戰(zhàn)賽,共有11 540張圖像,訓(xùn)練圖像5 717張,測試圖像5 823張。包含車輛、行人和自行車等20個類別,標(biāo)簽統(tǒng)一采用xml格式,需要進一步轉(zhuǎn)換為txt格式。

3.2 實驗環(huán)境

實驗軟件平臺為Ubuntu 18.04系統(tǒng),Cuda 10.2,硬件平臺為Intel (R) Xeon (R) CPU E5-2678 v3

處理器和RTX 2080Ti顯卡,內(nèi)存11 G。編程語言為Python 3.6,使用Pytorch 1.6.0框架訓(xùn)練算法。訓(xùn)練時采用隨機梯度下降法優(yōu)化損失函數(shù),初始學(xué)習(xí)率為0.001,批量大小為8。

3.3 評價指標(biāo)

算法采用平均精度均值(mean Average Precision,mAP)作為評價指標(biāo),如公式(6)—(9)所示。其中,大(大于96×96像素)、中(小于96×96像素,大于32×32像素)、小(小于32×32像素)目標(biāo)按照COCO數(shù)據(jù)集劃分[29]。

式中:TP為真正例;FP為假正例;FN為假負例;Precision為準(zhǔn)確率;Recall為召回率;AP為準(zhǔn)確率與召回率下的面積;mAP值越高表示算法在全部目標(biāo)檢測中的綜合性能越高。

另一個重要的評價指標(biāo)是算法的檢測速度,單位為每秒幀率(Frames per second,FPS),即每秒內(nèi)檢測的圖像數(shù)量。每秒內(nèi)處理的圖像越多,表示算法的實行性越好。

3.4 實驗結(jié)果與分析

3.4.1 損失函數(shù)實驗結(jié)果

改進算法的Loss值為組合損失函數(shù)值,由邊界框損失、置信度損失與分類損失獲得。實驗采用遷移學(xué)習(xí)手段,在獲得預(yù)訓(xùn)練權(quán)重下迭代10個Epoch(BDD 100K)和30個Epoch(VOC 2012),在第3個Epoch和第4個Epoch后損失函數(shù)逐漸趨于穩(wěn)定。由圖6可知,YOLOv3_Loss算法的損失值明顯低于YOLOv3算法,并且擬合過程平穩(wěn),收斂效果好。

圖6 損失函數(shù)實驗結(jié)果Fig.6 Experimental results of loss function

3.4.2 BDD 100K實驗結(jié)果

實驗依次改進四尺度網(wǎng)絡(luò)、注意力殘差單元、特征增強模塊和損失函數(shù)4個部分進行消融實驗。由表2可知,當(dāng)對所有模塊進行改進時,算法的檢測性能提升顯著。相對YOLOv3算法,Ours算法的mAPS值增加了2.3%,mAPM和mAPL值分別增加了4.7%和5.4%。此外,實驗結(jié)果顯示注意力殘差單元和四尺度檢測網(wǎng)絡(luò)對檢測效果的提升更為重要。當(dāng)改進四尺度檢測網(wǎng)絡(luò)時,YOLOv3_FD算法的mAP50值增加了2.2%,mAPS值增加了1.6%;而當(dāng)網(wǎng)絡(luò)添加注意力殘差單元時,YOLOv3_SE算法的mAP50值大幅增加了8.6%,mAPS值增加了2.2%。雖然改進算法利用GIoU函數(shù)和Focal函數(shù)對于mAP50值來說僅僅增加了1.8%,但在網(wǎng)絡(luò)收斂方面發(fā)揮了自身的作用。另外,YOLOv3_FE算法添加特征增強模塊的mAP50值增加了1.5%。

表2 BDD 100K實驗結(jié)果Tab.2 BDD 100K experimental results %

3.4.3 VOC 2012實驗結(jié)果

實驗進一步驗證改進算法的檢測效果。由表3可知,算法改進四尺度檢測網(wǎng)絡(luò)、注意力殘差單元、特征增強模塊和損失函數(shù)4個部分的mAP50值分別為81.1%、82.3%、81.2%和81.1%。在經(jīng)過多次訓(xùn)練后,實驗發(fā)現(xiàn)替換注意力殘差單元,YOLOv3_SE算法的mAPS值、mAPM值、mAPL值分別增加了2.7%、4.6%、2.7%,優(yōu)化效果較明顯。其次為增加特征增強模塊,YOLOv3_FE算法的mAPS值、mAPM值、mAPL值分別增加了2.5%、4.6%、2.3%。算法增加四尺度檢測對mAP值提升不大,YOLOv3_FD算法的mAPS值、mAPM值、mAPL值分別增加了2.3%、4.6%、2.2%。當(dāng)對4種模塊進行改進時, Ours算法的mAPS值增加了3.2%,mAPM值、mAPL值分別增加了5.1%、3.0%。改進算法的mAP50值與MAP75值分別增加了4.0%和3.1%,算法的檢測精度有明顯提升。

表3 VOC 2012實驗結(jié)果Tab.3 VOC 2012 experimental results %

3.4.4 對比實驗結(jié)果

實驗將改進算法與其他算法比較,驗證改進算法的有效性。由表4可知,BDD 100K數(shù)據(jù)集上,改進算法的mAP50值為30.0%,相比YOLOv3、YOLOv4_tiny[30]、CenterNet算法,mAP50值分別增加了9.2%、2.0%、21.7%。改進算法的檢測速度為11幀/s,檢測速度一般。VOC 2012數(shù)據(jù)集上,改進算法的mAP值相對SSD[31]、YOLOv3、YOLOv5s[32]算法增加了9.1%、4.0%、4.0%,檢測速度需要進一步提高。

表4 對比實驗結(jié)果Tab.4 Experimental results of comparison

3.4.5 算法測試

實驗選取部分圖像進行可視化。由圖7可以明顯看出,YOLOv3算法出現(xiàn)了部分漏檢和誤檢現(xiàn)象,且對小目標(biāo)檢測效果較差。改進算法可以全面檢測出惡劣天氣環(huán)境下道路交通場景目標(biāo),魯棒性較高,能夠定位出中心點和目標(biāo)框的精確位置,并且小目標(biāo)的檢測效果優(yōu)良。但也出現(xiàn)了誤檢現(xiàn)象,可以進一步深入研究后處理算法等方面[33-34]。

圖7 算法測試Fig.7 Algorithm demo

4 結(jié)論

針對道路小目標(biāo)檢測精度低和多尺度信息丟失的問題,本文提出改進的YOLOv3_4d算法。算法首先設(shè)計四尺度檢測網(wǎng)絡(luò),有效檢測不同尺度目標(biāo),緩解了不同目標(biāo)尺度差異帶來的信息丟失等負面影響。其次,算法設(shè)計注意力殘差單元構(gòu)造主干網(wǎng)絡(luò),添加特征增強模塊,獲取深層次特征信息。另外,算法引入GIoU和Focal設(shè)計損失函數(shù),加快收斂速度,平衡正負樣本。實驗選用BDD 100K和VOC 2012數(shù)據(jù)集,結(jié)果表明改進算法的mAP50值分別增加了9.2%和4.0%,對小目標(biāo)檢測效果良好,符合交通場景目標(biāo)檢測應(yīng)用需求。