羅國榮

(廣州科技職業(yè)技術大學 自動化工程學院，廣州 510550)

0 引言

隨著我國人們生活水平的提高，汽車已普遍進入千家萬戶，而城鎮(zhèn)化的快速發(fā)展導致城市人口越來越密集，以致道路交通壓力也不斷上升.與此同時，道路阻塞、安全事故頻發(fā)等問題嚴重影響了人們的出行和生命安全，人們?yōu)榻鉀Q這些問題設計開發(fā)無人駕駛汽車.無人駕駛汽車安全穩(wěn)定，不會因人為因素造成交通事故，因此越來越受人們關注.無人駕駛汽車的發(fā)展需要道路目標檢測技術的支撐，目標檢測技術可分為傳統(tǒng)的目標檢測算法和基于深度學習的目標檢測算法.傳統(tǒng)的目標檢測算法主要依賴人為設計特征，首先從圖像中利用窮舉法選取候選區(qū)域，然后提取其特征，最后利用分類器對其進行分類，然而人為設計特征的泛化性和魯棒性差，難以適應復雜的實際場景；并且利用窮舉法提取候選區(qū)域的時間復雜度高滿足不了實時性.

基于深度學習的目標檢測算法又分為基于候選區(qū)域(兩階段)和基于回歸(一階段)兩類.基于候選區(qū)域的算法主要包括R-CNN、Fast R-CNN、Faster R-CNN等，張昭等針對Faster R-CNN對遠距離小目標車輛的檢測效果較差的問題，提出了反卷積反向特征融合Faster R-CNN算法.不僅降低了訓練難度，而且有效改善梯度消失問題，提高對遠距離小目標車輛信息的多尺度特征的提取和表達能力[1]；龔強在Cityscapes數(shù)據(jù)集上，使用Mask R-CNN算法與關鍵點檢測算法進行訓練和測試，對道路前方的目標進行檢測，提升Mask R-CNN的準確度[2]；張曉雪為了提高目標檢測精度，使用目標檢測分割的經典算法Mask R-CNN，通過在其算法的基礎上將淺層特征圖與高層特征圖相融合來對算法進行優(yōu)化，最終達到提高Mask R-CNN算法在目標識別的精確度[3]，此類檢測算法速度普遍較慢，在交通場景中檢測的實時性還不能滿足，但檢測精度在不斷提升.

基于回歸的算法主要包括Yolov1、Yolov2、Yolov3、SSD等，周慧海等為檢測道路場景中遠距離的小目標，提出一種改進網(wǎng)絡RFG_SSD算法，首先在原SSD主干部分和檢測部分之間引入改進特征金字塔網(wǎng)絡，其次在檢測層使用全局平均池化層替換全連接層，降低參數(shù)從而提高檢測速度，小目標檢測個數(shù)相較于原SSD檢測個數(shù)高出3倍多，小目標檢測性能效果顯著提升[4]；袁不平等針對Yolov3對中小目標檢測效果不理想的問題，提出改進算法DX-Yolo(densely ResneXt with Yolov3).首先對Yolov3的特征提取網(wǎng)絡Darknet-53進行改進，使用ResneXt殘差模塊替換原有殘差模塊，在Darknet-53中引入密集連接，利用K-means算法對數(shù)據(jù)集進行維度聚類，最后通過試驗獲得較好的效果[5].蔡英鳳等提出了一種SLSTMAT(Social-LSTM-Attention)算法,創(chuàng)新性地引入目標車輛社交特征并通過卷積神經網(wǎng)絡提取,建立了基于深度學習的車輛行為識別模型,應用注意力機制來捕捉行為時窗中的多時步信息，實現(xiàn)了周邊車輛行為準確識別[6]；隗寒冰等提出一種基于網(wǎng)狀分類器與融合歷史軌跡的多目標檢測與跟蹤算法，該算法考慮各目標之間的遮擋關系，利用具有目標融合功能的網(wǎng)狀分類器對多尺度滑動窗獲取的待檢窗口進行多目標檢測，在處理目標遮擋的復雜場景時具有較好的識別效果[7]；羅玉濤等提出一種由攝像頭采集的圖像信息與激光雷達采集的點云信息進行空間匹配與特征疊加后生成的稀疏彩色點云結構，通過改進的PointPillars神經網(wǎng)絡算法對融合后的彩色稀疏點云進行運算，提升了識別平均精度[8]；高春艷等提出一種改進的Yolov3目標檢測算法，該方法分別從多尺度圖像訓練、增加Inception-res模塊和省去大尺度特征輸出分支3個方面對Yolov3網(wǎng)絡進行改進，能夠更好地檢測出藏匿于車底部位的危險品目標[9]；程騰等本文提出一種基于特征融合的多層次多模態(tài)融合方法，提取針對不同大小目標的層級特征,在此基礎上進行多模態(tài)的多層次特征融合，并進行6次對比實驗驗證，取得較好的效果[10]；陳瓊紅等提出一種針對霧天環(huán)境下車輛和行人的檢測方法.將AOD-Net去霧算法與SSD目標檢測算法相結合,實現(xiàn)了城市交通霧天環(huán)境下的車輛和行人檢測[11].此類算法檢測速度快、實時性較好，但是檢測精度與準確度相對于兩階段的算法還是較差[12].

為了無人駕駛汽車能在道路上實時檢測車輛目標，本文提出一種改進Yolov3算法,該算法是將ResNet50網(wǎng)絡代替Darknet-53網(wǎng)絡作為基礎特征提取網(wǎng)絡，舍棄ResNet50網(wǎng)絡中第5組及后面的網(wǎng)絡，再在此基礎上增加2個檢測網(wǎng)絡，最后設置6個邊界框，以提高目標定位的準確率.

1 Yolov3目標檢測算法

Yolov3是基于回歸的一類目標檢算法，其最大特點是檢測速度快，能滿足實時性要求.其核心思想是將一幅圖像劃分為互不重疊的網(wǎng)格塊，通過回歸分析來確定目標及其位置，克服了基于候選區(qū)域目標檢測算法滑動窗口帶來的檢測速度慢的缺點.Yolov3結構可分為特征提取塊和目標檢測塊兩部分.如圖1所示.

圖1 Yolov3結構圖Fig.1 Structure diagram of Yolov3

特征提取塊采用Darknet-53網(wǎng)絡的架構，由DBL(卷積網(wǎng)絡)和Resn(殘差網(wǎng)絡)堆疊而成.卷積網(wǎng)絡(DBL)由Conv(卷積)層、BN(歸一化)、Leaky relu(激活函數(shù))組成.殘差網(wǎng)絡(Resn)中的n表示數(shù)字，此處分別表示1、2、4、8，由zero padding(零填充)、DBL(卷積網(wǎng)絡)和res unit(殘差單元)組成.殘差單元通過引入shortcut(短路連接)，這樣可以增加網(wǎng)絡深度，同時可以保證網(wǎng)絡性能不下降.

目標檢測塊分別由y1、y2、y3三個不同尺度的檢測網(wǎng)絡組成.由于淺層卷積網(wǎng)絡的卷積計算得到的是物體的邊緣信息，邊緣信息包含物體的尺寸和位置；而深層卷積網(wǎng)絡的卷積計算得到的是物體更為抽象的語義信息，但物體的尺寸和位置隨著卷積層的深度增加而逐漸丟失.為了檢測圖像中不同尺寸的物體，Yolov3的分別由上述三個不同尺度的檢測網(wǎng)絡，主要方法是將深層特征先進行上采樣，使得圖像尺寸與不同層次的殘差網(wǎng)絡的輸出特征相同，再將兩者進行連接.這種方法即可將深層特征與淺層特征進行融合，實現(xiàn)對場景中不同尺度大小的物體進行檢測.

2 改進的Yolov3目標檢測算法

目標檢測算法的優(yōu)化主要是從修改Yolov3的基礎網(wǎng)絡、邊界框兩個方面進行.

2.1 特征提取網(wǎng)絡優(yōu)化

Darknet-53網(wǎng)絡架構的殘差單元雖然能在網(wǎng)絡加深時抑制收斂變慢的問題，但仍存在訓練困難、梯度消失的情況.為了進一步提升網(wǎng)絡的特征提取性能，本文在原殘差單元的基礎上增加1個卷積層，使得網(wǎng)絡能夠提取出更豐富的特征信息，如圖2(b)所示的Res_b結構.改進的殘差單為減少通道數(shù)量，先在第一層使用1×1卷積核，接著采用3×3卷積核進行特征提取，最后采用1×1卷積核恢復通道數(shù)量,這樣在不增加參數(shù)的情況下拓展了卷積網(wǎng)絡的寬度，因此降低了模型的復雜度，提高了網(wǎng)絡的運行效率.另外，為了防止殘差單元輸入和輸出的維度不同導致殘差單元之間不能連續(xù)串聯(lián)，在短路連接處增加1個卷積層，用于改變殘差單元的輸出維度，方便后續(xù)的殘差單元串聯(lián)，如圖2(b)所示的Res_a 結構.

圖2 殘差單元結構圖Fig.2 Structural diagram of residual cells

在改進后的殘差單元的基礎上用ResNet50網(wǎng)絡代替Darknet-53網(wǎng)絡作為基礎特征提取網(wǎng)絡，并舍棄第5組及后面的網(wǎng)絡，然后在ResNet50網(wǎng)絡中第Res4組的第2個res_b后增加一個Yolo2檢測輸出網(wǎng)絡，然后在第4組的最后1個block再連接一個Yolo1檢測輸出網(wǎng)絡，以提升車輛目標的檢測準確率，其中Yolo1與Yolo2網(wǎng)絡結構相同，基礎特征提取網(wǎng)絡框架如圖3所示.

2.2 邊界框優(yōu)化

邊界框大小是采用一種基于交并比(IoU)距離度量的K-均值(K-means)聚類算法進行計算.首先統(tǒng)計圖像數(shù)據(jù)集中的真實標注框，方法是計算每幅圖像真實標注框的縱橫比和面積，組建一個縱橫比-面積數(shù)據(jù)集，并繪制縱橫比和面積關系圖，如圖4所示.

圖4 縱橫比與面積關系圖Fig.4 Horizontal and horizontal ratio and area relationship

從圖4可以看出，具有相似縱橫比和面積的標注框聚集在一起，此處利用K-均值聚類距離的算法對邊界框的大小進行計算，其計算公式為：

d=1-IoU，

(1)

(2)

式中：d為邊界框與標注框的距離；IoU為邊界框與標注框的交并比；A為邊界框；B為標注框；area(A∩B)為邊界框與標注框相交的面積；area(A∪B)為邊界框與標注框相并的面積.

K-均值聚類算法流程如下：

(1)采用K-means ++ 算法選擇K個均值聚類初始簇中心集合α={α1，α2，α3，…，αk}.

(2)針對縱橫比-面積數(shù)據(jù)集中每個樣本xi，計算它到K個聚類中心的距離并將其分到距離最小的聚類中心所對應的類中.

(3)針對每個類別ci，重新計算它的聚類中心，計算公式如下：

(3)

式中，x是屬于類別ci的一個數(shù)據(jù)點.

(4)重復步驟2到3，直到簇分配不變，或達到最大迭代次數(shù).

由于K-means算法的初始聚類中心需要人為確定，而且不同的初始聚類中心會產生不同的聚類結果.為了改善K-means算法，采用了K-means ++ 算法自動地確定聚類初始簇中心集合.其算法流程如下：

(1)從輸入的數(shù)據(jù)點集合中隨機選擇一個點作為第一個聚類中心，表示為α1.

(2)對于數(shù)據(jù)集中的每一個點xi，計算它與最近聚類中心(指已選擇的聚類中心)的距離，表示為d(xi,αj).

(3)選擇一個新的數(shù)據(jù)點作為新的聚類中心α2，選擇的原則是：d(xi,αj)較大的點，被選取作為聚類中心的概率較大.

(4)重復(2)和(3)直到K個聚類中心被選出來.

最后設置6個邊界框，以提高目標定位的準確率.

3 實驗與結果

3.1 實驗環(huán)境設置

開發(fā)環(huán)境使用win10操作系統(tǒng)，軟件環(huán)境平臺為matlab2021.在硬件配置上CPU使用英特爾酷睿i9-7900X; GPU為英偉達GTX 1080Ti 11G顯存.

實驗采用的圖像是通過對行車記錄儀記錄的視頻按一定的時間間隔進行截取，包含市區(qū)、鄉(xiāng)村和高速公路等場景采集的真實圖像數(shù)據(jù)，共350張，通過圖像數(shù)據(jù)增強技術，對原始圖像進行旋轉、移動、縮放、倒影、剪切變換、顏色抖動增強等變換，如圖5所示.

圖5 圖像數(shù)據(jù)增強Fig.5 Image data enhancement

變換后的圖像集為2 800張，并將數(shù)據(jù)集以7∶1∶2的比例分成訓練集、驗證集和測試集.并應用matlab內置的“image labeler”標注工具將每張圖像的汽車對象標注出來.

訓練設置如下：最大世代(epochs)次數(shù)為80，最小批尺寸大小為8，學習率為設置為動態(tài)，分指數(shù)上升期、穩(wěn)定期和下降期三個階段，其中初始學習率為0.001，訓練期間學習率的變化如圖6所示.

圖6 訓練學習率Fig.6 Training learning rate

L2正則化因子設置為0.000 5，懲罰閾值設置為0.5，與真實值重疊小于0.5的檢測將被懲罰，采用隨動量變化的隨機梯度下降(SGDM)的求解算法沿著損失函數(shù)的負梯度方向更新網(wǎng)絡參數(shù).

3.2 實驗結果及分析

訓練損失由邊界框、置信度和分類這三種部分構成的誤差組成，其中邊界框采用均方差計算，置信度和分類采用二值交叉墑計算，其損失函數(shù)計算公式為：

(4)

(5)

(6)

totalloss=boxloss+clsloss+objloss，

(7)

訓練損失結果如圖7所示.可以看出，整個訓練期間，邊界框損失和分類損失維持在低值范圍，說明邊界框和分類的預測較準確，而置信損失經過200次迭代從1 180下降到90，說明訓練收斂速度較快，而且逐漸接近0，說明訓練學習率的設計較為合理.三者疊加起來的總損失能使模型訓練損失接近0，說明模型的訓練是成功的.

模型訓練結束后，需要對模型進行評估，評估指標采用平均精度(mAP)、精確率(precision)和召回率(recall),結合本文場景，平均精度(mAP)計算如下：

(8)

式中：Ci為單張圖片中目標檢測的精確率；n為圖片總數(shù).

精確率(precision)計算如下：

(9)

式中：TP為模型預測為正樣本，實際為正樣本，即是被正確檢出的樣本數(shù)；FP為模型預測為正樣本，實際為負樣本，即是被錯誤檢出的樣本數(shù).

(a)邊界框損失；(b)置信度損失；(c)分類損失；(d)訓練總損失圖7 訓練損失結果Fig.7 Training loss results

召回率(recall)計算如下：

(10)

其中，F(xiàn)N表示模型將預測為負樣本，實際為正樣本，即是被漏檢的樣本數(shù).

本文使用相同的數(shù)據(jù)集和訓練參數(shù)分別對以基于ResNet50為基礎網(wǎng)絡的改進Yolov3模型、以Darknet為基礎網(wǎng)絡的原Yolov3模型進行訓練，兩種模型評估的P-R(精確率-召回率)曲線如圖8、圖9所示.

圖8 以ResNet50為基礎網(wǎng)絡的改進Yolov3模型Fig.8 An improved Yolov3 model with a ResNet50-based network

圖9 以Darknet為基礎網(wǎng)絡的原Yolov3模型Fig.9 The original Yolov3 model with the Darknet-based network

由圖可以看出，改進后Yolov3模型的平均精確度比原Yolov3模型提高了0.5%.在P-R曲線中，曲線接近坐標(1，1)位置，說明精確度和召回率都很高，就越說明模型性能越好.當召回率為0.7時，改進后Yolov3模型的精確度比原Yolov3模型高，同時曲線比原Yolov3模型更接近坐標(1，1)位置，這說明改進后的Yolov3模型綜合性能更好，檢測準確率和定位精度更高.當對大小為1 280×720像素的mp4格式的視頻進行檢測時，幀速率不低于40幀/s，可以滿足對視頻實時檢測的要求.

4 結語

本文基于Yolov3網(wǎng)絡，修改了殘差網(wǎng)絡單元，在基礎特征提取網(wǎng)絡中，利用ResNet50網(wǎng)絡代替Darknet-53網(wǎng)絡，剪切了ResNet50網(wǎng)絡中第5個殘差模塊，最后添加了2個Yolo檢測網(wǎng)絡，組合成一個新的改進型Yolov3網(wǎng)絡.

通過K-means聚類算法選擇邊界框和通過數(shù)據(jù)采集和處理，進行模型訓練實驗，結果顯示，在驗證集中獲得較好的精確率和召回率，同時對訓練數(shù)據(jù)之外的數(shù)據(jù)也獲得良好的檢測效果.