鮑日湧, 張康宜, 林 毅, 連培昆

(福建農(nóng)林大學(xué) 交通與土木工程學(xué)院, 福州 350002)

0 引言

隨著智能交通系統(tǒng)的快速發(fā)展,交通目標(biāo)檢測技術(shù)顯得尤為重要. 高效準確的交通檢測不僅關(guān)系到道路交通管理決策的科學(xué)性,也是智能駕駛等新技術(shù)實現(xiàn)的基礎(chǔ)[1]. 傳統(tǒng)的交通檢測算法主要基于特定場景的需求進行繁瑣的手工設(shè)計,往往不具有通用性,當(dāng)圖像的場景或者識別的角度變化時,容易導(dǎo)致效果不佳,難以適應(yīng)復(fù)雜多變的交通場景執(zhí)行車輛檢測任務(wù)[2-3]. 近年來隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,基于計算機視覺結(jié)合深度學(xué)習(xí)的交通檢測方法取得了很大的進展,并逐漸成為該領(lǐng)域的主流方法. 這種基于圖像處理的方法可避免傳統(tǒng)硬件傳感器車流檢測的弊端,不受天氣條件的影響. 相比傳統(tǒng)車輛檢測方法,它具有更強的魯棒性以及更廣的適用場景. 目前主流的目標(biāo)檢測算法代表有YOLO系列[4-5]、SSD系列[6]等單階段檢測算法和RCNN[7]、Fast RCNN[8]等兩階段檢測算法. 盡管兩階段檢測算法檢測精度更高,但其效率較低,計算耗時更長. 而單階段檢測算法更簡單高效,可在一階段直接提取特征并輸出目標(biāo)類別和位置,計算速度更快,算力要求也更低. 因此,目前大部分交通目標(biāo)檢測任務(wù)仍以使用單階段算法為主,且有大量的學(xué)者在YOLO檢測算法的基礎(chǔ)上改進得到不錯的效果. 李珣等[9]等通過對道路場景的分析,改進了YOLO-voc網(wǎng)絡(luò)模型,改善了道路車輛目標(biāo)檢測率低及魯棒性差的問題;胡習(xí)之等[10]通過融合Camshift與YOLOv4的車輛檢測算法,根據(jù)哈希值來選擇不同的檢測方式的方法,在檢測速度方面得到了明顯的改善;蒲玲玲等[11]提出了1種基于動態(tài)IOU閾值的非極大值抑制算法,解決了車輛相互遮擋問題,提高了算法的跟蹤精度;鄺先驗等[12]通過在YOLOv5s網(wǎng)絡(luò)基礎(chǔ)上添加卷積注意力模塊,同時加深網(wǎng)絡(luò)主干的方法,以提高在車輛目標(biāo)小與遮擋較多復(fù)雜場景的檢測精度;袁小平等[13]以YOLOv4算法框架結(jié)構(gòu)作為基礎(chǔ),提出改進注意力機制的多尺度特征,提取融合檢測網(wǎng)絡(luò). 在保證基本的實時性的基礎(chǔ)上,更適用于復(fù)雜交通場景下的混合目標(biāo)檢測任務(wù);董天天等[14]提出了1種基于AlexNet融合改進的 YOLOv3 網(wǎng)絡(luò)模型,不同天氣狀況使用不同方法去除干擾,大大提升了在復(fù)雜天氣條件下的檢測精度. 雖然相比改進前在檢測精度方面有所提升,但其在部分特定場景的表現(xiàn)仍有空間. 如,對于有大量非機動車且無機非分離、地面受到陽光反射、交通流比較擁堵的道路和視頻遠處行駛的車輛,上述方法大多存在著誤檢、漏檢等檢測精度不足的問題. 除此之外,官方提供的YOLOv5預(yù)訓(xùn)練模型對于一些特定的交通場景,也存在著誤檢、漏檢的情況. 例如,使用官方的模型識別電動摩托車時,通常只能識別到車上的人,一定程度上影響了數(shù)據(jù)的精準性. 同時,使用特定場景制作的數(shù)據(jù)集所訓(xùn)練出來的模型也僅在特定的交通場景表現(xiàn)理想,對其他交通場景的適應(yīng)性較差. 針對上述問題,本文通過對數(shù)據(jù)集的預(yù)處理,加入公共數(shù)據(jù)集與特定場景標(biāo)定的數(shù)據(jù)集進行融合,在此基礎(chǔ)上使用官網(wǎng)提供的預(yù)訓(xùn)練模型遷移學(xué)習(xí)并進行測試及性能比較,驗證模型檢測的精準率和魯棒性.

1 基于普適性和特適性需求融合的交通檢測模型設(shè)計

1.1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5是在YOLOv4的基礎(chǔ)上改進新思路,具有速度更快、檢測精度更高、文件更小等特點. YOLOv5網(wǎng)絡(luò)主要分為輸入端、骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)、頭部網(wǎng)絡(luò)4個部分. 輸入端采用Mosaic數(shù)據(jù)增強的方法,這種方法采用4張圖片,隨機縮放、裁剪、排布的方式進行拼接,可提高數(shù)據(jù)的多樣性,特別是隨機縮放增加了很多小目標(biāo),讓網(wǎng)絡(luò)的魯棒性更好. YOLOv5將自適應(yīng)錨框計算嵌入到代碼中,每次訓(xùn)練不同的數(shù)據(jù)集都有初始設(shè)定長框的錨框. 在開始訓(xùn)練時自適應(yīng)計算訓(xùn)練集中的最佳錨框值. 自適應(yīng)圖片縮放,因為不同的圖片長寬也不相同,因此需要將原始圖片統(tǒng)一縮放到1個標(biāo)準尺寸. 自適應(yīng)圖片縮放技術(shù)盡量保持高寬比,缺的用灰邊補齊達到固定的尺寸,再輸入到網(wǎng)絡(luò)中進行檢測. 骨干網(wǎng)絡(luò)主要是用來提取特征的網(wǎng)絡(luò),其作用就是提取圖片中的信息,以供后面的網(wǎng)絡(luò)使用. 由Focus結(jié)構(gòu),CSP結(jié)構(gòu)組成,其中Focus結(jié)構(gòu)最重要的是切片,將圖像切片后變成特征圖,再經(jīng)過卷積核進行卷積操作. 而CSP將之前所有層的輸出特征連接起來,作為下一層的輸入,最大化網(wǎng)絡(luò)層間的寬度,由梯度信息結(jié)合的思想,讓高網(wǎng)絡(luò)層間的寬度和稀疏連接來提升網(wǎng)絡(luò)的學(xué)習(xí)能力. 頸部網(wǎng)絡(luò)采用FPN+PAN結(jié)構(gòu),FPN是自上向下的1個特征金字塔,把高層的強語義特征傳遞下來,但是FPN中間經(jīng)過多層的網(wǎng)絡(luò)后,底層的目標(biāo)信息已經(jīng)非常模糊,因此PAN又加入了自底向上的路線將低層的定位特征傳遞上去,彌補并加強了定位信息. 頭部網(wǎng)絡(luò)擁有3種不同尺寸的特征圖像,根據(jù)各特征生成預(yù)測框進行非極大值抑制,保留局部類別置信度較高的預(yù)測框.

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

1.2 普適性結(jié)構(gòu)設(shè)計

1.2.1 數(shù)據(jù)處理部分

圖像數(shù)據(jù)集的質(zhì)量直接影響著車輛識別模型的性能好壞,當(dāng)前常用的數(shù)據(jù)集有PASCAL VOC2012、KITTI和COCO數(shù)據(jù)集等,本文普適性結(jié)構(gòu)設(shè)計選用的是COCO2017數(shù)據(jù)集,COCO 2017數(shù)據(jù)集是 1個常用的大型圖像數(shù)據(jù)集,其圖像均采集自真實場景,類別較為豐富,且每張圖像不僅有邊界框標(biāo)注,還有分割標(biāo)注,以及圖像描述的文本標(biāo)注,它的圖像和標(biāo)注真實反映復(fù)雜場景,是測試算法泛化能力的好基準,也是訓(xùn)練和評價算法的重要資源. COCO數(shù)據(jù)集中的圖像分為訓(xùn)練集118 287張、驗證集5 000張和測試集40 670張,一共有80個類別.

1.2.2 結(jié)構(gòu)設(shè)計部分

YOLOv5的普適性結(jié)構(gòu)部分主要是針對模型整體而言,目的是提高模型的泛化能力和魯棒性. 首先采用預(yù)訓(xùn)練權(quán)重可提高模型的泛化能力和魯棒性. 在實際應(yīng)用中,不同的數(shù)據(jù)集可能存在一些相似之處,通過使用預(yù)訓(xùn)練權(quán)重,可更好地利用這些相似之處,從而減少對數(shù)據(jù)集的依賴,提高模型的泛化能力. 同樣地,使用凍結(jié)主干網(wǎng)絡(luò)則保持了底層特征提取網(wǎng)絡(luò)的權(quán)重不變,僅更新后面的檢測頭部網(wǎng)絡(luò). 這將大大減輕對大量標(biāo)注數(shù)據(jù)的需求,避免模型過度擬合當(dāng)前數(shù)據(jù)集. 凍結(jié)主干網(wǎng)絡(luò)具體實現(xiàn)代碼見圖2. 在訓(xùn)練過程中使用隨機梯度下降法,以優(yōu)化參數(shù)調(diào)整并提高預(yù)測性能. 該方法能快速找到損失函數(shù)的局部最小值,從而加快訓(xùn)練進程,比較適用于大型數(shù)據(jù)集,同時設(shè)置回調(diào)函數(shù),記錄驗證集上性能最佳的模型參數(shù),以保證檢測性能.

圖2 凍結(jié)主干網(wǎng)絡(luò)代碼實現(xiàn)

1.3 特適性結(jié)構(gòu)設(shè)計

1.3.1 數(shù)據(jù)處理部分

有限的數(shù)據(jù)集,想要獲得1個效果較好的模型比較困難,因為數(shù)據(jù)量的不足很容易導(dǎo)致模型過擬合. 為了解決這個問題,使用遷移學(xué)習(xí)的思路. 首先使用在大型的公開數(shù)據(jù)集上預(yù)訓(xùn)練的模型,然后再在自建較小的數(shù)據(jù)集進行微調(diào). 因此本文使用的是交叉口視頻數(shù)據(jù),這些視頻拍攝于不同時段的卡口,包含多樣化的場景和車輛,對這些圖像進行了手工標(biāo)注. 標(biāo)注工具采用Darklabel開源軟件的2.4版本. 標(biāo)注后的數(shù)據(jù)與COCO數(shù)據(jù)集合并在一起,作為遷移學(xué)習(xí)所需的數(shù)據(jù)集. 相比于從零開始訓(xùn)練,遷移學(xué)習(xí)可充分利用COCO數(shù)據(jù)集上預(yù)訓(xùn)練好的模型,并使用額外標(biāo)注數(shù)據(jù)進行微調(diào),使模型更好地適應(yīng)目標(biāo)場景. 同時,不同視角、不同時段所拍數(shù)據(jù)的多樣性,也為模型泛化提供了支持. 在有限數(shù)據(jù)條件下,這種方式可獲得1個效果更佳的模型.

1.3.2 結(jié)構(gòu)設(shè)計部分

YOLOv5的特適性結(jié)構(gòu)部分主要是針對模型的檢測能力和性能而言,目的是提高模型的檢測精度和魯棒性. 在檢測中,同一目標(biāo)可能會出現(xiàn)許多大小不同的預(yù)測框、很多冗余的預(yù)測框,通過NMS操作可刪除冗余檢測的結(jié)果. YOLOv5算法中原有的NMS中,IoU是唯一的篩選規(guī)則,缺點是會將相鄰的檢測框的分數(shù)均強制歸零. 由于測試場景會出現(xiàn)很多重疊的現(xiàn)象,在篩選2個靠近的物時有可能就直接篩選掉另外1個物體的篩選框,導(dǎo)致漏檢的情況,從而影響檢測精度. 因此本文使用DIoU-NMS算法[15],代替經(jīng)典的NMS算法,DIoU-NMS在NMS的基礎(chǔ)上,不僅考慮了相鄰兩預(yù)測框重疊的部分,還考慮了相鄰2個預(yù)測框中心點間距離的問題見式(1):

(1)

式中,si為當(dāng)前類別的得分;IoU為預(yù)測框和真實框的交并比;HDIOU為DIOU損失函數(shù)的懲罰項;α為預(yù)測框中分數(shù)最高的那個框;Bi為相比較的邊界框;ε為NMS的閾值;ρ2(b,bgt)為預(yù)測框和真實框中心點的歐拉距離;c為預(yù)測框和真實框最小外接框的對角線長度.

2 數(shù)據(jù)分析

2.1 場景介紹

在普適性場景中,常見的車輛檢測場景包括城市道路、高速公路、收費站、停車場等. 這些場景中車輛行駛暢順、車速相對較快且車輛密集有序,比較容易進行車輛檢測. 然而,特殊場景則比較復(fù)雜. 例如含有摩托車的城市道路場景. 這類場景的車輛不僅包括普通的機動車,還包括摩托車和電動車等,這些車輛的速度和大小都存在較大差異,因此需要更為復(fù)雜的車輛檢測算法和技術(shù). 此外,特殊場景還包括交通擁堵嚴重的路段、夜間光線昏暗的路段以及雨霧等惡劣天氣條件下的路段. 這些場景中的車輛行駛速度緩慢,車輛密度大,需要更為高效的算法和技術(shù)才能準確地進行車輛檢測.

2.2 數(shù)據(jù)集

本文自定義的數(shù)據(jù)集類別設(shè)定了5類檢測目標(biāo):行人、摩托車、小汽車、公交車、貨車. 為了減少訓(xùn)練時間,通過代碼將COCO數(shù)據(jù)集80個類別中非本文需要的75個類別的數(shù)據(jù)刪除后,只保留部分相關(guān)圖片共計13 541張. 但是COCO2017中并沒有摩托車這一類別,而需要檢測的視頻中摩托車占大部分,因此就需要加入大量的摩托車數(shù)據(jù)集,通過采集交叉路口固定機位所拍攝的視頻,選用了3 581張圖片制作人工數(shù)據(jù)集. 最終的總數(shù)據(jù)集一共有 17 122張圖片,部分數(shù)據(jù)集圖片見圖3.

圖3 部分數(shù)據(jù)示意圖

其中人工數(shù)據(jù)集使用的是Darklabel2.4多目標(biāo)跟蹤標(biāo)注工具標(biāo)定,Darklabel支持對視頻進行半自動化跟蹤框選,大大減輕了人工標(biāo)注量. 在標(biāo)注過程中,通過加載目標(biāo)監(jiān)控視頻,利用Darklabel繪制并跟蹤標(biāo)定目標(biāo)框,輸出標(biāo)定文件. Darklabel可生成多類別多目標(biāo)的矩形邊界框,輸出格式支持Pascal VOC標(biāo)準的XML文件,保證了數(shù)據(jù)格式與COCO數(shù)據(jù)集的一致性. 最后將準備好的數(shù)據(jù)集放入模型中訓(xùn)練,選取指標(biāo)最優(yōu)的模型進行結(jié)果分析. 具體實驗過程設(shè)計見圖4.

圖4 實驗流程設(shè)計

2.3 實驗環(huán)境與評價指標(biāo)

模型的訓(xùn)練和測試操作系統(tǒng)為:Ubuntu22.04、CPU為Intel? Xeon? Silver 4216、GPU為Tesla T4 16G、Python 3.8、PyTorch1.6. 為了避免在訓(xùn)練過程中破壞骨干網(wǎng)絡(luò)的特征提取能力,同時可加快訓(xùn)練速度. 訓(xùn)練時利用框架提供的接口,將主干層的前10層凍結(jié)住,保持前幾層不變,這將大大加快了訓(xùn)練模型的速度. 本次部分網(wǎng)絡(luò)超參數(shù)設(shè)定如表1所示.

表1 訓(xùn)練參數(shù)設(shè)置

在目標(biāo)檢測中,對模型的性能評價指標(biāo)[16]包括查準率(Precision)、召回率(Recall)、平均精確率(AP)、均值平均精確率(mAP)見式(2)～(4):

(2)

(3)

(4)

式中,TP為真樣本被識別為真的數(shù)量,即被正確識別的車輛目標(biāo);FN為真樣本沒有被識別出來的數(shù)量,即被漏檢的車輛目標(biāo);FP為假樣本被識別為真的數(shù)量,即被誤檢的車輛目標(biāo);n為總類別的數(shù)量.

2.4 實驗結(jié)果分析

本次實驗一共進行100輪訓(xùn)練,每10輪次保存 1個訓(xùn)練模型,最后輸出均值平均精確率的變化情況,見圖5. 均值平均精確率的指標(biāo)從0.839逐步提高到0.901,整體上呈現(xiàn)穩(wěn)步上升的趨勢. 在前 15輪,模型性能進步最快,均值平均精確率從0.839提高到峰值0.893. 此后指標(biāo)仍有波動上升,但速度開始放緩,大多數(shù)輪次保持在0.89～0.90這個區(qū)間. 特別是在最后20輪左右,均值平均精確率指標(biāo)基本穩(wěn)定在0.901上下浮動,說明模型訓(xùn)練已經(jīng)進入穩(wěn)定期. 從整個過程可看出,均值平均精確率指標(biāo)與訓(xùn)練輪次之間呈現(xiàn)出典型的機器學(xué)習(xí)訓(xùn)練曲線分布,在早期快速上升后逐漸達到飽和.

圖5 均值平均精確率(mAP)

2.5 與其他模型對比分析

為了驗證本文提出模型的優(yōu)勢,在YOLOv5預(yù)訓(xùn)練模型基礎(chǔ)上融合預(yù)處理的COCO數(shù)據(jù)集和特殊場景人工數(shù)據(jù)集后微調(diào)訓(xùn)練出來的模型YOLOv5-A與其他常見模型[17-18]在同一數(shù)據(jù)集下進行對比,測得實驗結(jié)果見表2.

表2 測試結(jié)果

由表2可看出YOLOv5-A相比于YOLOv3-tiny、YOLOv4、YOLOv5查準率分別提高了9.4%、11.2%、5.4%;召回率分別提高了12.8%、15%、6.4%;均值平均精確率分別提高了8.9%、10.9%、5.0%;分析可知,本文提出的YOLOv5-A對比其他常見模型均有所提升,檢測速度也高于大多數(shù)模型,其FPS可達到 44 FPS. 這說明YOLOv5-A模型不僅可保證高精度的檢測性能、滿足不同應(yīng)用場景的檢測需求、實現(xiàn)對多類別目標(biāo)的準確識別,還具有很強的實時檢測能力. 其檢測速度和精度的協(xié)同提升使其泛化能力強,可適應(yīng)更廣域的交通環(huán)境,完成復(fù)雜條件下的多類別交通目標(biāo)檢測與識別.

為了更直觀地對比改進后模型的檢測效果,選取復(fù)雜情況的道路進行測試,識別效果對比見圖6,可看出YOLOv5檢測算法會將摩托車上的人一并識別出來,還會把小汽車誤識別為貨車,這將導(dǎo)致在最后進行交通流統(tǒng)計的時候會產(chǎn)生很大的干擾,而改進后的模型YOLOv5-A不僅準確的檢測出,而且對其進行了正確的分類,因此在復(fù)雜道路情況下改進后的模型的表現(xiàn)更好.

圖6 識別效果對比

3 結(jié)束語

本文基于普適性和特適性需求融合的交通檢測方法研究,以改善針對于特殊交通工具類型的場景適應(yīng)性較差問題. 通過對模型的普適性與特適性架構(gòu)的設(shè)計,首先在預(yù)處理的COCO數(shù)據(jù)集上添加大量特殊交通工具類型的樣本數(shù)據(jù)集,其次在YOLOv5預(yù)訓(xùn)練模型上遷移學(xué)習(xí),通過凍結(jié)主干網(wǎng)絡(luò)提升訓(xùn)練速度,并使用DIoU-NMS算法代替經(jīng)典的NMS算法,從而提升檢測效果. 實驗結(jié)果表明,YOLOv5-A對于復(fù)雜場景的識別相比于YOLOv3-tiny、YOLOv4、YOLOv5的平均準確率均值mAP分別提高了8.9%、10.9%、5.0%,且在不同的場景下依然具有良好的魯棒性,優(yōu)于同類型模型的檢測效果,并且其實時性也能達到車輛檢測的要求.