范江霞,張文豪,張麗麗,余濤,鐘林汕

(1.北華航天工業(yè)學(xué)院 遙感信息工程學(xué)院,河北 廊坊 065000;2.河北省航天遙感信息處理與應(yīng)用協(xié)同創(chuàng)新中心,河北 廊坊 065000;3.中國科學(xué)院空天信息創(chuàng)新研究院 遙感衛(wèi)星應(yīng)用國家工程實驗室,北京 100094;4.中科空間信息(廊坊)研究院,河北 廊坊 065001)

0 引言

隨著經(jīng)濟與科技的迅速發(fā)展,車輛數(shù)量逐漸增加,交通擁堵已成為公路交通領(lǐng)域中的難題[1],智能調(diào)控車輛數(shù)量已成為一個熱點問題。車輛檢測是公路交通管理的重要環(huán)節(jié),及時掌握交通信息、了解車輛分布情況,有助于對車流量進(jìn)行管理、調(diào)度以及對交通擁堵情況的排查與預(yù)測[2]。

目前常用的車輛數(shù)據(jù)是通過感應(yīng)線圈、壓電式檢測器、攝像頭等地面?zhèn)鞲衅鬟M(jìn)行獲取[3]。這類傳感器設(shè)備成本比較昂貴,安裝、維修等較為困難,且不易對其進(jìn)行移動。相較于固定位置傳感器獲取車輛數(shù)據(jù)的方式,航空平臺搭載傳感器則更加靈活、高效。無人機拍攝的遙感影像進(jìn)行車輛目標(biāo)檢測成為了新的研究方向[4]。

隨著遙感技術(shù)的迅速發(fā)展,遙感影像的分辨率不斷提高,影像上車輛的特征也更加清晰,這為使用遙感影像進(jìn)行車輛檢測提供了基礎(chǔ)[5]。基于遙感影像的車輛檢測方法可分為基于光譜或幾何結(jié)構(gòu)特征進(jìn)行車輛檢測、傳統(tǒng)機器學(xué)習(xí)方法以及深度學(xué)習(xí)方法3類。基于光譜或幾何結(jié)構(gòu)特征進(jìn)行車輛檢測的常用方法包括閾值分割法、梯度比較法等。Alba-flores[6]使用多閾值和大津閾值分割法對Ikonos影像上的車輛目標(biāo)進(jìn)行檢測;Larsen等[7]提出了雙閾值法對車輛進(jìn)行檢測提取;曹天揚等[8]通過最大類間方差(OTSU)閾值分割法檢測車輛目標(biāo)。此外,Sharma等[9]提出了利用光譜特征進(jìn)行梯度比較的方法識別車輛。該方法中,閾值分割法對車輛密集區(qū)域檢測效果差;梯度比較法誤檢率高,不適用于遙感影像車輛目標(biāo)檢測?？傊?基于光譜或幾何結(jié)構(gòu)特征進(jìn)行車輛檢測的方法檢測精度較差,魯棒性不強。傳統(tǒng)機器學(xué)習(xí)方法通過梯度方向直方圖(histogram of oriented gradient,HOG)等方法對車輛目標(biāo)進(jìn)行檢測。Kembhavi等[10]通過HOG特征、顏色概率圖特征、汽車結(jié)構(gòu)特征與提取的偏最小二乘法(partial least squares,PLS)特征相結(jié)合的方法檢測車輛;Liang等[11]結(jié)合HOG特征與哈爾小波轉(zhuǎn)換特征,使用多核支持向量機(support vector machine,SVM)作為分類器識別車輛目標(biāo);陽理理等[12]將二值統(tǒng)計局部特征模式(local feature pattern,LFP)與多尺度多個方向卷積核二者結(jié)合對車輛進(jìn)行檢測。傳統(tǒng)的車輛檢測算法大多依靠人工進(jìn)行特征提取,不一定能夠符合多樣性變化,且在遮擋情況下,檢測效果不佳,漏檢、誤檢現(xiàn)象較多,其魯棒性與普適性較差。

近年來,基于深度學(xué)習(xí)的車輛檢測算法相較于傳統(tǒng)算法取得了更好的檢測效果?；谏疃葘W(xué)習(xí)的車輛檢測算法可分為兩類。一類是基于區(qū)域提取的車輛檢測算法,具有代表性的算法有R-CNN[13]、Fast R-CNN[14]、Faster R-CNN[15]、Mask R-CNN[16]等,該類算法車輛檢測精度較高,但建議框提取階段計算復(fù)雜度高,實現(xiàn)實時檢測仍面臨著挑戰(zhàn)[17]。另一類為基于端到端的車輛檢測算法,具有代表性的算法有YOLO(you only look once)[18]、SSD[19](single shot multiBox detector)等,該類算法在速度上滿足了實時性的要求,但相較于區(qū)域提取算法而言精度較低。姜尚潔等[20]使用YOLO算法對無人機遙感影像中的車輛目標(biāo)進(jìn)行實時檢測;Chen等[21]使用深層卷積神經(jīng)網(wǎng)絡(luò)對高分辨率遙感影像中的車輛進(jìn)行了檢測識別。深度學(xué)習(xí)算法依靠卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)進(jìn)行圖像特征提取,在一定程度上,該算法解決了傳統(tǒng)算法漏檢、誤檢等情況,但其需要大量訓(xùn)練數(shù)據(jù)學(xué)習(xí)車輛特征,花費時間較長,且該算法對硬件設(shè)施有較高的要求。

綜上,針對已有的遙感影像車輛檢測算法檢測效果較差、復(fù)雜度高、體積大等問題,本文提出了一種基于改進(jìn)YOLOv5s的輕量級無人機遙感影像車輛檢測算法。以YOLOv5s模型為基礎(chǔ)模型,采用錨框尺寸修正、加權(quán)框融合及增加注意力機制網(wǎng)絡(luò)3種改進(jìn)策略,并將檢測結(jié)果與YOLOv3及原始YOLOv5s模型進(jìn)行比較。

1 數(shù)據(jù)和方法

1.1 數(shù)據(jù)集的準(zhǔn)備

使用公開的DroneVehicle數(shù)據(jù)集[22]進(jìn)行訓(xùn)練與檢測。該數(shù)據(jù)集所有影像均為配備相機的無人機拍攝,包含多場景(道路、居民區(qū)、停車場等)和不同類型車輛目標(biāo)(汽車、公共汽車、卡車、廂式貨車、貨運車等)的真實影像數(shù)據(jù),大小統(tǒng)一為840像素×712像素。該數(shù)據(jù)集利用4個頂點坐標(biāo){((Xi,Yi),i=1,2,3,4)}構(gòu)成的四邊形邊界框?qū)γ總€對象進(jìn)行標(biāo)注,每幅標(biāo)注的影像均有相應(yīng)的XML文件,標(biāo)注框的位置、大小等在該文件中均可查詢,標(biāo)注樣本如圖1所示。

圖1 樣本標(biāo)注

1.2 YOLOv5s網(wǎng)絡(luò)體系結(jié)構(gòu)的改進(jìn)

YOLO算法是一種基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行對象識別和定位的算法。該算法將目標(biāo)提議階段和分類階段融合在一起,是最典型的單階段目標(biāo)檢測算法之一。它采用卷積網(wǎng)絡(luò)提取圖像特征,使用全連接層得到最終預(yù)測結(jié)果。YOLOv5是YOLO系列的最新版本,它包括YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x 4個架構(gòu),它們的主要區(qū)別在于不同的卷積核數(shù)量和特征提取模塊。為了防止過擬合現(xiàn)象的發(fā)生,本文選擇YOLOv5s作為基礎(chǔ)模型。針對無人機影像中車輛目標(biāo)相對于自然圖像較為復(fù)雜的背景,對原始YOLOv5s模型使用3種改進(jìn)策略:錨框尺寸修正、加權(quán)框融合及骨干網(wǎng)增加注意力機制網(wǎng)絡(luò),以提升車輛檢測效果。

1)錨框尺寸修正。錨框是YOLOv5s算法的重要組成部分,利用錨框進(jìn)行車輛目標(biāo)定位,可提高車輛定位的準(zhǔn)確度。原始YOLOv5s算法中設(shè)置3個尺寸的初始檢測錨框:[10,13,16,30,33,23]、[30,61,62,45,59,119]、[116,90,156,198,373,326],用于對小、中、大目標(biāo)的檢測,對自然圖像車輛目標(biāo)檢測效果較好。但由于無人機影像中車輛目標(biāo)尺寸不一、種類多樣,且受拍攝角度影響,其形狀特征發(fā)生改變等特點,初始水平矩形錨框并不適用。本文添加角度回歸實現(xiàn)錨框旋轉(zhuǎn),利用K-means聚類算法,對初始錨框尺寸進(jìn)行改進(jìn)。該算法將數(shù)據(jù)分為k組,隨機選取k個對象作為初始聚類中心,計算每個對象與各個種子聚類中心之間的距離,最后將每個對象分配給最近的聚類中心。每個聚類中心的值在迭代過程中不斷更新,得到最好的聚類結(jié)果后結(jié)束。本文使用K-means聚類算法,結(jié)合無人機影像中車輛目標(biāo)的長寬比,將錨框尺寸設(shè)置為:[14,34,27,32,72,34]、[11,30,26,13,33,22]、[24,81,30,17,18,36]。如圖2所示,該示意圖呈現(xiàn)了6組錨框。

圖2 改進(jìn)的錨框結(jié)構(gòu)圖

2)加權(quán)框融合。經(jīng)典的非極大值抑制(non-maximum suppression,NMS)應(yīng)用于檢測網(wǎng)絡(luò),是目標(biāo)檢測中常用的預(yù)測框生成算法。NMS算法在檢測圖像中的單個目標(biāo)物時有很好的檢測效果,但在實際場景中,車輛受到光線、建筑物、其他車輛等影響,導(dǎo)致陰影、遮擋等狀況。該算法將置信度低的預(yù)測框過濾,提取置信度高的預(yù)測框,使車輛在檢測過程中出現(xiàn)預(yù)測框計數(shù)不準(zhǔn)確的情況。本文使用一種新的邊界框融合方法,即加權(quán)框融合(weighted boxes fusion,WBF)。WBF的步驟如下。首先,按照置信度分?jǐn)?shù)由大到小的順序?qū)λ羞吔缈蜻M(jìn)行排序;然后,生成另一個可能的框“融合”列表,通過比較交并比(intersection of union,IoU)和指定閾值的大小,判斷它們與原始框的匹配程度;最后,對框列表中所有框的坐標(biāo)和置信度分?jǐn)?shù)進(jìn)行調(diào)整。新的置信度是所有被融合框的平均置信度,對新坐標(biāo)進(jìn)行類似的融合和加權(quán),最終生成最合適的預(yù)測框,用數(shù)量信息生成正確的坐標(biāo)。該方法將預(yù)測框進(jìn)行合并,改善了計數(shù)不準(zhǔn)確的情況。NMS與WBF預(yù)測框?qū)Ρ热鐖D3所示。

圖3 NMS與WBF生成預(yù)測框?qū)Ρ葓D

3)骨干網(wǎng)的改進(jìn)。由于車輛易受到實際場景影響且自身外形、結(jié)構(gòu)、顏色等具有多變性,為了能更加快速準(zhǔn)確地檢測車輛目標(biāo),本文增加了輕量級注意力機制SE(squeeze-and-excitation)網(wǎng)絡(luò)。SE網(wǎng)絡(luò)結(jié)構(gòu)特征(圖4)有特征通道數(shù)(channel,C)、特征圖的寬(width,W)、特征圖的高(height,H)。該網(wǎng)絡(luò)結(jié)構(gòu)的步驟大體為給定一個輸入X,經(jīng)過卷積輸出特征圖U。首先,將大小為W×H×C的特征圖U沿著空間維度進(jìn)行特征壓縮(squeeze);然后,壓縮后的特征圖通過全連接層(fully connected layers,FC)進(jìn)行激活(excitation),為每個特征通道生成權(quán)重;最后,通過加權(quán)(scale)操作,將excitation輸出權(quán)重應(yīng)用于原來的每個特征通道,得到最終的輸出結(jié)果。該網(wǎng)絡(luò)通過學(xué)習(xí)不同特征通道的重要性,對車輛目標(biāo)有用特征進(jìn)行提升,并抑制車輛的無關(guān)特征。

圖4 SE網(wǎng)絡(luò)結(jié)構(gòu)特征圖

改進(jìn)的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)主要包括骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和檢測網(wǎng)絡(luò),如圖5所示。骨干網(wǎng)絡(luò)用來提取圖像的一些通用特征,包括CSPDarknet53結(jié)構(gòu)與focus結(jié)構(gòu)兩部分。首先,focus模塊將多個切片結(jié)果進(jìn)行堆疊(concat),使其深度連接;然后,將結(jié)果送入卷積層(convolutional layer,Conv),通過批量歸一化(batchnormalization,BN)和LeakyRelu激活函數(shù),將結(jié)果輸送到BottleneckCSP模塊,用于更好地提取圖像的深層特征。Bottleneck模塊是BottleneckCSP模塊的主要組成部分,它是一種連接了卷積核大小為1×1的卷積層(Conv2d+BN+LeakyRelu激活函數(shù),CBL)和卷積核大小為3×3的CBL的殘差網(wǎng)絡(luò)架構(gòu)。Bottleneck模塊的最終輸出是通過殘差結(jié)構(gòu)將這部分的輸出和初始輸入相加。BottleneckCSP模塊的初始輸入被輸入到兩個分支中,通過兩個分支的卷積運算,特征圖通道數(shù)減半。使用堆疊操作使兩個分支輸出的特征圖深度相連,之后通過BN層和Conv2d層輸出與BottleneckCSP模塊的輸入相同的特征圖。骨干網(wǎng)絡(luò)的第10層為空間金字塔池(spatial pyramid pooling,SPP)模塊,它將任意大小的特征圖轉(zhuǎn)換為固定大小的特征向量,以此來改善網(wǎng)絡(luò)的感受野。將卷積層輸出特征圖與通過3個并行最大池化層(maxpooling)下采樣的輸出特征圖深度連接,經(jīng)過一個卷積層得到最終的輸出特征圖。骨干網(wǎng)絡(luò)還加入了注意力機制SE網(wǎng)絡(luò),通過學(xué)習(xí)自動獲得車輛目標(biāo)不同特征的重要程度,提升其有用特征,并相應(yīng)地抑制一些不重要的特征。頸部網(wǎng)絡(luò)是融合圖像特征的特征聚合層,主要用于生成特征金字塔網(wǎng)絡(luò)(feature pyramid network,FPN),然后將輸出的特征圖傳輸?shù)綑z測網(wǎng)絡(luò)。新的FPN結(jié)構(gòu)增強了自底向上的路徑,提高了底層特征的傳遞,增強了對不同尺度物體的檢測。因此,不同大小和尺度的同一目標(biāo)對象可以被準(zhǔn)確識別。檢測網(wǎng)絡(luò)是模型的最后一部分,由3個檢測層組成,用于檢測不同大小的圖像對象。每個檢測層最后輸出一個向量,然后生成并標(biāo)記原始圖像中車輛目標(biāo)的預(yù)測邊界框和類別。

圖5 改進(jìn)的YOLOv5s結(jié)構(gòu)框架圖

1.3 評價指標(biāo)

本文利用每秒幀數(shù)(frames per second,FPS)、精確率(precision)、召回率(recall)、平均精度(average precision,AP)以及均值平均精度(mean average precision,mAP)對最后的實驗結(jié)果進(jìn)行評價。

2 結(jié)果與分析

2.1 模型訓(xùn)練結(jié)果

本文在AMD Ryzen 7 4800H處理器、NVIDIA GeForce RTX 2060顯卡、16 GB存儲卡的硬件條件下構(gòu)建了PyTorch深度學(xué)習(xí)框架,實現(xiàn)了無人機影像車輛目標(biāo)檢測模型的訓(xùn)練和測試。模型訓(xùn)練期間,采用Adam優(yōu)化器進(jìn)行網(wǎng)絡(luò)優(yōu)化,將模型訓(xùn)練的批量設(shè)置為2,訓(xùn)練迭代次數(shù)為200。圖6為改進(jìn)的YOLOv5s模型訓(xùn)練結(jié)果示意圖。圖6(a)為訓(xùn)練損失函數(shù)圖。從圖6(a)可知,模型訓(xùn)練的前25個階段,損失值迅速下降;160個階段之后,該模型的訓(xùn)練趨于收斂。圖6(b)為均值平均精度(mAP)圖,該圖表明,在訓(xùn)練過程中沒有出現(xiàn)過度擬合現(xiàn)象,模型訓(xùn)練結(jié)果較好。訓(xùn)練結(jié)束后,保存YOLOv5s模型的權(quán)重文件,并通過測試集對模型性能進(jìn)行評估。

圖6 改進(jìn)的YOLOv5s模型訓(xùn)練結(jié)果

2.2 模型檢測結(jié)果

為驗證改進(jìn)的YOLOv5s模型性能,本文選擇755張無人機影像作為測試集進(jìn)行分析,共有車輛目標(biāo)10 136輛,其中汽車5 049輛、公共汽車1 272輛、卡車1 847輛、廂式貨車937輛、貨運車1 031輛,真實被檢測到的車輛目標(biāo)為9 425輛。車輛目標(biāo)檢測的FPS、precision、recall、mAP分別為30.19、92.10%、91.19%、90.01%。改進(jìn)的YOLOv5s模型檢測結(jié)果如圖7所示。從檢測結(jié)果可以看出,本文所提出的模型可以較好地識別車輛目標(biāo)。

圖7 改進(jìn)的YOLOv5s模型檢測結(jié)果

2.3 消融實驗與不同目標(biāo)檢測模型檢測結(jié)果比較

1)消融實驗。實驗采用3種策略對YOLOv5s模型改進(jìn),包括錨框尺寸修正、WBF及增加SE網(wǎng)絡(luò)。為了驗證以上策略的有效性,以YOLOv5s為基線模型,分別進(jìn)行實驗,結(jié)果如表1所示。從表1可知,通過將錨框尺寸進(jìn)行修正,mAP提升了1.11%;在此基礎(chǔ)上,將NMS替換為WBF,mAP增加了2.79%;最后將SE網(wǎng)絡(luò)添加到模型中,mAP高于基線模型4.59%,mAP達(dá)到了最大值。

表1 消融實驗結(jié)果

2)不同目標(biāo)檢測模型。為了進(jìn)一步分析改進(jìn)的YOLOv5s模型性能,本文將755張無人機影像測試集分別使用YOLOv3與原始YOLOv5s模型進(jìn)行檢測,與改進(jìn)的YOLOv5s模型檢測結(jié)果對比分析,如表2所示。從該表可知,改進(jìn)的YOLOv5s的mAP值最高,比原始YOLOv5s模型提升4.59%,高于YOLOv3模型5.88%。本文算法精度優(yōu)于原始YOLOv5s模型、YOLOv3模型。改進(jìn)的YOLOv5s模型 FPS為30.19,相較于原始YOLOv5s提升了5.82,是YOLOv3的2.2倍。表3為Sun等[23]利用不同檢測模型針對此數(shù)據(jù)集的實驗結(jié)果。從該表可知,改進(jìn)的YOLOv5s模型mAP值最高,該實驗的真實框與預(yù)測框的IoU大于0.5,則認(rèn)為車輛目標(biāo)被真正檢測到。結(jié)果表明,改進(jìn)的YOLOv5s模型不僅保證了車輛目標(biāo)檢測精度,同時也有效地實現(xiàn)了檢測速度的提升。

表2 不同模型檢測結(jié)果比較

表3 無人機車輛數(shù)據(jù)集評估 %

2.4 實驗結(jié)果分析

實驗結(jié)果表明,改進(jìn)的YOLOv5s模型對于無人機影像車輛目標(biāo)的檢測識別有著較好的結(jié)果。YOLOv5s主干網(wǎng)CSPDarknet53增強了CNN學(xué)習(xí)能力,在輕量化的同時保證了精度,優(yōu)于YOLOv3主干網(wǎng)Darknet53,具有更好的車輛檢測能力。但由于無人機影像車輛數(shù)據(jù)集中存在不完整車輛,且如果車輛不完整度等于或大于1/2時,該算法對其檢測識別精度降低,如圖7(b)、圖7(c)所示。

3 結(jié)束語

本文使用基于改進(jìn)的YOLOv5s模型對無人機影像中的車輛目標(biāo)進(jìn)行檢測識別。針對無人機影像車輛目標(biāo)易受實際場景等因素影響,在已有YOLOv5s模型的基礎(chǔ)上做了如下改進(jìn)。

1)增加角度回歸,實現(xiàn)錨框旋轉(zhuǎn),并利用K-means聚類算法高效、收斂速度快且聚類效果較好等特點,對錨框重新聚類。

2)由于WBF在某些情況下能夠改善漏檢、誤檢等問題,所以將模型原有的NMS方法替換為WBF方法。

3)增加注意力機制SE網(wǎng)絡(luò),自動學(xué)習(xí)不同特征通道的重要程度,通過重要程度提升車輛的有用特征,并抑制了車輛無關(guān)特征。

改進(jìn)的YOLOv5s檢測算法具有以下優(yōu)點。

1)改進(jìn)的YOLOv5s模型FPS為30.19,相較于YOLOv3、原始YOLOv5s模型具有更快的檢測速度。

2)該模型均值平均精度為90.01%,能夠準(zhǔn)確識別車輛目標(biāo)。

3)本文提出的改進(jìn)算法檢測模型為輕量級網(wǎng)絡(luò),體積為16.1 MB,對硬件設(shè)備配置要求相對簡單,降低了車輛檢測模型的部署成本。