張 上，張 岳，王恒濤*，王 杰

(1.三峽大學(xué) 湖北省建筑質(zhì)量檢測裝備工程技術(shù)研究中心，湖北 宜昌 443002；2.三峽大學(xué) 計算機與信息學(xué)院，湖北 宜昌 443002)

0 引言

伴隨相關(guān)科技的發(fā)展,無人機遙感在各個領(lǐng)域的應(yīng)用越來越廣泛。例如,無人機遙感可應(yīng)用于濕地水動力研究[1]、建筑物震害識別[2]和黃土滑坡識別[3]等實際場景;在地震應(yīng)急救援、核泄漏和應(yīng)急測繪等場景中也有著突出表現(xiàn)[4]。無人機遙感圖像在遙感圖像的分辨率和精度上,相比傳統(tǒng)衛(wèi)星遙感等手段具有顯著提高,但仍未解決遙感圖像需要人工輔助處理而導(dǎo)致的工作強度大、效率低等問題。

隨著人工智能技術(shù),特別是深度學(xué)習(xí)技術(shù)的逐步發(fā)展,基于深度學(xué)習(xí)的目標(biāo)檢測算法在多個領(lǐng)域與遙感圖像進行了有效結(jié)合,用于解決工業(yè)、農(nóng)業(yè)與生態(tài)等領(lǐng)域的多種實際問題[5]。時啟龍等[6]基于U-Net神經(jīng)網(wǎng)絡(luò)與SegNet神經(jīng)網(wǎng)絡(luò),對無人機遙感松材線蟲病疫木進行了自動識別提取。Youme等[7]基于SSD目標(biāo)檢測算法,對西非塞內(nèi)加爾的圣路易斯地區(qū)無人機遙感圖像中的隱蔽垃圾堆進行了目標(biāo)檢測。王恒濤等[8]針對無人機航拍的特點,提出了一種輕量化無人機航拍目標(biāo)檢測算法。

當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測算法,可根據(jù)有錨框與無錨框來進行區(qū)分。而其中有錨框的算法又可分為雙階段法與單階段法。前者的檢測精度與效果更好,但由于將備選框的生成與判斷分開,所以存在計算量大而導(dǎo)致檢測速度慢的問題。如R-FCN[9]、Mask R-CNN[10]、SPP-Net[11]等。后者相對于雙階段法而言檢測速度更快、效率更高且移植至邊緣設(shè)備上更加簡便,所以應(yīng)用更加廣泛。如OverFeat[12]、SSD[13]、YOLOv3[14]、YOLOv4[15]與YOLOv5等。

針對無人機遙感圖像背景復(fù)雜、檢測目標(biāo)小且密度大的特點,本文提出一種基于YOLOv5的輕量化無人機遙感小目標(biāo)檢測算法——LUSS-YOLO,主要貢獻歸納如下:

① 針對無人機遙感影像成像高度高、檢測目標(biāo)密集且尺寸小的特征,重設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)。通過調(diào)整特征提取網(wǎng)絡(luò)結(jié)構(gòu)和特征融合網(wǎng)絡(luò)結(jié)構(gòu)來增加小感受野,增加淺層網(wǎng)絡(luò)特征權(quán)重。重構(gòu)特征融合網(wǎng)絡(luò),強調(diào)多尺度特征融合,實現(xiàn)小目標(biāo)感受野權(quán)重加權(quán)處理。

② 引入EIoU損失函數(shù),使回歸過程中高質(zhì)量樣本的重要程度提高,從而加速收斂,并提高回歸精度。

③ 引入VairFocal Loss使IACS回歸,均衡正負樣本的同時按權(quán)重增加樣本的影響因子,并且在加速模型訓(xùn)練收斂速度的同時提高精度。

④ 為驗證算法的有效性,在Visdrone2019數(shù)據(jù)集上對LUSS-YOLO算法進行驗證,平均準(zhǔn)確率(mean Average Precision,mAP)達到了41.3%,相較YOLOv5有6.4%的提升。

1 LUSS-YOLO介紹

主流YOLO算法改進以添加注意力機制、改變卷積層、疊加與修改網(wǎng)絡(luò)模塊為主,而忽略了基于檢測目標(biāo)本身特點來建立合適的網(wǎng)絡(luò)結(jié)構(gòu)。針對無人機遙感圖像的小目標(biāo)特性,本文設(shè)計LUSS-YOLO算法,其系統(tǒng)架構(gòu)如圖1所示。

圖1 LUSS-YOLO系統(tǒng)架構(gòu)Fig.1 LUSS-YOLO system architecture

LUSS-YOLO的核心思想是針對無人機遙感圖像的小目標(biāo)特性,對網(wǎng)絡(luò)結(jié)構(gòu)進行重構(gòu)并對網(wǎng)絡(luò)模型進行輕量化處理,分別對網(wǎng)絡(luò)模型的長度與寬度,降低冗余模塊與參數(shù),使網(wǎng)絡(luò)結(jié)構(gòu)更適用于無人機遙感圖像小目標(biāo)檢測。LUSS-YOLO由重設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)、EIoU損失函數(shù)與VariFocal Loss組成。首先,對小目標(biāo)感受野權(quán)重進行調(diào)整,修剪特征提取網(wǎng)絡(luò);對特征融合網(wǎng)絡(luò)架構(gòu)進行調(diào)整并剔除冗余模塊。然后,使用EIoU損失函數(shù)替換原CIoU損失函數(shù),強調(diào)回歸過程中的高質(zhì)量樣本,以加速收斂并提高回歸精度。最后,使用VariFocal Loss,保證均衡正負例的同時更加突出正例貢獻,使IACS回歸,在加速模型訓(xùn)練收斂速度的同時提高模型精度。如圖1所示,通過輕量化處理特征提取網(wǎng)絡(luò)與特征融合網(wǎng)絡(luò),提高模型檢測無人機遙感圖像小目標(biāo)的能力。

LUSS-YOLO網(wǎng)絡(luò)結(jié)構(gòu)削減了冗余模塊與參數(shù),在計算量、模型體積和檢測速度上均有巨大改善。

2 LUSS-YOLO設(shè)計

2.1 網(wǎng)絡(luò)重構(gòu)

原YOLOv5算法使用的特征圖分別為20 pixel×20 pixel、40 pixel×40 pixel與80 pixel×80 pixel,為實現(xiàn)無人機遙感小目標(biāo)檢測的準(zhǔn)確性,LUSS-YOLO對其進行擴充和修改,實現(xiàn)了160 pixel×160 pixel與320 pixel×320 pixel特征圖的提取,并刪除20 pixel×20 pixel大感受野的尺度,使其更適用于檢測無人機遙感圖像小目標(biāo)。

在無人機遙感圖像中,檢測目標(biāo)占圖像中的部分較小,背景面積較大。在卷積過程中,圖像迭代會導(dǎo)致檢測目標(biāo)信息出現(xiàn)丟失,針對該情況,LUSS-YOLO通過降低卷積迭代次數(shù)與突出底層特征圖來增強檢測效果。重構(gòu)后的CSPDarkNet如表1所示,改進后的特征提取網(wǎng)絡(luò)經(jīng)歷4次下采樣、3次卷積操作,從而保證降低計算量與參數(shù)量的同時,有效減少小目標(biāo)特征信息丟失。

表1 重構(gòu)CSPDarkNet結(jié)構(gòu)Tab.1 Reconstructed CSPDarkNet structure

LUSS-YOLO特征圖大小為40 pixel×40 pixel與80 pixel×80 pixel,因此原特征融合網(wǎng)絡(luò)不再適用于新的特征提取網(wǎng)絡(luò),需要改進。

改進后的特征融合網(wǎng)絡(luò)如圖2所示。對感受野融合位置進行了調(diào)整,首先進行淺層語義與深層語義的特征融合,依次進行320 pixel×320 pixel、160 pixel×160 pixel、80 pixel×80 pixel與40 pixel×40 pixel特征圖融合;再進行深層語義與淺層語義的特征融合,即40 pixel×40 pixel、80 pixel×80 pixel與160 pixel×160 pixel特征圖融合。由此,可在原網(wǎng)絡(luò)基礎(chǔ)上提升淺層語義特征權(quán)重,旨在減少卷積帶來的目標(biāo)特征信息丟失。

圖2 特征融合網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of feature fusion network

LUSS-YOLO算法結(jié)構(gòu)如圖3所示。LUSS-YOLO分別對特征提取網(wǎng)絡(luò)與特征融合網(wǎng)絡(luò)進行重設(shè)計。首先對特征提取網(wǎng)絡(luò)CSPDarkNet進行重設(shè)計,去除20 pixel×20 pixel特征圖提取模塊,提高網(wǎng)絡(luò)內(nèi)的小感受野權(quán)重,降低了模型的計算量與體積;然后對改進后的CSPDarkNet進行特征融合,分別實現(xiàn)從320 pixel×320 pixel淺層語義,沿160 pixel×160 pixel、80 pixel×80 pixel到40 pixel×40 pixel深層語義的特征信息融合;再從40 pixel×40 pixel深層語義,沿80 pixel×80 pixel、160 pixel×160 pixel到320 pixel×320 pixel淺層語義的特征信息融合。

圖3 LUSS-YOLO網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 LUSS-YOLO network structure

2.2 損失函數(shù)改進

YOLOv5使用的CIoU損失函數(shù)會同時考慮回歸框的寬高比例,以及真實框與預(yù)測框的中心距離,但其僅將寬高比作為影響因子會導(dǎo)致部分情況下計算結(jié)果與損失的目標(biāo)不相符。CIoU計算如下:

(1)

式中:IoU為預(yù)測框與真實框的交并比,取值[0,1],b與bgt分別為預(yù)測框和真實框的中心點,ρ(·)為求預(yù)測框和真實框中心點之間的歐氏距離,c為預(yù)測框和真實框最小外接矩形的對角線距離,α為平衡參數(shù),不參與梯度計算,v用來衡量預(yù)測框和真實框的寬和高之間的比例一致性。

針對此情況,采用EIoU[16]損失函數(shù)進行改進,直接對寬w和高h的預(yù)測結(jié)果進行懲罰,包括寬高損失、重疊損失和中心距離損失3種情況。其中新加入的寬高損失主要解決CIoU寬高不能同時增大或縮小的情況,直接使真實框與預(yù)測框之間的寬高差達到最小。因此,EIoU損失函數(shù)收斂更快、回歸精度更高。EIoU計算如下:

(2)

式中:cw、ch分別為覆蓋2個box的最小外接框?qū)挾扰c高度,b與bgt分別為預(yù)測框和真實框的中心點,ρ為求預(yù)測框和真實框中心點之間的歐氏距離,w、h與wgt、hgt分別為預(yù)測框與真實框的寬、高。

2.3 VariFocal Loss

在無人機遙感圖像中,小目標(biāo)所占區(qū)域較少。對無人機遙感圖像進行小目標(biāo)檢測時,會出現(xiàn)目標(biāo)類與背景類極端不均衡問題。使用Focal Loss能夠有效解決目標(biāo)類與背景類之間不均衡的問題。Focal Loss計算如下:

(3)

式中:p為[-1,1]的目標(biāo)類預(yù)測概率,y為取值1或-1的真實正負樣本類別,α為可調(diào)比例因子,(1-ρ)β為目標(biāo)類調(diào)制因子,pβ為背景類調(diào)制因子,此2類調(diào)制因子旨在減少簡單樣本貢獻,增加誤檢樣本的重要性,從而有效增加對困難樣本的關(guān)注度,使Focal Loss能夠通過加權(quán)方式解決IACS回歸訓(xùn)練時會出現(xiàn)的類別不均衡問題。

對于Focal Loss[17]采用平等方式處理正負樣本的方式,VariFocal Loss進行了改進,提高了正例的貢獻權(quán)重。VariFocal Loss基于binary cross entropy loss,借鑒了Focal Loss的加權(quán)方式并加以改進,以處理IACS訓(xùn)練回歸過程中類別不匹配的問題。VariFocal Loss計算如下:

(4)

式中:p為代表目標(biāo)分?jǐn)?shù)的IACS預(yù)測值,q為分類條件。其條件為:若為目標(biāo)類,則將正樣本類的q值設(shè)置為預(yù)測框和真實框之間的IoU值,否則設(shè)置為0;若為背景類,則將目標(biāo)q值均為0。如式(8)所示,VariFocal Loss通過pβ縮放因子對負樣本進行了處理,但不會影響正樣本,旨在突出正樣本的貢獻。

2.4 錨框參數(shù)優(yōu)化

本文對網(wǎng)絡(luò)結(jié)構(gòu)進行了重設(shè)計,同時對錨框大小進行了重構(gòu)。在使用k-means聚類與遺傳算法對預(yù)測框大小進行分析與聚類后,得到了最適合的錨框大小,旨在提高回歸速度與訓(xùn)練精度。

最終錨框分配如表2所示,通過刪除20 pixel×20 pixel特征圖的方式實現(xiàn)感受野調(diào)整,旨在使其更適用于無人機遙感圖像檢測場景。

表2 錨框分配Tab.2 Anchor box allocation

3 實驗及結(jié)果分析

本文實驗配置為:操作系統(tǒng)Windows 11,CUDA12.0;GPU為NVIDIA GTX1660ti Max-Q,6 GB顯存,調(diào)用GPU進行訓(xùn)練;框架基于Pytorch;YOLOv5工程版本為v6.0,基準(zhǔn)模型為YOLOv5s。

3.1 VisDrone2019數(shù)據(jù)集

本文采用VisDrone2019進行算法驗證。VisDrone數(shù)據(jù)集由AISKYEYE團隊發(fā)布,數(shù)據(jù)集來自14座不同城市的不同環(huán)境,包括城市與鄉(xiāng)村的多種天氣和光照條件,檢測目標(biāo)多樣,稀疏環(huán)境與密集環(huán)境都具備,是目前中國無人機遙感圖像中數(shù)據(jù)量最大、類型最全面、環(huán)境最復(fù)雜、覆蓋范圍最廣的數(shù)據(jù)集之一。

VisDrone2019數(shù)據(jù)集共包括10類航拍檢測目標(biāo),由7 019張訓(xùn)練集、548張預(yù)測集與1 610張測試集組成。10個類別分別為pedestrian、people、bicycle、car、van、truck、tricycle、awning-tricycle、bus與motor。

3.2 評測指標(biāo)

計算機視覺對于算法有數(shù)個用以評價的指標(biāo),包括mAP、召回率(Recall,R)和準(zhǔn)確率(Precision,P)。其中,召回率為正確檢測的正例比例;準(zhǔn)確率是預(yù)測與實際都為正的樣本所占比例。召回率、準(zhǔn)確率與平均準(zhǔn)確率的計算如下:

(5)

(6)

(7)

(8)

式中:TP(True Positive)為檢測結(jié)果為真的正例,FN(False Negative)為檢測結(jié)果為非真的正例,FP(False Positive)為檢測結(jié)果為真的負例,AP為單個類別準(zhǔn)確率,mAP為所有類別的準(zhǔn)確率均值,c為類別數(shù)。

3.3 實驗結(jié)果與分析

對于LUSS-YOLO各改動點在無人機遙感圖像上對小目標(biāo)檢測的有效性,在VisDrone2019數(shù)據(jù)集上進行了消融實驗。消融實驗結(jié)果如表3所示。

表3 消融實驗Tab.3 Ablation experiment

其中BASE算法為YOLOv5s模型。由消融實驗結(jié)果可知,網(wǎng)絡(luò)結(jié)構(gòu)重構(gòu)后,準(zhǔn)確率、回歸率和平均檢測精度均有明顯提高;其中平均檢測精度提高最大,提高至40.6%;計算量有略微增長,增長幅度為1.0 GFLOPs;模型容量與參數(shù)量同樣大幅下降,相較未重構(gòu)模型下降59.1%與74.6%;可證明對網(wǎng)絡(luò)結(jié)構(gòu)的輕量化改進具有顯著效果。在引入EIoU損失函數(shù)后,準(zhǔn)確率與回歸率均明顯提高,分別提高0.4%與2.2%;引入VariFocal Loss后,準(zhǔn)確率與回歸率均明顯提高,分別提高0.3%與2.0%;同時引入EIoU損失函數(shù)與VariFocal Loss后,準(zhǔn)確率與回歸率均大幅提高,分別提高0.6%與3.0%;證明在無人機遙感圖像的小目標(biāo)檢測場景中,同時強調(diào)高質(zhì)量樣本權(quán)重與強調(diào)正面樣本權(quán)重具有互不沖突的正面改進效果。

綜上,在重構(gòu)網(wǎng)絡(luò)、EIoU和VariFocal的作用下,模型平均精度、回歸率和準(zhǔn)確率均達到最高,每個模塊均對無人機遙感小目標(biāo)檢測起到積極作用;重構(gòu)網(wǎng)絡(luò)的輕量化改進效果顯著,模型容量與參數(shù)量均有大幅下降。

3.4 與先進算法對比實驗

為了驗證LUSS-YOLO算法的先進性,本文將其與主流經(jīng)典算法與部分先進算法進行對比實驗。與經(jīng)典算法的對比結(jié)果如表4所示,LUSS-YOLO對比其他主流經(jīng)典算法,在平均檢測精度上表現(xiàn)最好,可達到41.3%,相較于Faster R-CNN、SDD、YOLOv3與YOLOv5分別提升了10.4%、7.8%、8.0%與6.4%;模型容量僅為5.6 MB,相比Faster R-CNN、SDD、YOLOv3與YOLOv5分別下降94.8%、94.3%、97.6%與59.1%;計算量相較Faster R-CNN、SDD與YOLOv3分別下降95.8%、93.8%與89.0%,僅略高于YOLOv5;參數(shù)量與Faster R-CNN、SDD、YOLOv3、YOLOv5相比下降98.7%、92.4%、97.1%、74.6%。

表4 經(jīng)典算法對比Tab.4 Comparison of classical algorithms

與部分先進算法的對比結(jié)果如表5所示,LUSS-YOLO對比其他先進算法,在容量與平均檢測精度上都具有明顯優(yōu)勢。平均檢測精度僅對比0.75通道剪枝的YOLOv4-MSENet下降0.4%,模型容量則下降65.6%。對比輸入大小為604的HRCP在0.5通道剪枝與0.9通道剪枝情況下,平均檢測精度分別上升10.9%與15.3%,容量分別下降95.8%與80.7%。對比mSODANet與STDnet-ST++,平均檢測精度分別上升7.8%與18.9%。

表5 部分先進算法對比Tab.5 Comparison of selected advanced algorithms

由上述數(shù)據(jù)可知,LUSS-YOLO在模型體積上改進幅度顯著,在平均檢測精度上提升明顯,且在計算量與參數(shù)量上大大減少,可滿足多種無人機遙感圖像在檢測小目標(biāo)時的輕量化需求。

3.5 實驗效果與分析

本文選取了部分難度較大的數(shù)據(jù)集內(nèi)圖片進行檢測,并與基準(zhǔn)模型YOLOv5s算法進行對比,對比結(jié)果如圖4所示。

(a)基準(zhǔn)模型密集場所檢測效果

(b)改進模型密集場所檢測效果

(c)基準(zhǔn)模型多人群場所檢測效果

(d)改進模型多人群場所檢測效果

(e)基準(zhǔn)模型夜間場所檢測效果

(f)改進模型夜間場所檢測效果

(g)基準(zhǔn)模型較大目標(biāo)檢測效果

(h)改進模型較大目標(biāo)檢測效果圖4 效果對比Fig.4 Effect comparison

左側(cè)為YOLOv5s算法檢測效果,右側(cè)為LUSS-YOLO檢測效果。由對比可知,本文提出的算法相較原始算法,在檢測目標(biāo)密集,且檢測目標(biāo)特征與背景相近時可以做到檢測更加準(zhǔn)確,對于模糊的遙感圖像也可以檢測出更多的小目標(biāo)與遠距目標(biāo)。由于算法在判斷目標(biāo)時會更加謹(jǐn)慎,所以以提升部分漏檢率為代價,降低了部分誤檢率。在夜間低光照環(huán)境下,LUSS-YOLO的檢測準(zhǔn)確率進一步提升,誤檢率與漏檢率均有明顯降低。對于較大目標(biāo)檢測,LUSS-YOLO也并未出現(xiàn)檢測混淆的情況。通過調(diào)整小感受野、重設(shè)計特征融合網(wǎng)絡(luò)以及對特征提取網(wǎng)絡(luò)進行符合圖像特點的輕量化處理,LUSS-YOLO可以有效從擁有大量多尺度特征信息的區(qū)域內(nèi)分離出小目標(biāo)特征區(qū)域,因此在不同環(huán)境下都能表現(xiàn)出較強的特征提取能力,并具有顯著的抗干擾能力。

綜上所述,LUSS-YOLO相比YOLOv5s,在其他目標(biāo)檢測效果對比平穩(wěn)的前提下,對于無人機遙感圖像中的小目標(biāo)檢測優(yōu)勢明顯,尤其在背景復(fù)雜或目標(biāo)密集情況下,具有更強的特征提取能力與檢測能力。同時,在漏檢率和錯檢率上有顯著降低。

4 結(jié)束語

針對無人機遙感圖像成像距離遠、目標(biāo)成像小等特點,提出了輕量化無人機遙感圖像小目標(biāo)檢測算法——LUSS-YOLO。LUSS-YOLO分別從多尺度特征融合和感受野兩方面對特征提取網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)進行重設(shè)計,輕量化處理網(wǎng)絡(luò)結(jié)構(gòu)、突出底層特征圖權(quán)重、深化多尺度融合并增加小感受野,從而實現(xiàn)底層語義與深層語義融合,實現(xiàn)模型輕量化并提高精度,滿足無人機遙感圖像檢測算法模型輕量化需求。同時,使用EIoU強調(diào)高質(zhì)量樣本權(quán)重,并引入VariFocal Loss,在損失計算中強調(diào)底層正例樣本信息特征的重要性,從而實現(xiàn)加快模型收斂速度并提高精度。在VisDrone2019數(shù)據(jù)集上的實驗結(jié)果表明,LUSS-YOLO算法在檢測精度上有顯著提高,大幅減少了參數(shù)量,模型容量為基準(zhǔn)模型的一半。對比其他經(jīng)典目標(biāo)檢測算法,LUSS-YOLO在模型容量、模型計算量、算法復(fù)雜度以及參數(shù)量上均大幅降低,且算法檢測精度有所提高。對比其他先進目標(biāo)檢測算法,LUSS-YOLO在容量和模型精度上優(yōu)勢明顯。本文提出的LUSS-YOLO算法在模型精度、模型容量與參數(shù)量上具有先進性。