王 君，張德育，康鑫英

(沈陽理工大學(xué) 信息科學(xué)與工程學(xué)院，沈陽 110159)

隨著我國低空空域逐漸開放，各類低空飛行器的使用人群不斷擴(kuò)大，弱小目標(biāo)將成為未來低空空域監(jiān)視的難點(diǎn)與重點(diǎn)[1]。常見的低空小飛行物，如無人機(jī)，因其紋理特征弱、數(shù)量多，且在檢測識別過程中容易受到復(fù)雜云層、光線和人工建筑等多種因素的影響，使得現(xiàn)有的模型對此類目標(biāo)的檢測準(zhǔn)確率普遍偏低[2]，因此準(zhǔn)確提取小型無人機(jī)的紋理信息、避免漏檢成為解決這一類問題的技術(shù)關(guān)鍵[3]。目前目標(biāo)檢測領(lǐng)域的深度學(xué)習(xí)算法主要分為一階段算法和兩階段算法。Girshick R等[4]提出的R-CNN(Regions with Convolutinal Neural Network Features)系列算法是基于兩階段的最優(yōu)秀的經(jīng)典算法，其精度較高，但檢測速度慢，達(dá)不到實(shí)時檢測的要求，其特征提取網(wǎng)絡(luò)層數(shù)過深，對小目標(biāo)的特征提取較差。基于一階段的優(yōu)洛(you only look once，YOLO)[5]系列算法和單脈沖多盒檢測器(single shot multibox detector，SSD)算法[6]的網(wǎng)絡(luò)框架更簡易，其檢測速度提升，但檢測精度降低，同樣由于網(wǎng)絡(luò)深度較高，其對底層的空間特征表達(dá)較差，對小目標(biāo)檢測性較差。

雖然Faster-RCNN為基于兩階段的目標(biāo)檢測方法，但其區(qū)域提名網(wǎng)絡(luò)(Region Proposal Networks，RPN)服務(wù)于整體的檢測網(wǎng)絡(luò)，使整個網(wǎng)絡(luò)統(tǒng)一、簡單、實(shí)現(xiàn)端到端訓(xùn)練，故本文選擇Faster-RCNN作為檢測模型的基礎(chǔ)框架；此外，利用ResNet50網(wǎng)絡(luò)[7]替換初始的VGG16網(wǎng)絡(luò)[8]，設(shè)置更加深層的網(wǎng)絡(luò)結(jié)構(gòu)，獲得更加豐富的語義信息，并參考特征金字塔(Feature Pyramid Networks，F(xiàn)PN)[9]的特點(diǎn)提出一種基于雙線性差值的多尺度融合的檢測方法，使輸出的特征圖融合更多底層的語義信息，提高模型對小目標(biāo)的敏感程度；在感興趣區(qū)域?qū)樱胹oft-nms算法[10]對錨框的處理進(jìn)行優(yōu)化，引入一個置信函數(shù)，降低非最大值錨框的置信度，調(diào)整待檢測物的位置信息，改善對多個目標(biāo)重疊的預(yù)測情況。

1 Faster-RCNN模型

Faster-RCNN將卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)完整地融入到目標(biāo)檢測整體過程中，利用 RPN 在骨干網(wǎng)絡(luò)得到的特征圖上生成檢測框，極大地提升檢測框的生成速度。Faster-RCNN的整體結(jié)構(gòu)如圖1所示。

圖1 Faster-RCNN的結(jié)構(gòu)圖

Faster-RCNN對所有輸入的圖片尺寸重新調(diào)整為一個固定值，再輸入特征提取網(wǎng)絡(luò)計算特征圖；得到的特征圖較初始圖片縮小 16 倍，再輸入到 RPN 網(wǎng)絡(luò)；通過兩條支路對前景目標(biāo)和背景目標(biāo)進(jìn)行區(qū)域提名，并結(jié)合提名的位置，在特征圖上對應(yīng)找到預(yù)測目標(biāo)的大概位置；最后通過末尾的幾個卷積層和全連接層進(jìn)行最終預(yù)測位置框的回歸和框內(nèi)目標(biāo)的分類。

2 模型的優(yōu)化

2.1 特征提取網(wǎng)絡(luò)的改進(jìn)

Faster-RCNN模型的骨干網(wǎng)絡(luò)用于圖像的特征語義提取。一般來說，卷積網(wǎng)絡(luò)的淺層網(wǎng)絡(luò)主要用于提取待檢測物的形狀、大小等幾何信息，網(wǎng)絡(luò)層數(shù)的加深有助于更好地提取到待檢測目標(biāo)的語義信息，但可能出現(xiàn)“網(wǎng)絡(luò)退化”、“梯度爆炸”等問題。傳統(tǒng)Faster-RCNN的骨干網(wǎng)絡(luò)一般使用VGGNet，本文則選擇ResNet，因其獨(dú)特的殘差結(jié)構(gòu)增加了臨近網(wǎng)絡(luò)層之間的信息傳遞，在不影響檢測速度的前提下，能夠盡可能地提升骨干網(wǎng)絡(luò)的可設(shè)置深度，使其學(xué)習(xí)到更加復(fù)雜和準(zhǔn)確的語義信息。但ResNet殘差網(wǎng)絡(luò)結(jié)構(gòu)在提取小目標(biāo)上仍存在不足，如大部分骨干網(wǎng)絡(luò)均利用卷積層得到一個最高層特征圖，再去進(jìn)行后續(xù)的處理，該方法的缺點(diǎn)是小物體本身具有的像素信息較少，在下采樣的過程中極易丟失，影響網(wǎng)絡(luò)檢測的精度。為解決該問題，將卷積過程中得到的蘊(yùn)含不同語義特征與空間信息的特征圖進(jìn)行融合，在融合的過程中利用雙線性差值法進(jìn)行上采樣，提出一種基于雙線性差值的多尺度融合的預(yù)測結(jié)構(gòu)。通過橫向連接和反向連接將相鄰的特征圖有效融合，提高模型預(yù)測小目標(biāo)位置和類別信息的精度。雙線性差值的多尺度預(yù)測結(jié)構(gòu)如圖2所示。

圖2 基于雙線性差值的多尺度預(yù)測結(jié)構(gòu)圖

本文提出的網(wǎng)絡(luò)結(jié)構(gòu)對于輸入的數(shù)據(jù)樣本采用自下向上的路徑進(jìn)行卷積，得到4個語義信息不同的特征圖，因深層卷積層輸出的特征圖尺寸比淺層輸出的特征圖尺寸小一倍，故下一層輸入由上一層的2倍上采樣得到。由于原特征金字塔結(jié)構(gòu)中上采樣僅是對特征圖的簡單擴(kuò)充，對特征的逆向表達(dá)性能較差，導(dǎo)致部分小目標(biāo)信息丟失，因此提出采用雙線性差值的方法進(jìn)行上采樣。雙線性差值法計算量較大，但可避免灰度不連續(xù)，在灰度變化處無明顯鋸齒狀。雙線性差值原理如圖3所示。

圖3 雙線性插值原理圖

已知函數(shù)f在四個點(diǎn)Q11=(x1，y1)、Q12=(x1，y2)、Q21=(x2，y1)及Q22=(x2，y2)的值。在x方向進(jìn)行插值得到

(1)

(2)

在y方向進(jìn)行插值得到

(3)

將式(1)、式(2)代入式(3)得到f(x，y)為

(4)

傳統(tǒng)目標(biāo)檢測模型直接在特征圖上生成9種不同比例大小的錨框，本文提出的網(wǎng)絡(luò)結(jié)構(gòu)則可以針對不同預(yù)測特征層生成不同尺寸的錨框，如P2為最底層的預(yù)測特征層，適合檢測小目標(biāo)，可設(shè)置錨框的面積為322，設(shè)置比例為{1∶2，1∶1，2∶1}，其余各層的檢測框面積大小分別設(shè)置為 642、1282、2562、5122。

2.2 對目標(biāo)邊界框預(yù)測的優(yōu)化

RPN網(wǎng)絡(luò)將任意大小的原圖輸入骨干網(wǎng)絡(luò)，輸出基礎(chǔ)特征圖，對基礎(chǔ)特征圖進(jìn)行3×3 卷積得到預(yù)測特征圖，并以基礎(chǔ)特征圖上的每一個像素點(diǎn)為中心映射到原圖上得到不同比例大小的錨框。將大量的錨框篩選并反映射回預(yù)測特征圖后，在原圖上會生成近 2 萬個錨框。去除多余錨框的主要篩選方法是進(jìn)行非極大值抑制(non maxi-mum suppression，NMS)。NMS通過迭代的形式，不斷以最大得分的框與其他框做交并比操作，刪除交并比(Intersection Over Union，IOU)較大的框，此過程中大量無用錨框被刪除，會導(dǎo)致漏檢目標(biāo)，對檢測精度產(chǎn)生影響。soft-nms算法可對錨框的置信度進(jìn)行優(yōu)化，每次選取置信度最高的錨框，同時引入一個高斯函數(shù)，抑制其周圍錨框置信度，減少漏檢情況，高斯函數(shù)公式為

(5)

式中：M為當(dāng)前得分最高框，為待處理框；bi為第i個檢測框；si為第i個檢測框的得分；σ為超參數(shù)，一般取0.5。

利用soft-nms算法對錨框置信度優(yōu)化后，在多個小目標(biāo)重疊的情況下可以提高模型預(yù)測的準(zhǔn)確率，減少漏檢情況發(fā)生。

3 實(shí)驗(yàn)結(jié)果和分析

3.1 實(shí)驗(yàn)環(huán)境

為驗(yàn)證本文改進(jìn)算法在小目標(biāo)檢測中的有效性，在PC機(jī)上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境為：操作系統(tǒng)采用Ubuntu18.04；CPU采用Intel(R)Core(TM)i7-10875H@2.30GHz八核；GPU采用NVIDIA GeForce RTX 2060；顯存6GB；深度學(xué)習(xí)的框架采用pytorch1.8、python3.6。

實(shí)驗(yàn)使用自主采集的數(shù)據(jù)集。自主采集的數(shù)據(jù)集對象主要為中小型無人機(jī)，采集地點(diǎn)在校園內(nèi)和野外無人區(qū)。篩選出3000張尺寸不固定的圖片，利用labellmg軟件按照VOC數(shù)據(jù)集格式手動進(jìn)行標(biāo)注，按照8∶1∶1劃分為訓(xùn)練集、驗(yàn)證集和測試集。訓(xùn)練采用隨機(jī)梯度下降法進(jìn)行，初始學(xué)習(xí)率為 0.0001，批尺寸為 32，訓(xùn)練次數(shù)為1000。

3.2 評價指標(biāo)

本文主要采用查準(zhǔn)率(Average Precision，AP)和查全率(Average Recall，AR)來衡量網(wǎng)絡(luò)對無人機(jī)目標(biāo)的檢測性能。首先計算出精確率(Precision)以及召回率(Recall)，計算公式為

(6)

(7)

式中：TP是將正類預(yù)測為正類數(shù)，即IOU>0.5的檢測框數(shù)量；FP是將負(fù)類預(yù)測為正類數(shù)，即IOU≤0.5的檢測框數(shù)量，或?yàn)闄z測到同一個真實(shí)框的多余檢測框數(shù)量；FN是將正類預(yù)測為負(fù)類數(shù)。

每一個類別都可以根據(jù)Recall和Precision繪制Precision-Recall曲線，AP即為曲線所覆蓋的面積，AR為 圖片中每一類錨框Recall的均值。

3.3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證優(yōu)化后的模型對小目標(biāo)的檢測能力有否提升，本文按照待檢測目標(biāo)的尺寸對數(shù)據(jù)集中的無人機(jī)進(jìn)行劃分。劃分標(biāo)準(zhǔn)如表1所示(單位：像素)。

表1 無人機(jī)的劃分標(biāo)準(zhǔn)

分別采用優(yōu)化前后的Faster-RCNN模型對無人機(jī)檢測效果進(jìn)行對比，結(jié)果如圖3所示。

對比圖3a和圖3b可以看出，優(yōu)化前的Faster-RCNN模型無法檢測小型無人機(jī)目標(biāo)，優(yōu)化后則可實(shí)現(xiàn)對小目標(biāo)的有效檢測。對比圖3c和圖3d 可以看出，優(yōu)化前的Faster-RCNN模型對大型無人機(jī)目標(biāo)的檢測效果較好，可達(dá)到一定的精度，但在多個目標(biāo)重疊密集排布的情況下仍存在漏檢的情況，優(yōu)化后Faster-RCNN模型的漏檢情況得到明顯改善。

優(yōu)化前后的Faster-RCNN模型在自主采集數(shù)據(jù)集上檢測的AP值如表2所示(IOU=0.5)。

圖4 優(yōu)化前后Faster-RCNN模型對無人機(jī)檢測結(jié)果對比

表2 優(yōu)化前后的模型在自主采集數(shù)據(jù)集上檢測的AP值

由表2可知，優(yōu)化后的模型在檢測大目標(biāo)和小目標(biāo)上的AP值均高于優(yōu)化前的Faster-RCNN模型；優(yōu)化后的模型對大型目標(biāo)檢測的AP值僅提高了0.8%，原因是Faster-RCNN作為經(jīng)典的兩階段目標(biāo)檢測算法，自身精度較高；優(yōu)化后的模型對小型目標(biāo)檢測的AP值增加了11.2%，提高比較明顯；說明在不影響其他尺度目標(biāo)的精度下，基于雙線性差值的多尺度預(yù)測結(jié)構(gòu)能提高Faster-RCNN模型對小目標(biāo)檢測的準(zhǔn)確率。

優(yōu)化前后的模型在自主采集數(shù)據(jù)集上檢測的AR值如表3所示(IOU=0.5)。

表3 優(yōu)化前后的模型在自主采集數(shù)據(jù)集上檢測的AR值

由表3可知，優(yōu)化后的模型在檢測大目標(biāo)和小目標(biāo)上的AR值均明顯高于優(yōu)化前的Faster-RCNN模型；優(yōu)化后的模型對大型目標(biāo)檢測的AR值提高了7.5%，對小型目標(biāo)檢測的AR值增加了27.9%；說明本文提出的基于雙線性差值的多尺度預(yù)測結(jié)構(gòu)及soft-nms的優(yōu)化方法不僅能提高Faster-RCNN模型對小目標(biāo)檢測的準(zhǔn)確度，也能減少模型錯檢、漏檢的情況。

4 結(jié)論

提出改進(jìn)的Faster-RCNN深度學(xué)習(xí)模型，在特征提取網(wǎng)絡(luò)中加入基于雙線性插值的多尺度融合結(jié)構(gòu)，盡可能多地保留小目標(biāo)的特征語義，在不同層的特征圖中生成尺寸不同的錨框，提高對小目標(biāo)的檢測精度，利用soft-nms算法計算錨框的置信度，減少模型錯檢、漏檢情況。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的模型對大目標(biāo)、中小型的弱紋理目標(biāo)或重疊在一起的目標(biāo)，均可實(shí)現(xiàn)較為準(zhǔn)確的檢測。