葛海婷,楊鐵梅

(太原科技大學(xué) 電子信息工程學(xué)院,太原 030024)

遙感是一種遠距離的探測技術(shù),近年來衛(wèi)星技術(shù)也愈發(fā)成熟,獲得的觀測數(shù)據(jù)也因遙感技術(shù)的成熟呈指數(shù)性增長,圖像質(zhì)量也在不斷提升,高質(zhì)量以及大規(guī)模的遙感數(shù)據(jù)正越來越多地進入人們的視野,并在多方面都發(fā)揮著越來越重要的作用,這使得人們對遙感圖像處理技術(shù)的研究也愈發(fā)迫切。而在整個的遙感影像檢測體系之中,飛機影像的檢測一直是重要的研究目標[1]。

在過去,計算機的性能有限,傳統(tǒng)的方法是采用手工設(shè)計精巧的特征以及分類器的方法進行數(shù)據(jù)訓(xùn)練、測試。比如圓周頻率濾波法、邊緣提取法、稀疏表示法等,但是這類傳統(tǒng)的算法檢測依靠人工設(shè)計的特征,過程復(fù)雜,耗費時間長,且檢測結(jié)果精度不高,算法的抗干擾能力差,且一般適用于背景簡單,有明顯特征的圖像,不適用于遙感影像的目標檢測。

2014年,Girshick 等[2]提出R-CNN 算法,將卷積神經(jīng)網(wǎng)絡(luò)的概念引入到目標檢測領(lǐng)域。而深度學(xué)習(xí)源于神經(jīng)網(wǎng)絡(luò)的研究,含多個隱藏層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu),主要是通過堆疊的深層的網(wǎng)絡(luò)結(jié)構(gòu),借助同類數(shù)據(jù)進行訓(xùn)練,使得整個網(wǎng)絡(luò)獲得對圖像內(nèi)容進行理解、判斷和預(yù)測的功能,具備較強的學(xué)習(xí)能力,能夠自動的準確高效的提取目標檢測物的特征?；谏疃葘W(xué)習(xí)的檢測方法一般分為兩種:一種是基于候選區(qū)域的方法,代表性的檢測方法有Fast-RCNN[3]、Faster-RCNN[4]、Mask-RCNN[5],這類方法的運算量偏大,耗時長,但檢測精度好;另—種是基于回歸思想的方法,代表性的檢測方法有YOLO[6]系列、SSD[7]等,這類檢測方法的實時性會更好[8]。

在遙感圖像目標檢測中,由于高空拍攝,成像時覆蓋范圍廣,導(dǎo)致的圖像背景復(fù)雜,檢測目標分布密集、尺寸小;同時,成像時容易受到光照、天氣等因素的影響,使得圖像質(zhì)量較差,增大目標檢測的難度。將現(xiàn)有的深度學(xué)習(xí)檢測算法應(yīng)用于遙感檢測領(lǐng)域中時,可以完成大部分遙感圖像的檢測任務(wù),但是在背景復(fù)雜、目標尺度小時,其檢測精度仍然不高。因此,這就需要研究更加高效精準的檢測方法。

針對目前的遙感圖像檢測算法在目標密集排列、背景復(fù)雜以及成像質(zhì)量較差的圖像上精度較低等問題,本文選用基于候選區(qū)域的目標檢測方法,在Mask-RCNN網(wǎng)絡(luò)的基礎(chǔ)上進行改進。網(wǎng)絡(luò)在ResNet特征提取的網(wǎng)絡(luò)上添加多通道組卷積以及注意力機制,提高網(wǎng)絡(luò)的檢測精度,尤其針對背景復(fù)雜和小目標的檢測;并在區(qū)域推薦網(wǎng)絡(luò)中優(yōu)化NMS非極大值抑制網(wǎng)絡(luò),提高物體目標的定位精度,從而提高遙感影像中飛機的檢測精度。使其在對于目標圖像的檢測中,算法的精度以及處理速度均有一定程度的提升。同時也可以將本文算法拓展到其他檢測領(lǐng)域,使其更具實用性。

1 Mask-RCNN的網(wǎng)絡(luò)模型介紹

1.1 FPN特征提取網(wǎng)絡(luò)

特征提取是目標檢測中的基礎(chǔ),能否有效的提取到圖片中的關(guān)鍵信息,直接影響到后續(xù)的檢測結(jié)果。FPN特征提取網(wǎng)絡(luò)使用ResNet深度殘差網(wǎng)絡(luò)進行,通過添加“shortcut”的連接方式解決梯度消失,并簡化學(xué)習(xí)目標和難度。并在其中使用特征金字塔結(jié)構(gòu)保留不同階段生成的feature maps.

FPN特征提取網(wǎng)絡(luò)實現(xiàn)了更好的feature maps融合。低層特征的feature maps分辨率高,包含更多的位置信息,細節(jié)信息,但由于卷積層數(shù)過低,語義信息差;高層特征的feature maps語義強,但是位置和分辨率都比較低,對細節(jié)的感知能力較差,容易檢測不到比較小的物體。FPN網(wǎng)絡(luò)將ResNet網(wǎng)絡(luò)提取到的特征作為輸入,結(jié)合特征金字塔網(wǎng)絡(luò),通過上采樣方法將特征尺寸轉(zhuǎn)換成對應(yīng)大小,并通過自下而上、橫向連接以及自上而下的連接方式在保留小目標的情況下,融合不同尺寸的特征,從而充分利用提取到的各個階段的特征。

結(jié)構(gòu)示意如圖2所示:

圖2 FPN特征提取網(wǎng)絡(luò)

1.2 候選框篩選機制

RPN網(wǎng)絡(luò)引入anchor的概念,依靠一個在共享特征圖上滑動的窗口把feature map每個點映射回原圖的感受野的中心點當成一個基準點,然后圍繞這個基準點選取k個帶有目標分類置信度的不同的尺寸和比例的錨框,之后網(wǎng)絡(luò)使用NMS非極大值抑制算法依據(jù)目標的分類置信度以及瞄準框與真實目標的交并比(IOU)對錨框進行篩選,得出當前分類置信度最高的候選框。最后對篩選出的候選框使用softmax實現(xiàn)圖像前景與背景的分類,以及對候選框進行邊界框回歸,修正anchor得到物體在圖像中的位置。

1.3 評價指標

為了評價算法的檢測性能,本文選擇準確率(Precision)、召回率(Recall)以及平均精度(Average Precision,AP)對算法的性能進行分析。各指標計算公式如下:

(1)

(2)

(3)

上式中的各個字母的含義如表1所示:

表1 公式中的字母含義

2 目標檢測網(wǎng)絡(luò)模型的改進

文章針對遙感圖像的特點以及自制數(shù)據(jù)集的需求對網(wǎng)絡(luò)模型進行優(yōu)化,使得改進后的算法對于遙感影像的檢測具有較高的精度。其主要包括了兩方面的改進:一是ResNet特征提取網(wǎng)絡(luò)的改進;二是候選框的篩選機制NMS非極大值抑制網(wǎng)絡(luò)的改進。

2.1 ResNet網(wǎng)絡(luò)模型的改進

本文的檢測目標為遙感飛機圖像,需要識別的類別數(shù)較少,對網(wǎng)絡(luò)層數(shù)的要求沒有很高,對于網(wǎng)絡(luò)的精度要求會更高一些。Resnest,即分割-注意力網(wǎng)絡(luò),在Resnet網(wǎng)絡(luò)的基礎(chǔ)上引入Split-Attention模塊,用于替換ResNet中四個stage的conv,它保留了整體的 ResNet 結(jié)構(gòu),可直接用于下游任務(wù),但沒有增加額外的計算量。

入選標準：①2015年4月至2017年1月于北京同仁醫(yī)院驗光中心驗配角膜塑形鏡的近視青少年；②定期復(fù)查且隨訪時間超過6個月；③每個復(fù)查時間點均具有完整的數(shù)據(jù)資料。排除標準：①復(fù)查時間短于6個月；②隨訪資料數(shù)據(jù)不完整。

ResneSt網(wǎng)絡(luò)的塊結(jié)構(gòu)主要在網(wǎng)絡(luò)上做基于組卷積和通道注意力機制的改進,具體模型結(jié)構(gòu)如圖3所示。從圖中可以看到,首先輸入的特征圖為h×w×c,第一步對輸入進行分組,共分為k組,每組再進一步分割,分為r片。組內(nèi)分割的特征圖通道數(shù)為c/k/r,做1×1小卷積通道數(shù)不變,再做3×3卷積通道數(shù)變?yōu)閏/k,將其得到r個特征圖小組作為輸入給分割注意力機制進行操作。

圖3 ResneSt block結(jié)構(gòu)圖

分割注意力機制具體的結(jié)構(gòu)如圖4所示,首先將圖3得到的r個特征圖相加融合,而后對得到的特征圖小組進行Global pooling操作,再經(jīng)過歸一化、激活以及后續(xù)的softmax操作,就可以得到修正后的channel權(quán)重向量,接下來的步驟與原算法類似,即將這一系列的操作輸出與原始的特征小組相乘后對應(yīng)元素相加便可得到此基數(shù)組的輸出,最后將所有基數(shù)組連接起來得到操作輸出,通過與shortcut配合就可以得到總的輸出[10]。

圖4 一個基數(shù)組內(nèi)的Split-Attention

2.2 NMS的改進

NMS非極大值抑制,通過IOU的分數(shù)剔除重疊建議框,最終保留一個得分最高的建議框。但是大多數(shù)情況下很多分類標簽置信度高的框的位置都不是很準,容易導(dǎo)致漏檢、誤檢等情況。

文章在NMS算法的基礎(chǔ)上引入了KL Loss,即采用softer-NMS[11]基于定位置信度并利用相鄰的邊界框來獲得更好的定位效果。算法框架如圖5所示,在原來的基礎(chǔ)上添加了Box std分支,用于預(yù)測每個坐標的標準差,表征定位置信度。

圖5 Softer-NMS框架

為了在定位坐標的同時可以輸出定位置信度,使用高斯函數(shù)對預(yù)測框建模;由于GT框的位置是確定的,文章使用delta分布(標準方差趨近于為0的高斯分布極限)對GT框建模。具體如公式(4)、(5)所示:

(4)

PD(x)=δ(x-xg)

(5)

式(4)中x表示偏移前的預(yù)測框,xe表示偏移后的預(yù)測框,σ表示候選框位置的標準差,衡量了候選框位置的不確定性;式(5)中xg表示GT框。

引入KL loss用來衡量預(yù)測框與GT框的概率分布的接近程度,其值越小,接近程度越高。單個樣本的損失函數(shù)如公式(6)所示:

(6)

由上述內(nèi)容可知,當xe預(yù)測不準確時,網(wǎng)絡(luò)希望σ2盡可能大,用以減小Lreg,相應(yīng)的預(yù)測框與GT框的接近程度越差。通過刪除式中不含σ2的項可以得到式(7).

(7)

(8)

經(jīng)過網(wǎng)絡(luò)的訓(xùn)練,輸出部分會在原先的分類置信度、預(yù)測框的坐標基礎(chǔ)上,得到預(yù)測框的四個坐標分別對應(yīng)的標準差(定位置信度)。

網(wǎng)絡(luò)針對重疊的檢測框,根據(jù)分類置信度和位置置信度進行投票,重疊程度高且位置分布方差小的檢測框權(quán)重大,重疊程度低抑或位置分布方差大的候選框權(quán)重小,從而獲得更精確的檢測框。

3 模型試驗結(jié)果與分析

為了驗證算法的改進部分在遙感影像飛機圖像檢測中的有效性,本文在自制的數(shù)據(jù)集上進行實驗測試,并與原算法進行比較,根據(jù)得到的評價指標準確率、召回率以及評價指標來進行評判,具體如表2所示:

表2 自制數(shù)據(jù)集上的性能對比

從表2中可以看出,原算法在加上改進的特征提取網(wǎng)絡(luò)后,準確率增加了2.3%,召回率增加了1.5%,平均精度增加了1.7%;繼而增加NMS網(wǎng)絡(luò)的改進后,較原算法而言,準確率增加3.6%,召回率增加3.9%,平均精度較原算法高4.2%,這表明了網(wǎng)絡(luò)優(yōu)化部分對于整體性能的提升是有效的。

同時,本文在自制的數(shù)據(jù)集上進行測試實驗時,得到了mask算法和改進特征提取網(wǎng)絡(luò)算法以及本文算法的Loss值曲線,從圖6中可以看出,在經(jīng)過多次迭代之后,損失變化趨于平緩,且誤差方面較原算法均有了較好的提升。

圖6 Loss值的對比圖

為更直觀的觀察到檢測結(jié)果,抽取自制數(shù)據(jù)集中的有代表性的部分測試結(jié)果如圖7所示。第一行圖像為測試集圖像,中間行圖像為原算法在自制數(shù)據(jù)集的檢測結(jié)果,第三行圖像為改進后的算法在相同數(shù)據(jù)集下的檢測結(jié)果。其中圖(a)為小目標圖像密集排列,圖(b)是由于光線太強造成圖像曝光,圖(c)是背景復(fù)雜,干擾信息較多,這三類情況均為遙感圖像目標檢測的重難點。對比這三組圖像的檢測結(jié)果,可以明顯看到在原始的Mask算法下,三組圖像均存在漏檢,誤檢等現(xiàn)象,而在改進后的算法下,漏檢、誤檢等現(xiàn)象有了明顯的改善,檢測精度更高,并且有良好的抗干擾能力,這表明了說明改進后的算法更有利于遙感飛機影像的檢測。

圖7 檢測對比圖

4 結(jié)束語

本文為提高檢測精度,基于Mask-RCNN算法提出了改進的特征提取算法,在ResNet的基礎(chǔ)上,結(jié)合多通道組卷積以及注意力機制進行改進,在區(qū)域推薦網(wǎng)絡(luò)中基于NMS非極大值抑制,添加定位置信度優(yōu)化ROI.根據(jù)實驗結(jié)果可知,改進后的模型在檢測精度、損失等方面均優(yōu)于原算法,具有較強的抗干擾能力以及魯棒性,更適用于遙感領(lǐng)域的目標檢測。