龐立新, 高 凡, 何大海, 李滿勤, 劉方堯

(1.亞太衛(wèi)星寬帶通信(深圳)有限公司,廣東 深圳518126;2.西北工業(yè)大學,陜西 西安710072;3.中國航天恒星科技有限公司,北京100086)

0 引言

遙感影像的目標檢測是提取遙感信息的重要組成部分。隨著遙感影像所攜帶信息的豐富化及多元化,遙感影像在軍事領域、民用領域也凸顯出極為廣泛的應用前景。在軍事領域,可利用遙感影像目標識別技術識別出飛機、坦克、艦船等重要軍事目標,從而獲取其戰(zhàn)地空間分布、地理坐標等重要軍事情報,用于精確制導等。在民用領域,可通過識別建筑用地、水體、樹木等目標,獲取該城市土地利用現(xiàn)狀,輔助政府部門制定城市建設和規(guī)劃方案。隨著遙感影像空間分辨率的不斷提高,高空間分辨率遙感影像的應用范圍日益擴大,遙感目標檢測方法具有很廣闊的應用需求[1]。

除了自然圖像外,遙感圖像中小尺寸目標檢測問題尤為突出[2]。由于距離遠、高空遮擋、天氣等不可抗因素,導致遙感影像中用戶感興趣的目標可能是非常小的尺寸,例如小飛機、小汽車、小船只等被復雜的環(huán)境場景淹沒的小物體。徐逸之等人從精度、速率兩方面比較了基于區(qū)域卷積神經網絡(Region-Convolutional Naural Networks,R-CNN)改進的3種算法,提出區(qū)域全卷積神經網絡(Region-based Fully Convolutional Networks,R-FCN)算法在對飛機目標進行檢測時,具有相對較高的檢測精度和較快的檢測速度[3]。馮小雨等人針對空中目標檢測的特點和要求,提出了區(qū)域放大、局部標記、自適應閾值和時空背景等策略,以彌補甚快區(qū)域卷積神經網絡(Faster R-CNN)對弱小目標檢測的不足[4]。Tang等人針對被遮擋目標等難以檢測的問題,使用級聯(lián)的增強分類器替換區(qū)域建議網絡(Region Proposal Networks,RPN)之后的分類器,以驗證候選區(qū)域,提升檢測精度[5]。基于上述內容可知,二階段目標檢測算法在遙感影像目標檢測上應用較為廣泛,代表性算法為Faster R-CNN。由于遙感影像通常幅面較大,而遙感影像中的中小型目標居多。因此,對遙感影像中小型目標的檢測方法進行研究,提升小型目標檢測準確率,有助于整體改善遙感影像的目標檢測效果。RetinaNet[6]是一個簡單而十分強大的目標檢測網絡,與Faster R-CNN相比,具有更快的檢測速度和更高的檢測精度。此外,RetinaNet中引入了特征金字塔(Feature Pyramid Networks,FPN)[7]結構,對多尺度特征進行融合,并且在不同尺度上進行目標檢測,在小目標的檢測方面更具有優(yōu)勢。已有研究表明,RetinaNet網絡可以在遙感影像小目標檢測任務中取得很不錯的效果[8]。注意力機制是人類利用有限的注意力資源從大量信息中快速篩選出高價值信息的有效手段,深度學習中的注意力機制借鑒了該思想,通過一些方法將目標特征進行增強,并抑制背景特征來達到類似于人類“注意”的效果。目前注意力機制被廣泛地應用在自然語言處理、圖像分類等深度學習任務中,并取得了顯著的成果。本文研究基于旋轉錨點框和注意力機制的RetinaNet改進網絡,用于遙感影像中任意方向小目標的檢測識別。

1 注意力機制

人在拍攝圖片時往往更傾向于將主要目標置于圖片中心位置,大都會忽略背景。但在某些復雜場景下,諸如中心先驗、背景先驗等這些先驗假設是不可取的。比如,遙感圖像中存在許多小目標,由于目標密集、遮擋、尺寸小等原因會被誤認為是圖像背景,如圖1所示。圖中包含了船艦、汽車、飛機等小目標,它們有的分布分散、有的分布密集,無法確切的劃分出前景或背景。若采用上述先驗方法,就會增加小目標檢測難度。

圖1 小目標分布情況

本文引入注意力機制的原因有：(1)遙感圖像中的小目標分布于圖像中各個位置;(2)遙感圖像中的小目標易被當成背景;(3)不加選擇的尺度融合會產生背景干擾。

無論是自然圖像還是遙感圖像,一般情況下圖像中每個特征對目標檢測起到的作用是不同的。有的特征有助于檢測目標,有的特征會對檢測目標造成一定的干擾?，F(xiàn)有的卷積神經網絡(Convolutional Naural Networks,CNN)通過卷積操作來獲取特征,并未對特征做出選擇性提取。而在CNN中的不同通道提取的特征包含不同的語義信息,不同通道的特征對于目標檢測并非全部具有相同的重要性。因此,本文提出一種具有特征選擇性的算法,能夠有效地對不同通道的特征進行加權。引入通道注意力機制,通過權值合理分配的方法,分配較大的權值比重給那些對目標特征響應較好的通道,對目標特征響應差的通道則分配較小的權值比重,目的是細化特征在圖像中所占權重,優(yōu)化小目標的檢測算法。

在網絡中輸入一張圖片,通過卷積操作得到特征圖f,f可表示為f=[f1,f2,…,fC],fi∈RW×H表示特征f中的第i個通道,C表示通道數(shù),W和H分別表示特征圖的寬度和高度。通過對每個通道特征執(zhí)行平均池化操作,得到每個通道fi上的平均池化值,從而得到f上對應的特征向量v,如式(1)所示。

采用1×1大小卷積核將所有通道的特征進行聚合,聚合公式為

式中：*為卷積操作;ωc為卷積核權值;bc為偏置參數(shù);u為最終得到的聚合特征。對聚合特征,利用歸一化指數(shù)函數(shù)(Softmax)進行歸一化,得到特征權重占比,即通道注意力特征權值,用ac∈RC表示,其計算公式為

以圖形化的表現(xiàn)形式來表示通道注意計算過程,如圖2所示。

圖2 通道注意機制

輸入尺寸為W×H×C(W,H和C分別表示特征圖的寬度,高度和通道數(shù))的特征圖,先進行特征平均池化,再進行Softmax歸一化操作,得到一個概率分布,最后進行逐元素相乘操作得到一個新的W×H×C的特征圖。權重不同的通道與原特征圖在逐元素相乘操作后,權重較大的通道特征會被增強,從而達到加強通道特征的作用。本文將通道注意力機制應用到Retina Net目標檢測算法中,并和整個網絡的其他部分進行聯(lián)合訓練。

2 旋轉錨點框機制

Faster R-CNN中提出了錨點框(Anchor Box)機制來預設候選框,用于網絡對檢測目標位置的回歸,RetinaNet中也使用了錨點框機制。但是RetinaNet中的預設錨點框是平行于坐標軸的一組矩形,而遙感圖像中的目標大多數(shù)都是任意方向的,平行于坐標軸的錨點框在檢測時會含有冗余區(qū)域,因此將SCRDet[9]中的旋轉錨點框機制引入到Retina Net中。在原來回歸坐標時4個參數(shù)(x,y,w,h)的基礎上,增加一個θ參數(shù),用(x,y,w,h,θ)代表任意方向的矩形。其中x和y分別表示錨點框的中心坐標;w和h分別表示框的寬度、高度;θ為框與x軸所夾銳角,θ∈[-π/2,0)。在軸向對齊的邊界框上進行交并比(Intersection-over-Union,Io U)計算,可能會導致傾斜交互邊界框的IoU不準確,進而影響邊界框預測。為了對任意旋轉的物體進行更魯棒的處理,通過使用改進的平滑L1損失的方法,增加一個常數(shù)因子來解決旋轉邊界框回歸的邊界問題。在回歸網絡中增加對角度偏移量的回歸,旋轉邊界框偏移量計算公式為

式中：x,y,w,h,θ分別表示框的中心坐標、寬度、高度、角度;變量x,xa,x'分別表示目標真實地物框(Ground-truth Box)、錨點框(Anchor Box)、預測框(Predicted Box)的x軸坐標,y,w,h,θ也用同樣方式表示;變量(tx,ty)表示真實標注框和錨點框中心坐標(x,y)之間的相對偏移量;(tw,th)則表示真實標注框和錨點框間寬和高的尺度因子偏移量;tθ則表示旋轉角度的偏移量;同理(t'x,t'y),(t'w,t'h)和t'θ分別表示預測框和錨點框之間中心坐標偏移量,寬高尺度因子偏移量和旋轉角度偏移量。

3 基于注意力機制的RetinaNet構建

本文提出了一種基于注意力機制的Retina Net(AM-RetinaNet)小目標檢測算法。區(qū)別于RetinaNet有3個創(chuàng)新點：

a)將旋轉錨點框機制引入到RetinaNet中,可實現(xiàn)遙感圖像中任意方向目標的檢測識別;

b)在Retina Net金字塔結構的自頂向下的采樣結構后增加了一個自底向上(Bottom-up)結構,提出一種自底向上采樣的金字塔網絡結構;

c)在RetinaNet金字塔結構后增加注意(Attention),提出一種基于注意力機制的金字塔網絡。

圖3 基于注意機制的RetinaNet網絡結構

基于注意力機制的RetinaNet的基本框架見圖3。實例分割網絡PANet[10]提出了“自底向上”結構來縮短淺層特征到頂層的傳遞路徑,能夠保留更多的的淺層特征信息。在RetinaNet特征金字塔結構(Feature Pyramid Networks,FPN)后加入“自底向上”結構,以保留更多的、有益于小目標檢測的淺層特征信息,并在“自底向上”結構中使用通道注意力機制,使得對目標特征響應較好的通道特征被增強。在“自底向上”結構中,從原始FPN結構最后一層卷積輸出的特征P2出發(fā),先進行一次下采樣和P3特征融合得到新的卷積特征,引入通過通道注意力機制來產生新的注意后,得到一個新的包含注意性特征的特征圖,稱為注意性特征(Attention Features),用Att3表示。然后,將Att3表示的注意性特征作為引導,依次自底向上,得到較高層的注意性特征,最終得到3個注意性特征Att3,Att4,Att5,代替原始FPN結構中的P3,P4,P5,送入后續(xù)的分類和回歸子網絡進行目標位置的回歸和分類,通過旋轉錨點框機制實現(xiàn)對任意方向目標的檢測。網絡損失函數(shù)[9]為

其中

式中：N表示錨點框的數(shù)量;t'n為目標預測標簽系數(shù),根據(jù)目標標簽人為設置;v'nj為預測的偏移量;vnj表示表示Ground-truth的目標集合;Lreg(x)為回歸損失函數(shù),既平滑L1損失,x表示v'nj和vnj之間的差值;η為Io U值;tn表示目標的真實標簽標號;pn表示用Sigmoid函數(shù)計算出的各種類的概率分布;Lcls(pt)為分類損失,既焦點損失(Focal Loss)[6],pt表示樣本被正確預測的概率,αt,γ分別表示權重因子和焦點系數(shù),實驗中取值為αt=0.25,γ=2;λ1,λ2為超參數(shù),分別為控制回歸損失Lreg和分類損失Lcls比例的權衡系數(shù),默認均設置為1。

4 實驗驗證

實驗使用NVIDIA GeForce GTX 1080顯卡,基于Tensorflow框架實現(xiàn)卷積神經網絡。在訓練過程中,初始學習率設置為0.001,學習動量為0.9,batchsize設置為1,迭代次數(shù)500k,數(shù)據(jù)集為DOTA遙感數(shù)據(jù)集。本實驗對RetinaNet模型、AM-RetinaNet模型進行試驗對比,驗證AM-RetinaNet網絡模型對小目標的檢測效果。

目標檢測對比見圖4。圖4(a)、圖4(c)為采用RetinaNet模型的檢測效果,圖4(b)、圖4(d)為采用AM-RetinaNet模型的檢測效果。如圖4(a)、圖4(b)所示,圖片右上角的“小汽車”目標較小,屬于難檢測目標,原網絡沒有很好地檢測出,而改進后的網絡模型順利完成了檢測。圖4(a)、圖4(b)中各有18個目標,其中港口目標13個,小汽車目標5個。采用RetinaNet模型,港口目標的檢測率為69.23%,小汽車目標的檢測率為0%。采用AM-RetinaNet模型,港口目標的檢測率為100%,小汽車目標的檢測率為60%,改進后的網絡的檢測效果優(yōu)于原網絡。圖4(c)、圖4(d)中,公路兩旁為密集停放的小汽車,采用RetinaNet模型小汽車目標的檢測率為0%;采用AM-Retina Net模型的汽車小目標檢測率為95%,平均置信度為0.82。由對比結果可知,AM-RetinaNet模型改善了原網絡識別精度不高、容易漏檢的問題。

分別采用RetinaNet及AM-RetinaNet模型對不同類型小目標進行檢測,檢測準確率如表1所示。

表1 在測試集上的檢測準確率對比

由表1可知,RetinaNet和AM-RetinaNet的平均檢測精度分別為67.42%和74.92%,AM-Retina Net的平均檢測精度比Retina Net提高了7.5%。

5 結束語

在RB-RetinaNet網絡的基礎上,提出一種基于注意力機制的Retina Net任意方向小目標檢測方法,進行遙感圖像中小目標檢測識別。對AMRetina Net與RetinaNet進行平均檢測精度對比實驗,結果表明：AM-RetinaNet的小目標平均檢測精度較Retina Net提高了7.5%,驗證了該網絡對小目標檢測識別的有效性和優(yōu)越性。