向 東，饒從軍，歐陽泉，彭 楊

（1.武漢興圖新科電子股份有限公司，武漢 430073；2.武漢理工大學理學院，武漢 430070）

0 引言

隨著機器視覺、圖像識別、衛(wèi)星遙感等技術的日益成熟，遙感衛(wèi)星圖像的拍攝質量已經達到可以進行機器視覺學習的條件[1]，將深度學習技術應用于對衛(wèi)星遙感圖像中目標的識別已經成為研究的熱點，識別結果的好壞對于海域目標預警具有重大的現(xiàn)實意義。

在目標識別算法研究上，Ross Girshick等分別于2013和2015年發(fā)布了R-CNN和Fast R-CNN網絡，該網絡的核心主要是對識別目標進行區(qū)域推薦[2-3]。在此基礎上，S.Branson等提出了Pose Normalized CNN，該網絡通過DPM算法獲取局部位置的預測點，然后再進行物體的準確識別和標識[4]。Krause等把圖像分割引入到目標圖像的分類中，該算法不需要使用局部區(qū)域的標注信息，只依賴目標的標注框就可以完成對目標的分割和對齊操作，具有一定的創(chuàng)新性[5-6]。

將人工智能技術應用于遙感圖像中的艦船目標識別，Bousetouane和Morris等[7]通過卷積神經網絡來對遙感圖像中的艦船目標進行特征提取，然后與模型庫里面的艦船模型進行匹配，最后進行艦船分類識別。Bentes等[8]通過深度卷積神經網絡實現(xiàn)了高分辨率雷達衛(wèi)星中的目標識別，所采用的方法能夠準確地識別出衛(wèi)星影像中的貨物、油輪、風車、平臺和港口等5類目標，但是不能很好地識別小目標船只。

在國內研究方面，張東曉[9]在論文中論述了從遙感圖像中對分割出的目標進行灰度特征、紋理特征、邊緣特征、不變矩特征等進行提取，并進行基于統(tǒng)計分析的特性整合。李毅[10]采用機器學習分類器結構的向量機（SVM），通過聚類分析等機器學習的方式來進行數據處理，根據樣本庫中的數據來判斷目標船舶的類別，但是在復雜背景下識別的效果并不理想。魏娜[11]設計了BP神經網絡的三層結構用于對船舶類型進行識別，但是無法對小目標船舶類型進行識別。趙亮等[12]提出一種使用7層卷積神經網絡結構，實現(xiàn)船舶特征的自動提取，同時還結合HOG算法和HSV算法分別得到邊緣特征和顏色特征，在SVM系統(tǒng)上進行分類識別，但是本方法并沒有論述細粒度船舶分類方式。

通過國內外文獻的分析可以發(fā)現(xiàn)，如何在遙感圖像復雜背景下對小目標船舶進行細粒度精確的識別是該方向上面臨的一個難點。為了解決以上的問題，本文基于改進R-CNN模型引入負樣本增強訓練策略，建立端到端的特征提取模型和船舶的分類器，實現(xiàn)了小目標、細粒度目標識別方法，可以提高在遙感圖像復雜背景下船舶小目標識別與分類的精度，同時模型還具有適應性和魯棒性。

1 模型總體架構

針對衛(wèi)星圖像中的船舶的識別，本文建立的小目標、細粒度目標識別網絡從架構上主要包括多維數據集訓練、目標典型特征提取、生成目標參考區(qū)域、目標細粒度識別4個部分，如圖1所示。

圖1 多目標細粒度識別架構

本文通過引入多維樣本集和負樣本增強學習策略，通過數據集訓練對標注后的樣本集空間進行訓練，形成卷積特征圖。目標的典型特征提取負責將各類船舶的特征進行歸類化處理，形成各類船舶的特征庫，為細粒度目標識別奠定基礎。生成目標參考區(qū)域是將待識別遙感圖像中的目標進行初步性識別并形成預測的位置框信息。目標細粒度識別是將預測的位置框和目標類型進行最終的修正和歸類處理，得到正確的識別結果。

2 多維數據訓練與特征提取

卷積神經網絡的結構會直接影響船舶特征提取的性能。如果要實現(xiàn)小目標、多種類船舶的精確分類與識別，則需要多維度、多尺度提取各類別船舶的特征。本文在模型訓練過程中，每次都隨機采樣一個尺度，通過金字塔式結構的圖片庫來給網絡進行不同尺度的訓練，采用迭代的方式最終以實現(xiàn)近似的尺度不變。并且，由于船舶遙感原始圖像的拍攝角度會在一定程度上產生圖像的拉伸、放大、縮小等變換。這些情況都會產生目標特征提取的損失和差錯。為了應變這類的問題，文中設計了圖像變形糾正模型，將圖像按照旋轉，拉伸，縮放，斜切的形式進行變換。其表達式為：

式中：x、y為原始遙感圖像；u、v為轉換后的遙感圖像；a、b、m、c、d、n為圖像的變換參數。

在對待訓練的樣本數據進行預處理后，本文結合Imaget等提出的ZF網絡，通過卷積層和池化層的組合構成特征提取網絡，將船舶的特征提取和船舶的分類同時放入一個端到端的網絡中，網絡根據輸出值和標簽值之間的誤差，不斷地迭代去優(yōu)化修正網絡參數。通過以上方式來讓網絡學習到更高精度的船舶特征值，在有效提取船舶特征的同時還降低了特征提取的時間，為細粒度目標識別奠定基礎。

3 目標參考區(qū)域

本文采用RPN來進行目標邊界框的定位和目標的初步判斷。本文在模型中對正、負樣本的標簽進行如下規(guī)定：（1）IoU最大值和與任意標定區(qū)域的IoU交叉比例超過0.7的候選區(qū)域設置為正樣本；（2）與所有標定區(qū)域的IoU交叉比例小于0.3的候選區(qū)域設置為負樣本；（3）其他的標簽樣本不參與訓練。采用多任務損失函數進行模型訓練，由邊界框損失函數和分類損失函數兩部分構成，如下：

式中：i為目標區(qū)域在一個子集中的下標；Mrek和Mcls為歸一化參數，分別設置為130和1 400；λ為平衡因子，設置為9；xi為候選框i是目標置信度；hi為預測區(qū)域4個坐標向量；h*i為真實目標的4個坐標向量。

式中：L1(a)為平滑范數；hi為預測區(qū)的坐標；h*i為標定區(qū)的坐標。

基于以上算法對預測區(qū)域和標定區(qū)域進行判定，得到比較準確的目標區(qū)域定位。但是由于本文方法設置的正樣本IoU大于0.7及負樣本IoU小于0.3，其余有干擾情況均不被學習。在以上參數的設置下，當有海岸和港口等干擾時，會將部分岸口近似于船的背景識別為目標船舶，產生了誤檢。

因此本文還加入了瀑布式負樣本增強學習策略，將大量具備干擾項的圖像加入學習網絡，增加負樣本集，提高模型對正確目標的識別率。瀑布式負樣本增強學習算法：設負樣本圖像集F(1,2,3,…,n)，設置初始分類器層數l=1、負樣本集Hi（i=1），負樣本統(tǒng)計數值t′，每次需自舉出的負樣本總數t。

步驟1：開始掃描負樣本集F的第一幅圖像的第一個像素，將產生的預測窗口輸入到分類器Cm中進行訓練，同時將誤檢窗口加入到負樣本集Hi+1中。統(tǒng)計所有誤檢樣本個數t′，當負樣本數量達到t時停止圖像掃描。

步驟2：判斷已使用負樣本圖像是否為負樣本集F最后一張。如果是負樣本集的最后一張則跳轉步驟4。

步驟3：取l=l+1，i=i+1。將負樣本集Hi和正樣本一起來訓練第Cm層分類器，判斷該層是否為強分類器。如果是強分類器時，則跳轉到步驟4；當不是強分類器時，則跳轉到步驟1。

步驟4：結束學習過程，將各分類器級聯(lián)后組成瀑布式分類器。

4 交替式模型訓練策略

瀑布式分類層實現(xiàn)了船舶和非船舶的辨別。將提取到的目標特征通過多個全連接層的組合從高維數據轉化到一個四維數據組中。將該四維數據組作為細粒度分類器的輸入，輸出值為目標類型的概率值，概率值越高表明目標為該類別的可能性越大，從而實現(xiàn)對船舶目標的細粒度識別。

為了解決傳統(tǒng)識別算法中多階段訓練數據緩存問題，本文算法使用端到端的網絡進行船舶細粒度識別，該方法不僅提升了識別精度，還提高了識別的速度。具體采用階段性交替式訓練方式，將RPN網絡訓練的結果輸入到改進R-CNN中進行訓練，又將改進R-CNN訓練的結果作為下一階段RPN網絡訓練的初始值，這樣將兩個網絡構成了一個有機的整體，達到了對船舶細粒度分類的目的，如圖2所示。

圖2 交替式訓練方式

在訓練過程中主要有5個步驟：（1）將待學習的遙感衛(wèi)星圖像進行多維預處理；（2）引入負樣本增強學習策略，加入多維度訓練提取船舶特征向量，形成瀑布式分類器；（3）將特征圖送入到預測區(qū)域網絡生成船只目標預測區(qū)域；（4）利用一個多目標分類器對船只目標候選區(qū)域進行目標位置回歸和分類；（5）輸出圖像中船舶所處位置以及船舶的具體類型。

5 實驗分析

5.1 實驗數據集

本次實驗中的數據集由28 015張圖片構成（貨船標記數量為18 795，郵輪為9 542，游艇為11 230，漁船為4 560），還特別補充了5 000張含港口背景的圖片作為負樣本增強學習樣本。

本文采用精確度Precision和召回率Recall兩個參數來評價模型性能如下：

式中：Precision和Recall的取值范圍均在［0，1］；TP為正確樣本數；FP為錯誤樣本數；FN為漏檢樣本數。

以下實驗將從小目標細粒度識別、復雜背景下目標識別、模型魯棒性、適應性等維度進行比較分析。

5.2 網絡測試對比

（1）小目標細粒度測試對比

該類實驗將MRCNN模型與本文中模型就小目標識別的效果進行比較，圖3所示為典型的識別效果對比。由圖可知，MRCNN針對以上圖片右上角小目標船只的識別率比較差，相比較本文的模型在識別小目標能完全檢出，并進行了正確的目標分類。

圖3 小目標細粒度效果對比

（2）復雜背景下目標識別

本類實驗通過負樣本增強學習的方法，所訓練的模型相比沒有加入負樣本增強學習的模型降低了漏檢和誤檢，準確的識別出了岸基干擾下的船舶目標，船舶目標的置信度也有所提升。如圖4～5所示。

圖4 負樣本增加學習效果對比1

圖5 負樣本增加學習效果對比2

從圖4和圖5可以看出：圖4（a）中錯誤地將港口的房屋識別為船只，并且沒有識別到港口位置停靠的船只；圖5（a）中沒有識別到港口內停靠的維修的船只。相比較，采用負樣本增強學習后的模型，在圖4（b）和圖5（b）中能正確地排除干擾，識別到正確位置的船只。通過試驗對比，增加負樣本增強學習機制可以提高目標在干擾情況下的識別率。

5.3 識別效果對比

為驗證訓練后模型的魯棒性和適應性，試驗中選擇了1 000多張多個不同類型船體目標進行識別，其中還包括了復雜背景下的圖像，比較典型的識別結果如圖6所示。

圖6 適應性識別效果

結果表明，模型可以準確地識別圖片中的貨船、郵輪及游艇等目標。實驗結果表明本文提出的算法模型適用于復雜海情條件下的船舶細粒度識別，精確度達到了一定的效果，并且具有較強的魯棒性。另外，為驗證本文學習訓練策略的有效性，將本文模型與MRCNN模型進行實驗對比，兩種算法的Precision、Recall值如表1所示。

表1 檢測效率對比

通過以上實驗的對比發(fā)現(xiàn)，本文模型相比MRCNN模型，從Precision和Recall兩個評價指標上都得到了一定程度的提升，尤其針對小目標細粒度的識別具有顯著優(yōu)勢。

6 結束語

本文通過分析細粒度目標識別的研究熱點，基于R-CNN模型引入負樣本增強學習策略，加大網絡提取小目標、復雜背景目標船舶的特征，構建了一種海上船舶識別與分類的深度學習網絡，提升了船舶目標識別率。構建的網絡采用交替式訓練方式，成功實現(xiàn)了端到端的網絡訓練及識別模式。最后還通過實驗說明了模型的有效性、魯棒性和適應性。但是本文所提出的方法還存在一些問題需要改進：（1）雖然采用交替式訓練策略去構造一體化識別網絡，但是卻帶來了網絡復雜度的提高和網絡體積的增大，如何將網絡輕量化處理將會是一個研究重點；（2）本文實驗中標注的船舶類型僅限于貨船、郵輪、游艇、漁船4類，下一步將擴大船舶細粒度識別類型。