張晉陽(yáng)

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

遙感圖像視野廣闊、內(nèi)容豐富、信息量大，具有很大的利用價(jià)值，但圖像捕獲過(guò)程中容易受到光照、云層、空氣質(zhì)量等不可控因素影響，造成目標(biāo)區(qū)域陰影、遮擋等問(wèn)題，傳統(tǒng)條件下遙感圖像的精確解譯需要人工進(jìn)行目視判讀。航空航天技術(shù)的發(fā)展使得機(jī)載以及星載遙感影像的獲取變得更加容易，各國(guó)飛行器及衛(wèi)星活動(dòng)產(chǎn)生了海量遙感數(shù)據(jù)。然而高清遙感圖像數(shù)據(jù)尺寸大、目標(biāo)眾多，依靠人工判讀主觀性大、工作效率低，因此遙感圖像的智能化自動(dòng)解譯亟待研究。人類(lèi)自發(fā)明影像記錄技術(shù)以來(lái)，就不斷有人嘗試將其用于遠(yuǎn)距離觀測(cè)記錄。1858年法國(guó)人Tournachon 用氣球拍攝了巴黎的鳥(niǎo)瞰相片，是最早的空中攝影記錄。兩次世界大戰(zhàn)中，航空攝影成為軍事偵察的重要手段，各國(guó)也意識(shí)到了空中偵察和航空攝影的重要軍事價(jià)值，第二次世界大戰(zhàn)后期，各類(lèi)電磁頻譜遙感記錄技術(shù)得到發(fā)展，美國(guó)通過(guò)遙感影像的解譯標(biāo)繪軍事目標(biāo)地圖，成為其太平洋戰(zhàn)爭(zhēng)中重要的情報(bào)來(lái)源，其后，隨著衛(wèi)星航空遙感的出現(xiàn)，遙感的重要價(jià)值使得其逐漸發(fā)展成為一門(mén)獨(dú)立學(xué)科。遙感圖像的解譯是通過(guò)對(duì)遙感圖像所提供的多種特征信息進(jìn)行分析、推理和判斷，最終從遙感圖像中識(shí)別出感興趣目標(biāo)并確定形狀、尺度、地理位置，利用計(jì)算機(jī)將遙感圖像中的目標(biāo)精細(xì)化分割和識(shí)別，是遙感圖像應(yīng)用于軍事偵察、資源監(jiān)測(cè)等領(lǐng)域的重要步驟。

1 相關(guān)工作

基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法在圖像處理各個(gè)經(jīng)典問(wèn)題中產(chǎn)生了相當(dāng)優(yōu)秀的結(jié)果。自AlexNet在圖像分類(lèi)問(wèn)題上表現(xiàn)出優(yōu)異性能，人們意識(shí)到了基于學(xué)習(xí)的方法的巨大價(jià)值，神經(jīng)網(wǎng)絡(luò)被用于解決各個(gè)領(lǐng)域的經(jīng)典問(wèn)題，如目標(biāo)檢測(cè)、語(yǔ)音識(shí)別、文本分類(lèi)等。神經(jīng)網(wǎng)絡(luò)本身也是一項(xiàng)研究課題，如何通過(guò)調(diào)整網(wǎng)絡(luò)架構(gòu)模型、損失函數(shù)、訓(xùn)練策略，引導(dǎo)得到更高效、性能更優(yōu)異的結(jié)果也非常值得研究。遙感圖像解譯中對(duì)于目標(biāo)的提取就是一個(gè)實(shí)例分割問(wèn)題，在深度學(xué)習(xí)方法出現(xiàn)以前，人們通過(guò)無(wú)監(jiān)督 的K-means、ISODATA（Interactive Selforganization）等方法進(jìn)行聚類(lèi)分割，或者通過(guò)最大似然、最小距離以及支持向量機(jī)等方法進(jìn)行遙感圖像的分割，但這些方法大多泛化性能較差或者需要人工設(shè)置許多參數(shù)，難以進(jìn)行大規(guī)模數(shù)據(jù)的精準(zhǔn)解譯。實(shí)例分割問(wèn)題是目標(biāo)檢測(cè)和語(yǔ)義分割二者的結(jié)合，因?yàn)閷?shí)例分割不僅需要將目標(biāo)從圖像中檢測(cè)出來(lái)，并且需要對(duì)每個(gè)像素進(jìn)行分類(lèi)。與語(yǔ)義分割相比，實(shí)例分割發(fā)問(wèn)題更加困難，提出和發(fā)展較晚，現(xiàn)有實(shí)例分割算法主要基于深度學(xué)習(xí)技術(shù)，如SDS（Simultaneous detection and segmentation）、 Deep-Mask、MultiPathNet等，隨著數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)方法的發(fā)展，分割結(jié)果的精度和效率也在不斷提高。在遙感圖像中，實(shí)例分割存在的問(wèn)題和難點(diǎn)有：①與常見(jiàn)的普通實(shí)例分割圖片數(shù)據(jù)集相比，高分辨遙感圖像尺寸大，難以直接輸入網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)；②小目標(biāo)分割問(wèn)題，神經(jīng)網(wǎng)絡(luò)越深，其末端感受野越大，魯棒性越強(qiáng)，但分辨率的降低會(huì)導(dǎo)致遙感圖像中一些尺度較小的目標(biāo)在下采樣過(guò)程中特征丟失，小目標(biāo)的檢測(cè)和分割精度下降。

早期的實(shí)例分割方法中，常利用底層圖像處理算法進(jìn)行候選區(qū)域生成，得到圖像中可能存在實(shí)例的區(qū)域，然后再進(jìn)行判斷和分割。如在SDS 中，使用MCG算法進(jìn)行候選區(qū)域生成，再使用CNN 分別對(duì)包圍框內(nèi)的圖像和前景信息進(jìn)行卷積特征提取，最后對(duì)提取到的卷積特征采用SVM 進(jìn)行分類(lèi)，對(duì)每個(gè)候選區(qū)域?qū)儆谀硞€(gè)類(lèi)別的可能性進(jìn)行打分。一些方法采用密集滑動(dòng)窗口的方式進(jìn)行圖像中物體的分割，如Deep-Mask，在整張圖中采用不同尺度的密集滑動(dòng)窗口獲取圖片的patch，然后提取該patch的卷積特征并輸出patch 的mask 以及該patch 是否存在目標(biāo)的分?jǐn)?shù)，但DeepMask 最終通過(guò)全連接方式得到輸出向量后重組成圖像的方式使得mask 與特征的聯(lián)系丟失，而且滑動(dòng)窗口的方式存在大量冗余的特征提取步驟。為了解決滑動(dòng)窗口過(guò)于冗余以及先檢測(cè)后分割影響性能的問(wèn)題，Wang等人提出了SOLO算法，利用網(wǎng)格劃分進(jìn)行實(shí)例定位以及分割預(yù)測(cè)。

2 研究方法

2.1 遙感圖像數(shù)據(jù)集

本文選取iSAID數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，iSAID數(shù)據(jù)集是2019 年CVPR Workshop 提出的一個(gè)用于航拍圖像實(shí)例分割的數(shù)據(jù)集，其原始圖像來(lái)源于DOTA航拍數(shù)據(jù)集。iSAID 包含2806 張高分辨率的圖像，有汽車(chē)、運(yùn)動(dòng)場(chǎng)、飛機(jī)、直升機(jī)、橋梁、船只等15 類(lèi)目標(biāo)655451 個(gè)實(shí)例，每個(gè)類(lèi)別都有大量標(biāo)記實(shí)例圖像，增強(qiáng)了網(wǎng)絡(luò)對(duì)于實(shí)例及相關(guān)背景的學(xué)習(xí)能力。在iSAID數(shù)據(jù)集中，類(lèi)間尺度變化較大，在同一圖像中可能出現(xiàn)大、中、小等多種類(lèi)型的類(lèi)別實(shí)例，同時(shí)圖像內(nèi)各個(gè)對(duì)象數(shù)據(jù)的分布不均勻，不平衡，很好地展現(xiàn)了真實(shí)航拍環(huán)境下的數(shù)據(jù)分布狀態(tài)。iSAID 原始航拍遙感圖像數(shù)據(jù)較大，尺寸過(guò)大的圖像消耗內(nèi)存以及GPU 現(xiàn)存過(guò)大，無(wú)法進(jìn)行訓(xùn)練，因此按照常用的處理方法，將其分割成較小的圖像塊以方便進(jìn)行訓(xùn)練和測(cè)試，本文使用數(shù)據(jù)集提供腳本將數(shù)據(jù)分割成600×600 大小進(jìn)行訓(xùn)練和測(cè)試。圖1 所示為iSAID 數(shù)據(jù)集的一部分類(lèi)別內(nèi)容。

從圖1可以看出，遙感圖像實(shí)例分割問(wèn)題中不同類(lèi)別尺度變化較大，如Small_Vehicle 和plane 兩類(lèi)物體經(jīng)常同時(shí)出現(xiàn)但所占像素面積相差數(shù)倍；部分物體密集度高，如圖1（b）中Small_Vehicle 的分布十分密集，全部檢出難度大，影響檢出召回率；部分類(lèi)別類(lèi)間差異大，如Harbor 的形狀以及長(zhǎng)度在不同的圖像中相差較大，學(xué)習(xí)難度較高。遙感數(shù)據(jù)的實(shí)例分割解譯是一個(gè)具有挑戰(zhàn)性的問(wèn)題。

圖1 iSAID數(shù)據(jù)集實(shí)例分割示例樣本

2.2 注意力機(jī)制

當(dāng)前的視覺(jué)任務(wù)中，大多采用神經(jīng)網(wǎng)絡(luò)方法學(xué)習(xí)圖像數(shù)據(jù)中的特征，神經(jīng)網(wǎng)絡(luò)是一種通過(guò)計(jì)算機(jī)模擬生物神經(jīng)元刺激與響應(yīng)機(jī)制進(jìn)行學(xué)習(xí)的方法，其強(qiáng)大的能力使得人們?cè)谝恍┙?jīng)典視覺(jué)任務(wù)如目標(biāo)檢測(cè)、語(yǔ)義分割等方面取得了巨大的進(jìn)步。研究者們對(duì)于人腦的認(rèn)知機(jī)制的認(rèn)識(shí)仍然不夠透徹，但已經(jīng)發(fā)現(xiàn)的一些人腦對(duì)于信號(hào)的處理機(jī)制對(duì)于計(jì)算機(jī)算法的設(shè)計(jì)仍有相當(dāng)?shù)膯l(fā)，注意力機(jī)制就是其中一種。注意力機(jī)制是人腦的一種有意識(shí)的聚焦，人類(lèi)的視覺(jué)系統(tǒng)可以以一種十分快速的方式找到并聚焦場(chǎng)景中的重要區(qū)域。受該現(xiàn)象的啟發(fā)，計(jì)算機(jī)視覺(jué)中設(shè)計(jì)的注意力機(jī)制在圖像識(shí)別、目標(biāo)檢測(cè)、語(yǔ)義分割等問(wèn)題中取得了很大成功，對(duì)于視覺(jué)系統(tǒng)中的注意力機(jī)制，文獻(xiàn)［10］將其抽象為下面的式子：

其中，()代表產(chǎn)生注意力，即關(guān)于重點(diǎn)區(qū)域進(jìn)行處理的過(guò)程。(( ),)表示生成的注意力()對(duì)進(jìn)行處理的過(guò)程。

現(xiàn)有視覺(jué)任務(wù)中的注意力機(jī)制有通道注意力機(jī)制，如SENet、空間注意力機(jī)制，如DANet，以及將二者結(jié)合形成的CBAM。本文將在SOLO 網(wǎng)絡(luò)中嵌入CBAM 空間注意力模塊，以提升網(wǎng)絡(luò)性能。CBAM 的結(jié)構(gòu)如圖2所示。

圖2 CBAM注意力模塊

通道注意力主要通過(guò)學(xué)習(xí)的方式引導(dǎo)網(wǎng)絡(luò)將注意力聚焦在特征的某個(gè)或某些通道上，而空間注意力機(jī)制則是引導(dǎo)網(wǎng)絡(luò)將注意力聚焦在特征圖的某個(gè)重點(diǎn)區(qū)域，聚焦注意力在卷積神經(jīng)網(wǎng)絡(luò)中具體為分配更大的權(quán)重。

圖3 通道注意力與空間注意力模塊

2.3 網(wǎng)絡(luò)整體框架

本文基于SOLO 網(wǎng)絡(luò)架構(gòu)進(jìn)行，SOLO 采用類(lèi)別預(yù)測(cè)和實(shí)例分割分別進(jìn)行的思路，進(jìn)入SOLO 模型的圖像首先通過(guò)ResNet 進(jìn)行特征提取，經(jīng)過(guò)ResNet 特征提取的特征圖，分別進(jìn)入類(lèi)別預(yù)測(cè)和掩碼預(yù)測(cè)分支，進(jìn)入類(lèi)別預(yù)測(cè)的分支通過(guò)多層卷積輸出××大小的預(yù)測(cè)結(jié)果，其中是超參數(shù)，是預(yù)先設(shè)置的將圖像劃分網(wǎng)格的數(shù)量，是訓(xùn)練集中的類(lèi)別數(shù)量。掩碼預(yù)測(cè)分支用于預(yù)測(cè)類(lèi)別預(yù)測(cè)結(jié)果中每個(gè)網(wǎng)格中包含實(shí)例的掩碼，因此其輸出是××2，即如果某個(gè)實(shí)例的中心坐落于某個(gè)網(wǎng)格中，該網(wǎng)格就負(fù)責(zé)預(yù)測(cè)該實(shí)例的掩碼，由于添加了CoordConv，輸出結(jié)果的每個(gè)通道都隱式含有對(duì)應(yīng)的網(wǎng)格坐標(biāo)位置信息，因此每個(gè)通道對(duì)于每個(gè)網(wǎng)格的關(guān)注度不一樣。將掩碼和網(wǎng)格類(lèi)別預(yù)測(cè)結(jié)果再采用NMS 的方式進(jìn)行處理即得到最終的輸出。SOLO 是一個(gè)無(wú)需鉚選框的實(shí)例分割網(wǎng)絡(luò)，且可以進(jìn)行端到端的單步訓(xùn)練，無(wú)需其他后處理手段。我們?cè)谠糞OLO 網(wǎng)絡(luò)的基礎(chǔ)上，選取ResNet50作為特征提取網(wǎng)絡(luò)，由于在不同的分支網(wǎng)絡(luò)中的任務(wù)不同，不適合直接使用CBAM，比如類(lèi)別預(yù)測(cè)中，各特征通道之間需要進(jìn)行權(quán)重分配，而各個(gè)位置獨(dú)立負(fù)責(zé)每個(gè)各自的類(lèi)別預(yù)測(cè)，因此不需要空間注意力，而掩碼預(yù)測(cè)分支中，由于添加了CoordConv，使用通道注意力會(huì)引起圖像信息與空間信息的混淆，因此添加空間注意力機(jī)制而不使用通道注意力機(jī)制，最終形成網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 整體網(wǎng)絡(luò)架構(gòu)

3 實(shí)驗(yàn)

本文采用切分之后的iSAID 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，輸入圖像尺寸為600×600 的彩色RGB 圖像，其中訓(xùn)練集共48313 張，驗(yàn)證數(shù)據(jù)集共16489張。本文實(shí)驗(yàn)軟件環(huán)境為Ubuntu20.04、基于Pytorch 開(kāi) 發(fā)的開(kāi)源檢測(cè)工具箱mmdetection。實(shí)驗(yàn)硬件平臺(tái)配置為GPU1080Ti、32 G 運(yùn)行內(nèi)存。

實(shí)驗(yàn)數(shù)據(jù)共分為15 類(lèi)，分別是ship、storage_ tank、baseball_diamond、tennis_court、basketball_court、Ground_Track_Field、Bridge、Large_Vehicle、Small_Vehicle、Helicopter、Swimming_pool、Roundabout、Soccer_ball_field、plane、Harbor。實(shí)驗(yàn)中損失函數(shù)采用SOLO 中的損失函數(shù)構(gòu)造，即將分類(lèi)預(yù)測(cè)分支和掩碼預(yù)測(cè)分支的損失相加，如式（2）所示。

其中，采用FocalLoss:

表示分類(lèi)預(yù)測(cè)分支中，每個(gè)網(wǎng)格輸出的概率，=1 則表示該網(wǎng)格中存在該類(lèi)別的實(shí)例中心，是用于調(diào)節(jié)的超參數(shù)。和是兩個(gè)損失的權(quán)重分配，對(duì)于掩碼的預(yù)測(cè)，采用DICE Loss:

其中，是某個(gè)像素位置預(yù)測(cè)的概率值，是該像素是否是實(shí)例的真值。實(shí)驗(yàn)設(shè)置超參數(shù)== 1，= 0.25，= 2。設(shè)置實(shí)驗(yàn)訓(xùn)練epoch 為12，batch_size 大小為4，訓(xùn)練學(xué)習(xí)率采用線性增長(zhǎng)，中期固定為0.001，階梯衰減的策略，實(shí)驗(yàn)的學(xué)習(xí)率和訓(xùn)練過(guò)程的loss損失變化如圖5所示。

圖5 學(xué)習(xí)率及損失變化

最終得到的測(cè)試結(jié)果如表1所示。

表1 AP及AR測(cè)試結(jié)果

可以看出，注意力機(jī)制提升了SOLO 在遙感圖像數(shù)據(jù)上的平均精度，檢出結(jié)果的一些對(duì)比圖像如圖6所示。

圖6 實(shí)例分割結(jié)果對(duì)比

在添加通道及空間注意力之后，網(wǎng)絡(luò)更好地分割了物體邊緣，并且成功分類(lèi)了SOLO 網(wǎng)絡(luò)在密集物體區(qū)域?yàn)闄z測(cè)到的部分，使得分割結(jié)果有所提升。

4 結(jié)語(yǔ)

本文基于單步實(shí)例分割框架SOLO 進(jìn)行了改進(jìn)，結(jié)合通道注意力機(jī)制與空間注意力機(jī)制，形成了一個(gè)神經(jīng)網(wǎng)絡(luò)模型，在iSAID遙感圖像實(shí)例分割數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示，本文算法能夠有效地提取遙感圖像中的感興趣目標(biāo)。但本文的方法中對(duì)于不同目標(biāo)分割性能差異較大的問(wèn)題還有待提高。本文采取的增加注意力機(jī)制是一個(gè)行之有效的方法，但性能還有很大提升空間，遙感圖像的智能化解譯還可以通過(guò)對(duì)不同尺度實(shí)例的分層金字塔分別進(jìn)行學(xué)習(xí)。