熊振宇，崔亞奇，董凱，李孟洋，熊偉

海軍航空大學(xué) 信息融合研究所，煙臺 264001

近年來，隨著天基海洋監(jiān)視系統(tǒng)的大力發(fā)展，星載成像技術(shù)作為一種早期預(yù)警探測的重要手段受到廣泛關(guān)注［1］。考慮到海洋環(huán)境多變，艦船類型繁多，圖像背景信息繁雜，想要從大規(guī)模艦船數(shù)據(jù)庫中找到用戶感興趣的艦船目標(biāo)圖像十分困難。除此之外，不同傳感器獲取的多源遙感目標(biāo)信息類型多樣，如全色遙感圖像空間分辨率高，但光譜信息單一，多光譜遙感圖像光譜分辨率高，但空間分辨率低，同時利用多源遙感圖像能夠?qū)崿F(xiàn)優(yōu)勢互補(bǔ)。對于一張給定的艦船目標(biāo)圖像，多源遙感艦船目標(biāo)關(guān)聯(lián)模型能夠從多源數(shù)據(jù)庫中找到與其類別相同但源于不同類型傳感器的圖像，即相關(guān)聯(lián)的異源艦船目標(biāo)圖像。因此構(gòu)建一個高效的多源遙感艦船目標(biāo)關(guān)聯(lián)模型是當(dāng)前亟需解決的問題。

得益于深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征表示能力，許多學(xué)者將深度學(xué)習(xí)用于解決遙感圖像艦船目標(biāo)識別任務(wù)［2-4］。但是這些算法只能區(qū)分艦船有無或進(jìn)行粗粒度的識別。當(dāng)前的衛(wèi)星成像技術(shù)能夠獲取到高分辨率遙感圖像以實現(xiàn)艦船目標(biāo)的細(xì)粒度識別［5］。然而關(guān)聯(lián)任務(wù)與識別任務(wù)不同，網(wǎng)絡(luò)所學(xué)習(xí)到的特征不僅需要有足夠的判別性，還要在度量空間中有很好的可分性。除此之外，現(xiàn)有的算法只是用于解決同源艦船圖像的關(guān)聯(lián)任務(wù)，多源圖像間由于特征分布不同，存在“異構(gòu)鴻溝”，使得傳統(tǒng)同源關(guān)聯(lián)算法無法適用于多源艦船圖像關(guān)聯(lián)任務(wù)。近年來有許多工作通過構(gòu)建多源網(wǎng)絡(luò)將多源特征映射到共同的空間中進(jìn)行度量［6-8］。但是這些算法都是用于處理多源遙感場景圖像，難以完成基于艦船目標(biāo)的細(xì)粒度關(guān)聯(lián)任務(wù)，其主要挑戰(zhàn)在于構(gòu)建的網(wǎng)絡(luò)需要辨別艦船目標(biāo)的細(xì)微差異。為了讓網(wǎng)絡(luò)聚焦遙感圖像復(fù)雜場景下的顯著性區(qū)域，一些工作通過利用域自適應(yīng)注意力網(wǎng)絡(luò)［9］、感受野增強(qiáng)模塊［10］、細(xì)粒度生成網(wǎng)絡(luò)［11］和視覺注意力模型［12］來提升模型的判別能力。但除了要求模型有足夠判別能力，可解釋性也是衡量模型優(yōu)越性的關(guān)鍵因素。大部分現(xiàn)有深度學(xué)習(xí)算法只是一個“黑盒模型”，僅讓訓(xùn)練的網(wǎng)絡(luò)能夠無限逼近或者擬合訓(xùn)練數(shù)據(jù)的特征分布而無法為最終的輸出結(jié)果給出合理的解釋，使得用戶難以信任網(wǎng)絡(luò)的輸出結(jié)果，知其然而不知其所以然。如圖1 所示，利用DDN 網(wǎng)絡(luò)［7］對多光譜和全色艦船圖像進(jìn)行關(guān)聯(lián)，并通過Grad-CAM 算法［13］對訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行特征可視化，從激活圖像看出，網(wǎng)絡(luò)的顯示決策不完全依賴于目標(biāo)的判別性區(qū)域。因此，對于關(guān)聯(lián)任務(wù)，模型無法解釋為什么圖1（b）與圖1（a）關(guān)聯(lián)而不與圖1（c）關(guān)聯(lián)。

圖1 輸入圖像和與之對應(yīng)的激活圖像Fig.1 An input image and its corresponding activation image

為了解決上述問題，本文提出了一種基于屬性引導(dǎo)的可解釋融合網(wǎng)絡(luò)用于實現(xiàn)多光譜和全色艦船目標(biāo)遙感圖像間關(guān)聯(lián)。該網(wǎng)絡(luò)主要分為全局關(guān)聯(lián)模塊和可解釋模塊2 大部分。在全局關(guān)聯(lián)模塊中，首先將利用深度神經(jīng)網(wǎng)絡(luò)提取圖像的高層語義特征，然后設(shè)計跨模態(tài)度量損失函數(shù)對不同模態(tài)圖像的特征向量進(jìn)行約束并映射到共同空間中進(jìn)行度量。一方面采用模態(tài)間約束函數(shù)讓不同模態(tài)的同類圖像特征在度量空間中距離更近，異類圖像距離更遠(yuǎn)，從而打破不同模態(tài)的異構(gòu)鴻溝，解決不同模態(tài)特征難度量問題；另一方面采用模態(tài)內(nèi)約束函數(shù)讓各自模態(tài)內(nèi)部的同類圖像在特征空間中更加聚集，異類圖像更加分散，從而保留了各自模態(tài)內(nèi)的判別性語義信息。考慮到諸如夾板、艦首、船尾等艦船目標(biāo)屬性在語義上是人類可以理解的，所以在可解釋模塊中，首先采用多頭注意力模型，幫助網(wǎng)絡(luò)關(guān)注于艦船目標(biāo)中多個顯著性區(qū)域，然后將輸出的多個注意力特征圖與全局模塊中的特征圖進(jìn)行融合后轉(zhuǎn)換成融合特征，再利用屬性監(jiān)督函數(shù)引導(dǎo)可解釋模塊訓(xùn)練，幫助模型關(guān)注于艦船圖像中的判別性屬性特征，讓模型借助屬性標(biāo)簽以量化的形式計算出每個屬性區(qū)域?qū)ψ罱K關(guān)聯(lián)結(jié)果貢獻(xiàn)度，解析模型的關(guān)聯(lián)決策過程，最后采用知識蒸餾的思想構(gòu)建蒸餾度量損失函數(shù)，減小全局關(guān)聯(lián)模塊和可解釋模塊輸出特征距離的差異，讓網(wǎng)絡(luò)實現(xiàn)可解釋性的同時不會降低關(guān)聯(lián)精度?？紤]到當(dāng)前沒有公開的基于艦船目標(biāo)的多源遙感圖像數(shù)據(jù)集，本文構(gòu)建了目前首個多源遙感圖像艦船目標(biāo)數(shù)據(jù)集，其中包含了6 個艦船類別的全色和可見光遙感圖像。利用該數(shù)據(jù)集對本文算法模型進(jìn)行有效性驗證，實驗結(jié)果表明本文算法在關(guān)聯(lián)準(zhǔn)確率上明顯優(yōu)于現(xiàn)有關(guān)聯(lián)算法，同時直觀的可視化量化結(jié)果進(jìn)一步體現(xiàn)了模型強(qiáng)大判別力的同時兼?zhèn)淠Ｐ偷目山忉屝浴?/p>

1 模型方法

本節(jié)主要介紹了基于屬性引導(dǎo)的可解釋融合關(guān)聯(lián)網(wǎng)絡(luò)的具體結(jié)構(gòu)，網(wǎng)絡(luò)主要包括全局關(guān)聯(lián)模塊和可解釋模塊2 部分，全局關(guān)聯(lián)模塊主要通過深層網(wǎng)絡(luò)提取特征后，利用跨模態(tài)度量損失函數(shù)將不同模態(tài)映射到共同的空間，拉近具有相同語義信息的艦船目標(biāo)圖像在特征空間中的距離。在可解釋模塊中利用多頭注意力機(jī)制讓網(wǎng)絡(luò)關(guān)注艦船目標(biāo)判別性區(qū)域，利用屬性標(biāo)簽作為監(jiān)督信息引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)具有艦船屬性含義的判別性特征。最后利用知識蒸餾的思想建立2 個模塊間的橋梁，使得提出的網(wǎng)絡(luò)模型同時兼?zhèn)渑袆e能力和模型可解釋性。算法的整體框架如圖2所示。

1.1 全局關(guān)聯(lián)模塊

對于給定的多源艦船圖像數(shù)據(jù)集D={XP，XM}，其中表示N張全色艦船目標(biāo)圖像，表示N張多光譜艦船目標(biāo)圖像。利用卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器分別提取多源圖像特征，最后一層卷積層（Conv5）輸出的特征圖分別表示為FP和FM。利用全局平均池化（Global Average Pooling，GAP）方式分別得到全色和多光譜模態(tài)特征向量為fP和fM。為了增加模型的判別性，本文提出了一種跨模態(tài)度量損失函數(shù)，一方面將不同模態(tài)的特征向量映射到共同空間中進(jìn)行度量，另一方面拉近同類的艦船目標(biāo)在特征空間中的距離，同時讓不同類別的艦船目標(biāo)在特征空間中的距離更遠(yuǎn)。跨模態(tài)度量損失函數(shù)的定義為

式中：Linter(fP，fM)表示模態(tài)間約束函數(shù)。其目的是讓不同模態(tài)的同類艦船圖像在特征空間中的距離更近，異類圖像距離更遠(yuǎn)。模態(tài)間約束函數(shù)定義為

其中：τPP和τMM分別表示全色和多光譜模態(tài)的相似性系數(shù)；分別表示全色和多光譜模態(tài)內(nèi)指示器，當(dāng)與類別相同時，=1(i=1，2，…，N；j=1，2，…，N)；當(dāng)與類別不同時，=0(i=1，2，…，N；j=1，2，…，N)。的取值方式與相同。

當(dāng)艦船目標(biāo)圖像的特征向量在度量空間中距離越近，關(guān)聯(lián)程度越高；距離越遠(yuǎn)，關(guān)聯(lián)程度越低。下面計算全局關(guān)聯(lián)模塊中特征向量在度量空間中的距離為

式中：D表示距離度量，本文采用歐式距離的度量方式。

1.2 可解釋模塊

解釋模塊主要包含多頭注意力模型和屬性監(jiān)督函數(shù)。多頭注意力模型幫助網(wǎng)絡(luò)關(guān)注于艦船目標(biāo)中多個顯著性區(qū)域，然后將輸出的多個注意力特征圖與全局模塊中的特征圖進(jìn)行融合后轉(zhuǎn)換成融合特征；屬性監(jiān)督函數(shù)引導(dǎo)可解釋模塊訓(xùn)練，幫助模型關(guān)注于艦船圖像中的判別性屬性特征。具體結(jié)構(gòu)如下：

1）多頭注意力模型

圖3 多頭注意力模型框架Fig.3 A framework of multi-head attention model

式中：M表示特征圖的數(shù)量；ΨM和ΨP分別表示多光譜和全色模態(tài)的二維卷積函數(shù)∈AM和∈AP分別表示網(wǎng)絡(luò)重點關(guān)注到多光譜和全色艦船圖像中的一個判別性區(qū)域。將特征圖和多頭注意力圖通過元素相乘的方式進(jìn)行融合以得到細(xì)粒度區(qū)域特征圖

式中：φ表示全局平均池化函數(shù)；分別表示多光譜和全色模態(tài)的局部注意力特征。最后利用分類器對多頭注意力模型進(jìn)行約束，分類器的損失函數(shù)采用交叉熵?fù)p失表示為Latt。

2）屬性監(jiān)督函數(shù)

通過多頭注意力模型分別輸出多光譜和全色模態(tài)的M個局部特征圖。按照對應(yīng)元素相乘的方式分別將rM與rP和全局關(guān)聯(lián)模塊中輸出的特征圖FP和FM進(jìn)行融合

在多源艦船目標(biāo)數(shù)據(jù)集中，對每一張艦船圖像添加了屬性標(biāo)簽，屬性標(biāo)簽采用二值編碼的向量表示，第i張圖像xi的屬性標(biāo)簽可表示為向量，其中代表第k個屬性標(biāo)簽，采用布爾數(shù)值表示，即=0 表示該艦船圖像中不包含該屬性=1 表示該艦船圖像中包含該屬性。R表示艦船目標(biāo)圖像xi中屬性的數(shù)量。構(gòu)建屬性監(jiān)督損失函數(shù)，利用屬性標(biāo)簽引導(dǎo)網(wǎng)絡(luò)關(guān)注艦船目標(biāo)顯著性屬性信息，為最終網(wǎng)絡(luò)的關(guān)聯(lián)決策結(jié)果提供可解釋的判別依據(jù)。屬性監(jiān)督損失函數(shù)定義為

式中：dij表示全局模塊中圖像特征向量的距離；表示可解釋模塊中圖像和特征向量的距離。通過優(yōu)化蒸餾度量損失保證全局模塊和可解釋模塊間度量距離的一致性，讓網(wǎng)絡(luò)有足夠判別能力的同時具備強(qiáng)大的可解釋能力。

1.3 損失函數(shù)

結(jié)合全局關(guān)聯(lián)模塊和可解釋模塊，綜合構(gòu)建基于屬性引導(dǎo)的可解釋融合網(wǎng)絡(luò)總損失函數(shù)，其中包括跨模態(tài)度量損失函數(shù)Lmetric，注意力損失函數(shù)Latt，屬性監(jiān)督損失函數(shù)Lattr和蒸餾度量損失函數(shù)Ldis?？倱p失函數(shù)定義為

式中：α、β和λ表示超參數(shù)，在訓(xùn)練過程中用于平衡各損失函數(shù)在網(wǎng)絡(luò)中的權(quán)重。通過優(yōu)化總損失函數(shù)，讓網(wǎng)絡(luò)能夠快速關(guān)注到艦船目標(biāo)的顯著性區(qū)域，利用屬性信息對網(wǎng)絡(luò)進(jìn)行約束，幫助網(wǎng)絡(luò)實現(xiàn)多源艦船目標(biāo)間精準(zhǔn)關(guān)聯(lián)，同時為關(guān)聯(lián)結(jié)果提供合理的可解釋判別依據(jù)。

2 實驗結(jié)果

2.1 數(shù)據(jù)集

隨著衛(wèi)星成像技術(shù)的不斷發(fā)展，星載成像手段不斷進(jìn)步，成像類型不斷增多，數(shù)據(jù)量不斷增大。為應(yīng)對人工智能技術(shù)對海量數(shù)據(jù)的需求，目前一些研究者開源了遙感圖像數(shù)據(jù)集［14-16］。但這些數(shù)據(jù)都單模態(tài)遙感場景圖像數(shù)據(jù)，即獲取的圖像都在于相同的傳感器源。為填補(bǔ)多源遙感數(shù)據(jù)空白，Li 等［6］首次提出了面向遙感場景圖像的全色和多光譜數(shù)據(jù)集，Lu 等［17］提出了遙感圖像和文本跨模態(tài)開源數(shù)據(jù)集，Gou 等［18］開源發(fā)布了光學(xué)圖像和語音跨模態(tài)數(shù)據(jù)集。同時本團(tuán)隊近年來構(gòu)建了可見光和SAR 圖像跨模態(tài)數(shù)據(jù)集［19］。但這些數(shù)據(jù)集都是面向大規(guī)模遙感場景圖像，無法解決基于目標(biāo)類的細(xì)粒度關(guān)聯(lián)問題。隨著衛(wèi)星傳感器技術(shù)不斷進(jìn)步，成像質(zhì)量不斷提高，星載傳感器能夠獲取高分辨率遙感圖像，本團(tuán)隊首次提出了基于屬性信息的可見光艦船目標(biāo)細(xì)粒度識別遙感圖像數(shù)據(jù)集［20］，但該數(shù)據(jù)集僅局限于同一種模態(tài)的艦船目標(biāo)遙感圖像。

為有效應(yīng)對當(dāng)前日益復(fù)雜的海上戰(zhàn)場環(huán)境，本文結(jié)合現(xiàn)實需求，構(gòu)建了目前首個多源艦船圖像數(shù)據(jù)集MRSSID。該數(shù)據(jù)集共有2 632 組圖像切片，每組圖像切片由同一時刻、同一區(qū)域拍攝的全色和多光譜艦船圖像組成，并且不同模態(tài)的相同艦船圖像是一一對應(yīng)的。MRSSID 包含了6 個艦船類別，分別是驅(qū)逐艦、瀕海戰(zhàn)斗艦、戰(zhàn)斗艇、散貨船、集裝箱船和油船。如表1 所示，該數(shù)據(jù)集全色圖像的空間分辨率為1 m，多光譜圖像的空間分辨率為4 m，并且包含了紅、綠、藍(lán)和近紅外4 種波段。MRSSID 數(shù)據(jù)集的樣例圖像如圖4 所示。

表1 數(shù)據(jù)集描述Table 1 Description of dataset

圖4 MRSSID 數(shù)據(jù)集樣例Fig.4 Examples from proposed MRSSID

2.2 實驗設(shè)置

訓(xùn)練階段，將MRSSID 數(shù)據(jù)集的80%圖像對作為訓(xùn)練數(shù)據(jù)集，余下的20%圖像對作為測試集?？紤]到訓(xùn)練樣本不均衡，利用圖像翻轉(zhuǎn)、隨機(jī)剪裁和旋轉(zhuǎn)、改變圖像光照等級等策略對圖像數(shù)據(jù)樣本進(jìn)行增強(qiáng)。在訓(xùn)練前，采用補(bǔ)零法將所有圖像重新裁剪成224×224 大小。為了驗證本文算法的有效性和數(shù)據(jù)集的適用性，在特征提取骨干網(wǎng)絡(luò)選擇上，采用在ImageNet［21］上預(yù)訓(xùn)練后的淺層網(wǎng)絡(luò)Resnet18［22］和深層網(wǎng)絡(luò)Resnet50［22］用于獲取輸入圖像的高級特征。Resnet 采用了跳躍連接的殘差模塊，有效解決了梯度爆炸和深層網(wǎng)絡(luò)中的退化問題，在當(dāng)前眾多計算機(jī)視覺任務(wù)中表現(xiàn)出強(qiáng)大的特征提取能力。訓(xùn)練時，首先利用訓(xùn)練數(shù)據(jù)集對全局關(guān)聯(lián)模塊進(jìn)行訓(xùn)練，然后利用知識蒸餾的思想將其作參數(shù)固定后作為目標(biāo)模型引導(dǎo)可解釋模塊進(jìn)行訓(xùn)練。對于訓(xùn)練數(shù)據(jù)集中的圖像，利用其與之對應(yīng)的屬性向量和全局關(guān)聯(lián)模塊中輸出的特征距離dij作為可解釋模塊訓(xùn)練過程中的監(jiān)督信息。訓(xùn)練過程中，采用梯度下降的優(yōu)化方式，初始學(xué)習(xí)率和模型訓(xùn)練周期分別設(shè)置為0.001 和80，多頭注意力參數(shù)M設(shè)置為12，損失函數(shù)中的超參數(shù)α、β和λ分別設(shè)置為0.5，0，1 和1。

式中：sim(q，i)表示圖像有相同的標(biāo)簽的數(shù)量。所有實驗都是在基于PyTorch 的深度學(xué)習(xí)框架上完成，實驗設(shè)備為Ubuntu 16.04，32 GB of RAM，8 Intel（R）Core（TM）i7-6770K CPU，搭載了NVIDIA RTX 2080Ti GPU。

2.3 結(jié)果與分析

2.3.1 消融實驗結(jié)果

為了驗證算法中各個模塊的有效性，利用Resnet50 作為骨干網(wǎng)絡(luò)提取圖像特征，采用P@k和mAP 這2 種性能度量指標(biāo)計算關(guān)聯(lián)精度，實驗結(jié)果如表2 所示。其中PAN-＞MUL 表示利用已有的全色艦船目標(biāo)圖像與數(shù)據(jù)庫中的多光譜艦船目標(biāo)圖像進(jìn)行關(guān)聯(lián)，找到與已有圖像相匹配的多光譜艦船目標(biāo)圖像。MUL-＞PAN 表示利用已有的多光譜艦船目標(biāo)圖像與數(shù)據(jù)庫中的全色艦船目標(biāo)圖像進(jìn)行關(guān)聯(lián)，找到與已有圖像相匹配的全色艦船目標(biāo)圖像。從實驗結(jié)果可以看出，單純利用可解釋模塊算法精度較低，在加上多頭注意力模型后雖然關(guān)聯(lián)精度有所提升，但關(guān)聯(lián)效果依然不理想，這是因為多源圖像模態(tài)異構(gòu)，不同模態(tài)擁有不同的特征分布，不同模態(tài)圖像間的類間距離小，類內(nèi)距離大，直接對各自模態(tài)提取后的特征進(jìn)行關(guān)聯(lián)，關(guān)聯(lián)精度低。全局關(guān)聯(lián)模塊利用跨模態(tài)度量損失函數(shù)將不同模態(tài)的特征映射到共同的空間中進(jìn)行度量，提取更具判別性的跨模態(tài)特征。為了提取更多粒度艦船圖像特征同時增加關(guān)聯(lián)結(jié)果的可解釋性，本文算法利用知識蒸餾將全局關(guān)聯(lián)模塊和可解釋模塊相結(jié)合，進(jìn)一步提升了多源遙感艦船目標(biāo)圖像的關(guān)聯(lián)精度。

表2 所提算法中各個模塊有效性的關(guān)聯(lián)精度Table 2 Evaluation of association accuracy of each module in proposed method

2.3.2 算法判別性驗證

為了驗證本文算法的有效性，采用P@k和mAP 這2 種性能度量指標(biāo)綜合衡量本文算法的判別能力，實驗結(jié)果如表3 所示。從實驗結(jié)果可以看出，在相同的關(guān)聯(lián)任務(wù)下，ResNet50 比ResNet18 效果更好。這表明特征網(wǎng)絡(luò)層數(shù)越深，關(guān)聯(lián)精度越高。在相同的骨干網(wǎng)絡(luò)和實驗設(shè)置下，PAN-＞MUL 任務(wù)的關(guān)聯(lián)精度略微高于MUL-＞PAN。這主要是因為全色圖像分辨率高于多光譜圖像，網(wǎng)絡(luò)從全色圖像中捕獲到更多細(xì)節(jié)信息，豐富的特征信息幫助網(wǎng)絡(luò)輸出更具判別性的特征向量。除此之外全局關(guān)聯(lián)模塊和可解釋模塊在各項指標(biāo)下的關(guān)聯(lián)準(zhǔn)確率非常接近，關(guān)聯(lián)精度相差不超過1%。這意味著本文所采用的蒸餾學(xué)習(xí)方法所造成信息間的損失很小，在追求模型可解釋性的同時，不會犧牲模型的判別能力。

表3 全局關(guān)聯(lián)模塊和可解釋模塊的關(guān)聯(lián)精度評估Table 3 Evaluation of association accuracy of global association module and interpretable module

為了更加直觀地表現(xiàn)出可解釋融合網(wǎng)絡(luò)的可分性和判別能力，采用t-分布隨機(jī)領(lǐng)域嵌入［23］（t-distributed Stochastic Neighbor Embedding，t-SNE）得到高維特征向量的二維特征表示，其通過主成分分析法（Principal Component Analysis，PCA）將高維特征壓縮成二維。特征可視化的結(jié)果如圖5 所示，其中圖5（a）表示基線算法的特征可視化結(jié)果，即僅采用ResNet50 對圖像提取特征后進(jìn)行距離度量，圖5（b）表示本文提出的可解釋融合網(wǎng)絡(luò)的特征可視化結(jié)果。不同顏色分別代表了不同的艦船圖像類別，形狀為“×”和“●”分別代表了多光譜和全色圖像。從試驗結(jié)果可以看出，相比于基線算法雜亂的特征表示，本文算法表現(xiàn)出良好的可分性和判別性。從全色和多光譜各自模態(tài)的分布中可以看出，同類圖像距離更近，異類圖像距離更遠(yuǎn)，表明了圖像通過融合網(wǎng)路所輸出的特征表現(xiàn)出精準(zhǔn)的類內(nèi)緊致性和類間可分性。對于不同模態(tài)但具有相同類別的艦船圖像，其特征分布在度量空間中表現(xiàn)得更加聚集。對于不同模態(tài)不同類別的艦船圖像，其特征在度量空間中相距更遠(yuǎn)。

圖5 特征可視化實驗結(jié)果Fig.5 Experimental results of feature visualization

2.3.3 算法可解釋驗證

為了進(jìn)一步驗證本文算法的可解釋性，利用屬性引導(dǎo)的類激活注意力圖展示模型的可解釋實驗結(jié)果，實驗結(jié)果如圖6 所示。實驗結(jié)果分別展示了4 種不同類別關(guān)聯(lián)艦船圖像的可解釋結(jié)果，每個類別的第1 列表示了2 張不同模態(tài)的關(guān)聯(lián)圖像，余下3 列表示了它們各自排名前3 的屬性引導(dǎo)可視化類激活注意力圖。從實驗結(jié)果可以看出可解釋融合網(wǎng)絡(luò)能夠精準(zhǔn)關(guān)注到對應(yīng)的屬性區(qū)域。例如在圖6（a）的集裝箱船關(guān)聯(lián)結(jié)果中，網(wǎng)絡(luò)能夠有效關(guān)注到2 種不同模態(tài)的相同屬性區(qū)域，如屬性1 對應(yīng)的集裝箱屬性，屬性2 對應(yīng)的船尾屬性和屬性3 對應(yīng)的船首屬性。除此之外，對于一些背景信息繁雜，艦船目標(biāo)小，部分輪廓模糊的情況（圖6（c）），提出的可解釋融合網(wǎng)絡(luò)依然能夠關(guān)注到具有判別性的屬性區(qū)域，進(jìn)一步驗證了本文算法優(yōu)越的可解釋性能。

圖6 屬性特征類激活圖與量化可視化結(jié)果Fig.6 Attribute guided class activation maps and quantitative visualization results

除此之外，計算了每組關(guān)聯(lián)圖像的相似性分?jǐn)?shù)，以量化的方式展示出排名前三的屬性對最終關(guān)聯(lián)結(jié)果的影響百分比，同時以餅圖的形式更加直觀的可視化了屬性對最終決策結(jié)果的貢獻(xiàn)度。實驗結(jié)果表明，4 個不同類別的量化結(jié)果都對網(wǎng)絡(luò)的關(guān)聯(lián)結(jié)果提供了清晰準(zhǔn)確的模型解釋。

2.3.4 參數(shù)分析

多頭注意力模型中的參數(shù)M和損失函數(shù)中的超參數(shù)α、β和λ是可解釋融合關(guān)聯(lián)網(wǎng)絡(luò)中的重要參數(shù)，為評估網(wǎng)絡(luò)中設(shè)計的參數(shù)對最終關(guān)聯(lián)效果的影響，設(shè)計參數(shù)分析實驗如圖7 所示。圖7（a）反應(yīng)了多頭注意力中注意力頭的數(shù)量M對關(guān)聯(lián)精度的影響，從圖中可以看出當(dāng)M取值為12 時，關(guān)聯(lián)精度最高。圖7（b）反應(yīng)了超參數(shù)α對關(guān)聯(lián)精度的影響，當(dāng)α取值較小時，即多頭注意力模塊在總損失占比較小時，關(guān)聯(lián)精度較低，隨著α不斷增大，關(guān)聯(lián)精度不斷增加，當(dāng)α設(shè)置為0.5 時達(dá)到最佳關(guān)聯(lián)效果。圖7（c）反映了超參數(shù)β對關(guān)聯(lián)精度的影響，從圖中可以看出隨著β的增加關(guān)聯(lián)準(zhǔn)確率幾乎不變，即屬性監(jiān)督函數(shù)在總損失函數(shù)中的占比對關(guān)聯(lián)結(jié)果影響較小，該損失主要引導(dǎo)網(wǎng)絡(luò)輸出可解釋的關(guān)聯(lián)結(jié)果。圖7（d）反映了超參數(shù)λ對關(guān)聯(lián)精度的影響，當(dāng)λ取值為1 時，關(guān)聯(lián)精度最高。

圖7 參數(shù)不同取值下關(guān)聯(lián)精度的變化曲線Fig.7 Curves of retrieval accuracy with respect to different values of parameters

2.3.5 對比實驗

為了進(jìn)一步驗證本文算法的優(yōu)越性，表4 比較了現(xiàn)有關(guān)聯(lián)算法和本文算法的關(guān)聯(lián)精度。其中DCH［24］和SCM［25］算法為經(jīng)典的多模態(tài)關(guān)聯(lián)算法，他們通過生成二值哈希編碼來表示不同模態(tài)數(shù)據(jù)的特征。然而，他們都是基于手工特征表示方法，在PAN-＞MUL 和MUL-＞PAN 跨模態(tài)關(guān)聯(lián)任務(wù)中關(guān)聯(lián)精度較差。這主要是因為基于手工特征的哈希表示方法無法有效保留不同模態(tài)的語義信息同時難以生成具有判別性的哈希編碼。表4 中的其他算法都是基于深度特征的關(guān)聯(lián)算法，從實驗結(jié)果可以看出他們的關(guān)聯(lián)精度明顯優(yōu)越基于手工特征的關(guān)聯(lián)算法。然而DCMH［26］和DVSH［27］算法主要通過提取深度特征以生成哈希編碼來解決自然圖像和文本間的跨模態(tài)關(guān)聯(lián)任務(wù)，遙感圖像內(nèi)容的復(fù)雜性限制了所生成深度哈希編碼的有效性。DCMHN_50［19］通過構(gòu)建深度跨模態(tài)哈希網(wǎng)絡(luò)實現(xiàn)SAR 圖像和可見光圖像間的關(guān)聯(lián)，SIDHCNNs［6］和Distillation_50［7］通過構(gòu)建共同語義空間完成了多光譜和全色圖像間的關(guān)聯(lián)。但這些工作主要是解決大規(guī)模遙感場景圖像之間的關(guān)聯(lián)任務(wù)，難以有效實現(xiàn)對高分辨率艦船目標(biāo)的細(xì)粒度關(guān)聯(lián)。本文算法在2 個跨模態(tài)關(guān)聯(lián)任務(wù)中達(dá)到最佳關(guān)聯(lián)準(zhǔn)確率，相較于Distillation_50 分別在PAN-＞MUL和MUL-＞PAN 這2 個關(guān)聯(lián)任務(wù)中分別高出了6.71%和5.38%。進(jìn)一步驗證了本文算法相較于當(dāng)前算法在艦船目標(biāo)跨模態(tài)關(guān)聯(lián)任務(wù)中的優(yōu)越性，體現(xiàn)了本文算法不僅能夠有很好的特征可解釋性，同時具備強(qiáng)大的判別能力。除此之外，相較于其他跨模態(tài)關(guān)聯(lián)算法，本文提出的可解釋融合關(guān)聯(lián)網(wǎng)絡(luò)具有很強(qiáng)的泛化能力，網(wǎng)絡(luò)中的可解釋模塊是即插即用模塊，能夠應(yīng)用于圖像與音頻關(guān)聯(lián)、圖像描述和圖文關(guān)聯(lián)等跨模態(tài)任務(wù)中，便于提升模型的可解釋性。

表4 關(guān)聯(lián)精度對比實驗結(jié)果Table 4 Comparison of association accuracy of different methods

網(wǎng)絡(luò)的計算效率同樣是關(guān)聯(lián)任務(wù)中重要的度量標(biāo)準(zhǔn)，通過比較不同基線算法的訓(xùn)練時間和測試時間來評估本文算法的計算復(fù)雜度，實驗結(jié)果如表5 所示?？紤]到SCM 算法采用人工特征的表示方法，在2 個關(guān)聯(lián)任務(wù)中的耗費時間最長，效率最低，而其他3 種算法基于深度特征，關(guān)聯(lián)速度得到顯著提升。DVSH 算法采用哈希編碼的表示方法，關(guān)聯(lián)速度最快，但在表4 中，關(guān)聯(lián)精度較低。關(guān)聯(lián)精度提升往往導(dǎo)致更多的計算損耗，本文算法沒有復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，能夠在達(dá)到很高的關(guān)聯(lián)準(zhǔn)確率前提下將關(guān)聯(lián)時間控制在可以接受的范圍。

表5 關(guān)聯(lián)時間對比實驗結(jié)果Table 5 Comparison of association time of different methods

3 結(jié)論

本文提出了一種基于屬性引導(dǎo)的可解釋融合網(wǎng)絡(luò)用于實現(xiàn)多光譜和全色艦船目標(biāo)遙感圖像間關(guān)聯(lián)。該網(wǎng)絡(luò)通過設(shè)計跨模態(tài)度量損失函數(shù)對不同模態(tài)圖像的特征向量進(jìn)行約束并映射到共同空間中進(jìn)行度量；通過利用多頭注意力模型，幫助網(wǎng)絡(luò)關(guān)注于艦船目標(biāo)中多個顯著性區(qū)域；利用屬性監(jiān)督函數(shù)引導(dǎo)可解釋模塊訓(xùn)練，幫助模型關(guān)注于艦船圖像中的判別性屬性特征，解析模型的關(guān)聯(lián)決策過程；構(gòu)建蒸餾度量損失函數(shù)，讓網(wǎng)絡(luò)實現(xiàn)可解釋性的同時不會降低關(guān)聯(lián)精度。

實驗中，本文構(gòu)建了目前首個多源遙感圖像艦船目標(biāo)數(shù)據(jù)集。利用該數(shù)據(jù)集對本文算法模型進(jìn)行有效性驗證，實驗結(jié)果表明本文算法在關(guān)聯(lián)準(zhǔn)確率上明顯優(yōu)于現(xiàn)有關(guān)聯(lián)算法，同時直觀的可視化量化結(jié)果進(jìn)一步體現(xiàn)了模型強(qiáng)大判別力和可解釋性。在后續(xù)工作中，對本文提出的多源遙感圖像艦船目標(biāo)數(shù)據(jù)集進(jìn)一步擴(kuò)充，同時對當(dāng)前的可解釋關(guān)聯(lián)框架進(jìn)一步優(yōu)化，使其能夠完成2 種以上模態(tài)數(shù)據(jù)之間的可解釋關(guān)聯(lián)任務(wù)。