何悅，陳廣勝，景維鵬，徐澤堃

（東北林業(yè)大學(xué) 信息與計(jì)算機(jī)工程學(xué)院，哈爾濱 150040）

0 概述

隨著對(duì)地觀測(cè)技術(shù)的快速發(fā)展，遙感圖像數(shù)量呈爆炸性增長(zhǎng)趨勢(shì)，迫切需要對(duì)遙感數(shù)據(jù)進(jìn)行高效化、輕量化的管理?；趦?nèi)容的遙感圖像檢索（Content-Based Remote Sensing Image Retrieval，CBRSIR）旨在從大規(guī)模遙感圖像庫(kù)中檢索到與查詢(xún)圖像具有相似語(yǔ)義特征的圖像，常采用近似最近鄰（Approximate Nearest Neighbor，ANN）搜索來(lái)實(shí)現(xiàn)［1］。其中，基于哈希學(xué)習(xí)方法由于其高效的查詢(xún)速度和較低的存儲(chǔ)空間，已成為圖像檢索的主流技術(shù)之一。哈希算法的目的是將圖像集從高維空間轉(zhuǎn)換為緊湊的二進(jìn)制哈希碼，并保持圖像相似性［2］，其能夠顯著降低存儲(chǔ)成本并保持原有空間的語(yǔ)義結(jié)構(gòu)。

主流的哈希學(xué)習(xí)方法主要分為監(jiān)督哈希和無(wú)監(jiān)督哈希兩類(lèi)［3-5］。其中，監(jiān)督哈希方法在學(xué)習(xí)過(guò)程中使用監(jiān)督信息以提高哈希算法的性能，如監(jiān)督離散哈希（Supervised Discrete Hashing，SDH）［6］、深度監(jiān)督哈希［7］等。這些方法將圖像集的標(biāo)簽當(dāng)成監(jiān)督信息訓(xùn)練哈希模型，基本和相應(yīng)的數(shù)據(jù)有關(guān)聯(lián)。但是，對(duì)于遙感圖像來(lái)說(shuō)，標(biāo)記大量的數(shù)據(jù)具有一定難度，此外，收集足夠的標(biāo)記數(shù)據(jù)需要投入巨大的時(shí)間和精力，因此，監(jiān)督哈希方法很難滿足實(shí)際需求。

為了解決上述問(wèn)題，大量的無(wú)監(jiān)督哈希方法相繼被提出，包括局部敏感哈希（Locality-Sensitive Hashing，LSH）［8］、譜哈希（Spectral Hashing，SH）［9］、迭代量化哈希（Iterative Quantization Hashing，ITQ）［10］等。上述傳統(tǒng)哈希方法往往采用淺層架構(gòu)，性能上仍舊無(wú)法滿足實(shí)際應(yīng)用的需求，因此，無(wú)監(jiān)督深度哈希技術(shù)開(kāi)始受到關(guān)注［11-13］。文獻(xiàn)［14］利用余弦距離和閾值從特征空間學(xué)習(xí)語(yǔ)義結(jié)構(gòu)。文獻(xiàn)［15］通過(guò)局部的流形語(yǔ)義相似結(jié)構(gòu)重構(gòu)進(jìn)行哈希學(xué)習(xí)，通過(guò)研究輸入圖像的流形結(jié)構(gòu)來(lái)優(yōu)化網(wǎng)絡(luò)。文獻(xiàn)［16］使用訓(xùn)練后的模型輸出來(lái)優(yōu)化相似矩陣。雖然上述研究通過(guò)預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）模型能提取高維特征，但是都只考慮了局部結(jié)構(gòu)而忽略了同樣重要的全局結(jié)構(gòu)，導(dǎo)致偽標(biāo)簽不可靠。此外，這些研究采用的損失函數(shù)沒(méi)有設(shè)立較好的懲罰機(jī)制，輸入數(shù)據(jù)被同等對(duì)待，導(dǎo)致檢索模型精度較低。

本文提出一種深度多相似性哈希（Deep Multi-Similarity Hashing，DMSH）來(lái)學(xué)習(xí)沒(méi)有語(yǔ)義監(jiān)督的高質(zhì)量哈希碼。DMSH 采用預(yù)訓(xùn)練的Swin Transformer模型作為骨干網(wǎng)絡(luò)，并設(shè)計(jì)兩個(gè)創(chuàng)新模塊：自適應(yīng)偽標(biāo)簽?zāi)K（Adaptive Pseudo-Labeling Module，APLM）采用K 最近鄰（K-Nearest Neighbor，KNN）和核相似度實(shí)現(xiàn)偽標(biāo)簽生成和更新，以充分挖掘遙感圖像的語(yǔ)義信息和相似關(guān)系；成對(duì)結(jié)構(gòu)信息模塊（Paired Structure Information Module，PSIM）的核心思想是通過(guò)結(jié)構(gòu)相似度區(qū)分不同圖像對(duì)的訓(xùn)練關(guān)注度，使得模型能夠自適應(yīng)地學(xué)習(xí)更高質(zhì)量的哈希碼。

1 本文方法

本文提出一種面向遙感圖像檢索的深度多相似性哈希方法，該方法的總體框架如圖1所示，主要包括3個(gè)部分：基于Swin Transformer 骨干網(wǎng)絡(luò)的特征提取與哈希碼生成；基于自適應(yīng)偽標(biāo)簽?zāi)K的相似矩陣生成與更新；基于成對(duì)結(jié)構(gòu)信息模塊的哈希編碼學(xué)習(xí)。

圖1 深度多相似性哈希方法總體框架Fig.1 General framework of deep multi-similarity hashing method

1.1 特征提取與哈希碼生成

本文采用預(yù)訓(xùn)練的 Swin Transformer 的Tiny 版本作為骨干網(wǎng)絡(luò)，用于遙感圖像的特征提取。Swin Transformer 網(wǎng)絡(luò)模型采用多層結(jié)構(gòu)，包含Patch Merging 和多個(gè) Blocks［17］。模型通過(guò)自適 應(yīng)平均池化層和全連接層輸出1 000 維的高維特征。為了讓網(wǎng)絡(luò)適用于哈希學(xué)習(xí)，在全連接層之后添加一個(gè)哈希層，輸出值為-1～1 之間的近似哈希碼。哈希層采用tanh()作為激活函數(shù)，如式（1）所示：

給定一幅圖像xi，通過(guò)Swin Transformer 和哈希層，由哈希層輸出圖像對(duì)應(yīng)的近似哈希碼r(xi)，采用sgn()函數(shù)生成圖像xi的二進(jìn)制哈希碼b(xi)，計(jì)算過(guò)程如式（2）所示：

1.2 自適應(yīng)偽標(biāo)簽?zāi)K

考慮到遙感圖像的特性，本文設(shè)計(jì)自適應(yīng)偽標(biāo)簽?zāi)K（APLM）以充分捕獲遙感圖像的語(yǔ)義信息。APLM 包含偽標(biāo)簽的生成與更新兩個(gè)部分。

1.2.1 偽標(biāo)簽生成

以往圖像檢索研究中通過(guò)CNN 模型進(jìn)行高維特征提取，從而生成偽標(biāo)簽［18-20］。受此啟發(fā)，本文建立一個(gè)基于Transformer 模型的相似度矩陣，將其作為偽標(biāo)簽來(lái)指導(dǎo)哈希學(xué)習(xí)。首先通過(guò)預(yù)訓(xùn)練的Swin Transformer 的全連接層提取遙感影像的高維特征，然后利用兩階段的KNN 生成語(yǔ)義相似矩陣：第一階段，KNN 將高維特征的余弦距離設(shè)置為距離度量，前k1個(gè)鄰近對(duì)象判定為相似圖像；第二階段，KNN 將相同鄰居的數(shù)量設(shè)置為距離度量，前k2個(gè)鄰近對(duì)象判定為相似圖像。如果兩張遙感圖像在兩階段的最近鄰搜索中均被判定為相似，即被認(rèn)為是相似的。數(shù)據(jù)集通過(guò)上述流程生成的相似度矩陣W作為初始偽標(biāo)簽。預(yù)訓(xùn)練模型不能很好地挖掘遙感圖像的深層語(yǔ)義信息，導(dǎo)致偽標(biāo)簽的可信度不高，因此，在哈希學(xué)習(xí)的過(guò)程中需要進(jìn)行偽標(biāo)簽的同步更新。

1.2.2 偽標(biāo)簽更新

在開(kāi)始訓(xùn)練后，使用數(shù)據(jù)集和初始偽標(biāo)簽來(lái)更新模型參數(shù)。參數(shù)優(yōu)化后，模型會(huì)輸出包含更多語(yǔ)義信息的高維特征，APLM 再采用高斯核函數(shù)計(jì)算每一個(gè)mini-batch 中圖像對(duì)的核相似度，從而更新偽標(biāo)簽。核相似度的計(jì)算如式（3）所示：

其中：dij代表圖像i和圖像j之間的歐氏距離；σ2是超參數(shù)；n代表每一個(gè)mini-batch 中訓(xùn)練圖像的數(shù)量。

通過(guò)采用新的相似度閾值（所有圖像對(duì)的核相似度均值）來(lái)更新偽標(biāo)簽，閾值的計(jì)算如式（4）所示：）

APLM 的偽標(biāo)簽更新策略為：將核相似度高于閾值的圖像對(duì)在相似度矩陣中更新為正樣本對(duì)（相似），對(duì)于矩陣中原有的正樣本對(duì)不做修改。偽標(biāo)簽相似矩陣W的更新如式（5）所示：

由于微調(diào)后的模型針對(duì)遙感圖像集的判別性有所提升，因此每一輪mini-batch 更新后的偽標(biāo)簽會(huì)比初始偽標(biāo)簽更可靠，利用更可靠的偽標(biāo)簽再次訓(xùn)練模型并更新參數(shù)，多輪迭代，直至模型達(dá)到最佳性能。

1.3 成對(duì)結(jié)構(gòu)信息模塊

在以往研究中，模型計(jì)算相似損失時(shí)往往賦予所有圖像對(duì)相同的訓(xùn)練權(quán)重，導(dǎo)致相似度差異大的圖像對(duì)沒(méi)有被充分學(xué)習(xí)，相似度差異小的圖像對(duì)被過(guò)度學(xué)習(xí)。為了解決上述問(wèn)題，本文設(shè)計(jì)一種成對(duì)結(jié)構(gòu)信息模塊（PSIM），如圖2 所示，它能夠得到模型訓(xùn)練過(guò)程中不同圖像對(duì)的受關(guān)注度，為不同圖像對(duì)賦予不同的訓(xùn)練權(quán)重，使相似度高的圖像拉得更近，相似度低的圖像推得越遠(yuǎn)，從而使得模型聚焦于貢獻(xiàn)度更大的圖像對(duì)。

圖2 成對(duì)結(jié)構(gòu)信息模塊Fig.2 Paired structure information module

PSIM 模塊主要通過(guò)每個(gè)mini-batch 中圖像間的多尺度結(jié)構(gòu)相似性（Multi-Scale Structural Similarity，MS-SSIM）計(jì)算出自適應(yīng)調(diào)制因子，以?xún)?yōu)化哈希學(xué)習(xí)。MS-SSIM 是一種基于多尺度測(cè)量?jī)蓚€(gè)圖像之間相似性的方法［21］，包含亮度（l）、對(duì)比度（c）、結(jié)構(gòu)（f）這3 種對(duì)比模塊，計(jì)算分別如式（6）～式（8）所示：

其中：μi代表圖像i的均值；代表圖像i的方差；σij代表圖像i和圖像j的協(xié)方差；C1、C2、C3是常數(shù)。

遙感圖像集地物類(lèi)型豐富，因此，相比僅適合特定場(chǎng)景的單尺度結(jié)構(gòu)相似度方法，多尺度結(jié)構(gòu)相似度方法更適用于多場(chǎng)景的遙感圖像［22］。多尺度結(jié)構(gòu)相似度評(píng)估是通過(guò)組合不同尺度的測(cè)量來(lái)獲得，具體計(jì)算如式（9）所示：

其中：M代表最高尺度；h代表所在尺度層數(shù)；αM、βh、γh代表各成分間的關(guān)系權(quán)重。

如果圖像j是圖像i的最相似圖像，則認(rèn)為兩者的結(jié)構(gòu)相似度也是最高的，因此，將圖像對(duì)的結(jié)構(gòu)相似度作為輸入，通過(guò)Softmax 函數(shù)計(jì)算每個(gè)minibatch 中各圖像間的相似概率，如式（10）所示：

其中：τ是一個(gè)溫度超參數(shù)，可以控制Softmax 輸出差異的大小。

最終，本文采用負(fù)對(duì)數(shù)似然（negative log-likelihood）關(guān)聯(lián)Softmax 函數(shù)，生成自適應(yīng)的調(diào)制因子，用于確定圖像對(duì)的訓(xùn)練關(guān)注度。自適應(yīng)調(diào)制因子如式（11）所示：

對(duì)于結(jié)構(gòu)相似度越低的圖像對(duì)，認(rèn)為其相似概率越低，能夠?yàn)槟Ｐ吞峁┑男畔⒏S富，因此，為其設(shè)置較高的調(diào)制因子mij，便于模型訓(xùn)練過(guò)程中更關(guān)注這一類(lèi)圖像對(duì)。反之，圖像對(duì)的結(jié)構(gòu)相似度越高，調(diào)制因子mij設(shè)置越低。

1.4 多損失函數(shù)學(xué)習(xí)

在哈希學(xué)習(xí)階段，本文采用基于自適應(yīng)調(diào)制因子的相似損失函數(shù)和量化損失函數(shù)來(lái)更新模型參數(shù)。相似損失函數(shù)減少相似圖像對(duì)（正樣本）間的距離，并增大不相似圖像對(duì)（負(fù)樣本）間的距離，從而保證遙感圖像之間的相似性可以保留在哈希編碼中，如式（12）所示：

其中：sij代表圖像i和圖像j的余弦相似度。余弦相似度通過(guò)計(jì)算兩個(gè)向量?jī)?nèi)積空間夾角的余弦值來(lái)判定相似性，如式（13）所示：

其中：ri代表圖像i的近似哈希碼；代表ri的轉(zhuǎn)置；代表L2 范數(shù)。

量化損失函數(shù)將近似哈希碼中的元素推向0 或1，減少近似哈希碼和二進(jìn)制哈希碼之間的性能差距，如式（14）所示：

其中：B和R分別代表訓(xùn)練輸出的二進(jìn)制哈希碼和近似哈希碼；代表Frobenius范數(shù)。

用于模型訓(xùn)練的總損失函數(shù)如式（15）所示：

其中：λ是平衡Ls和Lq的超參數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)準(zhǔn)則

為了評(píng)估本文方法的檢索性能，采用兩個(gè)已發(fā)布的遙感數(shù)據(jù)集進(jìn)行大量實(shí)驗(yàn)。第一個(gè)數(shù)據(jù)集是由德國(guó)凱澤斯勞滕大學(xué)提出的EuroSAT，該數(shù)據(jù)集有27 000幅場(chǎng)景圖像，圖像分為10 個(gè)類(lèi)別［23］，每個(gè)類(lèi)別的樣本數(shù)量從2 000到3 000不等，每張圖像尺寸大小為64×64像素。第二個(gè)數(shù)據(jù)集是武漢大學(xué)發(fā)布的PatternNet，該數(shù)據(jù)集由38 個(gè)場(chǎng)景類(lèi)別組成，包含30 400 張圖像，每張圖像尺寸為256×256 像素［24］。此外，PatternNet 的遙感圖像空間分辨率為0.006 2～4.693 0 m。在兩種數(shù)據(jù)集中，均針對(duì)每類(lèi)隨機(jī)選取100 張圖像作為測(cè)試查詢(xún)集，其他圖像作為訓(xùn)練集。

本文采用3個(gè)廣泛使用的評(píng)價(jià)指標(biāo)來(lái)評(píng)估DMSH的檢索性能，分別為平均精度均值（mean Average Precision，mAP）、Top-N檢索返回的準(zhǔn)確率（Precision@N）和查準(zhǔn)率-查全率（Precision-Recall，P-R）曲線。其中，針對(duì)EuroSAT 和PatternNet 數(shù)據(jù)集，本文分別使用排名前1 900 和排名前700 的檢索圖像來(lái)統(tǒng)計(jì)mAP值。

2.2 實(shí)驗(yàn)環(huán)境

本文使用ImageNet-1K 數(shù)據(jù)集預(yù)訓(xùn)練Swin Transformer 模型作為骨干網(wǎng)絡(luò)。實(shí)驗(yàn)所用GPU 為T(mén)eslaV100，采用PyTorch 來(lái)訓(xùn)練模型［25］。根據(jù)超參數(shù)的調(diào)試，最終的各超參數(shù)值在兩個(gè)數(shù)據(jù)集上均能使模型達(dá)到最佳檢索性能，超參數(shù)設(shè)置如下：k1和k2分別為20 和30，σ2和τ均為1，λ為10，mini-batch 為64，學(xué)習(xí)率為2e-5，采用Adam 優(yōu)化器［26］，總共訓(xùn)練40 個(gè)輪次。

2.3 與先進(jìn)方法的比較

為了驗(yàn)證本文DMSH 方法的有效性，將其與多種無(wú)監(jiān)督哈希學(xué)習(xí)方法進(jìn)行比較，包括基于淺層模型的哈希方法與基于深度學(xué)習(xí)的哈希方法，淺層方法分別是LSH、SH 和ITQ，深度方法分別 是SSDH［14］、MLS3RDUH［15］和DUIH-MBE［27］。在兩種數(shù)據(jù)集上進(jìn)行的對(duì)比實(shí)驗(yàn)結(jié)果如表1、表2 所示，最優(yōu)結(jié)果加粗標(biāo)注。從中可以看出：在EuroSAT 數(shù)據(jù)集上，本文方法在16、24、32 和48 位哈希碼的mAP 性能較對(duì)比方法的最優(yōu)結(jié)果分別提升了1.8%、0.8%、2.3%、3.0%；在PatternNet數(shù)據(jù)集上，DMSH 在不同長(zhǎng)度哈希碼的mAP 結(jié)果上分別實(shí)現(xiàn)了12.5%、10.1%、9.8%和10.7%的增量。可以得出：1）除了表1 中ITQ 的mAP 結(jié)果之外，其余的無(wú)監(jiān)督哈希方法的mAP 結(jié)果均隨著哈希碼長(zhǎng)度的增長(zhǎng)而提升；2）傳統(tǒng)的無(wú)監(jiān)督哈希方法雖然采用了高維特征作為輸入，但是檢索精度仍舊遠(yuǎn)低于深度無(wú)監(jiān)督哈希方法，原因是傳統(tǒng)方法大多將特征提取和哈希學(xué)習(xí)分開(kāi)，無(wú)法在訓(xùn)練過(guò)程中獲取包含更多語(yǔ)義信息的圖像特征；3）DMSH 的檢索精度高于其他深度無(wú)監(jiān)督哈希方法，說(shuō)明無(wú)監(jiān)督哈希學(xué)習(xí)結(jié)合多種相似度，能夠更好地實(shí)現(xiàn)偽標(biāo)簽和哈希編碼的共同優(yōu)化。

表1 在EuroSAT 數(shù)據(jù)集上各方法的mAP 比較 Table 1 mAP comparison of methods on EuroSAT dataset

表2 在PatternNet 數(shù)據(jù)集上各方法的mAP 比較 Table 2 mAP comparison of methods on PatternNet dataset

為進(jìn)一步驗(yàn)證DMSH 的有效性，采用其他指標(biāo)進(jìn)行對(duì)比實(shí)驗(yàn)。圖3 和圖4 分別為兩個(gè)數(shù)據(jù)集下不同方法的48 位哈希碼的Precision@N指標(biāo)對(duì)比，從中可以看出，在兩種數(shù)據(jù)集上DMSH 的Precision@N均高于其他方法。圖5 和圖6 分別為兩個(gè)數(shù)據(jù)集下不同方法的48 位哈希碼的P-R 曲線對(duì)比，從中可以看出，當(dāng)召回率逐漸提高時(shí)，全部方法的查準(zhǔn)率都會(huì)降低，然而，在相同召回率下DMSH 的查準(zhǔn)率仍高于其他方法，在相同查準(zhǔn)率下DMSH 的召回率也優(yōu)于其他方法。DMSH 在上述兩種評(píng)估指標(biāo)下依然具有優(yōu)越性，說(shuō)明該方法在大規(guī)模遙感圖像數(shù)據(jù)集上具有有效性和通用性。

圖3 在EuroSAT 數(shù)據(jù)集上各方法的Precision@N 比較Fig.3 Precision@N comparison of methods on EuroSAT dataset

圖4 在PatternNet 數(shù)據(jù)集上各方法的Precision@N 比較Fig.4 Precision@N comparison of methods on PatternNet dataset

圖6 在PatternNet 數(shù)據(jù)集上各方法的P-R 曲線比較Fig.6 P-R curve comparison of methods on PatternNet dataset

2.4 消融實(shí)驗(yàn)

為了驗(yàn)證DMSH 中兩個(gè)模塊的有效性，在DMSH 中刪減APLM 模塊以及同時(shí)刪減APLM 和PSIM 模塊，48 位哈希碼的mAP 性能指標(biāo)對(duì)比如表3所示。從中可以看出：在EuroSAT 數(shù)據(jù)集中，刪減APLM 模塊會(huì)使模型的mAP 精度下降1.8 個(gè)百分點(diǎn)，完全刪減兩個(gè)模塊會(huì)導(dǎo)致檢索精度再次下降6.3 個(gè)百分點(diǎn)；在PatternNet 數(shù)據(jù)集中，不采用APLM 和PSIM 模塊也會(huì)導(dǎo)致mAP 精度下降9.5 個(gè)百分點(diǎn)。因此，同時(shí)運(yùn)用APLM 和PSIM 模塊能夠更有效地保留遙感圖像的相似性，生成更高質(zhì)量的哈希編碼。

表3 消融實(shí)驗(yàn)結(jié)果 Table 3 Results of ablation experiment

2.5 可視化實(shí)驗(yàn)

為了更直觀地展示DMSH 的有效性，圖7 所示為EuroSAT 和PatternNet上48 位哈希碼的檢索結(jié)果，輸出與查詢(xún)圖像最相似的10 張檢索圖像，圖中帶叉號(hào)的圖像代表錯(cuò)誤結(jié)果。從圖7 可以看出，DMSH 在兩個(gè)數(shù)據(jù)集上的檢索效果明顯好于最優(yōu)對(duì)比方法DUIH-MBE，尤其是在河流類(lèi)別和交叉路口類(lèi)別上，本文方法分別克服了公路和立交橋類(lèi)別圖像的干擾，這是因?yàn)榛诤讼嗨贫鹊潞蟮膫螛?biāo)簽?zāi)芴峁└訙?zhǔn)確的監(jiān)督信息，同時(shí)基于結(jié)構(gòu)相似度的調(diào)制因子能更有效地實(shí)現(xiàn)最小化類(lèi)間相似度、最大化類(lèi)內(nèi)相似度，即DMSH 相比其他方法可以更好地判別多類(lèi)遙感圖像。

圖7 DMSH 和DUIH-MBE 的檢索結(jié)果比較Fig.7 Comparison of retrieval results between DMSH and DUIH-MBE

3 結(jié)束語(yǔ)

本文提出一種多相似性聯(lián)合的深度無(wú)監(jiān)督哈希方法DMSH，利用預(yù)訓(xùn)練的Swin Transformer 模型作為特征提取器，結(jié)合核相似度在訓(xùn)練過(guò)程中迭代更新偽標(biāo)簽，挖掘遙感圖像間潛在的語(yǔ)義相似關(guān)系，同時(shí)通過(guò)結(jié)構(gòu)相似度設(shè)計(jì)自適應(yīng)調(diào)制因子，賦予不同圖像對(duì)不同的關(guān)注度權(quán)重，從而更充分地利用圖像對(duì)的判別信息，提高哈希碼的辨識(shí)力。實(shí)驗(yàn)結(jié)果驗(yàn)證了DMSH 方法的有效性。下一步將考慮設(shè)計(jì)新的網(wǎng)絡(luò)結(jié)構(gòu)并優(yōu)化量化損失函數(shù)，以期在更復(fù)雜的遙感圖像數(shù)據(jù)集上實(shí)現(xiàn)更高的檢索精度。