王浩宇，程玉虎，王雪松

中國礦業(yè)大學信息與控制工程學院，徐州 221116

0 引言

作為遙感領(lǐng)域基礎(chǔ)且重要的研究方向之一，高光譜圖像（hyperspectral image，HSI）分類旨在利用HSI 所含的光譜和空間信息對圖像中每個像素點進行類別判斷，進而幫助人類更為清楚地認知所處生存環(huán)境（張晶 等，2020）。近年來，HSI分類成功應(yīng)用于農(nóng)業(yè)、氣候探測、國防安全等多個重要領(lǐng)域（Wang等，2022a）。因而，如何提高對HSI 的分類精度是遙感領(lǐng)域的研究熱點之一。因具有強大的特征提取能力，機器學習在HSI 處理領(lǐng)域取得了令人矚目的研究成果（Hong 等，2021）。早期研究人員利用傳統(tǒng)機器學習方法提高HSI分類的精度，包括隨機森林（葉珍 等，2021）、支持向量機（Melgani 和Bruzzone，2004）以及決策樹（Delalieux 等，2012）等。這些傳統(tǒng)的HSI 分類方法雖然模型簡單，但大多數(shù)不能保證分類精度。

作為機器學習中重要的方法，深度學習在許多計算機視覺任務(wù)上取得了優(yōu)異表現(xiàn)，如圖像處理、目標檢測和自然語言處理等（Chen 等，2019）。深度學習可以自動學習特征，這使其能夠應(yīng)用于多種背景下的任務(wù)。且深度網(wǎng)絡(luò)高級特征提取能力和泛化能力使其大量應(yīng)用于HSI 分類（Zhang 等，2018；梅少輝 等，2021）。Chen 等人（2015）使用深度置信網(wǎng)絡(luò)學習HSI的空—譜特征。王芬等人（2021）提出一種深度遞歸殘差神經(jīng)網(wǎng)絡(luò)方法，將殘差網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)融合進一個框架中，通過對HSI 空—譜特征進行有效提取完成精準分類。Zhang 等人（2017）提出一種雙通道卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN），分別使用1D-CNN 和2D-CNN 對HSI 的光譜和空間信息進行學習，并將具有判別性的空—譜特征輸入分類器。

深度網(wǎng)絡(luò)強大的特征表達能力往往需要大量有標記的訓練樣本支撐（Liu 等，2021）。眾所周知，隨著新一代衛(wèi)星高光譜傳感器的發(fā)展，研究者可以快速獲取大量未標記的HSI，然而對這些圖像進行標記還需相關(guān)專家耗費大量時間完成。因此，標記樣本不足嚴重影響深度學習方法在高光譜分類任務(wù)上的應(yīng)用。為解決上述問題，眾多研究者通過將主動學習、數(shù)據(jù)增強等方法與深度學習將結(jié)合，利用少量標記樣本完成了HSI 分類任務(wù)。Sun 等人（2016）充分利用主動學習選擇具有判別性信息的樣本，再結(jié)合樣本信息測量技術(shù)完成模型訓練。Wang 等人（2020）首先構(gòu)建混合模型，再利用數(shù)據(jù)增強技術(shù)完成樣本的擴充以充分訓練CNN。Li等人（2017）首先主動選擇標記樣本，然后隨機選擇兩標記樣本生成新的樣本以擴充CNN 的訓練集。將深度學習和數(shù)據(jù)增強技術(shù)融入同一框架，提高了CNN 在高光譜圖像上的分類精度。

雖然以上方法能夠在一定程度上緩解因HSI標簽獲取不易而導致的模型訓練集不充足的問題，但其難以在訓練集和測試集分布不一致的分類任務(wù)上獲得高精度。遷移學習方法適用于此類任務(wù)，即跨域高光譜圖像分類，其可通過將學習到的領(lǐng)域不變性知識從標記樣本集（源域）遷移到分布相似但不同的另一樣本集中（目標域）（Tuia 等，2016）。深度遷移網(wǎng)絡(luò)能夠?qū)W習到高級且具有遷移性的特征，其在高光譜分類任務(wù)上取得了令人矚目的成果（Ma 等，2019；Wang等，2019）。這源于深度遷移網(wǎng)絡(luò)對于高級特征的提取能力和知識遷移能力，其可利用從數(shù)據(jù)中提取到的不變因子的相關(guān)性對HSI中的各類地物進行有效分類。Deng 等人（2020）在深度領(lǐng)域適應(yīng)網(wǎng)絡(luò)的基礎(chǔ)上，通過將源域和目標域特征所形成的簇盡量拉近，進一步增強了特征的領(lǐng)域不變性。

然而，受光照、傳感器硬件條件限制，被采集到的兩鄰域HSI間往往存在較大分布差異。以上現(xiàn)象給鄰域分布適配帶來了巨大困難，且常規(guī)遷移學習方法未考慮兩域分類器的不適配問題。本文綜合利用深度學習的強特征提取能力和遷移學習的領(lǐng)域適配能力，提出一種簡單且有效的深度遷移網(wǎng)絡(luò)，并命名為關(guān)聯(lián)子域?qū)R網(wǎng)絡(luò)（correlation subdomain alignment network，CSADN），將其應(yīng)用于跨域HSI分類。

本文的主要貢獻如下：1）提出一種簡單且有效的深度遷移學習網(wǎng)絡(luò)，合理地將分布適應(yīng)和參數(shù)適應(yīng)相結(jié)合，將源域知識遷移到無標簽的目標域上。網(wǎng)絡(luò)可以僅利用源域標記樣本對目標域未標記樣本完成分類。2）設(shè)計一種新穎的領(lǐng)域適配層并嵌入網(wǎng)絡(luò)中，通過對齊兩域的相關(guān)子領(lǐng)域和分布協(xié)方差，分別從局部和整體上適配兩域一階和二階統(tǒng)計量差異，進而完成兩域的領(lǐng)域適應(yīng)。3）構(gòu)建分類器適配模塊并加入所提網(wǎng)絡(luò)中，通過適配兩域分類器的差異增強網(wǎng)絡(luò)的領(lǐng)域適應(yīng)能力，進一步提高方法對目標域數(shù)據(jù)的分類精度。

1 基于CSADN的高光譜圖像分類

1.1 CSADN的HSI分類流程

基于CSADN 的跨域HSI 分類流程如圖1 所示，主要分為5個階段。

1）利用波段選擇對源域和目標域原始HSI進行預(yù)處理，得到維度統(tǒng)一的兩域輸入和

3）將兩域的深度特征輸入領(lǐng)域適配器中，利用關(guān)聯(lián)對齊（correlation alignment，CORAL）構(gòu)造協(xié)方差領(lǐng)域適應(yīng)項，同時利用局部最大平均差異（local maximum mean discrepancy，LMMD）構(gòu)造子域適應(yīng)項，基于協(xié)方差領(lǐng)域適應(yīng)項和子域適應(yīng)項從整體、局部減少兩域一階、二階統(tǒng)計量差異。

4）構(gòu)造分類器適配模塊并加入網(wǎng)絡(luò)中，對兩域分類器差異進行適配。然后使用訓練好的網(wǎng)絡(luò)對目標域數(shù)據(jù)進行分類。

1.2 波段選擇

原始HSI 波段數(shù)量多且波段間相關(guān)性較強，因而波段之間存在大量冗余信息。直接將原始HSI輸入CSADN 會造成網(wǎng)絡(luò)參數(shù)增多，模型性能下降（Wang等，2016）。根據(jù)Liu等人（2020）的方法，使用波段選擇對原始HSI數(shù)據(jù)進行降維處理。定義原始HSI 的波段數(shù)為Nb，首先，每間隔個波段數(shù)選取原始HSI數(shù)據(jù)中的一個波段，得到a個波段組成的HSI。然后，每間隔+1 個波段數(shù)選取原始HSI數(shù)據(jù)中的一個波段，得到b個波段組成的HSI，具體為

1.3 兩域分布領(lǐng)域適應(yīng)

DNN 因其強大的深層特征提取能力，廣泛應(yīng)用于跨域HSI分類。然而當訓練集和測試集屬于不同數(shù)據(jù)分布時，DNN 難以學習到可遷移知識（Long 等，2019），從而導致模型分類能力不足。為解決上述問題，提出CSADN（correlation subdomain alignment network），在DNN 中加入領(lǐng)域適配層，將經(jīng)DNN 提取的深層、具有判別性的源域和目標域特征同時進行全局二階統(tǒng)計量和每類相關(guān)子域一階統(tǒng)計量對齊。

CSADN 是由全連接層、非線性層、領(lǐng)域適配層以及softmax 層構(gòu)成的前饋神經(jīng)網(wǎng)絡(luò)。將降維后的源域和目標域數(shù)據(jù)輸入CSADN 中，經(jīng)由全連接層和非線性層構(gòu)成的特征提取器提取特征。全連接層輸入為

式中，I 為全連接層輸入，第1 層全連接層的輸入為I=X0，b1為偏置。將全連接層輸出作為輸入連接到非線性層，非線性層輸出為

加入領(lǐng)域適配層以適配兩域分布差異，后將領(lǐng)域適配層的輸出連接到softmax 層。CSADN 的損失函數(shù)定義為

在跨域高光譜圖像場景下，源域和目標域的高光譜數(shù)據(jù)可能在不同地理區(qū)域或在不同時間的條件下采集得到。由于采集條件存在較大差異（例如照明、視角、土壤濕度和地形），兩域數(shù)據(jù)的光譜特征會產(chǎn)生偏移，致使兩域的整體數(shù)據(jù)分布存在差異。僅利用源域的標記數(shù)據(jù)進行訓練得到的特征提取器，難以對目標域數(shù)據(jù)的特征進行有效提取。因此，需要加入?yún)f(xié)方差適應(yīng)項，通過最小化兩域整體特征的協(xié)方差差異，從二階統(tǒng)計量上對兩域整體特征進行對齊。根據(jù)Sun 和Saenko（2016）的方法，協(xié)方差領(lǐng)域適應(yīng)項可表示為

式中，d1為領(lǐng)域適配層輸入的維度，Cs和Ct分別表示源域和目標域特征的協(xié)方差矩陣。

然而，僅對整體特征進行領(lǐng)域適應(yīng)可能會造成不同類別的細粒度信息丟失，并致使特征提取器難以學習到具有鑒別性的特征，圖2（a）是一個可呈現(xiàn)此種現(xiàn)象的直觀例子（Zhu 等，2021）。因此，在對整體特征領(lǐng)域適應(yīng)的同時，考慮對兩域局部特征進行領(lǐng)域適應(yīng)。利用基于LMMD的子域適應(yīng)項將兩域中每類作為一個子域，嵌入到再生核希爾伯特空間中。通過反向傳播最小化兩域子域在該空間的希爾伯特—施密特范數(shù)，進而在一階統(tǒng)計量上對兩域的局部特征進行對齊，圖2（b）是一個可呈現(xiàn)此種現(xiàn)象的直觀例子（Zhu 等，2021）。子域適應(yīng)項可表示（Zhu等，2021）為

圖2 整體特征領(lǐng)域適應(yīng)和局部特征領(lǐng)域適應(yīng)示意圖Fig.2 Sketch map of global feature domain adaptation and local feature domain adaptation（（a）global feature domain adaptation；（b）local feature domain adaptation）

式中，?(·)為特征提取器，其可將X0映射到特征空間。

1.4 兩域分類器適應(yīng)

面對差異較大的跨域高光譜圖像分類場景，僅從特征層面對兩域分布進行對齊并不能徹底消除兩域數(shù)據(jù)之間的差異，因而在經(jīng)特征領(lǐng)域適應(yīng)后的源域分類器不適合直接應(yīng)用于目標域。在實際應(yīng)用中，通常無法檢查源域分類器和目標域分類器是否可完全共享。因此，考慮設(shè)計分類器適配模塊，假設(shè)源域分類器和目標域分類器之間存在一個小的殘差函數(shù)，通過反向傳播，使殘差函數(shù)捕捉到兩域之間的領(lǐng)域差異，利用低密度分離準則，使目標域分類器能更好地適應(yīng)目標域數(shù)據(jù)。同時從特征層面和分類器層面進行聯(lián)合領(lǐng)域適應(yīng)，進一步提高模型對于目標域數(shù)據(jù)的分類精度。

根據(jù)Long 等人（2016）的方法，為保證領(lǐng)域適應(yīng)的可行性，假設(shè)兩分類器相關(guān)且僅相差一個殘差函數(shù)Δf(x)，此殘差函數(shù)可通過源域標記樣本和目標域無標記樣本學習得到，將此函數(shù)表示為

式中，fs(x)和ft(x)分別為源域和目標域分類器。鑒于神經(jīng)網(wǎng)絡(luò)強大的函數(shù)擬合能力，構(gòu)建由多層全連接層組成的分類器適配模塊以充分擬合源域分類器和目標域分類器之間的殘差函數(shù)。首先，利用目標域分類器得到源域預(yù)測概率向量，然后使用分類適配器得到源域預(yù)測概率差異向量。最后，將源域預(yù)測概率向量和源域預(yù)測概率差異向量相加得到源域分類結(jié)果。分類器適配模塊的參數(shù)由源域分類損失通過反向傳播機制學習得到，源域分類損失為

1.5 算法描述

輸入：源域原始高光譜數(shù)據(jù)Xs，目標域原始高光譜數(shù)據(jù)Xt，源域標簽Ys，協(xié)方差領(lǐng)域適應(yīng)參數(shù)α1，子域適應(yīng)參數(shù)α2和訓練次數(shù)K，批大小（batch size）為nb。

輸出：目標域預(yù)測標簽Yt。

1）根據(jù)式（1）對源域和目標域原始高光譜數(shù)據(jù)進行波段選擇，得到維度統(tǒng)一的高光譜數(shù)據(jù)和。

2）隨機初始化CSADN的網(wǎng)絡(luò)參數(shù)。

3）forkin 1：Kdo

利用α1、α2、LCORAL、LLMMD和Ls，根據(jù)式（4）計算總損失值L。

總損失值L反向傳播訓練CSADN。

4）end for

2 實驗分析

2.1 HSI數(shù)據(jù)集

選擇來自兩個遙感傳感器采集的真實HSI用于實驗。

1）博茨瓦納（Botswana，BOT）數(shù)據(jù)集組（Liu 等，2021）（BOT5、BOT6和BOT7）：3幅HSI是經(jīng)由同一傳感器于2001年5月、6月和7月對南非博茨瓦納同一區(qū)域拍攝得到，包含1 476 × 256個像素點，242個波段。3幅HSI有9種相同的確定地物類別，即暴露土壤、消防車、島嶼內(nèi)部、河岸、稀樹大草原、短豆木、泛濫平原、林地和水。具體偽色彩圖和標簽圖如圖3所示。

圖3 Botswana數(shù)據(jù)集Fig.3 Botswana dataset

2）休斯頓（Houston）數(shù)據(jù)集（Zhou 和Prasad，2017）（Bright 和shallow）：兩幅HSI 是經(jīng)由ITRESCASI 1500傳感器在美國休斯頓上空拍攝得到，其包括349 × 1 905 個像素點，144 個波段。由于受云遮擋，休斯頓可分為Houston bright 和Houston shadow，它們的偽色彩圖和標簽圖如圖4所示。

圖4 Houston數(shù)據(jù)集Fig.4 Houston dataset（（a）Houston false color map；（b）marking sample of bright part；（c）marking samples of shaded parts）

2.2 實驗設(shè)置

為驗證所提CSADN的有效性和優(yōu)越性，選擇10種分類器進行對比。具體包括：聯(lián)合分布適配（joint distribution adaptation，JDA）（Long 等，2013）、測地線流式核方法（geodesic flow kernel，GFK）（Gong 等，2012）、深度自適應(yīng)網(wǎng)絡(luò)（deep adaptation networks，DAN）（Long 等，2019）、深度相關(guān)對齊（deep correlation alignment，DCORAL）（Sun和Saenko，2016）、域自適應(yīng)神經(jīng)網(wǎng)絡(luò)（domain adaptive neural network，DANN）（Ganin 和Lempitsky，2015）、無監(jiān)督的深度域適 應(yīng)（unsupervised deep domain adaptation，M_RECON）（Li等，2019）、對抗域自適應(yīng)網(wǎng)絡(luò)（adversarial domain adaptation network，ADAN）（Ma 等，2021）、深度子領(lǐng)域自適應(yīng)網(wǎng)絡(luò)（deep subdomain adaption network，DSAN）（Zhu等，2021）、跨域?qū)Ρ葘W習（cross-domain contrastive learning，CDCL）（Sun 等，2022）和知識引導的無監(jiān)督領(lǐng)域自適應(yīng)（knowledge guided unsupervised domain adaptation，KUDA）（Wang等，2022b）。

總計4 組數(shù)據(jù)對用于實驗，分別是BOT5-6、BOT6-7、BOT7-5 和Houston bright-shallow。組成數(shù)據(jù)對的兩數(shù)據(jù)集分別作為源域和目標域。實驗設(shè)置如下：

1）使用Python3.6 的PyTorch 框架，在硬件配置為Intel Core i7-6850K CPU，Nvidia GeForce GTX 1080 Ti和32 GB內(nèi)存的電腦上完成；

2）對比算法在4 組對比實驗上的超參數(shù)均采用網(wǎng)格搜索法設(shè)置；

3）網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示，設(shè)置學習率為0.01，batch size=64，領(lǐng)域適應(yīng)參數(shù)和協(xié)方差領(lǐng)域適應(yīng)參數(shù)分別為α1=0.8和α2=0.6；

表1 CSADN的網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Network structure of CSADN

4）實驗選用3 個性能指標，分別為：每類地物的分類精度、總體精度（overall accuracy，OA）和Kappa系數(shù)。每個實驗均經(jīng)過波段選擇預(yù)處理，后獨立進行10次，然后取平均值。

2.3 對比實驗

Botswana和Houston數(shù)據(jù)集實驗分組情況如表2和表3所示，所有算法在4個數(shù)據(jù)對上的實驗結(jié)果如表4—表7 所示，不同算法在Botswana 數(shù)據(jù)集BOT5-6 分組的實驗分類效果如圖5 所示，原始HSI 和經(jīng)CSADN 提取特征的t-SNE（t-distributed stochastic neighbor embedding）可視化圖如圖6所示。

表2 Botswana數(shù)據(jù)集實驗分組Table 2 Experimental groups from Botswana dataset

表3 Houston數(shù)據(jù)集實驗分組Table 3 Experimental groups from Houston dataset

表4 分類性能對比（BOT5-6數(shù)據(jù)集）Table 4 Classification performance comparison（BOT5-6 dataset） /%

表5 分類性能對比（BOT6-7數(shù)據(jù)集）Table 5 Classification performance comparison（BOT6-7 dataset） /%

表6 分類性能對比（BOT7-5數(shù)據(jù)集）Table 6 Classification performance comparison（BOT7-5 dataset） /%

表7 分類性能對比（Houston bright-shallow）Table 7 Classification performance comparison（Houston bright-shallow） /%

圖5 分類效果圖（BOT5-6）Fig.5 Classification effect map（BOT5-6）

圖6 原始HSI和經(jīng)CSADN提取特征的t-SNE可視化圖Fig.6 The t-SNE visualization of original HSI and features extracted by CSADN（（a）original HSI features（BOT5-6）；（b）features extracted by CSADN（BOT5-6）；（c）original HSI features（BOT6-7）；（d）features extracted by CSADN（BOT6-7）；（e）original HSI features（BOT7-5）；（f）features extracted by CSADN（BOT7-5）；（g）original HSI features（Houston bright-shallow）；（h）features extracted by CSADN（Houston bright-shallow））

由表2—表7以及圖5和圖6，可得出以下結(jié)論：

1）相較于傳統(tǒng)遷移學習算法，DAN、DCORAL、DANN、DSAN、M_RECON、ADAN、CDCL、KUDA 和CSADN在所有數(shù)據(jù)集上的分類精度和Kappa 系數(shù)都較高。這是因為將深度網(wǎng)絡(luò)與遷移學習相結(jié)合得到的深度遷移學習模型能夠?qū)W習到更加高級且更具有遷移性的特征，更適用于處理具有復(fù)雜光譜特征的HSI。

2）相較于DCORAL、DANN、M_RECON 和ADAN，所提方法展現(xiàn)出了更高的分類性能。這是因為CSADN 在進行整體分布對齊的同時，通過對兩域局部特征進行領(lǐng)域適應(yīng)，捕捉每個類別細?；男畔?。

3）相較于DSAN，所提方法在分類任務(wù)上取得了更優(yōu)越的表現(xiàn)。這是由于CSADN 既拉近兩域邊緣概率分布，又拉近了它們的條件概率分布。

4）相較于應(yīng)用于計算機視覺領(lǐng)域的先進算法CDCL 和KUDA，CSADN 在4 組高光譜實驗數(shù)據(jù)集上均取得了較高的分類精度。這是由于受照明、視角、土壤濕度和地形等采集條件的影響，采集到的不同域的高光譜圖像易出現(xiàn)較大領(lǐng)域偏移現(xiàn)象，進而導致僅通過特征層面對兩域分布進行對齊并不能徹底消除兩域數(shù)據(jù)之間的差異。相較于應(yīng)用于不同域自然圖像分類的CDCL和KUDA，所提方法不僅對兩域特征進行對齊，還進行了分類器適配，進一步減少了兩域領(lǐng)域差異。

5）所提方法在所有數(shù)據(jù)對上均取得了最高的OA 和Kappa 系數(shù)，原因分析如下：CSADN 能夠提取原始數(shù)據(jù)中深層的特征；對兩域二階統(tǒng)計量進行了適配；在類別層面上適配兩域分布；對兩域分類器差異進行了適配。

此外，使用一種可以對高維數(shù)據(jù)進行可視化的方法（t-SNE）在4組實驗數(shù)據(jù)集上對HSI的原始特征和經(jīng)過CSADN 進行領(lǐng)域適應(yīng)之后的特征進行了可視化。如圖6 所示，相較于HSI 的原始特征（目標域），經(jīng)過領(lǐng)域適應(yīng)后的兩域特征分布的協(xié)方差差異減少，質(zhì)心更為接近；經(jīng)CSADN 提取后的特征具有較高的類間差異性和較低的類內(nèi)差異性。

3 結(jié)論

本文提出了一種名為CSADN 的跨域高光譜圖像分類方法。主要內(nèi)容包括以下3 個方面：1）利用關(guān)聯(lián)對齊從整體上對齊了兩域的二階統(tǒng)計量信息，實現(xiàn)兩域的整體特征分布對齊；2）通過減少兩域局部最大均值差異對齊了相關(guān)子域的一階統(tǒng)計量信息，實現(xiàn)兩域的局部特征分布對齊；3）通過構(gòu)建分類器適配模塊并加入所提方法中，實現(xiàn)兩域分類器差異適配。

對比于其他方法，CSADN 在4 組真實數(shù)據(jù)對上均能取得最高的OA 和Kappa。經(jīng)過CSADN 領(lǐng)域適應(yīng)后的兩域特征分布的協(xié)方差差異減少，質(zhì)心更為接近。

CSADN 中使用了目標域偽標簽，其質(zhì)量會影響方法的領(lǐng)域適應(yīng)效果?？紤]在未來的工作中，將偽標簽優(yōu)化技術(shù)加入CSADN 中，以進一步優(yōu)化方法的性能。