周紹光，吳 昊，趙嬋娟，陳仁喜

河海大學(xué) 地球科學(xué)與工程學(xué)院，南京211100

高光譜成像是一項(xiàng)重要的遙感技術(shù)，它可以收集從可見光到近紅外波長范圍的電磁光譜。由于具有豐富的光譜信息，高光譜遙感影像可以區(qū)分細(xì)微的光譜差異，已廣泛應(yīng)用于許多領(lǐng)域。

成功應(yīng)用高光譜影像的關(guān)鍵是精確的分類。已發(fā)表論文的統(tǒng)計(jì)結(jié)果表明，HSI分類（即根據(jù)其光譜特征將每個(gè)像素分配給一個(gè)特定的類別）是高光譜研究領(lǐng)域最活躍的一個(gè)方向。在HSI分類任務(wù)中，有限的可用訓(xùn)練樣本始終是一個(gè)主要挑戰(zhàn)。及時(shí)地標(biāo)記大量訓(xùn)練樣本具有很大難度，遷移學(xué)習(xí)的基本思想便成為應(yīng)對這一挑戰(zhàn)的潛在希望。

就遙感影像分類而言，遷移學(xué)習(xí)的目的是利用相似影像中豐富的標(biāo)記樣本提高缺少標(biāo)記樣本的新影像的分類精度。具有大量標(biāo)記樣本的影像稱為源域，而缺少標(biāo)記樣本的待分類影像稱為目標(biāo)域。嚴(yán)格地講，利用相似影像實(shí)現(xiàn)新影像分類的任務(wù)屬于遷移學(xué)習(xí)的一個(gè)分支——領(lǐng)域自適應(yīng)。源域影像和目標(biāo)域影像具有一定的相似性，同時(shí)又有所不同，這是領(lǐng)域自適應(yīng)方法存在的原因。

減小目標(biāo)域和源域影像在特征空間的差異是達(dá)成遷移學(xué)習(xí)目的的最重要途徑。這一任務(wù)與分類所采用的特征息息相關(guān)。最早的高光譜分類主要限于使用光譜信息。隨著對空間信息重要性認(rèn)識(shí)的不斷提高，高光譜影像分類開始同時(shí)利用光譜信息和空間信息。近年來，深度學(xué)習(xí)技術(shù)得以迅速發(fā)展，基于深度學(xué)習(xí)技術(shù)的高光譜影像分類已取得了令人鼓舞的效果。因此，在深度學(xué)習(xí)基礎(chǔ)上實(shí)現(xiàn)源域到目標(biāo)域的信息遷移已成為眾多研究者的共同目標(biāo)。

事實(shí)上，伴隨著著名的卷積神經(jīng)網(wǎng)絡(luò)（CNN）[1]的提出，很快即出現(xiàn)了相應(yīng)的遷移學(xué)習(xí)思想：利用具體需要分類的數(shù)據(jù)集（目標(biāo)域）中少量樣本精調(diào)在龐大數(shù)據(jù)集（源域）上訓(xùn)練而得的分類模型，通過精調(diào)后的分類模型預(yù)測目標(biāo)域其他樣本的類別。這一方案簡單有效，多次被研究者用于高光譜數(shù)據(jù)的分類[2-4]。也有觀點(diǎn)認(rèn)為這種簡單的精調(diào)無法減小源域和目標(biāo)域間較大的數(shù)據(jù)偏移（Data Shift），因而，引入領(lǐng)域自適應(yīng)中的最大平均差異（MMD）技術(shù)來解決問題[5-6]。MMD立足于減小無標(biāo)簽樣本間特征分布的差異，選擇和訓(xùn)練樣本需要一定的經(jīng)驗(yàn)，而且需要大量的目標(biāo)域樣本以保證結(jié)果有效。

文獻(xiàn)[7]利用少量目標(biāo)域標(biāo)記樣本來克服無監(jiān)督領(lǐng)域自適應(yīng)的缺點(diǎn)。該方法利用經(jīng)典的卷積孿生網(wǎng)巧妙地設(shè)計(jì)了深度領(lǐng)域自適應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)，利用源域樣本和極少的目標(biāo)域有標(biāo)記樣本對其進(jìn)行訓(xùn)練，減少了源域和目標(biāo)域同類樣本間的距離，同時(shí)增加不同樣本間的距離，實(shí)現(xiàn)兩個(gè)域間特征的語義對齊。此方法采用的損失函數(shù)簡稱為CCSA（Classification and Contrastive Semantic Alignment）。

目標(biāo)域每類只有一個(gè)標(biāo)記樣本的情況稱為oneshot，這是有監(jiān)督遷移的極端情況，近期廣受關(guān)注[8-10]。實(shí)驗(yàn)已經(jīng)證明CCSA在one-shot條件下也能取得良好的效果，而且，目標(biāo)域標(biāo)記樣本每增加1個(gè)，分類精度都會(huì)顯著提高。從這一研究成果可以推斷：如果能夠有效地?cái)U(kuò)增目標(biāo)域每類1個(gè)實(shí)際標(biāo)記樣本，一定可以提高遷移學(xué)習(xí)的效果。本文研究重點(diǎn)是對one-shot情況進(jìn)行樣本擴(kuò)增，以探索目標(biāo)域每類1個(gè)真實(shí)標(biāo)記樣本情況下所能獲取的最高分類精度。樣本擴(kuò)增是訓(xùn)練CNN場景分類模型時(shí)出現(xiàn)的概念，通過對已有的標(biāo)記圖像進(jìn)行旋轉(zhuǎn)、變形及平移等形式的變換來增加訓(xùn)練樣本數(shù)量。傳統(tǒng)方法無法用于處理像素分類的光譜特征數(shù)據(jù)，所以，本文提出了基于同質(zhì)區(qū)的擴(kuò)增方法，新方法的樣本擴(kuò)增效果與獲取同質(zhì)區(qū)的圖像分割方法密切相關(guān)。

在圖像處理領(lǐng)域，圖像分割是一個(gè)重要的經(jīng)典課題，已提出了大量的圖像分割算法[11-14]。本文同質(zhì)區(qū)生成過程牽涉到在兩種不同特點(diǎn)的區(qū)域上進(jìn)行圖像分割，一個(gè)是原始的遙感影像本身；二是地物邊緣附近不規(guī)則區(qū)域。第一類區(qū)域適合使用普通圖像分割算法；第二類區(qū)域則適合使用可以形成小斑塊的超像素分割法。本文在第一類區(qū)域使用Meanshift算法[11]，因?yàn)槠浞€(wěn)定性和魯棒性較好，原理簡單，需要設(shè)置的參數(shù)較少。擴(kuò)增樣本需要同質(zhì)區(qū)斑塊具有高純度。通常認(rèn)為Meanshift算法生成的斑塊緊湊度不好、斑塊所包含語義信息較少、包含陰影區(qū)容易產(chǎn)生欠分割。但緊湊度和語義信息不影響樣本的擴(kuò)增，陰影區(qū)與光照區(qū)分開可以避免妨礙樣本擴(kuò)增的過分割現(xiàn)象出現(xiàn)。對比研究[15]表明：SEEDS算法[12]可以保持影像中主要邊緣，運(yùn)行效率較高，其斑塊不規(guī)則的特點(diǎn)并不影響訓(xùn)練樣本擴(kuò)增。因此選擇SEEDS算法對第二類區(qū)域進(jìn)行超像素分割。

經(jīng)過廣泛地分析和比較，發(fā)現(xiàn)CCSA具有原理簡單，網(wǎng)絡(luò)結(jié)構(gòu)清晰，容易訓(xùn)練且效果良好的特點(diǎn)。本研究提出基于同質(zhì)區(qū)的樣本擴(kuò)增方案對CCSA進(jìn)行改進(jìn)，以達(dá)到在目標(biāo)域每類僅有1個(gè)實(shí)際標(biāo)記點(diǎn)時(shí)提高分類精度的目的。

1 同質(zhì)區(qū)獲取及訓(xùn)練樣本擴(kuò)增

1.1 基于均值漂移和SEEDS超像素分割的同質(zhì)區(qū)生成

根據(jù)Mean Shift和SEEDS各自的優(yōu)缺點(diǎn)，本文將這兩種分割方法結(jié)合，實(shí)現(xiàn)對目標(biāo)圖像不同尺度的分割，并對分割結(jié)果進(jìn)行提純操作，從而最終獲取高質(zhì)量的同質(zhì)區(qū)。下面對分割操作的具體步驟進(jìn)行詳細(xì)闡述。

（1）高光譜遙感影像波段數(shù)眾多，不宜直接應(yīng)用分割算法。首先采用Du提出的基于波段相似性度量的非監(jiān)督波段選擇方法[16]對目標(biāo)圖像進(jìn)行特征選擇，分別選取目標(biāo)圖像的三個(gè)信息量最豐富但各自最不相似的波段，作為新的顏色特征向量并進(jìn)行歸一化處理。

（2）利用均值漂移算法對圖像進(jìn)行初始分割：均值漂移技術(shù)能夠估計(jì)相似像素的局部密度梯度，這一估計(jì)環(huán)節(jié)被反復(fù)執(zhí)行，相似像素會(huì)收斂于同一極大值，將收斂于同一極大值且滿足鄰近條件的像素點(diǎn)合并為同一超像素，完成整個(gè)分割過程。

（3）對初始分割結(jié)果進(jìn)行提純：均值漂移算法得到的初始分割斑塊的面積較大，常常出現(xiàn)欠分割現(xiàn)象，與此同時(shí)，同質(zhì)區(qū)會(huì)含有雜質(zhì)像素點(diǎn)。位于地物邊域緣區(qū)的同質(zhì)區(qū)斑塊會(huì)跨越多個(gè)類別。本文借助mean shift的思想設(shè)計(jì)了一種斑塊提純方案，該方案可以篩選出初始分割塊中比較純凈的區(qū)域，同時(shí)剔除不夠準(zhǔn)確的部分，獲取高純度的同質(zhì)區(qū)。下面的同質(zhì)區(qū)提純算法給出了具體的實(shí)現(xiàn)步驟。其中迭代次數(shù)T取值范圍[3，7]，q取值范圍[0.5，0.8]，本文實(shí)驗(yàn)中T取5；q取0.6。

同質(zhì)區(qū)提純算法

步驟2

步驟4重新計(jì)算高純度點(diǎn)集的特征均值xˉc

步驟5重復(fù)步驟2~步驟4迭代計(jì)算T次

輸出：P1

（4）對剩余的影像部分進(jìn)行小尺度超像素分割：上述的均值漂移分割和提純方案可以有效獲取高光譜圖像中純度較高的同質(zhì)區(qū)斑塊，但同時(shí)會(huì)產(chǎn)生不屬于高純度同質(zhì)區(qū)的細(xì)碎斑塊，這些剩余部分多處在地物的邊緣附近或者多類地物混合區(qū)。這類區(qū)域復(fù)雜多變，本文采用SEEDS超像素分割算法對提純后的剩余部分進(jìn)行分割處理。超像素斑塊面積較小，極少會(huì)混入噪聲點(diǎn)，因此，每一超像素都可視作為提純后的斑塊。本步驟結(jié)束后，每一斑塊都是高純度同質(zhì)區(qū)。本文的同質(zhì)區(qū)獲取總體流程圖如圖1所示。

圖1 本文分割方法的總體流程圖Fig.1 Flow chart of segmentation method in this paper

1.2 分割結(jié)果評價(jià)指標(biāo)

本文選用兩種廣泛使用的評價(jià)指標(biāo)對分割結(jié)果進(jìn)行質(zhì)量評價(jià)，分別是可獲得分割準(zhǔn)確率（Achievable Segmentation Accuracy，ASA）[17]和欠分割錯(cuò)誤率（Under segmentation Error，UE）[18]。其中，ASA表示超像素分割斑塊能夠達(dá)到的最大分割準(zhǔn)確率，是一種從最終分割結(jié)果反面評價(jià)超像素的方法，也可以稱其為純度。而UE則是從正面直接評價(jià)超像素分割好壞的方法，它可以根據(jù)分割斑塊“溢出”真實(shí)區(qū)域邊界的比例來衡量超像素塊的邊緣貼合度。兩種評價(jià)指標(biāo)從不同角度出發(fā)，可以更全面地對最終的分割結(jié)果進(jìn)行質(zhì)量評價(jià)和精度評定。兩種指標(biāo)的具體計(jì)算方法分別如公式（1）和（2）所示：

其中，G表示真實(shí)的地物分布，S為分割算法得到的超像素塊，|?|則表示這些超像素塊中包含的所有像素點(diǎn)個(gè)數(shù)。有些超像素塊中沒有真實(shí)標(biāo)記點(diǎn)，有些超像素塊中只有部分像素點(diǎn)有真實(shí)標(biāo)記，上述兩個(gè)指標(biāo)只針對有標(biāo)記樣本進(jìn)行統(tǒng)計(jì)和結(jié)果評價(jià)。

1.3 基于同質(zhì)區(qū)的訓(xùn)練樣本擴(kuò)增原理

提純后的初始分割板塊和超像素斑塊均為純度很高的同質(zhì)區(qū)，可以用于擴(kuò)增訓(xùn)練樣本。利用同質(zhì)區(qū)擴(kuò)增訓(xùn)練樣本的最簡單方案是：選擇同質(zhì)區(qū)內(nèi)一點(diǎn)，獲取其類別信息，然后將同區(qū)內(nèi)所有像點(diǎn)賦以同樣的類別。

圖2 展示了初始分割斑塊提純的情況。圖2（a）是一個(gè)分割所得的斑塊，其中的“+”表示此同質(zhì)區(qū)斑塊中主體類別像素，占據(jù)同質(zhì)區(qū)的絕大部分；“x”及“o”則表示不同于主體類別的錯(cuò)分入斑塊的噪聲點(diǎn)。圖2（b）是提純后的斑塊，其中的噪聲點(diǎn)多數(shù)被剔除，但仍有少量殘留。

圖2 分割斑塊提純Fig.2 Segmentation patches purification

利用隨機(jī)手段選定的有真實(shí)標(biāo)記的樣本點(diǎn)必然處于某一高純度同質(zhì)區(qū)內(nèi)，如圖3（a）中紅色圓圈包圍的點(diǎn)。此點(diǎn)屬于斑塊內(nèi)的主體類別，按照簡單擴(kuò)增方案，同質(zhì)區(qū)內(nèi)所有點(diǎn)都會(huì)被賦予主體類別（如圖3（b）所示），都會(huì)被作為具有偽標(biāo)簽的擴(kuò)增樣本點(diǎn)。由于斑塊內(nèi)絕大部分點(diǎn)被標(biāo)記的類別與其真實(shí)類別一致，所以，這樣的擴(kuò)增樣本點(diǎn)用于監(jiān)督訓(xùn)練有益無害。圖3（c）中隨機(jī)選中了高純度同質(zhì)區(qū)內(nèi)的噪聲點(diǎn)，按照簡單擴(kuò)增原則，此時(shí)的擴(kuò)增結(jié)果應(yīng)該如圖3（d）所示，絕大部分像點(diǎn)均被賦以與實(shí)際情況不同的錯(cuò)誤標(biāo)簽。這樣的偽標(biāo)簽樣本用于訓(xùn)練模型無疑會(huì)破壞分類模型的質(zhì)量，這樣的擴(kuò)增還不如沒有擴(kuò)增。

圖3 簡單準(zhǔn)則擴(kuò)增效果Fig.3 Simple guidelines augmentation results

盡管高純度同質(zhì)區(qū)斑塊內(nèi)噪聲點(diǎn)極少，但還是存在選中噪聲點(diǎn)的可能。為了盡量減少錯(cuò)誤擴(kuò)增發(fā)生的可能性，利用源域和目標(biāo)域有實(shí)際標(biāo)記的樣本訓(xùn)練一個(gè)分類模型，并預(yù)測目標(biāo)域所有像素的類別。將同質(zhì)區(qū)斑塊內(nèi)擁有最多像素的預(yù)測類別稱為斑塊預(yù)測類別，如圖4所示。假如隨機(jī)選擇的真實(shí)樣本點(diǎn)的類別與其所在斑塊的預(yù)測類別一致，則進(jìn)行簡單方案擴(kuò)增；否則，不進(jìn)行樣本擴(kuò)增。圖5給出的是選中樣本點(diǎn)類別與斑塊預(yù)測類別一致的情況，最后給出了擴(kuò)增的結(jié)果。

圖4 斑塊預(yù)測類別Fig.4 Predict classes of patches

圖5 具有斑塊預(yù)測類別制約的訓(xùn)練樣本擴(kuò)增Fig.5 Augmentation of training samples with constraints of predict class of patch

在以上每一幅示意圖中的高純度同質(zhì)區(qū)內(nèi)，都繪制了所有像點(diǎn)的實(shí)際類別，但除了選中標(biāo)記點(diǎn)外，這些類別信息不可以使用，只能將其當(dāng)作未標(biāo)記點(diǎn)。繪出實(shí)際類別的目的是為了理解算法原理的方便。

2 基于同質(zhì)區(qū)和孿生卷積神經(jīng)網(wǎng)絡(luò)的半監(jiān)督遷移學(xué)習(xí)

2.1 孿生卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

具有雙重分支且權(quán)重共享的網(wǎng)絡(luò)結(jié)構(gòu)稱為孿生神經(jīng)網(wǎng)絡(luò)（Siamese Neutral Network，SNN）[19]，當(dāng)孿生神經(jīng)網(wǎng)絡(luò)的分支為卷積神經(jīng)網(wǎng)絡(luò)時(shí)，便稱之為孿生卷積神經(jīng)網(wǎng)絡(luò)（Siamese Convolutional Neutral Network，SCNN）。與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)相比，孿生卷積神經(jīng)網(wǎng)絡(luò)最大的特點(diǎn)是將原來的單一串聯(lián)網(wǎng)絡(luò)改成了具有兩個(gè)結(jié)構(gòu)相同、權(quán)值共享的并行子分枝的新網(wǎng)絡(luò)，如圖6所示。

圖6 孿生卷積神經(jīng)網(wǎng)絡(luò)示意圖Fig.6 SCNN model

X1和X2是網(wǎng)絡(luò)模型的輸入數(shù)據(jù)，亦被稱為配對數(shù)據(jù)（Paired Data）。GW(X1)和GW(X2)分別表示X1和X2的映射函數(shù)表示兩個(gè)輸入數(shù)據(jù)經(jīng)過孿生網(wǎng)絡(luò)輸出之后的相似性度量，例如歐式距離。該網(wǎng)絡(luò)一般使用對比損失函數(shù)作為其訓(xùn)練過程中的損失函數(shù)[20]，使原本相近的同類樣本在新的目標(biāo)特征空間中保持其原本的特性；而使得原本差異較大的樣本可以分離更遠(yuǎn)。這一特點(diǎn)適合于特征降維，但改進(jìn)后也適合于遷移學(xué)習(xí)。

建立在孿生卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的模型需要的訓(xùn)練樣本數(shù)量較少，因?yàn)檩斎刖W(wǎng)絡(luò)的數(shù)據(jù)是同類或異類的樣本對，數(shù)量不多的標(biāo)記樣本也可以組合出數(shù)量龐大的訓(xùn)練用樣本對。

2.2 網(wǎng)絡(luò)模型構(gòu)建

為達(dá)成遷移學(xué)習(xí)的目的，使用圖7所示的孿生卷積神經(jīng)網(wǎng)絡(luò)模型架構(gòu)。

圖7 本文使用的孿生卷積神經(jīng)網(wǎng)絡(luò)模型架構(gòu)Fig.7 SCNN model used in this paper

嵌入函數(shù)g通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）建模，該網(wǎng)絡(luò)主要由初始卷積層和全連接層組成。其中，孿生網(wǎng)的兩個(gè)分支，一個(gè)用于訓(xùn)練源域，另一個(gè)則用于目標(biāo)域。由于gs=gt=g，CNN的參數(shù)將在兩個(gè)分支中共享。此外，源域分支使用額外的全連接層來建模h，構(gòu)建分類損失函數(shù)。模型中主要有兩類損失函數(shù)：分類損失函數(shù)和對比損失函數(shù)，對比損失函數(shù)又分為同類樣本間的對齊損失函數(shù)和不同類樣本間的分離損失函數(shù)。最終的總體損失函數(shù)分為以下三部分。

（1）分類損失函數(shù)：

（2）同類樣本間的對齊損失函數(shù)：

（3）不同類樣本間的分離損失函數(shù)：

最終，總體損失函數(shù)可表示為：

其中，E[]?表示統(tǒng)計(jì)期望，?可以是任何適當(dāng)?shù)膿p失函數(shù)（例如多分類問題中使用的交叉熵函數(shù)），當(dāng)Xs和Xt的分布不同時(shí)，僅使用源域數(shù)據(jù)訓(xùn)練得到的深度模型fs會(huì)降低目標(biāo)域的性能。d為兩個(gè)域的嵌入空間中的距離度量（如歐式距離），一旦對齊，模型便具有模糊樣本域?qū)傩缘奶攸c(diǎn)。k則為Xs和Xt在嵌入空間分布的相似度度量，當(dāng)相似時(shí)，會(huì)導(dǎo)致分類精度降低，故k起到一個(gè)懲罰的作用。γ為權(quán)衡系數(shù)，用來控制分類損失函數(shù)和對比損失函數(shù)各自所占的權(quán)重。

針對本研究的具體情況，具體化后的網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。主要分為特征提取、分類識(shí)別和相似度計(jì)算三個(gè)部分。在特征提取部分，孿生卷積神經(jīng)網(wǎng)絡(luò)左右兩個(gè)分支的結(jié)構(gòu)完全一致，由一系列卷積層、池化層及全連接層組成。

圖8 本文使用的孿生卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.8 Specific SCNN model used in this paper

通過上述的網(wǎng)絡(luò)結(jié)構(gòu)，輸入的源域圖像和目標(biāo)域圖像被映射到相應(yīng)的特征空間。使用歐式距離（Euclidean Distance）作為兩個(gè)領(lǐng)域的圖像輸出特征相似度指標(biāo)，并通過對齊損失函數(shù)拉近兩個(gè)領(lǐng)域中同類樣本間距離，通過分離損失函數(shù)擴(kuò)大不同類樣本間距離。

為了保證訓(xùn)練后源域分支能夠?qū)崿F(xiàn)準(zhǔn)確分類，在源域分支之后又添加了額外的網(wǎng)絡(luò)層來建立分類模型。

這種基于孿生卷積神經(jīng)網(wǎng)的遷移思想具有兩個(gè)優(yōu)點(diǎn)：首先是原理直觀易懂，通過源域和目標(biāo)域樣本的配對訓(xùn)練使得兩個(gè)域的同類樣本在特征空間內(nèi)彼此接近，而異類樣本間距離則盡可能加大，從而使得特征空間內(nèi)以源域信息分類目標(biāo)域數(shù)據(jù)變得簡單易行；其次是這種遷移思想的普遍實(shí)用性。許多現(xiàn)有的遷移學(xué)習(xí)方法應(yīng)用于遙感影像時(shí)往往沒有明顯的效果，而基于孿生網(wǎng)的方法則對幾乎所有實(shí)驗(yàn)影像的分類效果都有一定程度的提升。因此，本文以這種網(wǎng)絡(luò)結(jié)構(gòu)作為基礎(chǔ)，研究目標(biāo)域訓(xùn)練樣本擴(kuò)增及訓(xùn)練樣本配對措施變化對遷移學(xué)習(xí)分類效果的提升力度。

2.3 配對樣本的生成

訓(xùn)練孿生網(wǎng)絡(luò)需要足夠數(shù)量的訓(xùn)練樣本對，包括同類樣本對和異類樣本對。為了方便，將源域及目標(biāo)域樣本標(biāo)記集合分別記為假設(shè)兩個(gè)域共有C類地物。

首先講述經(jīng)典樣本對構(gòu)建方法。同類樣本對的構(gòu)建相對簡單。從源域和目標(biāo)域樣本集的每個(gè)類別中隨機(jī)抽取Nperclass1個(gè)樣本構(gòu)建總共Nsame個(gè)同類樣本對，其中。經(jīng)典構(gòu)建過程的偽代碼如下：

其中函數(shù)randomly_draw_Nperclass_samples(ind)表示從集合ind中隨機(jī)抽取Nperclass個(gè)樣本，下同。

簡而言之，就是從源域和目標(biāo)域每類樣本中分別抽取Nperclass1個(gè)樣本，配成Nperclass1個(gè)樣本對，隨后將C個(gè)類別的樣本對集取并得到最終的同類樣本對集SamPair。

異類樣本對的構(gòu)建過程與上述步驟有所不同。先從源域樣本集的某個(gè)類別中隨機(jī)抽取Nperclass2個(gè)樣本，再從目標(biāo)域不包含此類的樣本子集內(nèi)隨機(jī)抽取Nperclass2個(gè)樣本，配成Nperclass2個(gè)樣本對。最后將C次配對所得的樣本對集并到一起，得到總共Ndiff個(gè)異類樣本對，其中具體配對過程的偽代碼如下：

上述經(jīng)典的孿生網(wǎng)訓(xùn)練方案中，Nsame=Ndiff，也即同類與異類樣本對的比例為1∶1。CCSA方法中，目標(biāo)域每類只有一個(gè)樣本。構(gòu)建同類樣本時(shí)，源域每一有標(biāo)記樣本均與目標(biāo)域的那個(gè)同類樣本配對，就是說CCSA方法的同類樣本對數(shù)Nsame就等于源域有標(biāo)記樣本總數(shù)。這樣才能保證生成足夠數(shù)量的訓(xùn)練樣本對。與此同時(shí)，CCSA方法將源域每一樣本與目標(biāo)域所有異類樣本配對，并從中隨機(jī)抽取3對，所以Ndiff=3Nsame。

經(jīng)典方案涉及到的每個(gè)域均提供了較多數(shù)量的標(biāo)記點(diǎn)，需要通過隨機(jī)抽樣才能限制配對數(shù)量的爆炸；而CCSA方法的目標(biāo)域每類僅有一點(diǎn)，只有通過遍歷配對才能湊夠訓(xùn)練網(wǎng)絡(luò)所需的樣本對數(shù)。由于基于同質(zhì)區(qū)的擴(kuò)增措施增加了目標(biāo)域有標(biāo)記樣本的數(shù)量，本研究更接近經(jīng)典方案的情況。但是CCSA方法生成異類樣本對的做法給了人們一點(diǎn)啟發(fā)：讓每一源域樣本與多個(gè)異類目標(biāo)域樣本配對有益于擴(kuò)大不同類樣本間的特征差異，提高總體分類精度。本文構(gòu)建異類樣本對時(shí)，任一隨機(jī)選中的源域樣本都與目標(biāo)域的每一異類進(jìn)行一次隨機(jī)配對，配對過程的偽代碼為：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

為了合理評價(jià)本文方法的有效性以及對不同數(shù)據(jù)和區(qū)域的適應(yīng)性，本文采用了兩組具有不同相似程度（不同數(shù)據(jù)偏移程度）的高光譜測試數(shù)據(jù)集進(jìn)行相關(guān)實(shí)驗(yàn)。分別為同一場景圖像中的兩塊不相交的子區(qū)域：Source和Target，以及兩幅跨場景圖像：PC和PU。

第一組數(shù)據(jù)集是來自ROSIS-3傳感器在帕維亞城市上空采集的高光譜遙感影像[17]，圖9為該數(shù)據(jù)的完整影像。選取兩塊不相交的子區(qū)域作為參與遷移實(shí)驗(yàn)，分別命名為Source圖像和Target圖像。

圖9 第一組數(shù)據(jù)集的全圖假彩色影像圖Fig.9 False color image of first data set

它們各自的大小分別為172×123像素和350×350像素，光譜范圍為0.43 μm到0.86 μm，空 間 分辨率為1.3 m。該數(shù)據(jù)包含115個(gè)光譜波段，實(shí)際分類時(shí)為避免噪聲波段產(chǎn)生影響，去除了12個(gè)噪聲波段，保留其中103個(gè)波段進(jìn)行分類。圖10為Source及Target假彩色影像圖及相應(yīng)的實(shí)際地面參考數(shù)據(jù)。這兩幅圖像共享四類地物，分別為：道路、植被、陰影和建筑。

圖10 Source和Target的假彩色圖像與真實(shí)地物分布Fig.10 False-color image and ground truth of Source and Target

表1 統(tǒng)計(jì)了這兩幅圖像的各類樣本數(shù)量，Target圖像中包含的標(biāo)記樣本數(shù)量遠(yuǎn)多于Source。實(shí)驗(yàn)中將Source作為源域圖像，Target作為目標(biāo)域圖像。

表1 第一組數(shù)據(jù)集的各類樣本數(shù)量統(tǒng)計(jì)Table 1 Number of samples in each class of first dataset

第二組數(shù)據(jù)集是同一傳感器拍攝的兩塊不同地區(qū)的高光譜影像圖，分別來自意大利帕維亞城市中心（Pavia Center）和帕維亞大學(xué)（Pavia University），均由成像光譜儀ROSIS-3拍攝所得，簡稱PC和PU圖像。該數(shù)據(jù)集的光譜范圍、空間分辨率、光譜波段與第一組數(shù)據(jù)一樣。兩幅影像尺寸分別為1 096×492和610×340個(gè)像素，有七種公共地物類別。

為了表述方便將兩組數(shù)據(jù)的地物類別重新統(tǒng)一定義，將標(biāo)簽1至7對應(yīng)的實(shí)際地物分別定義為樹、瀝青路、自封磚、瀝青建筑、草地、裸土和陰影，具體情況如圖11所示。表2為第二組數(shù)據(jù)集的各類樣本統(tǒng)計(jì)。

表2 第二組數(shù)據(jù)集的訓(xùn)練與測試樣本Table 2 Training and test samples of second dataset

圖11 PC和PU的假彩色圖像與真實(shí)地物分布Fig.11 False-color image and ground truth of PC and PU

本文實(shí)驗(yàn)在Windows10系統(tǒng)下基于Python3和MATLAB實(shí)現(xiàn)。在Python3環(huán)境中，利用Keras庫（以TensorFlow為后端）進(jìn)行孿生卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和分類，其余部分均在MATLAB環(huán)境下完成。下文分類實(shí)驗(yàn)結(jié)果均為10次獨(dú)立實(shí)驗(yàn)的平均值。

3.2 目標(biāo)圖像的分割結(jié)果展示和質(zhì)量評價(jià)

本節(jié)實(shí)驗(yàn)對本文的分割提純過程以及基于多尺度分割方法獲取得的三幅影像同質(zhì)區(qū)進(jìn)行效果展示。超像素分割時(shí)，斑塊數(shù)目設(shè)置準(zhǔn)則是使斑塊平均面積約為40個(gè)像素。圖12、13和14分別為Target、PC和PU三幅圖像的分割提純過程以及最終分割結(jié)果。從圖中可以看出，三幅圖像經(jīng)提純后均獲取了較多大面積同質(zhì)區(qū)塊，剔除了許多地物邊緣處的過分割區(qū)域，在剩余殘留影像區(qū)域進(jìn)行SEEDS超像素分割，可以精準(zhǔn)細(xì)致地劃分這部分復(fù)雜多變的區(qū)域。

圖12 Target圖像分割結(jié)果Fig.12 Segmentation result of Target

圖13 PC圖像分割結(jié)果Fig.13 Segmentation result of PC

圖14 PU圖像分割結(jié)果Fig.14 Segmentation result of PU

表3 為三幅影像分割結(jié)果的同質(zhì)區(qū)斑塊數(shù)和兩種分割評價(jià)指標(biāo)數(shù)值?？梢钥闯觯喝跋竦那贩指铄e(cuò)誤率均低于0.05%；可達(dá)分割準(zhǔn)確率均在99.7%以上，證明了本文提出的分割-提純方案的有效性。

表3 三幅實(shí)驗(yàn)影像分割結(jié)果評價(jià)Table 3 Evaluation of segmentation results of three experimental images

3.3 目標(biāo)圖像分類的實(shí)驗(yàn)結(jié)果與分析

分類實(shí)驗(yàn)中，源域圖像每類地物隨機(jī)選取300個(gè)標(biāo)記樣本，目標(biāo)域圖像每類隨機(jī)選取1個(gè)標(biāo)記樣本作為原始訓(xùn)練數(shù)據(jù)；目標(biāo)域圖像所有剩余標(biāo)記樣本用作測試。訓(xùn)練樣本用于訓(xùn)練本文方法和幾種參照方法，訓(xùn)練模型用于預(yù)測測試樣本類別，通過分析對比各項(xiàng)指標(biāo)來評定各種方法性能的優(yōu)劣。

除了本文提出的同質(zhì)區(qū)和孿生卷積神經(jīng)網(wǎng)絡(luò)的半監(jiān)督遷移學(xué)習(xí)（SCNN-HR），實(shí)驗(yàn)中的對比方法包括基于線性支持向量機(jī)的SRC、SVM1、SVM2和CCSA。其中，SRC僅利用源域圖像中的訓(xùn)練樣本，未使用目標(biāo)域的標(biāo)記樣本，基于樣本光譜特征訓(xùn)練支持向量機(jī)模型，在未進(jìn)行遷移學(xué)習(xí)的情況下，直接對目標(biāo)圖像進(jìn)行分類。SVM1的訓(xùn)練樣本中加入了目標(biāo)域的標(biāo)記單樣本；SVM2則是在源域訓(xùn)練樣本中加入了目標(biāo)域單樣本及基于同質(zhì)區(qū)的擴(kuò)增樣本；CCSA為最新的半監(jiān)督遷移學(xué)習(xí)方法，利用源域訓(xùn)練樣本和目標(biāo)域標(biāo)記單樣本，基于樣本的空譜聯(lián)合特征訓(xùn)練孿生神經(jīng)網(wǎng)，并對目標(biāo)圖像進(jìn)行分類。CCSA與本文方法最為接近，但其在目標(biāo)域只用了每類一個(gè)標(biāo)記樣本，源域、目標(biāo)域樣本配對策略也不一樣。

本文方法與CCSA使用的均是空譜聯(lián)合特征，即將一個(gè)像素的所有波段的鄰域子圖像全部作為其特征（見圖15）。鄰域窗口尺寸取5×5，這一尺寸幾乎可用于所有影像，能夠達(dá)到利用空間信息的目的，又不會(huì)造成分類結(jié)果的邊緣模糊。鄰域的每一波段展開為一列向量，5×5鄰域展開成25×1的向量。用于遷移學(xué)習(xí)實(shí)驗(yàn)的數(shù)據(jù)為102個(gè)波段，所以，每一像素的特征數(shù)據(jù)均為25×102的矩陣，孿生網(wǎng)每一分支的輸入層尺寸均為25×102×1。

圖15 空譜聯(lián)合特征的提取Fig.15 Extraction of spatial-spectral feature

表4 和圖16分別給出了本文方法SCNN-HR與對比方法對第一組數(shù)據(jù)的實(shí)驗(yàn)結(jié)果和分類效果圖。

表4 第一組數(shù)據(jù)集分類結(jié)果評價(jià)（Source→Target）Table 4 Evaluation of classification results of first dataset（Source→Target）

圖16 第一組數(shù)據(jù)集的分類效果圖對比（Source→Target）Fig.16 Classification results of first dataset（Source→Target）

SRC方法直接使用源域的標(biāo)記樣本進(jìn)行訓(xùn)練，不采取任何遷移學(xué)習(xí)的手段，分類精度最低。而如果只有目標(biāo)域每類一個(gè)標(biāo)記樣本，即SVM1方法，也無法獲得分類精度提升，因?yàn)橛?xùn)練樣本中源域的數(shù)據(jù)信息占主導(dǎo)位置，少量的目標(biāo)域地物信息無法影響模型的訓(xùn)練，且源域和目標(biāo)域之間存在一定的差異，故無法取得理想的分類結(jié)果。SVM2由于加入了較多擴(kuò)增而得的目標(biāo)域標(biāo)記樣本信息，雖然未進(jìn)行兩個(gè)領(lǐng)域之間的遷移，其分類精度也能提升3%左右。半監(jiān)督遷移學(xué)習(xí)方法CCSA的分類結(jié)果與SVM2大致相當(dāng)。本文方法利用同質(zhì)區(qū)對目標(biāo)域單樣本進(jìn)行擴(kuò)增，并利用孿生卷積神經(jīng)網(wǎng)絡(luò)拉近源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)間的距離，在三種分類評價(jià)指標(biāo)中均取得了最好結(jié)果，其總體精度和平均精度分別為82.35%和82.38%，比CCSA方法高出了約2%~3%，Kappa系數(shù)則高出0.04。

表5 和圖17為第二組數(shù)據(jù)集PC→PU時(shí)各方法得到的分類結(jié)果和相應(yīng)的分類效果圖。在該組實(shí)驗(yàn)中，本文方法的分類精度最高，總體分類精度達(dá)到了70.10%；相比于直接利用源域數(shù)據(jù)進(jìn)行分類的SRC高出約11個(gè)百分點(diǎn)；對比未使用遷移方法的SVM2來說，有了4個(gè)百分點(diǎn)的精度提升。與半監(jiān)督分類方法CCSA相比，總體分類精度和平均精度高出了5~6個(gè)百分點(diǎn)，具有明顯的優(yōu)勢。分類效果圖顯示：相比于其他方法，本文方法對于裸土和草地這兩種地物的區(qū)分性更好，包含的噪聲點(diǎn)也更少。

表5 第二組數(shù)據(jù)集分類結(jié)果評價(jià)（PC→PU）Table 5 Evaluation of classification results of second dataset（PC→PU）

圖17 第二組數(shù)據(jù)集的分類效果圖對比（PC→PU）Fig.17 Classification results of second dataset（PC→PU）

表6 和圖18為不同方法在PU→PC時(shí)得到的分類結(jié)果和分類效果圖。本文方法的總體精度達(dá)到了87.58%；比基準(zhǔn)方法SRC高出了約13個(gè)百分點(diǎn)；比未使用遷移方法的SVM2高出了4個(gè)百分點(diǎn)；同時(shí)，相比半監(jiān)督分類方法CCSA來說，也有2個(gè)百分點(diǎn)的精度提升。分類效果圖顯示：本文方法分出的瀝青澆筑完整性最高，基本接近真實(shí)地物分布。

圖18 第二組數(shù)據(jù)集的分類效果圖對比（PU→PC）Fig.18 Classification results of second dataset（PU→PC）

表6 第二組數(shù)據(jù)集分類結(jié)果評價(jià)（PU→PC）Table 6 Evaluation of classification results of second dataset（PU→PC）

4 結(jié)束語

孿生神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)適合目標(biāo)域標(biāo)記點(diǎn)極少情況下的遷移學(xué)習(xí)，但遷移分類效果不甚理想。本文研究了一種基于同質(zhì)區(qū)和孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的半監(jiān)督遷移分類方法，借助分割所得的目標(biāo)域同質(zhì)區(qū)擴(kuò)增標(biāo)記樣本，結(jié)合空譜聯(lián)合特征實(shí)現(xiàn)網(wǎng)絡(luò)模型訓(xùn)練。實(shí)驗(yàn)結(jié)果表明：改進(jìn)措施明顯提升了高光譜數(shù)據(jù)的分類效果，基本滿足地物識(shí)別和信息提取的需求。兩組數(shù)據(jù)的實(shí)驗(yàn)結(jié)果同時(shí)證明本文探索的方法針對源域和目標(biāo)域間偏移程度不同的高光譜圖像均具有適應(yīng)性。