馮 偉, 龍以君, 全英匯, 邢孟道

(1. 西安電子科技大學(xué)電子工程學(xué)院, 陜西 西安 710071;2. 西安電子科技大學(xué)前沿交叉研究院, 陜西 西安 710071)

0 引 言

土地覆蓋是地球表層系統(tǒng)最突出的景觀標(biāo)志之一,并直接影響著生態(tài)環(huán)境與氣候的變化[1]。遙感作為全球動(dòng)態(tài)監(jiān)測(cè)的重要手段,在環(huán)境變化監(jiān)測(cè)、土地資源合理利用評(píng)估等研究中發(fā)揮著巨大的作用。近些年,隨著計(jì)算機(jī)技術(shù)的進(jìn)步,機(jī)器學(xué)習(xí)在地物覆蓋分類中獲得了廣泛的應(yīng)用[2],這極大地滿足了遙感信息提取對(duì)數(shù)量和速度的需求。然而,盡管以深度卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNR)為代表的智能算法在圖像分類領(lǐng)域獲得過(guò)成功的應(yīng)用[3-4],但這些算法對(duì)標(biāo)注數(shù)據(jù)的質(zhì)量和數(shù)量具有極強(qiáng)的依賴性[5]。Pan等[6]指出,盡管數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)在分類、回歸、集合等知識(shí)工程領(lǐng)域取得了重大成果,但是許多機(jī)器學(xué)習(xí)方法是在訓(xùn)練樣本和測(cè)試樣本滿足相同概率分布的條件下實(shí)現(xiàn)的。遙感圖像數(shù)據(jù),尤其是高光譜圖像數(shù)據(jù),具有的完備標(biāo)注數(shù)據(jù)較少、數(shù)據(jù)類不平衡特點(diǎn)顯著。另外,在實(shí)際應(yīng)用中,遙感圖像中的地物或目標(biāo)會(huì)隨著時(shí)間推移產(chǎn)生位置改變,使得數(shù)據(jù)分布會(huì)隨時(shí)間、空間改變而產(chǎn)生動(dòng)態(tài)變化(盡管這些數(shù)據(jù)表示的是同一地物)。這些數(shù)據(jù)的特點(diǎn)與訓(xùn)練出優(yōu)秀的分類模型原則相悖。換言之,一個(gè)基于固定時(shí)相和地理位置訓(xùn)練出的分類器難以處理其他時(shí)相或位置的遙感數(shù)據(jù)。此外,Rajan等[7]指出對(duì)遙感圖像進(jìn)行人工標(biāo)注是相當(dāng)昂貴且耗時(shí)的,重新進(jìn)行大量的數(shù)據(jù)標(biāo)注也是不現(xiàn)實(shí)的。因此,在遙感圖像分類問(wèn)題中,深度學(xué)習(xí)模型的分類性能被極大地限制,分類器訓(xùn)練面臨著相當(dāng)嚴(yán)峻的挑戰(zhàn)[8-9]。此外,當(dāng)前遙感圖像分類算法主要關(guān)注同一時(shí)相與同一空間的數(shù)據(jù)集分類問(wèn)題[10-11],對(duì)前述問(wèn)題的思考與研究較少。由此觀之,現(xiàn)有樣本的選擇和處理是當(dāng)前遙感圖像自動(dòng)解譯的瓶頸問(wèn)題[12]。

針對(duì)該問(wèn)題,遷移學(xué)習(xí)可以發(fā)揮重要作用,為遙感分類中的樣本完備標(biāo)簽信息不夠充分提供有效的解決辦法。例如,吳田軍等[1]認(rèn)為前期的土地覆蓋專題圖或歷史土地利用矢量圖是有意義的,因?yàn)樗鼈兒w了大量先驗(yàn)信息與知識(shí),這些信息能夠?yàn)楫?dāng)前目標(biāo)影像分類任務(wù)服務(wù)。由此觀之,遷移學(xué)習(xí)可以實(shí)現(xiàn)已有信息與知識(shí)的再利用,減少目視采集中重復(fù)且冗雜的工作[12]。

目前,研究人員嘗試提出一些有效的將深度學(xué)習(xí)與遷移學(xué)習(xí)進(jìn)行結(jié)合的方法,用以解決上述的學(xué)習(xí)難題。具體方法包括3種:基于實(shí)例的深度遷移學(xué)習(xí);基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí);基于特征遷移的深度遷移學(xué)習(xí)。

(1) 基于實(shí)例的深度遷移學(xué)習(xí)。該方法通過(guò)調(diào)整權(quán)重的方式,將源域中與目標(biāo)域相似的樣本遷移至目標(biāo)域,將源域數(shù)據(jù)與目標(biāo)域的數(shù)據(jù)共同作為目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)。例如,林聰?shù)萚12]利用圖像變化檢測(cè)技術(shù)與光譜形狀編碼的方法,從源域中遷移適用的地物類別知識(shí)并標(biāo)記在目標(biāo)影像中。Dai等[13]基于遷移學(xué)習(xí)框架,利用大量輔助標(biāo)簽數(shù)據(jù)對(duì)一部分未標(biāo)簽?zāi)繕?biāo)數(shù)據(jù)進(jìn)行無(wú)監(jiān)督聚類。此外,Liu等[14]在前者的基礎(chǔ)上,增加了重采樣算法。在每次迭代中只挑選出權(quán)重值最大的樣本遷移至目標(biāo)域,同時(shí)與目標(biāo)域中的有標(biāo)注樣本共同構(gòu)成訓(xùn)練集。但是該方法建立在源域存在并可以直接被用于目標(biāo)域數(shù)據(jù)的假設(shè)上,在高光譜數(shù)據(jù)分類應(yīng)用中具有一定的局限性。

(2) 基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)。Yosinski[15]指出網(wǎng)絡(luò)的前幾層是相對(duì)普遍的特征,隨著網(wǎng)絡(luò)層數(shù)的增加,提取出的特征將會(huì)更加專有化。對(duì)于新的數(shù)據(jù),可以對(duì)已有的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行微調(diào)后,再將其應(yīng)用在新數(shù)據(jù)上,從而減少重新訓(xùn)練網(wǎng)絡(luò)模型的工作。

(3) 基于特征遷移的深度遷移學(xué)習(xí)。Pan等[6]認(rèn)為該方法旨在尋找合適的特征空間,在新空間中處理數(shù)據(jù),從而減少源域與目標(biāo)域的差異性以及任務(wù)模型的錯(cuò)誤。Ruckert等[16]提出一種基于核函數(shù)的有監(jiān)督的歸納遷移方法,為目標(biāo)數(shù)據(jù)尋找出合適的核函數(shù)。Raina等[17]則提出一種無(wú)監(jiān)督遷移學(xué)習(xí),即通過(guò)應(yīng)用稀疏編碼學(xué)習(xí)高層次的特征。該方法存在基于聯(lián)域映射的深度遷移學(xué)習(xí)[18]的子類,它是指同時(shí)利用源域和目標(biāo)域的樣本并行訓(xùn)練網(wǎng)絡(luò)模型,從而使得網(wǎng)絡(luò)能夠?qū)W習(xí)到使得兩域分布相近的表示。在文獻(xiàn)[19]中,Tzeng等提出一個(gè)新的CNR遷移學(xué)習(xí)框架,該框架引入了自適應(yīng)度量準(zhǔn)則和域距離損失,通過(guò)最小化分類損失和域距離損失,盡可能對(duì)齊兩域間的數(shù)據(jù)。此外,在前者的基礎(chǔ)上,Long等[20]采用多核自適應(yīng)度量,并利用3個(gè)全連接層代替一個(gè)自適應(yīng)層來(lái)計(jì)算域距離損失。但是,該方法不能在類別不平衡的數(shù)據(jù)集上進(jìn)行有效的遷移,而高光譜數(shù)據(jù)類不平衡現(xiàn)象較為普遍也亟待解決[21-23],而且類不平衡現(xiàn)象極大地影響了模型的分類性能[24]。

本文所提算法創(chuàng)新性地采用基于領(lǐng)域自適應(yīng)的深度遷移學(xué)習(xí)和基于人工少數(shù)類過(guò)采樣(synthefic minority oversampling fechnique, SMOTE)方法,為解決前述問(wèn)題提供了一個(gè)新的解決思路。本文算法應(yīng)用遷移學(xué)習(xí),放寬了傳統(tǒng)機(jī)器學(xué)習(xí)中的兩個(gè)基本假設(shè)[6]條件:① 用于學(xué)習(xí)的訓(xùn)練樣本與新的測(cè)試樣本滿足獨(dú)立同分布的條件;② 必須用足夠的訓(xùn)練樣本才能學(xué)習(xí)到一個(gè)好的分類模型。因此,即便遙感圖像的標(biāo)注數(shù)據(jù)并不充分,數(shù)據(jù)分布隨時(shí)空動(dòng)態(tài)變化,分類器仍然能夠獲得優(yōu)秀的分類性能[25-26]。此外,針對(duì)高光譜數(shù)據(jù)集常見(jiàn)的類不平衡現(xiàn)象,本文算法引入SMOTE方法,均衡數(shù)據(jù)集類別數(shù)量,實(shí)現(xiàn)數(shù)據(jù)間的有效遷移。

1 SMOTE方法和深度遷移網(wǎng)絡(luò)設(shè)計(jì)

本文實(shí)驗(yàn)采用了3種殘差網(wǎng)絡(luò)(residual network, ResNet)結(jié)構(gòu):ResNet34、ResNet50和ResNet101[27]。引言中指出,當(dāng)前遙感圖像類不平衡的情況比較突出,如果直接對(duì)不平衡數(shù)據(jù)進(jìn)行訓(xùn)練,得到的分類器魯棒性較差,因此需要對(duì)數(shù)據(jù)進(jìn)行SMOTE處理以實(shí)現(xiàn)類別平衡。

本文算法在實(shí)現(xiàn)遙感圖像數(shù)據(jù)類平衡后,旨在把具有不同概率分布的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)映射到新的特征空間,使兩域分布在該空間中盡可能相似,因而在新特征空間中對(duì)源域數(shù)據(jù)進(jìn)行訓(xùn)練得到的模型也可以遷移至目標(biāo)域數(shù)據(jù),從而使得模型對(duì)目標(biāo)域數(shù)據(jù)的處理更加準(zhǔn)確。此外,為提高模型優(yōu)化的速率,模型的初始參數(shù)是經(jīng)過(guò)預(yù)訓(xùn)練后由網(wǎng)絡(luò)遷移所得。

1.1 SMOTE方法

SMOTE方法合成新少數(shù)類樣本的過(guò)程可描述如下:

(1) 以歐氏距離為度量準(zhǔn)則,計(jì)算Smin中每一個(gè)樣本xi到Smin除其本身所有樣本的距離,并得到該樣本xi的K個(gè)最近鄰點(diǎn);

(2) 依據(jù)樣本類別不平衡的情況,具體分析并設(shè)置采樣倍率N;

(1)

1.2 CNR的ResNet

網(wǎng)絡(luò)越深,獲得的信息更多,信息的特征更豐富。但同時(shí)伴隨著網(wǎng)絡(luò)深度的加深,其表達(dá)能力卻變得更差,這是因?yàn)閷訑?shù)深的網(wǎng)絡(luò)會(huì)導(dǎo)致梯度爆炸和梯度消失問(wèn)題。

ResNet殘差結(jié)構(gòu)如圖1所示[23],它能較好地解決網(wǎng)絡(luò)退化的問(wèn)題:當(dāng)僅用f(x)來(lái)擬合期望的潛在映射時(shí),隨著網(wǎng)絡(luò)的加深,對(duì)該映射f(x)求偏導(dǎo)得到的結(jié)果可能極小甚至趨近于0,但是網(wǎng)絡(luò)利用f(x)+x作為輸入,則可以始終獲得大于1的結(jié)果。

圖1 ResNet的殘差結(jié)構(gòu)Fig.1 Residual structure of ResNet

1.3 深度遷移學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)

在實(shí)際應(yīng)用中,研究者通常不會(huì)針對(duì)一個(gè)新任務(wù)從頭開(kāi)始訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò),因?yàn)檫@樣的操作是相當(dāng)昂貴且耗時(shí)的。此外,新任務(wù)的訓(xùn)練數(shù)據(jù)通常規(guī)模較小,訓(xùn)練出來(lái)的網(wǎng)絡(luò)泛化能力較弱[31]?；诰W(wǎng)絡(luò)的遷移學(xué)習(xí)將已經(jīng)訓(xùn)練好的模型參數(shù)遷移至自身的任務(wù)上,能夠提高網(wǎng)絡(luò)的泛化能力,以及減少網(wǎng)絡(luò)訓(xùn)練的代價(jià)。

本文所提算法中的領(lǐng)域自適應(yīng)學(xué)習(xí)采用雙流結(jié)構(gòu),其基于CNR模型的結(jié)構(gòu)如圖2所示[19]。

該結(jié)構(gòu)由兩個(gè)網(wǎng)絡(luò)分支組成,兩個(gè)網(wǎng)絡(luò)分支之間共享權(quán)重參數(shù),分別輸入源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)中同一批次的樣本。此后,數(shù)據(jù)流經(jīng)CNR的特征提取層,到達(dá)高級(jí)特征層,在該層中計(jì)算遷移正則項(xiàng),最后數(shù)據(jù)張量到達(dá)輸出層,完成一次前向傳播。兩個(gè)網(wǎng)絡(luò)分支都在全連接層前設(shè)置自適應(yīng)層,該層可以計(jì)算源域數(shù)據(jù)Ds和目標(biāo)域數(shù)據(jù)DT的分布差異(domain loss, DL)。此外,源域所在的分支需要流經(jīng)全連接層,獲得分類損失(classification loss, CL),設(shè)為L(zhǎng)ct(Ds),目標(biāo)域所在分支僅需流至自適應(yīng)層即可,最后網(wǎng)絡(luò)的參數(shù)更新受CL和DL所構(gòu)成的聯(lián)合損失約束。聯(lián)合損失可表示為

Lloss=λ·LDL(Ds,DT)+LCL(Ds)

(2)

式中:LDL(Ds,DT)表示源域與目標(biāo)域數(shù)據(jù)在特征層的DL;Lct(Ds)則是源域數(shù)據(jù)的CL;λ∈(0,∞)是可調(diào)節(jié)的權(quán)重系數(shù)。

1.4 深度遷移學(xué)習(xí)的領(lǐng)域自適應(yīng)度量準(zhǔn)則

由前述工作可知,源域與目標(biāo)域間的DL需要被度量。利用度量準(zhǔn)則,深度遷移網(wǎng)絡(luò)可以定量地給出目標(biāo)域與源域的DL程度。因此,深度網(wǎng)絡(luò)可以有根據(jù)地增大兩域分布的相似性,從而實(shí)現(xiàn)對(duì)來(lái)自不同源但屬于同一地物的高光譜數(shù)據(jù)的特征學(xué)習(xí)。

1.4.1 最大均值差異準(zhǔn)則

基于最大均值差異(maximum mean discrepancy, MMD)準(zhǔn)則的特征遷移學(xué)習(xí)的本質(zhì)上是要找到一個(gè)映射函數(shù),使得經(jīng)此映射,源域與目標(biāo)域的分布距離最小[32]。MMD的數(shù)學(xué)定義如下:

MMD[F,p,q]=

(3)

f(x)=〈f,φ(x)〉H

(4)

利用式(3)和再生希爾伯特空間的性質(zhì),即式(4),MMD距離可進(jìn)行如下推導(dǎo):

MMD[F,p,q]=

(5)

式(5)利用了再生希爾伯特空間的再生性,可變向量經(jīng)由函數(shù)φ(·)映射到希爾伯特空間,再與該空間中的給定向量f作點(diǎn)積,實(shí)現(xiàn)變量到高維的映射變換:

(6)

(7)

在實(shí)際計(jì)算中,μp和μq采用均值表示,因此MMD距離可表示為

(8)

至此,MMD的理論推導(dǎo)過(guò)程已介紹完畢。值得一提的是,在實(shí)際應(yīng)用MMD距離時(shí),將采用核技巧,核技巧可使得兩個(gè)向量的內(nèi)積并不需要顯式表示映射函數(shù)。對(duì)式(8)進(jìn)行平方處理,并用核函數(shù)表達(dá),如下所示:

(9)

式中:xi與yj在希爾伯特空間內(nèi)積的結(jié)果為原始樣本經(jīng)由k(·,·)計(jì)算的結(jié)果。式(9)可表示為如下所示:

(10)

結(jié)合遷移學(xué)習(xí),當(dāng)xi∈Ds,yj∈DT代表源域,DT代表目標(biāo)域時(shí),為方便運(yùn)算,MMD距離最后可寫成如下矩陣形式:

MMD=tr(KL)

(11)

結(jié)合式(2),基于MMD準(zhǔn)則的深度遷移學(xué)習(xí)的損失函數(shù)可寫為:

Lloss=λ·LMMD(Ds,DT)+LCL(Ds)

(12)

1.4.2 相互關(guān)系對(duì)齊準(zhǔn)則

從數(shù)學(xué)意義來(lái)講,相互關(guān)系對(duì)齊(corelation alignment, CORAL)準(zhǔn)則可減少源域Ds和目標(biāo)域DT協(xié)方差矩陣的差異過(guò)程,可展開(kāi)如下。

假定源域的數(shù)據(jù)為Ds={xi}(x∈Rd),LS={yi}(i∈{1,2,…,L}),目標(biāo)域的數(shù)據(jù)(未標(biāo)記)為DT={ui}(u∈Rd)。其中,源域和目標(biāo)域數(shù)據(jù)量分別為nS和nT;d代表數(shù)據(jù)維數(shù)。此外,由圖2網(wǎng)絡(luò)結(jié)構(gòu)可知,此時(shí),x和u是經(jīng)過(guò)網(wǎng)絡(luò)深層激活φ(·)的輸入;函數(shù)φ(·)則是網(wǎng)絡(luò)參數(shù)更新時(shí)所學(xué)習(xí)的內(nèi)容[33]。

(13)

源域與目標(biāo)域的特征協(xié)方差矩陣的計(jì)算分別如下:

(14)

(15)

式(14)與式(15)中的1表示全為1的列向量。

利用鏈?zhǔn)椒▌t,計(jì)算出源域輸入特征的梯度如下:

(16)

目標(biāo)域輸入特征的梯度如下:

(17)

結(jié)合式(2),基于CORAL準(zhǔn)則的深度遷移學(xué)習(xí)的損失函數(shù)為

LL=λ·LCORAL(Ds,DT)+LCL(Ds)

2 SMOTE-深度遷移學(xué)習(xí)實(shí)驗(yàn)設(shè)計(jì)

本文算法SMOTE-深度遷移神經(jīng)網(wǎng)絡(luò)(SMOTE-deep transfer ResNet, STR)的流程包括以下4個(gè)步驟:① 數(shù)據(jù)預(yù)處理;② SMOTE處理;③ 深度網(wǎng)絡(luò)設(shè)計(jì);④ 遷移神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)。

2.1 數(shù)據(jù)預(yù)處理

首先,基于自適應(yīng)度量準(zhǔn)則的特征遷移學(xué)習(xí)要求源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)的學(xué)習(xí)任務(wù)相同以及特征空間相同,兩域僅數(shù)據(jù)分布不完全相同。因此,源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)應(yīng)該滿足以下要求:① 來(lái)自同一傳感器,這可以保證兩域的數(shù)據(jù)特征空間是相同的;② 高維度的某域數(shù)據(jù)應(yīng)降維至低維度的另一域數(shù)據(jù);③ 兩域的數(shù)據(jù)地物類別的數(shù)量以及類型應(yīng)該保持一致或相似,這可以使兩域的學(xué)習(xí)任務(wù)是相同的;④ 在兩域數(shù)據(jù)中,相同類別的數(shù)據(jù)標(biāo)簽應(yīng)是一致的。

隨后,為驗(yàn)證模型的分類性能,實(shí)驗(yàn)從原數(shù)據(jù)集中無(wú)放回地選取部分?jǐn)?shù)據(jù),構(gòu)成訓(xùn)練模型的訓(xùn)練集,剩余數(shù)據(jù)自動(dòng)歸為模型的測(cè)試集。

數(shù)據(jù)預(yù)處理算法設(shè)計(jì)可以總結(jié)為對(duì)數(shù)據(jù)進(jìn)行學(xué)習(xí)任務(wù)的匹配和特征維的對(duì)齊,具體流程如算法1所示。

算法1 匹配學(xué)習(xí)任務(wù)和對(duì)齊特征維輸入:S=[XS,YS]∈{xi,yi}NSi=1:源域的訓(xùn)練數(shù)據(jù);DT=[XDT,YDT]∈{xi,yi}NTi=1:目標(biāo)域的訓(xùn)練數(shù)據(jù);LS:源域的維度大小;LD:目標(biāo)域的維度大小; NS:源域樣本數(shù)量;NT:目標(biāo)域樣本數(shù)量1: 設(shè)置空集SN和DTN2: for i=1:NS(NT) do3: if yi!=0, then4: 將(xi,yi)填入SN或DTN5: end if6: end for7: 計(jì)算SN的樣本數(shù)量為NSN和DTN的地物類型8: for i=1:NSNdo9: if SN中的yi不屬于DTN的地物類別, then10: 從SN中剔除(xi,yi)11: end if12: end for13: 比較LS和LD大小,若相同,則直接跳到輸出14: 重新計(jì)算SN的樣本數(shù)量為NSN,DTN的樣本數(shù)量為NTN15: for i=1:NSN(or NTN) do16: 對(duì)SN(or DTN)中樣本的特征進(jìn)行降維17: end for輸出:匹配學(xué)習(xí)任務(wù)以及特征降維后的SN和DTN

2.2 SMOTE流程設(shè)計(jì)

針對(duì)遙感圖像數(shù)據(jù)集中出現(xiàn)的類不平衡現(xiàn)象,實(shí)驗(yàn)采用的SMOTE方法如算法2所示[34]。

算法2 SMOTE處理輸入:SN:特征與標(biāo)簽對(duì)齊后的源域數(shù)據(jù);DTN:特征與標(biāo)簽對(duì)齊后的目標(biāo)域訓(xùn)練數(shù)據(jù);β1%:SN整體降采樣率;β2%:DTN整體降采樣率;α%:SMOTE再采樣率;Ni:第i個(gè)類別的訓(xùn)練數(shù)據(jù);L:類別數(shù)目1: 對(duì)SN和DTN分別以β1%和β2%進(jìn)行降采樣2: 對(duì)SN和DTN中的樣本按類別進(jìn)行分類,并根據(jù)每個(gè)類別的數(shù)量由高到低進(jìn)行排序,N1是恒為樣本數(shù)量最多的類別3: for c=2:L do4: 對(duì)c類別進(jìn)行有放回的隨機(jī)采樣α%·N1個(gè)數(shù)據(jù),獲得數(shù)據(jù)集Sct(c=2,3,…,L)5: 對(duì)c類別進(jìn)行SMOTE采樣(1-α)%·N1個(gè)數(shù)據(jù),結(jié)合Sct,獲得數(shù)據(jù)集S' ct6: end for7: 拼接N1和S'ct,獲得新數(shù)據(jù)集GSN和GDTN輸出:類別平衡的源域數(shù)據(jù)集GSN和目標(biāo)域訓(xùn)練數(shù)據(jù)集GDTN

2.3 深度網(wǎng)絡(luò)設(shè)計(jì)

本文利用標(biāo)準(zhǔn)數(shù)據(jù)集ImageNet對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練(除第1層),由于本文的第1層網(wǎng)絡(luò)的通道數(shù)為1,而ImageNet是3通道圖片,所以第1層的權(quán)重采用隨機(jī)值。該部分流程如算法3所示。

算法 3 深度網(wǎng)絡(luò)設(shè)計(jì) 輸入:arch:網(wǎng)絡(luò)名稱;block:網(wǎng)絡(luò)的殘差塊堆疊參數(shù);pretrained:預(yù)訓(xùn)練布爾值;model_ω:原ResNet網(wǎng)絡(luò)的預(yù)訓(xùn)練參數(shù);model.state_dict:實(shí)驗(yàn)?zāi)Ｐ偷膮?shù)字典;new_state:更新后的預(yù)訓(xùn)練參數(shù)1: def ResNet(arch, block, pretrained):2: 根據(jù)block值設(shè)計(jì)殘差網(wǎng)絡(luò)結(jié)構(gòu)3: if pretrained,then 根據(jù)arch加載預(yù)訓(xùn)練參數(shù)model_ω4: for k,v in model.state_dict do if k in model_ω and k !=‘conv1.weight’,then 加載網(wǎng)絡(luò)參數(shù)進(jìn)new_state5: 為模型加載新的預(yù)訓(xùn)練參數(shù)new_state6: def ResNet34(block,pretrained):7: ResNet(ResNet34,block,pretrained)8: 同理可得ResNet50和ResNet101輸出:網(wǎng)絡(luò)函數(shù)ResNet34、ResNet50和ResNet101

2.4 遷移神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

遷移神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)增添自適應(yīng)層來(lái)實(shí)現(xiàn)知識(shí)遷移的功能。自適應(yīng)層,如前所述,就是計(jì)算源域與目標(biāo)域之間DL的環(huán)節(jié)。本文實(shí)驗(yàn)采用單核自適應(yīng)層,該自適應(yīng)層設(shè)置在網(wǎng)絡(luò)全連接層前,計(jì)算兩域數(shù)據(jù)經(jīng)過(guò)網(wǎng)絡(luò)特征降維與采樣后的特征DL,并聯(lián)合該差異與網(wǎng)絡(luò)的CL,最后再通過(guò)梯度下降法,將該聯(lián)合損失反饋至網(wǎng)絡(luò),使得網(wǎng)絡(luò)能夠向減少兩域DL的方向優(yōu)化。該部分的算法分為兩個(gè)階段:① 遷移神經(jīng)網(wǎng)絡(luò)前向傳播;② 遷移神經(jīng)網(wǎng)絡(luò)后向傳播。具體流程如算法4所示。

算法 4 遷移神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)階段1:遷移神經(jīng)網(wǎng)絡(luò)前向傳播輸入:source(target):源域(目標(biāo)域)數(shù)據(jù);kernel_p:核函數(shù)參數(shù);numclass:分類類別數(shù)目;BaseNet:采用的深度網(wǎng)絡(luò)結(jié)構(gòu);name_loss:度量準(zhǔn)則的名稱;lossdomain:兩域特征分布損失;prediction:網(wǎng)絡(luò)預(yù)測(cè)值1: def class MMD_loss(source, target, kernel_p):2: 根據(jù)kernel_p提供的參數(shù),計(jì)算source與target的MMD的DL3: def class CORAL_loss(source,target)4: 分別計(jì)算source和target的協(xié)方差矩陣,計(jì)算出兩者的CORAL的DL5: def class Transfer Net(numclass, BaseNet, name_loss):6: 根據(jù)BaseNet加載算法2中對(duì)應(yīng)的網(wǎng)絡(luò),保留除全連接層的所有神經(jīng)網(wǎng)絡(luò)層7: 將source和target輸入進(jìn)上述網(wǎng)絡(luò),獲得更新后的source和target8: 根據(jù)nameloss,計(jì)算source和target的度量損失lossdomain9: 加載分類層,輸入source,獲得預(yù)測(cè)值prediction輸出:lossdomain和prediction階段2:遷移神經(jīng)網(wǎng)絡(luò)后向傳播輸入:lossdomain:領(lǐng)域間分布損失;prediction:網(wǎng)絡(luò)的預(yù)測(cè)值;source(target):源域(目標(biāo)域)數(shù)據(jù);lossclf:源域的CL;TransferNet:遷移學(xué)習(xí)網(wǎng)絡(luò)1: 計(jì)算預(yù)測(cè)值prediction和源域數(shù)據(jù)source間的交叉熵?fù)p失lossclf2: 計(jì)算lossclf和lossdomain的聯(lián)合損失3: 反向傳播計(jì)算梯度4: 更新網(wǎng)絡(luò)參數(shù)輸出:參數(shù)更新后的網(wǎng)絡(luò)TransferResNet

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)采用兩組標(biāo)準(zhǔn)高光譜數(shù)據(jù),分別是Center of Pavia 反射式光學(xué)系統(tǒng)成像光譜儀(reflective optics system imaging spectnmeter,ROSIS)和University of Pavia ROSIS(簡(jiǎn)稱Pavia組)以及Salinas和SalinaA(簡(jiǎn)稱Salinas組)。

(1) Center of Pavia ROSIS是第一組數(shù)據(jù)的源域數(shù)據(jù),University of Pavia ROSIS則是第一組數(shù)據(jù)的目標(biāo)域數(shù)據(jù)。Center of Pavia ROSIS的圖片大小為1 096×1 096,光譜頻帶有102個(gè),幾何分辨率為1.3 m,一共有9個(gè)地物類別。University of Pavia ROSIS的圖片大小為610×610,光譜頻帶有103個(gè),幾何分辨率也為1.3 m,與前者相同,它也有9個(gè)地物類別。

(2) Salinas數(shù)據(jù)集和SalinasA數(shù)據(jù)集都由機(jī)載可見(jiàn)光/紅外成像光譜儀(airborne visible infrared imaging spectrometer,AVIRIS)傳感器收集而得。前者為第二組數(shù)據(jù)的源域數(shù)據(jù),后者則為第二組數(shù)據(jù)的目標(biāo)域數(shù)據(jù)。它們的空間分辨率都為3.7 m,光譜頻帶有224個(gè),前者的圖片大小為512×512,地物類別為16個(gè),后者的圖片大小為86×83,地物類別則為6個(gè)。

為了更符合實(shí)際應(yīng)用情況,模型的源域數(shù)據(jù)量多于目標(biāo)域,同時(shí)目標(biāo)域訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)并不重疊,且目標(biāo)域的訓(xùn)練數(shù)據(jù)無(wú)標(biāo)簽。具體數(shù)據(jù)集信息如表1所示。

表1 數(shù)據(jù)集信息

3.2 評(píng)價(jià)方法與參數(shù)設(shè)置

為評(píng)價(jià)模型的分類性能,本文計(jì)算模型在兩組數(shù)據(jù)上的總體精度(overall accuracy, OA)、平均精度(average accuracy, AA)和Kappa系數(shù)。本文采用的優(yōu)化器為隨機(jī)梯度下降器,需要設(shè)置網(wǎng)絡(luò)的學(xué)習(xí)率(learning rate, LR)。由圖3可知,相比其他學(xué)習(xí)率設(shè)置(如1e-4和1e-2),當(dāng)網(wǎng)絡(luò)的學(xué)習(xí)率為1e-3時(shí),網(wǎng)絡(luò)在Pavia組數(shù)據(jù)和Salinas組數(shù)據(jù)訓(xùn)練的過(guò)程中都保持著較好的總體精度,且精度更快地趨向平穩(wěn)值,因此網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為1e-3。此外,根據(jù)式(2)可知,網(wǎng)絡(luò)的聯(lián)合損失需要設(shè)置超參數(shù)λ。由圖4(a)和圖5(a)可知,對(duì)于不同的λ設(shè)置,網(wǎng)絡(luò)訓(xùn)練中的總體精度差距不明顯,尤其是在訓(xùn)練后期,3種λ的總體精度相近。因此,需考慮網(wǎng)絡(luò)訓(xùn)練的OA、AA以及Kappa系數(shù)的均值。由圖4(b)和圖5(b)可知,當(dāng)λ為1e3時(shí),網(wǎng)絡(luò)對(duì)Pavia組數(shù)據(jù)和Salinas組數(shù)據(jù)的分類都具有更好的評(píng)價(jià)分?jǐn)?shù),尤其是AA分?jǐn)?shù)顯著突出,Kappa分?jǐn)?shù)次之。基于此,本文兩組數(shù)據(jù)在實(shí)驗(yàn)中的λ都設(shè)置為1e3。與此同時(shí),為了更客觀地考量分類算法的表現(xiàn),Pavia組中的數(shù)據(jù)每迭代5次進(jìn)行一次總體精度計(jì)算,共迭代45次。Salinas組的數(shù)據(jù)每迭代10次進(jìn)行一次總體精度計(jì)算,共迭代100次。訓(xùn)練結(jié)束后,統(tǒng)計(jì)平均OA、AA和Kappa系數(shù)。

圖4 不同λ下網(wǎng)絡(luò)分類Pavia組的評(píng)價(jià)分?jǐn)?shù)Fig.4 Network’s classification evaluation indicator on Pavia group with different λ

圖5 不同λ下網(wǎng)絡(luò)分類Salinas組的評(píng)價(jià)分?jǐn)?shù)Fig.5 Network’s classification evaluation indicator on Salinas group with different λ

3.3 實(shí)驗(yàn)結(jié)果分析

本文設(shè)置實(shí)驗(yàn)組和對(duì)照組,實(shí)驗(yàn)組以3種不同深度和兩種度量準(zhǔn)則來(lái)討論STR的分類性能;對(duì)照組則是ResNet對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分類的結(jié)果以及實(shí)驗(yàn)數(shù)據(jù)在多表示適應(yīng)網(wǎng)絡(luò)(multi-representation adaptation network, MRAN)[35]中的結(jié)果。通過(guò)設(shè)置對(duì)照組,實(shí)驗(yàn)結(jié)果能夠更好地體現(xiàn)本文所提算法在高光譜數(shù)據(jù)分類問(wèn)題上的優(yōu)異表現(xiàn)。其中,ResNet的超參數(shù)設(shè)置與本文實(shí)驗(yàn)保持一致;MRAN的超參數(shù)(除迭代次數(shù)與本文實(shí)驗(yàn)一致)與原文設(shè)置保持一致。將實(shí)驗(yàn)組與對(duì)照組的結(jié)果進(jìn)行比較,本文發(fā)現(xiàn)基于CORAL準(zhǔn)則的STR(CORAL-STR)的分類表現(xiàn)要比ResNet以及MRAN優(yōu)異,如表2所示,其中粗體為CORAL-STR的分類結(jié)果。

表2 Salinas組和Pavia組在STR、ResNet和MRAN的分類評(píng)價(jià)

根據(jù)前述內(nèi)容,實(shí)驗(yàn)已完成所有準(zhǔn)備工作,結(jié)果展示如表3～表6所示。其中,表3、表4分別展示了Salinas組數(shù)據(jù)和Pavia組數(shù)據(jù)基于SMOTE的過(guò)采樣處理,在3種ResNet網(wǎng)絡(luò)結(jié)構(gòu)和兩種度量準(zhǔn)則下的分類結(jié)果,即OA、AA和Kappa系數(shù)。表5則展示了Pavia組數(shù)據(jù)和Salinas組數(shù)據(jù)未經(jīng)SMOTE過(guò)采樣和遷移學(xué)習(xí)處理的ResNet的分類結(jié)果。表6展示了數(shù)據(jù)在MRAN的分類結(jié)果。其中,結(jié)果的最優(yōu)值均以粗體示意,“-”表示數(shù)據(jù)未進(jìn)行該輪次迭代。

表3 Salinas組經(jīng)SMOTE處理后的數(shù)據(jù)集在ResNet34、ResNet50和ResNet101分別以MMD和CORAL為度量準(zhǔn)則的深度遷移學(xué)習(xí)分類結(jié)果

表4 Pavia組經(jīng)SMOTE處理后的數(shù)據(jù)集在ResNet34、ResNet50和ResNet101分別以MMD和CORAL為度量準(zhǔn)則的深度遷移學(xué)習(xí)分類結(jié)果

表5 數(shù)據(jù)集在ResNet34、ResNet50和ResNet101分類結(jié)果

續(xù)表5

表6 數(shù)據(jù)集在MRAN(r1+r2)和MRAN的分類結(jié)果

實(shí)驗(yàn)結(jié)果的分析將分為兩部分:① 對(duì)不同深度和采用不同度量準(zhǔn)則的SMOTE-TransferResNet的分類表現(xiàn)進(jìn)行比較;② 分別比較CORAL-STR與ResNet[23]以及MRAN者的分類表現(xiàn)。

首先,對(duì)于兩組數(shù)據(jù),在相同深度下,采用MMD準(zhǔn)則的STR整體上與采用CORAL-STR的精度相近。在Salinas組數(shù)據(jù)中,當(dāng)網(wǎng)絡(luò)深度為50層和101層時(shí),前者的OA要比后者平均高出1%～1.3%,前者的AA比后者平均高出0.5%～1%,Kappa系數(shù)則高出1%～1.5%。值得一提的是,隨著網(wǎng)絡(luò)深度的上升,網(wǎng)絡(luò)的精度并不與其成正相關(guān)。實(shí)驗(yàn)結(jié)果表明,網(wǎng)絡(luò)深度為50層的評(píng)價(jià)分?jǐn)?shù)要比101層高,而且最好的評(píng)價(jià)分?jǐn)?shù)出現(xiàn)在第34層,此時(shí)網(wǎng)絡(luò)的OA、AA和Kappa系數(shù)分別比高層網(wǎng)絡(luò)高出2%～6%、3%～5%和2.4%～6.5%。從Pavia組數(shù)據(jù)的分類結(jié)果來(lái)看,相同深度下,基于MMD準(zhǔn)則的STR的OA和Kappa系數(shù)比基于CORAL-STR的OA和Kappa系數(shù)分別高出0.5%～0.8%和0.5%～1.2%。與Salinas組數(shù)據(jù)類似,Pavia組數(shù)據(jù)最好的分類評(píng)價(jià)分?jǐn)?shù)也是發(fā)生在第34層網(wǎng)絡(luò),此時(shí)網(wǎng)絡(luò)的OA、AA和Kappa系數(shù)比高層網(wǎng)絡(luò)平均高出5%～10%,3%～10%和5%～13%。由此觀之,SMOTE-TransferResNet在較低的網(wǎng)絡(luò)深度也有更好的表現(xiàn)。因此,表2中選取基于CORAL準(zhǔn)則的SMOTE-TransferResNet34作為對(duì)比實(shí)驗(yàn)數(shù)據(jù)。

其次,由表3和表5可知,當(dāng)網(wǎng)絡(luò)為CORAL-STR時(shí),實(shí)驗(yàn)組的OA比3種深度的ResNet高出0.8%～7%,Kappa系數(shù)有2.5%～10%的提升,AA有0.5%～8%的提升。由表4和表5可知,針對(duì)Pavia組數(shù)據(jù),當(dāng)網(wǎng)絡(luò)為CORAL-STR時(shí),實(shí)驗(yàn)組的OA比ResNet高出6.5%～11.2%,Kappa系數(shù)有6%～8%的提升, AA則有8%左右的提升。此外,由表3、表4和表6可知,在兩組數(shù)據(jù)中,CORAL-STR的評(píng)價(jià)分?jǐn)?shù)都比MRAN高,其中前者的OA、AA和Kappa系數(shù)比后者平均高出2.8%、0.35%和3.75%

綜上所述,對(duì)比ResNet和MRAN,STR能夠在高光譜數(shù)據(jù)標(biāo)簽較少的情況下,在較低的網(wǎng)絡(luò)深度實(shí)現(xiàn)對(duì)不平衡高光譜數(shù)據(jù)更高精度的分類,這能夠節(jié)省遙感圖像分類的計(jì)算資源(不需要過(guò)于復(fù)雜的網(wǎng)絡(luò))和減少人力成本(不需要海量的標(biāo)注數(shù)據(jù))。在當(dāng)前遙感圖像分類問(wèn)題中,數(shù)據(jù)類不平衡和完備標(biāo)注數(shù)據(jù)較少的問(wèn)題比較顯著,本文所提算法對(duì)解決這兩個(gè)問(wèn)題具有一定的實(shí)際意義。

4 結(jié) 論

本文所提算法的意義在于為解決高光譜數(shù)據(jù)樣本標(biāo)注少、數(shù)據(jù)隨時(shí)空動(dòng)態(tài)變化和類不平衡等復(fù)雜問(wèn)題提供一種新的研究方法。該算法利用SMOTE改善數(shù)據(jù)不平衡現(xiàn)象,同時(shí)實(shí)現(xiàn)對(duì)數(shù)據(jù)的增量,充分利用了深度學(xué)習(xí)強(qiáng)大的數(shù)據(jù)處理能力。此外,該算法應(yīng)用遷移學(xué)習(xí)減少了深度學(xué)習(xí)對(duì)數(shù)據(jù)集的限制。首先,通過(guò)數(shù)據(jù)預(yù)處理實(shí)現(xiàn)匹配源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)的分類任務(wù);隨后,設(shè)計(jì)深度遷移神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),本文設(shè)置3種不同深度的網(wǎng)絡(luò),探討深度對(duì)模型分類性能的影響;最后,算法基于網(wǎng)絡(luò)遷移對(duì)本文網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。此外,本文算法基于特征遷移對(duì)網(wǎng)絡(luò)進(jìn)行自適應(yīng)層的設(shè)計(jì),設(shè)置MMD和CORAL為兩種自適應(yīng)度量準(zhǔn)則。針對(duì)數(shù)據(jù)集中出現(xiàn)的類不平衡現(xiàn)象,本文所提方法通過(guò)SMOTE方法平衡數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明,在高光譜數(shù)據(jù)標(biāo)簽較少且類不平衡的問(wèn)題下,本文算法在高光譜遙感圖像土地覆蓋分類問(wèn)題中有更優(yōu)異的表現(xiàn)。在未來(lái)的研究中,可以探討在SMOTE處理中如何避免引入噪聲數(shù)據(jù),同時(shí)對(duì)網(wǎng)絡(luò)引入多核自適應(yīng)度量,增強(qiáng)對(duì)不同時(shí)空下高光譜數(shù)據(jù)的特征遷移。