辛紫麒, 李忠偉, 王雷全, 許明明, 胡亞斌, 梁 建

基于光譜-空間聯(lián)合Transformer模型的黃河三角洲濕地高光譜影像分類

辛紫麒1, 李忠偉1, 王雷全2, 許明明1, 胡亞斌3, 梁 建4

(1. 中國石油大學(xué)(華東)海洋與空間信息學(xué)院, 山東 青島 266580; 2. 中國石油大學(xué)(華東)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 山東 青島 266580; 3. 自然資源部 第一海洋研究所, 山東 青島 266061; 4. 南通智能感知研究院, 江蘇 南通 226007)

黃河三角洲濕地地物類型在光譜曲線上差異較小, 且在空間上分布零散, 呈破碎化特性。現(xiàn)有的分類方法受限于局部感受野難以捕捉到圖像的長距離依賴關(guān)系, 導(dǎo)致在黃河三角洲濕地高光譜影像中分類精度不理想, 針對(duì)此問題, 本文提出了一種光譜-空間聯(lián)合Transformer模型。光譜和空間支路分別以光譜向量和空間鄰域?yàn)檩斎? 基于自注意力機(jī)制提取全局光譜和空間特征, 在兩個(gè)支路引入多階特征交互層, 實(shí)現(xiàn)淺層邊緣信息和深層語義信息的融合, 最后采用自適應(yīng)相加的方式將兩路特征融合, 送入分類器實(shí)現(xiàn)最終分類。本文在黃河三角洲濕地高分五號(hào)GF-5和CHRIS兩幅高光譜影像上驗(yàn)證方法的有效性, 實(shí)驗(yàn)結(jié)果表明, 該方法顯著提高了濕地分類的精度, 在選用3%的樣本訓(xùn)練條件下總體精度分別達(dá)到了90.90%和94.17%, 優(yōu)于其他分類方法。研究結(jié)果可實(shí)現(xiàn)黃河三角洲濕地地物類型的高精度分類, 為濕地的保護(hù)提供技術(shù)支持。

黃河三角洲濕地; 高光譜影像分類; Transformer模型; 光譜-空間聯(lián)合

黃河三角洲濕地是中國暖溫帶最廣闊、最完整、最年輕的濱海濕地, 其不僅在儲(chǔ)備資源、調(diào)節(jié)氣候、水質(zhì)凈化[1-3]等方面發(fā)揮著重要作用, 還是眾多珍稀動(dòng)植物的棲息地[4], 具有不可估量的價(jià)值。黃河三角洲濕地在海洋、陸地和河流的多重作用下本身具有原生性、脆弱性的特點(diǎn), 近年來, 油田開發(fā)、旅游設(shè)施建設(shè)、農(nóng)田開墾、灘涂開發(fā)等人類活動(dòng)使得濕地面積劇烈變化[5-6], 進(jìn)而影響到其生態(tài)價(jià)值和生物多樣性。因此, 實(shí)現(xiàn)黃河三角洲濕地的高精度分類, 掌握不同類型濕地植被的空間分布格局與特征, 可為濕地以及生物多樣性的保護(hù)提供必要的參考信息。

作為一種典型的遙感圖像, 高光譜圖像在光譜維有數(shù)十甚至上百個(gè)連續(xù)且細(xì)分的波段, 同時(shí)相鄰的地物之間具有高度的相關(guān)性, 蘊(yùn)含著豐富的光譜和空間信息, 為實(shí)現(xiàn)黃河三角洲濕地精細(xì)化分類提供了可能。一些學(xué)者基于高光譜數(shù)據(jù)對(duì)黃河三角洲濕地進(jìn)行了分類研究, 吳培強(qiáng)等[7]基于地物光譜可分性對(duì)黃河三角洲濕地CHRIS高光譜影像進(jìn)行波段選擇, 并應(yīng)用支持向量機(jī)等方法進(jìn)行分類, 提升了分類精度; 馬毅等[8]選用人工神經(jīng)網(wǎng)絡(luò)等8種常用的遙感圖像監(jiān)督分類方法, 開展了不同融合策略決策分類結(jié)果的比較研究。然而上述基于傳統(tǒng)機(jī)器學(xué)習(xí)的方式需要復(fù)雜的特征工程, 且不易遷移到其他數(shù)據(jù), 不能滿足實(shí)時(shí)高效、泛化性強(qiáng)的濱海濕地分類需求。

近年來興起的以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法通過局部連接、共享權(quán)重自動(dòng)提取高光譜圖像中的紋理邊緣等淺層特征和高階語義信息等深層次特征, 能夠有效地?cái)M合高光譜圖像的分類標(biāo)簽與高光譜圖像數(shù)據(jù)特征之間的非線性關(guān)系, 許多學(xué)者也將其應(yīng)用于黃河三角洲濕地分類中。HU等[9]采用卷積神經(jīng)網(wǎng)絡(luò)模型提取光譜空間特征, 并使用模糊隸屬度決策融合算法對(duì)黃河三角洲濕地進(jìn)行分類; XIE等[10]提出了一個(gè)具有殘差連接的雙分支卷積神經(jīng)網(wǎng)絡(luò)框架, 并設(shè)計(jì)了一個(gè)全局光譜-空間注意力模塊來引導(dǎo)網(wǎng)絡(luò)聚焦于更具辨別性的特征, 取得了良好的分類效果。

另外, LIU等[11]融合了高光譜圖像光譜分辨率高和多光譜圖像空間分辨率高的優(yōu)點(diǎn), 同時(shí)使用兩種數(shù)據(jù)對(duì)黃河三角洲濕地進(jìn)行分類, 在訓(xùn)練樣本量有限的情況下進(jìn)一步提高了分類精度。然而, 上述方法受到局部感受野的限制, 難以捕獲中長距離依賴; 另外, 黃河三角洲濕地地物類型分布零散, 呈破碎化特性, 且在光譜曲線上差異較小, 需要綜合考慮全局信息才能實(shí)現(xiàn)高精度的分類。

近期, Transformer模型[12]在計(jì)算機(jī)視覺領(lǐng)域引起了極大的反響, 它通過自注意力機(jī)制計(jì)算所有輸入數(shù)據(jù)之間的相關(guān)性, 從而捕獲全局信息。高光譜圖像作為一種典型的序列數(shù)據(jù), Transformer模型能有效地表征其光譜序列信息, 基于此, 一些學(xué)者將Transformer模型應(yīng)用于高光譜圖像分類任務(wù)中并取得了良好的分類精度[13-15], 但上述模型多選擇城市、農(nóng)田等公開數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證, 很少應(yīng)用于空間異質(zhì)性強(qiáng)的濱海濕地的分類評(píng)估, 對(duì)高光譜圖像分類的潛力也尚未得到徹底探索。

鑒于此, 本文提出了一種光譜-空間聯(lián)合的Transformer模型用于黃河三角洲濕地高光譜影像分類, 主要工作如下:

(1)提出了一種基于Transformer的端到端的黃河三角洲濕地高光譜圖像分類模型, 由光譜Transformer支路和空間Transformer支路組成, 分別提取全局光譜序列特征和鄰域內(nèi)的全局空間特征;

(2)設(shè)計(jì)了卷積映射層分別將光譜向量和空間鄰域轉(zhuǎn)化成Transformer的輸入;

(3)引入了多階特征交互層對(duì)光譜和空間支路的Transformer編碼器提取的多階特征進(jìn)行交互, 實(shí)現(xiàn)了淺層與深層特征的融合。

1 實(shí)驗(yàn)數(shù)據(jù)

研究采用的數(shù)據(jù)分別來源于高分五號(hào)(GF-5)衛(wèi)星以及PROBA/CHRIS衛(wèi)星。GF-5數(shù)據(jù)覆蓋了黃河三角洲自然保護(hù)區(qū)濕地, 空間尺寸為462×617, 每個(gè)像素的空間分辨率為30 m; 含有150個(gè)波段, 范圍達(dá)到390~1 029 nm, 光譜分辨率從3.67~4.81 nm不等。GF-5數(shù)據(jù)對(duì)應(yīng)的研究區(qū)空間范圍內(nèi)由8種地物類型組成, 包括互花米草、水體、蘆葦、鹽地堿蓬、鹽堿灘、裸潮灘、潮灘蘆葦和檉柳。通過對(duì)黃河口濕地研究區(qū)進(jìn)行實(shí)地踏勘, 得到了與獲取的遙感影像相近時(shí)相的現(xiàn)場踏勘資料, 根據(jù)現(xiàn)場資料并結(jié)合其他高空間分辨率的遙感影像完成了研究區(qū)的地物解譯, 其假彩色合成影像以及地物真值圖如圖1所示。

圖1 GF-5數(shù)據(jù)假彩色合成影像以及地物真值

CHRIS數(shù)據(jù)采集于黃河入?？谛吕先牒搅髑灏算夂颓逅疁辖唤缣? 包含510×511個(gè)像素, 空間分辨率為17 m; 在光譜維, 由18個(gè)波段組成, 覆蓋了406~ 1 036 nm的光譜范圍, 光譜分辨率從5.9~44.1 nm不等。

CHRIS數(shù)據(jù)對(duì)應(yīng)的研究區(qū)空間范圍內(nèi)由檉柳堿蓬混生區(qū)、灘涂、蘆葦、裸地、水體以及互花米草6種地物類型組成, 其假彩色合成影像以及地物真值圖如圖2所示。

2 研究方法

2.1 總體架構(gòu)

提出的光譜-空間聯(lián)合Transformer模型(spectral- spatial unified Transformer, SSUT)如圖3所示, 包含光譜Transformer支路、空間Transformer支路以及光譜-空間聯(lián)合分類部分。

圖2 CHRIS數(shù)據(jù)假彩色合成影像以及地物真值

圖3 光譜空間聯(lián)合Transformer模型總體框架

2.2 卷積映射層

由于最初Transformer模型應(yīng)用于機(jī)器翻譯[16]任務(wù), Transformer編碼器只能接收一維詞向量作為輸入, ViT模型[12]為將Transformer模型遷移到計(jì)算機(jī)視覺領(lǐng)域?qū)崿F(xiàn)二維圖像的分類任務(wù), 首先將圖像分割成塊、展平成一維向量, 再通過一個(gè)線性映射層進(jìn)行維度變換輸入到Transformer編碼器中。然而, 這種方式必然會(huì)造成一些紋理邊緣等淺層特征的丟失[17-18]。鑒于此并基于高光譜數(shù)據(jù)光譜和空間維度的特點(diǎn), 本文提出了光譜向量以及空間鄰域的卷積映射層, 分別將相鄰的光譜波段以及圖像塊通過卷積映射成一維向量輸入到Transformer編碼器中。

圖4 光譜向量(a)和空間鄰域(b)卷積映射層

另外, 在所有生成的token之前添加了一個(gè)可學(xué)習(xí)的“類別token”, 類別token能夠表示Transformer編碼器中該層子模塊的所有token的信息。與此同時(shí), 由于Transformer模型本身不包含位置信息, 因此對(duì)于所有token生成維度相同的位置編碼信息并與之相加, 引入所有token之間的相對(duì)位置關(guān)系, 為模型提供關(guān)鍵的上下文信息。

2.3 Transformer編碼器層

如圖5所示, Transformer 編碼器由個(gè)子模塊堆疊而成, 每個(gè)子模塊的主要構(gòu)成部分為多頭自注意力機(jī)制(multi-head self-attention, MHSA)和前饋層(feedforward layer, FFL)[12]; 而在多頭自注意力機(jī)制和前饋層之前, 使用層歸一化(layer normalization, LN)[19], 在兩個(gè)層之后使用殘差[20]連接緩解梯度消失的問題。

2.3.1 多頭自注意力機(jī)制

作為Transformer模型最核心的部分, 多頭自注意力機(jī)制是多個(gè)自注意力機(jī)制的堆疊和集成, 通過計(jì)算所有輸入數(shù)據(jù)之間的相關(guān)系數(shù)捕獲長距離依賴關(guān)系。自注意力機(jī)制的計(jì)算流程如下:

圖5 Transformer編碼器

而多頭自注意力以不同的變換矩陣將輸入線性映射到個(gè)特征子空間中, 并使用獨(dú)立的自注意力機(jī)制并行處理它們, 將得到的結(jié)果進(jìn)行級(jí)聯(lián)并再次通過一個(gè)線性映射層W以獲得最終輸出[16]。綜上, 多頭自注意力機(jī)制的過程可以通過如下式(1)~(3)表示:

2.3.2 前饋層、層歸一化以及殘差連接

盡管多頭自注意力機(jī)制通過計(jì)算所有輸入向量之間的注意力分?jǐn)?shù)得到了每個(gè)向量的注意力表示, 但過程中使用的均為線性變換操作, 而為了引入非線性因素, 前饋層被添加到網(wǎng)絡(luò)中。前饋層首先通過一個(gè)線性層對(duì)token進(jìn)行維度變換, 再經(jīng)過一個(gè)GeLU激活函數(shù), 最后通過另一個(gè)線性層將token映射回初始的維度。通過前饋層, 特征的表達(dá)能力得到了增強(qiáng), 能夠更好地表示每個(gè)token與其他所有token之間的作用關(guān)系。

層歸一化在多頭自注意力機(jī)制層和前饋層之前進(jìn)行, 對(duì)每一層單個(gè)樣本的所有神經(jīng)元節(jié)點(diǎn)進(jìn)行歸一化, 從而保證數(shù)據(jù)特征分布的穩(wěn)定性, 加速模型的收斂速度。在Transformer編碼器中每個(gè)子模塊中存在兩個(gè)殘差連接, 分別是經(jīng)過層歸一化、多頭自注意力機(jī)制之后的疊加, 以及經(jīng)過層歸一化、前饋層之后的疊加。

整個(gè)Transformer編碼器的過程可以通過如下公式(4)和式(5)表示:

2.4 多階特征交互層

上文提到, 在所有生成的token之前設(shè)置了一個(gè)可學(xué)習(xí)的類別token, 它可以代表當(dāng)前子模塊中所有token的信息, ViT模型[12]將最后一個(gè)子模塊的類別token送入分類器得到最終的分類結(jié)果。然而研究[18]表明, Transformer編碼器隨著子模塊的堆疊, 每層學(xué)習(xí)到的信息也是不同的, 而多層信息的交互與融合更有利于最后的分類任務(wù)?；诖? 引入多階特征交互層, 將所有子模塊的類別token取出并輸入到一個(gè)新的Transformer編碼器子模塊中, 使最后的輸出融合多個(gè)子模塊的信息。

具體來說, 如圖6所示, 多階特征交互層以Transformer編碼器中所有子模塊的類別token作為輸入, 由多頭自注意力機(jī)制、前饋層、層歸一化以及殘差連接構(gòu)成。不同于之前的子模塊需要計(jì)算任意兩個(gè)token之間的注意力分?jǐn)?shù), 多階特征交互層只計(jì)算最后一個(gè)子模塊的類別token與其余類別token的關(guān)系, 從而將之前子模塊的學(xué)習(xí)到的信息融入最后一層, 這樣不僅實(shí)現(xiàn)了模型前后階信息的融合, 計(jì)算復(fù)雜度也由(O(2))降低到了(O()), 提高了模型的效率。

圖6 多階特征交互層

2.5 光譜-空間聯(lián)合分類

經(jīng)過多階特征交互層之后, 得到了最終的光譜特征與空間特征, 兩路特征通過自適應(yīng)相加的方式[21]進(jìn)行融合。首先, 多層感知機(jī)頭, 包括一個(gè)層歸一化和一個(gè)線性層, 分別將光譜特征和空間特征的維度映射為待分類類別的數(shù)目; 其次, 設(shè)置一個(gè)0~1之間可學(xué)習(xí)的參數(shù)γ, 初始化為0.5, γ在訓(xùn)練的過程中不斷優(yōu)化直到達(dá)到最優(yōu)的光譜-空間融合比例, 特征融合過程可通過下式(6)表示:

其中spe和spa分別代表光譜特征和空間特征。最后, 對(duì)融合的特征應(yīng)用Softmax函數(shù)計(jì)算得到當(dāng)前像素隸屬于每個(gè)類別的最終概率。

3 結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)與評(píng)價(jià)指標(biāo)

模型采用交叉熵?fù)p失函數(shù), 采用Adam優(yōu)化器對(duì)模型進(jìn)行梯度下降的訓(xùn)練優(yōu)化, 學(xué)習(xí)率設(shè)置為0.000 5。訓(xùn)練的epoch設(shè)置為100, batch size為64。對(duì)于模型中一些具體的參數(shù), 光譜向量的空間尺寸設(shè)置為7×7, 每3個(gè)波段生成一個(gè)維度為256的token, 步長為2, Transformer編碼器共包含8個(gè)子模塊, 多頭自注意力機(jī)制中head數(shù)目為32; 空間鄰域的尺寸設(shè)置為27×27, PCA之后保留的光譜波段數(shù)目為3, 每3×3的圖像塊生成一個(gè)token, 步長為(3, 3), Transformer編碼器中token的維度為64, 共含有8個(gè)子模塊, 多頭自注意力機(jī)制中head數(shù)目為8。所有實(shí)驗(yàn)均在顯存為24GB的 NVIDIA GeForce GTX 3090 GPU上進(jìn)行。

選用高光譜圖像分類任務(wù)中權(quán)威的4個(gè)評(píng)價(jià)指標(biāo)衡量算法的有效性: 類別精度、總體精度OA(Overall Accuracy)、平均精度AA(Average Accuracy)、Kappa系數(shù)。類別精度為在某個(gè)類別中正確分類的樣本數(shù)與該類樣本數(shù)的比值, 總體精度OA為所有正確分類的樣本數(shù)與總樣本數(shù)目的比值, 平均精度AA為每個(gè)類別精度的平均值, Kappa是根據(jù)混淆矩陣計(jì)算出的一個(gè)位于–1~1之間的得分, 用于衡量分類結(jié)果與地面真值之間的一致性程度。四個(gè)評(píng)價(jià)指標(biāo)均為值越大, 算法效果越好。

3.2 對(duì)比實(shí)驗(yàn)結(jié)果與分析

為了證明提出的光譜-空間聯(lián)合Transformer模型在黃河三角洲濕地高光譜圖像分類的有效性, 選擇幾種先進(jìn)的高光譜圖像分類方法在GF-5和CHRIS數(shù)據(jù)集進(jìn)行對(duì)比, 包括: 經(jīng)典的機(jī)器學(xué)習(xí)分類器SVM[22]; 基于卷積神經(jīng)網(wǎng)絡(luò)的方法: 一維卷積神經(jīng)網(wǎng)絡(luò)(1DCNN)[23], 二維卷積神經(jīng)網(wǎng)絡(luò)(2DCNN)[24], 三維卷積神經(jīng)網(wǎng)絡(luò)(3DCNN)[25]; 光譜-空間聯(lián)合網(wǎng)絡(luò)(SSUN)[26]; 基于Transformer模型的方法: ViT[12], SpectralFormer[15]?，F(xiàn)有的基于深度學(xué)習(xí)的黃河三角洲濕地高光譜影像分類方法通常篩選出影像的部分像素作為感興趣區(qū)域, 進(jìn)而選擇10%樣本進(jìn)行訓(xùn)練, 其余樣本進(jìn)行測(cè)試[27-28]; 而本文則是對(duì)影像的所有像素進(jìn)行分類, 樣本數(shù)較多, 因此在兩個(gè)數(shù)據(jù)集上均隨機(jī)選擇3%的樣本進(jìn)行訓(xùn)練, 其余樣本進(jìn)行測(cè)試, 為了實(shí)驗(yàn)的公平性, 不同方法的訓(xùn)練集和測(cè)試集均相同。在GF-5和CHRIS數(shù)據(jù)集上的分類精度如表1和表2所示。

通過表1和表2不難看出, 與其他方法相比, 光譜-空間聯(lián)合Transformer模型(SSUT)在兩個(gè)數(shù)據(jù)集的OA、AA和Kappa系數(shù)均達(dá)到了最高值, 證明了提出方法的有效性和泛化性。以GF-5數(shù)據(jù)集的OA為例, SSUT的精度達(dá)到了90.90%, 比SSUN(89.11%)提高了1.79%, 比ViT(89.45%)提高了1.45%, 比3DCNN (84.85%)提高了6.05%, 比SVM(80.41%)提高了10.47%。不僅如此, SSUT在檉柳、鹽地堿蓬、鹽堿灘、裸潮灘等多個(gè)類別上均取得了最佳的分類結(jié)果, 證明了提出的模型能夠提取濕地的每種地物類型最有鑒別性的特征。

除此之外, 還可以得出以下結(jié)論: SVM盡管取得了良好的分類效果, 但仍低于2DCNN、3DCNN、SSUN等方法, 這在一定程度上證明了基于深度學(xué)習(xí)的方法在黃河三角洲濕地高光譜影像分類中的實(shí)用性; 3DCNN的分類結(jié)果優(yōu)于1DCNN和2DCNN, 表明圖像的光譜和空間特征聯(lián)合提取有助于分類精度的提高; 另外, 可以觀察到在兩個(gè)數(shù)據(jù)集上ViT的精度均優(yōu)于2DCNN, 而SpectralFormer的精度優(yōu)于1DCNN, 這是由于Transformer不像CNN受限于局部感受野, 能夠捕捉到長距離依賴, 從而提取全局空間或光譜信息, 提高分類精度; SSUN分別使用LSTM[29]和CNN來提取圖像的光譜和空間特征并將它們聯(lián)合分類, 然而LSTM受限于不能并行訓(xùn)練, 而在SSUT中, Transformer則能夠訓(xùn)練多層疊加的模型, 增強(qiáng)了模型的表達(dá)能力, 因此在總體精度OA (90.90%與89.11%)、平均精度AA(88.35%與85.18%)以及Kappa系數(shù)(88.03%與85.64%)3個(gè)評(píng)價(jià)指標(biāo)上均有提高。

表1 GF-5數(shù)據(jù)的分類結(jié)果

注: 表中黑體數(shù)字代表所有方法比較中類別精度、OA、AA和Kappa精度的最高值, 表2同

表2 CHRIS數(shù)據(jù)的分類結(jié)果

在分類結(jié)果圖方面, 所有方法在GF-5以及CHRIS數(shù)據(jù)集上的結(jié)果如圖7和圖8所示。很明顯地, SSUT在兩個(gè)數(shù)據(jù)集上有最少的噪點(diǎn)和最平滑的邊界, 并且每種地物類型絕大多數(shù)樣本均被正確分類, 不存在某個(gè)特定類別有大量錯(cuò)誤分類的情況, 這也從另外一個(gè)角度證明了提出的SSUT的有效性。在一些具體的類別上, 以GF-5數(shù)據(jù)集的檉柳和裸潮灘為例, 如圖7h中的紅框所示, 其他對(duì)比方法均有錯(cuò)分類成其他類別的情況, 而SSUT則幾乎沒有錯(cuò)分類的點(diǎn), 體現(xiàn)了SSUT提取的特征更具有判別性。

3.3 消融實(shí)驗(yàn)結(jié)果與分析

為了探索光譜空間支路聯(lián)合的作用、多階特征交互層的作用, 本文進(jìn)一步開展了相關(guān)消融實(shí)驗(yàn)。

圖7 GF-5數(shù)據(jù)分類結(jié)果

圖8 CHRIS數(shù)據(jù)分類結(jié)果

3.3.1 空間光譜支路聯(lián)合消融實(shí)驗(yàn)及分析

為了驗(yàn)證光譜Transformer支路與空間Transformer支路的聯(lián)合對(duì)于最終分類結(jié)果的影響, 本文分別使用單獨(dú)的每一個(gè)支路對(duì)兩幅影像進(jìn)行分類并將結(jié)果輸出, 將其與兩個(gè)支路聯(lián)合分類的結(jié)果進(jìn)行對(duì)比, 實(shí)驗(yàn)結(jié)果如表3和表4所示。通過以上結(jié)果可以看出, 將光譜和空間自適應(yīng)相加的聯(lián)合支路與每個(gè)支路相比OA、AA和Kappa系數(shù)均更高, 因此, 光譜和空間的聯(lián)系不可忽略。不僅如此, 聯(lián)合分類能同時(shí)利用光譜特征和空間特征, 結(jié)合兩者的優(yōu)勢(shì), 達(dá)到更優(yōu)的分類結(jié)果, 以GF-5數(shù)據(jù)集為例, 在8種地物類型上, 聯(lián)合分類的精度均高于任一支路的精度。

3.3.2 多階特征交互層消融實(shí)驗(yàn)及分析

為了證明多階特征交互層的作用, 本文分別開展了在沒有多階特征交互層和有多階特征交互層的情況下光譜、空間支路以及聯(lián)合分類的實(shí)驗(yàn), 結(jié)果如下圖9和圖10所示。

表3 GF-5數(shù)據(jù)空間光譜支路聯(lián)合消融實(shí)驗(yàn)結(jié)果

表4 CHRIS數(shù)據(jù)空間光譜支路聯(lián)合消融實(shí)驗(yàn)結(jié)果

圖9 GF-5數(shù)據(jù)多階特征交互層消融實(shí)驗(yàn)結(jié)果

圖10 CHRIS數(shù)據(jù)多階特征交互層消融實(shí)驗(yàn)結(jié)果

從圖中可以得知, 除了在CHRIS數(shù)據(jù)集上引入多階特征交互層的聯(lián)合分類的AA略低以外(93.17%與93.44%), 其余所有的評(píng)價(jià)指標(biāo)均有不同程度的提高。這證明多階特征交互層能夠更好地融合淺層邊緣信息與深層語義信息, 從而提取更具鑒別性的光譜與空間特征, 有利于最后的分類任務(wù)。

3.3.3 head數(shù)目對(duì)實(shí)驗(yàn)精度的影響

為了驗(yàn)證不同head數(shù)目對(duì)模型分類性能的影響, 分別設(shè)置了4組光譜支路和空間支路的head數(shù)目進(jìn)行了實(shí)驗(yàn), 并采用分類總體精度OA作為評(píng)價(jià)指標(biāo), 實(shí)驗(yàn)結(jié)果如表5和表6所示, 其中head1和head2分別表示光譜和空間支路head數(shù)目。通過分析可得, 無論是在GF-5還是在CHRIS數(shù)據(jù)集上, 當(dāng)光譜支路的head數(shù)目為32、空間支路的head數(shù)目為8時(shí), 分類精度達(dá)到最高。

表5 GF-5數(shù)據(jù)不同head數(shù)目的分類精度

注: 表中黑體數(shù)字代表在當(dāng)前head數(shù)目下OA取得最高值, 表6同

表6 CHRIS數(shù)據(jù)不同head數(shù)目的分類精度

4 結(jié)論與討論

本文提出了一種基于Transformer模型的黃河三角洲濕地高光譜影像分類方法, 設(shè)計(jì)了光譜Transformer支路和空間Transformer支路, 兩個(gè)支路基于自注意力機(jī)制分別捕捉光譜向量和空間鄰域的長距離依賴關(guān)系, 另外還引入了多階特征交互層實(shí)現(xiàn)了多層信息的融合, 最后使用自適應(yīng)相加的方式融合兩路特征實(shí)現(xiàn)分類。在GF-5以及CHRIS兩個(gè)黃河三角洲濕地高光譜影像上進(jìn)行了實(shí)驗(yàn), 在選用3%的樣本訓(xùn)練條件下總體精度分別達(dá)到了90.90%和94.17%, 與其他主流的高光譜影像分類方法相比有明顯的提高, 與此同時(shí)消融實(shí)驗(yàn)的結(jié)果證明光譜空間支路的聯(lián)合以及多階特征交互層的引入均對(duì)地物分類精度提高有較好的效果。

在未來的工作中, 我們將研究在小樣本條件下的黃河三角洲濕地高光譜影像分類, 并開展多源數(shù)據(jù)融合方向的研究, 結(jié)合高光譜、多光譜、激光雷達(dá)等數(shù)據(jù)的優(yōu)勢(shì)進(jìn)一步提高對(duì)黃河三角洲濕地的分類精度。

[1] 王娜娜, 劉宏元, 李英, 等. 黃河三角洲濕地生態(tài)系統(tǒng)服務(wù)價(jià)值評(píng)估[J]. 山東農(nóng)業(yè)科學(xué), 2022, 54(2): 153-158.

WANG Nana, LIU Hongyuan, LI Ying, et al. Value evaluation of wetland ecosystem services in the Yellow River Delta[J]. Shandong Agricultural Sciences, 2022, 54(2): 153-158.

[2] 邵鵬帥, 韓紅艷, 孫景寬. 黃河三角洲濕地退化和恢復(fù)對(duì)檉柳土壤有機(jī)碳含量及紅外碳組分的影響[J]. 生態(tài)學(xué)雜志, 2022, 41(7): 1258-1265.

SHAO Pengshuai, HAN Hongyan, SUN Jingkuan. Effects of wetland degradation and restoration on soil organic carbon content and infrared carbon compounds of Tamarisk chinensis in the Yellow River Delta[J]. Chinese Journal of Ecology, 2022, 41(7): 1258-1265.

[3] 李永濤, 杜振宇, 王霞, 等. 黃河三角洲自然保護(hù)區(qū)濕地生態(tài)服務(wù)功能價(jià)值評(píng)估[J]. 海洋環(huán)境科學(xué), 2019, 38(5): 761-768.

LI Yongtao, DU Zhenyu, WANG Xia, et al. Evaluation of wetland ecosystem services in Yellow River Delta Nature Reserve[J]. Marine Environmental Science, 2019, 38(5): 761-768.

[4] 朱書玉, 王偉華, 王玉珍, 等. 黃河三角洲自然保護(hù)區(qū)濕地恢復(fù)與生物多樣性保護(hù)[J]. 北京林業(yè)大學(xué)學(xué)報(bào), 2011, 33(S2): 1-5.

ZHU Shuyu, WANG Weihua, WANG Yuzhen, et al. Wetland restoration and biodiversity conservation in the Yellow River Delta Nature Reserve[J]. Journal of Beijing Forestry University, 2011, 33(S2): 1-5.

[5] 于淼, 栗云召, 屈凡柱, 等. 黃河三角洲濱海濕地退化過程的時(shí)空變化及預(yù)測(cè)分析[J]. 農(nóng)業(yè)資源與環(huán)境學(xué)報(bào), 2020, 37(4): 484-492.

YU Miao, LI Yunzhao, QU Fanzhu, et al. Spatio- temporal changes and trend prediction of degraded coastal wetlands in the Yellow River Delta[J]. Journal of Agricultural Resources and Environment, 2020, 37(4): 484-492.

[6] 徐振田, Ali Shahzad, 張莎, 等. 基于Landsat數(shù)據(jù)的黃河三角洲濕地提取及近30年動(dòng)態(tài)研究[J]. 海洋湖沼通報(bào), 2020, 3: 70-79.

XU Zhentian, ALI Shahzad, ZHANG Sha, et al. Mapping the wetland in Yellow River Delta and its dynamics Mapping the wetland in Yellow River Delta and its dynamics in recent 30 years based on Landsat data[J]. Transactions of Oceanology and Limnology, 2020, 3: 70-79.

[7] 吳培強(qiáng), 張杰, 馬毅, 等. 基于地物光譜可分性的CHRIS高光譜影像波段選擇及其分類應(yīng)用[J]. 海洋科學(xué), 2015, 39(2): 20-24.

WU Peiqiang, ZHANG Jie, MA Yi, et al. A CHRIS hyperspectral band selection method based on spectral separability and classification application[J]. Marine Sciences, 2015, 39(2): 20-24.

[8] 馬毅, 張杰, 任廣波, 等. 基于決策級(jí)數(shù)據(jù)融合的CHRIS高光譜圖像分類方法研究[J]. 海洋科學(xué), 2015, 39(2): 8-14.

MA Yi, ZHANG Jie, REN Guangbo, et al. Research on decision-level data fusion classi-fication method for CHRIS hyperspectral imagery[J]. Marine Sciences, 2015, 39(2): 8-14.

[9] HU Y B, Zhang J, Ma Y, et al. Hyperspectral coastal wetland classification based on a multi object convolutional neural network model and decision fusion[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(7): 1110-1114.

[10] XIE Z J, Hu J W, Kang X D, et al. Multilayer global spectra-spatial attention network for wetland hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-13.

[11] LIU C, TAO R, LI W, et al. Joint classification of hyperspectral and multispectral images for mapping coastal wetlands[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 14: 982-996.

[12] DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16x16 words: Transformers for image recognition at scale[C]// International Conference on Learning Representations. Austria: OpenReview.net, 2021.

[13] HE X, CHEN Y S, LIN Z H. Spatial-spectral transformer for hyperspectral image classification[J]. Remote Sensing, 2021, 13(3): 498.

[14] QING Y H, LIU W Y, FENG L Y, et al. Improved transformer net for hyperspectral image classification[J]. Remote Sensing, 2021, 13(11): 2216.

[15] HONG D F, HAN Z, YAO J, et al. SpectralFormer: Rethinking hyperspectral image classification with transformers[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-15.

[16] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.

[17] WU H P, XIAO B, CODELLA N, et al. Cvt: Introducing convolutions to vision transformers[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 22-31.

[18] YUAN K, GUO S P, LIU Z W, et al. Incorporating convolution designs into visual transformers[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 579-588.

[19] XIONG R B, YANG Y C, HE D, et al. On layer normalization in the transformer architecture[C]//: International Conference on Machine Learning. Vienna: ACM, 2020: 10524-10533.

[20] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. Las Vegas: IEEE, 2016: 770-778.

[21] WANG D, DU B, ZHANG L, et al. Adaptive spectral–spatial multiscale contextual feature extraction for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(3): 2461-2477.

[22] MELGANI F, BRUZZONE L. Classification of hyperspectral remote sensing images with support vector machines[J]. IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(8): 1778- 1790.

[23] RASTI B, HONG D F, HANG R L, et al. Feature extraction for hyperspectral imagery: The evolution from shallow to deep: Overview and toolbox[J]. IEEE Geoscience and Remote Sensing Magazine, 2020, 8(4): 60-88.

[24] CHEN Y S, JIANG H L, LI C Y, et al. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(10): 6232-6251.

[25] LI Y, ZHANG H K, SHEN Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]. Remote Sensing, 2017, 9(1): 67.

[26] XU Y H, ZHANG L P, DU B, et al. Spectral–spatial unified networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(10): 5893-5909.

[27] GAO Y H, LI W, ZHANG M M, et al. Hyperspectral and multispectral classification for coastal wetland using depthwise feature interaction network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-15.

[28] LIU C, ZHANG M M, LI W, et al. Convolutional neural network for coastal wetland classification in hyperspectral image[C]// IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. Waikoloa Village: IEEE, 2020: 5104-5107.

[29] HOCHREITER S, SCHMIDHUBER J. Long short- term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

Hyperspectral image classification of Yellow River Delta wetlands based on a spectral-spatial unified transformer model

XIN Zi-qi1, LI Zhong-wei1, WANG Lei-quan2, XU Ming-ming1, HU Ya-bin3, LIANG Jian4

(1. College of Marine and Spatial Information, China University of Petroleum (East China), Qingdao 266580, China; 2. College of Computer Science and Technology, China University of Petroleum (East China), Qingdao 266580, China; 3. First Institute of Oceanography, Ministry of Natural Resources, Qingdao 266061, China; 4. Nantong Intelligent Perception Research Institute, Nantong 226007, China)

Slightdifference is noted in the spectral curve of land cover types in the Yellow River Delta, and the spatial distribution of land cover types is scattered and fragmented. Existing classification methods are limited by the local receptive field; thus, it is difficult to capture long-distance dependence of images, resulting in unsatisfactory classification accuracy in hyperspectral images of the Yellow River Delta wetland. To address this problem, this paper proposes a spectral–spatial joint transformer model. The spectral and spatial branches took the spectral vector and the spatial neighborhood as inputs, respectively, extracting global spectral and spatial features based on the self-attention mechanism. This paper also introduces a multilevel feature interaction layer in the two branches to realize the fusion of shallow edge information and deep semantic information. Finally, the two-way features were fused by adaptive addition and sent to the classifier for final classification. The effectiveness of the method was verified on two hyperspectral images of the Yellow River Delta wetland, namely, Gaofen-5 and CHRIS. The experimental results revealed that the method significantly improved the accuracy of wetland classification. The overall accuracy reaches 90.90% and 94.17% for the two images when using 3% of the samples for training, outperforming other classification methods. The research results can realize the high-precision classification of the land cover types in the Yellow River Delta and provide technical support for wetland protection.

Yellow River Delta wetland; hyperspectral image classification; Transformer model; spectral-spatial joint

Apr. 29, 2022

TP79

A

1000-3096(2023)5-0090-12

10.11759/hykx202204290012

2022-04-29;

2022-07-09

山東省聯(lián)合基金資助項(xiàng)目(U1906217); 國家自然科學(xué)基金資助項(xiàng)目(62071491)

[Shandong Provincial Joint Fund Project, No. U1906217; National Natural Science Foundation of China, No. 62071491]

辛紫麒(1998—), 男, 山東泰安人, 博士研究生, 主要從事遙感圖像處理研究, E-mail: B21160015@s.upc.edu.cn; 李忠偉(1978—),通信作者, E-mail: li.zhongwei@vip.163.com

(本文編輯: 譚雪靜)