戴佩玉,張 欣,毛 星,任 妮 ,李衛(wèi)國(guó)
(1. 江蘇省農(nóng)業(yè)科學(xué)院,南京,210014;2. 農(nóng)業(yè)農(nóng)村部長(zhǎng)三角智慧農(nóng)業(yè)技術(shù)重點(diǎn)實(shí)驗(yàn)室,南京,210014)
隨著科學(xué)技術(shù)、硬件設(shè)備以及航天航空技術(shù)的快速發(fā)展,遙感技術(shù)以其不需要接觸被測(cè)目標(biāo)即可遠(yuǎn)距離獲得光譜幾何信息,不受惡劣地面條件限制等優(yōu)勢(shì)得廣泛應(yīng)用[1]。高光譜影像由于記錄了連續(xù)的窄光譜波段,不僅能夠表征地物的結(jié)構(gòu)、紋理信息,還可以反演大量的光譜信息,在資源環(huán)境監(jiān)測(cè)、地質(zhì)勘測(cè)、農(nóng)業(yè)產(chǎn)業(yè)分析和估產(chǎn)等方面獲得廣泛應(yīng)用[2-4]。
高光譜影像農(nóng)作物分類(hyperspectral image classification,HSIC)通過(guò)判別影像中每個(gè)像素對(duì)應(yīng)的農(nóng)作物及其他混淆地物類型標(biāo)簽獲得地表結(jié)構(gòu)分布,近年來(lái)受到越來(lái)越多的關(guān)注。如何從高維度的光譜通道中針對(duì)性地提取最具判別性的地物目標(biāo)本征特征是高光譜影像分類的關(guān)鍵。傳統(tǒng)的高光譜影像分類算法為了捕捉豐富的光譜信息,引入邏輯回歸[5]、K鄰近分類器[6]、距離分類器[7]、最大似然分類器[8]等進(jìn)行相似性檢測(cè)和分類,但是,由于忽略了對(duì)于空間信息的探索,隨著影像的光譜維度不斷增高,分類結(jié)果的Hughes 現(xiàn)象[9]明顯。
考慮到高光譜數(shù)據(jù)“圖譜合一”的特性,即不僅僅記錄了豐富的光譜信息,也蘊(yùn)含著大量的空間特征,光譜降維和空間、光譜聯(lián)合特征提取技術(shù)相結(jié)合的高光譜分類算法逐漸發(fā)展起來(lái),主成分分析(principal component analysis,PCA)、獨(dú)立成分分析(independent components analysis,ICA)、線性判別分析(linear discriminant analysis,LDA)等[10-13]是最常用的光譜降維技術(shù),空間特征提取過(guò)程中則多采用拓展形態(tài)學(xué)剖面[14](extended morphological profiles,EMP)、局部二值模式[15](local binary patterns,LBP)等技術(shù),由于加入了空間特征[16],如Garbor 特征、差異形態(tài)學(xué)特征(differential morphological profile,DMP)、灰度共生矩陣(grey-level co-occurrence matrix,GLCM)等,這類算法的分類精度遠(yuǎn)高于傳統(tǒng)方法,但“同物異譜,異物同譜”問(wèn)題[17]仍然沒(méi)有得到有效解決。
機(jī)器學(xué)習(xí)的發(fā)展使得支持向量機(jī)(support vector machine,SVM)、極限學(xué)習(xí)機(jī)(extreme learning machine,ELM)、隨機(jī)森林(random forest,RF)、貝葉斯理論等逐漸在高光譜分類[18-21]領(lǐng)域嶄露頭角。然而這類算法中經(jīng)驗(yàn)設(shè)計(jì)特征耗時(shí)耗力,參數(shù)閾值的選擇依賴于多次試驗(yàn)和經(jīng)驗(yàn),算法的魯棒性不強(qiáng)。能夠自動(dòng)提取經(jīng)驗(yàn)設(shè)計(jì)特征中缺乏的淺、中、高層抽象語(yǔ)義特征的深度學(xué)習(xí)技術(shù)發(fā)展迅猛,深度置信網(wǎng)絡(luò)(deep belief networks,DBN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)、一維卷積神經(jīng)網(wǎng)絡(luò)(1D convolutional neural network,1D CNN)等[22-24]最先被引入高光譜分類領(lǐng)域,雖然分類結(jié)果較傳統(tǒng)方法有很大的提升,但是這類方法在訓(xùn)練之前需要將高維高光譜影像處理成一維向量,導(dǎo)致空間、光譜結(jié)構(gòu)性信息丟失。基于二維卷積神經(jīng)網(wǎng)絡(luò)(2D convolutional neural network,2D CNN)、三維卷積神經(jīng)網(wǎng)絡(luò)(3D convolutional neural network,3D CNN)[25-27]的分類算法由于可以捕捉目標(biāo)豐富的高維特征,是近幾年的研究熱點(diǎn)。此外,空間特征和光譜特征的分別提取并融合的策略[28]被證明可以有效提升分類精度,成為目前基于深度學(xué)習(xí)的高光譜分類算法中主流的特征提取模塊。
雖然基于深度學(xué)習(xí)的高光譜影像分類方法不斷發(fā)展,分類精度不斷提升,但仍存在以下問(wèn)題亟待解決:1)在特征提取過(guò)程中,傳統(tǒng)深度學(xué)習(xí)算法對(duì)于輸入特征鄰域內(nèi)的所有像素點(diǎn)等權(quán)計(jì)算,特征鄰域內(nèi)的空間關(guān)聯(lián)性和局部相似性缺乏探索,對(duì)于顏色、結(jié)構(gòu)和紋理等不同類別特征進(jìn)行了融合處理,缺乏對(duì)于空間尺度上不同位置特征重要性的探究;2)雖然之前算法針對(duì)高光譜影像中的空間特征和光譜特征分別進(jìn)行捕捉,但是高維特征的提取往往會(huì)產(chǎn)生較多冗余,缺乏對(duì)特征的有效篩選;3)在特征約束的過(guò)程中,傳統(tǒng)深度學(xué)習(xí)算法往往將時(shí)空特征融合,采用單一的特征約束方式進(jìn)行損失計(jì)算,缺乏在空間、光譜不同角度進(jìn)行分類結(jié)果的反饋,融合特征的全面性有待商榷。
針對(duì)上述問(wèn)題,本文提出一種空間-光譜特征動(dòng)態(tài)選擇的高光譜影像農(nóng)作物分類算法(hyperspectral images classification based on spatial-spectral dual branches and dynamic feature selection strategy,DBDS),設(shè)計(jì)了空間、光譜雙分支結(jié)構(gòu),分別進(jìn)行空間、光譜特征的提取,以減少2 類特征之間的相互干擾,并且在對(duì)應(yīng)分支中結(jié)合空間注意力機(jī)制、通道注意力機(jī)制模塊,進(jìn)行更具代表性特征的篩選;利用可以進(jìn)行空間特征交互的門控卷積替換傳統(tǒng)卷積層,捕捉不同位置特征之間的差異性進(jìn)行加權(quán)計(jì)算,從空間維度對(duì)有效位置特征進(jìn)行篩選;從不同的特征角度,對(duì)空間、光譜特征以及聯(lián)合特征進(jìn)行多輸出損失計(jì)算和交叉約束。
本文選取開(kāi)源高光譜分類數(shù)據(jù)集WHU-HI 數(shù)據(jù)集中的Longkou、Hanchuan(http://rsidea.whu.edu.cn/resource_sharing.htm)開(kāi)展試驗(yàn)。影像均為中國(guó)湖北省包含不同作物類型的農(nóng)業(yè)區(qū),由無(wú)人機(jī)搭載的Headwall Nano-Hyperspec 傳感器獲取。與星載和機(jī)載高光譜平臺(tái)相比,無(wú)人機(jī)高光譜系統(tǒng)可以獲取高空間分辨率的高光譜圖像,避免由于空間分辨率不足造成的混合像元現(xiàn)象對(duì)分類精度的影響。
HanChuan 數(shù)據(jù)集影像由Leica Aibot X6 無(wú)人機(jī)搭載傳感器在距離地面250 m 處拍攝獲得,大小為1 217×303,光譜范圍400~1 000 nm,劃分為274 個(gè)波段,共包含16 種地物類別:草莓、豇豆、大豆、水芹菜、西瓜、高粱以及混淆地物草坪、綠地等,空間分辨率約0.109 m;LongKou 數(shù)據(jù)集由大疆DJI Matrice 600 Pro 無(wú)人機(jī)搭載傳感器在距離地面500 m 處拍攝獲得,影像尺寸550×400 像素,光譜范圍為400~1 000 nm,劃分為270 個(gè)波段,共包含9 種地物類別:玉米、棉花、芝麻、大豆、水稻以及混淆目標(biāo)等,空間分辨率約0.463 m。類別具體情況如表1 所示,其中樣本點(diǎn)數(shù)量為該數(shù)據(jù)集高光譜影像中歸屬于不同地物類型的像素點(diǎn)數(shù)。
表1 WHU-HI 數(shù)據(jù)集標(biāo)簽及樣本數(shù)量Table 1 Number of labels and samples on WHU-HI dataset
為驗(yàn)證本文算法的穩(wěn)定性,構(gòu)建了一套JAAS(Jiangsu academy of agricultural sciences,江蘇省農(nóng)業(yè)科學(xué)院)高光譜農(nóng)作物分類數(shù)據(jù)集,數(shù)據(jù)于2023 年6 月12 日在江蘇省南京市六合區(qū)江蘇省農(nóng)業(yè)科學(xué)院蔬菜示范基地,由大疆DJI Matrice 600 Pro 無(wú)人機(jī)搭載Pika L 傳感器,在距離地面100 m 處采集,航拍區(qū)域及部分?jǐn)?shù)據(jù)采集對(duì)象見(jiàn)圖1。
圖1 航拍區(qū)域及部分作物Fig.1 Aerial photography area and partial crop situation
經(jīng)POS 數(shù)據(jù)解析、航線數(shù)據(jù)分割邊界確立、幾何校正、地理配準(zhǔn)、拼接、高光譜超立方體、輻射校正、反射率影像生成等預(yù)處理后,高光譜影像像素尺寸為1 746×1 772 像素,光譜范圍為400~1 000 nm,劃為150個(gè)波段,空間分辨率為0.1 m,共包含花生、苘麻、西瓜、冬瓜、苦瓜、毛豆、裸土、道路和雜草9 種地物類別。
基于空間-光譜特征動(dòng)態(tài)選擇的高光譜影像分類流程見(jiàn)圖2。整個(gè)流程包括4 個(gè)階段:數(shù)據(jù)預(yù)處理、空間-光譜特征聯(lián)合提取、高層語(yǔ)義特征融合、多尺度輸出約束。
圖2 基于空間-光譜特征動(dòng)態(tài)選擇的高光譜影像農(nóng)作物分類流程Fig.2 Hyperspectral image crop classification process based on dynamic selection of spatial and spectral features
首先,由于高光譜影像數(shù)據(jù)量較大,在進(jìn)行模型訓(xùn)練的過(guò)程中,考慮到計(jì)算機(jī)的算力性能,一般需要先進(jìn)行分塊操作。因此在數(shù)據(jù)預(yù)處理部分,本文首先設(shè)定好窗口大小,通過(guò)zero-padding 操作進(jìn)行原始高光譜影像尺寸調(diào)整,利用滑窗完成塊的分割,生成基于塊的數(shù)據(jù)集(如圖3 所示)。同時(shí)由于高光譜影像數(shù)據(jù)量級(jí)和覆蓋范圍之間相互限制,成像范圍相對(duì)較小,為了防止訓(xùn)練過(guò)程中出現(xiàn)由于訓(xùn)練樣本不夠而導(dǎo)致的過(guò)擬合現(xiàn)象,對(duì)分塊得到的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng),包括隨機(jī)尺度縮放、裁剪、翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)等。
圖3 高光譜影像分塊操作示例Fig.3 Example of slice operation for hyperspectral images
其次,為了有效提取空間和光譜特征,避免兩者之間的相互干擾,采用獨(dú)立對(duì)稱的雙分支特征提取結(jié)構(gòu),同時(shí)進(jìn)行空間和光譜的特征提取,每個(gè)分支包含4 個(gè)特征提取模塊。為了提取特征的多尺度信息,設(shè)計(jì)了多尺度特征提取分支,對(duì)空間特征和光譜特征進(jìn)行有效融合后,利用不同步長(zhǎng)實(shí)現(xiàn)多尺度特征提取。
最后,從空間、光譜和多尺度聯(lián)合特征3 個(gè)角度,利用softmax 激活函數(shù)分別進(jìn)行分類結(jié)果的預(yù)測(cè),結(jié)合categorical cross-entropy 多類交叉熵?fù)p失函數(shù)計(jì)算與標(biāo)簽之間的差異,實(shí)現(xiàn)多輸出特征交叉驗(yàn)證和有效的反向傳播訓(xùn)練。
普通卷積層在進(jìn)行特征提取時(shí)認(rèn)為感受野內(nèi)每個(gè)位置的像素重要性相同,進(jìn)行等權(quán)重操作。但是在分類任務(wù)中,由于地物類別的差異,局部鄰域每個(gè)位置的特征相似性和差異性需要考慮,當(dāng)鄰域內(nèi)某個(gè)位置的地物類型和中心像素的地物類型差異很大時(shí),它的特征對(duì)于最后的分類判別作用很小,因此為了防止下一層特征之間的計(jì)算干擾,給無(wú)用特征賦值一個(gè)較小的權(quán)重進(jìn)行抑制是有必要的。
為了對(duì)提取到的特征進(jìn)行空間上的位置篩選,本文選取門控卷積[29]替代傳統(tǒng)卷積層,在特征提取之后,針對(duì)每個(gè)通道和空間位置,自適應(yīng)學(xué)習(xí)動(dòng)態(tài)特征選擇機(jī)制,有效區(qū)分顏色、結(jié)構(gòu)和紋理等不同種類特征的同時(shí),抑制特征提取過(guò)程中的噪聲。具體計(jì)算式如下:
式中I為輸入特征,Wg和Wf分別是門控特征和圖像特征所對(duì)應(yīng)卷積的權(quán)重,bg和bf是相應(yīng)的偏置,·表示卷積操作,⊙為特征間的逐點(diǎn)相乘運(yùn)算。φ為sigmoid 函數(shù),?是類似ReLU、Leaky ReLU和ELU 等的任意激活函數(shù),本研究選取ReLU激活函數(shù)。?計(jì)算每個(gè)感受野內(nèi)的非線性特征,φ在學(xué)習(xí)到的門控特征基礎(chǔ)上通過(guò)Sigmoid 激活函數(shù)計(jì)算 ?所對(duì)應(yīng)的值域?yàn)閇0,1]的特征位置編碼信息,也就是非線性特征空間位置上的權(quán)重,?和 φ相乘得到經(jīng)過(guò)篩選的特征。
針對(duì)不同感受野內(nèi)迥異的地物信息,無(wú)論是特征提取還是空間上位置權(quán)重信息的學(xué)習(xí),該過(guò)程無(wú)需任何特征經(jīng)驗(yàn)設(shè)計(jì)和判別,僅通過(guò)卷積層及對(duì)應(yīng)的激活函數(shù),利用網(wǎng)絡(luò)的正饋-反饋傳播機(jī)制,結(jié)合標(biāo)簽進(jìn)行損失計(jì)算和反向傳播,進(jìn)行參數(shù)的學(xué)習(xí),不斷優(yōu)化提取到信息的準(zhǔn)確性及不同感受野內(nèi)每個(gè)點(diǎn)位對(duì)于最后分類的重要性,從而自適應(yīng)地實(shí)現(xiàn)特征的空間上的有效動(dòng)態(tài)篩選。
針對(duì)傳統(tǒng)深度學(xué)習(xí)高光譜分類算法提取特征冗余的問(wèn)題,本文提出一種獨(dú)立對(duì)稱的特征提取結(jié)構(gòu),分別進(jìn)行空間特征和光譜特征的學(xué)習(xí),在每個(gè)特征提取模塊中,分別加入空間注意力機(jī)制和通道注意力機(jī)制[30],同時(shí)為了探究聯(lián)合特征的多尺度信息,在進(jìn)行空間特征和光譜特征的有效融合后,設(shè)計(jì)了多尺度特征網(wǎng)絡(luò)。網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。
圖4 雙分支特征提取結(jié)構(gòu)Fig.4 Double branch feature extraction structure
其中,空間特征提取分支由4 組連續(xù)堆疊的門控卷積空間特征提取模塊(gated convolution block based spatial feature extraction module,GSA)構(gòu)成,如圖5 所示,每個(gè)GSA 模塊內(nèi)部由2 個(gè)門控卷積模塊和一個(gè)空間注意力機(jī)制構(gòu)成??臻g注意力機(jī)制的引入主要為了從空間維度進(jìn)行特征篩選,使得網(wǎng)絡(luò)在特征提取過(guò)程中聚焦更有價(jià)值的局部信息,抑制無(wú)效位置信息,但是在空間注意力機(jī)制的實(shí)現(xiàn)過(guò)程中,空間尺寸為H×W的輸入特征被列化為K×1(K為H與W的乘積)大小,鄰域內(nèi)像素間的空間相關(guān)性被忽略,門控卷積層則能很好地描述鄰域內(nèi)部的空間位置相關(guān)性進(jìn)行特征篩選,有效彌補(bǔ)了空間注意力機(jī)制中出現(xiàn)的空間位置相關(guān)性模糊的問(wèn)題。每個(gè)門控卷積模塊由1 個(gè)卷積核大小為3×3、步長(zhǎng)為1的門控卷積層(convolution layer)和1 個(gè)BN 層(batch normalization layer)組成。光譜特征提取分支由對(duì)稱的4 組連續(xù)堆疊的門控卷積光譜特征提取模塊(gated convolution block based spectral feature extraction module,GSE)構(gòu)成,對(duì)應(yīng)位置利用通道注意力機(jī)制進(jìn)行光譜維度特征權(quán)重計(jì)算,使得光譜特征提取過(guò)程中注意力更多的集中在有意義的通道上,一定程度上抑制了無(wú)用通道的特征。多尺度特征提取分支中,在對(duì)空間特征和光譜特征利用串聯(lián)層(concatenate)融合后,采用3 個(gè)由卷積核大小為3×3、步長(zhǎng)為2 的門控卷積層和BN 層串聯(lián)組成的門控卷積模塊(gated convolution block,GB)進(jìn)行多尺度特征的提取。
圖5 特征提取模塊Fig.5 Feature extraction module
在損失計(jì)算過(guò)程中,單一的特征約束僅在網(wǎng)絡(luò)提取的最高層特征上進(jìn)行了處理,在高光譜分類任務(wù)中,高層空間語(yǔ)義特征和光譜語(yǔ)義特征中也蘊(yùn)含了豐富的信息,為了防止后續(xù)多尺度特征融合后丟失部分重要信息,探究不同特征對(duì)于分類結(jié)果的影響,本文設(shè)計(jì)了多輸出交叉驗(yàn)證模塊,將空間特征分支、光譜特征分支和多尺度特征分支的高層語(yǔ)義特征分別輸入softmax 激活函數(shù)中進(jìn)行分類,結(jié)合多類交叉熵?fù)p失函數(shù)(categorical cross-entropy)納入損失計(jì)算,參與反向傳播約束(如圖6 所示)。
圖6 多輸出交叉約束模塊Fig.6 Multi-output cross constraint module
算法在Ubuntu 環(huán)境下基于python 語(yǔ)言和深度學(xué)習(xí)框架Keras 實(shí)現(xiàn),顯卡為NVIDIA tesla A100 40 G。在本文算法及對(duì)比算法的模型訓(xùn)練過(guò)程中,epoch 統(tǒng)一設(shè)置為100,batch_size 為256,經(jīng)過(guò)分塊操作后按照訓(xùn)練集:驗(yàn)證集:測(cè)試集=3:1:6 的比例進(jìn)行試驗(yàn)數(shù)據(jù)的劃分(如表2 所示)。測(cè)試模型選取訓(xùn)練過(guò)程中經(jīng)過(guò)驗(yàn)證集交叉驗(yàn)證得到的最優(yōu)模型。
表2 試驗(yàn)數(shù)據(jù)分布Table 2 Distribution of experimental data
在試驗(yàn)結(jié)果精度評(píng)價(jià)部分,除了目視評(píng)價(jià)之外,選取準(zhǔn)確率(precision)、召回率(recall)、f1 指數(shù)(f1-score)和總體精度(overall accuracy,OA)、Kappa 系數(shù)對(duì)分類結(jié)果進(jìn)行定量評(píng)價(jià)。其中,準(zhǔn)確率、召回率、f1 指數(shù)針對(duì)每一類地物的分類結(jié)果進(jìn)行精度評(píng)價(jià),準(zhǔn)確率也稱查準(zhǔn)率,指分類為該類別的樣本中真正為該類別的比例;召回率也稱查全率,表示真正為該類別的樣本中被正確分類為該類別的比例;f1 指數(shù)是綜合考慮準(zhǔn)確率和召回率的指標(biāo);OA 和Kappa 系數(shù)是從所有類別的角度進(jìn)行分類精度評(píng)價(jià)的指標(biāo),驗(yàn)證多類別分類模型的穩(wěn)定性,OA 指被正確分類的像元數(shù)占所有類別總像元的比例,Kappa 系數(shù)是基于混淆矩陣計(jì)算的分類結(jié)果一致性評(píng)價(jià)指標(biāo),同時(shí)對(duì)在測(cè)試集上測(cè)試時(shí)長(zhǎng)進(jìn)行了統(tǒng)計(jì),以對(duì)比算法的效率。
對(duì)比算法選取基于二維卷積神經(jīng)網(wǎng)絡(luò)的高光譜分類算法CDCNN[31]、DCNN[32]、WCRN[33]以及基于三維卷積神經(jīng)網(wǎng)絡(luò)的高光譜分類算法DBDA[28]。
表3 給出了基于深度學(xué)習(xí)的不同高光譜分類算法在WHU-Hi-Hanchuan 數(shù)據(jù)集上的定量評(píng)價(jià)結(jié)果。WCRN與CDCNN 由于僅利用連續(xù)堆疊的卷積層捕捉高光譜影像的空間特征及局部高層語(yǔ)義特征,缺乏對(duì)不同層級(jí)特征的有效利用,對(duì)于光照陰影扭曲的地物信息識(shí)別困難,精度較低,OA 和Kappa 系數(shù)分別為96.38%、95.77%和97.86%、97.50%;DBDA 綜合利用3D 卷積層和注意力機(jī)制模塊實(shí)現(xiàn)空間-光譜聯(lián)合特征的抽象提取,有效緩解了“同物異譜,異物同譜”造成的分類誤差,但由于其對(duì)于空間-光譜特征進(jìn)行了串聯(lián)提取,缺乏有效篩選,在小樣本目標(biāo)的分類上仍然存在性能驟降的問(wèn)題,例如西瓜、裸土(第6、13 類)等的f1 指數(shù)只有86.30%、91.07%,同時(shí)3D 卷積的引入增加了模型的計(jì)算量,使得其時(shí)間效率降低,測(cè)試集的預(yù)測(cè)時(shí)間為14 s;DCNN設(shè)計(jì)了一種雙通道卷積網(wǎng)絡(luò),結(jié)合全局特征學(xué)習(xí)模塊、多尺度特征融合模塊有效捕捉融合高光譜影像中的抽象局部、非局部特征,不同樣本量類別的分類結(jié)果顯著提升,OA、Kappa 系數(shù)分別為98.41%、98.14%;與上述四種方法相比,本文提出的DBDS 算法具有更為優(yōu)異的分類效果,在訓(xùn)練樣本稀少的水芹菜和西瓜上,f1 指數(shù)分別可達(dá)98.91%和96.65%,其他訓(xùn)練樣本充足的作物類別上,f1 指數(shù)達(dá)99%以上(草莓:99.60%,豇豆:99.10%,大豆:99.41%,高粱:99.71%),OA、Kappa系數(shù)分別為99.49%和99.41%,比DCNN 算法分別提升1.10%和1.29%,與利用3D 卷積層提取光譜特征的DBDA 相比,DBDS 中基于2D 卷積進(jìn)行光譜特征提取的模塊效果不遑多讓,值得注意的是,DBDS 能夠有效區(qū)分樣本量稀少的復(fù)雜難區(qū)分地物,從而提高了影像的總體分類精度,證明了模型的穩(wěn)健性與魯棒性。
表3 不同算法在WHU-Hi-Hanchuan 數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)統(tǒng)計(jì)結(jié)果Table 3 Statistics of evaluation metrics for different algorithms on WHU-Hi-Hanchuan dataset(%)
圖7 為WHU-Hi-Hanchuan 數(shù)據(jù)集上高光譜影像分類結(jié)果,直觀展示了各類地物的分布信息。可以發(fā)現(xiàn),CDCNN、WCRN、DBDA 的分類結(jié)果中存在明顯的錯(cuò)分現(xiàn)象,DCNN 算法椒鹽噪聲嚴(yán)重,DBDS 的分類結(jié)果與真實(shí)標(biāo)簽最為接近,錯(cuò)檢最少。
圖7 不同算法在Hanchuan 數(shù)據(jù)集上的分類結(jié)果Fig.7 Classification results of different hyperspectral algorithms on Hanchuan dataset
表4 給出了在WHU-Hi-Longkou 數(shù)據(jù)集上的客觀評(píng)價(jià)結(jié)果。DBDS 由于能夠分別捕捉空間、光譜特征,并對(duì)高維信息進(jìn)行有效篩選和融合,效果最佳,在各類地物目標(biāo)的分類上均有較為優(yōu)異的效果,玉米、棉花、芝麻、闊葉大豆、窄葉大豆、水稻的f1 指數(shù)可達(dá)99.94%、99.79%、99.65%、99.79%、98.55%、98.84%,總體的OA 和Kappa 系數(shù)分別為99.80%和99.74%;DCNN 注重對(duì)于全局、局部多尺度特征的有效利用,在多類地物混淆區(qū)域,能夠獲得較好的結(jié)果,但OA 和Kappa 系數(shù)較之DBDS 下降0.57%和0.76%;DBDA 中空間-光譜聯(lián)合特征的捕捉和篩選使其分類精度尚可,但是時(shí)間效率較差,需要11 s,CDCNN 與WCRN 的效果最差,尤其是訓(xùn)練樣本較少的窄葉大豆的分類上,f1 指數(shù)僅有90.19%和91.94%。
圖8 為WHU-Hi-Longkou 數(shù)據(jù)及上的高光譜影像分類結(jié)果。
圖8 不同算法在Longkou 數(shù)據(jù)集上的分類結(jié)果Fig.8 Classification results of different hyperspectral algorithms on WHU-Hi-Longkou dataset
可以發(fā)現(xiàn),一味強(qiáng)調(diào)通過(guò)加深網(wǎng)絡(luò)層來(lái)提取高維特征的方法CDCNN、WCRN 缺乏對(duì)于高光譜數(shù)據(jù)本質(zhì)特征的有效利用,分類結(jié)果中存在較多的錯(cuò)分區(qū)域,DBDA與DCNN 通過(guò)不同的側(cè)重點(diǎn)對(duì)于空間-光譜聯(lián)合特征進(jìn)行了有益的探索,分類效果明顯提升,錯(cuò)分點(diǎn)明顯減少,同時(shí)DCNN 中的局部/非局部特征的捕捉有效區(qū)分了復(fù)雜目標(biāo),分類邊緣完整,DBDS 由于引入對(duì)于特征提取與篩選研究,效果最佳。
表5 給出了JAAS 數(shù)據(jù)集上不同算法分類結(jié)果的客觀評(píng)價(jià)。由于研究范圍較之前兩個(gè)數(shù)據(jù)集較大,在JAAS 數(shù)據(jù)集上各算法之間的精度差異明顯,WCRN 和CDCNN 在對(duì)花生的判別中,f1 指數(shù)分別只有88.65%和86.06%,WCRN 在訓(xùn)練樣本充足的苦瓜的提取中,f1 指數(shù)僅83.29%;結(jié)合3D 卷積實(shí)現(xiàn)光譜維度特征補(bǔ)充的DBDA 效果提升明顯,OA 和Kappa 較之CDCNN 分別提升了2.73%和3.40%,但是由于計(jì)算量增大,其分類時(shí)間也增加了6 s;DBDS 無(wú)論是在時(shí)間效率還是在分類精度上優(yōu)勢(shì)明顯,OA 和Kappa 系數(shù)分別為99.35%和99.20%,且各類地物f1 指數(shù)均在98%以上。
表5 不同算法在JAAS 數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)統(tǒng)計(jì)結(jié)果Table 5 Statistics of evaluation metrics for different algorithms on JAAS dataset(%)
圖9 為JAAS 數(shù)據(jù)集上各算法的分類結(jié)果圖。CDCNN、WCRN 的分類結(jié)果椒鹽噪聲明顯。
圖9 不同算法在JAAS 數(shù)據(jù)集上的分類結(jié)果Fig.9 Classification results of different hyperspectral algorithms on JAAS dataset
WCRN 中冬瓜錯(cuò)分為西瓜的現(xiàn)象明顯,DCNN 與DBDA 的分類結(jié)果較好,地物類型復(fù)雜區(qū)域的誤分現(xiàn)象仍然存在,DBDS 分類結(jié)果完整,與標(biāo)簽數(shù)據(jù)最為接近。
為進(jìn)一步研究DBDS 中空間特征動(dòng)態(tài)選擇策略、雙分支特征提取結(jié)構(gòu)、多輸出交叉驗(yàn)證約束模塊的作用,在WHU-Hi-Hanchuan 數(shù)據(jù)集上開(kāi)展消融試驗(yàn)。表6 給出了不同模塊下高光譜分類結(jié)果的客觀評(píng)價(jià),DBDS_w/o_MO 表示在DBDS 的基礎(chǔ)上去除多輸出交叉驗(yàn)證模塊,DBDS_w/o_gated 為整個(gè)網(wǎng)絡(luò)僅使用普通卷積層進(jìn)行特征提取的算法,DBDS_w/o_spatial、DBDS_w/o_spectral分別代表只提取光譜特征和空間特征的網(wǎng)絡(luò)結(jié)構(gòu)。
表6 不同改進(jìn)的高光譜分類算法在WHU-Hi-Hanchuan 數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)統(tǒng)計(jì)結(jié)果Table 6 Statistics of evaluation metrics for different improved hyperspectral classification algorithms on WHU-Hi-Hanchuan dataset %
結(jié)果顯示:1)多輸出交叉驗(yàn)證模塊通過(guò)在空間、光譜、聯(lián)合結(jié)果上的有效約束,對(duì)高光譜分類任務(wù)的影響最大,在同等網(wǎng)絡(luò)參數(shù)量級(jí)的情況下OA 和Kappa 分別提升了3.16%和3.74%;2)空間特征的有效提取對(duì)于分類任務(wù)而言也是至關(guān)重要的,對(duì)比DBDS_w/o_spatial 的結(jié)果,DBDS 的OA 和Kappa 分別有著1.66%和1.95%的提升;3)利用2D 卷積模塊提取得到的光譜特征對(duì)于分類結(jié)果也有不俗的正向促進(jìn)作用,對(duì)比僅著重提取高光譜數(shù)據(jù)空間特征的DBDS_w/o_spectral,DBDS 的OA和Kappa 有著2.80%、3.29%的提升;4)無(wú)論從各類地物的精度還是總體OA、Kappa 指標(biāo)上來(lái)看,引入的門控卷積通過(guò)對(duì)特征的空間維度有效篩選實(shí)現(xiàn)了高光譜分類任務(wù)的精度提升。
圖10 為不同改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)的目視評(píng)價(jià)結(jié)果。從目視效果上看,雖然每種方法均能大致將各類農(nóng)作物有效區(qū)分,但多特征聯(lián)合約束模塊的缺失導(dǎo)致分類結(jié)果的椒鹽噪聲現(xiàn)象嚴(yán)重,門控卷積的引入可以有效緩解冗余特征造成的錯(cuò)分問(wèn)題,空間-光譜聯(lián)合特征的有效提取可以大幅提升分類精度,尤其是光譜特征。
圖10 不同改進(jìn)網(wǎng)絡(luò)在WHU-Hi-Hanchuan 數(shù)據(jù)集上的分類結(jié)果Fig.10 Cassification results of different improved networks on WHU-Hi-Hanchuan dataset
為了解決傳統(tǒng)高光譜分類算法中空間-光譜聯(lián)合特征提取不夠有效、冗余特征篩選能力不足、模型約束過(guò)于單一等問(wèn)題,本研究設(shè)計(jì)了一種基于空間-光譜特征動(dòng)態(tài)選擇的高光譜影像分類算法(DBDS)。對(duì)于空間維度的特征冗余,選取門控卷積及GSA 模塊中的空間注意力模塊實(shí)現(xiàn)逐像素重要特征的篩選;門控卷積利用卷積層與不同的激活函數(shù),分別學(xué)習(xí)感受野下的特征及其對(duì)應(yīng)的位置權(quán)重信息(門信息),很好的從鄰域內(nèi)部空間位置相關(guān)性的角度出發(fā)進(jìn)行空間特征的篩選;空間注意力機(jī)制則從特征整體的角度出發(fā),結(jié)合最大池化和平均池化操作,逐點(diǎn)計(jì)算實(shí)現(xiàn)像素級(jí)的權(quán)重計(jì)算;兩者相結(jié)合,在網(wǎng)絡(luò)反向傳播機(jī)制的基礎(chǔ)上,不斷更新卷積層及池化層中的參數(shù),自適應(yīng)學(xué)習(xí)最優(yōu)解,實(shí)現(xiàn)特征在空間位置上的有效篩選。針對(duì)光譜維度的特征冗余,選取GSE 模塊中的通道注意力模塊,將特征的空間信息作為一個(gè)整體,僅關(guān)注通道維度的差異,通過(guò)計(jì)算每個(gè)通道的平均值和最大值,進(jìn)行通道上特征的加權(quán)計(jì)算,增加有效特征層的權(quán)重,降低相關(guān)性較低的特征權(quán)重。整個(gè)空間-光譜特征篩選過(guò)程完全通過(guò)網(wǎng)絡(luò)反饋的損失進(jìn)行權(quán)重調(diào)整計(jì)算,無(wú)需任何人工干預(yù),從而有效實(shí)現(xiàn)空間-光譜特征的動(dòng)態(tài)選擇。在JAAS 高光譜數(shù)據(jù)集和開(kāi)源數(shù)據(jù)集WHUHi 的LongKou、HanChuan 上進(jìn)行試驗(yàn),得出如下結(jié)論:
1)與主流基于高光譜影像的作物分類方法相比,本文提出的DBDS 算法無(wú)論在時(shí)間效率還是精度上均有明顯優(yōu)勢(shì)。在JAAS 數(shù)據(jù)集上,檢測(cè)時(shí)間為21 s,各類作物的分類精度均在98%以上,總體精度達(dá)99.35%,Kappa 系數(shù)達(dá) 99.20%,分別比 CDCNN、WCRN、DBDA、DCNN 高4.91%和6.12%、6.82%和8.53%、2.12%和2.63%、2.04%和2.54%。
2)空間-光譜特征的有效提取及篩選較好的解決了小樣本復(fù)雜難區(qū)分地物分類中模型退化的問(wèn)題。在WHUHi-Hanchuan 數(shù)據(jù)集中,著重光譜信息提取的DBDA 算法在樣本充足的作物分類任務(wù)中有著不錯(cuò)的效果,草莓、豇豆、大豆、高粱的f1 指數(shù)分別為99.60%、99.10%、99.41%、99.71%,但在小樣本目標(biāo)的分類上模型退化問(wèn)題嚴(yán)重,西瓜、裸土的f1 指數(shù)僅86.30%、91.07%,通過(guò)空間和光譜特征的有效提取和利用,本文提出的DBDS 算法在有效提升各類作物的識(shí)別精度的同時(shí),西瓜、裸土的f1 指數(shù)達(dá)96.65%和98.23%。
本文提出的DBDS 算法實(shí)現(xiàn)了在樣本不均衡、地物類型復(fù)雜多樣區(qū)域的高精度、高時(shí)效農(nóng)作物精細(xì)分類,基于2D 卷積的空間-光譜特征有效提取與利用可以在較少參數(shù)計(jì)算量的基礎(chǔ)上,達(dá)到與基于3D 卷積高光譜分類算法相媲美的精度,對(duì)于更高精度、效率的農(nóng)作物精細(xì)分類研究具有一定的指導(dǎo)意義,也為其他基于高光譜數(shù)據(jù)的目標(biāo)識(shí)別任務(wù)提供了參考。