羅仙仙,許松芽,肖美龍,嚴(yán) 洪,陳正超

1(泉州師范學(xué)院 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,泉州 362000)

2(福建省大數(shù)據(jù)管理新技術(shù)與知識工程重點(diǎn)實(shí)驗(yàn)室,泉州 362000)

3(泉州師范學(xué)院 教育科學(xué)學(xué)院,泉州 362000)

4(泉州市林業(yè)局森林資源管理站,泉州 362000)

5(福建省林業(yè)調(diào)查規(guī)劃院,福州 350000)

6(中國科學(xué)院 遙感與數(shù)字地球研究所,北京 100094)

森林類型分類或樹種識別是森林經(jīng)營與管理的關(guān)鍵環(huán)節(jié),高光譜遙感技術(shù)用于森林類型或樹種識別取得一系列的成果[1-3].近20年來,以高光譜遙感圖像為數(shù)據(jù)源的森林類型、樹種類型的識別算法主要分為基于光譜特征[4]、基于光譜匹配[5]和基于統(tǒng)計(jì)分析方法[3,4].但由于高光譜圖像數(shù)據(jù)量大且存在較高的譜間相關(guān)性和空間相關(guān)性,導(dǎo)致Hughes 現(xiàn)象[6],通常采取特征選擇和特征提取兩種方式進(jìn)行降維處理.特征選擇的目的是選擇出對分類最有用的參數(shù),壓抑或限制無用信息,使選擇后的特征參數(shù)盡可能大地反映類別之間的差異,并且彼此之間的相關(guān)性盡可能弱.王玲段等運(yùn)用最佳指數(shù)法、波段指數(shù)法對HJ-1A 衛(wèi)星HIS 影像進(jìn)行波段選擇,篩選出3 種波段組合(28-40-77、28-54-75、20-40-58)集中在紅光和近紅外波段,對3 種經(jīng)濟(jì)林識別精度達(dá)到70%以上[7].李俊明等用光譜混合距離判斷出HJ-1A 影像中波長508.42 nm、696.85 nm、885.18 nm 為區(qū)分闊葉林和混交林的最佳波段組合[8].Koedsin 等采取遺傳算法對EO-1Hyperion 高光譜數(shù)據(jù)進(jìn)行波段選取7 波段(549、712、732、1034、1235、2073、2083 nm)的“染色體”獲得最高樹種可分性[9].特征提取是建立在各光譜波段間的重組和優(yōu)化基礎(chǔ)上的運(yùn)算.通過數(shù)學(xué)變換的方式將原始數(shù)據(jù)矢量空間投影到維數(shù)低的新的空間中,從而實(shí)現(xiàn)降低空間維的目的,但改變了圖像的原有特性.高光譜特征提取和特征壓縮技術(shù)主要包括最小噪音分離變換、典范變量分析、獨(dú)立成分分析ICA 以及主成分分析PCA.Ballanti等人與Zhang 等人均采用最小噪音分離變換方法對高光譜數(shù)據(jù)進(jìn)行特征提取,并取得較好樹種識別精度[3,4].

深度學(xué)習(xí)是當(dāng)前機(jī)器學(xué)習(xí)與人工智能研究熱點(diǎn),是指超過三層的神經(jīng)網(wǎng)絡(luò)模型[10],模仿人類大腦的層次結(jié)構(gòu),是一組嘗試通過使用體系結(jié)構(gòu)的多個非線性變換組成模型中數(shù)據(jù)的高級抽象機(jī)器學(xué)習(xí)算法.深度學(xué)習(xí)由加拿大多倫多大學(xué)Hinton 教授于2006年提出的一種有效的特征提取及分類方法[11],被應(yīng)用到語音識別、圖像識別、計(jì)算機(jī)視覺等領(lǐng)域,并取得了良好的識別效果.深度學(xué)習(xí)典型方法包括限制玻爾茲曼機(jī)、深度信念網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和自動編碼器等[12].深度學(xué)習(xí)新方法包括遞歸神經(jīng)網(wǎng)絡(luò)及其變種模型長短時記憶模型和生成對抗網(wǎng)絡(luò)等.深度學(xué)習(xí)方法用于遙感圖像處理取得快速發(fā)展[13-15],由于深度學(xué)習(xí)方法訓(xùn)練與測試需要大量樣本數(shù)據(jù),大多對現(xiàn)有標(biāo)準(zhǔn)數(shù)據(jù)集[16]進(jìn)行研究,實(shí)際應(yīng)用微乎其微[17,18],在林業(yè)遙感領(lǐng)域,只見李英杰等人利用線性稀疏自動編碼器用于林業(yè)圖像分類研究[19].目前,尚未見文獻(xiàn)報(bào)道深度學(xué)習(xí)方法在林業(yè)高光譜遙感分類中應(yīng)用.因此,論文將研究深度信念網(wǎng)絡(luò)用于環(huán)境與災(zāi)害監(jiān)測預(yù)報(bào)小衛(wèi)星HJ-1A 高光譜影像森林類型識別研究,通過深層的學(xué)習(xí),可以充分、自動、高效利用高光譜的各個波段進(jìn)行特征提取,為高光譜林業(yè)遙感處理,乃至智慧林業(yè)等方向研究提供新的研究視角.

1 研究方法

1.1 受限玻爾茲曼機(jī)

1.1.1 受限玻爾茲曼機(jī)模型

一個受限制玻爾茲曼機(jī)有兩層,如圖1 所示,一層是輸入層v(或說可見層),i 為任意一個節(jié)點(diǎn);另一層是輸出h(或隱藏層),j 是其中的一個節(jié)點(diǎn),可見層與隱藏層為全連接關(guān)系.同一層的單元之間沒有連接關(guān)系.RBM 是一個無向的生成能量模型,RBM 所具有能量如式(1)所示.

圖1 RBM 模型示意圖

同理,給定隱藏層節(jié)點(diǎn)的參數(shù)時,可見層任一節(jié)點(diǎn)的激活概率為:

其中,σ (x)是由邏輯函數(shù)定義的S 型函數(shù),Sigmoid 函數(shù)為:

1.1.2 限玻爾茲曼機(jī)的訓(xùn)練

dk表示期輸出或目標(biāo)輸出,ok表示響應(yīng)于訓(xùn)練像素的實(shí)際輸出,總共為K 個輸出.為了最小化誤差E,可計(jì)算E 相對于網(wǎng)絡(luò)中每個權(quán)重和偏置值的偏導(dǎo)數(shù),通過對比散度算法(Contrastive Divergence,CD)可以快速進(jìn)行參數(shù)更新,更新規(guī)則為[20]:

式中,ε為學(xué)習(xí)率.〈 ·〉data是對數(shù)據(jù)分布的期望值,〈·〉recon是對模型分布的期望值.

1.2 深度信念網(wǎng)絡(luò)(Deep Belief Network,DBN)

一個深度信念網(wǎng)絡(luò)由多層RBM 構(gòu)成,如圖2 所示.DBN 有兩個關(guān)鍵的訓(xùn)練步驟:一個是預(yù)訓(xùn)練,另一個是微調(diào).

圖2 深度信念網(wǎng)絡(luò)的生成模型

1.2.1 預(yù)訓(xùn)練

預(yù)訓(xùn)練DBN 是無監(jiān)督的過程.采用對比散度算法,自底向上逐層訓(xùn)練RBM,直到最后的隱藏層為止,這樣使DBN 從原始的輸入數(shù)據(jù)中提取更多的深層特征.

1.2.2 使用反向傳播算法進(jìn)行微調(diào)

反向傳播算法最初是由Rumbelhart 提出的,是監(jiān)督分類的過程.在預(yù)訓(xùn)練中,通過逐層訓(xùn)練,得到最終預(yù)測的分類結(jié)果.然而,真實(shí)的結(jié)果與實(shí)際預(yù)測結(jié)果存在誤差,反向傳播算法根據(jù)此誤差向后微調(diào)DBN 的參數(shù),并通過靈敏度 δk修正網(wǎng)絡(luò)參數(shù),對于某一輸出層,若第k 個節(jié)點(diǎn)的實(shí)際預(yù)測為 ok,真實(shí)的結(jié)果為dk,其靈敏度定義為:

批處理的更新規(guī)則如下:

1.3 分類精度指標(biāo)評價

1.3.1 總體精度

對分類結(jié)果質(zhì)量的總體評價可以用總體精度來表示,總體精度等同于被正確分類的像素總數(shù)除以總像素個數(shù)的總和.在混淆矩陣的對角線上,分布著被正確分類的像素個數(shù),它能夠匹配正確分類的像素?cái)?shù)與真實(shí)分類的個數(shù).根據(jù)混淆矩陣計(jì)算總體精度的公式可以列出如下:

其中,C 表示分類的總體個數(shù),mii表示混淆矩陣對角線上的元素,N 代表測試樣本的總數(shù).

1.3.2 Kappa 系數(shù)

Kappa 系數(shù)是采用多元離散分析技術(shù)來反映分類結(jié)果與參考數(shù)據(jù)之間的一致性的指標(biāo).由于它將混淆矩陣中的全部因子都考慮在內(nèi),因此將其視為一個更為客觀的評價指標(biāo),其定義為:

其中,mi+,m+i分別代表混淆矩陣中第i 行與第i 列的總和,Kappa 系數(shù)與分類精度密切相關(guān),呈正比關(guān)系.一般來說,Kappa 系數(shù)越高,分類精度越高.

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)區(qū)域與高光譜數(shù)據(jù)

研究選用HJ-1A 星HSI 數(shù)據(jù)2 級產(chǎn)品,成像時間為2011年8月24日,共115 個波段,空間分辨率為100 m.研究區(qū)為福建省泉州市德化縣西部8 個鄉(xiāng)鎮(zhèn),其行政區(qū)范圍及假彩色合成影像(第105、70、40 波段進(jìn)行假彩色合成)如圖3.該產(chǎn)品影像數(shù)據(jù)經(jīng)過系統(tǒng)幾何校正和輻射校正,校正誤差不小于一個像元,校正后影像統(tǒng)一到指定的地圖投影坐標(biāo)系下(西安1980 坐標(biāo)系).HSI 影像數(shù)據(jù)的部分波段存在明顯的條紋,主要包括第1-29 波段,嚴(yán)重影響圖像的質(zhì)量和應(yīng)用,因而本研究將前29 個波段剔除,剩余86 個波段,波長區(qū)間范圍(529.6350-951.54 nm).

2.2 實(shí)驗(yàn)處理流程

實(shí)驗(yàn)總體處理流程如圖4 所示,先進(jìn)行數(shù)據(jù)準(zhǔn)備,然后搭建好tensorflow1.11.0 框架開發(fā)環(huán)境,數(shù)據(jù)集轉(zhuǎn)換成Python 程序容易處理的csv 文件,進(jìn)行訓(xùn)練集與測試集劃分,再進(jìn)行實(shí)驗(yàn)對比.實(shí)驗(yàn)基于Windows 10 64 位操作系統(tǒng),處理器型號為Intel(R)Core(TM)i5-8250U CPU @1.60 GHz 1.80 GHz,實(shí)驗(yàn)在PyCharm 2018.3x64 編輯器中進(jìn)行編碼與參數(shù)調(diào)優(yōu),加載Python 擴(kuò)展庫,包括深度學(xué)習(xí)TensorFlow、numpy、Pandas、Matplotlib 等[21].

圖3 研究區(qū)及假彩色合成影像

圖4 實(shí)驗(yàn)處理流程

實(shí)驗(yàn)中,依據(jù)二類調(diào)查數(shù)據(jù),選取帶標(biāo)簽樣本,同時對86 個波段數(shù)據(jù)作為DBN 的輸入,并進(jìn)行歸一化處理,同時對標(biāo)簽進(jìn)行獨(dú)熱編碼(One-hot 編碼),再對數(shù)據(jù)集進(jìn)行隨機(jī)打亂,選取訓(xùn)練、測試兩部分?jǐn)?shù)據(jù).將訓(xùn)練好的參數(shù)保存在Tensorboar 中,對整體數(shù)據(jù)加載、混淆矩陣輸出,繪制圖像,并將結(jié)果與SVM 對比.

2.3 訓(xùn)練樣本與測試樣本分配

研究區(qū)域共97 258 個像素點(diǎn)被分類,為提高DBN 分類效果,通過多次預(yù)實(shí)驗(yàn),選取28 000 個已知類別的像素點(diǎn)作為訓(xùn)練樣本與測試樣本,其中51 989 個像素點(diǎn)是針葉林,6142 個像素點(diǎn)是闊葉林,16 283 個像素點(diǎn)是混交林,其余28 986 個像素點(diǎn)為非林地.在訓(xùn)練過程中,針葉林類有10 000 個訓(xùn)練樣本,其他每個子類有6000 個訓(xùn)練樣本.如表1.

表1 數(shù)據(jù)集標(biāo)簽分類

3 結(jié)果與分析

3.1 隱藏層層數(shù)對分類結(jié)果的影響

目前,由于對于DBN 結(jié)構(gòu)的選擇尚且沒有完善的理論基礎(chǔ),基本靠實(shí)驗(yàn)調(diào)參,給出最優(yōu)參數(shù).合適的網(wǎng)絡(luò)深度影響最終分類結(jié)果與運(yùn)行時間.當(dāng)DBN 的層數(shù)過多,容易過擬合現(xiàn)象.反之,容易產(chǎn)生欠擬合現(xiàn)象.實(shí)驗(yàn)中,首先固定其它超參數(shù),如學(xué)習(xí)率為0.001,激活函數(shù)為Sigmoid,批處理量100,梯度下降方式采取rmsp,迭代次數(shù)1000,cd-k 為1.每個隱藏層節(jié)點(diǎn)數(shù)均采用256.對DBN 的層數(shù)是從{3,4,5,6,7}中選取,采用網(wǎng)絡(luò)搜索方式進(jìn)行參數(shù)調(diào)優(yōu),不同隱藏層層數(shù)對分類結(jié)果影響見圖5.當(dāng)隱藏層層數(shù)為3 時,總體精度與Kappa 系數(shù)最大.

圖5 不同隱藏層層數(shù)對分類結(jié)果的影響

3.2 隱藏層節(jié)點(diǎn)數(shù)對分類結(jié)果的影響

隱藏層節(jié)點(diǎn)數(shù)量選擇不當(dāng)常常造成訓(xùn)練出現(xiàn)“過擬合”現(xiàn)象.隱藏節(jié)點(diǎn)過少時,網(wǎng)絡(luò)對數(shù)據(jù)的擬合性能很差,甚至無法有效的完成分類任務(wù);過多時,會造成訓(xùn)練時間增加,尋找最優(yōu)解過程中陷入局部最優(yōu)的機(jī)率提高.實(shí)驗(yàn)中,固定DBN 的層數(shù)為3,其它超參數(shù)也不變,隱藏層的節(jié)點(diǎn)數(shù)量依次從{16,32,64,128,256,512}中選取,實(shí)驗(yàn)結(jié)果如圖6 所示,當(dāng)隱藏層節(jié)點(diǎn)數(shù)為256 時,總體精度和Kappa 系數(shù)最大.

圖6 隱藏層節(jié)點(diǎn)數(shù)對分類結(jié)果的影響

3.3 與支持向量機(jī)分類方法的比較

支持向量機(jī)方法采用的核函數(shù)為徑向基函數(shù)(RBF),懲罰因子C 的范圍在[1,0.1,0.001]上尋找,訓(xùn)練樣本與測試樣本與DBN 方式保持一致.采用5 折交叉驗(yàn)證與網(wǎng)絡(luò)搜索方法對SVM 進(jìn)行參數(shù)調(diào)優(yōu),當(dāng)C 值取1 時獲得最高總體精度,達(dá)到73%,Kappa 系數(shù)為0.6447.深度信念網(wǎng)絡(luò)與支持向量機(jī)分類結(jié)果比較,見表2 與圖7.圖7 中,綠色為針葉林,闊葉林為黃色,粉紅色為混交林,藍(lán)色為非林地.

表2 不同方法分類效果比較

圖7 不同方法分類結(jié)果

從表2 可知,DBN 在各森林類型的分類精度以及總體精度、Kappa 系數(shù)都略高于SVM.究其原因,深度信念網(wǎng)絡(luò)方法將高光譜所有波段特征全部作為輸入,通過受限玻爾茲曼機(jī)的無監(jiān)督學(xué)習(xí),自底向上進(jìn)行預(yù)訓(xùn)練,獲取初始特征參數(shù),對各種森林類型進(jìn)行深層特征提取;同時,通過自頂向下的有監(jiān)督學(xué)習(xí)進(jìn)行參數(shù)調(diào)優(yōu),更有效挖掘出森林類型地物特征,提高分類效果.

當(dāng)隱藏層層數(shù)為3,隱藏層節(jié)點(diǎn)數(shù)為256 時,是深度信念網(wǎng)絡(luò)的最優(yōu)參數(shù),此時,DBN 分類結(jié)果的混淆矩陣見表3.由表3 可知,闊葉林精度最低,僅為83.0%.混交林精度最高,達(dá)到95.4%.

表3 最優(yōu)參數(shù)的DBN 分類方法混淆矩陣

4 結(jié)論與討論

4.1 結(jié)論

本文借助DBN 模型與HJ/1A 高光譜影像,通過無監(jiān)督的預(yù)訓(xùn)練和有監(jiān)督的微調(diào)對泉州市德化縣西部8 個鄉(xiāng)鎮(zhèn)進(jìn)行森林類型識別研究,通過大量實(shí)驗(yàn)調(diào)參,層數(shù)為3,每層節(jié)點(diǎn)數(shù)為256 的網(wǎng)絡(luò)結(jié)構(gòu)對森林類型識別效果最好,總體精度達(dá)85.8%,Kappa 系數(shù)為0.785,好于支持向量機(jī)的分類結(jié)果,證明了深度信念網(wǎng)絡(luò)用于森林類型分類的優(yōu)越性.

4.2 討論

(1)本文利用深度信念網(wǎng)絡(luò)方法進(jìn)行森林類型識別研究,具有研究方法創(chuàng)新,該方法分類結(jié)果好于傳統(tǒng)決策向量機(jī),但該方法如何解決“同物異譜”和“同譜異物”的機(jī)理尚不明確.

(2)結(jié)合二類調(diào)查數(shù)據(jù),選取近1/3 的樣本作為訓(xùn)練與測試樣本,才提高了分類效果,但現(xiàn)實(shí)研究中,如果樣本量較少,或沒有樣本,如何利用對抗生成網(wǎng)絡(luò)進(jìn)行擴(kuò)展樣本將是下步研究重點(diǎn).

(3)本文僅從光譜特征出發(fā),沒有利用空間特征,以及光譜特征與空間特征(空譜聯(lián)合特征),而這些特征可以深層次的挖掘數(shù)據(jù)的內(nèi)部特征,是否可以提高分類效果值得進(jìn)一步研究.

(4)最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)只是針對森林類型識別而言,二級、三級地類識別的最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)需要進(jìn)一步研究,同時,迫切需要建立適用于林業(yè)遙感的深度學(xué)習(xí)分類方法的標(biāo)準(zhǔn)與規(guī)范.