魏錦山，陳爭光

（黑龍江八一農(nóng)墾大學(xué)信息與電氣工程學(xué)院 黑龍江，大慶 163319）

近紅外光譜分析是一種高效分析方法。近紅外譜區(qū)（780～2526 nm）涵蓋有機(jī)物中大量含氫基團(tuán)信息，蘊(yùn)涵分子的結(jié)構(gòu)、組成狀態(tài)等信息。因此，采用近紅外光譜分析技術(shù)對土壤進(jìn)行定性定量檢測已成為當(dāng)前光譜檢測的熱點(diǎn)[1-4]。

土壤質(zhì)地指土壤中不同尺寸礦物顆粒的組合狀況，一般分為砂土、壤土、黏壤土、黏土4類，是土壤物理性質(zhì)之一，對土壤光譜特征有一定影響。一方面它影響土壤蓄水能力，較大的顆粒間能容納更多空氣和水；另外土壤顆粒大小對土壤反射率有顯著影響，顆粒越小，彼此結(jié)合越緊密，土壤表面越平滑，反射率越大[5]。國內(nèi)外研究大多側(cè)重于土壤類型對土壤成分預(yù)測的影響上[6-11]，通過近紅外光譜建模對土壤質(zhì)地分類的研究很少[12]。

另外，國內(nèi)外研究建模多采用小樣本數(shù)據(jù)集[13]，會導(dǎo)致模型魯棒性不強(qiáng)、泛化能力差等問題[14]。卷積神經(jīng)網(wǎng)絡(luò)[15]和長短時記憶網(wǎng)絡(luò)[16]作為當(dāng)前最流行、最有效和最廣泛使用的深度學(xué)習(xí)算法[17]，能自動提取光譜的有效特征，利用大數(shù)據(jù)能夠提升分類模型準(zhǔn)確率的同時獲得良好魯棒性。因此，將大數(shù)據(jù)與深度學(xué)習(xí)方法結(jié)合建立分類模型的研究具有重要意義。

本文以歐盟統(tǒng)計局調(diào)查收集的土壤近紅外光譜樣本數(shù)據(jù)集為研究對象，分別采用六種類型的CNN 網(wǎng)絡(luò)和六種類型的LSTM網(wǎng)絡(luò)建立土壤質(zhì)地近紅外光譜分類模型，比較模型分類效果的差異，旨在建立一種高效準(zhǔn)確的基于深度學(xué)習(xí)與近紅外光譜的土壤質(zhì)地分類模型。

1 材料與方法

1.1 數(shù)據(jù)來源

本實驗采用歐盟統(tǒng)計局開展的土地利用/土地覆蓋地區(qū)框架調(diào)查數(shù)據(jù)（Land Use/Land Cover Area Frame Survey,LUCAS），包含歐盟23國土壤近紅外光譜數(shù)據(jù)及其物理化學(xué)性質(zhì)檢測結(jié)果。將LUCAS數(shù)據(jù)集中17939個土壤質(zhì)地樣本，按照美國土壤質(zhì)地分類標(biāo)準(zhǔn)將其分為4類，包括砂土、壤土、黏壤土、黏土（含1116 個砂土樣本、11999 個壤土樣本、3417 個黏壤土樣本和1407 個黏土樣本）。按6：2：2 的比例將數(shù)據(jù)隨機(jī)劃分為訓(xùn)練集、驗證集和測試集，土壤數(shù)據(jù)集劃分如表1所示。

表1 LUCAS土壤樣本集劃分

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)[18]，主要由輸入層、卷積層、池化層、全連接層及輸出層構(gòu)成。

卷積層（Convolutional Layer）通過卷積核提取輸入層局部特征，同一特征面權(quán)值共享[19]。第l層的第k個特征映射中，（i,j）處特征值計算如式（1）所示。設(shè)a（·）為非線性激活函數(shù)，激活值計算如式（2）所示。其中，是第l層輸入矩陣，中心為（i,j）。是卷積核的權(quán)重向量，是偏置項。

池化層（Pooling Layers）用于降維，避免過擬合。本文選用取局部接受域中值最大點(diǎn)的最大池化方法。設(shè)pool（·）為池化函數(shù)，對激活值的池化如式（3）所示。其中，Ri,j是特征映射中以（i,j）為中心的區(qū)塊。

全連接層（Fully Connected Layer）負(fù)責(zé)本層神經(jīng)元與前層相連，產(chǎn)生全局語義[20]，并通過Softmax 函數(shù)進(jìn)行分類。

1.3 LSTM

長短時記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)[16]是一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)，由記憶單元、輸入門、輸出門和遺忘門構(gòu)成，如圖1（b）。其特點(diǎn)是利用“門”機(jī)制調(diào)整信息流，能學(xué)習(xí)橋接大于一千步的間隔，即便存在噪聲、無法壓縮數(shù)據(jù)的條件下，也對短時間延遲能力無影響。

遺忘門控制信息的傳遞或丟棄，其輸出ft如式（4）所示。

其中，σ(·)為sigmoid 函數(shù)，Wf為遺忘門權(quán)重矩陣，[ht-1,xt] 為上一時刻輸出與當(dāng)前輸入組成的向量，bf為偏置。輸入門控制輸入值的更新單元狀態(tài)，其輸出it如式（5）所示。

其中，Wi為輸入門的權(quán)重矩陣，bi為偏置。

其中，Wc為輸入單元權(quán)重，bc為偏置。

新細(xì)胞狀態(tài)Ct如式（7）所示。

其中⊙為哈達(dá)瑪積。

輸出門產(chǎn)生的控制信號ot如式（8）所示。

最終輸出值ht如式（9）所示。

1.4 注意力機(jī)制-SENet

擠壓激勵網(wǎng)絡(luò)[21]（Squeeze-and-Excitation Networks，SENet）主要包含兩部分：

Squeeze：通過全局平均池化（Global Average Pooling）將每個特征圖壓縮為1*1*（通道數(shù)）的一維序列。

Excitation：得到Squeeze 壓縮序列后，輸入全連接層FC（Fully Connected）進(jìn)一步壓縮，其后進(jìn)行ReLU激活，通過下一個FC 恢復(fù)原來維度，再將其輸入sigmoid 函數(shù)，對每個通道的重要性進(jìn)行預(yù)測，得到各個通道的權(quán)重后再激勵到之前特征圖對應(yīng)的通道上。其特點(diǎn)是模塊輕量化，可直接嵌入網(wǎng)絡(luò)，通過顯式建模其特征通道之間的相互依賴關(guān)系來提高網(wǎng)絡(luò)的表示能力。僅增加模型少量的運(yùn)算時間就能提高模型準(zhǔn)確率，性價比很高。

1.5 模型的建立

本研究建立了六種類型的CNN模型（3種標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)、3 種融入Attention 的卷積神經(jīng)網(wǎng)絡(luò)）和六種類型的LSTM 模型（3 種標(biāo)準(zhǔn)LSTM 網(wǎng)絡(luò)、3 種融入Attention 的LSTM 網(wǎng)絡(luò)）。模型結(jié)構(gòu)如圖1所示。其中圖1（a）展示了融入Attention 的4 層卷積神經(jīng)網(wǎng)絡(luò)，圖1（b）展示了融入Attention的4層LSTM網(wǎng)絡(luò)。

圖1 CNN模型結(jié)構(gòu)圖（a）和LSTM模型結(jié)構(gòu)圖（b）

2 結(jié)果與討論

2.1 不同分類模型的分類結(jié)果

利用一維土壤質(zhì)地近紅外光譜數(shù)據(jù)訓(xùn)練六種類型的CNN模型（3種標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)、3種融入Attention的卷積神經(jīng)網(wǎng)絡(luò)）和六種類型的LSTM模型（3種標(biāo)準(zhǔn)LSTM網(wǎng)絡(luò)、3種融入Attention的LSTM網(wǎng)絡(luò)）。模型在驗證集和測試集上的分類結(jié)果如表2所示。其中CNN_4_Attention表示卷積層數(shù)為4 且融入Attention 的CNN 模型，LSTM_4_Attention 表 示LSTM 層 數(shù)為4 且融 入Attention 的LSTM模型。

2.2 網(wǎng)絡(luò)層數(shù)對分類準(zhǔn)確率的影響

如表2所示，輸入一維光譜訓(xùn)練后，無論是CNN還是LSTM 模型，隨著網(wǎng)絡(luò)層數(shù)的增加，其總樣本分類準(zhǔn)確率均逐漸提高。當(dāng)網(wǎng)絡(luò)隱藏層層數(shù)為4層時，CNN_4模型的測試集準(zhǔn)確率最高達(dá)到76.58%，LSTM_4模型的測試集準(zhǔn)確率最高達(dá)到77.86%。Agrawal等[22]在人臉識別的研究工作中證實卷積層增加會提升分類準(zhǔn)確率。Livieris等[23]在研究黃金價格波動的預(yù)測工作中發(fā)現(xiàn)，深層的LSTM網(wǎng)絡(luò)性能要優(yōu)于淺層網(wǎng)絡(luò)。開發(fā)ResNet的作者何愷明等[24]也認(rèn)為網(wǎng)絡(luò)層數(shù)對模型的性能有很大影響。這些均與本研究結(jié)論一致。

表2 模型的分類準(zhǔn)確率表

2.3 Attention對CNN模型和LSTM模型分類準(zhǔn)確率的影響

融入Attention 模塊后，網(wǎng)絡(luò)執(zhí)行特征重新校準(zhǔn)，通過GlobalAveragePooling 將全局空間信息壓縮到信道描述符中，使來自網(wǎng)絡(luò)全局感受野的信息能被低層利用。為了利用壓縮的聚合信息來捕獲通道依賴性，要進(jìn)行激勵操作。在ReLU 層前后分別加入了Fully Connected層，形成瓶頸結(jié)構(gòu)來參數(shù)化門控機(jī)制，第一個FC 層用以降維，然后進(jìn)行ReLU 激活，再經(jīng)過第二個FC 層升維，最后通過sigmiod 函數(shù)對特征圖重新加權(quán)，以達(dá)到集中注意力的效果。SENet以一種高效的計算方式增加了網(wǎng)絡(luò)深度，可在計算成本很低的情況下提高模型性能，嵌入Attention 會對模型性能有一定的提升。融入Attention后，通過學(xué)習(xí)使用全局信息來選擇性地強(qiáng)調(diào)特征，并抑制無用特征，顯式建模通道間的相互依賴關(guān)系提高了網(wǎng)絡(luò)表示能力，提升了分類準(zhǔn)確率[21]。兩類網(wǎng)絡(luò)的總體分類準(zhǔn)確率均有了一定提升，CNN_4_Attention 測試集準(zhǔn)確率達(dá)到了77.50%，LSTM_4_Attention測試集準(zhǔn)確率達(dá)到了78.39%。

2.4 不同類型模型對分類準(zhǔn)確率的影響

如表2，未融入Attention時，LSTM_4模型的測試集總體分類準(zhǔn)確率比CNN_4模型高1.28%。融入Attention后，LSTM_4_Attention 模型的總樣本分類準(zhǔn)確率比CNN_4_Attention模型高0.89%。整體看LSTM分類效果稍優(yōu)于CNN，證明LSTM更適合處理一維的序列數(shù)據(jù)。這是由于二者模型結(jié)構(gòu)的差異所致。CNN 的核心是卷積核，其僅能識別局部特征，提取的特征是由一層層卷積核輸出的結(jié)果堆疊起來的；而LSTM區(qū)別于CNN，主要由記憶單元、輸入門、輸出門和遺忘門構(gòu)成，具備記憶能力，便于根據(jù)前后信息獲得結(jié)果。通過門控狀態(tài)更新傳輸?shù)臄?shù)據(jù)，其中遺忘門的sigmoid函數(shù)負(fù)責(zé)保存需要長期保留的重要信息，遺忘次要信息，有選擇的篩選和過濾信息能有效地提高模型準(zhǔn)確率。Livieris等[23]在其研究中提到LSTM 網(wǎng)絡(luò)適合處理序列數(shù)據(jù)。由于LSTM特殊的構(gòu)造，其模型能有效地獲取序列數(shù)據(jù)的特征。利用深度學(xué)習(xí)算法的序列模型可以提高模型性能。其觀點(diǎn)與本研究結(jié)論一致。

2.5 不同模型訓(xùn)練過程

表2中12個模型驗證集分類準(zhǔn)確率隨迭代次數(shù)的變化曲線如圖2所示。

圖2 驗證集數(shù)據(jù)的分類準(zhǔn)確率曲線

隨著迭代次數(shù)的增加，12 個模型驗證集數(shù)據(jù)的分類準(zhǔn)確率不斷提高，準(zhǔn)確率最高點(diǎn)均超過72%，效果良好。早停法檢測到其模型性能不再繼續(xù)優(yōu)化，長時間訓(xùn)練存在過擬合風(fēng)險，因此自動中斷訓(xùn)練。并且隨卷積層數(shù)的增加，模型能在驗證集數(shù)據(jù)上達(dá)到更高的分類準(zhǔn)確率。未融入Attention 模塊時，CNN 最優(yōu)模型CNN_4 的驗證集分類準(zhǔn)確率能達(dá)到76.64%，LSTM 最優(yōu)模型LSTM_4 的驗證集分類準(zhǔn)確率能達(dá)到78.76%，LSTM模型的分類性能更優(yōu)。融入Attention 模塊后，CNN 最優(yōu)模型CNN_4_Attention 的驗證集分類準(zhǔn)確率能達(dá)到77.84%，LSTM 最優(yōu)模型LSTM_4_Attention 的驗證集分類準(zhǔn)確率能達(dá)到79.31%，LSTM模型的分類性能更優(yōu)。

未融入Attention 的CNN 和LSTM 模型的分類準(zhǔn)確率曲線波動較大，穩(wěn)定性差（圖2（a）（c））。相比之下，融入Attention的CNN和LSTM模型的分類準(zhǔn)確率曲線波動小，訓(xùn)練過程中，準(zhǔn)確率穩(wěn)定上升（圖2（b）（d）），在Early stopping方法輔助下避免過擬合的同時，能達(dá)到更高的訓(xùn)練次數(shù)，即意味著達(dá)到了更高的分類準(zhǔn)確率，說明Attention 模塊會重新分配通道權(quán)重，以達(dá)到集中注意力、顯著提高模型性能的效果。

另外，樣本量對實驗結(jié)果有影響。Pittaki等[10]在其研究中發(fā)表過相同觀點(diǎn)。樣本多的類別分類準(zhǔn)確率高，樣本量少的類別分類準(zhǔn)確率低。這是因為，模型在訓(xùn)練過程中，較多樣本的類別對模型的修正能力更強(qiáng)。如表1所示，砂土樣本量僅為1116個，僅占總樣本的6.2%。從表2可見，12個模型對于砂土的分類準(zhǔn)確率都較低，最低達(dá)到了17.94%。

3 結(jié)論

通過一維土壤質(zhì)地近紅外光譜數(shù)據(jù)訓(xùn)練模型，共建立六種類型的CNN 模型（3 種標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)、3 種融入Attention的卷積神經(jīng)網(wǎng)絡(luò)）和六種類型的LSTM模型（3種標(biāo)準(zhǔn)LSTM 網(wǎng)絡(luò)、3 種融入Attention 的LSTM 網(wǎng)絡(luò)）。從不同角度分析了兩種模型間分類性能的差異。實驗證明：（1）網(wǎng)絡(luò)層數(shù)對分類準(zhǔn)確率有影響，深層網(wǎng)絡(luò)的性能要優(yōu)于淺層網(wǎng)絡(luò)。（2）融入Attention 模塊后，對兩類模型分類準(zhǔn)確率均有了一定提升，CNN_4_Attention 達(dá)到了77.50%，LSTM_4_Attention 達(dá)到了78.39%。（3）LSTM 模型的分類效果整體優(yōu)于CNN，證明LSTM更適合處理一維序列數(shù)據(jù)。（4）樣本量對實驗結(jié)果有影響，樣本多的類別分類準(zhǔn)確率高，樣本量少的類別分類準(zhǔn)確率低。利用大數(shù)據(jù)結(jié)合深度學(xué)習(xí)相關(guān)算法對近紅外光譜進(jìn)行分類，能建立更高魯棒性和普適性的優(yōu)良模型，為土壤分類研究提供了一種新思路。