鄧 昀, 牛照文, 馮琦堯, 王 宇*

1. 廣西嵌入式技術(shù)與智能系統(tǒng)重點實驗室, 廣西 桂林 541004

2. 桂林理工大學信息科學與工程學院, 廣西 桂林 541004

引 言

土壤有機質(zhì)(SOM)是衡量土壤肥沃度的一個重要指標[1]。 它能夠促進植物生長, 改善土壤物理性質(zhì)。 快速、 準確獲取土壤有機質(zhì)含量對農(nóng)業(yè)發(fā)展具有重要價值和意義。 然而, 傳統(tǒng)的化學方法估算SOM含量成本高、 耗時長、 工作量大, 不能滿足當前發(fā)展需求。 隨著高光譜遙感技術(shù)的發(fā)展, 土壤養(yǎng)分含量預測具有了廣泛的研究和應用基礎(chǔ)[2]。 但是高光譜儀得到的光譜數(shù)據(jù)容易受到噪聲、 基線漂移等因素的干擾, 導致建模效果不佳。 因此, 需要對光譜數(shù)據(jù)進行降噪, 數(shù)據(jù)變換來提高建模效果。 目前, 有許多學者都加入高光譜技術(shù)預測土壤養(yǎng)分的研究。 為了進一步探究光譜數(shù)據(jù)隱藏信息, 2016年, Lin等采用SG-MSC作為光譜數(shù)據(jù)預處理, 既降低噪聲, 又消除基線漂移的影響, 有效減少光譜數(shù)據(jù)中無關(guān)和無用的信息, 顯著提高光譜數(shù)據(jù)與測量值之間的相關(guān)性[3]。 2018年, 王海峰等采用灰色關(guān)聯(lián)度(GCD)確定標準正態(tài)分布變換(SNV)光譜指標, 結(jié)合嶺回歸法(RR)建模, 建模精度R2為0.87[4]。 2020年, Shen等采用小波包降噪, 主成分分析(PCA)和偏最小二乘回歸(PLSR)建模, 能夠有效提高光譜數(shù)據(jù)質(zhì)量和模型精度[5]。 由于深度神經(jīng)網(wǎng)絡擅長處理多維數(shù)據(jù)或較大數(shù)據(jù), 2019年, Padarian等采用多任務卷積神經(jīng)網(wǎng)絡模型在LUCAS數(shù)據(jù)集上預測土壤性質(zhì), 結(jié)果表明深度學習模型僅適用于大規(guī)模光譜數(shù)據(jù)集, 對小樣本數(shù)據(jù)集的預測結(jié)果較差[6]。 2020年, 談愛玲等構(gòu)建一維卷積神經(jīng)網(wǎng)絡(CNN)融合光譜, 對比機器學習模型建模效果更好[7]。 2021年, 鐘亮等通過對比不同網(wǎng)絡結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(CNN), 發(fā)現(xiàn)原始光譜的VGGNet-7建模效果最好, 建模精度R2為0.901[8]。

現(xiàn)有大多數(shù)研究采用機器學習方法建模, 需要進行降噪、 確定光譜指數(shù)、 數(shù)據(jù)降維和建模預測, 建模過程繁瑣, 并且各波段間多重共線且關(guān)系復雜。 隨著卷積神經(jīng)網(wǎng)絡發(fā)展, CNN強大的特征學習能力, 既簡化了建模過程, 也提高了模型精度。 但是CNN用在小樣本數(shù)據(jù)集的建模效果較差, 有預測精度不夠高等問題, 本工作旨在探究一種能夠快速、 準確估算土壤有機質(zhì)(SOM)含量的深度學習模型。

先對樣本數(shù)據(jù)進行SG降噪, 再進行不同的光譜預處理, 對比分析偏最小二乘回歸(PLSR)、 支持向量機(SVM)、 長短記憶網(wǎng)絡(long short-term memory, LSTM)三種模型在不同光譜預處理下建模效果, 確定較好的光譜預處理方法。 在此基礎(chǔ)上構(gòu)建一種改進時間卷積網(wǎng)絡的紅壤有機質(zhì)高光譜預測模型。 為廣西林地紅壤有機質(zhì)的定量遙感估測探索一種新方法。

1 實驗部分

1.1 研究區(qū)概況

研究區(qū)位于廣西國有黃冕林場(109°43′46″E, 24°37′25″N)和國有雅長林場(106°16′30″E, 24°49′30″N), 都屬于亞熱帶氣候, 年均降雨量分別為1 750和1 057 mm, 年平均溫度19和16.8 ℃。 本區(qū)土地利用類型為林地, 土壤類型為酸性沉積巖發(fā)育的紅壤, 根據(jù)中國土壤分類法, 紅壤來自泥盆紀的砂巖和砂巖頁巖, 主要種植桉樹、 杉樹和松樹為主。 由于缺乏有效土壤養(yǎng)分檢測, 加上人為不合理種植, 導致林地土壤退化加劇。

1.2 土壤樣本采集

研究區(qū)內(nèi)樹木生長均勻, 采用S形取樣法采集了0～20 cm土層樣品, 共采集了206個樣本, 研究區(qū)內(nèi)采樣點如圖1所示, 部分采樣點在林場外圍。 樣本自然風干、 研磨, 均勻分為兩部分, 一部分樣本通過0.2 nm的土壤篩子過篩, 再通過重鉻酸鉀氧化加熱, 測定SOM含量; 另一部分通過0.149 nm的土壤篩子, 采用ASD FieldSpec1 4 Hi-Res地面物體光譜儀獲取高光譜數(shù)據(jù), 波譜范圍包括可見光和近紅外區(qū)域(350～2 500 nm)。 為保證光譜數(shù)據(jù)的準確性, 每份土樣光譜數(shù)據(jù)進行10次重復采樣, 取其平均值作為樣本實測曲線。 然后導入Excel中。 由于光譜數(shù)據(jù)在光譜儀測量范圍兩端有噪聲, 將小于400 nm和大于2 400 nm波段進行去除。

圖1 研究區(qū)域采樣點分布

1.3 基于SATCN的土壤建模方法

采用的建模方法為改進時間卷積網(wǎng)絡(self attention temporal convolutional network, SATCN), 為解決CNN處理小樣本數(shù)據(jù)集存在建模效果差, 預測精度不夠高等問題, 對TCN進行以下三點改進: 一是考慮到小樣本數(shù)據(jù)集隨著網(wǎng)絡層次加深容易產(chǎn)生過擬合且不穩(wěn)定, 采用淺層網(wǎng)絡結(jié)構(gòu); 二是考慮到樣本數(shù)據(jù)噪聲干擾, 采用自注意力殘差結(jié)構(gòu)來增強模型特征學習能力, 提高模型精度; 三是考慮到模型訓練中會出現(xiàn)過擬合現(xiàn)象, 對權(quán)重W添加L2正則化, 提高模型泛化性。 土壤SOM含量預測模型的建立主要包括光譜預處理、 選擇最佳光譜預處理和SATCN網(wǎng)絡結(jié)構(gòu)設計。 具體流程如圖2所示。

圖2 算法整體流程

1.4 光譜預處理

為了降低數(shù)據(jù)維度, 對光譜數(shù)據(jù)進行重采樣處理, 每10 nm間隔取平均值, 然后對重采樣的光譜數(shù)據(jù)進行Savitaky-Golay(SG)方法[9]平滑降噪。 采用的預處理方法主要有原始光譜反射率(R)、 一階微分(1DR)、 二階微分(2DR)、 標準正態(tài)變量(SNV)和多元散射校正(MSC)。 所有數(shù)據(jù)處理均通過PyCharm、 SPSS26.0和Excel 2010完成。 對光譜反射率數(shù)據(jù)進行離差標準化(min-max normalization), 使結(jié)果映射到0～1之間。 見式(1)

(1)

式(1)中:X為樣本數(shù)據(jù);Xmax為樣本數(shù)據(jù)最大值;Xmin為樣本數(shù)據(jù)最小值;Xmax-Xmin為極差;X*為樣本數(shù)據(jù)歸一化后的值。

由于科學條件及其他種種因素的限制，這個計劃在半個多世紀后才被實現(xiàn)。2159年，世界各國的科學家們聯(lián)合起來，用高科技使浩浩淼淼的太平洋中部隆起了一塊大約100萬平方公里的土地。然后，大人們將自己的孩子送到這片國土上，建立起孩子樂園。

1.5 SPXY分類算法

SPXY算法[10]是改進的Kennard-Stone算法, 在樣品間計算距離時將光譜數(shù)據(jù)與有機質(zhì)含量同時考慮在內(nèi), 進行更加合理的劃分。 其距離公式為

(2)

1.6 自注意力機制

當向模型中輸入光譜序列時, 隨著光譜序列不斷增加, 會出現(xiàn)信息過載, 為了解決這個問題, 引入自注意力機制[11]。 對于光譜序列來說, 自注意力機制能夠把輸入的光譜序列中不同波段的信息聯(lián)系起來, 對光譜數(shù)據(jù)的內(nèi)部相關(guān)性更加敏感, 不僅減少對外部信息的依賴, 還能有效提高特征的學習能力; 另外有助于神經(jīng)網(wǎng)絡模型將輸出SOM值與輸入的光譜序列進行匹配, 計算相對的匹配度權(quán)重, 進一步提高神經(jīng)網(wǎng)絡模型準確率。 基本結(jié)構(gòu)如圖3所示, 實現(xiàn)步驟如下:

圖3 自注意力機制

步驟1: 輸入光譜序列矩陣X, 進行不同的矩陣變換得到查詢(Query-Q)、 鍵(Key-K)和值(Value-V)三個矩陣, 計算Q和K之間的相似度, 得到每個對應V的權(quán)重系數(shù)A;

步驟2: 對權(quán)重系數(shù)矩陣A進行softmax歸一化操作得到權(quán)重系數(shù)矩陣A′;

步驟3: 對權(quán)重系數(shù)A′和矩陣V進行加權(quán)求和, 得到注意力數(shù)值。

自注意力機制公式如式(3)[12]所示

(3)

式(3)中:dK表示矩陣K的維度。

1.7 改進時間卷積網(wǎng)絡(SATCN)

自注意力殘差結(jié)構(gòu)在TCN殘差結(jié)構(gòu)的基礎(chǔ)上加入自注意力機制, 使得網(wǎng)絡模型不僅實現(xiàn)了跨層的傳遞信息, 還提高了模型特征學習能力, 結(jié)構(gòu)如圖4所示。 它包括兩個擴張的卷積層和一個自注意力層, 在每層之后加Dropout來實現(xiàn)正則化。 對于輸入的光譜序列, 每個膨脹卷積層的膨脹率隨著層數(shù)的增加呈指數(shù)增長, 能夠在不增加池化損失信息的情況下, 擴展模型中每層卷積核的感受野, 讓每個卷積輸出都包含較大范圍的光譜信息, 將卷積輸出通過自注意力層, 強化光譜數(shù)據(jù)的重要特征作為輸出, 最后將其和提取的原始特征進行合并輸出, 提高特征學習能力。

圖4 自注意力殘差結(jié)構(gòu)

采用淺層時間卷積網(wǎng)絡, 并在其殘差結(jié)構(gòu)中加入自注意力機制, 使得模型特征學習能力有所提高, 能夠滿足光譜分析有機質(zhì)含量的建模需求。 SATCN模型結(jié)構(gòu)如圖5所示, 模型主要包括兩個卷積層, 一個池化層和一個自注意力殘差結(jié)構(gòu)。 每個卷積層權(quán)重都加入L2正則化, 防止模型過擬合, 選用Relu作為激活函數(shù), 增強模型非線性表達能力, 避免網(wǎng)絡訓練過程中出現(xiàn)的梯度消失和梯度爆炸問題; 選用最大池化層位于第一個卷積層后, 通過池化簡化網(wǎng)絡復雜度、 減少計算量; 自注意力殘差結(jié)構(gòu)中每個膨脹卷積的膨脹系數(shù)分別為2和4, 為了提高模型特征學習能力加入自注意力機制; 在每個全連接層后加入Dropout層, 避免模型學習過程中出現(xiàn)過擬合; 最后輸出樣本有機質(zhì)含量。 模型參數(shù)如表1所示。

表1 SATCN參數(shù)設置

圖5 SATCN模型結(jié)構(gòu)

1.8 評價指標

采用最統(tǒng)一、 最客觀的模型評價標準, 其中包括決定系數(shù)(R2)、 均方根誤差(RMSE)和相對分析誤差(relative percent deviation, RPD)。R2越接近1, 實測值和估測值之間越接近, 模型準確性就越高; RMSE越小, 說明實測值與預測值偏差小, 模型越穩(wěn)定; RPD的范圍分為四類: 當RPD<1.4時, 模型不可靠; 當1.43, 模型具有極好的預估性能。 見式(4)—式(6)

(4)

(5)

(6)

2 結(jié)果與討論

實驗環(huán)境為Windows10系統(tǒng), NVIDIA GeForce RTX 2070處理器, 16G內(nèi)存, Python3.8編程語言, Keras2.4.3框架。 LSTM、 CNN和TCN模型通過PyCharm軟件中keras庫使用Python3.8語言進行搭建, PLSR和SVM模型通過調(diào)用sklearn接口中對應的機器學習模塊實現(xiàn)。

2.1 土壤有機質(zhì)含量統(tǒng)計特征

選用SPXY算法對206個土壤樣本有機質(zhì)含量進行數(shù)據(jù)集劃分, 按照4∶1的比例分為2個部分, 共得到165個訓練樣本集, 41個驗證樣本集。 土壤樣品SOM含量統(tǒng)計特征見表2。 研究區(qū)206個樣本的SOM含量為4.26～80.04 g·kg-1, 平均值為25.72 g·kg-1, 標準差為13.57, 變異系數(shù)52.76%(屬于中等程度變異)。 峰度(kurtosis,K)是描述數(shù)據(jù)分布形態(tài)的陡緩程度; 偏度(skewness,S)是描述數(shù)據(jù)分布的偏斜程度[14]。 3個樣本的峰度K<3(KW=1.28,KT=1.25,KV=1.70)則表明數(shù)據(jù)分布有較低的峰值; 偏度均為正值(SW=0.91,ST=0.93,SV=0.86), 說明各樣本數(shù)據(jù)呈正偏態(tài)分布。

表2 土壤有機質(zhì)含量統(tǒng)計特征

不同SOM含量光譜曲線圖如圖6所示, SOM含量按照每10 g·kg-1進行分組, 取其光譜反射率平均值進行繪圖。 由圖6可以看出, 每組樣本曲線趨勢基本相同, 在400～1 320 nm波段內(nèi)光譜反射率隨著波長快速遞增, 整體走勢很陡; 在1 320～2 100 nm波段趨于平穩(wěn); 在2 100～2 400 nm波段呈下降趨勢, 在900 nm附近存在受氧化鐵的影響的吸收谷, 在1 430、 1 950和2 230 nm附近存在明顯的水分吸收谷。 SOM含量為80～90與30～80 g·kg-1的6組曲線在480和1 860 nm附近有明顯交叉現(xiàn)象, 并且在這波段內(nèi)其土樣有部分反射率要高于這6組土樣, 在1 860～2 400 nm波段內(nèi)高于SOM含量60～70和70～80 g·kg-1的土樣。 有機質(zhì)含量與光譜反射率大小有一定影響, 有機質(zhì)含量越大, 光譜反射率值越小; 反之, 光譜反射率值越大。

圖6 不同SOM含量土壤樣本的光譜曲線

2.2 光譜預處理對不同SOM模型預測精度的影響

為了探究不同光譜預處理對線性模型、 非線性模型和神經(jīng)網(wǎng)絡模型的建模效果, 選取PLSR、 SVM和LSTM三種模型進行對比分析。 以驗證集為例, 本文對比了5種光譜預處理分別在PLSR、 SVM和LSTM這三種模型進行土壤SOM含量估算, 其結(jié)果如圖7所示。 圖中可以看出, 從不同的光譜預處理來看, 采用光譜一階微分來構(gòu)建模型, 相比于其他預處理方法, 可以明顯提高模型的精度, 并且其估測值和實測值更加接近1∶1線, 1DR能夠較好的體現(xiàn)光譜數(shù)據(jù)隱藏信息, 是較好的光譜預處理方法, 這也與國佳欣等[15]采用一階微分作為光譜預處理, 相關(guān)性和相關(guān)系數(shù)明顯提高的結(jié)論相似。 從不同模型來看, 非線性模型(LSTM和SVM)在不同光譜預處理上模型建模效果都要優(yōu)于線性模型(PLSR), 在其他光譜預處理上LSTM建模效果要優(yōu)于SVM。 圖中可以看出, 當SOM含量小于30 g·kg-1時, 多數(shù)樣本模型預測結(jié)果偏高; 當SOM含量大于30 g·kg-1時, 多數(shù)樣本模型預測結(jié)果偏低。 由于SOM含量在70～80 g·kg-1的樣本在480～1 860 nm波段內(nèi)光譜反射率有部分高于SOM含量為30～40、 40～50、 50～60、 60～70和80～90 g·kg-1的樣本, 導致SOM含量在30 g·kg-1附近特征混合, 容易導致神經(jīng)網(wǎng)絡模型預測不準確。

圖7 不同光譜預處理下各模型SOM含量實測值與估測值比較

2.3 SATCN模型性能對比

為了探究SATCN模型在小樣本數(shù)據(jù)集上建模效果, 從以下兩個方面進行對比分析: 一是由于SATCN模型采用的自注意力殘差結(jié)構(gòu), 選取具有殘差結(jié)構(gòu)的ResNet-13[8]、 TCN網(wǎng)絡模型進行對比分析; 二是選取現(xiàn)有在小樣本數(shù)據(jù)集上建模效果較好的VGGNet-7[8]網(wǎng)絡結(jié)構(gòu)進行對比分析。 為保證CNN、 TCN和SATCN模型之間有可比性, 設置固定的模型函數(shù)和超參數(shù): 激活函數(shù)Relu, 優(yōu)化器Nadam, Loss為均方誤差(MSE), 批處理大小為64, 學習率為1×10-4, epochs為600, 最后全連接層和Dropout層參數(shù)分別為200、 0.3、 100、 0.3、 1。

通過分析不同光譜預處理對模型精度影響, 證明平滑處理后的一階微分變換為較好預處理方法。 在此基礎(chǔ)上構(gòu)建ResNet-13、 VGGNet-7、 TCN和SATCN模型進行對比實驗, 實驗結(jié)果如表3所示。 4種模型在數(shù)據(jù)集上R2>0.91, RMSE<4 g·kg-1, RPD>3, 說明4種模型都具有很好的估測能力。 不同模型在數(shù)據(jù)集上預測指標如圖8所示, 從圖中來看, VGGNet-7在訓練集和驗證集上各項評價指標都是低于其他模型, 建模效果在四種模型是較差的, 原因可能是其他模型中的殘差結(jié)構(gòu)能夠更好的提取數(shù)據(jù)集的主要特征。 從不同殘差結(jié)構(gòu)來看, ResNet-13模型精度和建模效果要低于TCN和SATCN, 原因是其擁有較深的網(wǎng)絡結(jié)構(gòu), 導致模型的精度降低; TCN的殘差結(jié)構(gòu)中擁有膨脹卷積提高卷積核的感受野, 能夠更好的對樣本數(shù)據(jù)特征進行提取, 模型精度和性能都有所提升; SATCN模型預測精度最高為0.943, RPD大于4, 其他模型RPD大于3, SATCN模型預測精度和估測能力有明顯提升, 說明殘差結(jié)構(gòu)加入自注意力機制, 強化重要特征, 提高特征學習能力和模型精度, 這也與石磊等[16]利用自注意力機制強化重要特征, 提高分類精度結(jié)論相似。

表3 不同模型土壤有機質(zhì)估算模型精度

圖8 不同模型在數(shù)據(jù)集上建模效果

2.4 不同網(wǎng)絡深度的SATCN模型建模結(jié)果比較

為了進一步探討在不同深度下SATCN模型的建模效果, 實驗結(jié)果如表4所示。 不同網(wǎng)絡深度下SATCN模型在數(shù)據(jù)集上建模效果如圖9所示, 從圖中可以發(fā)現(xiàn), 模型在訓練集上, 隨著SATCN模型中殘差塊數(shù)量(1～4)增加,R2和RPD逐漸變小, RMSE逐漸增大, SATCN效果最好R2為0.967, RMSE為2.457 g·kg-1, RPD為5.291; 但在驗證集上,R2和RPD逐漸變小, RMSE逐漸變大, SATCN效果最好R2為0.943, RMSE為3.042 g·kg-1, RPD為4.273。 說明隨著SATCN模型網(wǎng)絡層次加深, 模型的精度和穩(wěn)定性逐漸降低。 SOM含量在驗證集上實測值與估測值比較如圖10所示, 圖中可以看出大部分樣本估測值都均勻的分布在1∶1線附近。

表4 不同模型土壤有機質(zhì)估算模型精度

圖9 不同網(wǎng)絡深度下SATCN模型在數(shù)據(jù)集上建模效果

圖10 基于SATCN模型的驗證集SOM含量實測值與估測值比較

綜合以上方法的建模預測結(jié)果可以發(fā)現(xiàn), 部分光譜預處理方法能夠提高模型精度, 尤其是1DR光譜預處理建模效果較好。 采用自注意力殘差結(jié)構(gòu)的SATCN模型, 比現(xiàn)有小樣本數(shù)據(jù)集上建模效果較好的VGGNet-7模型建模精度提高了2.8%。 相比于具有殘差結(jié)構(gòu)的ResNet-13和TCN模型, 其建模精度分別提高2.9%和1.7%。 綜合來看, 本研究區(qū)SPXY樣本集劃分方法結(jié)合1DR光譜預處理方法建立的土壤SOM含量SATCN模型結(jié)果最優(yōu)。

本工作構(gòu)建SATCN模型的土壤高光譜預測模型, 未考慮其他環(huán)境因素, 僅利用光譜反射率數(shù)據(jù)預測土壤SOM含量, 結(jié)果證明SATCN模型建模精度較高、 建模效果較理想。 在實際應用過程中可以不考慮環(huán)境條件, 采用SATCN模型建模, 能夠有效減少工作量。 由于本研究區(qū)為兩個國有林場, 該模型具有一定的適應性, 但是對不同地區(qū)、 不同土壤類型采用SATCN模型預測土壤屬性, 其適應性需要進一步驗證。

3 結(jié) 論

從廣西國有黃冕林場和國雅長林場采集了206個土壤樣品, 對土樣數(shù)據(jù)進行不同的預處理, 對比分析PLSR、 SVM和LSTM三種模型在不同光譜預處理下建模效果, 確定較好的光譜預處理方法。 在此基礎(chǔ)上構(gòu)建一種改進時間卷積網(wǎng)絡的紅壤有機質(zhì)高光譜預測模型。 該研究的結(jié)論可以歸納為以下幾點:

(1) 對比其他光譜預處理方法, 采用SG平滑處理后一階微分變換, LSTM、 PLSR和SVM三種模型R2分別提高6.3%～13.8%、 9%～27.5%和10.5%～23.6%, 說明1DR是較好的光譜預處理方法, 部分非線性模型建模效果要優(yōu)于線性模型。

(2) 在不同網(wǎng)絡對比中, SATCN模型比VGGNet-7、 ResNet-13和TCN模型, 驗證集上模型R2分別提高了2.8%、 2.9%和1.7%; RMSE分別降低了0.698、 0.718和0.448; RPD分別提高了0.759、 0.816和0.548; 說明SATCN網(wǎng)絡模型能夠強化光譜序列重要特征, 提高模型特征學習能力, 模型精度也得到提高。 但是隨著SATCN模型中殘差塊數(shù)量增加, 模型精度和穩(wěn)定性下降, 因此, 淺層SATCN模型建模效果要優(yōu)于深層模型。

(3) 相比于CNN、 TCN等建模方法, SATCN模型建模效果最好, 擁有更高的精確度和極好的模型估測能力, 驗證集的決定系數(shù)(R2)為0.943, 均方根誤差(RMSE)為3.042 g·kg-1, 相對分析誤差(RPD)為4.273。