張 銳,李兆富,潘劍君
(南京農(nóng)業(yè)大學(xué)資源與環(huán)境科學(xué)學(xué)院,南京 210095)
小波包-局部最相關(guān)算法提高土壤有機碳含量高光譜預(yù)測精度
張 銳,李兆富※,潘劍君
(南京農(nóng)業(yè)大學(xué)資源與環(huán)境科學(xué)學(xué)院,南京 210095)
高光譜遙感可以實現(xiàn)水稻土排水期有機碳含量的快速預(yù)測,但土壤反射率受多種噪聲的影響,有機碳光譜信號探測受阻,預(yù)測模型性能低下,如何在去除噪聲的同時最大限度地保持有機碳光譜信號十分重要。以原狀新鮮水稻土為研究對象,采用Bior1.3小波系對反射光譜進行1~7層小波包變換,通過相關(guān)分析確定最大分解層;將原始反射率至最大分解層以內(nèi)的各層光譜相關(guān)系數(shù)組成相關(guān)系數(shù)集,采用局部最相關(guān)算法(local correlation maximization,LCM)構(gòu)造土壤有機碳最優(yōu)光譜;最后基于最優(yōu)光譜建立有機碳含量偏最小二乘預(yù)測模型并進行分析。結(jié)果顯示:1)隨著小波包分解層數(shù)的增加,土壤反射率與有機碳含量的相關(guān)性不斷增強,到第6層達到最高,確定為小波包最大分解層;2)基于LCM構(gòu)造的最優(yōu)光譜比未去噪光譜平滑,比小波包去噪光譜保留了更多光譜細節(jié);3)未去噪光譜、小波包去噪光譜和LCM最優(yōu)光譜有機碳預(yù)測模型的驗證決定系數(shù)分別為0.693、0.727和0.781,均方根誤差為1.952、1.840和1.679 g/kg,殘留預(yù)測偏差為1.85、1.97和2.17。小波包-局部最相關(guān)算法在去噪同時有效保持了土壤有機碳光譜信號,可提高水稻土有機碳含量高光譜預(yù)測精度。
光譜分析;土壤;有機質(zhì);小波包;局部最相關(guān)
近地高光譜遙感具有快速、環(huán)保、無破壞性的優(yōu)點,是土壤有機碳含量快速估測的重要手段。水稻土排水期較短,原狀濕土有機碳含量預(yù)測一直是其研究熱點[1-2],但土壤光譜受到土壤表面粗糙程度、土壤水分、各種環(huán)境噪聲的影響,有機碳光譜信息探測困難,因此,有必要探究一種在盡可能少地損失光譜細節(jié)的基礎(chǔ)上,較為徹底去除噪聲的濾波手段,為有機碳含量預(yù)測提供良好的數(shù)據(jù)基礎(chǔ)。
常用的光譜去噪方法包括移動平均、Savitzky-Golay濾波、中值運算等,Morgan等[3]使用移動加權(quán)算法進行土壤有機碳含量估測;Srivastava等[4]、Rienzi等[5]和Nocita等[6]分別使用二次多項式的3個、7個和20個采樣單位窗口的Savitzky-Golay濾波進行有機碳監(jiān)測中光譜數(shù)據(jù)平滑去噪,這些方法雖然能對反射率數(shù)據(jù)起到去噪和壓縮效果,但如果噪聲類型類似于白噪聲,特別是隨機和低頻的信號,則難以在噪聲去除的同時不影響有用信號。一些研究通過光譜信號在頻域上的分解發(fā)展出了小波變換,小波變換繼承了短時傅里葉變換的局部化思想,被應(yīng)用于草地、礦區(qū)等各種類型的土壤有機質(zhì)含量預(yù)測[7-8]。小波包分析更是對小波分析高頻段分辨率不足的有效彌補,它將每一個高頻系數(shù)向量也像低頻部分一樣分解為2部分,產(chǎn)生完整的二叉樹,提供了更為豐富和精確的信號分析方法[9-10];鄧小蕾等[11]和張瑤等[12]發(fā)現(xiàn)相較于小波分析,小波包更能夠保持蘋果葉片的細節(jié)光譜信息;Zheng等[13]以小波包分析為光譜處理手段成功提高了有機質(zhì)含量預(yù)測精度。
小波或小波包分析通過對不同頻率的小波系數(shù)進行重構(gòu)實現(xiàn)光譜信號的去噪和特征波譜挑選。陳紅艷等[14]剔除小波分解第 9 層低頻和最高頻系數(shù),得到了最能反映土壤有機質(zhì)的特征光譜;Zheng等[13]在8層小波包分解的基礎(chǔ)上去除高頻噪聲構(gòu)建了土壤各屬性特征光譜;李歡歡等[15]在光聲光譜的研究中表明小波包第 5 層的分解與重構(gòu)能夠更精確地表達稻種光譜特性。這些研究都體現(xiàn)了小波變換通過頻域分析聚焦光譜細節(jié)的優(yōu)越性能,但是該方法進行特征光譜重構(gòu)時只考慮到了整個波段與土壤屬性的關(guān)系,針對單個波長而言可能存在部分波段去噪過度,與噪聲頻率相當(dāng)?shù)挠杏眯畔⒈粸V除,而部分波段去噪不足的情況。為克服這個缺陷,Zamanian等[16]使用了局部高斯相關(guān)函數(shù),Lin等[17]在使用高光譜數(shù)據(jù)估測土壤全氮含量時也引入了這種局部化思想,提出了局部最相關(guān)(local correlation maximization,LCM)算法。LCM算法以單位波長為步進,選取各波長所有小波分解層中與土壤屬性相關(guān)性最高層的反射率構(gòu)成最優(yōu)光譜,成功解決了如何在保留盡可能多的有效光譜信息的同時最大化去噪的問題。原狀濕土受測量環(huán)境影響噪聲較多,同時土壤有機碳光譜信號受到土面顆粒散射和土壤水分光譜的遮蓋,這種算法能否有效去除原狀濕土光譜中的噪聲,并且保持微弱的土壤有機碳信號值得進一步探究。
本研究以新鮮水稻土為研究對象,基于小波包分析對反射光譜進行分解,并結(jié)合LCM算法構(gòu)造土壤有機碳最優(yōu)光譜,以期在光譜去噪的同時最大限度地保留有機碳光譜信息,解決因光譜數(shù)據(jù)質(zhì)量受限導(dǎo)致的有機碳模型預(yù)測精度較低問題,為實現(xiàn)排水期水稻土的肥力評估提供科學(xué)指導(dǎo)。
1.1 材料與設(shè)備
研究選取江蘇省常州市(119°08′E~120°12′E,31°09′N~32°04′N)金壇市朱林鎮(zhèn)為研究區(qū)域。根據(jù)該區(qū)域耕地面積和土壤肥力狀況,采用均勻布點(1 km×1 km)方式選取70個采樣點。使用直徑7 cm、高3 cm的環(huán)刀采集新鮮土樣,帶回室內(nèi)立刻進行光譜測量,風(fēng)干磨碎過篩后采用重鉻酸鉀-外加熱法測定有機碳含量。
光譜數(shù)據(jù)使用便攜式高光譜儀ASD FieldSpec 3(美國光譜儀器公司)在暗室內(nèi)進行采集。以功率50 W的鹵鎢燈做光源,距離土樣60 cm,天頂角30°。傳感器探頭視場角25°,置于土表5 cm垂直上方,探測面積直徑2.217 cm。每個土樣采集10條光譜曲線,進行算數(shù)平均得到最終光譜數(shù)據(jù),由于光譜儀3個探測器連接處有光譜跳躍現(xiàn)象,以SWIR1(1 000~1 700 nm)波段為準(zhǔn)進行連接校正,并除去信噪比較低的350~399 nm和2 451~2 500 nm波段。
1.2 微分光譜技術(shù)
微分光譜技術(shù)可以有效放大光譜細節(jié),分數(shù)階微分能得到比整數(shù)階微分更加精細的結(jié)果,因此本研究基于Grünwald-Letnikov微分理論,以0.2階為間隔對原始反射率進行0.2~2.0階微分變換,并做顯著性為的相關(guān)分析,結(jié)果顯示0.6階微分光譜與土壤有機碳含量相關(guān)性最高,因此對光譜數(shù)據(jù)進行0.6階微分變換。
1.3 小波包分析
局部最相關(guān)算法建立在光譜數(shù)據(jù)小波包分析的基礎(chǔ)上,因此對微分處理后的光譜數(shù)據(jù)進行離散小波包分析。對于給定正交尺度函數(shù)Φ(t)和小波函數(shù)ψ(t),二尺度方程為
式中t為自變量波長,k為平移因子,h0k和 h1k為多分辨率分析中濾波器系數(shù)。為進一步推廣二尺度方程,定義下列遞推關(guān)系
根據(jù)部分研究結(jié)論[18],本研究選擇Bior1.3小波系,使用Shannon熵標(biāo)準(zhǔn)對光譜數(shù)據(jù)進行1~7層小波包分解并構(gòu)建各層特征光譜[12],分別用L1~L7表征。
1.4 局部最相關(guān)算法
局部最相關(guān)算法被用于處理光譜數(shù)據(jù)去噪過程中某些波段噪聲去除過度、而某些波段去噪不足的問題,以達到在保留盡可能多的有效光譜信息的同時最大化去噪,其算法步驟如下:
1)相關(guān)分析。將小波包分解前光譜與分解后各層的光譜分別與土壤有機碳實測值進行相關(guān)分析,得到各個分解層的相關(guān)系數(shù)。
2)判定分析。對于單個波長而言,分別對應(yīng)著不同分解層反射率與有機碳含量間的多個相關(guān)系數(shù),對比選出所有分解層中相關(guān)系數(shù)最大的分解層,確定為該波長處的最優(yōu)分解層數(shù)。
3)局部最優(yōu)相關(guān)系數(shù)(local optimal correlation coefficient,LOCC)和最優(yōu)波段(optimal band,OB)獲取。在各個波段最優(yōu)分解層數(shù)確定后,其對應(yīng)的相關(guān)系數(shù)和分解后的波段分別作為LOCC和OB。
4)最優(yōu)相關(guān)系數(shù)(optimal correlation coefficient,OCC)和最優(yōu)光譜(optimal spectrum,OS)獲取。當(dāng)所有波段的LOCC和OB獲取完畢后,所有的LOCC和OB分別組成OCC和OS。
1.5 預(yù)測模型的建立與檢驗
為了研究小波包-局部最相關(guān)算法的效果,不同建模參數(shù)被考慮:只經(jīng)過微分處理的未去噪光譜(R-0.6)、小波包分解光譜(R-0.6-L6),以及LCM最優(yōu)光譜(R-0.6-L6-OS)。有機碳含量使用偏最小二乘回歸(partial least squares regression,PLSR)預(yù)測,模型驗證方法使用留一法交叉驗證,主成分個數(shù)(number of principal components,NPC)的確定見參考文獻[8]。模型精度的評價參數(shù)包括:校正決定系數(shù)(determination coefficients of calibration,、校正均方根誤差(root mean square error of calibration,RMSEC)、驗證決定系數(shù)(determination coefficients of validation,、驗證均方根誤差(root mean square error of validation,RMSEV)和殘留預(yù)測偏差(residual prediction deviation,RPD),其中當(dāng)RPD≥2時,模型可靠,1.4≤RPD≤2時,模型精度尚可,RPD<1.4時,模型并不可靠。
模型的不確定性采用bagging(bootstrap aggregating)方法檢驗[19],通過有放回隨機抽樣從建模集中抽取50個土樣,構(gòu)建了100個平行建模樣本集,在每個集合中建立bagging-PLSR回歸方程對預(yù)測集有機碳含量進行預(yù)測,取平均得到每個樣本最終預(yù)測值。
2.1 樣本土壤有機碳含量狀況
從所有土樣中隨機抽取50個樣本組成模型的校正集,剩余20個為預(yù)測集,有機質(zhì)含量描述性統(tǒng)計如表1所示。全部建模樣本中土壤有機碳含量標(biāo)準(zhǔn)差為3.54 g/kg,選取樣點的有機碳含量有明顯差異,盡量避免因?qū)崪y值相近導(dǎo)致的模型不穩(wěn)定問題。通過觀察各數(shù)據(jù)集中峰度系數(shù)和偏度系數(shù)發(fā)現(xiàn)樣本基本符合正態(tài)分布。對校正集和驗證集數(shù)據(jù)采用Levene's檢驗驗證方差同質(zhì)性,P值為0.96,表明2個數(shù)據(jù)集的樣本分布離散程度高度相似。再通過Student’s檢驗(0.05顯著性水平)判定2個統(tǒng)計總體的均值差異,用H=0表示在5%的置信水平下不能拒絕0假設(shè)(平均值相等),用P值代表當(dāng)原假設(shè)為真時得到觀察值的概率,其值為小概率時對原假設(shè)提出質(zhì)疑,本研究中H=0,P=0.22,說明校正集和驗證集數(shù)據(jù)統(tǒng)計總體均值相等[4],以上各參數(shù)為校正集和驗證集劃分的合理性提供了支撐。
表1 土壤有機碳含量描述性統(tǒng)計Table 1 SOC descriptive statistics for whole set,calibration set and validation set
2.2 小波包分析及最大分解層
對光譜數(shù)據(jù)進行 7 層的小波包分解,提取各個層的特征光譜L1~L7,如圖1所示。L1因原始反射率噪聲傳遞和微分放大作用噪聲較多,主要表現(xiàn)在可見光400 nm附近和近紅外部分的2 000~2 450 nm反射率上的“小毛刺”;隨著分解層數(shù)的增加,高頻信號被不斷濾除,反射率中噪聲逐漸減少,到L5時光譜曲線噪聲很少;隨著小波包分解的進一步深入,光譜信號因不斷剝離光譜細節(jié)而趨于平滑,同時一些反映土壤屬性的特征峰也隨之消失,在L6中可見光部分的530和900 nm處的吸收峰可以明顯看出來,但是在L7中完全不能得到體現(xiàn),這表明低頻信號逐漸丟失了相應(yīng)的土壤屬性信息。
LCM算法需要首先確定合適的小波包分解層,即確定一個在去噪的同時未過多損失光譜細節(jié)的分解層數(shù),因此對各個分解層反射率和土壤有機碳實測值進行相關(guān)分析,結(jié)果如表2所示。L1通過顯著性檢驗的波段個數(shù)為1 304個,隨著分解層數(shù)的增加反射率與有機碳的相關(guān)性不斷增強,L3時達到正相關(guān)系數(shù)最大值0.632,分解到L6時通過顯著性檢驗的波段個數(shù)最多,為1 536個;隨后因光譜細節(jié)被過分濾除,反射率與有機碳的相關(guān)性降低,因此選擇第6層(L6)為水稻土有機碳預(yù)測中小波包分析的最大分解層。
表2 土壤有機碳與各層小波包分析光譜相關(guān)分析Table 2 Correlation analysis between SOC and spectra from wavelet packet analysis in each level
2.3 LCM算法土壤有機碳最優(yōu)光譜構(gòu)造
將未去噪光譜和各層小波包去噪光譜 L1~L6分別與土壤有機碳含量進行相關(guān)分析得到相關(guān)系數(shù)集,采用LCM 算法逐步確定每個波段的局部最優(yōu)相關(guān)系數(shù)(LOCC),相關(guān)曲線如圖2所示。只經(jīng)過微分處理的光譜(圖2a)相關(guān)曲線上下波動頻繁,極值不穩(wěn)定,特別是1 800 nm以后的長波波段,正相關(guān)系數(shù)聚集在較低相關(guān)區(qū)域,過多噪聲掩蓋了SOC響應(yīng)光譜信息;當(dāng)分解層數(shù)為1和2時,光譜相關(guān)曲線上下波動頻繁程度改觀較小,小波分解層數(shù)較低時去噪效果不佳;隨著分解層數(shù)的繼續(xù)增加,相關(guān)曲線輪廓逐漸變得清晰,L6的正負相關(guān)系數(shù)趨于穩(wěn)定。
圖中的紅色離散點代表各個波段的LOCC,由圖2a可見,未去噪光譜的LOCC較少,為143個,主要集中在<1 350 nm的短波部分和1 600~1 750 nm的部分波段;小波包第1層的相關(guān)曲線中LOCC數(shù)量稍有下降,為96個(圖2b),隨后逐步增加(小波包第3層LOCC為160個,圖2c),并且分布范圍更加廣泛,小波包第 6層中LOCC數(shù)量最多,為891個,并且各點之間呈現(xiàn)明顯的連貫性(圖2d)。所有LOCC組成了最優(yōu)相關(guān)系數(shù)(OCC)如圖2e所示,其對應(yīng)的最優(yōu)光譜(OS)見圖2f:最優(yōu)光譜比0.6階微分光譜曲線輪廓清晰,含噪聲信息更少;與小波包最大分解層重構(gòu)光譜(L6)相比,OS存在反射率的微小波峰和波谷,這表明在最優(yōu)光譜中噪聲得到了去除,同時光譜細節(jié)信息得到了保留。
圖2 利用局部最相關(guān)算法構(gòu)造土壤有機碳最優(yōu)光譜Fig.2 Optimal spectra of soil organic carbon established by local correlation maximization
2.4 土壤有機碳含量預(yù)測及檢驗
土壤有機碳含量預(yù)測結(jié)果見表3,只經(jīng)過微分處理的反射率因各種噪聲影響,有機碳預(yù)測效果較差,驗證集決定系數(shù)為0.693,均方根誤差RMSEV為1.952 g/kg,殘留預(yù)測偏差RPD為1.85;經(jīng)過小波包分析后光譜噪聲減少,有機碳預(yù)測效果有了提升,為0.727,RMSEV為1.840 g/kg,RPD為1.97;基于小波包-局部最相關(guān)算法優(yōu)選出的最優(yōu)光譜建立的預(yù)測模型校正集決定系數(shù)并沒有明顯變化,但是驗證集有效地提升為0.781,RMSEV為1.679 g/kg,RPD達到2.17,模型的預(yù)測效果最佳。
為了檢驗?zāi)P偷牟淮_定性,土壤有機碳的最終預(yù)測結(jié)果通過100個bagging-PLSR模型預(yù)測值取平均值得到,預(yù)測效果如圖3所示:實測值和預(yù)測值的各個散點基本分布在1:1直線上,模型預(yù)測精度R2v為0.797,RMSEV為1.660 g/kg,RPD為2.18,平行樣本驗證結(jié)果接近表3中的對比模型。
表3 土壤有機碳含量預(yù)測結(jié)果Table 3 Results of estimation for SOC content
圖3 土壤有機碳含量預(yù)測值與實測值散點圖Fig.3 Scatter diagram of predicted values and measured values for SOC content
2.5 有機碳含量預(yù)測效果分析
最優(yōu)光譜有效提升了土壤有機碳含量的預(yù)測效果,但是濕土光譜信號復(fù)雜,因此通過變量投影重要性(variable in the projection,VIP)進一步明確建模精度提升的原因[20]。圖4中0.6階微分光譜、小波包變換光譜和最優(yōu)光譜的VIP得分都存在3個峰值,第1個處于有機碳的敏感波段并且寬度較寬,說明土壤有機碳特征波段對模型的貢獻有所體現(xiàn)。1 450和1 950 nm附近也存在2個VIP得分峰值,并且在1 950 nm達到11,1 450和1 950 nm附近為土壤水分的敏感波段,因此土壤水分可能對模型也有一定的貢獻。土壤水分決定了光譜曲線的形狀和反射率的高低,小波包分析中即使分解到第 6 層,低頻系數(shù)重構(gòu)光譜依舊反映的是光譜曲線的整體形狀,通過LCM算法構(gòu)造OS時這些高分解層的光譜信號在長波波段得到了保留,因此難以徹底去除土壤水分對光譜數(shù)據(jù)的影響。
圖4 土壤有機碳含量預(yù)測模型VIP得分Fig.4 VIP scores of prediction model for SOC content
為構(gòu)建LCM算法的相關(guān)系數(shù)集,首先確定第6層為小波包變換的最大分解層。Sun等[7]的研究中顯示第 1 3個尺度反射率與牧區(qū)土壤有機質(zhì)相關(guān)性最高,Liao等[21]預(yù)測土壤有機質(zhì)時最佳尺度為第 4 層;陳紅艷等[14]確定有機質(zhì)特征層為第 9 層,以上研究中最優(yōu)的分解層都不同,原因主要包括土壤類型、小波母函數(shù)選取、特征光譜重構(gòu)的選擇等幾個方面的差異,但所有研究都顯示過低層的分解不能起到很好的去噪效果,分解過度又會因較高頻成分的不斷剝離,一些反應(yīng)生物特征的峰谷隨之消失,造成有用信息的遺失。本研究通過光譜特征分析和相關(guān)分析確定了LCM相關(guān)系數(shù)集構(gòu)建中最大分解層為6,相比Lin等[17]在提出LCM算法時直接采用的5層小波去噪光譜,可以更加充分地考慮到土壤屬性與小波包各分解層光譜的相互關(guān)系。
基于LCM優(yōu)選出來的最優(yōu)光譜既保持了土壤有機碳光譜細節(jié),又有效去除了噪聲。當(dāng)前研究普遍認為在可見光-近紅外波段范圍內(nèi),土壤有機碳敏感波段存在于可見光等短波波段[22-24];另一方面,小波包將光譜分成不同頻率并重構(gòu),較低分解層包含了更多高頻的信號,而較高頻率的土壤光譜反映了土壤有機碳、全氮等信息的光譜細節(jié)[14];結(jié)合以上 2 個方面,本研究中小波包分解低層上LOCC集中分布在短波波段,這說明LCM分析中土壤SOC光譜信號得到了保留。對于較高小波包分解層,LOCC個數(shù)增加并且分布范圍變廣,與土壤有機碳無關(guān)的白噪聲被去除,與Lin等[17]得到相同的研究結(jié)論。因此,最優(yōu)光譜既保持了小波包分析低層中土壤有機碳的光譜細節(jié),又通過高層的小波包分解有效去除了光譜噪聲,解決了土壤光譜去噪中有機碳信息保持和噪聲去除最大化之間的矛盾。
通過小波包-局部最相關(guān)算法,土壤有機碳預(yù)測精度得到有效提高。原狀濕土的粗糙表面會引起反射光散射,而土壤水分也會使得土色加深,極易遮蔽有機碳光譜信息,這些原因使得有機碳含量估測精度受限:Nocita等[6]預(yù)測有機碳含量模型R2為0.74,Wang等[25]建立的偏最小二乘回歸R2為0.75,本研究中原始反射率預(yù)測模型R2只有0.693,通過LCM算法構(gòu)造的最優(yōu)光譜使預(yù)測精度明顯提升,R2提高到0.781。紀(jì)文君等[26]將PLSR降維后的主成分作為輸入層建立人工神經(jīng)網(wǎng)絡(luò),模型R2從0.739提升到0.821,RPD從1.96提升到2.36,因此可以考慮以O(shè)S為自變量,運用機器學(xué)習(xí)方法進一步提高有機碳預(yù)測精度。此外,在濕土有機碳含量預(yù)測中,外部參數(shù)正交化[27]和直接標(biāo)準(zhǔn)化[1]等方法借助干土或土壤光譜庫校正濕土光譜,通過消除土壤水分信號有效提高SOC預(yù)測精度,值得注意的是LCM算法去除的是與土壤有機碳含量無關(guān)的噪聲總和,并沒有針對性地去除土壤水分特征信號,因此土壤水分依舊對光譜有所影響,在將來的研究中可考慮將其與外部參數(shù)正交化等算法交互使用。
本研究使用小波包-局部最相關(guān)算法提取土壤有機碳最優(yōu)光譜,探究了該算法對有機碳含量的預(yù)測效果,得出以下結(jié)論:
1)小波包不同分解層光譜與有機碳含量相關(guān)性呈先增后減趨勢,第6層顯著相關(guān)波段個數(shù)最多并且光譜細節(jié)保持良好,為小波包-局部最相關(guān)算法中的最大分解層;
2)局部最相關(guān)算法可以在噪聲去除的同時盡可能多地保留有機碳光譜信號,最優(yōu)光譜比未去噪光譜平滑,比小波包去噪光譜保留了更多的有機碳光譜細節(jié);
3)通過小波包-局部最相關(guān)算法選出的最優(yōu)光譜有效提高了土壤有機碳預(yù)測精度,驗證決定系數(shù)為0.781,均方根誤差為1.679 g/kg,殘留預(yù)測偏差為2.17,解決了光譜噪聲去除和有用信息最大化保持的矛盾,但并沒有針對性地徹底去除土壤水分信號。
[1] Ji Wenjun,Rossel R A V,Shi Zhou. Improved estimates of organic carbon using proximally sensed vis-NIR spectra corrected by piecewise direct standardization[J]. European Journal of Soil Science,2015,66(4):670-678.
[2] Ji Wenjun,Li Shuo,Chen Songchao,et al. Prediction of soil attributes using the Chinese soil spectral library and standardized spectra recorded at field conditions[J]. Soil and Tillage Research,2016,155:492-500.
[3] Morgan C L S,Wauser T H,Brown D J,et al. Simulated in situ characterization of soil organic and inorganic carbon with visible near-infrared diffuse reflectance spectroscopy[J]. Geoderma,2009,151(3-4):249-256.
[4] Srivastava R,Sarkar D,Mukhopadhayay S S,et al. Development of hyperspectral model for rapid monitoring of soil organic carbon under precision farming in the Indo-Gangetic Plains of Punjab,India[J]. Journal of the Indian Society of Remote Sensing,2015,43(4):751-759.
[5] Rienzi E A,Mijatovic B,Mueller T G,et al. Prediction of soil organic carbon under varying moisture levels using reflectance spectroscopy[J]. Soil Science Society of America Journal,2014,78(3):958-967.
[6] Nocita M,Stevens A,Noon C,et al. Prediction of soil organic carbon for different levels of soil moisture using Vis-NIR spectroscopy[J]. Geoderma,2013,199:37-42.
[7] Sun Zhengguo,Zhang Yong,Li Jianlong,et al. Spectroscopic determination of soil organic carbon and total nitrogen content in pasture soils[J]. Communications in Soil Science and Plant Analysis,2014,45(8):1037-1048.
[8] Lin Lixin,Wang Yunjia,Teng Jiyao,et al. Hyperspectral analysis of soil organic matter in coal mining regions using wavelets,correlations,and partial least squares regression[J]. Environmental Monitoring and Assessment,2016,188(2):2-11.
[9] Lark,R M. Inference about soil variability from the structure of the best wavelet packet basis[J]. European Journal of Soil Science,2007,58(3):822-831.
[10] Biswas A,Cresswell H P,Chau H W,et al. Separating scale-specific soil spatial variability:A comparison of multi-resolution analysis and empirical mode decomposition[J]. Geoderma,2013,209:57-64.
[11] 鄧小蕾,李民贊,鄭立華,等. 基于反射光譜預(yù)處理的蘋果葉片葉綠素含量預(yù)測[J]. 農(nóng)業(yè)工程學(xué)報,2014,30(14):140-147. Deng Xiaolei,Li Minzan,Zheng Lihua,et al. Estimating chlorophyll content of apple leaves based on preprocessing of reflectance spectra[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2014,30(14):140-147.(in Chinese with English Abstract)
[12] 張瑤,鄭立華,李民贊,等. 基于光譜學(xué)原理與小波包分解技術(shù)預(yù)測蘋果樹葉片氮素含量[J]. 農(nóng)業(yè)工程學(xué)報,2013,29(增刊1):101-108. Zhang Yao,Zheng Lihua,Li Minzan,et al. Predicting apple tree leaf nitrogen content based on hyperspectral and wavelet packet analysis[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2013,29(Suppl 1):101-108.(in Chinese with English Abstract)
[13] Zheng Lihua,Li Minzan,Pan Luan,et al. Application of wavelet packet analysis in estimating soil parameters based on NIR spectra[J]. Spectroscopy and Spectral Analysis,2009,29(6):1549-1552.
[14] 陳紅艷,趙庚星,李希燦,等. 基于小波變換的土壤有機質(zhì)含量高光譜估測[J]. 生態(tài)學(xué)報,2011,22(11):2935-2942. Chen Hongyan,Zhao Gengxing,Li Xican,et al. Hyperspectral estimation of soil organic matter content based on wavelet transformation[J]. Chinese journal of applied ecology,2011,22(11):2935-2942.(in Chinese with English Abstract)
[15] 李歡歡,盧偉,杜昌文,等. 基于光聲光譜結(jié)合LS-SVR的稻種活力快速無損檢測方法研究[J]. 中國激光,2015,42(11):280-289. Li Huanhuan,Lu Wei,Du Changwen,et al. Study on rapid and non-destructive detection of rice seed vigor based on photoacoustic spectrpscopy combined with LS-SVR[J]. Chinese Jounrnal of Lasers,2015,42(11):280-289.(in Chinese with English Abstract)
[16] Zamanian A H,Ohadi A. Gear fault diagnosis based on Gaussian correlation of vibrations signals and wavelet coefficients[J]. Applied Soft Computing,2011,11(8):4807-4819.
[17] Lin Lixin,Wang Yunjia,Teng Jiyao,et al. Hyperspectral analysis of soil total nitrogen in subsided land using the local correlation maximization-complementary superiority(LCMCS) method[J]. Sensors,2015,15(8):17990-18011.
[18] 李志軍,曹玲燕,陳偉根,等. 基于小波包分析光聲光譜信號的濾波方法研究[J]. 自動化儀表,2016,37(5):20-23. Li Zhijun,Cao Lingyan,Chen Weigen,et al. Research on the filtering method based on wavelet packet analysis for signals of photoacoustic spectroscopy[J]. Process Automation Instrumentation,2016,37(5):20-23.(in Chinese with English Abstract)
[19] Rossel R A V. Robust modelling of soil diffuse reflectance spectra by “bagging-partial least squares regression”[J]. Journal of near Infrared Spectroscopy,2007,15(1):39-47.
[20] 李嵐?jié)?,汪善勤,任濤,? 基于高光譜的冬油菜葉片磷含量診斷模型[J]. 農(nóng)業(yè)工程學(xué)報,2016,32(14):209-218. Li Lantao,Wang Shanqin,Ren Tao,et al. Evaluating models of leaf phosphorus content of winter oilseed rape based on hyperspectral data[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2016,32(14):209-218.(in Chinese with English Abstract)
[21] Liao Qinhong,Wang Jihua,Li Cunjun,et al. Estimation of fluvo-aquic soil organic matter from hyperspectral reflectance by using discrete wavelet transformation[C]//IEEE. International conference on agro-geoinformatics. New York:IEEE,2012:355-359.
[22] 陳頌超,彭杰,紀(jì)文君,等. 水稻土可見-近紅外-中紅外光譜特性與有機質(zhì)預(yù)測研究[J]. 光譜學(xué)與光譜分析,2016,36(6):1712-1716. Chen Songchao,Peng Jie,Ji Wenjun,et al. Study on the characterization of VNIR-MIR spectra and prediction of soil organic matter in paddy soil[J]. Spectroscopy and spectral analysis. 2016,36(6):1712-1716.(in Chinese with English Abstract)
[23] 楊愛霞,丁建麗. 新疆艾比湖濕地土壤有機碳含量的光譜測定方法對比[J]. 農(nóng)業(yè)工程學(xué)報,2015,31(18):162-168. Yang Aixia,Ding Jianli. Comparative assessment of two methods for estimation of soil organic carbon content by VIS-NIR spectra in Xinjiang Ebinur Lake Wetland[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2015,31(18):162-168.(in Chinese with English Abstract)
[24] 于雷,洪永勝,耿雷,等. 高光譜估算土壤有機質(zhì)含量的波長變量篩選方法[J]. 農(nóng)業(yè)工程學(xué)報,2016,32(13):95-102. Yu Lei,Hong Yongsheng,Geng Lei,et al. The method of selecting soil organic matter's bands in hyperspectral data[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2016,32(13):95-102.(in Chinese with English Abstract)
[25] Wang Chao,Feng Meicheng,Yang Dewu,et al. A new method to decline the SWC effect on the accuracy for monitoring SOM with hyperspectral technology[J]. Spectroscopy and Spectral Analysis,2015. 35(12):3495-3499.
[26] 紀(jì)文君,李曦,李成學(xué),等. 基于全譜數(shù)據(jù)挖掘技術(shù)的土壤有機質(zhì)高光譜預(yù)測建模研究[J]. 光譜學(xué)與光譜分析,2012,32(9):2393-2398. Ji Wenjun,Li Xi,Li Chengxue,et al. Using different data mining algorithms to predict soil organic matter based on visible-near infrared spectroscopy[J]. Spectroscopy and spectral analysis. 2012,32(9):2393-2398.(in Chinese with English Abstract)
[27] Wijewardane N K,Ge Y F,Morgan C L S. Moisture insensitive prediction of soil properties from VNIR reflectance spectra based on external parameter orthogonalization[J]. Geoderma,2016,267:92-101.
Coupling discrete wavelet packet transformation and local correlation maximization improving prediction accuracy of soil organic carbon based on hyperspectral reflectance
Zhang Rui,Li Zhaofu※,Pan Jianjun
(College of Resources and Environment Science,Nanjing Agriculture University,Nanjing 210095,China)
Soil organic carbon(SOC) is an essential soil property for assessing the fertility of paddy soils. It can be measured with visible and near infrared spectroscopy effectively in the field. Meanwhile,there are a lot of factors,such as soil water,surface conditions and so on,which might affect the spectra,increasing the difficulty in extracting the effective information,and reducing the prediction accuracy of SOC content. Noise reduction must be considered in developing hyperspectral estimation models,but how to reduce noise while retaining as much useful information as possible needs for investigation. As advanced spectral mining methods,local correlation maximization(LCM) arithmetic was used to solve this problem in this study. In the present study,a total of 70 soil samples of paddy soil were collected from rice fields in Zhulin town,Jintian city,Jiangsu Province. The sample holders were clear aluminum boxes in 7 cm diameter and 3 cm deep,which were filled and leveled at the rim with a spatula. Reflectance of soil samples measured using ASD Fieldspec 3 Spectrometer in a dark room when brought these samples indoor immediately to keep them in the field conditions. We used the following steps to process soil reflectance:First,discrete wavelet packet transformation(DWPT) was used to decompose the original spectral(result from 0.6-order differential) in 7 levels using Bior1.3 wavelet basis by MATLAB programming language. In order to select the maximum level of DWPT,correlation coefficients between SOC and the spectra of each level was computed. Secondly,LCM method was used to develop the local optimal correlation coefficient(LOCC) and optimal band which was determined from the optimal correlative curve and the optimal spectra(OS),respectively. Thirdly,a PLSR model was built to predict SOC contents. And then,determination coefficient of validation(),root mean square error of validation(RMSEV),and residual prediction deviation(RPD) were used for accuracy assessment. We also used variable in the projection(VIP) analysis to identify the reason why LCM could improve the accuracy of predict model at the same time. The results showed:1) significant correlated bands followed increasing-decreasing trend with the increase of wavelet decomposed level and the maximum level identified as level 6. This implied that the wavelet packet transformation amplified some useful SOC information that was previously obscured by noise. 2) optimal spectra that established from LCM could effectively remove noise while preserving the detail information of SOC simultaneously. 3) compared with raw spectral(=0.693,RMSEV=1.952 g/kg,RPD=1.85),the wavelet packet transformation provided good results(=0.727,RMSEV=1.840 g/kg,RPD=1.97) of SOC prediction,combined with LCM arithmetic,the model had the best performance(=0.781,RMSEV=1.679 g/kg,RPD=2.17) to predict SOC content. According to VIP score,important bands for SOC prediction hadthree pink values,two of them located in the characteristic bands of soil water,this illustrated LCM can’t remove the effects of soil water thorough. Results indicated that the discrete wavelet packet transformation and local correlation maximization(DWPT-LCM) method had great potential to monitor SOC contents in paddy soils when reduced white noise while retaining as much soil organic carbon information as possible.
spectrum analysis;soils;organic matter;discrete wavelet packet;local correlation maximization
10.11975/j.issn.1002-6819.2017.01.024
S127
A
1002-6819(2017)-01-0175-07
張 銳,李兆富,潘劍君. 小波包-局部最相關(guān)算法提高土壤有機碳含量高光譜預(yù)測精度[J]. 農(nóng)業(yè)工程學(xué)報,2017,33(1):175-181.
10.11975/j.issn.1002-6819.2017.01.024 http://www.tcsae.org
Zhang Rui,Li Zhaofu,Pan Jianjun. Coupling discrete wavelet packet transformation and local correlation maximization improving prediction accuracy of soil organic carbon based on hyperspectral reflectance[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2017,33(1):175-181.(in Chinese with English Abstract)doi:10.11975/j.issn.1002-6819.2017.01.024 http://www.tcsae.org
2016-06-15
2016-11-09
中央高?;究蒲袠I(yè)務(wù)費專項資金(KYZ201522);江蘇高校優(yōu)勢學(xué)科建設(shè)工程項目;國家自然科學(xué)基金項目(41571171)
張 銳,研究方向為土壤資源高光譜定量遙感。南京 南京農(nóng)業(yè)大學(xué)資源與環(huán)境科學(xué)學(xué)院,210095。Email:1160877119@qq.com
※通信作者:李兆富,博士,副教授,研究方向為資源環(huán)境遙感。南京 南京農(nóng)業(yè)大學(xué)資源與環(huán)境科學(xué)學(xué)院,210095。Email:lizhaofu@njau.edu.cn