楊 瑋 于 滈 李 浩 曹永研 郝子源

(中國農(nóng)業(yè)大學(xué)智慧農(nóng)業(yè)系統(tǒng)集成研究教育部重點實驗室,北京 100083)

0 引言

SOM是土壤的主要養(yǎng)分,對作物的生長至關(guān)重要,也是評估土壤肥力的重要指標(biāo)。土壤有機碳(Soil organic carbon,SOC)主要存在SOM中,二者之間可以實現(xiàn)定量轉(zhuǎn)換,SOC也是全球碳循環(huán)和氣候調(diào)節(jié)的重要參考指標(biāo),通過測定SOM含量可以實現(xiàn)SOC含量的高效測定[1-6]。傳統(tǒng)的SOM含量測量手段,如重鉻酸鉀測定法以及灼燒法等實驗室方法測量精度高,但存在成本高昂、檢測周期長、破壞性和污染性較強的問題[7]。光譜學(xué)分析方法具有高效、環(huán)保等特點,近年來已經(jīng)逐漸成為了最具潛力取代傳統(tǒng)方法測量SOM含量的技術(shù)手段[8]。由于光譜數(shù)據(jù)處理步驟繁瑣,基于光譜學(xué)分析預(yù)測SOM含量的工作大多在實驗室環(huán)境下進行,無法實現(xiàn)原位SOM含量的測量,較高的造價也限制了方法的推廣性[9-13]。綜上所述,確立一種廉價、高效的原位SOM含量測量方法,對于土壤養(yǎng)分檢測以及田間作業(yè)生產(chǎn)意義重大。

受到SOM含量變化的影響,土壤的顏色、孔隙度、貯水能力和團聚性也會產(chǎn)生明顯的變化[14-17]。已有研究證明,隨著SOM含量的增加,土壤的團聚能力變強,孔隙度變大,同時土壤的顏色也會逐漸加深,當(dāng)SOM質(zhì)量分?jǐn)?shù)超過4%后,土壤會呈現(xiàn)黑褐色,這些特征有助于通過圖像建立SOM含量的預(yù)測模型[18-19]。雖然圖像數(shù)據(jù)容易獲取,但也容易受到客觀因素的影響,水分含量的變化以及土壤組成不同都會導(dǎo)致土壤在顏色上呈現(xiàn)出明顯的差異[20]。與此同時,基于傳統(tǒng)機器學(xué)習(xí)手段利用圖像預(yù)測SOM也存在著性能不足以及泛化性差的問題,這些都導(dǎo)致了基于圖像預(yù)測SOM含量的準(zhǔn)確性受限。如何建立更高精度的SOM預(yù)測模型成為當(dāng)下研究的重點。

目前,利用圖像預(yù)測SOM含量的研究在國內(nèi)外已經(jīng)取得了一定的進展,證明了利用圖像預(yù)測SOM含量的可行性。吳才武等[21-22]提取數(shù)字圖像的顏色特征建立模型預(yù)測SOM含量,并通過分析數(shù)據(jù)證明RGB圖像中R通道圖像建模效果最佳,為后續(xù)相關(guān)研究奠定了基礎(chǔ)。FU等[23]用智能手機拍攝土壤圖像,建立了不同含水量條件下的SOM預(yù)測模型,并利用不同色彩空間對圖像顏色參數(shù)進行量化,模型性能更加穩(wěn)定,預(yù)測R2為0.819,證明了通過手機端圖像實現(xiàn)SOM含量預(yù)測的潛力。也有研究[24]證明了通過圖像數(shù)據(jù)建立模型,可以反映出相關(guān)波段受到SOM的影響程度,證明了圖像信息與波段之間的聯(lián)系。以上研究結(jié)果表明,可見光圖像與SOM存在較強的關(guān)聯(lián)性,利用圖像進行SOM預(yù)測具有成本低、普適性高、易于推廣等特點,圖像信息獲取便捷,也包含了所在光譜波段的特征,通過圖像進行SOM含量的檢測有助于提升田間工作的效率。

相較于土壤光譜數(shù)據(jù)獲取流程繁瑣復(fù)雜,獲取土壤圖像數(shù)據(jù)具有便捷、高效的特點,且圖像中也包含了紋理、顏色等多種特征信息。研究證明,在可見光區(qū)間內(nèi)SOM含量存在著多個敏感區(qū)間,通過獲取更多波段的圖像信息,有助于獲取到更多特征,提升模型的性能[25-26]。相比于傳統(tǒng)機器學(xué)習(xí)手段,深度學(xué)習(xí)在圖像特征提取領(lǐng)域展現(xiàn)出了巨大的技術(shù)優(yōu)勢,基于深度學(xué)習(xí)手段有助于實現(xiàn)更高精度的SOM含量預(yù)測,但深度學(xué)習(xí)對于更多數(shù)據(jù)樣本的需求對于田間采樣工作提出了巨大的挑戰(zhàn)。基于以上問題,本文采集不同水分梯度可見光圖像與無人機采集的R波段(650 nm±16 nm)、紅邊波段(730 nm±16 nm)與近紅外光譜波段(840 nm±26 nm)圖像,建立改進的N_DenseNet模型預(yù)測SOM含量,并開發(fā)手機端APP實現(xiàn)田間原位的SOM實時檢測?；诒本┦?、山東省、黑龍江省3個省市采集不同種類土壤作為樣品。于實驗室環(huán)境下配置并采集不同水分梯度圖像增加數(shù)據(jù)樣本,去除水分對土壤顏色的影響,結(jié)合無人機拍攝R波段與近紅外波段圖像建立基于手機端APP的N_DenseNet模型,以實現(xiàn)土壤田間圖像采樣以及SOM含量實時檢測。

1 數(shù)據(jù)獲取與方法

1.1 樣品采集

我國幅員遼闊,不同地區(qū)SOM含量分布受氣候、土壤種類等多種因素影響呈現(xiàn)出明顯差異,這對土壤樣本的采集以及模型的性能提出了更高要求。根據(jù)全國土壤普查養(yǎng)分分級標(biāo)準(zhǔn),將SOM含量按照梯度劃分為一級土(大于40 g/kg)至六級土(小于6 g/kg)共6個等級。為盡可能采集到更多等級土壤,本研究選擇土壤種類和SOM含量分布具有明顯差異的北京市昌平區(qū)(試驗區(qū)1,10～35 g/kg)、黑龍江省雙鴨山市友誼縣(試驗區(qū)2,30～60 g/kg)和山東省泰安市泰山區(qū)(試驗區(qū)3,20～40 g/kg)3個地區(qū)作為土壤樣本采集試驗地點,3個試驗采樣點分別屬于寒溫帶與溫帶大陸性季風(fēng)氣候、溫帶大陸性季風(fēng)氣候和溫帶暖風(fēng)氣候,土壤類型主要為棕土、褐土、黑土,SOM含量涵蓋了一級土到五級土。3個試驗區(qū)總占地面積超過100 hm2,采樣點信息如圖1所示。

圖1 研究區(qū)地理信息

為減少天氣以及光線強度等客觀因素對圖像數(shù)據(jù)集造成的影響,采集試驗在10月進行,采樣時間均選擇晴朗無云天氣的10:00—11:00之間。共采集350份樣品,其中在北京市上莊實驗站采樣160份、黑龍江省友誼縣采樣90份,山東省泰安市采樣100份。土壤采樣深度為10 cm,每份樣品采集 500 g 并用牛皮紙袋封存后帶回實驗室。土樣采集回實驗室后進行350份土壤樣品SOM真值的測定。首先,將土樣在105℃的干燥箱內(nèi)干燥24 h,剔除秸稈等雜質(zhì)后采用9 mm篩子過篩稱量,之后采用干燒爐對土壤樣本的SOM含量進行測定?？傮w數(shù)據(jù)按照6∶2∶2的比例分為訓(xùn)練集、驗證集、測試集。各數(shù)據(jù)集SOM含量描述性統(tǒng)計如表1所示。土壤樣本整體SOM含量區(qū)間為9.25～51.50 g/kg,訓(xùn)練集樣本區(qū)間為9.40～51.50 g/kg,驗證集樣本區(qū)間為9.25～51.10 g/kg,測試集樣本區(qū)間為9.68～49.20 g/kg,訓(xùn)練集涵蓋了測試集的全部范圍,總體變異系數(shù)為43%,屬于中等變異。

表1 土壤樣本SOM含量統(tǒng)計

在圖像采集工作中,每份土壤樣品均通過多光譜無人機拍攝3幅多光譜圖像(紅邊波段、R波段和近紅外波段圖像)、不同通道的多光譜數(shù)據(jù)樣本以及手機拍攝的不同含水率梯度圖像樣本信息如圖2所示。手機端拍攝5幅水分梯度圖像,訓(xùn)練集樣本數(shù)量為1 680幅,驗證集與測試集樣本數(shù)分別為560幅,總數(shù)量為2 800幅。首先通過手機相機獲取高清圖像,然后使用大疆Phantom 4 型無人機搭載的多光譜相機獲取光譜圖像,相機可獲取紅((650±16)nm)、綠((560±16)nm)、藍((450±16)nm)、紅邊((730±16)nm)、近紅外波段((840±26)nm)圖像信息,結(jié)合已有研究可知,SOM在660、740、840 nm附近存在明顯的特征波長[27],由于圖像中反映了所在波長的特征,所以選擇R波段、紅邊波段和近紅外波段的光譜圖像結(jié)合梯度圖像構(gòu)建數(shù)據(jù)集。同時為避免土壤水分對于圖像信息的干擾,同時提升數(shù)據(jù)樣本數(shù)量以滿足深度學(xué)習(xí)的需求,本研究通過實驗室內(nèi)水分脅迫的方式,將350組土壤樣品分別配置為含水率5%、10%、15%、20%梯度,并通過手機拍攝圖像作為數(shù)據(jù)集。

圖2 多光譜圖像數(shù)據(jù)

通過無人機獲取的多光譜圖像尺寸更小(1 600像素×1 300像素),為保證數(shù)據(jù)輸入的一致,在數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)前,將每份SOM含量數(shù)值標(biāo)簽對應(yīng)的近紅外、R波段以及紅邊波段光譜圖像進行通道疊加,將3幅單通道多光譜圖像轉(zhuǎn)換為1幅具有3通道的光譜圖像。本研究數(shù)據(jù)集每份樣品對應(yīng)5幅可見光圖像和1幅3通道多光譜圖像,在進行模型訓(xùn)練時,6幅圖像會被壓縮為224像素×224像素進行計算。

1.2 方法

1.2.1DenseNet

DenseNet的基本網(wǎng)絡(luò)結(jié)構(gòu)主要由稠密塊(DenseBlock)和Transition組成,不同深度的DenseNet網(wǎng)絡(luò)基本結(jié)構(gòu)相同,主要是在卷積層數(shù)量上的差異,DenseBlock和Transition結(jié)構(gòu)如圖3所示,DenseNet169是由4個DenseBlock和Transition(卷積層與池化層)結(jié)構(gòu)組成,DenseBlock和Transition結(jié)構(gòu)網(wǎng)絡(luò)層逐漸加深。DenseNet主要是通過concat操作實現(xiàn)不同網(wǎng)絡(luò)層輸出特征的短路連接,這種操作可以讓模型更快地完成訓(xùn)練,同時模型也能夠保留更多低維度的特征,使得模型可以在一定程度上減少因數(shù)據(jù)有限造成的模型性能下降的問題。相比VGG和ResNet模型,DenseNet可以使用更少的參數(shù)達到更好的訓(xùn)練效果。

圖3 DenseBlock和Transition結(jié)構(gòu)

在實際應(yīng)用中,由于框架優(yōu)化的因素,DenseNet往往存在著占用系統(tǒng)內(nèi)存過多的情況,這也限制了DenseNet網(wǎng)絡(luò)在移動端部署平臺的運行效率。

1.2.2改進的DenseNet SOM預(yù)測模型

目前,通過圖像數(shù)據(jù)預(yù)測SOM的技術(shù)手段一直存在著模型預(yù)測精度有限的問題,雖然方法更加便捷但是無法取代傳統(tǒng)光譜學(xué)以及化學(xué)式檢測方法。為保證圖像數(shù)據(jù)中的特征被模型充分利用以提高模型的預(yù)測精度,本研究在DenseNet結(jié)構(gòu)的基礎(chǔ)上做出改進,結(jié)合多尺度的池化特征提取方法提升模型性能,完成SOM含量的高效預(yù)測。

為提升模型的預(yù)測精度,本研究基于DenseNet169進行改進,提出N_DenseNet,通過添加具有3層多尺度的池化特征模塊提升模型的特征提取能力,3層池化層的size分別為2、4、8。為避免池化操作使輸入數(shù)據(jù)分辨率降低,在第2層和第3層池化層后進行上采樣,scale_factor的參數(shù)為2和4,以還原輸入池化模塊前的數(shù)據(jù)尺寸。

相比于傳統(tǒng)模型中使用單一小尺寸池化層,多尺度池化模塊能夠為模型獲取到更多的特征數(shù)據(jù),可以讓模型提取到更多高、低維度的數(shù)據(jù)特征,提升模型的性能,改進的DenseNet網(wǎng)路整體結(jié)構(gòu)如圖4所示。

圖4 N_DenseNet網(wǎng)絡(luò)

1.2.3基于Android端的SOM檢測APP

為避免手機性能不足限制模型表現(xiàn),綜合成本以及已有硬件條件等實際因素考慮,本研究通過內(nèi)網(wǎng)透射方式實現(xiàn)手機Android端APP與固定PC端的數(shù)據(jù)實時處理與傳輸,這有效解決了移動端嵌入模型導(dǎo)致性能下降的問題,同時該手段運營成本較小,避免了高昂的開發(fā)成本。

APP開發(fā)分為移動端模塊和PC端模塊。移動端模塊通過Vue開發(fā),并利用Hbuilder X封裝成便攜式設(shè)備支持的安裝包;PC端模塊基于Python 3.7開發(fā)環(huán)境部署深度學(xué)習(xí)模型,利用Django作為Web接口框架實現(xiàn)數(shù)據(jù)的交互。

基于內(nèi)網(wǎng)透射,用戶通過手機端便可以實現(xiàn)SOM圖像的獲取、調(diào)用以及PC端數(shù)據(jù)的處理與傳輸,并將最終數(shù)據(jù)傳送至APP內(nèi)實時顯示,實現(xiàn)SOM的實時檢測。為了提升APP的功能性,在實現(xiàn)SOM含量檢測的基礎(chǔ)上,APP內(nèi)也集成了土壤含量等級展示、采樣地點GPS信息以及歷史信息查詢等功能,實現(xiàn)更加精準(zhǔn)、多功能的SOM含量信息檢測。研究的整體技術(shù)路線如圖5所示。

圖5 整體技術(shù)路線

2 結(jié)果與分析

2.1 基于可見光圖像的SOM預(yù)測

為了探討多光譜圖像在不同模型上的表現(xiàn)效果,分別對比本研究提出的N_DenseNet以及經(jīng)典網(wǎng)絡(luò)ResNet101、ResNet152、DenseNet121、DenseNet169、DenseNet 201以及進行訓(xùn)練預(yù)測,對比分析基于可見光圖像和多源圖像信息的表現(xiàn)效果。以上訓(xùn)練結(jié)果都是基于Pytorch環(huán)境,在配置了11 GB 顯存的GTX 2080顯卡和16 GB內(nèi)存的高性能計算機上進行,通過內(nèi)網(wǎng)透射實現(xiàn)PC端與手機端的連接?；谑謾C端的可見光數(shù)據(jù)模型預(yù)測結(jié)果如圖6所示。從圖6中能夠看出,基于可見光圖像建立SOM預(yù)測模型,測試集R2分別為0.817、0.742、0.771、0.786、0.809、0.801。其中基于改進的DenseNet模型表現(xiàn)最好,比ResNet101、ResNet152、DenseNet121、DenseNet169、DenseNet201高出0.075、0.046、0.031、0.008、0.016。整體上看,DenseNet模型表現(xiàn)整體更好,證明了基于concat操作實現(xiàn)不同網(wǎng)絡(luò)層特征信息共享的方式能夠更好地提升模型的預(yù)測能力。通過加入多尺度池化層后,N_DenseNet網(wǎng)絡(luò)性能更佳,相較于更深層的DenseNet169和DenseNet201具有明顯優(yōu)勢。

圖6 基于可見光圖像的SOM預(yù)測效果對比

2.2 基于多光譜圖像的SOM預(yù)測

在可見光圖像數(shù)據(jù)的基礎(chǔ)上,加入紅波段、紅邊波段與近紅外波段通道疊加后的光譜圖像作為數(shù)據(jù)集進行訓(xùn)練,測試集結(jié)果如圖7所示。N_DenseNet的測試集R2為0.833,RMSE為3.943 g/kg。經(jīng)過與基于可見光圖像的3種預(yù)測模型的R2對比可知,基于多光譜圖像的模型性能整體優(yōu)于可見光圖像,N_DenseNet、ResNet101、ResNet152、DenseNet121、DenseNet169、DenseNet201測試集的R2比基于可見光數(shù)據(jù)分別提高0.026、0.045、0.013、0.031、0.011、0.020。證明添加R波段、紅邊波段與近紅外波段圖像含有的特征信息對模型精度具有一定的提升。相比于ResNet表現(xiàn),DenseNet網(wǎng)絡(luò)在多光譜數(shù)據(jù)上的表現(xiàn)最佳,證明了DenseNet的優(yōu)勢。

為更好地分析不同模型整體表現(xiàn)以及部署手機端對運行效率的需求,不同模型建模、測試集的R2以及模型運行時間的結(jié)果如表2所示。整體上看,在網(wǎng)絡(luò)深度相近的情況下,DenseNet網(wǎng)絡(luò)在可見光與多光譜圖像數(shù)據(jù)方面表現(xiàn)優(yōu)于ResNet系列,N_DenseNet表現(xiàn)最佳,相比于DenseNet169更好,且運行時間更短,證明加入多池化操作使模型的精度和效率得到明顯提高,運行時間與DenseNet169十分接近,雖然相比于層數(shù)較少的ResNet101、ResNet152、DenseNet121更耗時,但取得了最好的精度,測試集完成預(yù)測所需時間在可見光與多光譜數(shù)據(jù)上分別為0.38 s和0.45 s,都可以滿足SOM含量實時檢測。

表2 不同模型對比

對比ResNet架構(gòu)和DenseNet架構(gòu),發(fā)現(xiàn)ResNet整體效果弱于DenseNet,證明了基于concat操作可以更好地融合更多維度特征,提升模型性能,而在運行效率上,ResNet系列占據(jù)明顯優(yōu)勢,證明較深層網(wǎng)絡(luò)對于模型運行速度具有一定的影響,但是基于計算機端都能夠?qū)崿F(xiàn)實時數(shù)據(jù)處理。總體上,基于N_DenseNet系列精度最好,優(yōu)于DenseNet169,更好地滿足了田間原位土壤的高效檢測。

2.3 基于APP的田間驗證

本研究使用搭載Exynos 8895芯片的魅族15plus手機作為移動端設(shè)備進行APP設(shè)計,于中國農(nóng)業(yè)大學(xué)上莊實驗站進行田間試驗。采集地塊分為7列15行,共105個采樣測試點。通過手機端實時拍照獲取樣點中心位置圖像與GPS信息經(jīng)過田間試驗驗證,基于多光譜圖像檢測SOM含量的R2為0.805,檢測時間為2.8 s,基于可見光圖像模型的R2為0.766,檢測時間為2.4 s。基于多光譜圖像的模型性能更好,檢測精度更高,與實驗室內(nèi)結(jié)果一致,熱力圖如圖8所示。

在檢測時間上,受限于網(wǎng)絡(luò)信號傳輸速度的影響,數(shù)據(jù)傳輸至PC端并完成檢測的時間明顯增加,但也滿足了原位高效的SOM含量檢測,相比基于光譜學(xué)原理的便攜式檢測儀,該方法在檢測速度上具有明顯提升。通過結(jié)合田間試驗結(jié)果,證明該APP可以有效實現(xiàn)SOM含量預(yù)測,一定程度上能夠指導(dǎo)農(nóng)業(yè)生產(chǎn)、土壤施肥、土地類型判斷、SOM含量測定等工作的開展,具有良好的研究價值。

3 討論

本文采集了基于多水分梯度圖像以及R波段、紅邊波段與近紅外波段的多光譜波段圖像數(shù)據(jù),通過搭建N_DenseNet模型并于手機端開發(fā)APP,最終完成SOM含量的檢測。經(jīng)試驗驗證,基于多源圖像數(shù)據(jù)檢測SOM含量效果最好,優(yōu)于可見光圖像數(shù)據(jù)模型,模型R2為0.805。該方法相比于AITKENHEAD等[28]基于可見光圖像預(yù)測SOM含量和YANG等[29]基于CNN預(yù)測SOM含量的方法取得了更好的結(jié)果。這與多光譜圖像數(shù)據(jù)中包含了更多的特征信息有一定關(guān)系,豐富的信息有助于模型提取到更多有用特征,同時使用更好的模型對于精度也有一定提升。

目前,基于圖像數(shù)據(jù)實現(xiàn)SOM含量預(yù)測已有相關(guān)研究,然而模型精度不足限制了該方案的推廣性,成像式光譜儀雖然集成了圖像與光譜數(shù)據(jù),受限于數(shù)據(jù)處理步驟的繁瑣以及高昂的制造成本,導(dǎo)致方法難以被推廣使用[30]?；趫D像信息預(yù)測SOM具有簡單、便捷,便于推廣等特點,尤其是4G、5G通信技術(shù)的飛速發(fā)展,讓數(shù)據(jù)傳輸變得更加及時,基于手機端開發(fā)APP,有效節(jié)省了成本也實現(xiàn)了便攜性,在田間信息監(jiān)測方面具有巨大潛力。

許多研究人員專注于通過可見光圖像實現(xiàn)SOM含量的預(yù)測,受限于圖像信息不足以及模型性能的影響,模型預(yù)測能力受限,無法取代光譜分析等手段[31-32]。SOM在可見光-近紅外區(qū)間內(nèi)存在著多個敏感波段,基于多波段光譜圖像預(yù)測SOM含量可以獲取更多的圖像數(shù)據(jù)特征,有助于提升模型的預(yù)測精度,也能有效改善因土壤數(shù)據(jù)采集和處理步驟繁瑣導(dǎo)致的數(shù)據(jù)獲取難的問題,多光譜圖像能夠有效實現(xiàn)土壤數(shù)據(jù)的擴容,更好地滿足深度學(xué)習(xí)訓(xùn)練需要大量基礎(chǔ)數(shù)據(jù)的要求。然而,本研究使用的數(shù)據(jù)信息有限,尤其是土壤類型和土壤采集區(qū)域有限,同時無人機與手機采集圖像信息也存在傳感器分辨率、拍攝距離不同等情況,這可能會造成數(shù)據(jù)間存在差別,最終影響模型的表現(xiàn)。未來,有必要進一步采集更多地區(qū)和更多種類土壤樣品,并對已有模型進行改進,以提升模型的精度。

4 結(jié)論

(1)在獲取可見光和多梯度水分圖像的基礎(chǔ)上,加入R、紅邊與近紅外波段圖像豐富數(shù)據(jù)集并進行訓(xùn)練。經(jīng)分析,基于多光譜圖像模型的性能優(yōu)于可見光圖像模型,證明增加光譜圖像優(yōu)化模型參數(shù)對于SOM含量預(yù)測具有一定的提升。

(2)該研究在DenseNet169基礎(chǔ)上加入多尺度池化模塊,提出N_DenseNet模型,實現(xiàn)了多尺度特征的提取與融合?；诙喙庾V和可見光數(shù)據(jù)集,預(yù)測R2相比于DenseNet169分別提高0.011和0.008,實現(xiàn)了更高精度的SOM含量檢測。

(3)開發(fā)手機端SOM檢測APP,該APP能夠?qū)崿F(xiàn)手機端與PC端的數(shù)據(jù)傳輸,并整合了歷史查詢、GPS信息、土壤等級展示功能。經(jīng)過田間驗證,模型R2為0.805,檢測時間為2.8 s,實現(xiàn)了原位實時的SOM含量檢測。