葉 春 劉 瑩 劉繼忠 舒時(shí)富 李艷大 吳羅發(fā)

(1.南昌大學(xué) 先進(jìn)制造學(xué)院，南昌 330038;2.江西省農(nóng)業(yè)科學(xué)院 農(nóng)業(yè)工程研究所/江西省智能農(nóng)機(jī)裝備工程研究中心/江西省農(nóng)業(yè)信息化工程技術(shù)研究中心，南昌 330200)

氮素(Nitrogen)是水稻生長發(fā)育需要的最重要的元素之一，不同程度的氮素缺乏會影響植物葉色、葉面積、葉片數(shù)和株高等[1]，因此，植物氮素營養(yǎng)的快速監(jiān)測對作物精確管理具有重要指導(dǎo)作用。作物氮素養(yǎng)分的傳統(tǒng)監(jiān)測，運(yùn)用實(shí)驗(yàn)室化學(xué)分析方法，不僅費(fèi)時(shí)費(fèi)力，且由于取樣有破壞性；便攜式葉綠素儀則需要進(jìn)行多點(diǎn)測定，測量精度易受環(huán)境和測定方式影響[2]；近地遙感和衛(wèi)星具有精度高的特點(diǎn)，但技術(shù)應(yīng)用成本高且實(shí)現(xiàn)實(shí)時(shí)監(jiān)測難度大[3]。運(yùn)用數(shù)字圖像技術(shù)進(jìn)行作物營養(yǎng)診斷，具有快速、便捷、無損的優(yōu)點(diǎn)，為實(shí)時(shí)監(jiān)測作物氮素營養(yǎng)豐缺狀態(tài)提供了技術(shù)手段和方法[4]。

近年來，多采用數(shù)字圖像技術(shù)對作物氮素營養(yǎng)進(jìn)行監(jiān)測研究。例如：基于圖像冠層RGB顏色空間參數(shù)進(jìn)行作物氮素營養(yǎng)監(jiān)測[5-6]，然而，其RGB 顏色空間參數(shù)受光照影響較大。針對如何消除光照影響，已有研究提出通過提取圖像形狀特征或紋理特征有利于消除光照影響，提高監(jiān)測模型準(zhǔn)確率[7]。如：戴冕等[8]提出結(jié)合無人機(jī)圖像顏色和紋理特征指數(shù)的小麥生物量估測模型的效果要優(yōu)于單一顏色指數(shù)模型。圍繞構(gòu)建其他相關(guān)性更強(qiáng)的復(fù)雜圖像特征用于作物養(yǎng)分監(jiān)測，張燕等[9]通過提取番茄病害葉片圖像的顏色矩(CM)、顏色聚合向量(CCV)和方向梯度直方圖(HOG)等顏色紋理特征集，建立了番茄葉部病害快速識別模型，且識別準(zhǔn)確率高于其他典型的機(jī)器學(xué)習(xí)模型；Shi 等[10]通過提取RGB圖像的顏色特征和圖像冠層覆蓋率值，結(jié)合機(jī)器學(xué)習(xí)方法監(jiān)測水稻氮素營養(yǎng)狀態(tài)，得出隨機(jī)森林模型的集成算法在處理不同的數(shù)據(jù)集時(shí)有效地防止了過擬合，具有較好的泛化性。上述研究結(jié)果表明，數(shù)字圖像處理技術(shù)能夠比較快速、準(zhǔn)確地構(gòu)建作物氮素預(yù)測模型，且基于特征提取加機(jī)器學(xué)習(xí)的融合算法有助于提高模型的預(yù)測精確率。

作物葉片光學(xué)特性受水分、養(yǎng)分利用率及其所處生育時(shí)期等因素影響，進(jìn)而導(dǎo)致表征作物營養(yǎng)信息的敏感顏色參數(shù)各有差異。目前，圍繞數(shù)字圖像進(jìn)行作物養(yǎng)分監(jiān)測的研究多集中于提取單一圖像特征，如顏色特征[11]、形狀特征[12]、或者紋理特征[13]進(jìn)行建模，機(jī)器學(xué)習(xí)算法在一定程度上解決了特征輸入的共線性問題，但面對不同年際、區(qū)域、品種的作物養(yǎng)分監(jiān)測效果不穩(wěn)定。因此，為解決單一圖像特征構(gòu)建模型穩(wěn)定性和普適性較差問題，本研究擬以水稻冠層數(shù)碼圖像為研究對象，通過挖掘和分析多種常用圖像特征開展水稻冠層氮素含量的估測研究，在此基礎(chǔ)上，提出一種基于LBPHSV圖像特征提取+ResNet50的融合算法的水稻氮素營養(yǎng)監(jiān)測方法，并比較不同方法和不同圖像特征構(gòu)建模型的差異性，以期為提升預(yù)測模型精度和穩(wěn)定性提供新的思路。

1 材料與方法

1.1 試驗(yàn)點(diǎn)及圖像獲取方法

本試驗(yàn)在江西省農(nóng)業(yè)科學(xué)院高安試驗(yàn)基地進(jìn)行，該試驗(yàn)站位于北緯28°25′27″ N，東經(jīng)115°12′15″ E。試驗(yàn)田耕作層含有機(jī)質(zhì)38.80 g/kg，全氮2.53 g/kg，銨態(tài)氮42.4 mg/kg、硝態(tài)氮1.04 mg/kg，有效磷16.78 mg/kg，速效鉀120.1 mg/kg和pH 5.5。試驗(yàn)時(shí)間為2019年3—7月。圖像采集時(shí)間選擇為晴朗無云的天氣，在太陽溫度相對穩(wěn)定的10:00—14:00進(jìn)行。

1.1.1試驗(yàn)設(shè)計(jì)

水稻供試品種為中嘉早17和長兩優(yōu)173；分別設(shè)置4 個施氮水平：0、75、150和225 kg/hm2，分別記為N0，N1，N2和N3，3 次重復(fù)，共計(jì)24個處理，各處理之間隨機(jī)區(qū)組排列。不同時(shí)期氮肥質(zhì)量比為m(基肥)∶m(分蘗肥)∶m(穗肥)=5∶3∶2，磷肥(60 kg/hm2)作為基肥一次性施入，鉀肥(120 kg/hm2)隨氮肥同比例施入。小區(qū)面積為30 m2(5 m×6 m)，3本移栽，南北行向，小區(qū)之間以埂相隔，埂上覆膜，獨(dú)立排灌。其他栽培措施與當(dāng)?shù)馗弋a(chǎn)栽培一致。

1.1.2圖像采集

試驗(yàn)采用可見光相機(jī)Canon EOS型數(shù)碼相機(jī)(Canon EOS 100D，分辨率為72 dpi)拍攝水稻冠層圖像，拍攝時(shí)將相機(jī)鏡頭距離地面1.2 m (距水稻冠層約1.0 m)，與地面呈60°夾角進(jìn)行，同時(shí)將相機(jī)調(diào)至Auto模式下，以自動曝光控制色彩平衡。圖片以JPEG格式存儲，分辨率為5 184×3 456。從水稻分蘗期、拔節(jié)期到孕穗期共拍攝圖像519張。

1.1.3氮含量測定

選擇在水稻分蘗期、拔節(jié)期、孕穗期、抽穗期等關(guān)鍵生育期進(jìn)行破壞性取樣，在每個小區(qū)采集代表性的水稻植株20株，帶回實(shí)驗(yàn)室后，莖葉分離，單獨(dú)將葉片在105 ℃下干燥30 min，接著在80 ℃下干燥至恒重量，最后用小型粉碎機(jī)粉碎。用凱氏定氮儀測定葉片氮含量LNC用于分析。

1.2 數(shù)據(jù)分析

1.2.1圖像預(yù)處理

本研究數(shù)據(jù)處理過程如下：1)大田環(huán)境較復(fù)雜，為了提高冠層圖像顏色特征值的精確度，需要對采集的圖像進(jìn)行分割處理，以便把冠層圖像信息提取出來。本研究采用基于閾值ExR[8]的分割法來提取水稻冠層圖像，圖像處理效果如圖1所示；2)網(wǎng)絡(luò)模型選定前，將圖片按照8∶2的比例分為訓(xùn)練集與驗(yàn)證集，訓(xùn)練集用于訓(xùn)練模型參數(shù)，驗(yàn)證集測試訓(xùn)練好的模型參數(shù)。

圖1 水稻冠層圖像預(yù)處理Fig.1 Segmentation of canopy images of rice

本試驗(yàn)的硬件環(huán)境為內(nèi)存：8 G，CPU：Intel(R) Core(TM) i5-6500，GPU：Intel(R) HD Graphics 530，操作系統(tǒng)為64位，Windows 7，選用的深度學(xué)習(xí)開源架構(gòu)為Tensorflow，通過Tensorflow調(diào)用GPU實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的并行運(yùn)算。

1.2.2算法描述

常用于回歸預(yù)測的機(jī)器學(xué)習(xí)模型有最小二乘法LSM[14]、隨機(jī)森林RF[15]、支持向量機(jī)SVM[16]、多層感知機(jī)MLP、卷積神經(jīng)網(wǎng)絡(luò)CNN[17]，殘差網(wǎng)絡(luò)ResNet50[18]、長短記憶網(wǎng)絡(luò)LSTM19-20]等，本研究選取LSM、RF、SVM，MLP、CNN、ResNet50殘差網(wǎng)絡(luò)、LSTM及基于LBPHSV+ResNet50融合的算法開展模型訓(xùn)練，對水稻冠層LNC進(jìn)行回歸預(yù)測。

1)ResNet50殘差網(wǎng)絡(luò)。與傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)相比，ResNet網(wǎng)絡(luò)引入了一種新的網(wǎng)絡(luò)結(jié)構(gòu)稱為“殘塊”，以緩和梯度消失問題[18]，ResNet50模塊分為5個階段，第1階段是數(shù)據(jù)導(dǎo)入的預(yù)處理，后面4個階段都由瓶頸層組成，第2階段包含3個瓶頸層，剩下的3個階段分別包含4、6、3個瓶頸層。ResNet 50主要由五個卷積層和兩個殘差塊組成。殘差塊具有3個卷積層和一個身份跳躍連接。網(wǎng)絡(luò)的第一層是卷積層，其中步長為2，卷積核的數(shù)量為32。第二層為殘差塊，包括3個卷積層，將步幅和卷積核的數(shù)量分別設(shè)置為1和64，第三層卷積層步幅和通道數(shù)分別為2、128。第四層也是殘差塊，包括3個步長為1的卷積層，卷積核的數(shù)量為256。ResNet的最后一層由3個卷積層組成，其中stride為2，卷積核的數(shù)量為512。

2)基于LBPHSV+ResNet50融合的回歸預(yù)測。LBPHSV+ResNet50融合模型結(jié)構(gòu)主要由LBPHSV模塊來提取圖像特征，結(jié)合ResNet50算法解決回歸預(yù)測問題。步驟如下：

步驟1：根據(jù)水稻原始圖像建立原始圖像數(shù)據(jù)集；對原始圖像數(shù)據(jù)集進(jìn)行定位、分割和數(shù)據(jù)增強(qiáng)處理，得到圖像數(shù)據(jù)集。

步驟2：從步驟1得到的圖像數(shù)據(jù)集中的圖像提取紋理特征和顏色特征；利用加權(quán)圖像融合算法對提取的紋理特征LBP和顏色特征HSV特征進(jìn)行融合得到圖像融合特征，構(gòu)建圖像特征融合數(shù)據(jù)集。

步驟3：利用ResNet50殘差網(wǎng)絡(luò)對步驟2構(gòu)建的圖像特征融合數(shù)據(jù)集進(jìn)行訓(xùn)練并測試，得到測試準(zhǔn)確率最高的特征集合。

步驟4：對測試集圖像進(jìn)行回歸預(yù)測，得到預(yù)測結(jié)果。

圖2 LBPHSV+ResNet50模型流程圖Fig.2 Flowchart of LBPHSV+ResNet50 model

1.2.3特征提取

特征選擇對機(jī)器學(xué)習(xí)至關(guān)重要，減少特征數(shù)量會防止維度災(zāi)難，減少訓(xùn)練時(shí)間，增強(qiáng)模型泛化能力，減少過擬合，增強(qiáng)對特征和特征值的理解。本研究提取了水稻冠層圖像RGB顏色空間特征(HSV、L*a*b*和RGB)[21]、局部二值模式LBP特征[22]和灰度共生矩陣GLCM。

1.2.4評估指標(biāo)

為了比較各模型算法的預(yù)測精度，選擇常用的決定系數(shù)R2、均方根誤差RMSE和平均絕對誤差MAE、相對預(yù)測偏差RPD為評估指標(biāo)，R2取值范圍為[0，1]，越接近1代表回歸模型預(yù)測值的離散程度越低。對應(yīng)的，RMSE和 MAE值越小，表明回歸模型預(yù)測值與實(shí)測值的誤差越小，預(yù)測效果越好。相對預(yù)測偏差RPD通過實(shí)測值和預(yù)測值之間標(biāo)準(zhǔn)差和均方根誤差之比來證明模型的預(yù)測能力[23]。各指標(biāo)表達(dá)式分別如下：

(1)

(2)

(3)

(4)

2 結(jié)果與分析

2.1 水稻LNC時(shí)空變化規(guī)律

不同施氮水平下水稻LNC的時(shí)空變化趨勢見圖3?？芍喝趦?nèi)同一處理水稻LNC的變化整體趨勢一致；LNC隨著生育期推進(jìn)逐漸減??；隨著施肥量的增加而增加。N2和N3之間LNC值基本持平，說明施肥量到達(dá)一定量時(shí)，LNC值不再增加。隨著全生育期變化，LNC呈現(xiàn)波動式變化，具有較明顯時(shí)間規(guī)律性。

表格中N0、N1、N2和N3分別表示施氮量為0、75、150和225 kg/hm2。N0, N1, N2 and N3 in the table represent nitrogen application rates of 0, 75, 150 and 225 kg/hm2, respectively.

2.2 對比不同模型的預(yù)測結(jié)果

將提取的不同圖像特征分別作為輸入值，水稻LNC作為輸出值，結(jié)果見表1?？芍煌瑘D像特征構(gòu)建的模型預(yù)測精度差異較大。在傳統(tǒng)機(jī)器學(xué)習(xí)模型中，基于圖像紋理特征的預(yù)測模型R2顯著大于顏色特征，且基于LBP紋理特征構(gòu)建的預(yù)測模型表現(xiàn)均較好。其中：RF、SVM和CNN模型預(yù)測性能較佳(R2>0.80)，以RF回歸模型表現(xiàn)尤為突出，其R2值為0.84，但其RMSE和MAE值偏高；其次，CNN模型的準(zhǔn)確率R2略低于RF算法(R2=0.80)，但從模型穩(wěn)定性來看(RMSE和MAE值表現(xiàn)優(yōu)異)，CNN在回歸預(yù)測模型中表現(xiàn)優(yōu)異(表1)。

表1 不同模型預(yù)測結(jié)果對比Table 1 Comparison of regression prediction results by different models

分別采用LBP+LSTM、ResNet50、ResNet50+LSTM、LBP+ResNet50和基于LBPHSV+ResNet50融合算法對比分析水稻LNC預(yù)測模型的精度和穩(wěn)定性。結(jié)果發(fā)現(xiàn)相比于傳統(tǒng)機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)模型預(yù)測R2值顯著提升，預(yù)測效果明顯較好。其中，將LBPHSV特征作為輸入，ResNet50為回歸預(yù)測算法的結(jié)果顯示，提出的LBPHSV+ResNet50融合算法得到的模型決定系數(shù)值最高，R2為0.97，RMSE值最小，為0.02。在LBP+LSTM模型中，以LBP特征值為LSTM模型的輸入，LNC為輸出，得到預(yù)測結(jié)果為R2=0.89，RMSE=0.48，MAE=0.31。在ResNet50回歸預(yù)測模型中，當(dāng)學(xué)習(xí)率lr=0.001，num_epochs=30，優(yōu)化器為Adam時(shí)，得到的預(yù)測結(jié)果最佳為：R2=0.83，RMSE=0.44，MAE=0.07。在ResNet50+LSTM模型中，ResNet50共提取了1 000個圖像特征，R2=0.51，RMSE為0.84。

LNC實(shí)測值和基于不同預(yù)測模型(僅展示R2排名前5位的模型)的LNC預(yù)測值曲線對比結(jié)果見圖4?？芍噍^于其他模型，本研究提出的方法預(yù)測結(jié)果更加接近LNC實(shí)測值，能較好的捕捉到LNC的變化規(guī)律。本研究提出的基于LBPHSV+ResNet50融合模型中，RPD值為3.71。圖5則展示了基于LBPHSV+ResNet50融合模型的LNC預(yù)測值與實(shí)測值的1∶1比較結(jié)果。結(jié)果顯示，預(yù)測值和實(shí)測值相差不大，大部分點(diǎn)沿對角線y=x分布均勻緊密。

圖4 不同算法對LNC值預(yù)測結(jié)果對比Fig.4 Comparison of LNC prediction results by different algorithms

圖5 LBPHSV方法對LNC預(yù)測值與實(shí)測值對比Fig.5 Comparison of predicted and measured LNC based on the LBPHSV method

3 討 論

過量施氮是目前水稻栽培中存在的普遍現(xiàn)象，數(shù)字圖像是診斷水稻氮素營養(yǎng)豐缺的重要手段。運(yùn)用圖像特征對作物養(yǎng)分含量進(jìn)行監(jiān)測目前已經(jīng)有許多成果，不少學(xué)者嘗試?yán)蒙疃葘W(xué)習(xí)算法自動提取圖像特征獲得了較好的結(jié)果。本研究提出的LBPHSV+ResNet50融合算法對水稻冠層圖像進(jìn)行深層次的特征提取并預(yù)測，結(jié)果顯示，LBPHSV+ResNet50模型的預(yù)測能力和泛化能力最優(yōu)，R2和RMSE分別為 0.97、0.02，相比于RF、LBP+LSTM、ResNet50和LBP+ResNet50融合算法R2分別提升了16.36%、9.72%、16.55%和1.13%，RMSE 分別下降了 0.35、0.46、0.05和 0.002，在預(yù)測水稻LNC值時(shí)提供了總體令人滿意的性能。隨著深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，為了獲取深層次的特征，卷積的層數(shù)也越來越多[24]。但通過增加網(wǎng)絡(luò)層數(shù)的方法來增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力的方法并不總是可行的。一旦網(wǎng)絡(luò)層數(shù)達(dá)到一定的深度之后，再增加網(wǎng)絡(luò)層數(shù)，則易出現(xiàn)隨機(jī)梯度消失的問題，從而導(dǎo)致網(wǎng)絡(luò)預(yù)測準(zhǔn)確率下降[25]。傳統(tǒng)的解決方法是通過數(shù)據(jù)初始化和正則化的方法[26]，但上述方法僅有效解決了梯度消失的問題，準(zhǔn)確率問題并沒有改善。ResNet 網(wǎng)絡(luò)相對于傳統(tǒng)的機(jī)器學(xué)習(xí)算法而言，其關(guān)鍵的殘差單元可以有效解決上述問題[27]，效果相當(dāng)出色。目前大量應(yīng)用于目標(biāo)檢測[28]，圖像分割[29]和識別[30]等任務(wù)，但在作物養(yǎng)分監(jiān)測方面，目前應(yīng)用的還較少。

在本研究中，相較于圖像顏色空間特征(HSV、L*a*b*和RGB)，基于LBP紋理特征構(gòu)建的模型性能較好(表1)，表現(xiàn)為R2值差異上，LBP特征集在不同算法中均表現(xiàn)了較好的預(yù)測效果。原因可能是顏色特征參數(shù)易受光照、背景等環(huán)境影響[31]，且顏色特征參數(shù)之間的冗余信息多，多重共線性問題對預(yù)測結(jié)果造成一定干擾[32]，而LBP特征具有灰度不變性和旋轉(zhuǎn)不變性等顯著優(yōu)點(diǎn)。進(jìn)一步的，該特征選擇方法用于LSTM模型中，同樣展示出較好的預(yù)測性能(R2=0.89)，水稻的生長是有機(jī)物積累的過程，各生育期間氮素營養(yǎng)信息相互關(guān)聯(lián)的，無論是從分蘗期到孕穗期還是從孕穗期到完熟期均存在時(shí)序特性方面的聯(lián)系(圖3)。從模型選擇看，在傳統(tǒng)機(jī)器學(xué)習(xí)模型中，基于LBP的隨機(jī)森林回歸算法預(yù)測能力最好，R2和RMSE分別為0.84、0.37，只是穩(wěn)定性和普適性有待提升。LBP+LSTM、LBP+ResNet50和LBPHSV+ResNet50深度學(xué)習(xí)融合算法R2均>0.85，預(yù)測準(zhǔn)確率得到了很大的提高，但不同算法的準(zhǔn)確率略有差異。在本研究中，深度學(xué)習(xí)融合算法的特征表示和預(yù)測分類器是聯(lián)合優(yōu)化的，可以最大程度發(fā)揮二者聯(lián)合協(xié)作的性能。如LBPHSV特征集融合了圖像紋理特征與顏色空間特征，結(jié)合ResNet50殘差網(wǎng)絡(luò)取得了很好的預(yù)測效果，與楊倩等[33]結(jié)論一致，說明綜合利用顏色和紋理等特征參數(shù)可提高預(yù)測效果，相比于單一特征集更加豐富、完整，使得模型預(yù)測性能最優(yōu)。深度殘差網(wǎng)絡(luò)可以從大大增加的深度中輕松獲得準(zhǔn)確性收益，生成的結(jié)果實(shí)質(zhì)上比以前的網(wǎng)絡(luò)更好[27]。因此，在相同特征提取前提下，相比于淺層機(jī)器學(xué)習(xí)模型，ResNet50殘差網(wǎng)絡(luò)算法能顯著提高預(yù)測的準(zhǔn)確率。值得注意的是，ResNet50的每個block里面有3個卷積層，提取到的特征有1 000個，但輸入ResNet50預(yù)測模型后，結(jié)果并不是最佳。一方面可能是訓(xùn)練集數(shù)據(jù)量太少，產(chǎn)生過擬合導(dǎo)致預(yù)測精度無法有效提升。另一方面說明并不是特征數(shù)量越多，構(gòu)建的模型預(yù)測效果越好，這一結(jié)論與ZHANG等研究結(jié)論[34]一致。相對標(biāo)準(zhǔn)偏差PRD是衡量模型預(yù)測精度的重要指標(biāo)，當(dāng)PRD<1.5說明模型不具備預(yù)測能力；當(dāng)1.52.0表明模型具有極好的預(yù)測能力[35]。在本研究中，LBPHSV+ResNet50融合算法計(jì)算的PRD值為3.71，且預(yù)測值與實(shí)測值的點(diǎn)靠近對角線(圖5)，說明本文提出的LBPHSV+ResNet50融合算法預(yù)測精度高。

4 結(jié) 論

通過分析不同圖像特征參數(shù)建模的差異性，本研究提出一種基于LBPHSV+ResNet50融合的水稻LNC預(yù)測的方法。本研究算法對水稻冠層圖像樣本數(shù)據(jù)的適用性較強(qiáng)，該方法具有穩(wěn)定性，預(yù)測R2高達(dá)97%，RMSE值為0.02，能夠很好地監(jiān)測水稻LNC值且有較好的泛化能力和魯棒性，可以用于實(shí)際應(yīng)用需求。