陳家政，朱立學(xué)，張世昂，黃偉鋒

（仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院，廣東 廣州 510225）

0 引言

我國是世界第二大香蕉生產(chǎn)國，產(chǎn)量僅次于巴西[1]。同時(shí)，據(jù)世界糧農(nóng)組織2017 年數(shù)據(jù)顯示，全球有130 多個(gè)國家種植香蕉，年種植面積超過500萬hm2，年產(chǎn)量超過1 億t，是世界第二大水果作物，也是世界貿(mào)易量最大的水果[2]。在非洲和中南美洲等地，超過4 億人將香蕉作為主食，香蕉已成為繼水稻、小麥和玉米后的第四大糧食作物[3]。氮素是植物生命的基礎(chǔ)，是植物葉綠素的重要組成部分。香蕉植株缺少氮素時(shí)，葉片失去綠色，植株表現(xiàn)為生長發(fā)育延緩、生長量不足、植株莖葉矮小、果實(shí)產(chǎn)量和品質(zhì)下降[4]，氮素是影響香蕉植株生長的重要元素之一。因此，對香蕉植株缺氮葉片的檢測識別，可初步判斷植株的生長狀況，有利于在香蕉缺氮早期及時(shí)采取相應(yīng)措施。

多光譜圖像在農(nóng)業(yè)中已得到廣泛應(yīng)用。LUXON等[5]利用多光譜遙感圖像，評估南非Limpopo 省Venda-Gazankulu 地區(qū)的灌溉農(nóng)業(yè)的地下水使用情況，有助于優(yōu)化地下水管理以及提供干旱地區(qū)在缺水時(shí)的恢復(fù)速度。XIAYAO 等[6]利用無人機(jī)搭載多光譜傳感器，測量小麥的葉面積指數(shù)，建立葉面積指數(shù)模型的相對均方根誤差（RRMSE）為24%，為優(yōu)化氮肥提供潛在的技術(shù)支持。OSCAR 等[7]將RGB圖像與多光譜圖像融合，分析稻田內(nèi)的標(biāo)準(zhǔn)化綠色紅差指數(shù)（NGRDI），并用二階Haar 波變換的方法對稻田內(nèi)的雜草進(jìn)行檢測。HECTOR 等[8]使用多光譜和RGB 圖像，通過計(jì)算植被指數(shù)、植物密度、樹冠覆蓋率的方法，利用神經(jīng)網(wǎng)絡(luò)對玉米谷物的產(chǎn)量進(jìn)行預(yù)估，模型估計(jì)的產(chǎn)量與實(shí)際觀測得到的產(chǎn)量數(shù)據(jù)具有較高的相關(guān)系數(shù)，可用于玉米種植規(guī)劃。

深度學(xué)習(xí)在目標(biāo)檢測、圖像識別上比傳統(tǒng)圖像識別技術(shù)有了巨大的進(jìn)步。在農(nóng)作物病害識別上，近年來也有相關(guān)的進(jìn)展。熊方康等[9]基于生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks），對農(nóng)作物的病害葉片進(jìn)行識別分類，提出將現(xiàn)有的數(shù)據(jù)集訓(xùn)練GAN 模型，再利用該模型生成數(shù)據(jù)集進(jìn)行識別，使模型具有很強(qiáng)的通用性。樊湘鵬等[10]針對田間環(huán)境復(fù)雜的問題，提出基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)對復(fù)雜背景下的玉米病害進(jìn)行識別，比未優(yōu)化的網(wǎng)絡(luò)識別精度提高了9.02%。MOHIT 等[11]利用VGG16 網(wǎng)絡(luò)模型在包含39 種不同農(nóng)作物的數(shù)據(jù)集中，識別10 種番茄的病害，最佳準(zhǔn)確性達(dá)到93.5%。SALEEM 等[12]基于區(qū)域的快速卷積神經(jīng)網(wǎng)絡(luò)（Faster Region-based Convolutional Neural Network）對26 種不同類型的病害葉片以及12 種健康葉片進(jìn)行識別，經(jīng)過Adam 優(yōu)化器訓(xùn)練的SSD 模型得出73.07%的最高平均精度，所產(chǎn)生的權(quán)重可以重新用于受控或非受控環(huán)境中的植物病害實(shí)時(shí)檢測。深度學(xué)習(xí)在病害檢測方面具有良好的表現(xiàn)效果。WU 等[13]為解決蘋果樹自動疏花問題，基于YOLO v4 算法進(jìn)行改進(jìn)，對蘋果樹的花蕊進(jìn)行識別，識別準(zhǔn)確率為97.31%。

為分析深度學(xué)習(xí)算法借助多光譜圖像對香蕉植株缺氮葉片識別的可行性，本文以健康蕉葉與缺氮蕉葉為研究對象，利用RGB 相機(jī)與多光譜相機(jī)獲取兩種葉片在田間光照充足以及陰天環(huán)境下的圖像數(shù)據(jù)，利用多個(gè)目標(biāo)檢測網(wǎng)絡(luò)對比評估兩種圖像的識別效果。

1 材料與方法

1.1 敏感波段預(yù)試驗(yàn)

研究區(qū)域位于廣東省廣州市岑村，該香蕉林內(nèi)的部分香蕉植株缺少氮素，導(dǎo)致葉片泛黃、干枯以及植株莖葉矮小，如圖1 所示。根據(jù)研究區(qū)域香蕉植株的生長情況，對部分健康蕉葉以及缺少氮素的蕉葉裁剪并進(jìn)行光譜波段分析。其中，缺少氮素的葉分為3類，分別是從綠葉過渡至黃葉期間的綠黃色葉片、泛黃色葉片以及邊緣已經(jīng)干枯的褐色葉片。

圖1 香蕉植株缺氮生長情況Fig.1 Growth of banana under nitrogen deficiency

采用四川雙利合譜公司生產(chǎn)的GaiaSky-mini 高光譜儀，在暗箱環(huán)境下對健康葉片以及缺乏氮素的3類葉片進(jìn)行光譜數(shù)據(jù)采集。暗箱內(nèi)的采集樣本如圖2所示。

圖2 暗箱下高光譜數(shù)據(jù)獲取Fig.2 Hyperspectral data acquisition under dark box

采集高光譜數(shù)據(jù)后，使用ENVI5.3 軟件在高光譜圖像上根據(jù)4 種分類選取感興趣的區(qū)域ROI（region of interest），對4 種分類所選取的ROI 區(qū)域以均值的方式計(jì)算其平均光譜曲線如圖3a 所示，并把綠黃色葉片、黃色葉片以及褐色葉片的光譜曲線與健康光譜曲線作差并求絕對值，以此獲得不同階段缺氮葉片與健康葉片的光譜差異曲線，如圖3b 所示。

圖3 高光譜曲線Fig.3 Hyperspectral curve

由圖3a 可以看出，藍(lán)色曲線的健康葉片在690 nm 的波段范圍內(nèi)，光譜曲線出現(xiàn)局部最小值，其反射率遠(yuǎn)低于另外3 種異常葉片，之后反射率不斷增加，直至大約740 nm 附近到達(dá)頂峰。綠色曲線為健康綠葉與黃葉過渡間的綠黃色葉片，其曲線樣貌與健康葉片類似，都在690 nm 與740 nm 的波段上有谷底與谷峰，但在500 nm 的波段開始至740 nm 結(jié)束，其反射率要高于健康葉片的光譜曲線，差異在560～690 nm 范圍內(nèi)尤為明顯，其原因?yàn)橄憬吨仓耆鄙俚睾螅~片內(nèi)葉綠素的含量降低，葉綠素含量降低導(dǎo)致葉片對紅光附近波段的吸收能力變?nèi)酰沟迷摲秶浇ǘ蔚姆瓷湓鰪?qiáng)，從而導(dǎo)致560～760 nm 間綠黃色葉片光譜曲線的反射率比健康葉片的反射率要高。因此，可選用該范圍作為特征波段區(qū)分兩種葉片。相較于健康葉片與綠黃色葉片，黃色葉片與褐色葉片的光譜曲線整體呈現(xiàn)為單山峰狀，缺少了690 nm 波段的峰谷，其原因是這兩種葉片的葉綠素含量過少，使得葉片沒有吸收紅光附近波段的能力，進(jìn)而在560～760 nm 波段的光線幾乎全部反射，由此曲線失去了峰谷形狀。

從圖3b 的光譜差異曲線反映了3 種異常葉片與健康葉片在光譜上的差異，從橙色的綠黃葉與健康葉的差異曲線分析得知，差異波段為500～760 nm，最大差值在710 nm 波段附近，但該波段與其它兩種葉片重合，因此，要區(qū)分出綠黃色葉片可選擇630～700 nm 范圍內(nèi)的某個(gè)窄帶波段作為特征值。黃色葉片與褐色葉片與健康葉片的光譜差異曲線基本相同，但褐色葉片在760～1 000 nm 的不可見光波段內(nèi)與健康葉片有區(qū)別，而其它兩種葉片沒有區(qū)別。因此，可嘗試使用不可見光波段內(nèi)的某個(gè)窄帶波段作為特征值，用于區(qū)分健康葉片與缺氮葉片。

1.2 圖像采集與處理

根據(jù)敏感波段預(yù)實(shí)驗(yàn)得出的光譜特征波段范圍，本研究采用美國MAPIR 公司生產(chǎn)的Survey3 多光譜相機(jī)，該相機(jī)拍攝照片的像素分辨率為4 000×3 000，可采集550±20、660±20、850±30 nm 波段的光譜數(shù)據(jù)。RGB 圖片采用深圳鷹眼航拍科技有限公司生產(chǎn)的飛螢8 運(yùn)動相機(jī)，使用索尼IMX17 1/2.3 英寸傳感器，拍攝照片的像素分辨率為4 032×3 024。

數(shù)據(jù)采集時(shí)，為了防止相機(jī)自動曝光的影響，兩款相機(jī)拍攝時(shí)曝光補(bǔ)償均為0，ISO 均設(shè)置為100。篩選出背景干擾較小的圖片用于模型訓(xùn)練，4 種類型的圖片各篩選250 張。數(shù)據(jù)采集結(jié)果如表1 所示。

表1 數(shù)據(jù)采集結(jié)果Tab.1 Data acquisition results

為了解決同一區(qū)域所采集的數(shù)據(jù)比較單一，泛化能力不強(qiáng)等問題，本文采用圖像增強(qiáng)技術(shù)，將加噪聲、調(diào)整圖像亮度、隨機(jī)改變像素點(diǎn)值、平移以及鏡像的方法隨機(jī)組合運(yùn)用在原始圖像上，進(jìn)一步擴(kuò)充圖像數(shù)據(jù)，以此達(dá)到增加訓(xùn)練樣本，減少模型過擬合的目的。最終對每張?jiān)紙D像增強(qiáng)10 倍，使晴天與陰天的RGB 與多光譜圖像樣本數(shù)均達(dá)到2 500 張。

1.3 目標(biāo)檢測算法

目標(biāo)檢測是對輸入圖像中的所有目標(biāo)進(jìn)行分類，并定位其在圖像中的位置和范圍[14]。目標(biāo)檢測方法可以分為兩類，two-stage 和one-stage 目標(biāo)檢測方法。one-stage 的特點(diǎn)是一步到位、速度較快，最典型的算法是YOLO 系列算法。two-stage 的特點(diǎn)是準(zhǔn)確率高，但速度較one-stage 慢，其代表算法有Faster R-CNN。針對不同目標(biāo)檢測算法對同一目標(biāo)的識別率存在差異的問題，本研究采用YOLO v4、Efficientdet 以及Faster R-CNN3 種不同算法做對比研究，用于對比多光譜圖片與RGB 圖片對病害葉片的識別效果。

2 結(jié)果與討論

本文的模型訓(xùn)練配置環(huán)境如下：Windows 10 64 位系統(tǒng)，AMD Ryzen 7 3800X（3.9 GHz）處理器，16 GB 內(nèi)存，Nvidia RTX 2080 顯卡，Python3.6，采用Keras2.1.5 深度學(xué)習(xí)框架（Tensorflow 后端）。RGB 圖片與多光譜圖片的數(shù)據(jù)集按照8∶1∶1 的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集。模型的初始學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)為300 次，各個(gè)模型最終選取其迭代過程中性能最優(yōu)的模型參數(shù)作為對比研究。

2.1 評價(jià)指標(biāo)

為了對比RGB 圖像與多光譜圖像對算法模型檢測模型的影響，本研究采用F1 score 指標(biāo)，對兩種模型的性能進(jìn)行評估。F1 score 被稱為F1 平衡分?jǐn)?shù)，其定義是精確率和召回率的調(diào)和平均分。精確率和召回率的計(jì)算公式如式（1）和式（2）所示，F(xiàn)1 score 的計(jì)算公式如式（3）所示。

式中TP為被正確分類的正樣本數(shù)量，個(gè)；FP為被錯誤分類的正樣本數(shù)量，個(gè)；FN為被錯誤分類的負(fù)樣本數(shù)量，個(gè)。

2.2 RGB模型與多光譜模型性能對比

對比表2 和表3 的模型性能結(jié)果可以看出，同一光照環(huán)境下，3 種算法對病害葉片的檢測性能大小分別為YOLO v4 >Efficientdet >Faster-RCNN。不管在光照強(qiáng)烈的環(huán)境，還是陰天環(huán)境下，同一種算法使用多光譜圖片訓(xùn)練的模型性能，均比使用RGB 圖片訓(xùn)練的模型性能更佳。對比不同光照條件下同一算法的識別效果可以看出，3 種算法使用陰天環(huán)境下拍攝數(shù)據(jù)所訓(xùn)練的模型性能，均比使用光照強(qiáng)烈環(huán)境下拍攝數(shù)據(jù)所訓(xùn)練的模型性能更好，根據(jù)算法的不同，其F1 score 的差距為7%～14%，其中最大差距為多光譜圖片使用Faster-RCNN 算法對比，差距為13.89%，最小差距為多光譜圖片使用Efficientdet算法對比，差距為7.46%，說明不同光照下采集的RGB 圖片以及多光譜圖片，對模型的性能有重要影響。

表2 光照強(qiáng)烈環(huán)境Tab.2 Strong light environment

表3 陰天環(huán)境Tab.3 Cloudy environment

2.3 不同光照環(huán)境下RGB和多光譜圖片的成像效果分析

為了確定光照對RGB 以及多光譜圖片的成像影響，使用統(tǒng)計(jì)曲線圖分別對光照強(qiáng)烈環(huán)境下順光拍攝和逆光拍攝，以及陰天下的RGB、多光譜圖片各個(gè)波段的像素值分布進(jìn)行分析。使用Photoshop 軟件提取目標(biāo)作物，并統(tǒng)一使用白色背景代替。得到目標(biāo)作物的提取圖后，利用Python 編程軟件分別繪制陰天環(huán)境、光照強(qiáng)烈環(huán)境下逆光、光照環(huán)境下順光的RGB 和多光譜提取圖的統(tǒng)計(jì)曲線圖。其中，每幅曲線圖均使用10 張不同作物提取圖的數(shù)據(jù)取均值，以降低不同照片的拍攝誤差。由于白色背景與分析無關(guān)，因此其像素值的數(shù)據(jù)已在程序中去除。各種條件下的原圖、作物提取圖以及平均統(tǒng)計(jì)曲線圖效果如圖4 所示。

圖4 不同環(huán)境下的原圖、作物提取圖、平均統(tǒng)計(jì)曲線圖Fig.4 Original image,crop extraction image and average statistical histogram in different environments

統(tǒng)計(jì)曲線圖的橫坐標(biāo)為像素值，范圍在0～255，其中255 為白色背景，在程序中將其去除?？v坐標(biāo)為像素值在各個(gè)圖層中所包含的數(shù)量。

分析圖4a 和圖4b，在陰天環(huán)境下，多光譜圖片統(tǒng)計(jì)曲線圖內(nèi)3 種波段的曲線呈尖峰狀，且?guī)挶容^窄，550 nm 的曲線帶寬在70～110 nm 范圍、660 nm的曲線帶寬在80 nm～110 nm 范圍、850 nm 的曲線帶寬在115～140 nm 范圍。表明多光譜圖片的像素值分布更加集中，而且像素值大量位于中間，說明多光譜圖片在陰天拍攝的作物明暗度適中。RGB 圖片的像素值分布比較分散，而且紅色和藍(lán)色波段曲線的波峰偏左，說明這兩種波段記錄的像素值偏低，其原因?yàn)镽GB 圖片的紅色、藍(lán)色波段不是敏感波段，綠色波段較為敏感，但RGB 相機(jī)沒有窄帶濾光，導(dǎo)致綠色波段的帶寬較寬，而擁有窄帶濾光的多光譜相機(jī)拍攝的多光譜圖片，其3 個(gè)波段的統(tǒng)計(jì)曲線圖峰值更大，帶寬較窄，說明像素分布更加集中，沒有向高像素值或低像素值發(fā)散，使圖片的整體明暗更均勻，易于分辨正常葉片與缺氮。因此在陰天環(huán)境下算法使用多光譜圖片對目標(biāo)的識別效果比RGB圖片要好。

圖4c 和圖4d 是光照強(qiáng)烈的環(huán)境下對RGB 圖片和多光譜圖片拍攝逆光作物的直方圖。對比圖4c 和圖4a 可以看出，RGB 圖片逆光下的曲線圖和陰天下的曲線圖十分相似，只是紅色波段在105 nm 附近出現(xiàn)了小尖峰，是強(qiáng)光下個(gè)別部位反光所造成。但多光譜圖片的3 個(gè)波段明顯比圖4b 圖靠左，說明3 個(gè)波段所捕獲的像素值偏小，作物整體亮度較暗，從圖4d 的多光譜原圖中可以看出來。因此，在光照強(qiáng)烈且拍攝作物逆光的情況下，算法對RGB 圖片的識別效果優(yōu)于多光譜圖片。

從圖4e 可以看出曲線比圖4a 和圖4c 整體靠右，說明順光下RGB 圖片的亮度比陰天和逆光時(shí)要高，而且在統(tǒng)計(jì)曲線圖180～240 像素值的位置，紅色波段和綠色波段出現(xiàn)尖峰，說明目標(biāo)作物的部分位置亮度較高，出現(xiàn)過曝光現(xiàn)象，而其余5 張曲線圖都沒有出現(xiàn)過曝現(xiàn)象，說明順光下RGB 相機(jī)比其它5種情況下拍攝的圖片更容易產(chǎn)生過曝現(xiàn)象。圖4f 曲線的波峰帶寬比圖4b 和圖4d 要寬，說明順光下拍攝的多光譜照片像素值分布比陰天分散。

2.4 結(jié)論

對比3 種環(huán)境下的RGB 圖片和多光譜圖片的統(tǒng)計(jì)曲線圖可以看出，多光譜的波峰帶寬無論在陰天還是在光照強(qiáng)烈的環(huán)境下都要比RGB 圖片要窄，這是由于多光譜相機(jī)與RGB 相機(jī)在圖像捕獲原理上的濾光差異造成的。多光譜相機(jī)只能對光的個(gè)別波段實(shí)行窄帶導(dǎo)通，其余絕大部分波段都不能通過，而RGB 相機(jī)則是使用寬帶濾光的方式，大部分光波透過鏡頭被CMOS 傳感器捕獲，只有波長超過760 nm的不可見光部分被濾光片濾除。

多光譜相機(jī)更適合運(yùn)用在無強(qiáng)光影響的環(huán)境下獲取目標(biāo)作物的光譜圖片，而RGB 相機(jī)在逆光的環(huán)境下拍攝目標(biāo)作物優(yōu)于多光譜相機(jī)。這是因?yàn)槟婀馀臄z時(shí)被拍攝的作物位于太陽光源與相機(jī)之間，造成所拍攝圖片的背景亮度比作物更亮，導(dǎo)致作物的曝光不充分致使圖片內(nèi)作物主體的拍攝效果偏暗。加上多光譜相機(jī)光波的導(dǎo)通帶寬十分小，因而出現(xiàn)逆光拍攝時(shí)所捕獲的像素值偏小、作物呈現(xiàn)十分暗淡。但RGB 相機(jī)的截止濾光帶位于不可見光波段，對于可見光范圍內(nèi)的光波是全通透性，因此其在逆光時(shí)拍攝的效果優(yōu)于多光譜相機(jī)。

順光條件下，RGB 與多光譜圖片的像素值分布比陰天更加分散，但多光譜圖片比RGB 圖片集中，而且RGB 圖片內(nèi)作物的部分位置像素值過高，反映其發(fā)生過曝現(xiàn)象，而多光譜圖片則沒有這種情況出現(xiàn)。因而使得順光條件下算法對多光譜圖片的識別效果要好于RGB 圖片。

3 結(jié)語

本文采用3 種目標(biāo)檢測算法，對比RGB 圖像與多光譜圖像在兩種戶外光照條件下對缺氮蕉葉的識別效果，并分析光照因素對兩種圖片的成像影響。試驗(yàn)結(jié)果表明，不管在陰天還是在光照強(qiáng)烈的環(huán)境下，算法使用多光譜圖片的識別效果均優(yōu)于RGB 圖片。但光照強(qiáng)烈的環(huán)境下，逆光拍攝容易讓多光譜圖片上目標(biāo)作物的亮度遠(yuǎn)低于背景亮度，作物整體偏暗使算法難以識別。而順光拍攝的RGB 圖片容易出現(xiàn)過曝光，多光譜圖片則沒有過曝的情況。因而光照強(qiáng)烈的環(huán)境下，兩種算法對兩種圖片的識別效果還要取決于圖片的拍攝時(shí)順光與逆光的情況。接下來，將開展自主補(bǔ)氮施肥的工作，對識別出的缺氮香蕉植株進(jìn)行定位并設(shè)計(jì)機(jī)械自動前往施肥，實(shí)現(xiàn)香蕉種植耕種管收中的自動管理工作。