范世達(dá),馬偉榮,姜文博,張 輝,王金振,李 琦,何鵬博,彭 磊,黃兆波
(1 云南農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院,昆明650201)(2 紅河哈尼族彝族自治州經(jīng)濟(jì)作物技術(shù)推廣站)(3 云南農(nóng)業(yè)大學(xué)植物保護(hù)學(xué)院)(4 云南農(nóng)業(yè)大學(xué)園林園藝學(xué)院)
云南省柑橘產(chǎn)業(yè)發(fā)展迅速,經(jīng)濟(jì)效益日益增長(zhǎng),種植基地的柑橘品質(zhì)和產(chǎn)量穩(wěn)步增長(zhǎng),但柑橘種植過程中病蟲害嚴(yán)重發(fā)生,影響了柑橘產(chǎn)量與品質(zhì)[1]。柑橘黃龍病是柑橘生長(zhǎng)過程中的一種危害極大的病害,染病植株出現(xiàn)長(zhǎng)勢(shì)衰退、產(chǎn)量下降、品質(zhì)降低,嚴(yán)重時(shí)導(dǎo)致植株死亡或停止結(jié)果,染病后除砍伐燒毀外很難根除[2]。柑橘植株感染黃龍病后,通常的病征表現(xiàn)為葉片斑駁黃化、均勻黃化、葉脈木質(zhì)化暴突,果實(shí)出現(xiàn)顏色不均、形態(tài)異常等[3-5]。
基于深度學(xué)習(xí)的柑橘黃龍病遠(yuǎn)程診斷效果Effect of remote diagnosis of Citrus Huanglongbing based on deep learning
目前,針對(duì)柑橘黃龍病的監(jiān)測(cè)與防控仍存在很多問題。果園管理粗放,防控方法不科學(xué),發(fā)現(xiàn)與防控不及時(shí),柑橘種植園占地面積大,種植工作主要依靠人力,大部分果農(nóng)沒有受過專業(yè)培訓(xùn),無法辨別黃龍病,出現(xiàn)染病時(shí)無法及時(shí)采用正確的防控手段;片面追求高產(chǎn)、忽視植株長(zhǎng)勢(shì)、用藥用肥不合理、長(zhǎng)期大量使用化肥嚴(yán)重降低了植株的抗病蟲害能力,且不科學(xué)用藥也無法防治黃龍??;針對(duì)柑橘黃龍病的檢測(cè)方法存在局限性,柑橘黃龍病檢測(cè)方法包括病害田間診斷、指示作物鑒定法、病原顯微鏡觀察法、血清學(xué)鑒別法、DNA-DNA 雜交判別法和PCR 檢測(cè)法等[6-7]。現(xiàn)行的病蟲害檢測(cè)工作主要依靠少數(shù)植保專家和農(nóng)技人員完成,通過人工識(shí)別病害特征具有局限性,降低了識(shí)別的準(zhǔn)確度,所以田間診斷一般為初步判斷;指示作物鑒定法和病原顯微鏡觀察法所需時(shí)間較長(zhǎng),且易出現(xiàn)漏檢;血清學(xué)鑒別法對(duì)不同病菌適應(yīng)性差,且過程復(fù)雜;DNADNA 雜交判別法最為準(zhǔn)確,但檢測(cè)儀器要求較高,成本昂貴;定量PCR 檢測(cè)法是目前使用較為廣泛的方法,但所需時(shí)間較長(zhǎng)、成本較高,缺乏實(shí)時(shí)性[8]。
隨著時(shí)代的發(fā)展,信息化技術(shù)逐漸運(yùn)用于農(nóng)作物病害識(shí)別,科研人員開始將深度學(xué)習(xí)應(yīng)用到病害圖像識(shí)別中,大大提高了病害識(shí)別效率、降低了成本、提高了準(zhǔn)確率、減少了工作量[9]。樊湘鵬等[10]引入?yún)^(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster R-CNN 算法并對(duì)其改進(jìn),以實(shí)現(xiàn)在田間真實(shí)環(huán)境下背景復(fù)雜且具有相似病斑特征的玉米病害的智能診斷?;谏疃葘W(xué)習(xí)的農(nóng)作物病蟲害識(shí)別研究,為柑橘黃龍病快速檢測(cè)提供了重要的研究思路和研究方法。
本文構(gòu)建出一種基于深度學(xué)習(xí)的柑橘黃龍病診斷方法,利用圖像設(shè)備實(shí)時(shí)采集柑橘圖像,并將圖像數(shù)據(jù)通過網(wǎng)絡(luò)上傳至云平臺(tái),使用深度學(xué)習(xí)算法對(duì)柑橘黃龍病進(jìn)行圖像識(shí)別,及時(shí)監(jiān)測(cè)預(yù)警柑橘黃龍病的發(fā)生,為柑橘黃龍病提供智能化快速診斷,從而探尋柑橘黃龍病合理有效的防控手段。
1.1.1 圖像樣本采集
自2016 年起,本研究團(tuán)隊(duì)在云南省開展柑橘黃龍病防治及識(shí)別技術(shù)研究,通過實(shí)地調(diào)研在玉溪市的華寧縣和新平縣、大理市賓川縣、香格里拉市等地的柑橘種植基地中柑橘黃龍病發(fā)生情況,在植保專家指導(dǎo)下針對(duì)患病植株采集葉片,并用分辨率為1 920×1 080 的高清數(shù)碼相機(jī)拍攝葉片建立圖像樣本,將葉片樣本置于統(tǒng)一的黑色背景上,避免陽光直射,便于后期圖像處理與識(shí)別。對(duì)采集到的葉片進(jìn)行黃龍病病菌含量檢測(cè),根據(jù)檢測(cè)結(jié)果將葉片對(duì)應(yīng)的圖像樣本進(jìn)行分類。
在上述4 個(gè)地區(qū)共采集到黃龍病葉片原始圖像樣本318 張,圖像樣本按患病程度分為重度、輕度和無病3 個(gè)等級(jí)(圖版2-A)。患病圖片與文獻(xiàn)[11]中所展示的斑駁和黃化葉片圖片相比較癥狀相似度較差,其原因是云南省種植柑橘歷史悠久,各種植園均有病害防控技術(shù)人員跟蹤指導(dǎo),植株出現(xiàn)明顯病癥后,為防止病害擴(kuò)散,果農(nóng)即將染病癥狀明顯植株砍伐,故采集到的葉片中斑駁黃化、均勻黃化等明顯特征較少。
1.1.2 葉片病菌檢測(cè)與分級(jí)
將采集到的柑橘葉片清理干凈,按照國(guó)標(biāo)要求進(jìn)行黃龍病病菌含量檢測(cè),使用CTAB 方法提取樣本DNA,采用定量PCR 方法分析,檢測(cè)得到柑橘黃龍病病菌拷貝數(shù)(CLas copies)與CT 均值,將采集到的葉片樣本分為健康、輕度患病和重度患病,并按相應(yīng)標(biāo)簽存儲(chǔ)。部分檢測(cè)與分類結(jié)果如表1 所示,其中“-”代表健康,“+”代表輕度患病,“++”代表重度患病。
表1 黃龍病病菌檢測(cè)與分類
1.1.3 圖像樣本預(yù)處理
利用PIL(Python Imaging Library)Python 圖像處理庫(kù)的相關(guān)功能,對(duì)采集到的柑橘圖像樣本進(jìn)行圖像預(yù)處理,使用圖像處理工具將樣本圖像隨機(jī)切割為950 像素×950 像素、750 像素×750像素、550像素×550 像素、400 像素×400 像素等不同像素大小的圖像,最終將尺寸統(tǒng)一為224 像素×224 像素,便于輸入深度學(xué)習(xí)算法進(jìn)行訓(xùn)練,該操作對(duì)樣本數(shù)據(jù)進(jìn)行了增強(qiáng),以6∶2∶2 的比例劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集,并按照健康、輕度患病和重度患病3 類標(biāo)簽分文檔存儲(chǔ)。
1.1.4 深度學(xué)習(xí)網(wǎng)絡(luò)模型構(gòu)建與訓(xùn)練
傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)如 AlexNet、VGG、GoogleNet 以及ResNet 網(wǎng)絡(luò)等缺點(diǎn)明顯,內(nèi)存需求大、運(yùn)算量大,導(dǎo)致其對(duì)硬件設(shè)備的要求較高,故該柑橘黃龍病病害識(shí)別模型采用的深度學(xué)習(xí)網(wǎng)絡(luò)為MobileNet V3,該網(wǎng)絡(luò)是由Google 團(tuán)隊(duì)在2019 年提出的一種輕量級(jí)網(wǎng)絡(luò)[12],模型輕便,計(jì)算延遲小,便于后續(xù)移動(dòng)端的開發(fā)。
模型的構(gòu)建與訓(xùn)練試驗(yàn)是在 Python 3.8、Tensorflow-GPU 2.4 軟件環(huán)境下完成的,硬件環(huán)境中CPU 采用Intel Corei 5-8400,主頻2.8GHz;GPU 采用Nvidia GeForce 1060,6 G 顯存,16 G 內(nèi)存。
首先利用MobileNet V3 網(wǎng)絡(luò)對(duì)Plant Village 數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練,保存好預(yù)訓(xùn)練的參數(shù)權(quán)重,利用遷移學(xué)習(xí)的方法凍結(jié)除最后2 個(gè)卷積層外的所有網(wǎng)絡(luò)結(jié)構(gòu),只訓(xùn)練最后2 個(gè)卷積層,利用此預(yù)訓(xùn)練參數(shù)權(quán)重設(shè)置模型參數(shù),訓(xùn)練采集后經(jīng)過圖像預(yù)處理的柑橘葉片圖像。初始學(xué)習(xí)率為0.000 5 和0.001,迭代次數(shù)設(shè)置為100,批訓(xùn)練樣本數(shù)設(shè)置為16,每次訓(xùn)練時(shí)隨機(jī)分配訓(xùn)練集。
自2016 年開始,本研究團(tuán)隊(duì)于華寧縣亞熱帶水果示范園中先行構(gòu)建了根域灌溉系統(tǒng),并進(jìn)行相關(guān)柑橘水肥藥自動(dòng)實(shí)施相關(guān)試驗(yàn)[13]。在成功構(gòu)建黃龍病病害識(shí)別模型后,為探尋識(shí)別模型的應(yīng)用效果,故2019—2021 年在此基礎(chǔ)上構(gòu)建了基于深度學(xué)習(xí)的柑橘黃龍病識(shí)別系統(tǒng),開始進(jìn)行柑橘黃龍病診斷方法相關(guān)研究田間應(yīng)用試驗(yàn),試驗(yàn)地點(diǎn)位于華寧縣華溪鎮(zhèn)斑茅棵,該地區(qū)為干熱河谷氣候區(qū),種植柑橘品種為2 年生新津蜜柑[14-15],按照水肥實(shí)施分為8 個(gè)不同區(qū)域,共種植1 447 株柑橘樹。
在田間架設(shè)的型號(hào)為CP-ZB22B 的智慧樹智能終端內(nèi)置高清攝像模塊,可實(shí)時(shí)采集分辨率為1 920×1 080 的高清晰度圖片,也可進(jìn)行分辨率為720 P或1 080 P 的高清直播。通過主控制器PLC 自動(dòng)控制其每天按時(shí)打開,設(shè)定每天早、中、晚3 個(gè)時(shí)段自動(dòng)采集柑橘圖像數(shù)據(jù),采集到的數(shù)據(jù)將通過有線網(wǎng)絡(luò)上傳至云平臺(tái),并進(jìn)行存儲(chǔ),便于后續(xù)利用深度學(xué)習(xí)算法識(shí)別訓(xùn)練。利用圖像采集系統(tǒng)實(shí)時(shí)采集柑橘植株生長(zhǎng)情況,將采集到的柑橘葉片圖像進(jìn)行黃龍病識(shí)別,可做到針對(duì)柑橘黃龍病的實(shí)時(shí)檢測(cè),有利于病害早發(fā)現(xiàn)早治療。
設(shè)備架設(shè)區(qū)域位于采果時(shí)發(fā)現(xiàn)的疑似黃龍病患病果樹附近,由于黃龍病患病表現(xiàn)初期由樹冠區(qū)域展現(xiàn)并逐漸向下擴(kuò)散,故設(shè)備架設(shè)在植株較高位置采集圖像。布設(shè)于不同疑似病樹附近的設(shè)備采集到的圖像如圖版2-B 所示。
1.4.1 采樣識(shí)別
柑橘葉片樣本采集自云南省玉溪市華寧縣農(nóng)業(yè)局亞熱帶水果示范園,該種植基地共有1 447 株柑橘樹,依據(jù)根域灌溉系統(tǒng)的水肥藥實(shí)施控制,將其分為8 個(gè)不同區(qū)域,經(jīng)植保專家實(shí)地考察發(fā)現(xiàn),疑似柑橘黃龍病患病植株大多集中于2、7、8 號(hào)灌溉區(qū),故主要在此區(qū)域采集樣本。每個(gè)區(qū)域選取5株間距大于5 m 的柑橘樹,分別在其不同層、不同方向采集葉片樣本,具體分布如表2 所示。
表2 柑橘葉片樣本采集分布情況
在實(shí)驗(yàn)室架設(shè)與基地現(xiàn)場(chǎng)架設(shè)同型號(hào)的CPZB22B 智慧樹智能終端的高清攝像頭采集圖像,重復(fù)1.1.2 葉片病菌檢測(cè)與分級(jí)步驟,獲得試驗(yàn)地柑橘樹黃龍病病菌檢測(cè)結(jié)果(表3)。其中選取的圖像樣本如圖版2-C 所示,按患病程度分為重度、輕度和無病3 個(gè)等級(jí)。
表3 試驗(yàn)地柑橘樹黃龍病病菌檢測(cè)結(jié)果
1.4.2 黃龍病病害遠(yuǎn)程識(shí)別診斷
為初步探尋識(shí)別模型的可行性,利用布設(shè)在試驗(yàn)地不同區(qū)域的智慧樹智能終端,按照表2 設(shè)計(jì)的采集分布實(shí)時(shí)采集葉片樣本圖像,因視角有限,故選取分別位于試驗(yàn)地不同區(qū)域的4 株患病植株架設(shè)采集設(shè)備,針對(duì)4 株植株各進(jìn)行10 次病害診斷,進(jìn)一步驗(yàn)證遠(yuǎn)程識(shí)別效果。
2019—2021 年期間分別進(jìn)行了2 次柑橘葉片樣本采集,共采集到葉片樣本600 片,采集可用的圖像數(shù)據(jù)1 000 張,根據(jù)檢測(cè)到的黃龍病菌拷貝數(shù)將原始樣本分為健康、輕度患病和重度患病3 類,其中健康樣本200 張、輕度患病樣本550 張、重度患病樣本250 張。經(jīng)過圖像隨機(jī)切割等數(shù)據(jù)增強(qiáng)后按6∶2∶2 的比例劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集,劃分結(jié)果如表4 所示。
表4 數(shù)據(jù)集劃分結(jié)果
基于深度學(xué)習(xí)算法的柑橘黃龍病病害識(shí)別訓(xùn)練結(jié)果如下,其中不同學(xué)習(xí)率下的識(shí)別準(zhǔn)確率與損失值變化曲線如圖1 所示。由訓(xùn)練結(jié)果可知,識(shí)別準(zhǔn)確率隨著迭代次數(shù)的增加逐漸升高,在迭代次數(shù)超過20 次之后黃龍病病害識(shí)別準(zhǔn)確率趨于穩(wěn)定,迭代100 次之后學(xué)習(xí)率為0.001 下的準(zhǔn)確率為86.0%,學(xué)習(xí)率為0.000 5 下的準(zhǔn)確率為87.3%,識(shí)別率較高;損失值隨著迭代次數(shù)的增加而減少,在30 次迭代后逐漸趨于穩(wěn)定,損失值基本在0.1 以下,2 種學(xué)習(xí)率下的損失值均較小,說明識(shí)別模型較為穩(wěn)定,可初步實(shí)現(xiàn)病害識(shí)別。
圖1 不同學(xué)習(xí)率下的識(shí)別準(zhǔn)確率和損失值變化
利用布設(shè)在試驗(yàn)地不同區(qū)域的智慧樹智能終端采集到的田間葉片圖像進(jìn)行病害診斷,得到部分結(jié)果如圖版2-D 所示,預(yù)測(cè)結(jié)果分別為健康、健康、輕度患病和重度患病,準(zhǔn)確率分別為74.0%、82.0%、80.1%和78.2%。由以上結(jié)果可以看出,單次識(shí)別準(zhǔn)確率存在差異,為確保試驗(yàn)結(jié)果可靠,應(yīng)針對(duì)多株樹體進(jìn)行多次病害識(shí)別診斷,以平均結(jié)果為準(zhǔn),故針對(duì)4 株植株各進(jìn)行10 次病害診斷,以取得的平均準(zhǔn)確率為準(zhǔn),診斷結(jié)果如表5 所示。經(jīng)過40 次田間遠(yuǎn)程診斷所得的平均準(zhǔn)確率為77.1%,可見實(shí)際使用的準(zhǔn)確率低于模型訓(xùn)練的準(zhǔn)確率,但可以初步實(shí)現(xiàn)柑橘黃龍病田間遠(yuǎn)程診斷。
表5 田間遠(yuǎn)程診斷結(jié)果
通過構(gòu)建柑橘黃龍病病害識(shí)別模型,利用黑色背景下采集的葉片圖像進(jìn)行算法訓(xùn)練試驗(yàn),試驗(yàn)得到算法訓(xùn)練結(jié)果準(zhǔn)確率為87%左右,表明基于深度學(xué)習(xí)柑橘黃龍病識(shí)別模型是穩(wěn)定可用的,可以初步實(shí)現(xiàn)病害識(shí)別診斷。為驗(yàn)證識(shí)別模型的實(shí)際使用效果,在復(fù)雜的田間背景下進(jìn)行遠(yuǎn)程病害診斷試驗(yàn),田間遠(yuǎn)程診斷結(jié)果準(zhǔn)確率為77.1%,遠(yuǎn)程病害識(shí)別準(zhǔn)確率有所下降,但仍能初步達(dá)到柑橘黃龍病遠(yuǎn)程診斷要求??赡茉蛑饕怯糜谟?xùn)練的樣本圖像是在統(tǒng)一背景、光照條件下采集的,受到的干擾因素較小,故訓(xùn)練結(jié)果較優(yōu),可初步實(shí)現(xiàn)針對(duì)柑橘黃龍病的遠(yuǎn)程病害識(shí)別診斷。但進(jìn)行田間遠(yuǎn)程病害診斷時(shí),田間環(huán)境較為復(fù)雜,采集到的圖像樣本干擾因素較多,故識(shí)別準(zhǔn)確率有所下降。其次由于2018—2021 年期間本研究團(tuán)隊(duì)開展了針對(duì)柑橘黃龍病的生物防治研究,采用根域灌溉的方式將藥液施用于柑橘植株,有效降低了黃龍病病菌含量[16],可能導(dǎo)致柑橘黃龍病遠(yuǎn)程識(shí)別結(jié)果受到影響。
由于本文試驗(yàn)屬于初步探究黃龍病遠(yuǎn)程診斷方法的可行性,后續(xù)研究應(yīng)逐步開展更加詳細(xì)的田間遠(yuǎn)程診斷試驗(yàn),優(yōu)化算法結(jié)構(gòu)加強(qiáng)其針對(duì)復(fù)雜背景的抗干擾能力。同時(shí)應(yīng)優(yōu)化田間的圖像采集條件,減少由于光照變化等因素影響圖像質(zhì)量,提高識(shí)別準(zhǔn)確率。
本文初步探尋的一種基于深度學(xué)習(xí)的柑橘黃龍病遠(yuǎn)程診斷方法,突破了傳統(tǒng)柑橘種植過程中針對(duì)黃龍病檢測(cè)不及時(shí)的局限,擺脫了黃龍病識(shí)別需高度專業(yè)化知識(shí)的限制,降低了黃龍病快速檢測(cè)的成本。使用深度學(xué)習(xí)的方法識(shí)別研究柑橘黃龍病,一方面可以提高病害識(shí)別的效率,在柑橘生長(zhǎng)過程中實(shí)時(shí)監(jiān)測(cè)預(yù)警做到早識(shí)別早應(yīng)對(duì),另一方面大大降低了黃龍病檢測(cè)成本。后續(xù)研究與應(yīng)用仍需重視識(shí)別模型的優(yōu)化,針對(duì)病菌含量下降造成的病癥弱化現(xiàn)象強(qiáng)化特征提取能力,提高其大田復(fù)雜背景下的識(shí)別準(zhǔn)確率。