張領先,李鑫星
(中國農(nóng)業(yè)大學,北京 100193)
“菜籃子工程”是我國重大的民生工程。蔬菜在種植過程中會受到其他生物的侵害或不適宜環(huán)境的影響而產(chǎn)生病害,造成蔬菜品質(zhì)下降和產(chǎn)量減損,直接影響效益??刂婆c解決蔬菜病害問題的關鍵在于如何對蔬菜病害發(fā)生進行早期識別診斷與預警,尤其是對蔬菜病害的誘導環(huán)境因素進行全面監(jiān)測、合理干預和有效調(diào)控。針對目前蔬菜生產(chǎn)過程中存在的病害誘導環(huán)境難于控制、識別診斷不及時、危害嚴重等問題,項目組重點系統(tǒng)地研究了蔬菜病害產(chǎn)生機理、表現(xiàn)特征以及與環(huán)境因素的相關性,開展了基于物聯(lián)網(wǎng)的蔬菜環(huán)境信息監(jiān)測與控制、基于視頻特征的蔬菜病害實時監(jiān)測與預警、基于葉面圖像特征的蔬菜病害遠程診斷等主動信息服務技術(shù)的研究?,F(xiàn)將技術(shù)的研究原理與應用介紹如下。
通過系統(tǒng)分析蔬菜病害與環(huán)境因素的關系,采用蔬菜環(huán)境信息監(jiān)測指標與基于視頻的蔬菜病害監(jiān)測相結(jié)合的方法,對溫室傳感器及攝像頭的設備參數(shù)、布設和采集方案進行設計,建立蔬菜環(huán)境視頻監(jiān)測系統(tǒng),科學準確地獲取溫室環(huán)境信息,實現(xiàn)了面向病害診斷的蔬菜溫室環(huán)境的全面智能感知。
影響蔬菜自身生長發(fā)育及病害發(fā)生的環(huán)境因素有多種,項目從病害發(fā)生和生長發(fā)育兩個方面系統(tǒng)地、針對性地分析蔬菜生產(chǎn)的影響因素,總結(jié)歸納了6種對蔬菜生產(chǎn)影響較大的環(huán)境信息指標,即空氣溫濕度、土壤溫濕度、二氧化碳濃度、光照強度,并對生產(chǎn)過程進行視頻監(jiān)測[1]。
針對蔬菜主要的生長特點,提出了蔬菜環(huán)境信息采集方案(包括3個部分:采集方式的選取、采集設備的選取、采集設備的布設方案)[1]。其中,采集方式選取以6種環(huán)境信息監(jiān)測指標為采集對象;采集設備選取的基本原則是要適合于溫室和蔬菜的生長;針對項目所研究的幾種常見蔬菜(包括芹菜、菠菜、生菜、油菜)以及常見溫室的規(guī)格標準設計采集設備(6種傳感器及2種攝像頭)布設方案,如圖1、2所示。
圖1 溫室豎直方向傳感器布設示意圖
圖2 溫室水平方向傳感器布設示意圖
蔬菜生產(chǎn)環(huán)境數(shù)據(jù)的采集為10 min取一次數(shù)據(jù),對同類型多傳感器則利用基于均值的遞推融合算法進行數(shù)據(jù)融合;構(gòu)建了基于模糊推理與案例檢索的監(jiān)測視頻采集方法,計算傳感器采集的環(huán)境條件指標組合與知識庫中病害產(chǎn)生的環(huán)境條件的相似度(公式1),只要相似度達到0.7以上,即使沒能與案例完全匹配,也可輸出結(jié)果[2]。
式中,A為知識庫中的蔬菜病害案例;A*為傳感器采集的環(huán)境條件組合;S(A,A*)為二者的相似度,其含義為在A*環(huán)境條件下,蔬菜病害案例A的發(fā)病概率;在相似度計算中,wk表示傳感器采集的環(huán)境條件組合中第k個環(huán)境條件的權(quán)重,Wk為第k個環(huán)境條件在知識庫案例中所占的權(quán)重。
針對蔬菜的病害發(fā)生與不良環(huán)境、病原生物的三角關系,以蔬菜病害產(chǎn)生的環(huán)境機理為理論基礎,通過物聯(lián)網(wǎng)無線監(jiān)測系統(tǒng)來采集環(huán)境數(shù)據(jù),并以支持向量機為核心算法來構(gòu)建分級預警模型,實現(xiàn)蔬菜的環(huán)境實時監(jiān)測并達到對不同病原分級預警的目的[1]。
蔬菜生理病害發(fā)生與不良環(huán)境和病原生物的侵染有關,只有病原生物、寄主植物和一定的環(huán)境條件三者相互配合才能引起病害,即所謂的“病害三角”(Disease Triangle),三者相互依存,其中任何一個因素的變化,均會影響其他兩個因素(圖3)。蔬菜病害多由病毒、細菌、真菌等病原物侵染引起,環(huán)境是連接病原生物與寄主植物的一條紐帶,對植物病害的發(fā)生起著關鍵性的作用。通過建立環(huán)境因素與蔬菜病害的關系模型并實現(xiàn)及時預警,可以顯著地預防并降低蔬菜的發(fā)病率,保障蔬菜的健康生長。
圖3 病害三角關系
蔬菜病害預警采用分級預警的方式,以支持向量機為核心算法來構(gòu)建預警模型,使預警更加及時、可靠、有效,解決以往預警時效性差的問題。該預警方法能夠?qū)崿F(xiàn)對未來環(huán)境數(shù)據(jù)的預測,及時指導農(nóng)戶做好防控工作,預測準確度為91.07%~95.35%。
2.2.1 分級預警
根據(jù)病原入侵蔬菜時間的長短,分別采用即時預警、積時預警和短期預警相結(jié)合的三級預警方法(圖4)。對于病毒這種侵染速度極快的病原物,采用即時預警,當環(huán)境條件處于適宜病原入侵的環(huán)境閾值范圍內(nèi)時,立即進行預警;真菌侵染蔬菜時,真菌孢子需要萌發(fā)并長出芽管才能完成侵染,故對真菌引起的病害采用積時預警,連續(xù)監(jiān)測3 h之內(nèi)的環(huán)境變化,若在持續(xù)的時間內(nèi),環(huán)境變化范圍均處于適宜病原入侵的環(huán)境閾值范圍內(nèi),則進行預警;對于沒有具體侵染時間的病害,以其潛育期的時間作為預警的時限,潛育期一般3~15 d不等,對此采用短期預警方法來完成預警。
圖4 分級預警方式
2.2.2 基于支持向量機的預警模型
支持向量機具有較強的逼近能力和泛化能力,有較好的魯棒性。采用以徑向基函數(shù)為核函數(shù)的支持向量機預測模型,有效提高了預測準確率。支持向量機的分類函數(shù)為:
其中,α*i>為支持向量,b*為分類閾值,n為訓練樣本總數(shù),yi∈{+1,?1},K(xi·x)為核函數(shù),選擇徑向基函數(shù)作為核函數(shù),其公式如下:
x為訓練樣本中的輸入向量,xi為中心點,σ為函數(shù)的寬度參數(shù)。
采用融合視覺顯著性與在線聚類的算法對監(jiān)控視頻進行分析處理,獲取具有病害病癥的蔬菜監(jiān)測視頻關鍵幀。針對蔬菜監(jiān)測視頻的特點,修改了傳統(tǒng)的IG顯著性計算方法生成幀圖像視覺顯著圖,并利用在線聚類和像素幀平均的方法,實現(xiàn)監(jiān)控視頻的關鍵幀病癥圖像特征提取[3-5]。
通過蔬菜環(huán)境信息采集與監(jiān)測系統(tǒng)采集的視頻數(shù)據(jù)是一段視頻幀序列,研究只需要提取其中最能夠描述視頻內(nèi)容的關鍵幀,并進行后續(xù)處理即可。
因為HSV圖像對光照變化不敏感,可在一定程度上減弱由于光照變化對目標分割產(chǎn)生的影響,因此項目將視頻幀圖像轉(zhuǎn)換為HSV圖像。蔬菜常見病害發(fā)生在葉片部位,因此在提取關鍵幀時,只需計算圖像幀中葉片范圍內(nèi)所包含的信息,利用葉片范圍的圖像信息提取關鍵幀。
在像素幀平均算法的基礎上,提出了融合視覺顯著性的改進像素幀平均算法,進行蔬菜監(jiān)測視頻關鍵幀提取:根據(jù)圖像H分量和S分量顏色信息生成視覺顯著圖,提取視頻幀圖像的顯著性區(qū)域,即葉片區(qū)域;獲取的葉片區(qū)域如果含有病斑,則病斑區(qū)域很可能誤作為背景,因此需要對顯著性區(qū)域圖像進行處理,修復丟失的病斑信息;在獲取圖像的葉片區(qū)域后,采用在線聚類的方法對顯著性區(qū)域進行聚類,利用像素幀平均的方法從每一類中提取關鍵幀圖像。在進行視覺顯著圖計算前,首先進行幀間差異度量(圖5),識別攝像頭的運動狀態(tài),消除具有相同特征的視頻幀圖像的影響,提高算法的效率。
圖5 基于X2直方圖的幀間差異度量
以油菜為例,結(jié)合蔬菜監(jiān)測視頻的特點,針對Achanta.R等提出的IG算法改為HSV顏色空間,利用H和S分量構(gòu)建視覺顯著圖(圖6),其數(shù)學模型如下:
其中,IH和IS分別表示[H]T向量和[S]T向量,IH(x,y),IS(x,y)表示圖像HSV顏色模型的H和S通道經(jīng)過高斯濾波后的對應值。為歐氏距離,a>0,b≤1為2個待定參數(shù),決定H和S分量在顯著圖計算中所占的比例。
項目采用在線聚類方法來提取關鍵幀,一旦幀圖像的顯著性區(qū)域計算完成,將直接進入在線聚類的流程,而不需要等所有的幀圖像顯著性區(qū)域計算完成。利用像素幀平均方法從每一個聚類中提取關鍵幀圖像。假設顯著性區(qū)域SRi內(nèi)含有M×N個像素點,其坐標為(Xp,Yq),p=1,2,3…M,q=1,2,3…N,則顯著性區(qū)域像素平均值的計算公式為:
其中,A(Li)為第i幀圖像顯著性區(qū)域SRi像素平均值,f(Xp,Yq)為點(Xp,Yq)處的灰度值。n幀圖像的顯著性區(qū)域像素平均值的平均值,即標準值計算公式為:
計算每一幀圖像顯著性區(qū)域像素平均值A(Li)與標準值之間的差值,其計算公式為:
當Di取最小值時,則第i幀即為該視頻片段的關鍵幀。
圖6 基于視覺顯著性的圖像分割結(jié)果
選擇圖像的顏色與紋理特征作為葉面病害識別的病癥圖像信息特征,顏色特征選取了HSV模型的H分量,其高對比輸出可明顯區(qū)分葉面病斑圖像,紋理特征選擇灰度共生矩陣,計算出對應的特征值,通過核FISHER判別完成病害識別診斷過程。結(jié)合蔬菜病害知識庫,有效提高蔬菜病害診斷的準確率。
首先將病害圖像從RGB模型轉(zhuǎn)換為機器視覺更易識別的HSV模型。轉(zhuǎn)化所獲得顯示目標圖像的H分量圖。所獲得的分量圖可對圖像的病癥信息清楚地描述。隨后通過高斯濾波對圖像進行降噪處理。高斯濾波降噪的過程包括對整幅圖像進行加權(quán)平均,每一個像素點的值都由其本身和鄰域內(nèi)的其他像素值經(jīng)過加權(quán)平均后得到??梢杂靡粋€模板(或稱卷積、掩模)掃描圖像中的每一個像素,用模板確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代模板中心像素點的值,從而達到降低圖像噪聲的效果。對降噪后的病害圖像H分量圖采用統(tǒng)計型紋理特征提取模型——灰度共生矩陣進行紋理特征提取[6-8]。
依據(jù)紋理特征值的相關性,將選擇的圖像紋理特征值輸入判定函數(shù)進行參數(shù)計算。對于基于核函數(shù)的FISHER判別方法,分界閾值點的計算公式為:
其中,為投影后的各類別均值。根據(jù)判別函數(shù)與閾值點進行決策分類,病癥具體特征化值根據(jù)蔬菜葉面病害知識庫中的病害知識獲得,包括每種病害的病斑顏色、形狀、大小、特征以及病害發(fā)生蔓延方式的情況[9]。
與中農(nóng)富通公司展開設施農(nóng)業(yè)智能監(jiān)測與控制研究,在其通州基地(北京國際都市農(nóng)業(yè)科技園)選取3個日光溫室和1個連棟溫室進行設備布設和相關研究實驗,構(gòu)建出設施農(nóng)業(yè)智能監(jiān)測與控制平臺。開發(fā)了設施蔬菜環(huán)境監(jiān)測與自動控制平臺的電腦和手機客戶端(圖7),設計了智能監(jiān)測、短信報警、遠程控制、歷史數(shù)據(jù)和系統(tǒng)管理五大模塊,利用互聯(lián)網(wǎng)可以實現(xiàn)對CO2濃度、光照、溫度、濕度等環(huán)境參數(shù)信息的遠程獲取及卷簾機、通風機等設備的操控,實現(xiàn)設施蔬菜栽培管理自動化。同時,初步實現(xiàn)了設施葉類蔬菜生長環(huán)境及視頻圖像的實時監(jiān)測,實現(xiàn)了基于環(huán)境信息的蔬菜病害早期預警、基于視頻監(jiān)測的蔬菜病害實時診斷與基于彩信的蔬菜病害遠程診斷(圖8)。
圖7 設施葉類蔬菜環(huán)境監(jiān)測與控制平臺界面(手機版)
圖8 基于彩信的蔬菜病害遠程診斷結(jié)果手機報制作界面
設施蔬菜栽培是我國重要的蔬菜生產(chǎn)形式,對設施蔬菜病害進行早期預警尤為重要?,F(xiàn)有設施蔬菜病害預警方法,存在算法單一、模型時效性準確性不高、通用性差等諸多問題,傳統(tǒng)的蔬菜病害預警大多依靠農(nóng)民經(jīng)驗或?qū)<抑R進行病害預測,由于病原對于設施蔬菜的侵染具有侵染途徑多樣、傳播速度快等特點,傳統(tǒng)預警方法不能滿足準確、及時、快速、有效的預防需求。隨著物聯(lián)網(wǎng)傳感器、電鏡及光譜等技術(shù)的發(fā)展與成熟,為設施蔬菜病害預警提供了更有效的技術(shù)支撐,使得對蔬菜病害進行及時有效且準確率高的預警成為可能,但目前的研究仍存在一些不足。通過傳感器及物聯(lián)網(wǎng)可以精確獲取蔬菜生長環(huán)境數(shù)據(jù),并通過這些數(shù)據(jù)在一定程度上指導蔬菜種植與生產(chǎn),但現(xiàn)有研究對于這些環(huán)境數(shù)據(jù)的利用率仍然不高。電鏡、光譜等技術(shù)發(fā)展迅速,在植物病害識別領域應用較為成熟,但在植物病害預警領域應用較為薄弱。蔬菜病害發(fā)生往往是由多種因素共同影響的結(jié)果,而目前的研究相互孤立,沒有進行綜合分析與處理,在實際生產(chǎn)中并未將蔬菜生長環(huán)境、病原與蔬菜病害發(fā)生情況及流行趨勢行之有效地結(jié)合起來,因此很難做到精確預警。因此,現(xiàn)有設施蔬菜病害預警研究難以做到兼顧時效性和準確性。
綜合應用物聯(lián)網(wǎng)、電子顯微、光譜等技術(shù),并結(jié)合機器學習算法,可有效提高預警時效性和準確性。蔬菜病害預警是一個復雜的過程,快速精準的預警可以為蔬菜的健康生長提供有利的保障。植物病害三角原理闡述了病害發(fā)生與環(huán)境、病原、寄主植物三者間的關系,深入研究“病害三角”,有助于系統(tǒng)掌握蔬菜病害發(fā)生機理,為病害預警研究奠定了理論基礎。如果通過物聯(lián)網(wǎng)傳感器技術(shù)對蔬菜生長環(huán)境信息進行采集,綜合分析環(huán)境與蔬菜病害的關系,可以提高環(huán)境數(shù)據(jù)的利用率;通過病原孢子顯微圖像處理技術(shù),可以輔助完成病害預警,在病害發(fā)生初期或者病害還未發(fā)生的時期,及時獲取蔬菜生長環(huán)境中病原孢子的顯微圖像樣本,以準確掌握病害類型并發(fā)布預警信息,提高預警的精確性,為病害提供更直接有效的防治方法;通過光譜檢測技術(shù),研究病原微生物和蔬菜的相互作用機理,可以提高預警的及時性。
綜上所述,如以物聯(lián)網(wǎng)傳感器、電子顯微及光譜檢測等技術(shù)為支撐,綜合分析環(huán)境數(shù)據(jù)、病原孢子圖像及光譜信息,結(jié)合機器學習算法,構(gòu)建設施蔬菜病害預警模型并進行優(yōu)化驗證,可以有效避免單一預警方式預警結(jié)果不精確而造成的數(shù)據(jù)資源浪費現(xiàn)象,提高預警的時效性和精確度,對于提高我國設施蔬菜產(chǎn)量、質(zhì)量具有重要意義,同時,也為先進信息化技術(shù)在設施農(nóng)業(yè)應用中的探索提供了良好的參考。
[1]王翔宇.設施蔬菜病害環(huán)境監(jiān)測與預警方法研究[D].北京:中國農(nóng)業(yè)大學,2015.
[2]馬浚誠,李鑫星,溫皓杰,等.面向葉類蔬菜病害識別的溫室監(jiān)控視頻采集系統(tǒng)[J].農(nóng)業(yè)機械學報,2015,46(3):82- 87.
[3]馬浚誠.面向葉部病害識別的設施蔬菜監(jiān)控視頻關鍵幀提取方法研究[D].北京:中國農(nóng)業(yè)大學,2016.
[4]MA JC, LI XX, WEN HJ, et al. A Key Frame Extraction Method for processing Greenhouse Vegetables Production Monitoring Video[J]. Computers and Electronics in Agriculture, 2015, 111(1): 92-102.
[5]傅澤田,蘇葉,張領先,等.基于自適應雙閾值的蔬菜病害知識視頻分割方法[J].農(nóng)業(yè)工程學報,2013,29(9):48-155.
[6]毛富煥.于圖像處理的黃瓜葉部病害特征提取及其識別研究[D].北京:中國農(nóng)業(yè)大學,2016.
[7]BAI XB, LI XX, FU ZT, et al. A fuzzy clustering segmentation method based on neighborhood grayscale information for defining cucumber leaf spot disease images[J]. Computers and Electronics in Agriculture,2017,136 :157-165.
[8]馬浚誠,溫皓杰,李鑫星,等.圖像處理的溫室黃瓜霜霉病診斷系統(tǒng)[J]. 農(nóng)業(yè)機械學報, 2017,48(2):195-202.
[9]汪家瑋.基于葉面圖像特征的芹菜病害遠程診斷方法研究[D].北京:中國農(nóng)業(yè)大學,2015.