歐陽愛國,萬啟明,李 雄, 熊智逸,王 舜,廖琪城
華東交通大學機電與車輛工程學院,智能機電裝備創(chuàng)新研究院,江西 南昌 330013
水稻是我國主要的糧食作物之一,種植面積和產(chǎn)量都居世界第一。自20世紀90年代末以來,害蟲抗藥性的形成和全球氣候變化等諸多因素的影響, 水稻螟蟲連年暴發(fā), 對水稻生產(chǎn)構成嚴重威脅[1]。水稻螟蟲俗稱鉆心蟲, 通過水稻螟蟲的幼蟲鉆蛀水稻莖稈,在水稻生長階段造成枯心、在生殖生長階段造成白穗,導致減產(chǎn)。因此對水稻早期的無損檢測,能夠快速、準確的得到水稻的蟲害信息,為水稻蟲害預警和噴灑農(nóng)藥用量提供理論依據(jù)。所以研究快速、準確地實現(xiàn)水稻蟲害的無損檢測對于蟲害及早防控、降低損失具有重要意義。
農(nóng)作物的蟲害檢測主要還是根據(jù)目測來判斷,不僅工作量大,而且不能及時地判斷農(nóng)作物蟲害的破壞程度,有時候甚至為了便于觀察需要用刀割開農(nóng)作物,導致水稻損害而無法生長。高光譜結(jié)合圖像和光譜對蟲害進行無損檢測,國內(nèi)外學者已經(jīng)在這些方面開展了多項研究,也取到了不錯的研究成果[2-6]。王小龍等[7]對高光譜圖像引入主成分分析(principal component analysis,PCA)進行特征降維并使用網(wǎng)格搜索進行參數(shù)尋優(yōu)后,可以提高蟲害識別率,K-近鄰算法和支持向量機算法的識別精度分別達到88.24%和92.16%。劉德華等[8]利用高光譜成像技術對山楂的蟲害區(qū)域進行PCA和區(qū)域生長算法,識別率達到了100%。馬亞楠等[9]利用高光譜圖像提取毛豆豆莢的平均灰度建立的支持向量分類模型檢測內(nèi)部豆莢螟的總精度為95.6%。Wu等[10]應用高光譜成像技術對甘菜菜青蟲幼蟲檢測精度達到96%以上。Guishan等[11]采用近紅外高光譜成像技術基于主成分分析和雙波段比值結(jié)合圖像相減算法開發(fā)檢測算法,能夠區(qū)分蟲蛀棗和完整棗。Wang等[12]利用高光譜圖像反射方法對冬棗的外部蟲害進行了檢測,使得兩類冬棗的總識別率達到了97.0%。Rady等[13]利用漫反射模式下的可見光/近紅外高光譜成像(400~900 nm)技術檢測蘋果蠹蛾,通過決策樹算法能有效檢測蟲害。
水稻螟蟲一般在莖稈內(nèi)部,我們只能利用水稻螟蟲在水稻莖稈表面圖像特征和光譜特征來表征出正常和蟲害水稻莖稈的區(qū)別,且近年來農(nóng)作物內(nèi)部蟲害相關研究較少。相對于其他光譜檢測儀器來說,高光譜成像設備能夠檢測到水稻莖稈的外部圖像信息和內(nèi)部蟲害光譜信息,且檢測相對快速和成本低。以上研究中學者大多是用高光譜成像技術結(jié)合算法模型來檢測蟲害,建立模型比較復雜,工作量大。本工作運用高光譜的最優(yōu)波段和特征波段通過一系列的圖像處理,通過機器視覺的角度來達到快速、精準區(qū)分出蟲害和正常的樣本,為多光譜成像技術在線檢測提供理論和方法依據(jù)。
選取水稻莖稈為實驗對象,從江西農(nóng)業(yè)廳獲得的樣品中挑選水稻螟蟲蛀孔的莖稈60個,蟲孔直徑約為3 mm,圖1為有蛀蟲孔的水稻莖稈, 再挑選正常的水稻莖稈60個,為了控制變量,每個莖稈的長度均為5 cm。由于莖稈關節(jié)和非自病的霉菌與蟲孔的灰度值相近,在我們挑選樣品的時候盡量挑選無霉菌和剪取沒有關節(jié)的水稻莖稈。
圖1 水稻螟蛀孔的水稻莖稈Fig.1 Rice borer holes of rice stem
實驗用的蓋亞(GaiaSOrter)高光譜圖像采集系統(tǒng)如圖2所示。該系統(tǒng)主要包括光源、成像光譜儀、電控位移平臺和計算機等。光源為由穩(wěn)定電壓電源供電的4盞20 W鹵素燈(OSRAM, DECOSTAR51, MR16); 成像光譜儀由CCD攝像機(Hamamatsu C8484-05G)和光譜儀(ImSpector, V10E,F(xiàn)inland)組成; 電控位移平臺由載物臺和步進電動機組成; CCD攝像機通過USB數(shù)據(jù)線連接到圖像采集卡,利用SpectraVIEW軟件控制圖像采集卡來獲取高光譜數(shù)據(jù)。由于圖像的采集易受到自然光的影響,因此整個圖像采集系統(tǒng)安裝在一個暗箱中,以提高采集信息的質(zhì)量。
圖2 高光譜圖像采集系統(tǒng)Fig.2 Hyperspectral image acquisition system
采集數(shù)據(jù)前,需要對采集系統(tǒng)預熱30 min,以消除基線漂移對圖像采集質(zhì)量的影響。同時也要對成像系統(tǒng)的一些參數(shù)進行調(diào)整,以確保圖像清晰并且不失真,經(jīng)過多次嘗試最終確定光譜分辨率為2.8 nm,攝像機曝光時間為6 ms, 分辨率為1 344像素×1 024像素,位移平臺移動速度約為10 mm·s-1。調(diào)整好后,每次在載物臺上放置一個水稻莖稈樣品。在圖像采集過程中,樣本隨著載物平臺做垂直于攝像機的縱向平移,最終完成一個水稻莖稈樣本的采集。所采集的圖像包含特定像素下的光譜信息和特定波長下的圖像信息,每個樣品獲取176個波段的圖像。
1.4.1 黑白板校正
為了避免光源強度在各波段的分布不均勻以及CCD相機中暗電流對圖像采集的影響,必須對所獲得的高光譜圖像進行黑白板校正[14]。全部的樣品圖像采集完成后在相同的系統(tǒng)條件下,首先將鏡頭蓋上掃描一段全黑的圖像B, 并且掃描之后馬上取下鏡頭蓋掃描一段全白的圖像W, 最后根據(jù)式(1)完成圖像的計算。使所采集的原始圖像R0轉(zhuǎn)化為校正后的圖像R。式(1)為
(1)
式(1)中,R表示校正后的水稻莖稈高光譜圖像,R0表示原始的水稻莖稈高光譜圖像,W表示黑板標定圖像,B表示白板標定圖像。
1.4.2 主成分分析
主成分分析是一種去除波段之間多余信息、將多波段的圖像信息壓縮到比原波段更有效的少數(shù)幾個轉(zhuǎn)換波段的方法。算法原理為: 設一個給定的訓練數(shù)據(jù)集含有N個樣本X∈Rn, 其中均值為m。訓練集的協(xié)方差矩陣設為
(2)
式(2)中,Σ的特征值表示樣本在特征矢量上的分布方差。
選擇Σ的s個特征矢量根據(jù)特征值進行排序,降維后的特征子空間表示為Y∈Rs,s遠小于n。
Yk=QTX
(3)
其中Yk={y1k,y2k, …,ysk}。
1.4.3 最佳波段選擇方法
最佳波段選擇方法主要分為兩大類: 基于信息量的最佳波段選擇和基于類間可分性的最佳波段選擇[15]?;谛畔⒘康淖罴巡ǘ芜x擇方法數(shù)據(jù)處理工作量很大,不適合快速檢測。基于類間可分性的最佳波段選擇主要包括Bhattacharyya距離、Jeffries-Matusita距離、混合距離等,其中混合距離用式(4)表示。
(4)
式(4)中:xni和xmi分別為n和m類在i波段上的光譜反射率;P為波段數(shù)。
混合距離越大,兩類對間的可分性越大。且該方法計算簡便,但是并沒有考慮到可見光區(qū)域和近紅外區(qū)域之間的聯(lián)系。因此本研究運用分段混合距離方法,即在可見光區(qū)域和近紅外區(qū)域分別提取波段,然后計算混合距離,從而選擇最佳波段[16]。
1.4.4 閾值分割
閾值分割是最簡單的圖像分割方法,分別運用了全局閾值分割和迭代式閾值分割兩種閾值分割方法。
全局閾值分割將圖像分為目標對象(白色)和背景對象(黑色),其原理為
(5)
式(5)中,g(x,y)為坐標點(x,y)的像素值,u(x,y)為分割后的圖像,T為全局的閾值。
迭代閾值是通過迭代的方法求出最佳的分割閾值。其原理為:
(1)設定初始的閾值T0。
(2)用閾值T來分割圖像??梢詫D像分為兩大部分:S1是由灰度值大于T0的像素組成,S2是由灰度值不大于T0的像素組成。
(3)計算S1和S2中所有像素的平均灰度值m,n和新的閾值T1=(m+n)/2。
(4)如果|T1-T0|=0,則輸出T1為最佳閾值; 否則,將T1賦值給T0,且重復(2)—(4)過程,直到得到最佳閾值。
如果我們對全部光譜進行數(shù)據(jù)分析,會極大的增加工作量,降低工作效率和準確性。因此,必須對全部光譜進行光譜區(qū)域范圍的確定。
在水稻莖稈表面選取50個像素點的感興趣區(qū)域(regions of interest,ROI)平均光譜作為該水稻莖稈的光譜曲線,120個樣品光譜反射率曲線如圖3所示所示。380~1 020 nm波長范圍內(nèi)一共有176個波段,水稻莖稈正常部分和水稻莖稈蟲害部分反射率有明顯的差異,水稻莖稈正常部分的反射率明顯高于水稻莖稈蟲害部分的反射率,且反射率差異有逐漸減小的趨勢,水稻莖稈正常部分平均光譜曲線峰值在0.65左右,水稻莖稈蟲害部分平均光譜曲線峰值在0.45左右。光譜范圍在380~450 nm之間和1 000~1 020 nm,蟲害水稻莖稈和正常的水稻莖稈平均光譜曲線差距很小,很難分辨出來。在以后的研究中,我們選取450~1 000 nm作為光譜區(qū)域。
圖3 120個樣品光譜反射率曲線Fig.3 Spectral reflectance curves of 120 samples
2.2.1 特征波段的選取
由于高光譜圖像信息量十分豐富,要從成百上千的圖像信息中找到能反映出蟲害水稻莖稈的特征圖像是很繁瑣的[17]。利用主成分分析化學計量學方法對高光譜數(shù)據(jù)進行處理,能篩選出特征波段。挑選前五個主成分圖像, 如圖4所示。其中PC2和PC5莖稈和背景很難區(qū)分開來,PC4的蟲孔區(qū)域比較黑不容易辨認,而PC3和PC1相比,PC3更佳。因此PC3更適合作為找到最佳特征圖像的依據(jù)。
圖4 前五個主成分圖像Fig.4 The first five PC images
為了得到最佳的特征圖像,需要根據(jù)PC3圖像的特征向量進行光譜的曲線權重系數(shù)的圖像的繪制。如圖5所示為PC3圖像下的156個波長點所對應的權重系數(shù)圖。黑色實線表示正常的水稻莖稈樣品,紅色虛線表示為蟲害的水稻莖稈樣品,從兩條權重系數(shù)曲線中可以看出,正常樣品和蟲害樣品在波谷750 nm左右處存在較大的差異,且在波長668.8 nm處也有個差異很明顯的波谷,表明這兩個波長對PC3圖像的影響較大,因而確定在波長668.8和750 nm的圖像就是最佳特征圖像, 如圖6所示。
圖5 PC3光譜權重系數(shù)Fig.5 PC3 spectral weight coefficient
圖6 668.8和750 nm處的RGB圖像Fig.6 RGB images at 668.8 and 750 nm
2.2.2 基于主成分分析特征波段的水稻螟蟲檢測方法
在ENVI 4.5軟件中對668.8和750 nm特征波長獲取其對應的光譜圖像并且保存圖像。在圖8中可以看出在650 nm處正常莖稈、蟲害莖稈和背景的反射率區(qū)別最大,所以把650 nm波長處的圖像建立掩膜圖像。利用Matlab對獲取的特征圖像進行圖像銳化和對650 nm波長處的圖像二值化掩膜,然后用650 nm掩膜后的圖像再對668.8和750 nm兩特征波長的圖像進行掩膜,最后對兩特征波長掩膜后的圖像進行全局閾值分割(閾值T=17)等其他圖像算法的處理,最后計算出每一個待測水稻莖稈樣品的蟲孔率(蟲孔區(qū)域面積與全部水稻莖稈面積的比值)。本實驗中利用蟲孔率來判斷待測樣品是否蟲害,其判斷標準為: 計算每一個未知待測樣品蟲孔率,若蟲孔率大于0,則認為水稻莖稈有蟲害,因此判定為蟲害樣品。同理,當蟲孔率等于0的時候,則表明待測樣品表面沒有蟲害,判定為正常樣品。基于主成分分析特征波段水稻螟蟲害檢測流程圖,如圖7所示。
圖7 基于主成分分析特征波段水稻螟蟲害檢測流程圖Fig.7 Flow chart of pest detection of rice borer based on principal component analysis characteristic band
2.3.1 水稻螟蟲高光譜圖像最優(yōu)波段選擇
在圖8光譜反射率曲線中可以看出,水稻莖稈的正常部位和蟲害部位的反射率有明顯的差異,水稻莖稈在可見光波段550~750 nm范圍內(nèi)蟲害區(qū)域與正常區(qū)域反射率差異較大。這是由于蟲孔區(qū)域的莖稈的組織已缺失一部分,葉綠素含量的降低導致反射率變低,且550 nm附近有葉綠素的強反射峰值[16]。在近紅外波段750~900 nm范圍內(nèi),水稻莖稈蟲害區(qū)域與正常區(qū)域反射率差異較大。這是由于正常水稻秸稈的細胞壁和細胞空隙間折射率有差異,引起多重反射導致高反射率,而蟲孔區(qū)域細胞組織都已壞死導致反射率較低[16]。為了減小光譜間的相關性的影響,所以在整個波段范圍內(nèi)劃分為兩個區(qū)域,550~750 nm區(qū)域為可見光光譜區(qū)域和750~900 nm區(qū)域為近紅外光譜區(qū)域。在550~750 nm波長范圍內(nèi)選擇一個波段,在750~900 nm波長范圍內(nèi)選擇一個波段,按照式(4)計算出混合距離進行大小比較。從中選擇兩個最大的,來確定最佳波段。通過比較可知,在波段550~750 nm范圍內(nèi),689.9 nm混合距離是最大的; 在750~900 nm范圍內(nèi),753.5 nm的混合距離是最大的。因為要考慮減少組合波段之間光譜波段的相關性,因此選取了三個波長來組合(表1)。
表1 混合距離組合結(jié)果Table 1 Results of hybrid-distance combinations
圖8 單個樣品高光譜反射率曲線Fig.8 Hyperspectral reflectance curves of a single sample
2.3.2 基于迭代閾值的最優(yōu)波段水稻螟蟲檢測方法
分別對單波段682.9,689.9和753.5 nm和雙波段689.9與753.5 nm,682.9與753.5 nm的波段比的一種基于迭代閾值進行閾值分割的蟲孔的提取方法,以此來檢測水稻螟蟲孔區(qū)域。
其中先用迭代法檢測分割出來的效果,比較發(fā)現(xiàn)在753.5 nm處的圖像分割效果最好,如圖9所示。
圖9 最優(yōu)波段的迭代閾值分割圖像Fig.9 Optimal band iteration threshold segmentation image
圖10為在753.5 nm一種基于迭代閾值蟲孔提取圖[18]。首先,輸入753.5 nm的高光譜圖像(a), 然后用迭代方法求取最佳閾值分割的圖像(b)。找出最大白色區(qū)域設為背景, 其他區(qū)域全部設置為蟲孔區(qū)域, 如圖10(c),為了使圖像效果更好對原圖像進行銳化,找出蟲孔的坐標范圍,設置莖稈灰度值基本不變,蟲孔區(qū)域灰度值為0,圖10(d)所示。最后對(d)圖進行一次圖像閾值分割,再對分割的圖像進行腐蝕膨脹處理得到蟲孔的區(qū)域, 如圖10(e)。圖11為一種基于迭代閾值蟲孔提取方法的流程圖。其中以(e)圖是否出現(xiàn)白點為檢測結(jié)果的判斷依據(jù)。如果最后分割出白點則為水稻螟蟲莖稈,如果最后不能分割出白點則為正常水稻莖稈。
圖10 基于迭代閾值蟲孔提取的結(jié)果圖Fig.10 The results of wormhole extraction based on iterative threshold
圖11 基于迭代閾值蟲孔提取方法的流程圖Fig.11 Flow chart of wormhole extraction method based on iterative threshold
由表2可知,蟲害樣品和正常樣品共計120個,其中蟲害樣品有60個,正常樣品有60個。用668.8 nm處的特征圖像進行定性判別,蟲害的莖稈誤判數(shù)為0,檢測正確率為100%; 正常莖稈誤判數(shù)為5個,檢測正確率為91.7%。750 nm處特征圖像對樣品進行定性判別,蟲害的莖稈誤判數(shù)為0,檢測正確率為100%; 正常莖稈誤判數(shù)為8個,檢測正確率為86.7%。用668.8 nm處圖像的全部檢測正確率為95.8%,而用750 nm的全部檢測正確率為93.3%,因此基于PCA特征波段檢測用668.8 nm的圖像對莖稈進行判別效果更好; 而利用753.5 nm處的圖像用迭代閾值蟲孔提取方法,蟲害的莖稈數(shù)誤判數(shù)為0,檢測正確率為100%; 在753.5 nm中正常莖稈誤判數(shù)為4個,檢測正確率為93.3%,最終得到的全部檢測正確率為96.7%。所以在實際判定的分選過程中只需要用最優(yōu)波長753.5 nm處的圖像來對未知的水稻莖稈樣品進行定性判別。
表2 兩種檢測方法檢測結(jié)果Table 2 Results obtained by two detection methods
利用高光譜成像系統(tǒng)采集的水稻螟蟲水稻莖稈和正常水稻莖稈的高光譜圖像,運用基于主成分分析特征波長檢測方法和基于迭代閾值的最優(yōu)波長檢測方法并分別結(jié)合相應的圖像處理方法對高光譜樣品圖像進行定性判別。通過主成分分析預處理得到兩個特征波長(668.8和750 nm),通過分段混合距離方法得到最優(yōu)波長753.5 nm, 并用此特征波長和最優(yōu)波段對正常和蟲害的水稻莖稈進行判別。檢測結(jié)果顯示,在基于主成分分析特征波段檢測方法下,668.8 nm處的圖像整體檢測率為95.8%,750 nm處的圖像整體檢測率為93.3%; 而在基于迭代閾值的最優(yōu)波段檢測方法下,753.5 nm處的圖像整體檢測率高達96.7%。因此在實際判定的分選過程中只需要用最優(yōu)波長753.5 nm處的圖像來對未知的水稻莖稈樣品進行定性判別。本研究實現(xiàn)了在最優(yōu)波段和特征波段的對比下,通過機器視覺的角度來達到快速、精準區(qū)分出存在水稻螟蟲和正常的水稻莖稈,為多光譜成像技術在線檢測提供理論和方法依據(jù)。
但是對于正在成長的水稻如果水稻螟蟲剛蛀入莖稈一段時間后,隨著水稻的成長而使蛀孔閉合,這樣運用本方法實現(xiàn)不了檢測的目的。因此這種情況下需要我們研究出如何能夠憑著水稻螟蟲對水稻莖稈的表面和內(nèi)部迫害反映的信息來區(qū)分出正常和蟲害的區(qū)別,是以后研究的重點。