何林飛,朱 煜*,錢(qián)婷婷,汪 妍
(1華東理工大學(xué)信息科學(xué)與工程學(xué)院,上海 200237;2上海市農(nóng)業(yè)科學(xué)院,上海 201403)
植物葉片的含水量是指示植物生長(zhǎng)狀態(tài)的重要生理指標(biāo)。葉片含水量可以直接影響葉肉細(xì)胞的氣孔導(dǎo)度,氣孔導(dǎo)度是葉片光合性能的直接影響因素[1],因此,對(duì)葉片含水量的監(jiān)測(cè)可間接評(píng)價(jià)植物葉片光合性能[2]。傳統(tǒng)的葉片含水量測(cè)量方法為稱重法,該方法需要對(duì)葉片進(jìn)行破壞性取樣,因此無(wú)法滿足連續(xù)監(jiān)測(cè)的研究要求。隨著信息技術(shù)的發(fā)展,數(shù)字圖像處理技術(shù)為植物生長(zhǎng)發(fā)育監(jiān)測(cè)提供了新的技術(shù)手段。從20世紀(jì)80年代開(kāi)始,二維圖像在植物生長(zhǎng)監(jiān)測(cè)中得到了大量應(yīng)用[3],包括結(jié)構(gòu)分析[4]、氣孔運(yùn)動(dòng)和光合診斷[5]、病蟲(chóng)害監(jiān)測(cè)[6]和產(chǎn)量評(píng)估[7]等。蔡鴻昌等[8]利用圖像處理技術(shù)提取葉片的顏色特征,通過(guò)線性擬合和逐步回歸分析,建立了黃瓜葉片光合色素含量的顏色特征估算模型。孫瑞東等[9]采用非線性最小二乘擬合方法,建立Log-Modified回歸模型,提出黃瓜葉片含水量無(wú)損檢測(cè)方法。楊春合等[10]提取圖像的顏色和紋理特征,并運(yùn)用主成分分析和回歸方法建立水分檢測(cè)模型。在圖像采集過(guò)程中,光源類(lèi)型、拍攝角度、拍攝距離等條件因素受人為影響較大,很難建立相同的拍攝環(huán)境,因而前人的研究基礎(chǔ)難以直接應(yīng)用。高通量表型平臺(tái)的出現(xiàn),為圖像采集提供了統(tǒng)一的采集環(huán)境,解決了拍攝環(huán)境難以統(tǒng)一的難題,從而為圖像處理技術(shù)在植物生長(zhǎng)監(jiān)測(cè)中的應(yīng)用和推廣提供重要的基礎(chǔ)條件支撐。因此,本研究選取黃瓜葉片含水量為研究對(duì)象,在高通量表型平臺(tái)中獲取黃瓜植株的二維圖像,通過(guò)圖像分割與多特征融合技術(shù),研究黃瓜葉片含水量無(wú)損檢測(cè)方法,為圖像處理技術(shù)在黃瓜葉片生理狀況監(jiān)測(cè)中的應(yīng)用提供支持。
在本研究中,高通量表型平臺(tái)采集的黃瓜植株為整株,需要通過(guò)圖像分割獲得葉片目標(biāo)區(qū)域,而目標(biāo)葉片經(jīng)常和其他葉片或者雜物黏連,傳統(tǒng)分割方法無(wú)法達(dá)到目標(biāo)葉片分割效果。針對(duì)上述問(wèn)題,本研究提出采用基于GrabCut算法[11-12]的精確目標(biāo)區(qū)域提取方法進(jìn)行目標(biāo)葉片區(qū)域分割。針對(duì)含水量回歸模型的建立問(wèn)題,本研究提出采用灰度統(tǒng)計(jì)特征與灰度共生矩陣(Gray-level co-occurrence matrix,GLCM)紋理特征[13]相結(jié)合的特征表達(dá)方法,建立圖像特征與葉片含水量的回歸模型,以期使回歸模型的準(zhǔn)確度較高。
本研究在上海孫橋現(xiàn)代農(nóng)業(yè)園區(qū)的玻璃溫室中進(jìn)行,選用的黃瓜品種為‘戴多星’。試驗(yàn)采用盆栽土培法,用大小和質(zhì)量基本相同的塑料盆(盆體上口直徑25cm),配制育苗基質(zhì),體積比泥炭土∶珍珠巖∶蛭石=3∶1∶1,多菌靈體積分?jǐn)?shù)0.25%,按每盆0.5kg比例加入腐熟雞糞,裝土?xí)r適當(dāng)進(jìn)行鎮(zhèn)壓。管理期間保證黃瓜水肥充足,黃瓜長(zhǎng)至4葉1心時(shí)插支撐竹竿、綁蔓。在黃瓜長(zhǎng)至5葉1心時(shí),選取100盆生長(zhǎng)一致的黃瓜植株進(jìn)行水分試驗(yàn)處理。水分處理分為5個(gè)梯度,每個(gè)梯度20盆。水分處理方法:分別在試驗(yàn)前的第5天、第4天、第3天、第2天、第1天,對(duì)不同處理植株進(jìn)行澆水,澆水后用薄膜覆蓋盆面,防止水分過(guò)度蒸發(fā)。在第6天統(tǒng)一進(jìn)行測(cè)量。試驗(yàn)重復(fù)3次。
試驗(yàn)流程如圖1所示,獲得試驗(yàn)材料后,通過(guò)圖像分割算法,分割出目標(biāo)單葉片區(qū)域圖像,再通過(guò)特征提取方法,得到單葉片圖像的特征。最后通過(guò)最小二乘回歸計(jì)算所設(shè)計(jì)的特征和葉片真實(shí)含水量之間的關(guān)系模型,并檢驗(yàn)該模型的可信度。本試驗(yàn)使用相關(guān)系數(shù)R2和相對(duì)誤差率(預(yù)測(cè)誤差除以真實(shí)值)檢驗(yàn)?zāi)P涂尚哦取?/p>
圖1 試驗(yàn)流程Fig.1 The flowchart of experiment
圖2 高通量表型平臺(tái)可見(jiàn)光成像系統(tǒng)示意圖Fig.2 High-throughput phenotyping platform visible imaging system
1.2.1 圖像獲取
每個(gè)處理選取生長(zhǎng)一致的5株植株,放入高通量表型平臺(tái)的“可見(jiàn)光成像系統(tǒng)”拍攝植株側(cè)面照,并將葉齡為15d左右的葉片正面朝向鏡頭,該葉片為圖像提取對(duì)象。鏡頭距離植株3.56 m,可保證2m高度內(nèi)的植株在鏡頭中全部成像。鏡頭分辨率2 448×2 050像素,像素大小3.45 μm×3.45 μm,光源強(qiáng)度22 kHz,圖像大小6.3 M。本試驗(yàn)共獲取圖像75張。
1.2.2 含水量真值獲取
將拍照后的葉片進(jìn)行破壞性取樣,在精度為0.0001g的電子天平(奧豪斯 AR224CN,美國(guó)奧豪斯公司)上稱量葉片鮮重,在80°C條件下烘干后,稱量葉片干重,葉片含水量由下式計(jì)算得到:
(1)
1.2.3 單葉片圖像分割
GrabCut算法[11]使用圖論的方法對(duì)圖像進(jìn)行建模,把圖像分割問(wèn)題轉(zhuǎn)化為圖的最小割問(wèn)題。算法由GMM混合高斯模型對(duì)原始圖像RGB顏色空間進(jìn)行前景和背景區(qū)域的建模,其中使用K個(gè)高斯分量,一般取K=5。圖像的Gibbs能量為:
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z)
(2)
其中U是區(qū)域項(xiàng),表示一個(gè)像素被歸類(lèi)為目標(biāo)或者背景的懲罰;V是邊界項(xiàng),體現(xiàn)鄰域像素之間不連續(xù)的懲罰。下劃線表示該變量需要經(jīng)過(guò)迭代優(yōu)化。區(qū)域項(xiàng)U定義為:
(3)
其中,D(αn,kn,θ,zn)表示第n個(gè)像素點(diǎn)為目標(biāo)或背景的權(quán)重,D(αn,kn,θ,zn)=-log(zn|αn,kn,θ)-logπ(αn,kn),p(·)是高斯概率分布,π(·)是混合權(quán)重系數(shù)。αn表示第n個(gè)像素點(diǎn)處的標(biāo)簽,0表示背景,1表示前景。kn表示第n個(gè)像素點(diǎn)屬于的高斯分量。θ={π(αn,kn),μ(αn,kn),∑(αn,kn)}表示GMM的3個(gè)參數(shù)。zn表示第n個(gè)像素點(diǎn)的RGB數(shù)值。
邊界項(xiàng)V定義為:
(4)
V(α,z)表示鄰域像素m和n之間的差異,兩鄰域像素差別越大,這兩個(gè)像素處于目標(biāo)和背景邊緣的可能性越大,則其能量V越小。γ為平衡系數(shù),平衡區(qū)域項(xiàng)和邊界項(xiàng)的比例,β為對(duì)比度系數(shù),用于調(diào)整不同對(duì)比度圖像的邊界距離。基于GrabCut算法[11]的葉片分割步驟如下:
1)選擇一幅植株圖像中的葉片前景區(qū)域TF和背景區(qū)域TB。
2)初始化標(biāo)簽參數(shù)αn=0,n∈TB;αn=1,n∈TF,并建立前景和背景的GMM模型。
3)對(duì)于可能的前景區(qū)域TF中的每一個(gè)像素點(diǎn)n,計(jì)算kn∶argminkn=D(αn,kn,θ,zn)。
4)已知圖像數(shù)據(jù)z,學(xué)習(xí)GMM的參數(shù)θ=argminθU(α,k,θ,z)。
5)通過(guò)最小費(fèi)用最大流算法對(duì)圖進(jìn)行分割估計(jì)min{αn:n∈TF}minkE(α,k,θ,z)。
6)重復(fù)步驟3—5,直到收斂,從而獲得分割的單個(gè)葉片圖像。
1.2.4 圖像特征提取與含水量回歸分析
分割后得到目標(biāo)葉片,通過(guò)圖像特征提取,得到與葉片含水量相關(guān)的統(tǒng)計(jì)特征。針對(duì)彩色圖像提取了三維RGB顏色特征[14],針對(duì)灰度圖,提取了標(biāo)準(zhǔn)差、平滑度、歪斜度、一致性、熵[18]以及GLCM紋理特征[13]作為葉片的圖像特征。采用的GLCM紋理特征包括:
最后通過(guò)提取的圖像多維融合特征和葉片烘干含水量真值進(jìn)行回歸分析,利用最小二乘回歸計(jì)算模型參數(shù)?;貧w模型為:
y=a0+a1x1+a2x2+…+anxn
(5)
其中:x是圖像的特征,a為最小二乘擬合的系數(shù),y為擬合的含水量,n為特征維度。
圖3 目標(biāo)葉片區(qū)域分割Fig.3 Target leaf area segmentation
圖3為葉片分割結(jié)果對(duì)比試驗(yàn),每行為1棵植株,共展示3棵植株的結(jié)果。(a)圖為拍攝裝置獲取的黃瓜葉片原圖,其中紅框表示該植株用于含水量分析的葉片。(b)圖是基于經(jīng)典水平集分割方法[15]的結(jié)果,可以看到由于目標(biāo)葉片與其他葉片黏連,難以獲得理想的目標(biāo)葉片區(qū)域。(c)圖為通過(guò)GrabCut算法分割后得到的目標(biāo)葉片區(qū)域,可見(jiàn)GrabCut算法能完整分割出目標(biāo)葉片區(qū)域,且有效去除了其他葉片區(qū)域的黏連影響。
通過(guò)GrabCut算法得到植株的目標(biāo)葉片區(qū)域后,利用1.2.4節(jié)的方法進(jìn)行特征提取,得到標(biāo)準(zhǔn)差、平滑度、歪斜度、一致性、熵、GLCM紋理特征等多維融合統(tǒng)計(jì)特征,再與葉片的含水量測(cè)量值進(jìn)行回歸分析。
為了研究黃瓜葉片不同發(fā)育時(shí)期下的葉片含水量,試驗(yàn)數(shù)據(jù)分三批獲取,前兩批各25株,第三批24株。為測(cè)試所選特征的合理性,將每批數(shù)據(jù)的80%(三批共計(jì)59株)用于擬合模型;剩余20%的樣本(三批共計(jì)15株)用于檢驗(yàn)?zāi)P驼`差,得到三批數(shù)據(jù)的平均相對(duì)誤差分別為9.10%、4.63%和4.61%。批次內(nèi)的殘差分布(圖4)表明,三批數(shù)據(jù)均獲得較少的誤差率,所采用的圖像特征具有良好的表征能力。為進(jìn)一步測(cè)試批次間的模型泛化能力,將第三批數(shù)據(jù)作為訓(xùn)練集,前兩批數(shù)據(jù)作為測(cè)試集。使用最小二乘法擬合訓(xùn)練集圖像特征與葉片含水量,得到R2為0.8358。圖5中訓(xùn)練集數(shù)據(jù)的預(yù)測(cè)值和真實(shí)值分布接近于45°直線,說(shuō)明模型選取的特征與含水量之間有較好的擬合關(guān)系。批次間的泛化性能測(cè)試得出,第一批的平均相對(duì)誤差為10.88%,第二批的平均相對(duì)誤差為7.98%。批次間的殘差分布(圖6)表明,誤差在可控范圍之內(nèi),表明該模型在批次間也有較好的泛化能力。
圖4 批次內(nèi)殘差分布Fig.4 In-class residual distribution
圖5 含水量真實(shí)值與預(yù)測(cè)值分布Fig.5 Water content of the true value and the predicted value distribution
圖6 批次間殘差分布Fig.6 Residual distribution between classes
黃瓜葉片含水量不僅可以反映植株生長(zhǎng)狀態(tài)和葉片光合能力,同時(shí)也是水分管理的敏感指標(biāo)。本研究通過(guò)水分處理,使葉片中的含水量在67%—94%范圍內(nèi)形成水分梯度,從而實(shí)現(xiàn)了不同含水量葉片的圖片獲取。與孫瑞東等[9]、王娟[16]的試驗(yàn)方法不同,本研究沒(méi)有采用固定的土壤含水量處理,而是利用了澆水后土壤水分隨蒸散而減少的規(guī)律,與黃瓜生產(chǎn)中土壤水分變化規(guī)律更為接近,同時(shí)也避免了因長(zhǎng)期水分脅迫對(duì)光合器官的破壞而引起的葉片顏色變化。
如何有效地從圖像中提取目標(biāo)區(qū)域,剔除背景,一直以來(lái)都是研究人員關(guān)注的重點(diǎn)。目前圖像分割方法主要有基于閾值分割法、基于區(qū)域分割法、基于邊緣分割法以及基于特定理論分割法等[17-18]。針對(duì)植物葉片重疊嚴(yán)重的圖像,葉片與葉片之間顏色非常相近,單純用前三類(lèi)算法提取往往達(dá)不到理想效果。因此本研究采用了GrabCut算法,利用簡(jiǎn)單的交互就可獲得圖像中感興趣的目標(biāo)圖像的準(zhǔn)確區(qū)域。與基于傳統(tǒng)水平集算法的葉片分割結(jié)果進(jìn)行對(duì)比,本研究的方法具有圖像分割準(zhǔn)確性更高的特點(diǎn)。與此同時(shí),該算法也存在著計(jì)算量大,需要人機(jī)交互的缺點(diǎn),未來(lái)還應(yīng)該考慮更加智能的分割方式,減少人機(jī)交互,優(yōu)化算法性能。
本研究以黃瓜葉片為研究對(duì)象,在高通量表型平臺(tái)中獲取植株圖像,同時(shí)用烘干法測(cè)量植株目標(biāo)葉片的含水量。使用GrabCut算法對(duì)植株圖像進(jìn)行分割,得到目標(biāo)葉片圖像區(qū)域。再提取圖像的標(biāo)準(zhǔn)差、平滑度、歪斜度、一致性、熵及GLCM紋理特征作為圖像綜合特征,與含水量進(jìn)行回歸分計(jì)算。并對(duì)不同批次獲取的黃瓜葉片圖像與其含水量之間進(jìn)行誤差分析。研究結(jié)果顯示,該模型有較高的可信度和較好的泛化能力,對(duì)于不同發(fā)育時(shí)期的黃瓜葉片都能較好的預(yù)測(cè)其含水量。下一步將考慮更有效的圖像融合特征表達(dá),以提高預(yù)測(cè)的準(zhǔn)確率以及模型的泛化能力。