楊 森，馮 全※，王書志, 張 芮

?

基于改進(jìn)可變形部件模型與判別模型的葡萄葉片檢測與跟蹤

楊 森1，馮 全1※，王書志2, 張 芮1

（1. 甘肅農(nóng)業(yè)大學(xué)工學(xué)院，蘭州730070；2. 西北民族大學(xué)電氣工程學(xué)院，蘭州 730030）

為解決釀酒葡萄生長狀態(tài)自動(dòng)監(jiān)測問題，該文提出基于機(jī)器視覺和視頻處理技術(shù)的自動(dòng)監(jiān)測系統(tǒng)，開發(fā)了多角度可變形部件模型的葡萄葉片檢測算法和基于顏色特征的判別模型跟蹤算法。在葉片檢測方面，該算法對顏色特征圖像采用可變形部件模型訓(xùn)練出多角度葉片檢測器，通過多模型匹配后產(chǎn)生葉片檢測候選集合，選擇集合中得分最高的檢測結(jié)果作為最后的定位信息；在跟蹤方面，結(jié)合圖像中目標(biāo)的顏色直方圖，建立具有區(qū)分背景和目標(biāo)的組合判別模型，并將位置函數(shù)的最大值作為相鄰幀的目標(biāo)位置，從而實(shí)現(xiàn)對葉片目標(biāo)的實(shí)時(shí)跟蹤。試驗(yàn)結(jié)果表明，該文檢測算法對自然條件下的葡萄葉片平均檢測率為88.31%，誤檢率為8.73%；葉片跟蹤的準(zhǔn)確性也相對較高，其重疊率高達(dá)0.83，平均中心誤差為17.33像素，其證明了該算法的有效性，研究結(jié)果為葡萄生長狀態(tài)的自動(dòng)分析提供參考。

機(jī)器視覺；圖像處理；模型；葡萄葉片；檢測；跟蹤；可變形部件模型；判別模型

0 引 言

近年來釀酒葡萄的種植向集約化發(fā)展，大規(guī)模種植給生長狀態(tài)的監(jiān)測帶來了極大的挑戰(zhàn)，而人工檢測效率低、工作強(qiáng)度大。葡萄葉片的健康狀態(tài)在很大程度上能反映葡萄的生長狀態(tài)，而葡萄葉片的檢測是后續(xù)視覺處理的基礎(chǔ)。自然條件下獲取的圖像中葉片姿態(tài)不同，葉片相互遮擋，伴有陰影存在，且光照隨時(shí)間變化很大，影響了葉片自動(dòng)檢測以及定位的準(zhǔn)確性。現(xiàn)有的很多葉片識(shí)別與分割算法[1-4]往往是在特定的背景和特定光照條件下開展的，與植物實(shí)際的生長環(huán)境有差異，無法適用于自然條件下的葉片實(shí)時(shí)檢測。文獻(xiàn)[5]采用了HOG特征和支持向量機(jī)對自然條件的葡萄葉片進(jìn)行檢測，檢測率達(dá)到83.5%，但對葉片的遮擋和重疊、葉片的傾斜和變形檢測效果較差。此外，對于已檢測到的葉片進(jìn)行跟蹤也很有意義，因?yàn)樵谄咸焉L期內(nèi)，葉片在生長且不斷改變其位置、狀態(tài)，為了判斷葡萄生長狀態(tài)的變化，需要對比同一葉片不同時(shí)間的狀態(tài)；在某個(gè)時(shí)刻，葉片上經(jīng)常有斑駁的陰影或高光斑，容易被誤判為病斑等，但太陽位置變化后，這些陰影或光斑會(huì)消失；一些土斑、鳥屎等雜物從顏色和形狀上與病斑很像，但它們隨著時(shí)間不會(huì)增大和擴(kuò)散。如果在序列圖像（視頻）中跟蹤某片具有疑似病癥葉片的運(yùn)動(dòng)，就能比較該葉片在不同時(shí)間上的狀態(tài)變化，排除虛假病害，提高病害判斷的準(zhǔn)確性。目前關(guān)于運(yùn)動(dòng)目標(biāo)跟蹤的研究有2大方向[6]：一種是基于運(yùn)動(dòng)信息的跟蹤方法[7-9]，該方法對目標(biāo)的遮擋、相似性目標(biāo)的跟蹤效果較差；另一種是建立在模型基礎(chǔ)上的跟蹤方法[10-12]，集中在行人、車輛及人臉的跟蹤[13-14]，該方法中主要采用特征點(diǎn)的匹配來實(shí)現(xiàn)目標(biāo)的可靠跟蹤，對場景的變化和外觀的變形具有很好的適應(yīng)性。葡萄葉片質(zhì)地較為柔軟，易變形，自然環(huán)境中在風(fēng)吹動(dòng)下，運(yùn)動(dòng)方向和形態(tài)往往變化不定，葉片表面的特征點(diǎn)容易丟失，導(dǎo)致跟蹤失敗或誤跟。

本文采用基于WiFi的無線分布式的組網(wǎng)方式實(shí)現(xiàn)釀酒葡萄視頻的采集，對檢測和跟蹤的葡萄葉片進(jìn)行實(shí)時(shí)分割，特征提取，實(shí)現(xiàn)葡萄生長狀態(tài)的在線監(jiān)測，但限于篇幅本文只討論監(jiān)測過程中技術(shù)難度最大的葉片檢測和跟蹤方法。針對上述葉片檢測和跟蹤算法存在的不足，本文采用多角度可變形部件模型的葉片檢測算法，結(jié)合顏色直方圖描述外觀特征，建立一種具有判別能力的目標(biāo)跟蹤模型，并通過模型的學(xué)習(xí)克服跟蹤中對目標(biāo)相似區(qū)域的偏移，實(shí)現(xiàn)對葡萄葉片運(yùn)動(dòng)的準(zhǔn)確跟蹤。

1 視頻采集的網(wǎng)絡(luò)結(jié)構(gòu)及算法流程

為解決大規(guī)模葡萄種植基地面積大、密度高，拉線不方便等困難，能夠?qū)崿F(xiàn)遠(yuǎn)程和移動(dòng)式的視頻實(shí)時(shí)采集，本文的視頻采集設(shè)計(jì)了2種無線網(wǎng)絡(luò)部署方式，由圖1所示，以適應(yīng)在不同環(huán)境下正常工作。方案1是一種全無線方式，終端采用無線攝像頭，具有部署靈活、可移動(dòng)的特點(diǎn)，可用太陽能和蓄電池對IP攝像頭進(jìn)行供電；方案2則是一種局部有線方式，由支持POE模式的交換機(jī)與IP攝像頭連接，除了傳輸數(shù)據(jù)，還可給攝像頭實(shí)時(shí)供電。在2種模式下，從無線網(wǎng)橋出來的信息通過交換機(jī)連接，在交換機(jī)輸出端設(shè)計(jì)了2種連接方式：1）將局域網(wǎng)與交換機(jī)連接后，監(jiān)測PC機(jī)接入局域網(wǎng)后，可訪問IP攝像頭；2）交換機(jī)后側(cè)連接路由器并接入互聯(lián)網(wǎng)，用戶可以直接通過互聯(lián)網(wǎng)遠(yuǎn)程訪問IP攝像頭。

圖1 視頻采集網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的葡萄葉片檢測與跟蹤的總體流程圖如圖2所示。

注：sv表示投票得分；sd表示距離得分。

首先通過在線網(wǎng)絡(luò)結(jié)構(gòu)獲得視頻序列圖像并對圖像進(jìn)行預(yù)處理，獲得葉片圖像的/圖像；在其/圖像基礎(chǔ)上提取HOG特征金字塔；利用訓(xùn)練后的多角度模型濾波器與特征金字塔圖形進(jìn)行卷積，計(jì)算出每個(gè)部件的最后的得分，并通過得分確定出葉片的位置；其次利用初始獲得的葉片位置計(jì)算出葉片在區(qū)域處的概率，并計(jì)算出候選區(qū)的投票得分和距離得分；最后通過求得組合得分最高的區(qū)域，確定為該幀中葉片跟蹤的位置。

2 葉片檢測

2.1 特征提取

HOG特征[15]是對圖像中目標(biāo)區(qū)域的梯度方向和梯度幅值統(tǒng)計(jì)信息而定義的一種特征，主要用來描述目標(biāo)的外形輪廓，對圖像幾何和光學(xué)的變形都能保持很好的不變性。葡萄園中圖像背景較為復(fù)雜，如果直接提取目標(biāo)的HOG特征，背景中的土地、雜物、葉片的陰影以及套袋等會(huì)被誤檢測為目標(biāo)，大大降低了葉片目標(biāo)識(shí)別的準(zhǔn)確性，因此本文對葉片特征的提取進(jìn)行了2方面的改進(jìn)。

1）為消除背景的干擾，本文選擇在/圖像中提取HOG特征（其中、分別為RGB空間的綠色和紅色分量）。葉片的、、分量均會(huì)隨光照變化而變化，但/分量則能夠基本消除光照變化的影響。本文采集大量的葡萄葉片樣本對/分量進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn)，對于綠色葉片區(qū)域，/分量比較大，非葉片區(qū)域該值則較小。試驗(yàn)發(fā)現(xiàn)，當(dāng)圖像中的/>1.3時(shí)，該區(qū)域基本可判定為葉片區(qū)域。圖3是葉片圖像的/圖的一個(gè)例子，圖3a為原始圖像在某一尺度下的RGB圖，圖3b是對應(yīng)的圖；可以看出/分量圖基本保留了葉片區(qū)域，且葉片區(qū)域特征顯示較明顯，對消除背景和光照變化的干擾具有較好的適應(yīng)性。提取圖像的/分量后需將圖像映射到[0, 255]的范圍內(nèi)，其映射關(guān)系表示為

a. 原始圖像 a. Original imageb. G/R分量圖 b. G/R componentimagec. 特征金字塔圖像 c. Feature pyramid image

圖3 特征圖像的提取

Fig.3 Extraction of feature image

2）傳統(tǒng)的HOG特征采用無符號的梯度特征，而本文改進(jìn)的HOG特征采用了有符號和無符號相結(jié)合的策略。若對HOG特征直接進(jìn)行特征向量化，一個(gè)單元的特征維數(shù)高達(dá)108維，其維數(shù)相對較高，因此采用主成分分析法（principal component analysis，PCA）[16]對單元內(nèi)的特征進(jìn)行降維處理后得到31維的特征，大大提高了檢測速度。

由于葡萄葉片在圖像中的大小不確定，因此采用金字塔來提取圖像不同尺度下HOG特征，即將圖像變換為一個(gè)10層的HOG特征金字塔[17]，HOG金字塔中每一層的最小單位是細(xì)胞單元。如圖3c為第5尺度下提取的 特征金字塔圖像，特征圖像中基本顯示了葉片的紋理和輪廓。

2.2 混合多角度可變形模型

葉片在自然生長時(shí)姿態(tài)多樣，通過攝像頭在葡萄園采集的圖像（視頻）中，大部分葉片是正面的，但也有不少葉片背面或側(cè)面朝向攝像頭，因此在圖像中，采用單一角度的檢測模型無法滿足檢測精度，為解決葡萄葉片姿態(tài)多樣、容易形變等問題，采用可變形部件模型，建立了葉片正面，側(cè)面，背面的混合多角度模型?；诳勺冃文Ｐ停╠eformable part model，DPM）的方法在檢測時(shí)，通過檢測部件來確定目標(biāo)是否存在，而且能夠評估各部件之間的相互關(guān)系，因此對目標(biāo)的形變具有較強(qiáng)的適應(yīng)性，但DPM采用的是灰度圖像，對于畫面幾乎是綠色調(diào)和常存在局部陰影的葡萄葉片圖像，檢測效果會(huì)下降，因此本文針對DPM進(jìn)行了改進(jìn)，使之更適合葉片檢測。假設(shè)是HOG金字塔，表示金字塔第層位置的一個(gè)細(xì)胞單元，濾波器在此檢測窗口上的得分為：

在自然條件下葡萄葉片的形狀各異，因此將整體葉片分解為多個(gè)部分，并通過部件模型確立各部分之間的相互位置關(guān)系。記含有部分的葡萄葉片模型為，是根濾波器，表示葉片的整體形狀，表示第個(gè)部件，用來描述葉片的細(xì)節(jié)部分，可用三維向量表示為，其中是第個(gè)部件的濾波器；第個(gè)濾波器的錨點(diǎn)位置。則葉片目標(biāo)在某個(gè)位置的得分表示為

2.3 模型匹配

采用滑動(dòng)窗口的檢測方法在圖像上滑動(dòng)，計(jì)算框中圖像區(qū)域的HOG特征，在特征金字塔的每一層上進(jìn)行檢測。首先計(jì)算混合模型與特征圖像的相似程度，將待檢測的圖像提取不同尺度下的特征金字塔圖像，使用已訓(xùn)練的根模型和不同角度的部件模型與特征圖像進(jìn)行卷積得到濾波后的響應(yīng)圖，然后分別對部件濾波響應(yīng)圖進(jìn)行響應(yīng)變換，綜合部件模型與特征圖像的匹配程度和部件模型相對于其理想位置的偏離程度，得到最優(yōu)的部件模型位置和響應(yīng)得分，并將圖像在位置處的得分與訓(xùn)練模型的閾值判斷后確定是否為目標(biāo)，依次對檢測圖像在不同尺度下計(jì)算響應(yīng)得分后，可獲得不同尺度葡萄葉片的檢測結(jié)果。圖像中處的響應(yīng)得分[18]表示為：

利用模型匹配后，由于根濾波器與部件濾波器都會(huì)檢測到目標(biāo)，造成對目標(biāo)的重疊檢測或?qū)⑷~片的陰影誤檢為目標(biāo)，因此本文改進(jìn)了檢測算法，主要從兩方面進(jìn)行改進(jìn)，以提高葉片檢測的準(zhǔn)確性。1）降低葉片檢測器的閾值。雖然降低模型的閾值能夠提高目標(biāo)檢測的查全率，但也會(huì)提高誤檢率。由于待檢測圖像通過/分量提取特征圖像后，在整個(gè)圖像基本保留了葉片部分，因此，在處理后的圖像中進(jìn)行檢測，即使閾值降低后誤檢率也不會(huì)增加太多，經(jīng)試驗(yàn)統(tǒng)計(jì)，本文將閾值從-0.4降到-0.8；2）檢測結(jié)果的合并。目標(biāo)匹配后，每張檢測圖像都會(huì)產(chǎn)生以葡萄葉片為目標(biāo)的檢測結(jié)果集合，采用非極大值抑制來消除重復(fù)的檢測框。集合中每一個(gè)檢測目標(biāo)包含一個(gè)檢測框和一個(gè)得分。以此按照得分對中的檢測結(jié)果進(jìn)行排序，選擇具有最高得分的檢測結(jié)果并刪除之前選擇的包圍盒覆蓋超過50%的檢測結(jié)果。利用該方法會(huì)增加檢測框的寬度和高度，而且會(huì)增加少量的漏檢，但是能抑制更多的誤檢窗口，總體性能有一定的提升。

2.4 葉片檢測器的訓(xùn)練

一般戶外獲取的葉片圖像姿態(tài)多樣，單一的檢測器無法滿足對自然條件下各種角度葉片的檢測，因此訓(xùn)練了多角度葉片檢測器。訓(xùn)練視頻來自于甘肅農(nóng)業(yè)大學(xué)葡萄園，采集于2016年5月—10月，通過無線視頻采集系統(tǒng)采集了晴天、陰天，多云條件下不同品種的葡萄（赤霞珠，品麗珠）葉片視頻圖像形成訓(xùn)練視頻集和測試集。利用圖像處理技術(shù)將訓(xùn)練視頻集分解成多張葉片圖像后，并對分解后的圖像經(jīng)過人工裁剪，形成單葉片圖像集和非葉片圖像集，其中單葉片圖像集按照葉片正面、側(cè)面、背面3種姿態(tài)進(jìn)行分類后，形成了3 000幅訓(xùn)練正樣本，選擇不包含葉片或非葡萄葉片集中的4 000幅圖像作為負(fù)樣本。為了避免一些形狀與葡萄葉片相似的雜草葉片誤檢測為目標(biāo)，在形成4 000幅負(fù)樣本數(shù)據(jù)集時(shí)選擇一些葡萄園中常見的雜草葉片及多種非葡萄的植物葉片作為負(fù)樣本。由于模型易發(fā)生形變，部件的位置不固定，采用Latent SVM[19]將部件的位置作為隱含變量，在模型訓(xùn)練時(shí)根據(jù)正樣本中葡萄葉片的各個(gè)部件的位置確定出在模型中的最佳位置。圖4a為葉片根檢測器，圖4b~圖4d為側(cè)面，正面和背面3個(gè)角度的檢測器。

a. 根模板 a. Root templateb. 側(cè)面模板 b.Profile template c. 正面模板 c.Front templated. 背面模板 d. Back template

3 葉片跟蹤

常見的行人或車輛跟蹤算法中，目標(biāo)常沿著一定的線路運(yùn)動(dòng)，但葡萄葉片在風(fēng)中通常呈擺動(dòng)式運(yùn)動(dòng)，且葉片容易翻滾，很多在行人和車輛跟蹤[20-21]表現(xiàn)較好的基于特征點(diǎn)的跟蹤算法對葉片跟蹤的適應(yīng)性并不十分理想。本文采用基于判別模型[22]和顏色特征的跟蹤方法解決這個(gè)問題。

3.1 判別目標(biāo)模型

顏色特征是目標(biāo)識(shí)別中較為容易提取的特征，因此本文采用顏色直方圖來描述目標(biāo)的外觀特征。若將視頻圖像的像素?cái)?shù)值范圍[0,255]平均分為16個(gè)區(qū)段，并給定方形目標(biāo)區(qū)域（初始檢測到的目標(biāo)檢測框或目標(biāo)當(dāng)前的跟蹤位置）和目標(biāo)周圍區(qū)域（區(qū)域是與為同一中心的外圍區(qū)域，且區(qū)域的寬度和高度為區(qū)域的1.5倍），根據(jù)貝葉斯定理，則獲得目標(biāo)在位置處發(fā)生的概率近似表示為[23]

該判別模型可以區(qū)分背景和目標(biāo)的像素，由于葉片周圍分布較多綠色部分，目標(biāo)的跟蹤會(huì)偏向于葉片特征相似的位置區(qū)域，造成目標(biāo)跟蹤的準(zhǔn)確率下降。假設(shè)可能存在的誤跟蹤區(qū)域?yàn)?，建立組合的目標(biāo)模型為

（7）

式中組合模型的第1部分為目標(biāo)與背景模型，第2部分為目標(biāo)與相似特征區(qū)域模型；為預(yù)先定義的權(quán)重參數(shù)，試驗(yàn)中取0.01。

為了適應(yīng)目標(biāo)外觀特征，光照條件等變化，通過線性插值的方法定期更新組合模型，則時(shí)刻更新后目標(biāo)模型表示為

3.2 跟蹤定位

利用檢測-跟蹤的原則可以預(yù)測目標(biāo)葉片在新的一幀中的位置，若目標(biāo)在前一時(shí)刻的位置為，采用與前一時(shí)刻目標(biāo)成比例的矩形區(qū)域在相鄰幀中不斷搜索后，則目標(biāo)在下一幀的位置表示為

（10）

（11）

一般利用（9）式在候選目標(biāo)中計(jì)算它們的投票得分和距離得分，最后選擇組合得分最高的作為新的目標(biāo)位置，但在與目標(biāo)相似的區(qū)域的得分也會(huì)很高，可能導(dǎo)致目標(biāo)的定位錯(cuò)誤，因此需對目標(biāo)進(jìn)一步判別，如果，則認(rèn)為候選目標(biāo)為干擾區(qū)域，其中為判斷系數(shù)，取值范圍[0,1]。

為進(jìn)一步完善目標(biāo)的跟蹤，跟蹤的過程依次將多個(gè)跟蹤目標(biāo)進(jìn)行編號，在長期跟蹤過程中，由于外界的影響或劇烈的運(yùn)動(dòng)導(dǎo)致目標(biāo)在該場景中消失，某一時(shí)刻可能會(huì)重新回到場景中，或在監(jiān)控區(qū)域中可能會(huì)長出新的葉片目標(biāo)，為了對目標(biāo)身份進(jìn)行判別，在跟蹤過程中，需要每隔30 min重新檢測一次，確定是否有新的目標(biāo)出現(xiàn)。具體實(shí)現(xiàn)為如下：1）將初始跟蹤到的目標(biāo)提取SIFT特征[24]，并建立特征數(shù)據(jù)庫；2）長期跟蹤過程中需要定時(shí)對目標(biāo)進(jìn)行重新檢測，將檢測到的目標(biāo)提取SIFT特征，并與數(shù)據(jù)庫中特征進(jìn)行匹配，檢驗(yàn)場景中是否出現(xiàn)新的目標(biāo)；若目標(biāo)匹配成功，則保持原來的目標(biāo)編號，若目標(biāo)不能匹配，則該目標(biāo)為新的目標(biāo)，將其編號后，并將特征數(shù)據(jù)添加到數(shù)據(jù)庫中。

4 結(jié)果與分析

4.1 葉片檢測

為測試葡萄葉片檢測的有效性，在自然光照條件下，通過視頻采集系統(tǒng)在甘肅農(nóng)業(yè)大學(xué)葡萄園（103.69°E, 36.08°N，甘肅省蘭州市安寧區(qū)）不同位置隨機(jī)采集了多段視頻，經(jīng)視頻分析和圖像處理得到不同光照條件和不同背景下的2 000張測試樣本（其中測試樣本中不包含訓(xùn)練集），并將測試樣本根據(jù)圖像中葉片的數(shù)量分成單葉片、2葉片、3葉片和多葉片（3個(gè)葉片以上）4種情形，根據(jù)生長狀態(tài)分為病斑葉片、開花期和結(jié)果時(shí)期3種情形。針對葉片的檢測采用檢測率（detection rate，DR）和誤檢率（false positive rate, FPR）作為評價(jià)準(zhǔn)則[25]，其中DR和FPR分別定義為：

（13）

式中TP表示正陽性，具體表示為人工標(biāo)記到的同時(shí)本研究所用的檢測器也檢測到的葉片數(shù)量；FN表示假陰性，本研究中具體表示為人工標(biāo)記到的，但檢測器未能檢測的葉片數(shù)量；FP表示假陽性，具體表示為人工未標(biāo)記，但檢測器檢測到的葉片的數(shù)量。

采用PASCAL目標(biāo)檢測協(xié)議[26]來評價(jià)檢測的精度，即當(dāng)交疊率（intersection over union，IOU）>0.5時(shí)，認(rèn)為檢測框準(zhǔn)確檢測到了目標(biāo)。圖5給出了一些葡萄葉片檢測結(jié)果的例子。表1統(tǒng)計(jì)了不同情形下葉片的檢測率和誤檢率，其中單葉片、2葉片、3葉片和多葉片4種情形下的檢測率分別為92.67%，91.99%，92.59%和89.93%，誤檢率分別為6.04%，7.22%，6.72%和8.72%，且這4種情形下的平均檢測率為91.79%，誤檢率為7.17%。試驗(yàn)結(jié)果表明，單葉片在檢測率和誤檢率2方面都是最優(yōu)的，2葉片和3葉片的檢測率略低于單葉片，但仍高于90%；多葉片的檢測率較單葉片、2葉片和3葉片略低，誤檢率也相對較高，原因可能是多葉片情形下，背景更為復(fù)雜，且出現(xiàn)葉片的重疊、遮擋的情形較多。對于病斑葉片的檢測，由于葉片的殘損、特征的多樣性，使得外觀變化劇烈，誤檢率高達(dá)13.91%，其檢測率相對于其他的情形是最低的，但統(tǒng)計(jì)的檢測率在83.50%左右，對于基本完整的病斑葉片可以準(zhǔn)確檢測。

a. 2葉片 a. Two leavesb. 3葉片 b. Three leaves c. 病斑葉片 c. Disease leavesd. 多葉片 d. Multiple leaves e. 開花期 e . Flowering stagef. 結(jié)果期 f. fruiting stage

葡萄在生長過程中背景的復(fù)雜程度不斷發(fā)生變化，一般在葡萄生長后期，葉片相對比較濃密，開花時(shí)期和結(jié)果實(shí)時(shí)期背景較為復(fù)雜，為驗(yàn)證本檢測算法在復(fù)雜環(huán)境下的適應(yīng)性，采集開花期和結(jié)果實(shí)期的測試樣本各50張（包含的葉片數(shù)量為247）進(jìn)行測試，表1中還統(tǒng)計(jì)了不同生長時(shí)期的葉片檢測結(jié)果，在開花期和結(jié)果實(shí)期檢測率分別為84.3%和83.2%，誤檢率為8.69%和9.84%，在有葡萄花和葡萄果實(shí)等外界因素的影響，這2種復(fù)雜生長期下的平均檢測率仍保持在83.75%，平均誤檢率為9.26%。由于后期葉片比較濃密，葡萄果實(shí)對葉片的遮擋等原因，因此開花期和結(jié)果期的平均檢測率與表1的前4種情形相比下降了8.22%。此外，根據(jù)表1的統(tǒng)計(jì)，在7種情形下的葉片平均檢測率為88.31%，平均誤檢率為8.73%，表明本文檢測算法取得了較好的檢測效果。

表1 不同情形下葉片檢測準(zhǔn)確性

注：TP表示將正類預(yù)測為正類數(shù)；FN表示將正類預(yù)測為負(fù)類數(shù)；FP表示將負(fù)類預(yù)測為正類數(shù)；DR表示檢測率；FPR表示誤檢率。

Note: TP indicates that the positive class is predicted to be positive class; FN indicates that the positive class is predicted to be negative class; FP indicates that the negative class is predicted to be positive class; DR indicates the detection rate; FPR indicates the false detection rate.

為進(jìn)一步驗(yàn)證本檢測算法的有效性，將本檢測算法與傳統(tǒng)的DPM（deformable part model）[10]算法、基于HOG特征的級聯(lián)分類器（Adboost）算法[27]，proposal中評分相對較高的邊緣檢測器（Edge Boxes）算法[28]在同一測試集上進(jìn)行了比較，并通過測試集的精度與召回率進(jìn)行了評價(jià)，其召回率與式（12）表達(dá)相同，精確度（precise rate, PR）定義為：

圖6a描繪了在數(shù)據(jù)集上不同算法的精度—召回率曲線。通過比對不同的算法表明，本文檢測算法檢測性能相比于傳統(tǒng)的DPM略有所提高，且本文算法的曲線更接近右上角，并隨著召回率的增大精確度的值呈遞減趨勢，表明在召回率較大時(shí)，精確度也相對比較大。圖6b描繪了交疊率(Intersection over union, IOU)增大過程中，不同算法的召回率曲線，即檢測率與IOU的變化情況。當(dāng)IOU增大時(shí)，本文檢測算法的檢測性能一直處于領(lǐng)先，但I(xiàn)OU>0.8時(shí)，本文算法的召回率略高于DPM檢測算法。

4.2 葉片跟蹤

葉片跟蹤對于監(jiān)視生長狀態(tài)非常關(guān)鍵，只有準(zhǔn)確跟蹤葉片，才能確定葉片上各種目標(biāo)狀態(tài)與上一個(gè)時(shí)間點(diǎn)相比是否發(fā)生變化。試驗(yàn)中對自然條件下2方面的運(yùn)動(dòng)狀態(tài)實(shí)現(xiàn)了跟蹤分析：1）監(jiān)視過程伴隨葡萄的生長過程，是一種長期跟蹤，即生長狀態(tài)的跟蹤；2）自然狀態(tài)下風(fēng)對葉片影響非常顯著，稍大點(diǎn)的風(fēng)就會(huì)使葉片的位置、狀態(tài)等發(fā)生變化，甚至?xí)膱鼍爸邢?，即運(yùn)動(dòng)狀態(tài)的跟蹤。運(yùn)動(dòng)狀態(tài)視頻和生長狀態(tài)視頻均采用在線網(wǎng)絡(luò)結(jié)構(gòu)采集，其中，選擇大風(fēng)、微風(fēng)，人工晃動(dòng)等自然條件拍攝的10個(gè)視頻作為葉片運(yùn)動(dòng)視頻的測試樣本；生長狀態(tài)的視頻采集于2016年5月10日至7月1日，隨機(jī)選擇葡萄園內(nèi)的3個(gè)位置，通過圖像處理技術(shù)后，將每天在9:00-18:00內(nèi)拍攝的視頻各取1 min，最后將整個(gè)時(shí)間段內(nèi)拍攝的視頻按照拍攝的時(shí)間順序進(jìn)行組合成3個(gè)生長狀態(tài)的視頻。為了驗(yàn)證本跟蹤算法對2種狀態(tài)的跟蹤準(zhǔn)確性進(jìn)行分析，采用Benchmark評估方法[29]中的中心誤差和重疊率來衡量本算法跟蹤的準(zhǔn)確性，中心誤差定義為跟蹤窗中心位置與目標(biāo)中心位置的平均Euclidean距離，中心誤差越小，跟蹤越準(zhǔn)確，重疊率定義為跟蹤得到的目標(biāo)區(qū)域與真實(shí)目標(biāo)區(qū)域重疊的比例，重疊率越大，跟蹤越穩(wěn)定。

圖6 不同方法的葉片檢測結(jié)果

試驗(yàn)數(shù)據(jù)分析中，對所有跟蹤視頻每間隔5幀進(jìn)行人工標(biāo)記真實(shí)目標(biāo)的中心位置和覆蓋區(qū)域后，并選擇了KLT（kanade-lucas-tomasi）跟蹤算法[30]和本跟蹤算法對2種狀態(tài)下葉片跟蹤的準(zhǔn)確性進(jìn)行了比較。圖7為不同時(shí)刻3個(gè)葡萄葉片目標(biāo)在2種算法下部分視頻序列的跟蹤結(jié)果，綠色框表示KLT算法跟蹤結(jié)果，紅色框表示本文算法跟蹤結(jié)果，從圖中可以看出，目標(biāo)在開始運(yùn)動(dòng)時(shí)2種算法都可以有效跟蹤，但目標(biāo)在經(jīng)歷頻繁的形變和遮擋干擾下，KLT算法出現(xiàn)了不同程度跟蹤不準(zhǔn)確的現(xiàn)象，而本文算法在應(yīng)對變形，外觀變化和光照變化的干擾時(shí)，不斷進(jìn)行外觀模型的更新，基本可以實(shí)現(xiàn)對目標(biāo)的準(zhǔn)確跟蹤。表2顯示了在不同狀態(tài)下2種跟蹤算法的中心誤差和重疊率，結(jié)果表明2種狀態(tài)下KLT算法的平均中心誤差39.41像素，平均重疊率為0.57，而本文算法的平均中心誤差17.33像素，平均重疊率為0.83，本文算法均在2種運(yùn)動(dòng)狀態(tài)下取得了比KLT算法更小的中心誤差和更大的重疊率，平均重疊率高于KLT算法0.26，平均中心誤差下降22.08像素。針對生長狀態(tài)的跟蹤，本算法也取得了較小的跟蹤誤差和較大的重疊率，說明本算法在應(yīng)對光照變化、運(yùn)動(dòng)變化劇烈具有一定的魯棒性。

a. 第5幀 a. Frame 5thb. 第78幀 b.Frame78th c. 第146幀 c. Frame146thd. 第170幀d. Frame 170th

表2 2種算法跟蹤性能對比

5 結(jié) 論

葡萄葉片的檢測與跟蹤是對葉片生長狀態(tài)進(jìn)行監(jiān)測和分析的前提，通過在線視頻采集網(wǎng)絡(luò)，該文提出了一種基于機(jī)器視覺無線、分布式的葡萄葉片檢測與跟蹤方案。在葉片目標(biāo)檢測階段，在提取的/特征圖像中采用多角度的葉片檢測器進(jìn)行匹配，有效消除了光照的變化，且在不同背景下多葉片情形下的檢測準(zhǔn)確率為89.93%；在葉片跟蹤階段，引入葉片顏色特征后，采用在線判別模型跟蹤算法對檢測出的葉片目標(biāo)進(jìn)行跟蹤，降低了對目標(biāo)表觀特征相似區(qū)域跟蹤的可能性。試驗(yàn)表明，本文檢測算法在7種情形下的平均檢測率為88.31%，在開花期和結(jié)果實(shí)期2種復(fù)雜條件下的平均檢測率為83.75%；本文跟蹤算法在2種跟蹤狀態(tài)下的平均重疊率高于KLT算法0.26，平均中心誤差下降22.08像素。此外，本文檢測與跟蹤方法在環(huán)境變化適應(yīng)能力優(yōu)于其他算法，可為植物生長狀態(tài)實(shí)時(shí)監(jiān)控提供參考。

[1] 李燦燦，王寶，王靜，等. 基于K-means聚類的植物葉片圖像葉脈提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(17)：157－162.

Li Cancan, Wang Bao, Wang Jing, et al. Extracting vein of leaf image based on K-means clustering[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(17): 157－162. (in Chinese with English abstract)

[2] 王麗君，淮永建，彭月橙. 基于葉片圖像多特征融合的觀葉植物種類識(shí)別[J]. 北京林業(yè)大學(xué)學(xué)報(bào)，2015，37(1)： 55－61.Wang Lijun, Huai Yongjian, Peng Yuecheng. Method of identification of foliage from plants based on extraction of multiple features of leaf images[J]. Journal of Beijing Forestry University, 2015, 37(1): 55－61. (in Chinese with English abstract)

[3] 鄭小東，王曉潔，趙中堂. 基于形狀特征的植物葉柄與葉片分割算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2010，31(4)：918－920.Zheng Xiaodong, Wang Xiaojie, Zhao Zhongtang. Segmentation algorithm of leafstalk and lamina based on shape feature[J]. Computer Engineering and Design, 2010, 31(4): 918－920. (in Chinese with English abstract)

[4] 張星龍，馮全，楊梅，等. 基于光源不變圖和聚類算法的葉片陰影中病斑的分割[J]. 西北農(nóng)林科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2015，43(10)：189－194.Zhang Xinglong, Feng Quan, Yang Mei, et al. Segmentation of shaded plant lesions using illuminant invariant image and clustering algorithm[J].Journal of Northwest A & F University(Natural Science Edition), 2015, 43(10): 189－194. (in Chinese with English abstract)

[5] 馬媛，馮全，楊梅，等. 基于HOG的釀酒葡萄葉檢測[J].計(jì)算機(jī)工程與應(yīng)用，2016，52(15)：158－161. Ma Yuan, Feng Quan, Yang Mei, et al. Detection of wine grape leaves based on HOG[J]. Computer Engineering and Applications, 2016, 52(15): 158－161. (in Chinese with English abstract)

[6] 姜文濤，劉萬軍，袁姮. 基于軟特征理論的目標(biāo)跟蹤研究[J].計(jì)算機(jī)學(xué)報(bào)，2016，39(7)：1334－1355. Jiang Wentao, Liu Wanjun, Yuan Heng. Research of object tracking based on soft feature theory[J]. Chinese Journal of Computers, 2016, 39(7): 1334－1355. (in Chinese with English abstract)

[7] Airouche M, Bentabet L, Zelmat M, etal. Pedestrian tracking using color, thermal and location cue measurements: A DSmT-based framework[J]. Machine Vision and Applications. 2012, 23(5): 999－1010.

[8] Ramirez-Paredes J P, Sanchez-Yanez R E, Ayala-Ramirez V. A fuzzy inference approach to template-based visual tracking[J]. Machine Vision and Applications, 2012, 23(3): 427－439.

[9] Rezaeian M, Vo B N. Error bounds for joint detection and estimation of a single object with random finite set observation[J]. IEEE Transactions on Signal Processing, 2010, 58(3): 1493-1506.

[10] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning – detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409－1422.

[11] Tian Y L, Senior A, Lu M. Robust and efficient foreground analysis in complex surveillance videos[J]. Machine Vision and Applications, 2012, 23(5): 967－983.

[12] 付毅，吳澤民，田暢，等. 場景自適應(yīng)的跟蹤特征選擇機(jī)制研究[J]. 光學(xué)技術(shù)，2014，40(6)：551－559.Fu Yi, Wu Zemin, Tian Chang, et al. Research on scene adaptive tracking feature selection[J]. Optical Technique, 2014, 40(6): 551－559. (in Chinese with English abstract)

[13] Tang S, Andriluka M, Schiele B. Detection and tracking of occluded people[J]. International Journal of Computer Vision, 2014, 110(1): 58－69.

[14] Lavi B. Online multiple face detection and tracking from video[J]. Diagnostic Microbiology & Infectious Disease, 2014, 12(1): 39－43.

[15] Deniz O, Bueno G, Salido J, et al. Face recognition using histograms of oriented gradients[J]. Pattern Recognition Letters, 2011, 32(12): 1598－1603.

[16] Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627－1645.

[17] Dollar P, Appel R, Belongie S, et al. Fast feature pyramids for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(8): 1532－1545.

[18] 孫黎亞，張樺，薛彥兵，等. 基于分級判斷的行人檢測[J].光電子·激光，2016(3)：332－338. Sun Liya, Zhang Hua, Xue Yanbing, et al.Pedestrian detection based on hierarchical judgement[J]. Journal of Optoelectronics · Laser, 2016(3): 332－338. (in Chinese with English abstract)

[19] Wang Q, Zhu W, Wang B. Three-Dimensional SVM with latent variable: application for detection of lung lesions in CT images[J]. Journal of Medical Systems, 2015, 39(1): 1–8.

[20] 王文江，黃山，張洪斌. 一種基于Mean Shift和Kalman預(yù)測的帶寬自適應(yīng)跟蹤算法[J].計(jì)算機(jī)工程與科學(xué)，2013，35(5)：87－92.Wang Wenjiang, Huang Shan, Zhang Hongbin. Bandwidth- adaptive tracking algorithm based on Mean Shift and Kalman prediction[J]. Computer Engineering & Science, 2013, 35(5): 87－92. (in Chinese with English abstract)

[21] Milan A, Roth S, Schindler K. Continuous energy minimization for multi-target tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(1): 58－72.

[22] Domingos P, Pazzani M. On the optimality of the simple bayesian classifier under zero-one loss[J]. Machine Learning, 1998, 29(2/3): 103－130.

[23] Possegger H, Mauthner T, Bischof H. In defense of color-based model-free tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 2113－2120.

[24] 董文會(huì)，常發(fā)亮，李天平. 融合顏色直方圖及SIFT特征的自適應(yīng)分塊目標(biāo)跟蹤方法[J]. 電子與信息學(xué)報(bào)，2013，35(4)：770－776. Dong Wenhui, Chang Faliang, Li Tianping. Adaptive fragments-based target tracking method fusing color histogram and SIFT features[J]. Journal of Electronics & Information Technology, 2013, 35(4): 770－776. (in Chinese with English abstract)

[25] Hosang J, Benenson R, Dollar P, et al. What makes for effective detection proposals?[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(4): 814－830.

[26] Everingham M, Gool L V, Williams C K I, et al. The pascal, visual object classes (VOC) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303－338.

[27] 鄧海峰. 行人檢測與跟蹤關(guān)鍵技術(shù)研究[D]. 北京：北京交通大學(xué)，2011.Deng Haifeng. Research on Object Detection and Tracking[D]. Beijing:Beijing Jiaotong University, 2011. (in Chinese with English abstract)

[28] Zitnick C L, Dollar P. Edge boxes: Locating object proposals from edges[C]//European Conference on Computer Vision. Springer International Publishing, 2014: 391－405.

[29] Wu Y, Lim J, Yang M H. Online object tracking: A benchmark[J]. IEEE Conference on Computer Vision & Pattern Recognition, 2013, 9(4): 2411－2418.

[30] 劉軍，梁久禎，柴志雷. 基于DM642的KLT跟蹤算法的實(shí)現(xiàn)及優(yōu)化[J]. 激光與紅外，2011，41(8)：936－940.Liu Jun, Liang Jiuzhen, Chai Zhilei. Implementation and optimization of KLT tracking algorithm based on DM642[J]. Laser &Infrared, 2011, 41(8): 936－940. (in Chinese with English abstract)

Grape leaves detection and tracking based on improved deformable part model and discriminative model

Yang Sen1, Feng Quan1※, Wang Shuzhi2, Zhang Rui1

(1.730070,; 2.730030,)

Recently, some researchers have exploited computer vision based video analysis to monitor the growth status of crop under the natural condition. Since leaf is the largest organ of the vast majority of plants, it often serves as primary monitoring object. Most of analysis algorithms of illness detect the blobs on the leaf surface and then judge the kind of diseases. In a leaf image, the blobs may be caused by shadow, dust, highlight, and so on, which are prone to be confused with the blobs caused by diseases. To accurately judge the illness of a leaf for online surveillance, it is important to consider the time factor, since the blobs caused by the aforementioned factors may disappear with time elapsing. There exist some reasons such as the various poses, mutual occlusion, appearance and the irregular movement, which make the conventional detection and tracking methods hard to locate the leaves accurately in the images. In this paper, a novel scheme to monitor the leaves of vine grape was proposed. To improve the accuracy of leaves detection, a traditional RGB (red, green, blue) image was replaced by a G/R image to train the deformable part model (DPM) since the former makes it easier to distinguish the grape leaves from the background than the latter. The DPM detector for leaves was constructed based on HOG feature, which was a mixture over 3 components representing different aspects of a leaf. Since high dimension of HOG feature hampered real-time detection, PCA (principal component analysis) method was exploited to reduce its dimension, which speeded up the process of training and detection effectively. By utilizing the trained model, the overall score was computed for each root location according to the best possible placement of the parts through the matching procedure. The scores were sorted and the detection with the highest score was picked out. To robustly trace the sharp movement of a leaf, probability model based online object tracking algorithm with color features was put forward. In the proposed algorithm, object-background model capable of differentiating a leaf from the background was constructed firstly. To reduce the risk of drifting towards the regions which exhibit similar appearance of leaf (but not real leaf) at a next frame, then a distractor-aware representation was combined to the formal model to generate a discriminative object model. Based on this model, detection rate and false detection rate were computed. This allows us to efficiently obtain the new object location in the next frame. In the long-term tracking process, detection repeated at the 30-minute interval to check whether new leaves appeared in the vision field or not. For the sake of the robustness, the images were gathered at various conditions, such as sunny day, cloudy day, shadow, flowering stages and fruiting stages to train the detection and tracking models. Experiments were conducted to evaluate the performance of leaf detection at 5 different settings. The experimental results showed that the average detection rate reached up to 88.31%, and the average false detection rate fell down to 8.73%. For the tracking algorithm, the results were also exciting: The overlap rate was as high as 0.83, and the average center error was 17.33 pixels. Compared with the classical KLT (Kanade-Lucas-Tomasi) tracking algorithm, our algorithm demonstrated the better robustness in the condition of illumination change and sharp movement.

computer vision; image processing; models; grape leaf; detection; tracking; deformable part models; discriminative model

10.11975/j.issn.1002-6819.2017.06.018

TP391.41

A

1002-6819(2017)-06-0140-08

2016-10-13

2017-02-05

國家自然基金（61461005）；甘肅省科技重大專項(xiàng)計(jì)劃（1502NKDF023）

楊 森，男（漢族），甘肅武威人，主要從事圖像處理，模式識(shí)別。蘭州甘肅農(nóng)業(yè)大學(xué)工學(xué)院，730070。Email：1535361383@qq.com

馮 全，男（漢族），甘肅蘭州人，教授，博士，主要從事圖像處理、信息安全。蘭州 甘肅農(nóng)業(yè)大學(xué)工學(xué)院，730070。Email：fquan@sina.com