朱　莉，羅　靖，徐勝勇，楊　勇，趙海濤，李衛(wèi)豪

(1.湖北工業(yè)大學(xué) 太陽(yáng)能高效利用湖北省協(xié)同創(chuàng)新中心，武漢　430068；2.華中農(nóng)業(yè)大學(xué) 工學(xué)院，武漢　430070)

?

基于顏色特征的油菜害蟲機(jī)器視覺診斷研究

朱莉1，羅靖2，徐勝勇2，楊勇2，趙海濤2，李衛(wèi)豪2

(1.湖北工業(yè)大學(xué) 太陽(yáng)能高效利用湖北省協(xié)同創(chuàng)新中心，武漢430068；2.華中農(nóng)業(yè)大學(xué) 工學(xué)院，武漢430070)

摘要：害蟲的準(zhǔn)確識(shí)別是針對(duì)性地施用農(nóng)藥以有效治理蟲害的基礎(chǔ)，而人工識(shí)別的勞動(dòng)強(qiáng)度大且主觀性強(qiáng)。為此，提出了一種利用顏色特征的害蟲視覺識(shí)別技術(shù)。使用GrabCut算法從蟲害圖像中分割出完整的害蟲主體圖像并計(jì)算其最小外接矩形區(qū)域的H/S通道直方圖，使用害蟲基準(zhǔn)圖像對(duì)其進(jìn)行直方圖反向投影并計(jì)算交叉匹配指數(shù)。匹配指數(shù)和害蟲標(biāo)簽共同組成的特征向量用于訓(xùn)練C4.5分類器。計(jì)算待檢害蟲圖像的交叉匹配指數(shù)，輸入分類器即可得到識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果表明：該技術(shù)可準(zhǔn)確識(shí)別菜蝽、菜青蟲、猿葉甲、跳甲及蚜蟲5種害蟲，準(zhǔn)確率達(dá)到92%。

關(guān)鍵詞：油菜害蟲；計(jì)算機(jī)視覺；顏色直方圖；C4.5算法

0引言

油菜是我國(guó)第一大油料作物，但病蟲害的日趨嚴(yán)重制約了其單產(chǎn)的提高。針對(duì)不同的病蟲害選擇性地施用農(nóng)藥，可以有效保障蟲害的治理，減小環(huán)境污染。準(zhǔn)確施藥的基本前提是病蟲害類別的精確判定。傳統(tǒng)的蟲害檢測(cè)方法是農(nóng)業(yè)工作者根據(jù)經(jīng)驗(yàn)進(jìn)行肉眼判斷,勞動(dòng)強(qiáng)度很大且缺乏客觀性，往往很難準(zhǔn)確預(yù)測(cè)、識(shí)別、防治病蟲害而導(dǎo)致錯(cuò)過最佳治療時(shí)機(jī)，或者農(nóng)藥使用不當(dāng)造成環(huán)境污染。因此，迫切需要一種快捷而準(zhǔn)確的油菜蟲害識(shí)別方法。

計(jì)算機(jī)視覺使用的各種圖像傳感器擁有遠(yuǎn)超人類的視覺分辨能力，非常適用于病蟲害的識(shí)別[1-2]?；谟?jì)算機(jī)視覺的病蟲害識(shí)別技術(shù)可以分為兩類：一類是利用病蟲害為害作物形成的特征進(jìn)行反向識(shí)別。如文獻(xiàn)[3]中提出的基于多特征融合的農(nóng)作物害蟲圖像識(shí)別，通過多種特征組合方式準(zhǔn)確識(shí)別水稻、油菜、玉米、大豆4種作物的34種害蟲。文獻(xiàn)[4]提取為害棉花葉片的顏色、形狀和紋理特征，應(yīng)用徑向基支持向量機(jī)識(shí)別主要棉花蟲害，識(shí)別正確率達(dá) 88.1%。蔡清等對(duì)蟲食菜葉圖像進(jìn)行預(yù)處理后，自動(dòng)提取蟲食菜葉圖像圓度、復(fù)雜度、球形度等7個(gè)形狀特征值，并構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行識(shí)別[5]。文獻(xiàn)[6]計(jì)算椪柑病蟲害為害狀圖像的傅里葉變換幅度譜的多重分形特征作為特征值，建立 BP 神經(jīng)網(wǎng)絡(luò)病蟲害識(shí)別模型進(jìn)行病蟲害自動(dòng)識(shí)別。另一類是利用害蟲本體特征進(jìn)行直接識(shí)別。例如，高雄等提出一種基于機(jī)器視覺的歐氏距離病蟲害自動(dòng)識(shí)別檢測(cè)方法，以顏色特征為基礎(chǔ)利用幾何閾值選取和RGB空間特征的變換，實(shí)現(xiàn)病蟲害的自動(dòng)識(shí)別，準(zhǔn)確率達(dá)到88.3%[7]。

顏色特征對(duì)圖像本身的尺寸、方向、視角的依賴性較小，具有較高的魯棒性。因此，本文提出了一種基于顏色特征的油菜害蟲智能識(shí)別方法，綜合運(yùn)用圖像分割、顏色特征提取與匹配、數(shù)據(jù)挖掘技術(shù)，實(shí)現(xiàn)了大田環(huán)境下的5種主要油菜害蟲的精確識(shí)別。全部算法基于OpenCV(因特爾公司開發(fā)的開源視覺函數(shù)庫(kù))和VS2010(微軟公司開發(fā)的編程軟件)實(shí)現(xiàn)，具有較好的通用性和可移植性。

1基于顏色直方圖反向投影的特征提取

常見的油菜害蟲有菜青蟲、跳甲、猿葉甲、蚜蟲及菜蝽等5種，其顏色差異明顯。顏色直方圖常被用于描述顏色特征，表征不同色彩在整幅圖像中所占的比例，特別適于描述那些難以進(jìn)行自動(dòng)分割的圖像[8]。HSV顏色空間的兩個(gè)分量色調(diào)H和飽和度S包含了圖像的顏色信息。不同油菜害蟲的H/S通道顏色直方圖存在顯著的區(qū)別，圖1所示為跳甲和蚜蟲的H和S通道直方圖。因此，可以根據(jù)害蟲的顏色直方圖特征進(jìn)行識(shí)別。

圖1　跳甲和蚜蟲圖像及其H/S通道直方圖

直方圖反向投影是一種記錄像素點(diǎn)或者像素塊如何適應(yīng)直方圖模型中分布的方式。使用一個(gè)顏色直方圖，可以利用反向投影在圖像中找到該區(qū)域。目標(biāo)圖像經(jīng)過直方圖反向投影會(huì)得到一幅概率密度圖(即反向投影圖)，圖中的每一個(gè)像素點(diǎn)的灰度值反映觀測(cè)數(shù)組在某個(gè)分布下的概率[9]。圖2展示了猿葉甲基準(zhǔn)圖像對(duì)5種害蟲圖像的H/S通道直方圖反向投影圖。其中，圖2(d)具有最大面積的高亮區(qū)域，表征較高的匹配度，這與實(shí)際情況一致；與此同時(shí)，圖2(a)的整體亮度也較高。這種情況下，無法根據(jù)單組反向投影結(jié)果唯一確定害蟲種類，必須使用待檢的蟲害圖像與全部害蟲基準(zhǔn)圖像進(jìn)行反向投影圖，即交叉匹配進(jìn)行識(shí)別。

圖2　猿葉甲基準(zhǔn)圖像對(duì)5種蟲害圖像的反向直方圖投影

RGB格式圖像轉(zhuǎn)換為HSV格式后，再分別計(jì)算H和S通道的顏色直方圖[10]。對(duì)于一幅M×N分辨率的測(cè)試圖像和P×Q的基準(zhǔn)圖像，直方圖反向投影的計(jì)算流程為：

1)從測(cè)試圖像中的像素坐標(biāo)(0,0)開始，切割一塊(0,0)至(P,Q)的臨時(shí)圖像，并生成直方圖；

2)將臨時(shí)圖像和基準(zhǔn)圖像的直方圖對(duì)比，對(duì)比結(jié)果記為反向投影圖的像素點(diǎn)(0,0)的像素值；

3)從測(cè)試圖像中切割區(qū)域?yàn)?0,1)至(P,Q+1)的臨時(shí)圖像，對(duì)比直方圖并記錄像素值到反向投影圖的像素坐標(biāo)(0,1)；

4)重復(fù)前述步驟直至結(jié)束。

設(shè)立“匹配指數(shù)” Pm衡量?jī)煞鶊D像顏色直方圖相似的程度。對(duì)反向投影圖中有效匹配點(diǎn)(灰度大于設(shè)定的閥值的像素點(diǎn))的像素值進(jìn)行加權(quán)算術(shù)平均處理，并計(jì)算其在全部灰度級(jí)中出現(xiàn)的概率作為匹配指數(shù)，則有

(1)

其中，Pm是匹配指數(shù)；C是像素值大于閥值PT的像素點(diǎn)個(gè)數(shù)；Pi是第i個(gè)不為零的像素點(diǎn)的灰度值，是加權(quán)系數(shù)，一般取Pi=2～3；n是數(shù)字圖像的灰度級(jí)。

2基于C4.5算法的模式識(shí)別

2.1C4.5算法分類器

決策樹是以實(shí)例為基礎(chǔ)的歸納算法，適合于從一組無次序、無規(guī)則的事例中推理出決策樹表示形式的分類規(guī)則。C4.5算法是經(jīng)典的決策樹算法ID3算法的改進(jìn),增加了對(duì)連續(xù)型屬性、屬性值空缺情況的處理[11-12]。C4.5算法采用基于信息熵的方法遞歸形成決策樹。不確定性的最佳評(píng)估方法是平均信息量,即信息熵。信息量計(jì)算式為

(2)

其中,pi是任意樣本屬于Ci的概率,用si/S表示；S是數(shù)據(jù)樣本的集合,假定類別屬性具有m個(gè)不同值,定義m個(gè)不同類Ci(i=1,…,m)。設(shè)Si是類Ci中的樣本數(shù)，利用屬性A劃分當(dāng)前樣本集合所需信息熵E(A,S)計(jì)算式為

(3)

設(shè)屬性A具有m個(gè)不同值{a1,a2,…,am},利用A將S劃分為m個(gè)子集{s1,s2,…,sm}。其中，Sj為S中在A上具有值aj的樣本,sij是子集Sj中類Ci的樣本數(shù)。

fG(A,S)=I(S1,S2,L,Sm)-E(A,S)

(4)

C4.5算法采用信息增益比來描述屬性對(duì)分類的貢獻(xiàn),用以消除偏向具有大量屬性值屬性的偏差。其中，確定屬性A本身需要的信息熵,即分裂信息公式為

(5)

其中，S1～S2是m個(gè)值的屬性A分割S而形成的m個(gè)樣本子集。實(shí)際上,分裂信息是S關(guān)于屬性A的各值的熵。增益比率是衡量屬性分裂數(shù)據(jù)的廣度和均勻性。信息增益比定義為

(6)

采用此增益比劃分屬性得到?jīng)Q策樹,其每個(gè)節(jié)點(diǎn)取具有最大信息增益比的屬性。C4.5算法具體的實(shí)現(xiàn)步驟如下：

1)訓(xùn)練數(shù)據(jù)集的設(shè)置和獲取。訓(xùn)練數(shù)據(jù)集由一組特征參數(shù)和對(duì)應(yīng)的唯一分類標(biāo)簽組成。每一幅訓(xùn)練圖像與全部基準(zhǔn)圖像進(jìn)行直方圖反向投影并計(jì)算匹配指數(shù)，得到一組交叉匹配指數(shù)，即為一組特征參數(shù)。在本文中，分類標(biāo)簽為A-E，依次代表菜蝽、菜青蟲、猿葉甲、跳甲、蚜蟲。

2)訓(xùn)練。每種類別標(biāo)簽對(duì)應(yīng)著一種屬性，首先計(jì)算所有樣本的信息增益比，根據(jù)最大的信息增益比確定根屬性，引出一個(gè)分支，樣本按此劃分；對(duì)引出的每個(gè)分枝用此分類法進(jìn)行分類，再引出分枝直至分類完畢；輸入訓(xùn)練數(shù)據(jù)集，算法執(zhí)行完畢，生成分類規(guī)則。

3)分類。計(jì)算測(cè)試圖像的交叉匹配指數(shù)，組成測(cè)試向量輸入C4.5分類器，依據(jù)分類規(guī)則，分類器將測(cè)試數(shù)據(jù)集標(biāo)注類別標(biāo)簽，得到分類結(jié)果。

2.2程序流程圖

交叉匹配指數(shù)的計(jì)算是本文算法的關(guān)鍵。首先，使用GrabCut算法獲取蟲害圖像中的害蟲本體區(qū)域，并計(jì)算其最小外接矩形作為訓(xùn)練圖像。害蟲基準(zhǔn)圖像對(duì)訓(xùn)練圖像進(jìn)行直方圖反向投影得到反向投影圖，該反向投影圖的有效像素點(diǎn)使用式(1)計(jì)算匹配指數(shù)。一幅訓(xùn)練圖像對(duì)全部基準(zhǔn)圖像的匹配指數(shù)加上該害蟲對(duì)應(yīng)的分類標(biāo)簽，組成C4.5算法的訓(xùn)練數(shù)據(jù)集，輸入分類器完成訓(xùn)練，生成分類規(guī)則。在模式識(shí)別環(huán)節(jié)，計(jì)算待檢圖像與全部基準(zhǔn)圖像的交叉匹配指數(shù)，輸入C4.5分類器，根據(jù)之前訓(xùn)練得到的分類規(guī)則，自動(dòng)地得到分類結(jié)果，即待檢圖像中害蟲的種類。完整算法流程如圖3所示。

3實(shí)驗(yàn)與結(jié)果分析

3.1實(shí)驗(yàn)圖像的獲取及預(yù)處理

實(shí)驗(yàn)圖像統(tǒng)一為彩色的JPG格式，主要通過油菜大田拍攝、因特網(wǎng)及書籍文獻(xiàn)等途徑獲取?；鶞?zhǔn)圖像是基于顏色特征進(jìn)行害蟲識(shí)別的參考圖像，對(duì)識(shí)別結(jié)果具有關(guān)鍵影響。5種害蟲各選取4幅顏色特征最顯著的圖片用于制作基準(zhǔn)圖像。為排除圖像背景對(duì)診斷產(chǎn)生的干擾，使用GrabCut算法從基準(zhǔn)圖像中分割出害蟲本體，再進(jìn)行后續(xù)處理，以提高匹配精度[13]。圖4為使用GrabCut算法從蟲害圖像中提取的害蟲本體圖像，依此為菜蝽、菜青蟲和猿葉甲。

圖3　算法流程圖

圖4　使用GrabCut進(jìn)行害蟲本體圖像提取

計(jì)算害蟲本體圖像的最小外接矩形，并取矩形中心的80像素×80像素矩形區(qū)域，作為基準(zhǔn)圖像。圖5展示了5種害蟲4組基準(zhǔn)圖像中的一組。

Fig.5　A set of the template image

3.2害蟲識(shí)別實(shí)驗(yàn)

在H/S通道顏色直方圖計(jì)算中，設(shè)定30個(gè)劃分度，其中H通道取值范圍為[0，180]，S通道取值范圍為[0，255]。計(jì)算顏色落在每個(gè)小區(qū)間內(nèi)的像素?cái)?shù)量可以得到顏色直方圖，再計(jì)算直方圖反向投影圖和匹配指數(shù)。

在C4.5算法分類器的訓(xùn)練中，5個(gè)標(biāo)簽各設(shè)置了4幅共計(jì)20幅基準(zhǔn)圖像，并對(duì)應(yīng)設(shè)置了6幅訓(xùn)練圖像共計(jì)30幅。1幅訓(xùn)練圖像與全部20幅基準(zhǔn)圖像進(jìn)行H/S通道直方圖反向投影并計(jì)算交叉匹配指數(shù)，得到1組交叉匹配指數(shù)和1個(gè)類別標(biāo)簽一起組成一個(gè)21維的訓(xùn)練向量。30幅訓(xùn)練圖像得到的訓(xùn)練向量共同構(gòu)成了訓(xùn)練數(shù)據(jù)集，輸入C4.5分類器進(jìn)行訓(xùn)練生成分類規(guī)則并保存為TXT格式文檔。

5種害蟲各使用10幅共計(jì)50幅測(cè)試圖像，用于測(cè)試本文算法。測(cè)試圖像的交叉匹配指數(shù)組成50×20矩陣，作為分類器的測(cè)試特征向量輸入，得到分類標(biāo)簽，即識(shí)別結(jié)果。表1展示了測(cè)試的結(jié)果，0～9是測(cè)試圖像的序號(hào)，標(biāo)簽A～E依次代表菜蝽、菜青蟲、猿葉甲、跳甲、蚜蟲。其中，編號(hào)“A4”等4個(gè)樣本識(shí)別結(jié)果錯(cuò)誤,總體識(shí)別準(zhǔn)確率達(dá)到92%。

表1　C4.5分類測(cè)試結(jié)果

由于實(shí)驗(yàn)圖像多樣化的獲取方式，在環(huán)境、光照、背景等影響下，油菜害蟲圖像的顏色特征缺乏絕對(duì)的一致性，因此測(cè)試了基準(zhǔn)圖像和訓(xùn)練圖像數(shù)量對(duì)診斷結(jié)果的影響。圖6左圖為基準(zhǔn)圖像數(shù)量對(duì)診斷結(jié)果的影響，診斷準(zhǔn)確率隨著圖像數(shù)量的增加而提高，大于4之后保持穩(wěn)定，反而會(huì)導(dǎo)致計(jì)算時(shí)間的增加。圖6右圖為訓(xùn)練圖像數(shù)量與診斷準(zhǔn)確率之間的關(guān)系。一般而言，訓(xùn)練樣本數(shù)量的增加會(huì)導(dǎo)致診斷準(zhǔn)確率的提升，訓(xùn)練樣本數(shù)量超過一定數(shù)量(大于8)時(shí)準(zhǔn)確率基本維持不變。

圖6　基準(zhǔn)圖像和訓(xùn)練圖像數(shù)量對(duì)診斷準(zhǔn)確率的影響

4討論與結(jié)論

基于顏色特征的蟲害識(shí)別對(duì)于圖像源的質(zhì)量要求很高，在圖像分割環(huán)節(jié)GrabCut圖割方法有效保證了識(shí)別準(zhǔn)確率?；鶞?zhǔn)圖像和訓(xùn)練樣本的數(shù)量對(duì)于C4.5算法產(chǎn)生穩(wěn)定而精確的決策參數(shù)也有很大的影響?？傮w而言，油菜害蟲識(shí)別的結(jié)果是令人滿意的。其中，菜青蟲的錯(cuò)檢率較高，這是由于在圖像分割環(huán)節(jié)菜青蟲與背景(通常是綠色)分割誤差較大，造成后續(xù)的匹配指數(shù)計(jì)算產(chǎn)生較大誤差。預(yù)計(jì)通過改進(jìn)圖像分割算法，可以有效提升檢測(cè)精度。此外，在直方圖反向投影環(huán)節(jié)，H/S通道的分辨率設(shè)置過低，會(huì)降低識(shí)別正確率，設(shè)置過高會(huì)導(dǎo)致程序執(zhí)行時(shí)間成倍增加，本實(shí)驗(yàn)中分別設(shè)置為40和10。根據(jù)圖像源質(zhì)量設(shè)置合理的分辨率，有助于提高識(shí)別速度和準(zhǔn)確率。

本研究表明：依據(jù)顏色特征進(jìn)行油菜害蟲識(shí)別方法是準(zhǔn)確而高效的。本文僅對(duì)害蟲的顏色特征進(jìn)行了研究，若綜合考慮害蟲的紋理和形狀特征，將進(jìn)一步提高識(shí)別準(zhǔn)確率。此外，幼蟲階段的害蟲識(shí)別對(duì)于大田生產(chǎn)更具實(shí)際意義，有待進(jìn)一步深入研究。

參考文獻(xiàn)：

[1]鄒修國(guó).基于計(jì)算機(jī)視覺的農(nóng)作物病蟲害識(shí)別研究現(xiàn)狀[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2011, 20(6):238-242.

[2]施文，鄒銳標(biāo)，王訪，等.基于多重分形的油菜病蟲害葉片圖像分割[J].湖南農(nóng)業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版, 2014，40(5):556-560.

[3]Jie Zhang, R W, Chengjun Xie，et al. Crop Pests Image Recognition Based on Multi-features Fusion[J].Journal of Computational Information Systems,2014， 10(12):5121-5129.

[4]張建華，冀榮華，袁雪，等.基于徑向基支持向量機(jī)的棉花蟲害識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2011,42(8):178-183.

[5]蔡清，何東健.基于圖像分析的蔬菜食葉害蟲識(shí)別技術(shù)[J].計(jì)算機(jī)應(yīng)用,2010,37(7):1870-1872.

[6]溫芝元, 曹樂平.椪柑果實(shí)病蟲害的傅里葉頻譜重分形圖像識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào), 2013, 29(23):159-165.

[7]高雄,王海超.甘藍(lán)菜青蟲自動(dòng)識(shí)別系統(tǒng)的開發(fā)與試驗(yàn)研究[J].農(nóng)機(jī)化研究, 2015,37(1): 205-208.

[8]Z Zivkovic, B.K.An EM-like algorithm for color-histogram-based object tracking[J]. Computer Vision and Pattern Recognition, 2004(1):798-803.

[9]董傲霜,宋宏亮.基于SIFT 特征和顏色融合的圖像檢索方法[J].吉林大學(xué)學(xué)報(bào):工學(xué)版, 2013,43(S1):440-444.

[10]M J Swain, D H B. Color indexing[J]. International Journal of Computer Vision, 1991, 7(1): 11-32.

[11]Kretschmann, E, W Fleischmann. Automatic rule generation for protein annotation with the C4.5 data mining algorithm applied on SWISS-PROT[J]. Bioinformatics, 2001,17(10): 920-926.

[12]Serpen, G, D Tekkedil,M Orra.A knowledge-based artificial neural network classifier for pulmonary embolism diagnosis[J]. Computers in Biology and Medicine, 2008,38(2):204-220.

[13]Rother, C, V Kolmogorov. "GrabCut" - Interactive foreground extraction using iterated graph cuts[J]. ACM Transactions on Graphics, 2004,23(3):309-314.

Abstract ID:1003-188X(2016)06-0055-EA

Machine Vision Recognition of Rapeseed Pests Based on Color Feature

Zhu Li1， Luo Jing2， Xu Shengyong2， Yang Yong2， Zhao Haitao2， Li Weihao2

(1.Hubei Collaborative Innovation Center for High-efficiency Utillization of Salar Energy, Hubei University of Technology, Wuhan 430068,China；2.College of Engineering, Huazhong Agricultural University, Wuhan 430070, China)

Abstract：The accurate identification of rapeseed pests is the foundation for using the pesticide pertinently. Manual recognition is labour-intensive and strong subjective. The principal part image of the pets was extracted using the GrabCut algorithm and the minimum circumscribed rectangle of the principal part was calculated. Then histogram backprojection in H/S channels was employed between the template images and the rectangle image to obtain the cross matching ratio. The feature vector consist of the ratio and the label of pests was employed to train the C4.5 classifier. With the cross matching ratio of the checking image, the C4.5 classifier may identify the species of the pets. The experiment showed that the proposed method may identify five kinds of rapeseed accurately such as erythema, cabbage caterpillar, colaphellus bowringii baly, flea beetle and aphid with the recognition rate of 92%.

Key words：rapeseed pests; computer vision; color histogram; C4.5 Algorithm

文章編號(hào)：1003-188X(2016)06-0055-04

中圖分類號(hào)：S431.192；TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

作者簡(jiǎn)介：朱莉(1982-)，女，武漢人，講師，博士，(E-mail) julianabiding@126.com。通訊作者：徐勝勇(1980-)，男，湖北蘄春人，講師，博士，(E-mail)xsy@mail.hzau.edu.cn。

基金項(xiàng)目：湖北省自然科學(xué)基金面上項(xiàng)目(2014CFB589)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)(2014QC004)；太陽(yáng)能高效利用湖北省協(xié)同創(chuàng)新中心開放基金項(xiàng)目 (HBSKFMS2014032)

收稿日期：2015-05-05