張傳棟++徐漢飛++陳弘毅++宋懷波

摘要：為實(shí)現(xiàn)蘋(píng)果目標(biāo)的識(shí)別及其空間定位，提出了一種自然場(chǎng)景下蘋(píng)果目標(biāo)的識(shí)別與定位方法。該方法首先將RGB顏色空間轉(zhuǎn)換至HIS顏色空間以得到自然場(chǎng)景下蘋(píng)果圖像的色調(diào)分量H和飽和度分量S，為了充分利用其色調(diào)信息，采用了基于超紅圖像的蘋(píng)果目標(biāo)識(shí)別方法并應(yīng)用基于區(qū)域的分割方法實(shí)現(xiàn)了目標(biāo)的有效分割；接著利用輪廓曲率法抽取連續(xù)光滑的輪廓曲線并估計(jì)該光滑曲線段的圓心及其半徑參數(shù)，實(shí)現(xiàn)果實(shí)的定位；最后利用逐行掃描法，結(jié)合蘋(píng)果生理特性，實(shí)現(xiàn)了蘋(píng)果采摘點(diǎn)的有效定位。為了驗(yàn)證算法的有效性，利用50幅富士蘋(píng)果圖像進(jìn)行了試驗(yàn)。試驗(yàn)結(jié)果表明，蘋(píng)果及其果柄的識(shí)別率在80%以上，對(duì)于輕度遮擋的蘋(píng)果目標(biāo)，基本滿(mǎn)足其定位要求。

關(guān)鍵詞：農(nóng)業(yè)電氣化與自動(dòng)化；蘋(píng)果圖像分割；目標(biāo)定位；輪廓曲率；HOUGH圓擬合

中圖分類(lèi)號(hào)：TP391.4

文獻(xiàn)標(biāo)識(shí)碼：A

DOI：10.3969/j.issn.1003-6970.2015.08.007

0 引言

果實(shí)目標(biāo)的準(zhǔn)確識(shí)別與精確定位是采摘機(jī)器人視覺(jué)系統(tǒng)必須解決的關(guān)鍵問(wèn)題。在自然條件下，果實(shí)目標(biāo)的識(shí)別易受天氣、果實(shí)遮擋等諸多因素的影響，識(shí)別難度大，準(zhǔn)確率不高。運(yùn)用計(jì)算機(jī)視覺(jué)技術(shù)，結(jié)合果實(shí)目標(biāo)輪廓特征來(lái)實(shí)現(xiàn)自然場(chǎng)景下蘋(píng)果果實(shí)目標(biāo)的準(zhǔn)確識(shí)別是解決該問(wèn)題的有效手段，受到了廣泛關(guān)注。

在果蔬采摘機(jī)器人機(jī)器視覺(jué)方面，研究人員開(kāi)展了大量的研究工作。D'Esnon等采用彩色視覺(jué)系統(tǒng)對(duì)樹(shù)上蘋(píng)果進(jìn)行檢測(cè)，通過(guò)對(duì)彩色圖像分割得到二值圖像后找到各水果區(qū)域的中心。楊國(guó)彬等直接使用RGB分量作為貝葉斯分類(lèi)器的輸入進(jìn)行目標(biāo)與背景的分類(lèi)，由于圖像的復(fù)雜性，其效果并不穩(wěn)定。趙杰文等研究了基于HIS（Hue，Intensity，Saturation）顏色特征的田間成熟番茄識(shí)別技術(shù)，實(shí)現(xiàn)了成熟番茄目標(biāo)的準(zhǔn)確提取。張鐵中等提出了一種基于彩色空間參照表的果實(shí)目標(biāo)提取分割算法，為該類(lèi)型目標(biāo)的準(zhǔn)確識(shí)別提供了新的思路。荀一等針對(duì)單果遮擋目標(biāo)的識(shí)別問(wèn)題，根據(jù)其輪廓曲率變化情況，通過(guò)提取連續(xù)光滑輪廓線段并進(jìn)行圓擬合的方式，較好地實(shí)現(xiàn)了蘋(píng)果目標(biāo)的識(shí)別。

鑒于上述，本研究擬提出一種基于輪廓曲率的樹(shù)上蘋(píng)果目標(biāo)識(shí)別與定位方法，首先將采集到的圖像在HIS顏色空間下進(jìn)行預(yù)處理操作，并選擇基于區(qū)域分割的方法，同時(shí)結(jié)合數(shù)學(xué)形態(tài)學(xué)理論進(jìn)行圖像分割，較好地實(shí)現(xiàn)目標(biāo)與背景的分離；然后運(yùn)用輪廓曲率特征得到光滑輪廓曲線并進(jìn)行圓心及半徑等參數(shù)的估計(jì)，并通過(guò)圓擬合方法得到蘋(píng)果的準(zhǔn)確位置；最終實(shí)現(xiàn)蘋(píng)果采摘點(diǎn)的精確定位。

1 基于HIS顏色空間和區(qū)域分割的蘋(píng)果目標(biāo)分割

1.1 RGB顏色空間與HIS顏色空間的轉(zhuǎn)換

合適的顏色空間是實(shí)現(xiàn)目標(biāo)分割的基礎(chǔ)，常見(jiàn)的RGB顏色空間將顏色看作是三基色的組合，但各分量之間存在很強(qiáng)的相關(guān)性，其細(xì)節(jié)難以進(jìn)行數(shù)字化的調(diào)整。HIS顏色模型可以反映人的視覺(jué)系統(tǒng)感知彩色的方式，以色調(diào)、飽和度和強(qiáng)度3種基本特征量來(lái)表示給定顏色。由于人的視覺(jué)對(duì)亮度的敏感程度遠(yuǎn)強(qiáng)于對(duì)顏色濃淡的敏感程度，為了便于色彩的處理和識(shí)別，人的視覺(jué)系統(tǒng)經(jīng)常采用HIS色彩空間，它比RGB色彩空間更符合人的視覺(jué)特性。所以本研究選擇在HIS顏色空間下進(jìn)行蘋(píng)果目標(biāo)的分割。

RGB顏色空間轉(zhuǎn)換到HIS顏色空間的轉(zhuǎn)換公式如式（1）所示，在HIS顏色模型中取色調(diào)H作為特征量進(jìn)行統(tǒng)計(jì)分析其中色調(diào)H的取值由式（2）所示。經(jīng)過(guò)變換后，即可將相互關(guān)聯(lián)的R、G、B分量轉(zhuǎn)換為相互獨(dú)立的色調(diào)（H）、飽和度（S）和強(qiáng)度（I）3部分。

RGB顏色空間與HIS顏色空間轉(zhuǎn)換的結(jié)果如圖1所示。其中，圖1（a）為原始彩色蘋(píng)果目標(biāo)圖像，可見(jiàn)在自然場(chǎng)景下，受到光照等因素的影響，蘋(píng)果表面存在了大量的陰影等信息，完整識(shí)別目標(biāo)的難度極大。圖1（b）為色調(diào)子圖像，通過(guò)圖1（b）可以看出蘋(píng)果目標(biāo)區(qū)域的色調(diào)值依然得到了較好地保留。圖1（c）、（d）分別為飽和度子圖像及其亮度子圖像，可見(jiàn)在飽和度與亮度子圖像中，目標(biāo)與背景間差別較小，難以用于果實(shí)目標(biāo)的分割。因此，本研究提出了一種充分利用果實(shí)色調(diào)信息進(jìn)行目標(biāo)的分割的方法。

1.2 基于超紅圖像的蘋(píng)果果實(shí)識(shí)別

結(jié)合圖1（a）和圖1（b）可以發(fā)現(xiàn)，雖然果實(shí)目標(biāo)整體顏色偏紅，但由于陰影等因素的影響易被誤分為背景。因此，為了達(dá)到紅色調(diào)信息的有效利用，本研究利用超紅圖像來(lái)進(jìn)行目標(biāo)的分割，所用超紅圖像I_r的公式如式（3）所示。

I_r=n*R-G

（3）

式中，n為超紅圖像的系數(shù)，針對(duì)蘋(píng)果目標(biāo)的識(shí)別，一般有n>l，針對(duì)本文獲取的圖像目標(biāo)，經(jīng)過(guò)大量測(cè)試后，本研究選擇n=1.3。

利用紅色調(diào)信息增強(qiáng)對(duì)圖1（a）進(jìn)行處理的結(jié)果如圖2所示，其中圖2（a）為所得的超紅圖像，可見(jiàn)經(jīng)過(guò)充分利用紅色調(diào)信息，可以較好地去除背景信息的影響，突出果實(shí)目標(biāo)區(qū)域。圖2（b）為利用Otsu自適應(yīng)閾值二值化后的結(jié)果，可見(jiàn)經(jīng)過(guò)二值化處理后，成熟蘋(píng)果的部分被很好地提取了出來(lái)。圖2（c）為對(duì)圖2（b）濾波、去除噪聲后的圖像，可見(jiàn)大部分果實(shí)目標(biāo)均得到了較好地識(shí)別，目標(biāo)外側(cè)輪廓均得到了較好地提取，有利于后續(xù)進(jìn)行目標(biāo)的定位。

果實(shí)目標(biāo)的精確定位是實(shí)現(xiàn)采摘機(jī)器人準(zhǔn)確采摘的基礎(chǔ)。對(duì)于蘋(píng)果目標(biāo)，一般將其近似為圓形目標(biāo)，快速而準(zhǔn)確地檢測(cè)類(lèi)圓目標(biāo)在計(jì)算機(jī)視覺(jué)領(lǐng)域，特別是自動(dòng)檢驗(yàn)和裝配領(lǐng)域有著廣泛的應(yīng)用前景。Hough變換方法是檢測(cè)圓及類(lèi)圓目標(biāo)的有效方法。利用Hough圓變換算法對(duì)圖2（c）進(jìn)行處理后的結(jié)果如圖2（d）所示，經(jīng)過(guò)處理后，基本可以完整的定位至果實(shí)目標(biāo)區(qū)域，但經(jīng)過(guò)二值化處理后的目標(biāo)多存在空洞、分割不完整及輪廓不平滑等問(wèn)題，故而其定位效果還有待進(jìn)一步提高。果實(shí)目標(biāo)的邊緣輪廓是目標(biāo)識(shí)別和定位的關(guān)鍵信息，受分割算法的影響，分割后的目標(biāo)輪廓存在大量偽輪廓，為了去除其對(duì)目標(biāo)識(shí)別的影響，本研究利用參考文獻(xiàn)所提出的輪廓曲率方法進(jìn)行處理，以實(shí)現(xiàn)果實(shí)目標(biāo)的精確定位。

2 基于輪廓曲率特征的果實(shí)識(shí)別與定位

2.1 輪廓曲率法的基本原理

蘋(píng)果目標(biāo)在果實(shí)花萼和果柄連線兩側(cè)的區(qū)域輪廓較為平滑，輪廓曲率的變化較小，而果實(shí)、花萼區(qū)以及輪廓非平滑區(qū)域，其輪廓曲率變化較大。因此，將若干段完整的蘋(píng)果輪廓進(jìn)行提取，通過(guò)判斷其曲率特征的變化，即可尋找到適合的輪廓段進(jìn)行目標(biāo)定位。

假設(shè)輪廓線上某一點(diǎn)為p₁（x_{1122233311圖3為輪廓曲率示意圖，其中，θi（i=1，2）為分割點(diǎn)p1的切線角。按照上述輪廓曲率計(jì)算方法，以輪廓線左上方的點(diǎn)作為起始點(diǎn)，按逆時(shí)針?lè)较驅(qū)μO(píng)果輪廓線進(jìn)行跟蹤，間隔采樣并計(jì)算曲率。采樣點(diǎn)之間較為平坦的曲線相對(duì)應(yīng)的曲率變化較小，其曲率的變化反映了輪廓線的變化情況，通過(guò)分段計(jì)算曲率即可將實(shí)現(xiàn)果實(shí)目標(biāo)輪廓線的識(shí)別，并可將其看作圓弧進(jìn)行圓擬合：（1）當(dāng)目標(biāo)輪廓線上存在一段或多段圓弧且采樣點(diǎn)較少時(shí)舍去；（2）當(dāng)只有一段圓弧時(shí)，圓弧所在圓的半徑R，為圓弧上采樣點(diǎn)的平均曲率，再由幾何關(guān)系確定圓心的位置從而得到擬合圓；（3）當(dāng)有多段圓弧時(shí)，分別對(duì)所有圓弧按照第2條進(jìn)行操作，取包含目標(biāo)像素點(diǎn)的個(gè)數(shù)最多的圓作為擬合圓。}

2.2 定位中心點(diǎn)的選取及采摘點(diǎn)的確定方法

中心點(diǎn)的準(zhǔn)確判斷是果實(shí)目標(biāo)精確定位的又一關(guān)鍵因素，目前關(guān)于圓心坐標(biāo)的確定方法主要有基于Hough變換及其改進(jìn)方法和基于幾何方法的圓心確定方法等。其中最常用的方法是找出已分割目標(biāo)的外接矩形，通過(guò)矩形對(duì)角線交點(diǎn)的交集來(lái)確定圓心。該方法簡(jiǎn)單方便但會(huì)導(dǎo)致極大的誤差。本文采用利用切線性質(zhì)求取圓心的方法，首先作邊緣圖的切線，然后作與切線垂直的直線，如此重復(fù)求得大量的直徑數(shù)據(jù)，由于所選取的邊緣為足夠平滑，其直徑相交于某個(gè)小區(qū)域，故而可利用該方法在這個(gè)小區(qū)域內(nèi)搜索圓心坐標(biāo)值。

由于果實(shí)生長(zhǎng)的隨機(jī)性，特別是當(dāng)多個(gè)果實(shí)疊加在一起時(shí)可能導(dǎo)致某些果實(shí)采摘點(diǎn)偏離過(guò)中心的垂直線，所以需要找到一種簡(jiǎn)單方便的定位方法來(lái)定位采摘點(diǎn)。具體做法是逐行掃描每個(gè)蘋(píng)果，每個(gè)果實(shí)都是類(lèi)圓目標(biāo)，所以掃描結(jié)果會(huì)先增大后減小，找到距離最大的行，則蘋(píng)果的采摘點(diǎn)（即果柄）就在掃描結(jié)果最大行的垂直平分線上。具體效果如圖4所示。其中圖4（a）為原始圖像，圖4（b）為果柄位置（及采摘點(diǎn)）圖像，可見(jiàn)利用該方法基本可以實(shí)現(xiàn)果實(shí)采摘點(diǎn)的定位。

3 試驗(yàn)結(jié)果與分析

為了驗(yàn)證文中所使用算法的有效性，利用在自然場(chǎng)景下所獲取的50幅富士蘋(píng)果目標(biāo)圖像進(jìn)行算法的測(cè)試。在所選擇的樣本中，部分目標(biāo)存在遮擋、重疊等影響。

3.1 識(shí)別準(zhǔn)確性分析

采摘機(jī)器人需要對(duì)自然光照條件下的蘋(píng)果進(jìn)行識(shí)別工作。根據(jù)情況不同，進(jìn)行了多組試驗(yàn)以驗(yàn)證本研究算法的適用性。蘋(píng)果果實(shí)的識(shí)別率可定義如下：

平均識(shí)別率=識(shí)別出的蘋(píng)果/圖像中蘋(píng)果的總個(gè)數(shù)×100%

（15）

利用文中所述所得到的部分結(jié)果如圖5所示。其中圖5（a）為部分遮擋情況，圖5（b）為部分遮擋且未完全成熟情況，圖5（c）為無(wú)遮擋向光情況，圖5（d）為果實(shí)間部分遮擋情況，圖5（e）為含遠(yuǎn)景部分遮擋情況，圖5（f-j）分別對(duì)應(yīng)測(cè)試圖像的試驗(yàn)結(jié)果。

3.2 識(shí)別結(jié)果統(tǒng)計(jì)

依據(jù)上述算法，分別選取25幅全景和近景圖像，對(duì)算法進(jìn)行試驗(yàn)統(tǒng)計(jì)，部分全景圖像識(shí)別結(jié)果如表1所示。蘋(píng)果總數(shù)為5個(gè)人對(duì)同一幅全景圖像主觀計(jì)數(shù)的平均值，識(shí)別個(gè)數(shù)為擬合圓的數(shù)目。全景圖像蘋(píng)果識(shí)別率約為83.6%。誤差產(chǎn)生的原因主要有：（1）部分蘋(píng)果在圖像中的可觀測(cè)表面較小，被當(dāng)作小目標(biāo)去除；（2）樹(shù)葉或枝條的遮擋把蘋(píng)果分為幾個(gè)部分，每部分被當(dāng)作獨(dú)立蘋(píng)果進(jìn)行處理將引起誤差；（3）蘋(píng)果為準(zhǔn)球形果實(shí)，用圓擬合會(huì)帶來(lái)誤差。對(duì)于近景圖像，只對(duì)面積最大的蘋(píng)果進(jìn)行分析，識(shí)別率較高約為91.5%，果柄識(shí)別率為88.4%。

4 結(jié)論

蘋(píng)果目標(biāo)的準(zhǔn)確識(shí)別和精確定位是研制蘋(píng)果采摘機(jī)器人必須解決的關(guān)鍵問(wèn)題。為了實(shí)現(xiàn)自然場(chǎng)景下蘋(píng)果目標(biāo)的識(shí)別與定位，在HIS顏色空間確定蘋(píng)果目標(biāo)與圖像背景的色調(diào)信息具有較大區(qū)別的前提下，利用超紅圖像較好地實(shí)現(xiàn)了蘋(píng)果目標(biāo)的識(shí)別，結(jié)合輪廓曲率方法得到目標(biāo)定位的基本參數(shù)，同時(shí)根據(jù)富士蘋(píng)果的生理特征，采用逐行掃描的方式實(shí)現(xiàn)了采摘點(diǎn)的定位。試驗(yàn)結(jié)果表明，利用文中算法所得到的目標(biāo)識(shí)別與定位成功率在80%以上，基本滿(mǎn)足采摘作業(yè)的需求，充分證明了文中算法的有效性。但也可以發(fā)現(xiàn)，該算法對(duì)于多蘋(píng)果重疊目標(biāo)及遮擋蘋(píng)果目標(biāo)的識(shí)別效果較差，尚待進(jìn)一步研究。