劉妤, 劉灑, 楊長輝,2, 王卓, 熊龍燁

(1.重慶理工大學(xué)機(jī)械工程學(xué)院， 重慶 400054；2.西安交通大學(xué)機(jī)械工程學(xué)院， 西安 710049)

柑橘是我國廣泛種植的水果之一，也是世界貿(mào)易量較大的一種水果。目前，柑橘采摘主要以人工為主，存在季節(jié)性突出、勞動強(qiáng)度大、成本高等問題。據(jù)不完全統(tǒng)計，人工采摘成本約占柑橘種植總成本的30%～40%[1]。采摘機(jī)器人可有效減輕人工作業(yè)強(qiáng)度、降低生產(chǎn)成本，但是，自然環(huán)境中，往往存在果實(shí)被樹葉遮擋或果實(shí)間相互遮擋的情況。如何精準(zhǔn)識別被遮擋的果實(shí)是農(nóng)業(yè)采摘機(jī)器人面臨的難題之一[2]。

國內(nèi)外學(xué)者針對重疊果實(shí)分割和輪廓重建開展了大量研究。Feng等[3]通過鏈碼差異的變化規(guī)律，采用局部最優(yōu)原則尋求有效凹點(diǎn)實(shí)現(xiàn)了無遮擋重疊蘋果的分割，準(zhǔn)確率約為91.2%。Zhou等[4]利用R-B與G-R色差提取蘋果目標(biāo)，實(shí)現(xiàn)了單果計數(shù)及產(chǎn)量預(yù)測。Silwal等[5]利用Blob分析識別了被遮擋的蘋果，同時，針對一個蘋果目標(biāo)被分為多個部分的情況，采用基于歐式距離原則的聚類算法將其融合，單個蘋果目標(biāo)的識別率達(dá)90%。Niu等[6]在提取遮擋蘋果目標(biāo)的真實(shí)輪廓段后，基于Shape Context算法實(shí)現(xiàn)了輪廓段匹配，提取了蘋果目標(biāo)的對稱軸，進(jìn)而定位了被遮擋的蘋果。苗中華等[7]提出了一種自然環(huán)境下重疊果實(shí)的圖像識別與邊界分割的組合優(yōu)化算法，該方法對無遮擋的目標(biāo)識別效果較好。彭輝等[8]為保留重疊部分未被遮擋蘋果的輪廓信息，提出了基于視差圖像的重疊果實(shí)分割算法，實(shí)現(xiàn)了無遮擋果實(shí)的目標(biāo)識別。荀一等[9]通過建立三層BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了蘋果圖像的分割，并對被遮擋蘋果進(jìn)行圓擬合，實(shí)現(xiàn)了目標(biāo)定位，該方法對被遮擋單果的識別率超過80%。陳玉等[10]通過計算遮擋因子確定枝葉對蘋果的遮擋區(qū)域，并利用格子波爾茲曼方法求解各向異性擴(kuò)散方程，估計丟失信息，進(jìn)而實(shí)現(xiàn)了對蘋果目標(biāo)遮擋區(qū)域的修復(fù)。Lv等[11]利用邊緣檢測和隨機(jī)Hough變換算法實(shí)現(xiàn)了被枝葉嚴(yán)重遮擋的蘋果目標(biāo)的識別與重建，識別率為86.0%。陳振羽等[12]通過測量目標(biāo)和景物輪廓的局部極大張角，從含有遮擋目標(biāo)的景物圖像中識別出單個目標(biāo)。姚立健等[13]利用廣義Hough變換理論對部分遮擋的茄子目標(biāo)進(jìn)行了識別，并通過試驗(yàn)驗(yàn)證了該方法對于被部分遮擋的目標(biāo)具有良好的識響較大。蔡健榮等[2]利用優(yōu)化的Hough變換提取了目標(biāo)的形心坐標(biāo)及半徑，在此基礎(chǔ)上恢復(fù)了遮擋果形，識別率超過95%。上述研究雖然在果實(shí)識別中取得了一些進(jìn)展，但針對果實(shí)位置、遮擋和重疊等復(fù)雜的生長現(xiàn)狀無法兼顧，需要開發(fā)重疊目標(biāo)的分割方法，提高識別精度。

綜上所述，對于重疊率較高的多果分割，現(xiàn)有分割方法過程復(fù)雜且魯棒性不強(qiáng)，分割和重建效果與所添加的特征有關(guān)，且定位效果有待提高。為此，本文針對成熟的重疊柑橘開展重疊分割與輪廓重建研究，以期實(shí)現(xiàn)自然環(huán)境下此類重疊柑橘的精準(zhǔn)分割與識別，進(jìn)而提高柑橘采摘機(jī)器人的采摘成功率和效率。

1 材料與方法

1.1 重疊柑橘圖像獲取及預(yù)處理

本文重疊柑橘圖像于2018年12月在學(xué)校的柑橘種植基地通過機(jī)器人視覺平臺(圖1)采集。該平臺主要由相機(jī)(Bumblebee2)、1394數(shù)據(jù)采集卡、計算機(jī)等組成，其中，計算機(jī)操作系統(tǒng)采用Win7，圖像處理軟件采用OpenCV3.10。

注：1—顯示器；2—相機(jī)；3—數(shù)據(jù)采集卡；4—三腳架；5—計算機(jī)；6—鋰電池；7—柑橘樹；8—導(dǎo)線。Note: 1—Monitor; 2—Camera; 3—Data acquisition card; 4—Tripod; 5—Computer; 6—Lithium battery; 7—Citrus tree; 8—Wire.圖1 柑橘圖像采集系統(tǒng)Fig.1 Citrus image acquisition schematic

1.2 圖像分割和處理

為減小原始圖像中光照等因素的影響，采用圖割算法[14]和R-B色差[15]相結(jié)合的方法對原始柑橘圖像進(jìn)行分割。

1.3 重疊柑橘輪廓曲率計算

曲率是幾何體不平坦程度的一種衡量，曲率越大，表示曲線的彎曲程度越大。柑橘形狀為類球體，在兩個柑橘果實(shí)重疊區(qū)域的邊緣交界處，曲率會發(fā)生突變，而樹葉也呈外凸形狀，被枝葉遮擋形成的邊緣處同樣會發(fā)生曲率突變。通過尋找這些曲率發(fā)生突變的輪廓像素點(diǎn)，可以確定輪廓的分割點(diǎn)。

為了檢測曲率突變的輪廓像素點(diǎn)，以圖2所示輪廓進(jìn)行分析，沿輪廓逆時針方向，依次間隔5個像素點(diǎn)取采樣點(diǎn)。設(shè)當(dāng)前采樣點(diǎn)坐標(biāo)為pi(xi，yi)，前一采樣點(diǎn)坐標(biāo)為pi-1(xi-1，yi-1)，后一采樣點(diǎn)坐標(biāo)為pi+1(xi+1，yi+1)，θi-1為當(dāng)前采樣點(diǎn)與前一采樣點(diǎn)的連線與x軸的夾角，θi為當(dāng)前采樣點(diǎn)與后一采樣點(diǎn)的連線與x軸的夾角。記相鄰兩采樣點(diǎn)之間的中間像素點(diǎn)分別為點(diǎn)Ai、Bi(如圖2中的菱形方塊)，過點(diǎn)Ai、Bi分別作與兩采樣點(diǎn)連線平行的直線lai、lbi。依次遍歷柑橘輪廓，根據(jù)反正切函數(shù)的性質(zhì)，則兩采樣點(diǎn)連線與x軸的夾角θi如式(1)[16]所示。

θi=

(1)

圖2 柑橘輪廓曲率分析Fig.2 Curvature analysis of citrus contour

設(shè)Δθi為柑橘輪廓的切線轉(zhuǎn)過的角度，即由直線lai逆時針轉(zhuǎn)到直線lbi位置時的角度；ΔSi為直線lai、lbi之間包含的弧段長度，即像素點(diǎn)Ai、Bi中間5個像素點(diǎn)構(gòu)成的輪廓片段長度；整段輪廓的長度為lth，輪廓總的像素點(diǎn)個數(shù)為n。根據(jù)曲率定義，則輪廓在當(dāng)前采樣點(diǎn)pi(xi，yi)處的曲率Ki為如下。

(2)

1.4 點(diǎn)到柑橘輪廓的距離算法

本文計算像素點(diǎn)到柑橘輪廓距離的算法流程如下。

(1) 獲取輪廓上所有像素點(diǎn)坐標(biāo)(xi，yi)，并將輪廓分割為很多無窮小片段Si。

(2) 從所有像素點(diǎn)中找出橫坐標(biāo)值最小的點(diǎn)(當(dāng)有多個像素點(diǎn)橫坐標(biāo)值相同時，便從中選取縱坐標(biāo)值最小的點(diǎn))作為輪廓的起始點(diǎn)Q(x0，y0)，并將輪廓點(diǎn)序列方向設(shè)定為逆時針方向。

(3) 從起始點(diǎn)Q開始，沿逆時針方向，依次遍歷所有輪廓像素點(diǎn)。記相鄰兩個點(diǎn)的坐標(biāo)分別為A(xi，yi)、B(xi+1，yi+1)，平面上任意點(diǎn)P的坐標(biāo)為(xP，yP)。

(3)

(4)

A：點(diǎn)P在有向線段的右側(cè)；B：點(diǎn)P在有向線段的延長線上；C：點(diǎn)P在有向線段的左側(cè)。A: Point P is on the right side of the directed segment 圖3 點(diǎn)P與有向線段的相對位置關(guān)系Fig.3 Relative positional relationship between point P and directed line segment

A：點(diǎn)P在有向線段右側(cè)；B：點(diǎn)P在直線li、li+1的中間；C：點(diǎn)P在有向線段左側(cè)。A: Point P is on the right side of the directed segment B: Point P is between the strait lines of li and li+1; C: Point P is on the left side of the directed segment 圖4 點(diǎn)P與兩直線的相對位置關(guān)系Fig.4 Relative positional relationship between point P and two straight lines

(xi+1-xi)(y-yi)-(yi+1-yi)(x-xi)=0

(5)

di=

(6)

依次遍歷所有輪廓片段Si，則點(diǎn)P到整段輪廓的最小距離如下。

dmin=min(di)i=0,1,2…,n-1

(7)

為便于判斷點(diǎn)P相對于輪廓的位置，對dmin的符號進(jìn)行約定：當(dāng)點(diǎn)P在輪廓內(nèi)時，dmin取正值；當(dāng)點(diǎn)P在輪廓外時，dmin取負(fù)值；當(dāng)點(diǎn)P在輪廓上時，dmin取零。記含符號的dmin為d′min。

(8)

1.5 戶外實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證本文方法的有效性，在戶外果園環(huán)境下進(jìn)行重疊柑橘的分割重建實(shí)驗(yàn)。采用Hough變換算法和RANSAC算法對重疊柑橘進(jìn)行了輪廓重建，并分別獲取重疊柑橘圖像中未被遮擋的柑橘目標(biāo)面積S與分割重構(gòu)后柑橘目標(biāo)面積Si，通過輪廓重建誤差、不重合度和重建時間三個指標(biāo)評價本文方法、Hough變換算法、RANSAC算法對于成熟的重疊柑橘分割、重構(gòu)效果及效率。輪廓重建誤差e和不重合度u的計算公式分別如式(9)和(10)所示。

(9)

(10)

式中，i用以區(qū)分本文方法、Hough變換算法和RANSAC算法的對應(yīng)參數(shù)；S∪Si表示在原始圖像柑橘區(qū)域或在重構(gòu)柑橘目標(biāo)上的像素點(diǎn)個數(shù)；S∩Si表示既在原始圖像柑橘區(qū)域上又在重構(gòu)柑橘目標(biāo)上的像素點(diǎn)個數(shù)；前后兩者像素點(diǎn)個數(shù)之差即為不重合柑橘區(qū)域的面積Su，不重合度越低說明分割重構(gòu)效果越好。

2 結(jié)果與分析

2.1 重疊柑橘輪廓提取

從圖5可以看出，獲取的原始柑橘圖像經(jīng)分割后，少數(shù)非柑橘區(qū)域同時被分割出來。

圖5 柑橘輪廓提取Fig.5 Citrus outline extraction

提取原始圖像的R-B色差圖，可以看出，受陰影及高光等因素的影響，閾值分割后的目標(biāo)圖像往往存在一些孔洞、毛刺及余留的小面積區(qū)域，獲得二值化圖。在此基礎(chǔ)上，對重疊柑橘果實(shí)進(jìn)行邊緣輪廓提取，獲得未平滑輪廓?？紤]分割過程中可能產(chǎn)生較多的噪聲，因此，采用適用性較廣的高斯濾波函數(shù)對得到的柑橘輪廓進(jìn)行平滑處理，最終提取出重疊柑橘輪廓。

2.2 重疊柑橘輪廓分析與重建

2.2.1重疊柑橘輪廓曲率分析 對圖5所示的高斯平滑輪廓像素點(diǎn)求取的曲率如圖6所示。結(jié)果表明，正常的柑橘輪廓像素點(diǎn)曲率范圍為[-0.2,0.2]，超出該范圍的即為異常的輪廓像素點(diǎn)，即柑橘重疊或被樹葉遮擋時邊緣交疊處的輪廓像素點(diǎn)。

圖6 柑橘輪廓像素點(diǎn)曲率Fig.6 Citrus contour pixel curvature

分析圖6可知，柑橘輪廓中超過正常輪廓曲率范圍[-0.2,0.2],即曲率變化較大的像素點(diǎn)有5個，依次連接相鄰兩個異常像素點(diǎn)獲得五條線段，如圖7所示，以便于分析重疊柑橘輪廓的分割點(diǎn)。

圖7 柑橘輪廓分割Fig.7 Citrus contour segmentation

2.2.2重疊柑橘輪廓分割點(diǎn)確定 通常情況下，柑橘輪廓是一個外凸的曲線，輪廓上任意兩像素點(diǎn)構(gòu)成的線段一定會在輪廓內(nèi)部。而對于柑橘被樹葉遮擋所產(chǎn)生的輪廓片段，一般呈現(xiàn)內(nèi)凹形狀，該段輪廓上任意兩像素點(diǎn)構(gòu)成的線段大部分會在封閉的柑橘輪廓外面。為了通過尋找異常線段確定因樹葉遮擋而產(chǎn)生的輪廓，對圖7B中五條線段上的像素點(diǎn)到輪廓上的距離進(jìn)行分析，結(jié)果分別如圖8A～E所示。

圖8 線段1～5上的像素點(diǎn)到輪廓的距離Fig.8 Distance from the pixel point of line 1～5 to the contour

2.2.3重疊柑橘輪廓分割 分別統(tǒng)計五條線段上到輪廓距離為非負(fù)值和負(fù)值的像素點(diǎn)數(shù)量，結(jié)果如表1所示。而大量的實(shí)驗(yàn)研究表明，當(dāng)線段上滿足d′min<0的像素點(diǎn)個數(shù)nsum大于像素點(diǎn)總數(shù)的25%時，該線段為異常線段，其對應(yīng)的輪廓片段不是柑橘輪廓。

(11)

分析表1可知，線段1、2、3為正常線段，對應(yīng)的輪廓片段是柑橘輪廓；而線段4和5為異常線段，對應(yīng)的輪廓片段不是柑橘輪廓。進(jìn)一步分析4、5兩線段相鄰，且含有3個曲率異常的輪廓點(diǎn)A、D、E，如圖9所示。為了準(zhǔn)確分割重疊柑橘輪廓，首先在正常線段相交的點(diǎn)B、C處對柑橘輪廓進(jìn)行分割。然后在分割后的柑橘輪廓像素點(diǎn)剔除非柑橘輪廓像素點(diǎn)。此時，正常的重疊柑橘輪廓被準(zhǔn)確分割。

表1 像素點(diǎn)統(tǒng)計Table 1 Pixel point statistics

粗略分割后的柑橘輪廓是不完整的。為了真實(shí)還原果實(shí)目標(biāo)，對于柑橘這種類球形果實(shí)，本文采用基于最小二乘法的橢圓擬合插值算法[17]重構(gòu)單個柑橘輪廓。

2.3 戶外驗(yàn)證結(jié)果分析

針對戶外果園環(huán)境下的5幅重疊柑橘圖像利用不同算法進(jìn)行重建，結(jié)果如圖10所示?？梢?，采用本文方法不僅能準(zhǔn)確分割重疊柑橘，而且能精準(zhǔn)重構(gòu)重疊部分的輪廓，可以滿足自然環(huán)境下成熟重疊果實(shí)的智能識別需求。

圖9 柑橘輪廓分割與篩選Fig.9 Citrus contour segmentation and screening

選取果園環(huán)境中20組重疊成熟柑橘進(jìn)行分割重構(gòu)，本文方法、Hough變換算法和RANSAC算法實(shí)現(xiàn)重疊柑橘的輪廓重建誤差、不重合度、重建時間對比如圖11所示。

由圖11可知，Hough變換算法重建重疊柑橘輪廓的平均重建誤差為13.182%，平均不重合度為14.423%，平均重建時間為0.501 s；RANSAC算法重建重疊柑橘輪廓的平均重建誤差為5.708%，平均不重合度為6.341%，平均重建時間為0.682 s；而本文方法重建重疊柑橘輪廓的平均重建誤差為4.903%，平均不重合度為5.593%，平均重建時間為0.408 s，明顯低于Hough變換算法和RANSAC算法，這說明本文所提出的重疊柑橘分割方法是有效的。

3 討論

現(xiàn)有的重疊果實(shí)識別研究多數(shù)針對無遮擋果實(shí)目標(biāo)[3,7-8]，雖然有些開展了被遮擋果實(shí)目標(biāo)的識別研究，但僅限于單個果實(shí)目標(biāo)，沒有充分考慮自然環(huán)境中果實(shí)生長重疊成簇現(xiàn)象[2,4-6,9-13]。對于重疊果實(shí)目標(biāo)的分割，可以基于局部最優(yōu)、凸殼變換等通過尋找凹點(diǎn)實(shí)現(xiàn)分割[3]，但僅限于無遮擋的果實(shí)目標(biāo)，未充分考慮自然環(huán)境中果實(shí)生長狀態(tài)的復(fù)雜性。而對于被遮擋的果實(shí)目標(biāo)定位，可以運(yùn)用Hough變換等方法直接重建果實(shí)輪廓[2,11,13]，但這些方法定位精度不高，且沒有對非柑橘輪廓進(jìn)行剔除，只適用于被遮擋面積較小的場景；也可以通過尋找果實(shí)的對稱軸實(shí)現(xiàn)果實(shí)目標(biāo)定位[6]，但這種方法不適用于生長形狀不規(guī)則的果實(shí)目標(biāo)。為此，本文依托自主搭建的采摘機(jī)器人雙目立體視覺系統(tǒng)，重點(diǎn)開展了自然環(huán)境中重疊成熟柑橘輪廓的分割與重建研究，提出了一種基于輪廓曲率和距離分析的重疊柑橘分割方法，實(shí)現(xiàn)了自然環(huán)境下重疊果實(shí)的有效分割。相比于已有相關(guān)方法研究，本文充分考慮了柑橘果實(shí)在自然環(huán)境中的真實(shí)生長狀態(tài)，并且討論了重疊柑橘被樹葉部分遮擋時的真實(shí)果實(shí)輪廓篩選與重建，該方法可應(yīng)用于其他類球形果蔬的重疊目標(biāo)分割與重建。

對比實(shí)驗(yàn)結(jié)果表明：利用本文方法所得到的重疊柑橘重建輪廓的平均誤差、不重合度和時間分別為4.903%、5.593%、0.408 s，優(yōu)于Hough變換算法和RANSAC算法，基本能夠滿足自然環(huán)境下成熟重疊柑橘果實(shí)的智能識別需求。后續(xù)將以此為基礎(chǔ)進(jìn)一步深入研究多種類型障礙物遮擋情況下重疊柑橘的識別與定位，進(jìn)而增強(qiáng)重疊果實(shí)識別方法的魯棒性，提升采摘機(jī)器人的識別準(zhǔn)確率和采摘成功率。