林耀海，呂鐘亮，楊長(zhǎng)才，林培杰，陳芳育，洪嘉偉

自然場(chǎng)景圖像中的重疊蜜柚識(shí)別及試驗(yàn)

林耀海1，呂鐘亮1，楊長(zhǎng)才1，林培杰2，陳芳育3，洪嘉偉1

（1. 福建農(nóng)林大學(xué)計(jì)算機(jī)與信息學(xué)院，福州 350002；2. 福州大學(xué)物理與信息工程學(xué)院，福州 350116；3. 福建農(nóng)林大學(xué)農(nóng)學(xué)院，福州 350002）

重疊蜜柚目標(biāo)的準(zhǔn)確分離和蜜柚果梗的定位是實(shí)現(xiàn)采摘自動(dòng)化必須解決的兩個(gè)關(guān)鍵問題。現(xiàn)有的蘋果、柑橘等重疊果實(shí)分離方法不適用于重疊蜜柚，且無(wú)果梗定位功能。針對(duì)以上問題，該研究提出了一種結(jié)合漸進(jìn)式中心定位的重疊蜜柚分離方法和果梗定位方法。首先利用主成分分析方法提取蜜柚區(qū)域、濾除背景并對(duì)圖像中的重疊蜜柚進(jìn)行初步分離；接著，對(duì)重疊蜜柚區(qū)域采用漸進(jìn)式中心定位方法得到各個(gè)蜜柚的中心；然后，利用區(qū)域邊緣點(diǎn)到其相應(yīng)的不同中心點(diǎn)的距離大小的變化規(guī)律實(shí)現(xiàn)重疊蜜柚的分離；最后，利用前述的中心點(diǎn)結(jié)合蜜柚的形狀特征，定位出遮擋程度較小的蜜柚果梗。在50張自然場(chǎng)景下的圖像上進(jìn)行試驗(yàn)，結(jié)果表明在有陰影、小目標(biāo)、遮擋和重疊等復(fù)雜環(huán)境下，該方法的平均識(shí)別率為94.02%。同時(shí)，對(duì)于果梗未被遮擋且離攝像頭較近的蜜柚，也給出了準(zhǔn)確的果梗區(qū)域。在利用蜜柚模型搭建的識(shí)別自動(dòng)化試驗(yàn)平臺(tái)上進(jìn)行試驗(yàn)，結(jié)果表明采摘機(jī)器人能夠有效識(shí)別并分離重疊蜜柚、定位果梗。該研究可為蜜柚采摘機(jī)器人準(zhǔn)確識(shí)別重疊果實(shí)提供參考。

圖像處理；識(shí)別；機(jī)器視覺；重疊蜜柚；主成分分析；漸進(jìn)式中心定位；分離；果梗

0 引 言

2021年中國(guó)柚類產(chǎn)業(yè)總產(chǎn)值超過(guò)千億元，已經(jīng)成為南方地區(qū)農(nóng)業(yè)農(nóng)村經(jīng)濟(jì)發(fā)展的重要支柱產(chǎn)業(yè)之一。采摘是蜜柚種植生產(chǎn)工作中的重要環(huán)節(jié)之一，而當(dāng)前蜜柚采摘方法是人工采摘，不僅耗時(shí)耗力，且存在安全隱患。通過(guò)使用智能機(jī)器人或者智能機(jī)械手臂實(shí)現(xiàn)蜜柚的自動(dòng)識(shí)別和采摘既可提高蜜柚采摘效率，又能降低人工和時(shí)間成本。其技術(shù)關(guān)鍵點(diǎn)之一在于利用機(jī)器視覺方法識(shí)別出果樹上果實(shí)位置，即把每個(gè)果實(shí)從復(fù)雜的背景圖像中準(zhǔn)確地分割出來(lái)。

近年來(lái)，隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，國(guó)內(nèi)外研究者在果實(shí)采摘機(jī)器人的視覺領(lǐng)域已經(jīng)有較多研究[1-4]，所用方法主要為基于傳統(tǒng)圖像處理和基于深度學(xué)習(xí)。在基于傳統(tǒng)圖像處理的研究中，江梅等[5-8]利用顏色和形狀等圖像特征進(jìn)行果實(shí)識(shí)別研究。李寒等[9]分析綠色番茄的紋理特征實(shí)現(xiàn)了綠色番茄的準(zhǔn)確識(shí)別。Bu等[10]提出一種陰影消除方法提高識(shí)別率。采用深度學(xué)習(xí)方法進(jìn)行識(shí)別研究所用到的框架有GA-RBF-LMS[4]、Mask R-CNN[1,11-12]、BP神經(jīng)網(wǎng)絡(luò)[13]、卷積神經(jīng)網(wǎng)絡(luò)[14]等。此外，也有對(duì)網(wǎng)絡(luò)進(jìn)行改進(jìn)用于果實(shí)識(shí)別的，如Tian等[15]對(duì)YOLO-V3進(jìn)行了改進(jìn)，Kang等[16]提出了一種改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)DaSNet-v2。

上述研究雖然都取得良好的識(shí)別效果，但都存在一定的局限性。基于傳統(tǒng)圖像處理的研究都是針對(duì)單果的情況，而果園中廣泛存在著果實(shí)相互遮擋的現(xiàn)象，這是影響傳統(tǒng)方法果實(shí)識(shí)別率的重要因素。基于深度學(xué)習(xí)的方法雖然能夠識(shí)別出圖像中的重疊果實(shí)，但其本身存在著數(shù)據(jù)需求量大、獲取困難，泛化能力受訓(xùn)練數(shù)據(jù)限制的局限性。因此，需要進(jìn)一步研究分離重疊果實(shí)的方法。李寒等[17]結(jié)合局部極大值法和隨機(jī)圓環(huán)變換檢測(cè)圓算法進(jìn)行目標(biāo)提取，試驗(yàn)結(jié)果表明，該方法能夠提取出多果粘連或被輕微遮擋的情況下的番茄目標(biāo)。項(xiàng)榮等[18]利用邊緣曲率剔除曲率異常的邊緣點(diǎn)，然后對(duì)各剩余邊緣分別進(jìn)行圓回歸實(shí)現(xiàn)重疊番茄的識(shí)別。馮娟等[19]針對(duì)光線變化和目標(biāo)重疊問題研究了融合多源圖像信息的果實(shí)識(shí)別方法。王丹丹等[20]采用K-means和Ncut算法相結(jié)合的方法實(shí)現(xiàn)了無(wú)遮擋雙果重疊的分割和未被遮擋蘋果完整輪廓的提取。徐越等[21]采用Snake模型與角點(diǎn)檢測(cè)的方法實(shí)現(xiàn)了雙果重疊的分割，但只針對(duì)無(wú)其他遮擋物的情況。He等[22]提出了一種深度邊框回歸森林方法對(duì)綠色水果進(jìn)行檢測(cè)。

上述重疊果實(shí)分離方法大多是針對(duì)雙果的情況，且研究對(duì)象是諸如蘋果、番茄之類的近圓形果實(shí)。然而，在從果園獲取的圖像中，除了雙果重疊之外，同樣存在著三果重疊的情況。本文針對(duì)自然場(chǎng)景圖像中蜜柚的雙果、三果之間相互黏連和相互遮擋的情況，對(duì)蜜柚識(shí)別和果梗定位展開研究，使用主成分分析提取蜜柚區(qū)域，采用漸進(jìn)式中心定位得出蜜柚重疊區(qū)域的各個(gè)果實(shí)的中心，依據(jù)區(qū)域邊緣點(diǎn)到相應(yīng)兩個(gè)中心點(diǎn)的距離大小的變化規(guī)律，可以實(shí)現(xiàn)重疊蜜柚分離，并利用得到的中心點(diǎn)和蜜柚的形狀特征定位蜜柚果梗。最后，設(shè)計(jì)識(shí)別自動(dòng)化試驗(yàn)平臺(tái)，進(jìn)一步驗(yàn)證本文所提方法的可行性。

1 獲取蜜柚區(qū)域

從圖像中濾除背景，獲取圖像中的蜜柚區(qū)域是蜜柚識(shí)別的重要步驟。果園中的蜜柚由于受到樹枝、樹葉的遮擋和蜜柚之間的相互遮擋，在圖像上的形狀呈現(xiàn)多樣性，因此難以利用形狀特征提取蜜柚區(qū)域。但是同一品種的成熟蜜柚之間具有顏色一致的特性，且果實(shí)顏色與枝干、葉片的顏色具有明顯差異，因此可以利用顏色信息來(lái)提取蜜柚區(qū)域，本文采用主成分分析方法實(shí)現(xiàn)蜜柚區(qū)域的獲取。

主成分分析（Principle Component Analysis，PCA）是一種數(shù)據(jù)降維方法，可以從多元事物中解析出主要影響因素，揭示事物本質(zhì)，簡(jiǎn)化復(fù)雜的問題，其幾何意義表現(xiàn)為坐標(biāo)旋轉(zhuǎn)，將原始數(shù)據(jù)旋轉(zhuǎn)變換到新的坐標(biāo)空間，在新的坐標(biāo)空間中，每個(gè)坐標(biāo)軸的方向是原始數(shù)據(jù)方差最大的幾個(gè)方向，主成分分析的目的就是找出對(duì)應(yīng)的旋轉(zhuǎn)矩陣。

1.1 色彩空間分析

蜜柚像素點(diǎn)和背景像素點(diǎn)在RGB空間中的分布情況如圖1a、1b、1c所示，蜜柚像素點(diǎn)在空間中呈帶狀分布，且在R、G、B這3個(gè)方向上均有較大的離散性。在RGB空間中采用閾值法對(duì)蜜柚圖像進(jìn)行分割得到的蜜柚區(qū)域?qū)罅康姆敲坭窒袼攸c(diǎn)，如圖1a。將蜜柚像素點(diǎn)和背景像素點(diǎn)從RGB空間旋轉(zhuǎn)變換到蜜柚像素點(diǎn)的主成分空間后，像素點(diǎn)在主成分空間中的分布如圖1d、1e、1f所示，空間變換后的蜜柚點(diǎn)云在第一主成分方向上的分布最為疏散，如圖1e，在另外兩個(gè)主成分方向上則分布集中，如圖1f。在主成分空間中采用閾值法對(duì)蜜柚圖像進(jìn)行分割，能夠?qū)⒏嗟谋尘跋袼攸c(diǎn)剔除，提高分割精度，如圖1d。

1.2 背景濾除及重疊蜜柚初步分離

首先，采集少量的蜜柚區(qū)域像素點(diǎn)作為樣本，利用PCA學(xué)習(xí)這些樣本從RGB顏色空間變換到主成分空間的旋轉(zhuǎn)矩陣和旋轉(zhuǎn)變換后在各主成分方向上的分布區(qū)間，接著，利用旋轉(zhuǎn)矩陣將待處理圖像從RGB空間變換到蜜柚像素的主成分空間，空間變換后的蜜柚像素點(diǎn)主要分布在由PCA確定的蜜柚主成分區(qū)間內(nèi)，背景像素點(diǎn)分布于蜜柚主成分區(qū)間之外，在主成分空間中對(duì)每個(gè)像素點(diǎn)進(jìn)行判斷分類，濾除不在區(qū)間內(nèi)的背景像素點(diǎn)，背景濾除流程如圖2所示，其中利用PCA學(xué)習(xí)旋轉(zhuǎn)矩陣和蜜柚像素在主成分空間中的分布區(qū)間只需進(jìn)行一次便可重復(fù)使用。最后，將濾除背景后的圖像轉(zhuǎn)換成二值圖像，并使用開運(yùn)算進(jìn)行去噪，結(jié)果見圖3。圖3a為原始圖像，圖3b為采用PCA濾除背景的結(jié)果，蜜柚區(qū)域已經(jīng)被完整提取出來(lái)，背景也基本都被濾除，僅有少量噪聲。對(duì)圖3b圖像進(jìn)行二值化并去除噪聲后，得到圖 3d。與基于RGB色彩空間的閾值分割法相比，利用PCA進(jìn)行閾值分割時(shí)，能夠通過(guò)樣本學(xué)習(xí)到更適合分割蜜柚圖像的空間和相應(yīng)的分割閾值，具有更好的魯棒性和背景濾除效果。

提取濾除背景后的圖像邊緣信息，得到邊緣圖3e，利用邊緣信息對(duì)圖3d中的重疊蜜柚進(jìn)行初步分離，分離結(jié)果如圖3f所示。初步分離的運(yùn)算是，如果圖3d中蜜柚區(qū)域的像素點(diǎn)在圖3e中的對(duì)應(yīng)點(diǎn)為邊緣點(diǎn)，則在圖3d中將其設(shè)置為背景。圖3f中仍存在多個(gè)蜜柚區(qū)域相互黏連的情況，這是因?yàn)槊坭止さ念伾嘟?，在一些重疊位置難以提取出邊緣，因此，單獨(dú)利用邊緣信息難以完美地實(shí)現(xiàn)重疊蜜柚的分離，需要做進(jìn)一步的分離處理。

2 重疊蜜柚區(qū)域分離

2.1 重疊蜜柚區(qū)域判斷

初步分離后的圖像中包含多個(gè)獨(dú)立的蜜柚區(qū)域，如圖3f所示，在分離重疊蜜柚前先判斷每塊蜜柚區(qū)域是否包含多個(gè)蜜柚，對(duì)包含多個(gè)蜜柚的區(qū)域進(jìn)行分離處理。

提取經(jīng)初步分離的二值圖像的輪廓，一張圖像中包含多個(gè)蜜柚區(qū)域，因此提取的輪廓圖中包含多個(gè)封閉輪廓，這些輪廓的像素點(diǎn)構(gòu)成多個(gè)連通域。重疊蜜柚在重疊位置形成凹陷區(qū)域，任取凹陷區(qū)域輪廓上的三點(diǎn)，根據(jù)三點(diǎn)確定一個(gè)圓的性質(zhì)，通過(guò)這三點(diǎn)確定一個(gè)圓心，這個(gè)圓心將落在蜜柚區(qū)域輪廓外部。

首先，遍歷連通域上的每一個(gè)點(diǎn)，設(shè)置一定的步長(zhǎng)再取兩個(gè)點(diǎn)，用這3個(gè)點(diǎn)求得一個(gè)圓心，判斷該圓心是否在對(duì)應(yīng)的蜜柚區(qū)域內(nèi)，在蜜柚區(qū)域內(nèi)的為正常點(diǎn)，否則為異常點(diǎn)。多次任選同一輪廓上的2個(gè)正常點(diǎn)，判斷這2個(gè)點(diǎn)形成的線段是否穿過(guò)非蜜柚區(qū)域，進(jìn)而判斷該蜜柚區(qū)域是否存在多個(gè)蜜柚。圖4把蜜柚抽象成圓，說(shuō)明重疊蜜柚區(qū)域的判斷原理。由圖4可見，重疊蜜柚的輪廓圖上任意兩點(diǎn)的連線有一定可能穿過(guò)非蜜柚區(qū)域，而單獨(dú)一個(gè)蜜柚的輪廓圖上任意兩點(diǎn)的連線將完全位于蜜柚區(qū)域內(nèi)部。

2.2 結(jié)合漸進(jìn)式中心定位的重疊蜜柚區(qū)域分離方法

根據(jù)2.1節(jié)中對(duì)重疊蜜柚的判斷結(jié)果對(duì)重疊蜜柚區(qū)域進(jìn)行分離。目前常用的重疊果實(shí)分離方法有兩種，第一種是利用重疊區(qū)域的凹陷點(diǎn)進(jìn)行分離，這種方法容易受到枝葉遮擋的影響，第二種是采用圓擬合或者橢圓擬合進(jìn)行分離，這種方法更加適用于外形為近圓形的果實(shí)。為了更好地分離重疊蜜柚，本文提出一種結(jié)合漸進(jìn)式中心定位[23]的重疊蜜柚分離方法。

2.2.1 基于漸進(jìn)式中心定位方法的蜜柚中心定位

漸進(jìn)式中心定位是由林耀海等[23]提出的一種圓心定位方法，該方法結(jié)合了圓內(nèi)弦的兩個(gè)性質(zhì)來(lái)定位圓形目標(biāo)的圓心位置，性質(zhì)如下：

性質(zhì)1：是過(guò)圓內(nèi)點(diǎn)的一條弦的中心，且不是這條弦的中心，那么比更靠近圓心；

性質(zhì)2：1、2是圓內(nèi)不同兩點(diǎn)，與圓心距離分別為1、2；兩點(diǎn)的中心與圓心的距離為，那么有≤max (1,2)。

結(jié)合性質(zhì)1和性質(zhì)2可知，過(guò)圓內(nèi)點(diǎn)的一組弦，可以用這組弦的重心代替，不斷地迭代，用一組弦的重心代替，即可逐步到達(dá)圓心。

本文將漸進(jìn)式中心定位方法用于定位蜜柚的中心，圖 5a示意了漸進(jìn)式中心定位方法定位蜜柚中心的迭代過(guò)程。從上下左右4個(gè)方向?qū)γ坭謪^(qū)域進(jìn)行漸進(jìn)式中心定位，當(dāng)只有一個(gè)蜜柚時(shí)，從4個(gè)方向的中心定位結(jié)果將趨同于一個(gè)點(diǎn)，如圖5b，當(dāng)蜜柚區(qū)域內(nèi)有多個(gè)蜜柚時(shí)，最終將定位出多個(gè)點(diǎn)，分別對(duì)應(yīng)多個(gè)蜜柚的中心，如圖 5c。

2.2.2 蜜柚分離

當(dāng)蜜柚區(qū)域包含多個(gè)蜜柚時(shí)，對(duì)該區(qū)域從上下左右4個(gè)方向進(jìn)行漸進(jìn)式中心定位將得到多個(gè)蜜柚中心點(diǎn)，利用相鄰中心點(diǎn)到蜜柚區(qū)域輪廓的距離大小關(guān)系可以逐個(gè)確定分離點(diǎn)。圖6分別描述了本文在2個(gè)蜜柚和3個(gè)蜜柚重疊情況下確定分離點(diǎn)的順序。

確定分離點(diǎn)的幾何原理如圖7所示，分別記輪廓點(diǎn)到兩個(gè)相鄰蜜柚中心點(diǎn)的距離為1和2，大多數(shù)輪廓點(diǎn)到對(duì)應(yīng)的蜜柚中心點(diǎn)的距離小于到另一個(gè)蜜柚中心點(diǎn)的距離，只有在靠近分離點(diǎn)附近的輪廓點(diǎn)才會(huì)出現(xiàn)距離相等或者大于到另一個(gè)蜜柚中心點(diǎn)距離的情況。因此，只需要找到1和2大小關(guān)系發(fā)生變換的兩個(gè)輪廓點(diǎn)便能分離重疊蜜柚的輪廓，從而實(shí)現(xiàn)重疊蜜柚的分離。圖7a中，當(dāng)遍歷輪廓點(diǎn)到達(dá)1時(shí)有1<2，繼續(xù)沿順時(shí)針方向遍歷輪廓點(diǎn)，到達(dá)2時(shí)有1=2，將2點(diǎn)設(shè)置為分離點(diǎn)，此時(shí)，1和2的大小關(guān)系記為1≥2，繼續(xù)沿順時(shí)針方向遍歷輪廓點(diǎn)，當(dāng)滿足1<2時(shí)即可確定另一個(gè)分離點(diǎn)，將這個(gè)連通域分離成兩部分，圖7b和圖7c示意了一個(gè)重疊蜜柚區(qū)域輪廓和對(duì)該輪廓的分離結(jié)果，3個(gè)蜜柚相互重疊的情況會(huì)相對(duì)復(fù)雜，但原理相同。

2.3 果梗定位

由于蜜柚的果實(shí)碩大，果梗粗壯，正常的采摘方法是通過(guò)剪切蜜柚果梗實(shí)現(xiàn)的，這便需要在采摘之前進(jìn)行果梗定位。無(wú)論是垂直或是傾斜懸掛，蜜柚的形狀和果梗區(qū)域都如圖8a所示，經(jīng)過(guò)漸進(jìn)式中心定位方法定位出主體輪廓的中心，果梗位于蜜柚縱剖面中穿過(guò)中心點(diǎn)的長(zhǎng)軸延長(zhǎng)線與蜜柚輪廓交會(huì)點(diǎn)附近。同時(shí)，由于受到重力作用，蜜柚果梗位于長(zhǎng)軸的上端點(diǎn)方向。因此，可以通過(guò)尋找穿過(guò)縱剖面中心點(diǎn)的長(zhǎng)軸來(lái)定位果梗，如圖8b所示。本文所提出的果梗定位方案，同樣可以很好地定位傾斜掛果情況下的蜜柚果梗，如圖8c所示。

3 試驗(yàn)方法與結(jié)果

3.1 試驗(yàn)方法

本文從網(wǎng)上和實(shí)地采集50張自然場(chǎng)景下的蜜柚圖像進(jìn)行試驗(yàn)，場(chǎng)景范圍涵蓋了枝葉遮擋、重疊、陰影以及其他不同顏色的蜜柚圖像。為了驗(yàn)證本文提出方法的有效性，共做了3部分試驗(yàn)，首先對(duì)50張圖像進(jìn)行本文方法的試驗(yàn)，其次對(duì)本文方法和圓擬合方法的識(shí)別結(jié)果進(jìn)行對(duì)比，最后設(shè)計(jì)識(shí)別自動(dòng)化試驗(yàn)平臺(tái)進(jìn)行識(shí)別試驗(yàn)。

3.1.1 本文方法的蜜柚識(shí)別和果梗定位試驗(yàn)

首先，對(duì)50張蜜柚圖像采用本文提出的蜜柚識(shí)別方法進(jìn)行試驗(yàn)，試驗(yàn)流程如圖9所示。其次，根據(jù)本文提出的蜜柚果梗定位方法，選取9張具有較大蜜柚果實(shí)的圖像進(jìn)行試驗(yàn)，要求進(jìn)行果梗定位的蜜柚具有基本的蜜柚形狀特征和果梗所在部分未被遮擋，以便果梗定位方法能夠?qū)ふ业?.3節(jié)中敘述的長(zhǎng)軸，先用本文的識(shí)別方法進(jìn)行蜜柚識(shí)別，選取識(shí)別結(jié)果中面積最大的幾個(gè)蜜柚進(jìn)行試驗(yàn)，選取規(guī)則為：蜜柚面積大于圖像上最大面積的60%，即為試驗(yàn)對(duì)象。

3.1.2 圓擬合蜜柚識(shí)別試驗(yàn)

圓擬合方法是通過(guò)剔除目標(biāo)輪廓中的偽輪廓，對(duì)留下的有效輪廓進(jìn)行擬合的方法。由于重疊蜜柚在重疊部分和受到枝葉遮擋部分的輪廓曲率會(huì)明顯異常于其他輪廓點(diǎn)，本文利用輪廓的曲率進(jìn)行異常點(diǎn)剔除[24]，剔除異常點(diǎn)后蜜柚輪廓會(huì)被切分為幾個(gè)部分，這些輪廓中有的是受到枝葉遮擋形成的偽輪廓，偽輪廓通常比正常的蜜柚輪廓短，剔除這部分偽輪廓，再用最小二乘法對(duì)保留的輪廓做圓擬合，剔除偽輪廓過(guò)程如圖10所示。

3.1.3 蜜柚識(shí)別自動(dòng)化試驗(yàn)

為了驗(yàn)證實(shí)際應(yīng)用效果，將本文方法集成到采摘機(jī)器人視覺系統(tǒng)上進(jìn)行識(shí)別試驗(yàn)。識(shí)別自動(dòng)化試驗(yàn)平臺(tái)如圖 11所示。采摘機(jī)器人由6自由度機(jī)械臂、移動(dòng)小車、雙目攝像頭和一臺(tái)樹莓派組成。識(shí)別試驗(yàn)過(guò)程如下：將移動(dòng)小車移動(dòng)到合適位置，由樹莓派調(diào)用雙目攝像頭獲取照片并調(diào)用算法對(duì)蜜柚果實(shí)進(jìn)行識(shí)別；若算法識(shí)別到成熟蜜柚果實(shí)，則選擇距離攝像頭最近的蜜柚果實(shí)為第1采摘目標(biāo)并進(jìn)行果梗定位。

自動(dòng)采摘的關(guān)鍵環(huán)節(jié)之一是蜜柚果梗的空間坐標(biāo)定位，采用雙目立體視覺定位方法實(shí)現(xiàn)，各個(gè)蜜柚果梗的定位功能模塊如圖12所示，在對(duì)果梗的空間坐標(biāo)進(jìn)行計(jì)算前，需要在左右目圖像上定位出對(duì)應(yīng)的果梗位置，本文先對(duì)左目圖像進(jìn)行蜜柚識(shí)別，以識(shí)別出的蜜柚目標(biāo)為模板在右目圖像上進(jìn)行匹配，如果匹配成功則分別對(duì)左右目圖像中該蜜柚的果梗進(jìn)行定位，對(duì)左右目圖像的處理流程如圖13所示，圖13a為雙目攝像頭獲取并經(jīng)過(guò)校正的雙目圖像，圖13b為左目圖像的蜜柚識(shí)別結(jié)果，圖 13c為以左目圖像的識(shí)別結(jié)果為模板在右目圖像中的匹配結(jié)果，圖13d是對(duì)左右目圖像中識(shí)別到的蜜柚進(jìn)行果梗定位。從識(shí)別自動(dòng)化試驗(yàn)平臺(tái)上的雙目攝像頭獲取含有重疊蜜柚的雙目圖像，按上述流程進(jìn)行識(shí)別、果梗定位試驗(yàn)。

3.1.4 試驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)

對(duì)本文提出方法和圓擬合方法的試驗(yàn)結(jié)果均采用正確識(shí)別率（T）、錯(cuò)誤識(shí)別率（F）和遺漏率（M）作為評(píng)價(jià)指標(biāo)，其中，錯(cuò)誤識(shí)別包括將非蜜柚目標(biāo)識(shí)別為蜜柚和對(duì)蜜柚的重復(fù)識(shí)別，即對(duì)同一蜜柚目標(biāo)的重復(fù)識(shí)別僅將其中一個(gè)計(jì)入正確識(shí)別個(gè)數(shù)，其他都計(jì)入錯(cuò)誤識(shí)別個(gè)數(shù)。評(píng)價(jià)指標(biāo)計(jì)算方法如下：

T=T/×100% （1）

F=F/×100% （2）

M=M/×100% （3）

式中T為正確識(shí)別的蜜柚個(gè)數(shù)，F(xiàn)為錯(cuò)誤識(shí)別的蜜柚個(gè)數(shù)，M為遺漏識(shí)別的蜜柚個(gè)數(shù)，為圖像上的蜜柚總數(shù)。

3.2 試驗(yàn)結(jié)果與分析

3.2.1 本文方法的蜜柚識(shí)別結(jié)果與分析

本文所提方法的試驗(yàn)結(jié)果如表1和圖14所示。從圖 14中可以看出，本文使用的主成分分析方法能夠準(zhǔn)確地從圖像中提取出蜜柚，提出的分離方法對(duì)相互遮擋的蜜柚具有較好的分離效果。由表1可以看出，本文方法大部分的識(shí)別率為100%，平均識(shí)別率為94.02%，最低識(shí)別率為68.42%，平均錯(cuò)誤識(shí)別率為14.87%，最高錯(cuò)誤識(shí)別率為60%。其中造成識(shí)別率較低的原因：1）葉片和其他蜜柚對(duì)目標(biāo)光線的遮擋，導(dǎo)致目標(biāo)亮度較暗，在圖像上呈現(xiàn)出的顏色與正常蜜柚顏色有明顯差別，從而沒有被識(shí)別出來(lái)；2） 重疊蜜柚的重疊程度過(guò)大，漸進(jìn)式中心定位算法最終只定位出一個(gè)中心，被誤認(rèn)為是非重疊區(qū)域，導(dǎo)致識(shí)別率降低。造成錯(cuò)誤識(shí)別率較高的原因：1） 蜜柚受到枝、葉、光照等影響，導(dǎo)致提取出的目標(biāo)形變大，被認(rèn)為是多個(gè)蜜柚重疊形成；2）蜜柚被樹枝等切割成多塊，每一塊都被認(rèn)為是一個(gè)蜜柚。以上兩個(gè)原因都會(huì)導(dǎo)致對(duì)同一蜜柚目標(biāo)的重復(fù)識(shí)別，根據(jù)本文規(guī)定的錯(cuò)誤識(shí)別個(gè)數(shù)統(tǒng)計(jì)方法，重復(fù)識(shí)別也被統(tǒng)計(jì)到錯(cuò)誤識(shí)別個(gè)數(shù)中，從而導(dǎo)致錯(cuò)誤識(shí)別率的增加。

由此可見，本文所提方法對(duì)于分離圖像中相互重疊的多個(gè)蜜柚具有很大優(yōu)勢(shì)，但對(duì)于相互遮擋嚴(yán)重的蜜柚的分離效果會(huì)有所下降，平均識(shí)別率為94.02%，表明利用本文方法進(jìn)行重疊蜜柚目標(biāo)識(shí)別是可行的，其性能基本滿足自動(dòng)采摘的需求。

3.2.2 果梗定位結(jié)果與分析

選取9張蜜柚圖像進(jìn)行試驗(yàn)，試驗(yàn)結(jié)果如圖15所示。在實(shí)際應(yīng)用當(dāng)中，為了與方法原理相適應(yīng)，要求攝像頭獲取圖像時(shí)與水平面平行，由于可以通過(guò)機(jī)器人的移動(dòng)多次定位果梗，因此每次只需要定位出離攝像頭最近的2～3個(gè)蜜柚的果梗，而距離攝像頭越近的蜜柚在圖像上的面積越大，即表現(xiàn)為“大”目標(biāo)，這在一定程度上解決了該方法難以定位被其他目標(biāo)遮擋的果梗的問題。從圖15中可以看出，每張圖像中符合條件的“大”目標(biāo)蜜柚果梗均可定位，沒有定位出果梗的蜜柚主要為距離攝像頭較遠(yuǎn)和受到嚴(yán)重遮擋的“小”目標(biāo)蜜柚。

表1 本文所提方法的蜜柚識(shí)別試驗(yàn)結(jié)果

3.3 對(duì)比試驗(yàn)結(jié)果

本文以對(duì)有效輪廓進(jìn)行圓擬合的方法作為對(duì)比試驗(yàn)，其平均識(shí)別率為84.59%，平均錯(cuò)誤識(shí)別率為37.48%，平均遺漏率為15.41%。從50張圖像中隨機(jī)選取幾張圖像進(jìn)行展示，如圖16所示。

由圖16可以看到，采用圓擬合的方法，對(duì)受遮擋情況簡(jiǎn)單的圖像的擬合效果較好，如圖16c，但對(duì)于受遮擋情況復(fù)雜的圖像，最終的擬合效果較差，如圖16b，主要原因是：1）遮擋形成的偽輪廓被誤判為正常輪廓導(dǎo)致錯(cuò)誤擬合；2）正常輪廓被誤判為偽輪廓導(dǎo)致遺漏；3）蜜柚的形狀特征決定了其不同部位的輪廓擬合得到的圓具有很大的差別；4）蜜柚的形狀并不是標(biāo)準(zhǔn)的圓形，圓擬合的結(jié)果并不能很好地將整個(gè)蜜柚都包含在內(nèi)。采用圓擬合方法的平均識(shí)別率（84.59%）低于本文提出的方法（94.02%），且平均錯(cuò)誤識(shí)別率和平均遺漏率分別為37.48%和15.41%，均高于本文提出方法的14.87%和5.98%。本文所提方法與之相比，在重疊蜜柚分離上具有明顯優(yōu)勢(shì)。

3.4 蜜柚識(shí)別自動(dòng)化試驗(yàn)驗(yàn)證

從蜜柚識(shí)別自動(dòng)化平臺(tái)上獲取含有重疊蜜柚的雙目圖像進(jìn)行蜜柚識(shí)別和果梗定位試驗(yàn)，試驗(yàn)結(jié)果如圖 17所示，從圖中可以看出，本文方法對(duì)從試驗(yàn)平臺(tái)上獲取的重疊蜜柚圖像能夠準(zhǔn)確地分離識(shí)別和定位果梗，表明將本文方法應(yīng)用于自動(dòng)采摘設(shè)備上具有一定的可行性。

4 結(jié) 論

本文綜合利用主成分分析、漸進(jìn)式中心定位、輪廓信息和蜜柚的形狀特征，實(shí)現(xiàn)蜜柚目標(biāo)提取、重疊輪廓分離及果梗定位，并用自然場(chǎng)景圖像和識(shí)別自動(dòng)化試驗(yàn)平臺(tái)進(jìn)行了算法驗(yàn)證，主要結(jié)論如下：

1）針對(duì)圖像上蜜柚形態(tài)不規(guī)則、顏色相似的特征，采用基于主成分分析的目標(biāo)提取方法可以有效地實(shí)現(xiàn)蜜柚圖像的分割。

2）針對(duì)重疊蜜柚的分離問題，本文結(jié)合漸進(jìn)式中心定位而提出的分離方法，實(shí)現(xiàn)了重疊蜜柚的分離，平均識(shí)別率達(dá)94.02%。

3）針對(duì)果梗定位問題，提出了一種確定蜜柚果梗位置的方法，基本可以定位出離攝像頭較近的蜜柚的果梗，為自動(dòng)采摘提供信息支持。

對(duì)于受到嚴(yán)重遮擋或受到光線影響嚴(yán)重的目標(biāo)，該方法的識(shí)別性能會(huì)有所下降，可以在采集圖像的同時(shí)通過(guò)角度調(diào)整、遮光或補(bǔ)光等方式進(jìn)行改善。本文方法實(shí)現(xiàn)的蜜柚識(shí)別、果梗定位，再結(jié)合雙目視覺便可得到果梗的空間位置，這是機(jī)械手臂實(shí)現(xiàn)自動(dòng)采摘的關(guān)鍵信息。

[1] Yu Y, Zhang K, Yang L, et al. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN[J]. Computers and Electronics in Agriculture, 2019, 163: 104846.

[2] 王津京，趙德安，姬偉，等. 采摘機(jī)器人基于支持向量機(jī)蘋果識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40(1)：148-151.

Wang Jinjing, Zhao Dean, Ji Wei, et al. Apple fruit recognition based on support vector machine using in harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(1): 148-151. (in Chinese with English abstract)

[3] 司永勝，喬軍，劉剛，等. 蘋果采摘機(jī)器人果實(shí)識(shí)別與定位方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(9)：148-153.

Si Yongsheng, Qiao Jun, Liu Gang, et al. Recognition and location of fruits for apple harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(9): 148-153. (in Chinese with English abstract)

[4] 賈偉寬，趙德安，劉曉洋，等. 機(jī)器人采摘蘋果果實(shí)的K-means和GA-RBF-LMS神經(jīng)網(wǎng)絡(luò)識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(18)：175-183.

Jia Weikuan, Zhao Dean, Liu Xiaoyang, et al. Apple recognition based on K-means and GA-RBF-LMS neural network applicated in harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(18): 175-183. (in Chinese with English abstract)

[5] 江梅，孫颯爽，何東健，等. 融合K-means聚類分割算法與凸殼原理的遮擋蘋果目標(biāo)識(shí)別與定位方法[J]. 智慧農(nóng)業(yè)，2019，1(2)：45-54.

Jiang Mei, Sun Sashuang, He Dongjian, et al. Recognition and localization method of occluded apples based on K-means clustering segmentation algorithm and convex hull theory[J]. Smart Agriculture, 2019, 1(2): 45-54. (in Chinese with English abstract)

[6] 周文靜，查志華，吳杰. 改進(jìn)圓形Hough變換的田間紅提葡萄果穗成熟度判別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(9)：205-213.

Zhou Wenjing, Zha Zhihua, Wu Jie. Maturity discrimination of “Red Globe” grape cluster in grapery by improved circle Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 205-213. (in Chinese with English abstract)

[7] Lin G, Tang Y, Zou X, et al. Color-, depth-, and shape-based 3D fruit detection[J]. Precision Agriculture, 2020, 21(1): 1-17.

[8] Wu G, Li B, Zhu Q, et al. Using color and 3D geometry features to segment fruit point cloud and improve fruit recognition accuracy[J]. Computers and Electronics in Agriculture, 2020, 174: 105475.

[9] 李寒，張漫，高宇，等. 溫室綠熟番茄機(jī)器視覺檢測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(增刊1)：328-334.

Li Han, Zhang Man, Gao Yu, et al. Green ripe tomato detection method based on machine vision in greenhouse[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 328-334. (in Chinese with English abstract)

[10] Bu R, Xiong J, Chen S, et al. A shadow detection and removal method for fruit recognition in natural environments[J]. Precision Agriculture, 2020, 21(4): 782-801.

[11] 孟欣欣，阿里甫·庫(kù)爾班，呂情深，等. 基于遷移學(xué)習(xí)的自然環(huán)境下香梨目標(biāo)識(shí)別研究[J]. 新疆大學(xué)學(xué)報(bào)：自然科學(xué)版，2019，36(4)：461-467.

Meng Xinxin, Alifu Kuerban, Lv Qingshen, et al. Research on fragrant pear target recognition in natural environment based on transfer learning[J]. Journal of Xinjiang University: Natural Science Edition, 2019, 36(4):461-467. (in Chinese with English abstract)

[12] Xiong L, Wang Z, Liao H, et al. Overlapping citrus segmentation and reconstruction based on Mask R-CNN model and concave region simplification and distance analysis[C]. Journal of Physics: Conference Series. IOP Publishing, 2019, 1345(3): 032064.

[13] Xiao C, Zheng L, Li M, et al. Apple detection from apple tree image based on BP neural network and Hough transform[J]. International Journal of Agricultural and Biological Engineering, 2015, 8(6): 46-53.

[14] Bresilla K, Perulli G D, Boini A, et al. Single-shot convolution neural networks for real-time fruit detection within the tree[J]. Frontiers in plant science, 2019, 10: 611.

[15] Tian Y, Yang G, Wang Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J]. Computers and Electronics in Agriculture, 2019, 157: 417-426.

[16] Kang H, Chen C. Fruit detection, segmentation and 3D visualisation of environments in apple orchards[J]. Computers and Electronics in Agriculture, 2020, 171: 105302.

[17] 李寒，王庫(kù)，曹倩，等. 基于機(jī)器視覺的番茄多目標(biāo)提取與匹配[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(5)：168-172.

Li Han, Wang Ku, Cao Qian, et al. Tomato targets extraction and matching based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(5): 168-172. (in Chinese with English abstract)

[18] 項(xiàng)榮，應(yīng)義斌，蔣煥煜，等. 基于邊緣曲率分析的重疊番茄識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(3)：157-162.

Xiang Rong, Ying Yibin, Jiang Huanyu, et al. Recognition of overlapping tomatoes based on edge curvature analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(3): 157-162. (in Chinese with English abstract)

[19] 馮娟，曾立華，劉剛，等. 融合多源圖像信息的果實(shí)識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(2)：73-80.

Feng Juan, Zeng Lihua, Liu Gang, et al. Fruit recognition algorithm based on multi-source images fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(2): 73-80. (in Chinese with English abstract)

[20] 王丹丹，徐越，宋懷波，等. 融合K-means與Ncut算法的無(wú)遮擋雙重疊蘋果目標(biāo)分割與重建[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(10)：227-234.

Wang Dandan, Xu Yue, Song Huaibo, et al. Fusion of K-means and Ncut algorithm to realize segmentation and reconstruction of two overlapped apples without blocking by branches and leaves[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(10): 227- 234. (in Chinese with English abstract)

[21] 徐越，李盈慧，宋懷波，等. 基于Snake模型與角點(diǎn)檢測(cè)的雙果重疊蘋果目標(biāo)分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(1)：196-203.

Xu Yue, Li Yinghui, Song Huaibo, et al. Segmentation method of overlapped double apples based on Snake model and corner detectors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(1): 196- 203. (in Chinese with English abstract)

[22] He Z, Xiong J, Chen S, et al. A method of green citrus detection based on a deep bounding box regression forest[J]. Biosystems Engineering, 2020, 193: 206-215.

[23] 林耀海，景林，王長(zhǎng)纓，等. 一種漸進(jìn)式圓心定位的原木端面輪廓識(shí)別方法[J]. 福建師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，32(4)：23-28.

Lin Yaohai, Jing Lin, Wang Changying, et al. A progressive central location method for outline extraction of logs cross section[J]. Journal of Fujian Normal University: Natural Science Edition, 2016, 32(4): 23-28. (in Chinese with English abstract)

[24] 荀一，陳曉，李偉，等. 基于輪廓曲率的樹上蘋果自動(dòng)識(shí)別[J]. 江蘇大學(xué)學(xué)報(bào)：自然科學(xué)版，2007(6)：461-464.

Xun Yi, Chen Xiao, Li Wei, et al. Automatic recognition of no-tree apples based on contour curvature[J]. Journal of Jiangsu University: Natural Science Edition, 2007(6): 461-464. (in Chinese with English abstract)

Recognition of the overlapped honey pomelo images in natural scene and experiment

Lin Yaohai1, Lyu Zhongliang1, Yang Changcai1, Lin Peijie2, Chen Fangyu3, Hong Jiawei1

(1.,,350002,;2.,,350116,;3.,,350002,)

Two key challenges can be the accurate separation of the overlapping fruits and the positioning of the plant stem during the automatic picking of honey pomelo. However, the existing approaches to separate the overlapping apples and citrus are not suitable for the overlapping honey pomelo, particularly no positioning function of the stem so far. In this study, new image recognition was proposed to combine with the progressive center and stem positioning in natural scene images, in order to improve the recognition rate of honey pomelo. Firstly, the principal component analysis (PCA) was used to determine the principal components of the color pixel values in the target area and the distribution intervals of each component. The PCA was also utilized to reduce the data dimensionality. As such, the rotation matrix was obtained to convert the image from the RGB to the principal component space. The distribution intervals of the color principal components were used to evaluate and filter the pixels of the honey pomelo. A binarization was then performed to obtain a binary image. Secondly, the edge information of the color image after filtering the background was selected to preliminarily divide the binary image. If a pixel was an edge point on the color image, the corresponding point on the binary image was set for the background pixel. Before separating, a white area was determined to contain the multiple honey pomelos. In addition, the separation operation was performed on the area, only when there were multiple honey pomelos. Thirdly, a progressive center positioning was adopted to locate the center of each honey pomelo in the overlapping honey pomelo area. An operation was also conducted from the top, bottom, left, and right directions to obtain the center of each honey pomelo. Finally, the separation point of the overlapping area was determined to realize the recognition, where the edge points of the white area were traversed along the edge, in order to calculate the distance between each edge point and the center points of two adjacent honey pomelos. Since the stem of the honey pomelo was located near the top extension line of the long axis passing through the center point in the longitudinal section, the central point was used to locate the stem area with a smaller degree of obscuration and normal suspension. A total of 50 images in natural scenes were selected to verify the model. The test results showed that the average recognition rate of the new recognition was 94.02% in the natural scene. Furthermore, the stem areas were accurately located for the honey pomelos, whose stems were not blocked or closer to the camera. Consequently, the new recognition can be widely expected to transfer to the embedded development system and an automatic picking platform with the laboratory honey pomelo model for picking experiments. This finding can also provide a strong reference to accurately recognize the overlapping fruits for the picking robot of honey pomelo.

image processing; identification; machine vision;overlapping honey pomelo; principal component analysis; progressive center location; separation; fruit stem

2021-10-30

2021-12-06

國(guó)家自然科學(xué)基金（61972093）；福建省自然科學(xué)基金（2019J01402）

林耀海，博士，講師，研究方向?yàn)閳D像處理、智能信息處理。Email：linyaohai@fafu.edu.cn

10.11975/j.issn.1002-6819.2021.24.018

TP391.41

A

1002-6819(2021)-24-0158-10

林耀海，呂鐘亮，楊長(zhǎng)才，等. 自然場(chǎng)景圖像中的重疊蜜柚識(shí)別及試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(24)：158-167. doi：10.11975/j.issn.1002-6819.2021.24.018 http://www.tcsae.org

Lin Yaohai, Lyu Zhongliang, Yang Changcai, et al. Recognition of the overlapped honey pomelo images in natural scene and experiment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(24): 158-167. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.24.018 http://www.tcsae.org