摘 要：【目的】研究一種基于機(jī)器視覺(jué)的西瓜識(shí)別與定位技術(shù)，滿足西瓜搬運(yùn)設(shè)備的自動(dòng)化要求，為自動(dòng)搬運(yùn)設(shè)備的視覺(jué)部分提供技術(shù)支持。

【方法】采集西瓜的二維圖像數(shù)據(jù)與三維點(diǎn)云數(shù)據(jù)。調(diào)用OpenCV函數(shù)庫(kù)分割西瓜二維圖像，提取出西瓜的外輪廓；采用PCL函數(shù)對(duì)三維點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理，并與二維圖像作圖形特征匹配，提取出頂層西瓜的質(zhì)心點(diǎn)。

【結(jié)果】單輪次的西瓜輪廓總識(shí)別率為97.62%，正確識(shí)別率為95.58%，質(zhì)心識(shí)別率為92.72%。20輪測(cè)試的總輪廓識(shí)別率為98.02%，總正確識(shí)別率為96.53%，總質(zhì)心識(shí)別率為94.17%，總質(zhì)心個(gè)數(shù)和總西瓜個(gè)數(shù)之間的誤差率為2.36%；西瓜圖像處理的總用時(shí)為101.8s，效率提高了77.8%。

【結(jié)論】基于機(jī)器視覺(jué)的西瓜識(shí)別與定位技術(shù)識(shí)別率較高且誤差率較低。

關(guān)鍵詞：西瓜；識(shí)別與定位；質(zhì)心提??；圖像處理；點(diǎn)云；OpenCV；PCL

中圖分類號(hào)：S126；S651"" 文獻(xiàn)標(biāo)志碼：A"" 文章編號(hào)：1001-4330（2024）07-1805-09

0 引 言

【研究意義】西瓜是夏季主要的瓜果之一［1-2］。近年來(lái)西瓜產(chǎn)量逐年提升［3-5］。高效率的自動(dòng)化西瓜運(yùn)輸與搬運(yùn)設(shè)備成為應(yīng)對(duì)龐大市場(chǎng)需求的必要條件，而西瓜的視覺(jué)識(shí)別是其中的關(guān)鍵技術(shù)環(huán)節(jié)［6］。傳統(tǒng)人工搬運(yùn)成本高，效率低，西瓜損傷率也較高［7-8］。使用搭載視覺(jué)識(shí)別設(shè)備的搬運(yùn)設(shè)備，能夠較好地解決此類傳統(tǒng)問(wèn)題［9-10］?！厩叭搜芯窟M(jìn)展】近年來(lái)，機(jī)器視覺(jué)技術(shù)在農(nóng)作物的二維圖像識(shí)別與三維點(diǎn)云處理領(lǐng)域上運(yùn)用迅速［11-12］。宋晨旭等［13］提出了一種改進(jìn)后的分水嶺分割算法，基于OpenCV函數(shù)庫(kù)對(duì)多個(gè)粘連的大豆進(jìn)行圖像預(yù)處理，使用多次判斷的分水嶺分割算法，得到每一個(gè)單獨(dú)個(gè)體的大豆圖像，對(duì)大豆顆?？倲?shù)的識(shí)別率達(dá)到99.5%。劉萬(wàn)輝等［14］提出一種在溫室實(shí)景下的西瓜識(shí)別法，通過(guò)西瓜的顏色特征，采取R-B色差模型對(duì)西瓜進(jìn)行預(yù)處理，針對(duì)重疊的西瓜采用圓形霍夫變化對(duì)其進(jìn)行圖像分離，單個(gè)西瓜的識(shí)別率達(dá)到97.5%，重疊西瓜的識(shí)別率為84.9%。吳明清等［15］通過(guò)紅綠色差法對(duì)西瓜剖面圖像進(jìn)行閾值分割，同時(shí)采用橢圓擬合法求得西瓜的中心和長(zhǎng)短軸，具有較強(qiáng)的精準(zhǔn)度。劉德兒等［16］通過(guò)改進(jìn)YOLACT算法對(duì)臍橙果實(shí)進(jìn)行實(shí)時(shí)分割，利用最小二乘法對(duì)分割出的點(diǎn)云進(jìn)行外形擬合，得到其質(zhì)心坐標(biāo)，定位誤差為0.49 cm?！颈狙芯壳腥朦c(diǎn)】目前，國(guó)內(nèi)關(guān)于西瓜的視覺(jué)處理研究大部分集中在單個(gè)西瓜的識(shí)別上［17］，且多停留在二維圖像識(shí)別領(lǐng)域。對(duì)西瓜的三維點(diǎn)云處理研究較少，對(duì)大量且雜亂堆放西瓜的識(shí)別研究較少［18］。單一的二維圖像處理技術(shù)對(duì)單層西瓜的識(shí)別效果較好，但對(duì)堆放西瓜識(shí)別存在不足，二維圖像處理技術(shù)在三維識(shí)別領(lǐng)域的應(yīng)用效果相對(duì)較差。利用最小二乘法對(duì)西瓜點(diǎn)云進(jìn)行球狀擬合的過(guò)程中，由于西瓜并不是一個(gè)規(guī)范的球體，導(dǎo)致西瓜的定位有較大的誤差，無(wú)法達(dá)到自動(dòng)西瓜抓取的精度要求。若高效搬運(yùn)西瓜，需要識(shí)別與定位多個(gè)無(wú)序堆放西瓜的設(shè)備?！緮M解決的關(guān)鍵問(wèn)題】將二維圖像數(shù)據(jù)與三維點(diǎn)云數(shù)據(jù)相融合的新型西瓜識(shí)別定位，利用OpenCV數(shù)據(jù)庫(kù)［19］對(duì)堆放西瓜的二維圖像進(jìn)行處理，同時(shí)調(diào)用PCL數(shù)據(jù)庫(kù)［20］對(duì)堆放西瓜的三維點(diǎn)云信息進(jìn)行處理，通過(guò)2種維度信息的融合識(shí)別與定位技術(shù)堆放西瓜，為高效自動(dòng)化西瓜搬運(yùn)設(shè)備研發(fā)提供技術(shù)支持。

1 材料與方法

1.1 材 料

1.1.1 西 瓜

試驗(yàn)于2023年在國(guó)家農(nóng)業(yè)信息化工程技術(shù)研究中心進(jìn)行，選用北京龐各莊西瓜73個(gè)。

1.1.2 設(shè)備與軟件

微軟Azure Kinect DK深度相機(jī)；計(jì)算機(jī)：惠普研發(fā)有限公司；Anaconda3、Python 3.9.2、PyCharm 2020.1、Visual Studio 2017、OpenCV4.7.1、PCL1.11.1軟件。

1.1.3 圖像采集

使用深度相機(jī)對(duì)堆放的西瓜進(jìn)行拍攝，采集西瓜堆的二維RGB圖像與三維點(diǎn)云圖像。圖1

將若干個(gè)西瓜無(wú)序地堆放在1 000 mm×3 000 mm的黑色吸光幕布上，幕布的材質(zhì)選用阻尼大的絨毛，因其摩擦力大的特性，可以防止西瓜堆疊時(shí)的打滑現(xiàn)象，使堆疊的西瓜可以穩(wěn)定地處于拍攝狀態(tài)。而黑色吸光的特性則可以過(guò)濾掉更多的圖像噪點(diǎn)，便于西瓜的圖像處理。

使用深度相機(jī)的USB3.0端口連接電腦，確定相機(jī)到西瓜堆最上層的距離為600 mm，并垂直于幕布，得到的RGB圖像以PNG格式保存，三維點(diǎn)云圖像以PLY格式保存，完成對(duì)無(wú)序西瓜堆原始RGB圖像與點(diǎn)云圖像的采集。

1.2 方 法

1.2.1 試驗(yàn)設(shè)計(jì)

先將若干個(gè)西瓜無(wú)序地堆放到拍攝場(chǎng)景下，將其堆放成兩層，按照拍照一次隨機(jī)取走一個(gè)西瓜的原則，直至頂層西瓜全部拾取完畢，每次拍照時(shí)間間隔2 s，該流程重復(fù)20輪，提高試驗(yàn)的樣本量。

1.2.2 圖像處理流程

頂層西瓜的定位分為兩個(gè)板塊，二維圖像處理板塊和三維點(diǎn)云處理板塊，將兩個(gè)板塊處理的結(jié)果相融合，獲取頂層西瓜的位置信息。圖2

1.2.3 圖像預(yù)處理

（1）圖像降噪。使用OpenCV的Python接口，調(diào)用Python-OpenCV庫(kù)函數(shù)中的cv2.imread（）函數(shù)導(dǎo)入PNG格式的圖像文件。采用OpenCV函數(shù)庫(kù)中的cv2.cvtColor（）函數(shù)對(duì)導(dǎo)入的圖像文件進(jìn)行灰度化處理［21］。OpenCV函數(shù)庫(kù)中常用的濾波處理函數(shù)有高斯濾波cv2.GuassianBlur（）、均值濾波cv2.blur（）、中值濾波cv2.medianBlur（）與雙邊濾波cv2.bilateralFilter（）。比對(duì)4種濾波處理方式，得到最優(yōu)的降噪方式為均值濾波。圖3

（2）圖像二值化。二值化操作分為全局閾值和局部閾值［22］，分別用2種閾值模式操作西瓜圖像，其函數(shù)關(guān)系如下：

f（x，y）=255，I（x，y）≥rhresh 0，I（x，y）＜rhresh（1）

式中，I為輸入圖像，I（x，y）表示西瓜圖像中第x行第y列的灰度值，f（x，y）為輸出的圖像。需要設(shè)入合適的閾值，使西瓜輪廓區(qū)域內(nèi)的灰度值為255，背景區(qū)域的灰度值為0。

使用cv2.threshold（）函數(shù)對(duì)西瓜圖像進(jìn)行全局閾值操作，函數(shù)cv2.THRESH_OTSU為全局閾值的自動(dòng)閾值算法，得到圖像雙峰的中間閾值，函數(shù)THRESH_BINARY為全局閾值的手動(dòng)閾值算法，設(shè)置合適的閾值為15。

采用自動(dòng)全局閾值與手動(dòng)全局閾值相結(jié)合的方式進(jìn)行二值化處理，圖像閾值波峰正常時(shí)，選用自動(dòng)全局閾值，在因拍攝外部條件特殊而導(dǎo)致的波峰異常時(shí)，選用手動(dòng)全局閾值。圖4

（3）圖像形態(tài)學(xué)處理。運(yùn)用圖像形態(tài)學(xué)處理對(duì)圖像進(jìn)行二次降噪。

形態(tài)學(xué)處理中最基本的操作是腐蝕與膨脹［23-24］，腐蝕操作將刪除邊界區(qū)域像素值為255的值，膨脹操作則將添加邊界區(qū)域像素值為255的值。需要過(guò)濾掉前景區(qū)域內(nèi)像素為0的值，對(duì)二值化圖像進(jìn)行膨脹操作，淹沒(méi)掉西瓜堆內(nèi)部的少量黑色陰影區(qū)域。

單純地進(jìn)行膨脹操作會(huì)將二值化圖像前景區(qū)域的外圈擴(kuò)大，得到的西瓜區(qū)域略大于原二值圖。閉運(yùn)算操作是指先對(duì)二值化圖像進(jìn)行膨脹運(yùn)算，再進(jìn)行腐蝕運(yùn)算。

dst（x，y）=max，src（x+x′，y+y′） （x′+y′），element（x′+y′）≠0（2）

dst（x，y）=min，src（x+x′，y+y′） （x′+y′），element（x′+y′）≠0（3）

式中，（2）式為膨脹運(yùn)算，（3）式為腐蝕運(yùn)算，兩式中dst（x，y）為灰度值，src（x+x′，y+y′）為內(nèi)核，內(nèi)核的中心點(diǎn)位置為（x′+y′），所計(jì)算出來(lái)的變量值為element（x′+y′）。

內(nèi)核尺寸選為4×4時(shí)，閉運(yùn)算結(jié)果最佳。

膨脹運(yùn)算去除掉了前景區(qū)域內(nèi)的噪聲信息，同時(shí)擴(kuò)大了前景區(qū)域，腐蝕運(yùn)算則將噪聲去除過(guò)后的二值化圖像還原到之前的大小。圖5

1.2.4 外輪廓提取

圖像梯度計(jì)算是圖像的邊緣信息以及圖像像素變化的速度［25］，像素值為0到255的轉(zhuǎn)換邊界就是西瓜堆外輪廓的邊緣，梯度值達(dá)到最大。

Sobel算子是一種離散的微分算子，該算子結(jié)合了高斯平滑和微分求導(dǎo)運(yùn)算，使圖像的輪廓更加的平滑。

西瓜二值圖像的輪廓邊緣處，仍有少部分區(qū)域處于非平滑的一個(gè)狀態(tài)。在x軸方向上對(duì)西瓜二值圖像進(jìn)行Sobel運(yùn)算，得到x軸方向上的邊界信息。一個(gè)x軸方向上邊緣信息不足以表達(dá)出全部邊界信息，進(jìn)而對(duì)y軸方向繼續(xù)進(jìn)行Sobel運(yùn)算，得到西瓜堆全部的邊界信息。用cv2.findContours（）函數(shù)計(jì)算出西瓜的外輪廓后，為使外輪廓信息可視化，調(diào)用OpenCV的cv2.drawContours（）繪制函數(shù)將輪廓信息繪制到原始RGB圖像中。圖6

1.2.5 點(diǎn)云預(yù)處理

（1）點(diǎn)云精簡(jiǎn)。采用PCL實(shí)現(xiàn)的VoxelGrid類［26］，通過(guò)導(dǎo)入的點(diǎn)云文件創(chuàng)建出一個(gè)立方體三維體素網(wǎng)格。根據(jù)此體素網(wǎng)格分割出若干個(gè)小立方體體素格，找到每一個(gè)小立方體體素格的重心點(diǎn)，以此來(lái)替代其他小體素格內(nèi)的點(diǎn)云。

L=α2s/g.（4）

g=N/V.（5）

式中，L為小立方柵格的邊長(zhǎng)，α為調(diào)節(jié)柵格邊長(zhǎng)大小的比例因子，s為比例系數(shù)，g代表柵格內(nèi)的點(diǎn)云數(shù)據(jù)，即點(diǎn)云總數(shù)（N）與大柵格體積（V）之比。分割出若干個(gè)m·n·l大小的小柵格的邊長(zhǎng)。

m=ceil［（（Xmax-Xmin）+d）/L］

n=ceil［（（Ymax-Ymin）+d）/L］

l=ceil［（（Zmax-Zmin）+d）/L］（6）

式中，xmax-xmin表示在x軸上點(diǎn)云坐標(biāo)的最大長(zhǎng)度，y軸與z軸的最大長(zhǎng)度計(jì)算同理，d表示小柵格外接球的直徑。代表每一個(gè)小立方體柵格的所有點(diǎn)云數(shù)據(jù)完成下采樣。

X=gi=1Xi/g

Y=gi=1Yi/g

Z=gi=1Zi/g（7）

遍歷所有的小立方體體素格，保留每一個(gè)小體素格的重心點(diǎn)，刪除其他的點(diǎn)云數(shù)據(jù)，從而完成原始點(diǎn)云數(shù)據(jù)的精簡(jiǎn)化，得到效果最優(yōu)的體素邊長(zhǎng)為0.5。原始點(diǎn)點(diǎn)云數(shù)為292 974，精簡(jiǎn)過(guò)后的點(diǎn)云效果圖，包含19 982個(gè)數(shù)據(jù)點(diǎn)。圖7

（2）點(diǎn)云降噪。直通濾波的作用是過(guò)濾掉在指定維度方向上取值不在給定值域內(nèi)的點(diǎn)［27］。使用PCL數(shù)據(jù)庫(kù)的直通濾波器可以較好地過(guò)濾掉西瓜堆的背景點(diǎn)云數(shù)據(jù)。Z軸方向上600到1 000的像素閾值區(qū)域?yàn)樾枰^(guò)濾掉的背景點(diǎn)云數(shù)據(jù)，在pt.setFilterLimitsNegative（）命令中選擇true指令，即保存該范圍外的點(diǎn)云信息。圖8

選擇1指令，即保存范圍內(nèi)的點(diǎn)云信息，提取出西瓜堆X軸上的橫截面信息，確認(rèn)最上層西瓜的像素高度為480～485。

過(guò)濾掉Z軸上除了480到485以外的點(diǎn)云數(shù)據(jù)，得到最上層西瓜的Z軸截面點(diǎn)云數(shù)據(jù)。圖8

1.2.6 特征匹配與圖像融合

將處理后的外輪廓與圖6c做特征匹配［28］，兩輪廓相對(duì)應(yīng)，完成坐標(biāo)重合。

（1）點(diǎn)云平面圖的非點(diǎn)云黑色區(qū)域過(guò)多，使用均值濾波對(duì)點(diǎn)云圖像進(jìn)行模糊化。

（2）模糊化后的點(diǎn)云圖在其區(qū)域內(nèi)仍然有較明顯的粘連黑色塊兒，采用局部閾值cv2.adaptiveThreshold（）將點(diǎn)云圖劃分為若干個(gè)區(qū)塊兒，再進(jìn)行二值化處理。

（3）Canny算子能盡可能多地識(shí)別出圖像的邊緣信息，采用Canny算子對(duì)二值化后的圖像進(jìn)行邊緣信息檢測(cè)。

（4）用cv2.findContours（）函數(shù)對(duì)Canny邊界進(jìn)行輪廓繪制，并分割出來(lái)作為特征匹配的模板。

（5）分割出的圖9e作為匹配模板，調(diào)用OpenCV的cv2.matchTemplate（）函數(shù)對(duì)兩張圖進(jìn)行模板匹配，選擇TM_SQDIFF_NORMED模式，即計(jì)算歸一化平方不同，計(jì)算的值越接近0，越相關(guān)。圖9

在上節(jié)像素坐標(biāo)重合后，頂層西瓜的點(diǎn)云坐標(biāo)同時(shí)也得到匹配，將頂層西瓜的點(diǎn)云圖顯示到原始RGB圖中。得到二維圖像上頂層西瓜的位置信息。圖8，圖10

2 結(jié)果與分析

2.1 頂層西瓜質(zhì)心提取

研究表明，依據(jù)頂層西瓜的點(diǎn)云像素位置來(lái)構(gòu)建矩陣塊兒模板，調(diào)用cv2.bitwise_and（）函數(shù)將模板與原圖進(jìn)行位與操作。對(duì)已經(jīng)打上掩膜的圖像，進(jìn)行預(yù)處理操作。利用均值濾波去除掉西瓜表面的噪聲信息，頂層西瓜的圖像復(fù)雜程度并無(wú)原始圖像的高，采用THRESH_OTSU自動(dòng)閾值進(jìn)行二值化。二值化后的圖像仍留有底層西瓜的圖像信息，采用形態(tài)學(xué)開(kāi)操作將其去除，循環(huán)次數(shù)設(shè)置為10次。繪制輪廓并映射到原始圖像上。

根據(jù)輪廓計(jì)算西瓜的近似外接圓，最終提取到所有頂層西瓜的質(zhì)心點(diǎn)與像素坐標(biāo)信息，并將計(jì)算所得的外接圓與質(zhì)心點(diǎn)坐標(biāo)可視化，繪制到原始圖像中。圖10～11

2.2 單輪次頂層西瓜識(shí)別率

研究表明，以人工識(shí)別的頂層西瓜數(shù)量為標(biāo)準(zhǔn)，總共需要識(shí)別的西瓜個(gè)數(shù)為556個(gè)。西瓜輪廓識(shí)別率是指識(shí)別到所有頂層西瓜的輪廓個(gè)數(shù)比率，從第1次識(shí)別到第7次的識(shí)別率分別為100%、83.33%、100%、100%、100%、100%和100%。7次合計(jì)的輪廓識(shí)別率為97.62%。頂層西瓜識(shí)別率是指識(shí)別到的所有輪廓中，只包含頂層西瓜的比率，分別為85.71%、83.33%、100%、100%、100%、100%和100%。7次合計(jì)的西瓜正確識(shí)別率為95.58%。完成西瓜的識(shí)別測(cè)試后，還需要進(jìn)行定位測(cè)試，7次的質(zhì)心識(shí)別率分別為85.71%、83.33%、80%、100%、100%、100%和100%，7次合計(jì)的識(shí)別率為92.72%。

質(zhì)心坐標(biāo)為（151，104）的西瓜，由其輪廓所擬合出的外接圓完全包含頂層瓜，同時(shí)也包含了底層瓜的部分區(qū)域，因此該瓜的輪廓被識(shí)別成功，而在頂層瓜的正確識(shí)別上存在偏差，故識(shí)別到頂層西瓜輪廓為7個(gè)，識(shí)別率為100%，而頂層西瓜正確個(gè)數(shù)為6個(gè)；因擬合的外接圓同時(shí)包含頂層瓜與底層瓜的部分區(qū)域，故該頂層瓜質(zhì)心的偏心率較大，無(wú)法算作正確的質(zhì)心點(diǎn)。所以該輪次第一次采集所識(shí)別到質(zhì)心為6個(gè)，頂層瓜質(zhì)心識(shí)別率為85.71%。表1

20輪測(cè)試共計(jì)得到原始圖像144張，頂層西瓜總數(shù)556個(gè)，所識(shí)別西瓜輪廓個(gè)數(shù)545個(gè)，頂層西瓜輪廓總識(shí)別率為98.02%，其中正確識(shí)別到的頂層西瓜個(gè)數(shù)為540個(gè)，頂層西瓜總識(shí)別率為96.53%；識(shí)別到的質(zhì)心523個(gè)，質(zhì)心總識(shí)別率為94.17%。當(dāng)頂層瓜數(shù)量在5個(gè)以下時(shí)，西瓜正確識(shí)別率為100%；頂層瓜數(shù)量在4個(gè)以下時(shí)，西瓜質(zhì)心識(shí)別率為100%。

對(duì)未點(diǎn)云精簡(jiǎn)的圖像進(jìn)行單進(jìn)程圖像處理，處理144張圖片總用時(shí)459.4 s。為提高西瓜圖像的處理速度，創(chuàng)建四個(gè)進(jìn)程對(duì)點(diǎn)云精簡(jiǎn)后的圖像進(jìn)行處理，處理完相同的144張圖片總用時(shí)101.8s，時(shí)間縮短了約77.8%，使用精簡(jiǎn)后的點(diǎn)云圖作為處理源效果顯著，可以滿足自動(dòng)搬運(yùn)設(shè)備的工作要求。表2

3 討 論

3.1 特征匹配提取到的西瓜位置信息為一個(gè)大概方位，并不精確，無(wú)法據(jù)此提取出精準(zhǔn)的西瓜質(zhì)心點(diǎn)。因此，對(duì)其進(jìn)行掩模操作［29］，過(guò)濾掉頂層西瓜位置外的圖像區(qū)域，進(jìn)一步提高西瓜質(zhì)心提取的精確度。圖像掩模（image mask）是用選定的圖像、圖形或物體，對(duì)待處理的圖像進(jìn)行遮擋來(lái)控制圖像處理的區(qū)域或處理過(guò)程。

對(duì)單一的RGB圖像進(jìn)行圖像處理，并不能識(shí)

別到頂層西瓜的位置信息。二維圖像與三維點(diǎn)云相融合后，三維點(diǎn)云處理出的頂層西瓜位置信息，可以映射到二維圖像上。將二維圖像（6c）與z軸視覺(jué)下的三維點(diǎn)云圖像做特征匹配，使兩種圖像輪廓相重合，即輪廓坐標(biāo)重合，得到二維圖像上頂層西瓜的像素坐標(biāo)。

3.2 完美狀態(tài)下，西瓜個(gè)數(shù)與質(zhì)心個(gè)數(shù)應(yīng)保持一致。搭建的試驗(yàn)平臺(tái)需要在一定程度上受到拍攝時(shí)間，光線等外部條件的影響，且完全為無(wú)序堆放，所以造成了西瓜個(gè)數(shù)與質(zhì)心個(gè)數(shù)不一致的誤差。同理，每個(gè)頂層西瓜的背景均不盡相同，也造成了西瓜輪廓識(shí)別率與西瓜正確識(shí)別率不一致的誤差。20輪測(cè)試的總質(zhì)心個(gè)數(shù)和總西瓜個(gè)數(shù)之間的誤差率為2.36%，在理想范圍內(nèi)，對(duì)頂層西瓜的識(shí)別與定位不會(huì)產(chǎn)生較大影響。

3.3 提出的識(shí)別與定位法對(duì)雙層堆放的西瓜處理效果較好，當(dāng)西瓜層數(shù)與西瓜數(shù)量增加時(shí)，該識(shí)別法依舊適用，圖像處理效率不會(huì)受到影響；但頂層瓜的質(zhì)心提取精度有小幅降低，由于層數(shù)與西瓜數(shù)量的增加，西瓜間隙的深度信息也隨之增加，使西瓜點(diǎn)云噪點(diǎn)的復(fù)雜程度提升，后期需要進(jìn)一步優(yōu)化西瓜的三維點(diǎn)云分割技術(shù)，在PCL的點(diǎn)云處理上還有較大的進(jìn)步空間。

4 結(jié) 論

手動(dòng)閾值模式下設(shè)置閾值為15。144張西瓜圖像，單輪次的西瓜輪廓總識(shí)別率為97.62%，單輪分批次分別為100%、83.33%、100%、100%、100%、100%和100%；單輪次西瓜總正確識(shí)別率為95.58%，單輪分批次分別為85.71%、83.33%、100%、100%、100%、100%和100%；單輪次的總質(zhì)心識(shí)別率為92.72%，單輪分批次分別為85.71%、83.33%、80%、100%、100%、100%和100%。20輪測(cè)試總輪廓識(shí)別率為98.02%，總正確識(shí)別率為96.53%，總質(zhì)心識(shí)別率為94.17%，總質(zhì)心個(gè)數(shù)和總西瓜個(gè)數(shù)之間的誤差率為2.36%。點(diǎn)云精簡(jiǎn)優(yōu)化后的總用時(shí)為101.8s，效率提高了77.8%。

參考文獻(xiàn)（References）

［1］

錢曼， 黃文倩， 王慶艷， 等. 西瓜檢測(cè)部位差異對(duì)近紅外光譜可溶性固形物預(yù)測(cè)模型的影響［J］. 光譜學(xué)與光譜分析， 2016， 36（6）： 1700-1705， 1711.

QIAN Man， HUANG Wenqian， WANG Qingyan， et al. Assessment of influence detective position variability on precision of near infrared models for soluble solid content of watermelon［J］. Spectroscopy and Spectral Analysis， 2016， 36（6）： 1700-1705， 1711.

［2］ 周藝璇. 西瓜翠衣的營(yíng)養(yǎng)保健成分及藥用價(jià)值研究進(jìn)展［J］. 現(xiàn)代食品， 2022， 28（8）： 51-53， 57.

ZHOU Yixuan. Research progress on nutritional and health components and medicinal value of watermelon peel［J］. Modern Food，" 2022， 28（8）： 51-53， 57.

［3］ 李干瓊， 王志丹. 我國(guó)西瓜產(chǎn)業(yè)發(fā)展現(xiàn)狀及趨勢(shì)分析［J］. 中國(guó)瓜菜， 2019， 32（12）： 79-83.

LI Ganqiong， WANG Zhidan. Development status and trend analysis of watermelon industry in China［J］. China Cucurbits and Vegetables，" 2019， 32（12）： 79-83.

［4］ 宋展， 胡寶貴. 后疫情時(shí)期消費(fèi)者視角的北京市西瓜產(chǎn)業(yè)發(fā)展［J］. 北方園藝， 2022， （23）： 134-139.

SONG Zhan， HU Baogui. Development of watermelon industry in Beijing city from the perspective of consumers in the post epidemic period［J］. Northern Horticulture， 2022， （23）： 134-139.

［5］"""" 高麗娜. 西瓜采收技術(shù)［J］. 河南農(nóng)業(yè)， 2015， （9）： 46.

GAO Lina. Watermelon Harvesting Techniques［J］. Henan Agriculture， 2015， （9）： 46.

［6］ 官大文， 王春源， 王駿發(fā). 基于無(wú)人機(jī)機(jī)器視覺(jué)的西瓜偵測(cè)創(chuàng)新農(nóng)場(chǎng)管理模式［J］. 海峽科學(xué)， 2020， （11）： 62-68.

GUAN Dawen， WANG Chunyuan， WANG Junfa. Innovative farm management mode of watermelon detection based on UAV machine vision［J］. Straits Science， 2020， （11）： 62-68.

［7］Kamaldeen Mohammed， Evans Batung，Ansumah Saaka-Sulemana， et al. Determinants of mechanized technology adoption in smallholder agriculture： Implications for agricultural policy［J］. Neurocomputing， 2023， 18（3）： 545-557.

［8］"""" 唐芳. 我國(guó)農(nóng)機(jī)購(gòu)置補(bǔ)貼與農(nóng)業(yè)機(jī)械化發(fā)展現(xiàn)狀與提升建議［J］. 農(nóng)業(yè)經(jīng)濟(jì)， 2023， （4）： 9-12.

TANG Fang. China's agricultural machinery purchase subsidies and Mechanised agriculture development status and improvement suggestions［J］. Agricultural Economy，" 2023， （4）： 9-12.

［9］ 羅輝， 崔亞飛. 基于機(jī)器視覺(jué)的工件識(shí)別與定位系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］. 組合機(jī)床與自動(dòng)化加工技術(shù)， 2021， （1）： 101-105， 109.

LUO Hui， CUI Yafei. Design and implementation of workpiece recognition and positioning system based on machine vision［J］. Modular Machine Tool amp; Automatic Manufacturing Technique， 2021， （1）： 101-105， 109.

［10］ 崔旭東， 譚歡， 王平江， 等. 基于3D視覺(jué)的散亂堆放工件機(jī)器人抓取技術(shù)研究［J］. 制造技術(shù)與機(jī)床， 2021， （2）： 36-41.

CUI Xudong， TAN Huan， WANG Pingjiang， et al. Research on vision-based robot’s grabbing attitude for scattered stacking workpieces［J］. Manufacturing Technology amp; Machine Tool， 2021， （2）： 36-41.

［11］""" Xu B R， Chai L， Zhang C L. Research and application on corn crop identification and positioning method based on Machine vision［J］. Precision Agriculture，" 2023.

［12］ 柴宏紅， 邵科， 于超， 等. 基于三維點(diǎn)云的甜菜根表型參數(shù)提取與根型判別［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2020， 36（10）： 181-188.

CHAI Honghong， SHAO Ke， YU Chao， et al. Extraction of phenotypic parameters and discrimination of beet root types based on 3D point cloud［J］. Transactions of the Chinese Society of Agricultural Engineering，" 2020， 36（10）： 181-188.

［13］ 宋晨旭， 于翀宇， 邢永超， 等. 基于OpenCV的大豆籽粒多表型參數(shù)獲取算法［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2022， 38（20）： 156-163.

SONG Chenxu， YU Chongyu， XING Yongchao， et al. Algorith for acquiring multi-phenotype parameters of soybean seed based on OpenCV［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（20）： 156-163.

［14］ 劉萬(wàn)輝， 楊曄. 溫室場(chǎng)景下成熟西瓜的圖像識(shí)別研究［J］. 福建電腦， 2013， 29（5）： 29-31.

LIU Wanhui， YANG Ye. Study on image recognition of mature watermelon in greenhouse scene［J］. Journal of Fujian Computer， 2013， 29（5）： 29-31.

［15］ 吳明清， 王麗. 基于機(jī)器視覺(jué)技術(shù)的西瓜瓜瓤的識(shí)別方法［J］. 塔里木大學(xué)學(xué)報(bào)， 2014， 26（3）： 88-91.

WU Mingqing， WANG Li. Identification of the machine vision technology based on watermelon flesh［J］. Journal of Tarim University， 2014， 26（3）： 88-91.

［16］""" 劉德兒，朱磊，冀煒臻，等. 基于RGB-D相機(jī)的臍橙實(shí)時(shí)識(shí)別定位與分級(jí)方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2022， 38（14）：154-165.

LIU Deer， ZHU Lei， JI Weizhen， et al. Real time recognition， localization， and grading method for navel oranges based on RGB-D cameras［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（14）：154-165.

［17］ Liu K， Jiang K， Mu Y. Development of a vision guided robot for grafting watermelon based on hole insertion method［J］. Computers and Electronics in Agriculture， 2020.

［18］ Mohd Ali M， Hashim N， Bejo S K， et al. Comparison of laser backscattering imaging and computer vision system for grading of seedless watermelons［J］. Journal of Food Measurement and Characterization， 2020， 14（1）： 69-77.

［19］ 鄒宏偉. 基于OpenCV的數(shù)字圖像處理技術(shù)研究與實(shí)現(xiàn)［J］. 無(wú)線互聯(lián)科技， 2019， 16（22）： 118-119.

ZOU Hongwei. Research and implementation of digital image processing technology based on OpenCV［J］. Wireless Internet Technology，" 2019， 16（22）： 118-119.

［20］ 龍嫣然， 徐昱琳， 費(fèi)心怡. 基于PCL的Jaco機(jī)械臂的目標(biāo)抓?。跩］. 工業(yè)控制計(jì)算機(jī)， 2019， 32（4）： 65-67.

LONG Yanran， XU Yulin， FEI Xinyi. PCL-based object grasping by robot arm hand system［J］. Industrial Control Computer， 2019， 32（4）： 65-67.

［21］ 劉星星， 王爍爍， 徐麗明， 等. 基于OpenCV的動(dòng)態(tài)葡萄干色澤實(shí)時(shí)識(shí)別［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2019， 35（23）： 177-184.

LIU Xingxing， WANG Shuoshuo， XU Liming， et al. Real time color recognition of moving raisin based on OpenCV［J］. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（23）： 177-184.

［22］ 湯朋文， 陶華敏， 肖山竹， 等. 幾種常用圖像分割算法自適應(yīng)性的分析比較［J］. 數(shù)字技術(shù)與應(yīng)用， 2016， （5）： 140， 143.

TANG Pengwen， TAO Huamin， XIAO Shanzhu， et al. Analysis and comparison of adaptability of several commonly used image segmentation algorithms［J］. Digital Technology amp; Application， 2016， （5）： 140， 143.

［23］ 何曉軍， 徐愛(ài)功， 李玉. 利用HSI空間相似性的彩色形態(tài)學(xué)圖像處理方法［J］. 計(jì)算機(jī)科學(xué)， 2019， 46（4）： 285-292.

HE Xiaojun， XU Aigong， LI Yu. Color morphology image processing method using similarity in HSI space［J］. Computer Science， 2019， 46（4）： 285-292.

［24］ Codaro E N， Nakazato R Z， Horovistiz A L， et al. An image processing method for morphology characterization and pitting corrosion evaluation［J］. Materials Science and Engineering： A， 2002， 334（1/2）： 298-306.

［25］明家輝，朱靜. 基于熵加權(quán)圖像梯度的單目視覺(jué)SLAM研究［J］， 2022， 29（1）： 91-95.

MING Jiahui， ZHU Jing. A Study on Monocular Vision SLAM Based on Entropy Weighted Image Gradient［J］. Dongguan Journal of Technology， 2022， 29（1）： 91-95.

［26］ 舒麗君， 陸玲. 基于PCL庫(kù)三維點(diǎn)云樹(shù)枝重建［J］. 電腦與信息技術(shù)， 2020， 28（2）： 1-4.

SHU Lijun， LU Ling. The point cloud of branch reconstruction based on PCL library［J］. Computer and Information Technology， 2020， 28（2）： 1-4.

［27］宮德寧，吳琳娜，李榮華，等. 改進(jìn)直通濾波SAC-IA粗配準(zhǔn)算法［J］， 2022， 43（2）： 78-84.

GONG Dening， WU Linna， LI Ronghua， et al. Improved pass through filter SAC-IA coarse registration algorithm［J］. Journal of Dalian Jiaotong University， 2022， 43（2）： 78-84.

［28］馮書(shū)慶，王志勇，諶志新，等. 基于圖像特征的模板匹配成魚(yú)多目標(biāo)識(shí)別算法研究與程序設(shè)計(jì)［J］， 2023， 50（2）： 74-84.

FENG Shuqing， WANG Zhiyong， CHEN Zhixin， et al. Research and Program Design on Template Matching for Adult Fish Multi target Recognition Algorithm Based on Image Features［J］. Fisheries Modernization， 2023， 50（2）： 74-84.

［29］Shao C C， Li X L， Li F， et al. Large Mask Image Completion with Conditional GAN［J］. Frontiers in Plant Science， 2022， 7：745.

Research on recognition and localization of unordered

stacked watermelons based on machine vision

WU Fengyang1，2， HUANG Wenqian2， TIAN Xi2， YANG Yulin2

（1. College of Mechanical and Electrical Engineering， Xinjiang Agricultural University， Urumqi 830052， China; 2. Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences/National Agricultural Intelligent Equipment Engineering Technology Research Center， Beijing 100097， China）

Abstract：【Objective】 To study a watermelon recognition and positioning technology based on machine vision to meet the automation requirements of watermelon handling equipment.

【Methods】" 2D image data and 3D point cloud data of watermelon were collected and the OpenCV function library was called to segment the two-dimensional image of watermelon and extract the outer contour of the watermelon; The 3D point cloud data was preprocessed using the PCL function and perform graphic feature matching with the 2D image to extract the centroid points of the top layer watermelon.

【Results】" The validation test results showed that the total recognition rate of the number of watermelons in a single round was 97.62%， the correct recognition rate was 95.58%， and the centroid recognition rate was 92.72%. The total recognition rate of 20 rounds of testing was 98.02%， the total correct recognition rate was 96.53%， the total centroid recognition rate was 94.17%， and the error rate between the total centroid number and the total number of watermelons was 2.36%; The total time for watermelon image processing was 101.8 seconds， which improved the efficiency by 77.8%.

【Conclusion】" The watermelon recognition and positioning method proposed in this article has high recognition rate and low error rate， which can provide technical support and algorithm reference for the visual part of automatic handling equipment.

Key words：watermelon; identification and positioning; centroid extraction; image processing; point cloud; OpenCV； PCL

Fund projects：The national key research and development plan project \"Research and development of mobile fruit quality intelligent perception equipment and key link robots\" （2022YFD2002202）; Special Fund Project for National Watermelon Industry Technology System （CARS-25-07）; Beijing Academy of Agricultural and Forestry Sciences Innovation Special Emerging Discipline Intersection Project\"esearch and Development of Non destructive Testing Technology and Equipment for Watermelon Quality\"（KJCX20230206）

Correspondence author： HUANG Wenqian （1980-）， male， from Pinghe， Fujian. Ph.D.， researcher， research direction： Rapid non-destructive testing of agricultural product quality and safety， （E-mail）huangwq@nercita.org.cn

收稿日期（Received）：

2023-12-11

基金項(xiàng)目：

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目“移動(dòng)式果品品質(zhì)智能感知設(shè)備與關(guān)鍵環(huán)節(jié)機(jī)器人研發(fā)”（2022YFD2002202）；國(guó)家西甜瓜產(chǎn)業(yè)技術(shù)體系專項(xiàng)資金項(xiàng)目（CARS-25-07）;北京市農(nóng)林科學(xué)院創(chuàng)新專項(xiàng)新興學(xué)科交叉項(xiàng)目“西甜瓜品質(zhì)無(wú)損檢測(cè)技術(shù)與裝備研發(fā)”（KJCX20230206）

作者簡(jiǎn)介：

吳風(fēng)揚(yáng)（1999-），男，湖北黃石人，碩士研究生，研究方向?yàn)闄C(jī)器視覺(jué)，（E-mail）1519100570@qq.com

通訊作者：

黃文倩（1980-），男，福建平和人，研究員，博士，碩士生導(dǎo)師，研究方向?yàn)檗r(nóng)產(chǎn)品質(zhì)量與安全快速無(wú)損檢測(cè)，（E-mail）huangwq@nercita.org.cn