趙 暉 賈 靖 周 磊 費(fèi)煥強(qiáng) 龔征絳 喻擎蒼

(浙江理工大學(xué) 浙江杭州 310018)

國內(nèi)外的自動(dòng)整理供夾技術(shù)已經(jīng)有了一定的研究進(jìn)展，多家公司已經(jīng)研發(fā)并推出了多種嫁接機(jī)器人產(chǎn)品[1]。但這些整理供夾裝置自動(dòng)化程度不高，主要以被動(dòng)的振動(dòng)式整理為主[2]，還沒有實(shí)現(xiàn)對嫁接夾的主動(dòng)整理功能。振動(dòng)方案結(jié)構(gòu)簡單，易于維護(hù)。但也存在著穩(wěn)定性差，工作噪音大，需要有保證嫁接夾輸送方向和放置狀態(tài)的裝置和防止嫁接夾互相掛接的裝置等缺點(diǎn)。

針對現(xiàn)有的自動(dòng)化嫁接機(jī)整理供夾操作的自動(dòng)化程度不高的現(xiàn)狀。筆者提出一種利用計(jì)算機(jī)視覺技術(shù)，對嫁接夾的位置、狀態(tài)進(jìn)行識別。便于后續(xù)的柔性機(jī)械臂的抓取，以實(shí)現(xiàn)嫁接夾的主動(dòng)供夾操作。對嫁接機(jī)小型化，自動(dòng)化的發(fā)展產(chǎn)生一定的影響。

1 視覺處理模塊及試驗(yàn)樣本

本研究視覺處理模塊主要由光源、攝像頭、鏡頭及微型計(jì)算機(jī)等組成，見圖1。攝像頭安裝在圖1A所示的機(jī)械臂終端夾取裝置上，攝像頭中心點(diǎn)即夾取裝置中心隨夾取裝置一同運(yùn)動(dòng)。微型計(jì)算機(jī)采用Raspberry Pi 3b+，30 w像素?cái)z像頭，13.6 mm焦距鏡頭，以實(shí)現(xiàn)采集圖像的最佳效果。

試驗(yàn)樣本為圖1C所示的平口嫁接夾，該嫁接夾長22 mm，寬22 mm，夾口最大張開寬度10.5 mm，廣泛使用于現(xiàn)在的瓜科、茄科作物如番茄，西瓜，甜瓜等農(nóng)作物的嫁接。

圖1 視覺處理模塊及實(shí)驗(yàn)樣本

2 定位識別方法研究

2.1 定位識別流程

嫁接夾識別定位的過程包括：圖像顏色提取及顏色空間的轉(zhuǎn)換，連通域提取，連通關(guān)系確定，去噪點(diǎn)，提取質(zhì)心及角點(diǎn)，目標(biāo)夾取裝置旋轉(zhuǎn)角度判斷等。首先，通過圖像顏色空間的轉(zhuǎn)換將實(shí)時(shí)采集的目標(biāo)圖像多值化，多值化后將相鄰的屬于同一類別的像素點(diǎn)進(jìn)行整合，形成連通域，提取出連通域后，判斷相鄰連通域關(guān)系，去除目標(biāo)連通域干擾因素，并去除較小的噪點(diǎn)，提高目標(biāo)的連通域的識別精度。最后，將所得的連通域外圍輪廓鏈提取出來，根據(jù)輪廓鏈信息計(jì)算質(zhì)心，角點(diǎn)，終端旋轉(zhuǎn)角度等信息。主要的目標(biāo)定位識別流程見圖2。

圖2 定位識別流程

2.2 顏色空間的轉(zhuǎn)換及圖像顏色的提取

在對目標(biāo)輪廓提取之前，需對圖片顏色空間信息進(jìn)行定義，目前顏色空間定義方法可以分為兩大類：基色顏色空間和色、亮分離顏色空間。前者是典型的RGB顏色空間，后者包括YUV顏色空間和HSV顏色空間等[3]。

對于RGB顏色空間來說，本研究攝像頭采集到的目標(biāo)圖像即是基于RGB顏色空間模型。因此，對于RGB顏色空間的目標(biāo)圖像多值化，只需要提取目標(biāo)圖像的每個(gè)像素點(diǎn)的RGB數(shù)值信息，并通過這些信息定義該像素點(diǎn)的顏色，通過試驗(yàn)得出最佳定義方式。

對于HSV顏色空間來說，提取到的圖像像素點(diǎn)的RGB數(shù)值信息可以通過以下公式(1)～(3)將RGB轉(zhuǎn)換為HSV數(shù)值，其中max等于R，G，B數(shù)值中的最大者，其中min等于R，G，B數(shù)值中的最小者。

本研究分別通過RGB顏色空間及HSV顏色空間對采集到的目標(biāo)圖像進(jìn)行多值化處理，并對兩種顏色空間下的識別效果及識別速度進(jìn)行比較。HSV顏色空間模型下的識別效果及識別速度均優(yōu)于RGB顏色空間模型。因此，選擇基于HSV顏色空間模型進(jìn)行多值化處理。圖3為RGB顏色空間模型和HSV顏色空間模型下調(diào)試前及調(diào)試后的識別效果。

圖3 識別效果對比圖

2.3 目標(biāo)輪廓的提取及優(yōu)化

當(dāng)然，要達(dá)到圖3的識別效果，只能僅靠顏色空間的轉(zhuǎn)換及圖像顏色的提取。對于多值化后提取出的初步結(jié)果，會包含很多影響識別效果及識別精確度的信息，以下針對列舉內(nèi)容提出解決方式，以提高識別成功率。

目標(biāo)輪廓提取是圖像處理，機(jī)器視覺和計(jì)算機(jī)視覺的基本工具，特別是在特征檢測和特征提取領(lǐng)域。關(guān)于目標(biāo)輪廓提取步驟有：(1)對圖片進(jìn)行多值化處理，提取圖片的顏色空間信息。(2)圖片多值化處理完成后，將靠近的同色號像素點(diǎn)進(jìn)行整合形成連通域，并將連通域的輪廓顯示出來。(3)為了提高后續(xù)圖像處理速度，節(jié)省時(shí)間，對整合好的連通域進(jìn)行預(yù)處理，去除相對目標(biāo)對象體積較小的無價(jià)值連通域。初步處理后的連通域見圖4。

由圖4可知，初步整合的輪廓圖雖然可以識別出目標(biāo)輪廓，但會將識別目標(biāo)內(nèi)部的空位作為獨(dú)立的連通域顯示，不利于之后的質(zhì)心、角點(diǎn)的計(jì)算。因此，需要對得到的連通域進(jìn)行處理，確定連通域之間的關(guān)系，對特殊的連通域進(jìn)行去除，與其他連通域合并等操作。

關(guān)于連通域之間的關(guān)系有內(nèi)連接和外連接2種，連通域連接關(guān)系示意圖見圖5。A,B,C區(qū)域分別為3個(gè)連通域，A連通域?yàn)锽連通域的子集，則A連通域與B連通域的關(guān)系為內(nèi)連接。B連通域與C連通域的輪廓有部分重合，則B連通域與C連通域的關(guān)系為外連接。

圖4 初步整合的輪廓

圖5 連通域連接關(guān)系示意圖

連通關(guān)系的確定方式：將初步提取到的所有連通域都標(biāo)記為外連接，然后逐個(gè)遍歷檢查每個(gè)連通域的連接情況，每次檢查到一個(gè)連通域A與另一連通域B為內(nèi)連接關(guān)系，則將連通域A的標(biāo)記改為內(nèi)連接。在所有連通域都檢查完畢后，對連通關(guān)系進(jìn)行處理。對于兩個(gè)內(nèi)連接關(guān)系來說，將小的連通域與大的連通域合并；對于外連接關(guān)系來說，暫時(shí)不做處理，合并示意圖見圖6。

圖6 合并后示意圖

連接關(guān)系處理完成之后，還要進(jìn)行去噪聲處理，在識別圖像中輪廓時(shí)設(shè)置參數(shù)控制噪聲的體積大小的參數(shù)，通過修改噪聲體積的大小以實(shí)現(xiàn)去除噪聲，從而提取出清晰的目標(biāo)輪廓。在本研究中對于修改噪聲體積參數(shù)數(shù)值以去除圖像中的噪聲，通過數(shù)次實(shí)驗(yàn)調(diào)試，對噪聲參數(shù)的設(shè)置值為30，即將小于30個(gè)像素的連通域設(shè)置為噪點(diǎn)，在識別過程中進(jìn)行忽略。圖7為經(jīng)過優(yōu)化后的目標(biāo)輪廓提取圖。

2.4 目標(biāo)輪廓精確度判斷方法

圖7 優(yōu)化后的目標(biāo)輪廓提取圖

為了量化提取到的輪廓的精確程度，本文采用輪廓光滑度r對提取到的輪廓的精確程度進(jìn)行定義。輪廓光滑度r的計(jì)算方法為，對提取到的輪廓鏈的像素點(diǎn)，取相同跨距計(jì)算輪廓鏈每個(gè)像素點(diǎn)在此跨距的鏈角[5]，可得到一條橫坐標(biāo)為像素點(diǎn)編號，縱坐標(biāo)為鏈角角度的曲線。求輪廓的光滑度問題即可轉(zhuǎn)化為求這條曲線的光滑度問題。計(jì)算曲線光滑度的具體方法為：對鏈角曲線圖進(jìn)行線性擬合，減小輪廓曲線的誤差。將擬合后曲線各點(diǎn)角度值與原曲線點(diǎn)角度值差值的絕對值累加，即得到曲線的光滑度r。r的值越小，表示輪廓光滑度越高；r的值越大，表示輪廓光滑度越低。

圖8中的紅色與綠色2條鏈角曲線分別為取跨距為千分之50時(shí)，基于RGB顏色空間模型下經(jīng)過參數(shù)優(yōu)化后獲得的鏈角曲線及基于HSV顏色空間模型下經(jīng)過參數(shù)優(yōu)化后獲得的鏈角曲線。因?yàn)榍€上下波動(dòng)劇烈，直接對整條曲線進(jìn)行擬合效果較差，所以分別對兩條曲線進(jìn)行分段2次擬合。擬合后曲線與原曲線的對比見圖9和圖10。

分別計(jì)算曲線輪廓的光滑度r，圖10的輪廓光滑度r1=2.04；圖9的輪廓光滑度r2=5.66。當(dāng)輪廓光滑度r＜3時(shí)，所得輪廓曲線比較準(zhǔn)確，可以滿足本文下一步試驗(yàn)要求。對RGB顏色空間模型和HSV顏色空間模型下單個(gè)目標(biāo)及多個(gè)目標(biāo)分別進(jìn)行100次識別。HSV顏色空間模型在識別效果及平均識別時(shí)間上均優(yōu)于RGB顏色空間模型。

圖8 鏈角曲線

圖9 RG B鏈角曲線對比圖

圖10 H SV鏈角曲線對比圖

2.5 不同背景顏色下識別效果研究

采集到的圖像背景的復(fù)雜度及顏色同樣會對圖像處理的時(shí)間及精度產(chǎn)生影響，為研究不同背景顏色下的識別效果。本研究分別采用了在HSV顏色空間中分屬幾個(gè)色域的白色、黑色、黃色、藍(lán)色及綠色。、本研究的識別目標(biāo)主體由紅色的夾體及銀色的彈簧圈兩部分組成，后續(xù)的目標(biāo)對象姿態(tài)分類及抓取點(diǎn)提取對兩部分的識別要求不同。對于姿態(tài)分類，需要我們將紅色夾體部分及銀色彈簧圈部分都識別出來并作為一個(gè)整體；對于抓取點(diǎn)的提取，需要我們只識別紅色夾體部分，以消除彈簧圈位置不同對抓取點(diǎn)提取的影響。

因此，本研究對背景顏色的要求是對紅色目標(biāo)及銀色目標(biāo)識別效果及識別效率均比較高。表1為各進(jìn)行100次實(shí)驗(yàn)下不同背景顏色下分別對嫁接夾紅色主體及銀色鋼圈的識別輪廓光滑度及平均識別時(shí)間。

由表1可知，對于主體部分的識別來說，黑色背景的識別效果最好，白色背景及綠色背景次之，黃色背景和藍(lán)色背景的識別效果較差。對于鋼圈部分的識別來說，綠色背景的識別效果最好，藍(lán)色背景及黃色背景次之，白色背景和黑色背景的識別效果較差?？偟膩砜矗挥芯G色背景對于主體部分及鋼圈部分的識別效果和平均識別時(shí)間均可以滿足本文的要求，因此選擇綠色背景作為試驗(yàn)背景顏色。

表1 輪廓光滑度及平均識別時(shí)間

2.6 抓取點(diǎn)的提取方法

對于目標(biāo)對象抓取點(diǎn)，本研究結(jié)合對目標(biāo)對象夾取裝置的設(shè)計(jì)，將目標(biāo)對象主體部分的質(zhì)心定為抓取點(diǎn)。因此，計(jì)算出上文提取出的目標(biāo)對象主體部分輪廓鏈的質(zhì)心，即可得到抓取點(diǎn)。

本研究定義獲取到的目標(biāo)對象的連通域?yàn)镮s，遍歷連通域Is，得到此連通域中每個(gè)像素點(diǎn)的橫、縱坐標(biāo)值，通過Is的幾何矩計(jì)算連通域的質(zhì)心[4]。

Is的幾何矩ma,b(Is)為：

上式a,b均≥0，其中a＋b表示幾何矩的階數(shù)，x與y表示屬于Is的某個(gè)像素點(diǎn)對應(yīng)的橫、縱坐標(biāo)，Is(x,y)為此處像素坐標(biāo)點(diǎn)的對應(yīng)像素值。當(dāng)a＋b=0，Is(x,y)=1時(shí)，此時(shí)Is的零階矩就表示此連通域的面積Ai：

同理，連通域Is的一階矩有：

一階矩與面積的比值即為連通域Is的質(zhì)心(xIs,yIs)：

利用公式(4)～(7)即可計(jì)算出質(zhì)心坐標(biāo)，即抓取點(diǎn)位置。圖11即質(zhì)心提取效果圖，圖中的綠色十字標(biāo)志的E點(diǎn)即為識別出的目標(biāo)對象抓取點(diǎn)。

圖11 抓取點(diǎn)提取效果

2.7 角點(diǎn)的提取方法

成功提取到抓取點(diǎn)后，終端夾取裝置就可以根據(jù)獲得的抓取點(diǎn)信息移動(dòng)到抓取點(diǎn)正上方。此時(shí)還需要提供終端夾取裝置的旋轉(zhuǎn)角度，才能使終端裝置對準(zhǔn)待夾取目標(biāo)，完成夾取操作。

根據(jù)圖12提取到的目標(biāo)對象輪廓鏈有A，B，C，D 4個(gè)角度變化很大的角點(diǎn)，其中A，B，C點(diǎn)的角度變化幅度超過150°，C點(diǎn)的角度變化幅度超過90°，且A，B，D角點(diǎn)角度與C點(diǎn)角度互為正負(fù)。通過提取出B，D兩個(gè)角點(diǎn)，并根據(jù)B，D角點(diǎn)的像素坐標(biāo)，結(jié)合質(zhì)心像素坐標(biāo)計(jì)算出目標(biāo)夾取裝置旋轉(zhuǎn)角度。

圖12 角點(diǎn)示意圖

本研究提取到的目標(biāo)對象輪廓鏈為一系列連續(xù)的像素點(diǎn)，我們可以分別取不同像素跨距，計(jì)算相鄰輪廓鏈的鏈角，以確定鏈角變化幅度較大的A，B，C，D點(diǎn)的坐標(biāo)位置。圖13的兩條曲線分別為跨距35像素時(shí)的鏈角變化曲線圖及跨距75像素時(shí)的鏈角變化曲線圖。

因?yàn)檩喞準(zhǔn)情]合的，因此得到的鏈角變化曲線圖是周期變化的，觀察曲線圖可知，起始點(diǎn)B位置到虛線處B位置為一個(gè)周期?？偟膩砜催x擇低跨距時(shí)，曲線對角度變化比較敏感，可以偵測出較小的角度波動(dòng)變化，因此曲線波動(dòng)比較明顯。選擇高跨距時(shí)，對大角度變化識別準(zhǔn)確，但無法識別較小的角度波動(dòng)。對于本研究目標(biāo)來說，要識別的A，B，C，D 4個(gè)點(diǎn)的角度變化很大，均超過90°。因此選擇高跨距對目標(biāo)角點(diǎn)進(jìn)行識別。

對圖13的鏈角變化曲線圖進(jìn)行分析可知，圖中在一個(gè)周期內(nèi)有1個(gè)變化范圍超過90°的角點(diǎn)及3個(gè)變化范圍超過-100°的角點(diǎn)。顯然唯一的一個(gè)變化范圍超過90°的角點(diǎn)即為圖12中的角點(diǎn)C，角點(diǎn)C左側(cè)的角點(diǎn)分別為角點(diǎn)D，角點(diǎn)A和角點(diǎn)B。

圖13 鏈角變化曲線

2.8 目標(biāo)夾取裝置旋轉(zhuǎn)角度判斷

對于目標(biāo)夾取裝置旋轉(zhuǎn)角度的判斷，只需知道其中B，D兩點(diǎn)的坐標(biāo)，結(jié)合本文前面得到的質(zhì)心坐標(biāo)，即可計(jì)算。圖14為目標(biāo)夾取裝置旋轉(zhuǎn)角度判斷其中一種情況的舉例，O點(diǎn)位置為提取到的抓取點(diǎn)位置，同時(shí)也是攝像頭的中心位置。E點(diǎn)和F點(diǎn)為目標(biāo)夾取裝置最終需要旋轉(zhuǎn)到的理想夾取位置，B點(diǎn)和F點(diǎn)為待夾取目標(biāo)識別出的角點(diǎn)現(xiàn)在所處的位置，OB與OE之間的夾角為。此時(shí)，需要將目標(biāo)夾取裝置順時(shí)針旋轉(zhuǎn)，以達(dá)到理想的抓取位置。

圖14 角度判斷情況舉例

因?yàn)樽R別目標(biāo)的狀態(tài)未知，所以O(shè)B可能位于4個(gè)象限的任何一個(gè)，需要分情況考慮。當(dāng)OB在象限中的角度-120°≤β＜60°時(shí)，采用順時(shí)針旋轉(zhuǎn)；當(dāng)OB在象限中的角度60°＜β＜240°時(shí)，采用逆時(shí)針旋轉(zhuǎn)；當(dāng)OB在象限中的角度0°≤β＜60°時(shí)采用順時(shí)針旋轉(zhuǎn)，旋轉(zhuǎn)角度的判斷流程圖15。

圖15 旋轉(zhuǎn)角度判斷流程

3 試驗(yàn)結(jié)果

3.1 抓取點(diǎn)提取結(jié)果與驗(yàn)證

隨機(jī)選擇100個(gè)不同的實(shí)驗(yàn)樣本目標(biāo)，對樣本的質(zhì)心提取結(jié)果與實(shí)際樣本質(zhì)心位置進(jìn)行對比，表2是其中5組的試驗(yàn)結(jié)果。

系統(tǒng)測量質(zhì)心坐標(biāo)與實(shí)際質(zhì)心坐標(biāo)位置的誤差如上表所示，最大誤差為4個(gè)像素，最小誤差為0個(gè)像素，平均誤差為2.1個(gè)像素，可以滿足抓取點(diǎn)定位的精度要求。

3.2 角點(diǎn)提取結(jié)果與驗(yàn)證

隨機(jī)選擇100個(gè)不同的實(shí)驗(yàn)樣本目標(biāo)，對樣本的角點(diǎn)提取結(jié)果與實(shí)際樣本質(zhì)心位置進(jìn)行對比，表3是其中5組的試驗(yàn)結(jié)果。

系統(tǒng)測量角點(diǎn)坐標(biāo)與實(shí)際角點(diǎn)坐標(biāo)位置的誤差見表3，最大誤差為3個(gè)像素，最小誤差為0個(gè)像素，平均誤差為1.9個(gè)像素，可以滿足旋轉(zhuǎn)角度判斷的精度要求。

表3 角點(diǎn)提取結(jié)果對比

4 結(jié)論

本研究通過機(jī)器視覺的方法對嫁接夾的定位識別方法進(jìn)行了研究，實(shí)驗(yàn)結(jié)果表明識別定位精度較高，可以滿足對下一步夾取操作的需求。該方法可以用于自動(dòng)嫁接機(jī)中，實(shí)現(xiàn)自動(dòng)整理上夾操作，對嫁接機(jī)小型化，自動(dòng)化有實(shí)用價(jià)值。