黃 錚,吳 堯,賴一波,周 杰,趙明朗,喻擎蒼
(浙江理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,杭州 310000)
在農(nóng)業(yè)生產(chǎn)活動中,嫁接技術(shù)是一種有效提高果實(shí)產(chǎn)量、提高植物抗病蟲害能力的技術(shù),是一種運(yùn)用廣泛、運(yùn)用歷史悠久的技術(shù)。植物嫁接處由嫁接苗(接穗)、被嫁接的砧木苗和嫁接夾組成。嫁接時(shí),用嫁接夾將接穗和砧木苗的創(chuàng)面貼緊并包裹住,以提供一個(gè)愈合增生的環(huán)境,由此嫁接過程完成[1-2]。因此在植物嫁接過程中,嫁接夾的作用是非常重要的。
為了解決人工嫁接效率低、成活率低的問題,19世紀(jì)80年代以來,國內(nèi)外發(fā)明并商用了多種自動化嫁接機(jī)[3],這些自動化嫁接機(jī)雖然提高了不少嫁接效率,但是嫁接夾的分揀整理仍然需要?jiǎng)傂哉駝颖P或者人工整理完成。為了給嫁接機(jī)提供整齊有序的嫁接夾,李軍[4]等人設(shè)計(jì)了一種全自動蔬菜嫁接夾輸送機(jī)構(gòu),整個(gè)機(jī)構(gòu)通過剛性振動盤完成嫁接夾的朝向整理,由氣缸驅(qū)動完成自動供夾,整個(gè)機(jī)構(gòu)由自動排序供夾機(jī)構(gòu)、嫁接夾輸送臺、直線運(yùn)動機(jī)構(gòu)三部分組成,此機(jī)構(gòu)存在機(jī)械環(huán)節(jié)較多、體積較大的問題,當(dāng)嫁接夾種類更改時(shí),機(jī)械機(jī)構(gòu)需要整套定制更換。2020年,劉凱[5]等人提出的茄果類種苗半自動嫁接機(jī),將流水線思想引入嫁接機(jī)設(shè)計(jì)中,優(yōu)化了嫁接機(jī)作業(yè)時(shí)序,將夾持、切削、攏苗、對接、上夾和下苗6個(gè)工序分配至4個(gè)工位,但是其嫁接夾上夾操作依然需要人工作業(yè),自動化程度有待提高。由上述研究成果可以看出,嫁接機(jī)中嫁接夾的自動分揀整理問題是提高嫁接機(jī)自動化程度的重要一環(huán),但是目前研究仍然需要使用剛性振動盤或人工參與。將嫁接夾的分揀過程改造成機(jī)械臂自動化分揀可以節(jié)省人力、替代剛性振動盤的復(fù)雜輸送結(jié)構(gòu)、提高嫁接夾供給的靈活性,同時(shí)機(jī)械臂可以在整體嫁接過程中進(jìn)行多任務(wù)復(fù)用。
利用機(jī)器視覺來輔助完成嫁接夾的自動化分揀是一個(gè)成本較低、精度較高的方法。蘇進(jìn)發(fā)[6]對多種光源打光效果進(jìn)行分析,使用了碗狀光源打光方式,增強(qiáng)了工件與背景對比度,提高了工件的特征表現(xiàn),其在研究中指出背光源方案可以用于物體邊緣檢測,但是會丟失物體表面信息。邵坤[7]使用感興趣區(qū)域(ROI,region of interest)提取的方法,降低了圖像處理計(jì)算量,避免了非ROI區(qū)域的干擾,使用線性灰度變換法增強(qiáng)工件圖像的對比度,使用了中值濾波與均值濾波組合的方法對工件圖像去噪和平滑處理,這些預(yù)處理為圖像識別提供了良好基礎(chǔ)。趙暉[8]提出一種嫁接夾的視覺識別方法,其使用HSV色彩空間對圖像進(jìn)行閾值分割,通過支持向量機(jī)(SVM,support vector machine)算法對嫁接夾進(jìn)行姿態(tài)分類,通過輪廓鏈角分析方法對抓取點(diǎn)進(jìn)行定位,抓取點(diǎn)平均誤差為2.1個(gè)像素,但是其分類算法需要人工選取圖像特征,普適性有待改進(jìn)。
本文設(shè)計(jì)了一種更加適應(yīng)自動化場景的嫁接夾,設(shè)計(jì)了針對此嫁接夾的機(jī)器視覺算法,使用背光源打光方式,使用Hu矩對嫁接夾輪廓鏈進(jìn)行分類,提出根據(jù)嫁接夾輪廓鏈角分析的方法來定位嫁接夾的抓取點(diǎn)的像素坐標(biāo),根據(jù)抓取點(diǎn)位置與輪廓鏈質(zhì)點(diǎn)位置計(jì)算嫁接夾朝向角度,為后續(xù)機(jī)械臂自動化分揀抓取嫁接夾提供準(zhǔn)確的數(shù)據(jù)支持。
目前傳統(tǒng)的嫁接夾多適用于人工手動拿取,如圖1所示。這類嫁接夾夾尾硬度低,不適合機(jī)械夾爪抓取;夾子個(gè)體之間容易勾連,機(jī)械臂無法快速將其分離;夾子在獨(dú)立隨機(jī)狀態(tài)下存在直立、倒立、側(cè)立等不適合機(jī)械臂自動化抓取的狀態(tài)。對此類傳統(tǒng)嫁接夾進(jìn)行自動化分揀,會使得機(jī)械臂終端抓取設(shè)計(jì)結(jié)構(gòu)復(fù)雜度提高,夾子隨機(jī)狀態(tài)過多導(dǎo)致機(jī)械臂抓取效率降低。
圖1 傳統(tǒng)嫁接夾
因此,本文設(shè)計(jì)了一種適應(yīng)機(jī)械臂自動化抓取的嫁接夾,如圖2所示。新型嫁接夾在夾頭部分設(shè)計(jì)了管狀結(jié)構(gòu),能夠更好的包裹住植物嫁接點(diǎn),提高植物嫁接點(diǎn)的局部穩(wěn)定性。在夾尾部分特別為機(jī)械夾爪設(shè)計(jì)了夾取槽,因此機(jī)械臂終端抓取機(jī)構(gòu)設(shè)計(jì)復(fù)雜度可以降低。新型嫁接夾的整體設(shè)計(jì)使得夾子在獨(dú)立隨機(jī)狀態(tài)下只能處于平倒?fàn)顟B(tài),有助于提高機(jī)械臂自動抓取效率。
圖2 新型嫁接夾
在機(jī)器視覺中,光源可分為正光源和背光源兩大類[9]。正光源的光線從頂部向工件表面發(fā)射,主要用于檢測工件表面特征,但是物體周圍會產(chǎn)生大量陰影;背光源的光線從工件底部向頂部發(fā)射,主要用于檢測工件的輪廓特征,可以很好的消除工件在噪聲光源下陰影產(chǎn)生的影響[10],為拍攝工件圖像帶來清晰銳利的輪廓特征。自然光下拍攝的嫁接夾周圍存在陰影,如圖3(a)所示,影響提取的輪廓圖像的準(zhǔn)確性。本文采用背光源作為機(jī)器視覺的打光方式,如圖3(b)所示,嫁接夾拍攝出來的輪廓相比自然光下拍攝出來的輪廓更加清晰,圖像整體噪點(diǎn)更加少。
圖3 自然光與背光源圖像對比
提取目標(biāo)物體的輪廓鏈指掏空目標(biāo)物體內(nèi)部的點(diǎn)[11],外部形成一條單像素封閉連通的鏈條。輪廓鏈代表了目標(biāo)物體的外部輪廓結(jié)構(gòu),在圖像處理與分析環(huán)節(jié)中,在計(jì)算速度上,相對于目標(biāo)物體全部像素進(jìn)行處理,具有處理速度快的優(yōu)點(diǎn)。在背光源下獲得的圖像具有較高的對比度,因此本文采用二值化閾值分割[12]進(jìn)行圖像形態(tài)學(xué)分割,然后采用邊界跟蹤法[13]獲得各個(gè)目標(biāo)物體的輪廓鏈,結(jié)果如圖4所示。
圖4 輪廓鏈
圖像矩是利用統(tǒng)計(jì)學(xué)中矩的原理對圖像中的像素進(jìn)行幾何矩計(jì)算[14],在圖像處理與分析領(lǐng)域中,通常用來分析圖像分割后每個(gè)子區(qū)域的圖像對象的特征信息,包括子區(qū)域的面積、幾何中心等特征。將圖像矩應(yīng)用于輪廓鏈像素,可以獲得輪廓鏈的特征信息。二維圖像原點(diǎn)矩的公式為:
(1)
式中,x,y為像素坐標(biāo),i,j為矩的階數(shù),m為二維原點(diǎn)矩。
由式(1)可以得到圖像的零階矩以及一階矩,由此可以得到圖像的質(zhì)心坐標(biāo),其表達(dá)式為:
(2)
圖像中心矩表示了目標(biāo)區(qū)域中的像素相對于目標(biāo)區(qū)域的質(zhì)心具備一種目標(biāo)區(qū)域平移不變性的特征,由式(2)的質(zhì)心計(jì)算結(jié)果可以計(jì)算圖像的中心矩,其表達(dá)式為:
(3)
式中,x,y為像素坐標(biāo),i,j為矩的階數(shù),μ為中心矩。
歸一化中心距相對于中心距進(jìn)一步擁有了目標(biāo)區(qū)域尺度不變性的特征。對式(3)進(jìn)行歸一化處理,即可得到歸一化中心矩,其表達(dá)式如式(4):
(4)
式中,i,j為矩的階數(shù),η為歸一化中心矩。
M.K.Hu[15]提出了一組具有縮放、旋轉(zhuǎn)、平移不變的圖像矩,稱為Hu矩,因其擁有良好的不變性被廣泛用于圖像處理與分析領(lǐng)域。常用的7個(gè)Hu矩由二階歸一化中心矩和三階歸一化中心矩非線性組合而成,其表達(dá)式為:
h1=η20+η02
h3=(η30-3η12)2+(3η21-η03)2
h4=(η30+η12)2+(η21+η03)2
h5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+
(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]
h6=(η20-η02)[(η30+η12)2-(η21+η03)2]+
4η11(η30+η12)(η21+η03)
h7=(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]-
(η30-3η12)(η21+η03)[3(η30+η12)2-(η21+η03)2
Hu矩的階數(shù)越高,其值的數(shù)量級就越低,導(dǎo)致h1和h7的的數(shù)值范圍相差較大[16],從而導(dǎo)致高階Hu矩對整體Hu矩的影響被低階Hu矩覆蓋。為了統(tǒng)一7個(gè)Hu矩的數(shù)值范圍,分別對7個(gè)Hu矩進(jìn)行對數(shù)變換,其表達(dá)式為:
Hi=lg|hi|,i=1,2,...,7
(5)
由于Hu矩具有良好的不變性質(zhì),因此在改變相機(jī)與物體的距離、旋轉(zhuǎn)嫁接夾后,圖像依然能夠得到相似的值。根據(jù)此性質(zhì),結(jié)合上文得到的嫁接夾輪廓鏈,可以很好地區(qū)分工作臺上的零散嫁接夾和堆積嫁接夾。
將7個(gè)Hu矩組合成為一個(gè)7維向量,稱為Hu矩向量,首先計(jì)算模板嫁接夾輪廓鏈的Hu矩向量記為T,然后根據(jù)式(6)計(jì)算每個(gè)目標(biāo)物體輪廓鏈的Hu矩向量與模板輪廓鏈的Hu矩向量的歐幾里得距離D,稱為匹配值。若目標(biāo)物體輪廓與模板輪廓越為相似,則匹配值越低;若目標(biāo)物體輪廓與模板輪廓鏈為不同,則匹配值越高。
(6)
計(jì)算圖4中的每個(gè)輪廓鏈的Hu矩匹配值,結(jié)果如表1所示。
表1 輪廓鏈匹配值
從表1可以初步看出,零散嫁接夾的輪廓鏈與堆積嫁接夾的輪廓鏈的匹配值存在較大的差異,而且零散嫁接夾的輪廓鏈在旋轉(zhuǎn)之后的匹配值依然變動不大。
為了更具有普適性,本文在多種相機(jī)分辨率、多種尺度、多種嫁接夾旋轉(zhuǎn)角度下拍攝了25張零散嫁接夾以及25張堆積嫁接夾圖片,對每張圖片中的輪廓鏈計(jì)算匹配值,結(jié)果如圖5所示。
圖5 實(shí)驗(yàn)匹配值
從圖5可以初步看出,零散嫁接夾與堆積嫁接夾的匹配值存在明顯區(qū)別,存在一個(gè)中間值可以將兩者區(qū)分開,如圖5中的虛線所示,大于虛線值為堆積嫁接夾,小于虛線值為零散嫁接夾。
將零散嫁接夾匹配值的最大值記為dA,將堆積嫁接夾匹配值的最小值記為dB,中間值m的計(jì)算方式如下:
(7)
將輪廓鏈的類別記為y,將零散嫁接夾的類別視為1,將堆積嫁接夾的類別視為0,輪廓鏈的分類方法如下:
(8)
在嫁接夾的自動化分揀過程中,嫁接夾準(zhǔn)確的抓取點(diǎn)坐標(biāo)信息是引導(dǎo)機(jī)械臂運(yùn)動的關(guān)鍵因素,嫁接夾抓取點(diǎn)如圖2所示,機(jī)械臂需要根據(jù)嫁接夾抓取點(diǎn)坐標(biāo)信息進(jìn)行逆運(yùn)動學(xué)運(yùn)算來完成整個(gè)嫁接夾的自動分揀,機(jī)械臂終端抓取如圖6所示。本章節(jié)使用基于輪廓鏈角分析以及非極值抑制的方法,完成圖像中嫁接夾抓取點(diǎn)所在像素坐標(biāo)定位。
圖6 抓取示意圖
觀察圖2抓取點(diǎn)附近的局部圖像,可以發(fā)現(xiàn)抓取點(diǎn)處的附近的輪廓與輪廓中軸存在特殊的角度關(guān)系,如圖7所示。
圖7 角度關(guān)系
由于嫁接夾是一個(gè)固定的實(shí)物,隨著拍攝尺度不同,其輪廓形狀不會產(chǎn)生過大的變化,因此在圖7中θ1和θ處于一個(gè)穩(wěn)定的值附近,可以將其設(shè)定在以下范圍內(nèi):|θ1|=60°±3°,|θ|=60°±3°。本文根據(jù)中軸向量以及抓取點(diǎn)附近的輪廓特征來對抓取點(diǎn)像素進(jìn)行定位。
根據(jù)輪廓鏈的圖像矩獲得輪廓鏈的質(zhì)心坐標(biāo)[17],根據(jù)輪廓鏈最小外接矩形[18]獲得輪廓的中心坐標(biāo),根據(jù)輪廓鏈的質(zhì)心和輪廓的中心獲得中軸向量。
二值圖像的質(zhì)心是指圖像中存在一個(gè)點(diǎn)c,使得每個(gè)有效像素指向點(diǎn)c的向量相加結(jié)果為零向量。對于質(zhì)心的x坐標(biāo),每個(gè)質(zhì)心左邊有效像素的x值等于每個(gè)質(zhì)心右邊有效像素的x值;對于質(zhì)心的y坐標(biāo),每個(gè)質(zhì)心上邊有效像素的y值等于每個(gè)質(zhì)心下邊有效像素的y值。體現(xiàn)到輪廓鏈像素時(shí),將輪廓鏈中的每個(gè)像素代入式(1)和式(2)即可得到輪廓鏈的質(zhì)心坐標(biāo)。
輪廓的中心坐標(biāo)與輪廓鏈的質(zhì)心坐標(biāo)不同,相對于圖像輪廓的外接矩形來說,圖像的質(zhì)心隨著x方向和y方向圖像的面積分布而變化,如某個(gè)方向的面積越大,則質(zhì)心的坐標(biāo)更偏向某個(gè)方向。體現(xiàn)在輪廓鏈中,則是輪廓鏈x方向或y方向越寬,則輪廓鏈的質(zhì)心坐標(biāo)對應(yīng)更偏向x方向或y方向。嫁接夾輪廓鏈寬度在x方向或y方向往往不是均勻分布的,因此嫁接夾輪廓鏈的質(zhì)心相對于外接矩形的中心往往存在一個(gè)偏移向量,這個(gè)偏移向量就是嫁接夾輪廓鏈的中軸向量。
目標(biāo)圖形外部存在一個(gè)矩形框使得目標(biāo)圖形完全處于矩形框內(nèi)部,當(dāng)這個(gè)矩形框面積最小時(shí),這個(gè)矩形框稱為最小外接矩形,最小外接矩形的中心坐標(biāo)就是輪廓的中心坐標(biāo)。最小外接矩形的求解步驟如下:
1)根據(jù)格雷厄姆算法求解輪廓鏈的凸包[19],獲得凸包的頂點(diǎn)集合。
2)計(jì)算凸包頂點(diǎn)的4個(gè)極值,記錄這4個(gè)頂點(diǎn)為Rxmin,Rxmax,Rymin,Rymax,將這4個(gè)頂點(diǎn)構(gòu)成的矩形視作動態(tài)矩形,同時(shí)動態(tài)記錄矩形的最小面積。
3)旋轉(zhuǎn)動態(tài)矩形直到與矩形的一條邊與凸包的一條邊重合。
4)將動態(tài)矩形的面積與記錄的最小面積做比較,若動態(tài)矩形的面積更小,則更新最小面積值,并記錄此時(shí)矩形頂點(diǎn)。
5)重復(fù)步驟3)與步驟4),直到動態(tài)矩形的旋轉(zhuǎn)角度總和超過90°。
6)最小面積的動態(tài)矩形就是所求的最小外接矩形。
到此分別得到了兩個(gè)點(diǎn),分別是輪廓鏈的質(zhì)心坐標(biāo)和輪廓的中心坐標(biāo),將輪廓鏈的質(zhì)心坐標(biāo)視為中軸向量起始點(diǎn),將輪廓的中心坐標(biāo)視為中軸向量終止點(diǎn)。
計(jì)算得到中軸向量后,需要對輪廓鏈進(jìn)行特征提取[20]來定位抓取點(diǎn)像素。本文提出一種三點(diǎn)步進(jìn)掃描輪廓鏈的方法提取輪廓鏈中每個(gè)像素的鏈角。分別將3個(gè)點(diǎn)記作A、B、C,點(diǎn)之間位于輪廓鏈中的像素間隔個(gè)數(shù)記作間隔gap,初始狀態(tài)下A點(diǎn)位于輪廓鏈的第0個(gè)像素,B點(diǎn)位于輪廓鏈的第0+gap個(gè)像素,C點(diǎn)位于輪廓鏈第0+2*gap個(gè)像素,A、B、C點(diǎn)以步長為1個(gè)像素步進(jìn)掃描輪廓鏈,當(dāng)C點(diǎn)掃描完輪廓鏈最后一個(gè)像素時(shí),C點(diǎn)位置從第0個(gè)像素開始計(jì)算,B點(diǎn)同理;當(dāng)A點(diǎn)掃描完輪廓鏈最后一個(gè)像素時(shí),代表掃描結(jié)束。此掃描方法可以獲得輪廓鏈各個(gè)像素點(diǎn)的鏈角,即直線AB和直線BC的夾角θ,如圖8所示。
圖8 輪廓鏈掃描過程
從圖8可以看出,間隔gap影響掃描結(jié)果,間隔過大,直線段AB和直線段BC的長度變長,當(dāng)掃描到輪廓鏈上的特征點(diǎn)時(shí),會將特征點(diǎn)局部覆蓋掉,導(dǎo)致特征點(diǎn)處的鏈角提取失??;間隔過小,掃描到的鏈角的噪聲信息變大,影響鏈角提取精度。由于嫁接夾是一個(gè)固體工件,單個(gè)嫁接夾的輪廓鏈中像素個(gè)數(shù)與工件圖像尺度存在穩(wěn)定的比例關(guān)系,因此本文將間隔gap與嫁接夾輪廓鏈像素個(gè)數(shù)設(shè)置為比例關(guān)系。經(jīng)過多次實(shí)驗(yàn),將間隔值設(shè)置為嫁接夾輪廓鏈像素個(gè)數(shù)的0.025倍。
結(jié)合輪廓鏈角提取方法以及圖7的角度關(guān)系,判斷抓取點(diǎn)所在區(qū)域的方法如圖9所示。
圖9 鏈角關(guān)系
通過三點(diǎn)步進(jìn)掃描輪廓鏈方法篩選出輪廓鏈中所有滿足以上鏈角關(guān)系的像素點(diǎn),將這些像素點(diǎn)放入候選像素點(diǎn)集合。
候選像素點(diǎn)集合中絕大部分是無效像素,只有一個(gè)像素是目標(biāo)抓取點(diǎn)像素,如圖10所示,抓取點(diǎn)周圍的像素均滿足鏈角范圍要求,而真正的抓取點(diǎn)只有一個(gè)像素,因此需要在候選像素點(diǎn)集合中進(jìn)一步找出最終的抓取點(diǎn)。
圖10 候選像素點(diǎn)集合
本文采用非極值抑制算法提取局部抓取點(diǎn)像素[21]。對于本文的抓取點(diǎn)提取任務(wù),算法步驟如下:
1)在候選像素點(diǎn)集合中找出鏈角最小的像素點(diǎn)P。
2)從候選像素點(diǎn)集合剩余像素點(diǎn)中剔除像素點(diǎn)P直徑為10的范圍內(nèi)的像素點(diǎn)。
3)重復(fù)步驟1)和步驟2),直到候選像素點(diǎn)集合中剩余像素點(diǎn)個(gè)數(shù)為0。
上述步驟1)得到的像素點(diǎn)P即為抓取點(diǎn)像素。對圖3自然光與背光源圖像對比進(jìn)行輪廓鏈分類、輪廓鏈角分析篩選和非極值抑制算法計(jì)算得到的抓取點(diǎn)如圖11所示。
圖11 抓取點(diǎn)提取結(jié)果圖
上文已經(jīng)獲得了抓取點(diǎn)的像素坐標(biāo),還需要提供一個(gè)朝向角度,嫁接夾朝向角度是引導(dǎo)機(jī)械臂終端旋轉(zhuǎn)的重要參數(shù)。本文結(jié)合嫁接夾輪廓鏈的質(zhì)點(diǎn)坐標(biāo)以及嫁接夾抓取點(diǎn)像素坐標(biāo)計(jì)算嫁接夾朝向角度。
將嫁接夾朝向所在方向視為朝向向量方向,朝向向量與嫁接夾兩個(gè)抓取點(diǎn)的連線垂直,但是只有兩個(gè)抓取點(diǎn)坐標(biāo)信息是不夠的,無法得到朝向角度的正負(fù)方向。利用兩個(gè)向量叉乘結(jié)果的正負(fù),可以獲得兩個(gè)向量之間是逆時(shí)針還是順時(shí)針關(guān)系的原理,結(jié)合式(2)計(jì)算得到的輪廓鏈質(zhì)心坐標(biāo)即可計(jì)算最終的朝向角度。
記兩個(gè)抓取點(diǎn)分別為p1和p2,質(zhì)心坐標(biāo)為c,兩個(gè)抓取點(diǎn)指向質(zhì)心坐標(biāo)的向量分別為p1c和p2c,如果p1c×p2c結(jié)果為正方向,則朝向角度等于p1p2的角度加上90°,如圖12(a)所示;如果p1c×p2c結(jié)果為負(fù)方向,則朝向角度等于p1p2的角度減去90°,如圖12(b)所示。
圖12 朝向角度計(jì)算
p1p2的方向角度計(jì)算方法如下:的方向角度計(jì)算方法如下:
(9)
對于式(9),存在2個(gè)特殊情況,當(dāng)△x=0時(shí),arctan計(jì)算無解,此時(shí)朝向角度判斷方法如下:
(10)
為驗(yàn)證本文視覺檢測方法的準(zhǔn)確性,本文通過筆記本電腦讀取并保存USB相機(jī)拍攝的圖像,使用C++語言對圖像按照本文的視覺檢測方法進(jìn)行處理。實(shí)驗(yàn)裝置主要由USB相機(jī)、筆記本電腦、背光源工作臺、固定支架以及嫁接夾組成,如圖13所示。
圖13 實(shí)驗(yàn)裝置
在背光源工作臺上隨機(jī)擺放10個(gè)嫁接夾,USB相機(jī)調(diào)整到4 080*3 060分辨率,進(jìn)行5組實(shí)驗(yàn),每組實(shí)驗(yàn)拍攝一張圖片,每組實(shí)驗(yàn)拍攝完畢后將10個(gè)嫁接夾重新打亂隨機(jī)擺放。
實(shí)驗(yàn)圖片獲取完畢后,使用本文的視覺檢測方法進(jìn)行檢測。首先使用本文提到的基于Hu矩的方法區(qū)分工作臺中零散嫁接夾與堆積嫁接夾,根據(jù)圖5得出的結(jié)論,將輪廓鏈Hu矩中間匹配值設(shè)置為3.1,目標(biāo)物體實(shí)際匹配值小于3.1則記作零散嫁接夾,目標(biāo)物體實(shí)際匹配值大于等于3.1則記作堆積嫁接夾。每張圖片中輪廓鏈分類成功率計(jì)算方法如下:
(11)
5組實(shí)驗(yàn)的嫁接夾輪廓鏈分類統(tǒng)計(jì)結(jié)果如表2所示,實(shí)驗(yàn)結(jié)果顯示本次實(shí)驗(yàn)中本文的輪廓鏈分類方法與人工標(biāo)注對比成功率為100%,實(shí)驗(yàn)結(jié)果說明本文使用的基于Hu矩的輪廓鏈分類方法可以有效地將零散嫁接夾與堆積嫁接夾進(jìn)行分類。
表2 零散嫁接夾分類結(jié)果統(tǒng)計(jì)
獲得零散嫁接夾輪廓后,接下來使用本文基于輪廓鏈角分析的視覺檢測方法,對每張圖片中的零散嫁接夾進(jìn)行抓取點(diǎn)定位和朝向角度計(jì)算,與人工標(biāo)注的抓取點(diǎn)像素點(diǎn)位置與朝向角度對比,結(jié)果如表3所示,其中人工標(biāo)注的角度按照式(9)和式(10)計(jì)算。
表3 抓取點(diǎn)和朝向角度統(tǒng)計(jì)結(jié)果
對表3的數(shù)據(jù)進(jìn)行分析,記人工標(biāo)注抓取點(diǎn)坐標(biāo)與計(jì)算抓取點(diǎn)坐標(biāo)像素之間的直線距離為抓取點(diǎn)定位誤差,其計(jì)算表達(dá)式為式(12)。計(jì)算結(jié)果得出平均定位誤差為2.16個(gè)像素,定位方差為0.80個(gè)像素。
(12)
式中,△x為計(jì)算得到的抓取點(diǎn)坐標(biāo)與人工標(biāo)注抓取點(diǎn)坐標(biāo)的x方向的差值,△y為計(jì)算得到的抓取點(diǎn)坐標(biāo)與人工標(biāo)注抓取點(diǎn)坐標(biāo)的y方向的差值。
(13)
根據(jù)式(13)計(jì)算得到朝向角度與人工標(biāo)注朝向角度平均誤差為0.40°,方差為0.09°。每個(gè)零散嫁接夾平均定位計(jì)算時(shí)間為6 ms。
表3的實(shí)驗(yàn)結(jié)果以及實(shí)驗(yàn)數(shù)據(jù)分析表明,本文的視覺檢測方法可以準(zhǔn)確并穩(wěn)定地對零散嫁接夾的抓取點(diǎn)進(jìn)行視覺定位以及對零散嫁接夾的朝向角度進(jìn)行視覺檢測。
本文針對目前現(xiàn)代農(nóng)業(yè)嫁接機(jī)中,嫁接夾的分揀自動化程度低的問題,設(shè)計(jì)了一種適合應(yīng)用于自動化場景的嫁接夾,提出的基于機(jī)器視覺方法對抓取點(diǎn)定位和嫁接夾朝向角度進(jìn)行檢測方法,在本文設(shè)置的實(shí)驗(yàn)中,實(shí)驗(yàn)結(jié)果顯示零散嫁接夾抓取點(diǎn)平均定位精度達(dá)到2.16個(gè)像素,方差達(dá)到0.80個(gè)像素;零散嫁接夾朝向檢測平均精度達(dá)到0.40°,
方差達(dá)到0.09°。在實(shí)際工業(yè)應(yīng)用中,對于本文方法分類得到的堆積嫁接夾,可以進(jìn)行下一步處理,例如使用通用柔性振動盤振散成多個(gè)零散嫁接夾或者使用通用機(jī)械臂將堆積嫁接夾擺散成多個(gè)零散嫁接夾等;對于本文方法分類得到的零散嫁接夾,本文能夠?yàn)橄乱徊綑C(jī)械臂運(yùn)動提供準(zhǔn)確的抓取點(diǎn)坐標(biāo)以及目標(biāo)朝向。因此本文的視覺檢測方法有助于提高嫁接機(jī)整體自動化程度,具有實(shí)用價(jià)值。