谷林峰 李 亞 丁彥玉 孫 科

(1. 天津市輕工與食品工程機械裝備集成設(shè)計與在線監(jiān)控重點實驗室，天津 300222；2. 天津科技大學(xué)機械工程學(xué)院，天津 300222)

目前，花生批量分揀生產(chǎn)線主要依賴于人眼識別缺陷，人工挑揀次品、分裝成品，勞動成本大，誤檢率高，且抗疲勞能力差。近年來，機器視覺技術(shù)[1-2]被逐漸應(yīng)用于農(nóng)作物流水生產(chǎn)線的自動分揀工作[3-4]，生產(chǎn)效率大幅提升。實踐中，固有傳送帶生產(chǎn)線利用單目視覺引導(dǎo)機器人進行抓取的操作最為普遍，其核心問題是需要現(xiàn)場完成攝像機標(biāo)定和手眼標(biāo)定過程[5]。多數(shù)基于傳送帶的標(biāo)定方法[6-7]都忽略了目標(biāo)的重心高度信息，并不適用于花生等立體目標(biāo)的定位分揀過程。利用場景特征[8]和結(jié)構(gòu)光平面[9]等獲取立體定位信息的手眼標(biāo)定方法，但其三維信息的求解過程較復(fù)雜，難以在手眼無重合工作空間的現(xiàn)場環(huán)境下實施。

文章以揀選大批量花生的典型傳送帶生產(chǎn)線為對象，根據(jù)花生的分揀要求，擬提出一種能在現(xiàn)場簡便操作的標(biāo)定方法，并根據(jù)花生形態(tài)(圖1)作出重心定位補償。利用自制的高精度標(biāo)定塊，并使用與其過渡配合的標(biāo)定針，引導(dǎo)機器人手臂末端插入指定標(biāo)定孔，求取攝像機與機器人坐標(biāo)系的位姿轉(zhuǎn)換關(guān)系，避免傳統(tǒng)方法以肉眼判別接觸點的誤差影響；針對不同大小的油炸花生分揀高度不一致的問題，建立關(guān)于花生圖像輪廓與花生高度變化的關(guān)系模型[10-11]，以傳送帶為基準(zhǔn)面對每顆花生進行高度補償，避免單一平面標(biāo)定對花生定位精度的影響，提高其對立體目標(biāo)的定位抓取精度，旨在為基于傳送帶作業(yè)的目標(biāo)三維定位提供一種求解思路和方法。

圖1 花生形態(tài)

1 系統(tǒng)組成

現(xiàn)場標(biāo)定系統(tǒng)(圖2)由工業(yè)級CMOS面陣相機、E6B2-C增量式旋轉(zhuǎn)編碼器、低角度條形光源、傳送帶模塊、TS6-600四自由度SCARA機器人等組成，單目相機固定在上料端正上方，傳送帶輸送待分揀花生到達機器人工作區(qū)域，進行分揀操作，部分系統(tǒng)根據(jù)產(chǎn)量要求，添加多臺機器人對應(yīng)一個視覺模塊，協(xié)調(diào)運作。

2 標(biāo)定原理

油炸花生流水線生產(chǎn)中，相機與機器人之間無重合工作空間，固定單目相機與遠端機器人的標(biāo)定[12]是通過標(biāo)定塊在傳送帶上移動前后的位置照片和編碼器讀數(shù)計算對應(yīng)移動距離，工具坐標(biāo)系末端多次觸碰參考物指定點，求解出機器人與傳送帶的旋轉(zhuǎn)平移關(guān)系，標(biāo)定一旦完成，各部分位置關(guān)系將固定不變。

2.1 建立坐標(biāo)系

為更好地描述各坐標(biāo)系之間的相對位置關(guān)系，傳送帶坐標(biāo)系Ow-XwYwZw、相機坐標(biāo)系Oc-XcYcZc與機器人坐標(biāo)系OB-XBYBZB如圖3所示。

2.2 成像幾何關(guān)系

根據(jù)透視投影關(guān)系，從傳送帶坐標(biāo)系轉(zhuǎn)換至像素坐標(biāo)系的過程屬于三維坐標(biāo)轉(zhuǎn)二維坐標(biāo)，根據(jù)Zhang[13]提出的平面標(biāo)定方法，計算攝像機內(nèi)部參數(shù)。設(shè)傳送帶坐標(biāo)系點Pw(Xw,Yw,Zw)投影至像素坐標(biāo)點p(μ,υ)，暫不考慮Zw高度信息，以矩陣形式表示：

1. 光源 2. 標(biāo)定板 3. 相機 4. 機器人 5. 編碼器 6. 傳送帶

圖3 坐標(biāo)系的建立

(1)

式中：

α——比例因子；

fμ、fυ——μ、ν軸的比例因子；

β——μ、ν軸的傾斜程度；

(μ0、υ0)——圖像主點在像素坐標(biāo)系下的坐標(biāo)位置；

R、T——旋轉(zhuǎn)平移矩陣。

2.3 改進剛性變換矩陣

傳送帶坐標(biāo)系與機器人坐標(biāo)系之間的變化可看作剛性變換，空間位置點P相對于傳送帶坐標(biāo)系的描述為PW，轉(zhuǎn)換成該點相對于機器人坐標(biāo)系的描述PB表述為：

(2)

式中：

(3)

根據(jù)旋轉(zhuǎn)平移關(guān)系得：

(4)

式中：

γ——兩平面坐標(biāo)系X軸之間的夾角；

Tx、Ty——傳送帶坐標(biāo)系相對于相機坐標(biāo)系的X、Y方向平移量。

2.4 優(yōu)化過程

3 圖像處理過程

因大小不同的花生重心高度不一致，且花生外形近似橢圓體，僅靠傳送帶水平面的二維平面位置信息不適用于花生的分揀過程，只有在平面標(biāo)定后進行橢圓擬合算法提取花生輪廓，將花生重心高度補償給機器人分揀位置，才能提高分揀精度。

3.1 圖像預(yù)處理

為了更清晰地顯示花生的輪廓信息，按照一定的變換關(guān)系，將采集到的花生圖像轉(zhuǎn)化為灰度圖像， 運用Blob分析法對圖像進行二值化，圖像分割得到前景和背景，連通域提取得到ROI區(qū)域(圖4)。

3.2 花生輪廓提取

為了后續(xù)圖像處理中更準(zhǔn)確地進行輪廓橢圓擬合，計算出花生的重心位置，首先需要獲取花生的邊緣軌跡。基于花生預(yù)處理后的二值化圖像，在花生邊緣的法線方向會呈現(xiàn)斷層式的灰度變化，對二值化圖像進行逐行逐列掃描，選取適合的閾值σ，記錄掃描過程中前后灰度變化Δ，若Δ>σ，記錄該像素點，否則舍棄，最終求得所有點的集為花生邊緣輪廓(圖5)。

3.3 橢圓擬合

根據(jù)Fitzgibbon等[14]提出的運用直接最小二乘法，對輪廓至少6個擬合點進行橢圓輪廓擬合，一般圓錐曲線表示為：

ax2+bxy+cy2+dx+ey+f=0。

(5)

假設(shè)提取的輪廓點為(xi,yi)，建立函數(shù)F(a,b,c,d,e,f)為輪廓點與預(yù)期的橢圓曲線的代數(shù)距離，最小化代數(shù)距離函數(shù)，并添加約束條件4ac-b2=1，防止擬合輪廓為拋物線或雙曲線，最終得橢圓輪廓(圖6)。

3.4 重心位置校正

圖4 圖像預(yù)處理

圖5 花生輪廓曲線

圖6 花生輪廓橢圓擬合

(6)

式中：

K——徑向畸變量級(決定圖像畸變程度)。

3.5 生成高度信息

取傳送帶平面的兩點實際距離為L，采集圖像平面上點p1(μ1,υ1)、p2(μ2,υ2)，即傳送帶平面的實際距離與圖像像素距離之間存在映射因子Fac：

(7)

因花生呈長橢圓體，在傳送帶上運輸時橢圓長半軸R近似平行于傳送帶平面，通過映射因子取像素坐標(biāo)系中橢圓短半軸r計算花生實際輪廓寬度(見圖7)。以傳送帶平面為基準(zhǔn)，可將花生重心高度補償至機器人定位信息中。

4 標(biāo)定過程及試驗分析

為了提高平面標(biāo)定精度，針對生產(chǎn)線手眼安裝位置，設(shè)計適合于現(xiàn)場操作、簡便易攜的“9+2”高精度標(biāo)定塊，呈3×3矩陣排列的9孔為高精度孔，其余2孔為定位孔，并使用能與其過渡配合的標(biāo)定針(圖8)。

4.1 相機與傳送帶標(biāo)定

標(biāo)定過程中，緩慢轉(zhuǎn)動傳送帶使固定標(biāo)定板依次在圖9的視野前部P1、中部P2、后部P3采集圖像，提取P1、P2、P3位置點坐標(biāo)，記為(μ1,υ1)、(μ2,υ2)、(μ3,υ3)。

圖7 花生高度信息

圖8 “9+2”標(biāo)定塊和標(biāo)定針

建立傳送帶坐標(biāo)系，以P3點為原點，X軸正方向為傳送帶運動方向，利用坐標(biāo)點反正切函數(shù)可求取像素坐標(biāo)系與傳送帶坐標(biāo)系繞Z軸夾角γ：

(8)

4.2 傳送帶與機器人標(biāo)定

使編碼器讀數(shù)歸零，勻速轉(zhuǎn)動傳送帶使標(biāo)定板從P3位置移動至機器人工作區(qū)域位置P4(見圖10)。

為避免機器人末端接觸指定點的誤差干擾，利用標(biāo)定針引導(dǎo)機器人末端準(zhǔn)確地進入標(biāo)定孔，讀取機器人坐標(biāo)和編碼器讀數(shù)。移動至后部P5，記錄P4至P5的移動距離，求出傳送帶坐標(biāo)系與機器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系。標(biāo)定多個機器人時，需重新從P3位置進行標(biāo)定，重復(fù)以上操作，減小累積誤差。

4.3 試驗分析

利用文中介紹的標(biāo)定方法，圖像采集過程如圖11所示。通過標(biāo)定試驗，映射因子為0.128 mm/pix。

手眼轉(zhuǎn)換矩陣為：

圖9 相機視野與傳送帶平面關(guān)系

為準(zhǔn)確地評價該方法的標(biāo)定精度，取10顆大小不等花生分別固定于傳送帶上，在相機視野下進行拍照，勻速轉(zhuǎn)動傳送帶至機器人工作區(qū)間內(nèi)，計算得出機器人坐標(biāo)系下的坐標(biāo)位置與標(biāo)定孔的實際坐標(biāo)位置，進行10次重復(fù)試驗。由表1可知，試驗標(biāo)定方法最大偏差為0.93 mm，理論點與實際點的歐氏距離平均值為0.46 mm，遠高于傳統(tǒng)手眼標(biāo)定精度。

取100粒大小不等的花生進行有無高度補償對比抓取試驗，記錄機器人抓取成功率。試驗表明系統(tǒng)平面重復(fù)定位誤差可控制在±1 mm，添加高度補償值后，抓取成功率由87%提高至97%，能夠滿足傳送帶分揀要求。

圖10 機器人工作區(qū)域與傳送帶平面關(guān)系

圖11 標(biāo)定過程圖像采集

表1 標(biāo)定試驗數(shù)據(jù)

微小誤差可能來源：傳送帶傳輸過程中不穩(wěn)定，出現(xiàn)左右擺動問題；花生傳輸過程中與傳送帶發(fā)生相對滑動；編碼器脈沖讀數(shù)不準(zhǔn)確，導(dǎo)致傳輸方向誤差；通訊模式有延遲等問題。

5 結(jié)論

根據(jù)花生生產(chǎn)線現(xiàn)場操作條件，改進了傳統(tǒng)手眼標(biāo)定方法，利用專門定制的“9+2”標(biāo)定塊進行平面標(biāo)定，并對花生處理提取輪廓信息，進行重心高度補償。結(jié)果表明，該標(biāo)定方法便于在生產(chǎn)現(xiàn)場實際操作，降低了傳統(tǒng)手眼標(biāo)定矩陣求解難度，可滿足基于傳送帶作業(yè)的機器人分揀精度要求。但對于相機、傳送帶平整度及安裝精度要求較高的，需后期對此方面問題繼續(xù)探索，使之得到廣泛應(yīng)用。