張新良，冷正明，趙運基，付陳琳

(河南理工大學電氣工程與自動化學院，河南焦作 454000)

0 引言

多自由度機械臂和工業(yè)機器人越來越多地應(yīng)用于生產(chǎn)制造、機械加工、零件分揀及貨物搬運等領(lǐng)域，這類機器人通過精確的示教作業(yè)，能完成復雜的點到點的動作，極大提高了生產(chǎn)加工效率[1]。然而傳統(tǒng)的示教方法在生產(chǎn)環(huán)境和被控對象變化時，容易引起目標位置和姿態(tài)偏差，進而導致產(chǎn)品加工不合格或機器人任務(wù)執(zhí)行失敗[2]。為了保證機器人對生產(chǎn)環(huán)境的變化具有適應(yīng)性，有必要引入目標識別和定位技術(shù)實時獲取目標位置和姿態(tài)的變化，自動調(diào)整執(zhí)行機構(gòu)位姿，減少生產(chǎn)準備時間。基于機器視覺的目標識別和定位是其中一種重要的方法，其基于采集的含有目標物體的場景圖像，結(jié)合攝像機的標定參數(shù)，利用空間幾何映射關(guān)系，計算得到目標物體幾何尺寸、形貌和位置等參數(shù)，具有非接觸、動態(tài)響應(yīng)快、效率高等特點，在場景建模[3]、目標識別[4]以及生產(chǎn)線上工件尺寸的在線測量[5]等有廣泛的應(yīng)用。相比于單目視覺技術(shù)，雙目視覺不存在盲區(qū)，擁有更豐富的深度信息，可以解決大范圍空間尺寸三坐標的現(xiàn)場測量問題。因此，基于雙目視覺技術(shù)的機械手臂目標定位系統(tǒng)，在擺放、裝配、采摘等作業(yè)中具有更廣泛的應(yīng)用價值[6-7]。本文以矩形目標物體為例，結(jié)合四自由度(4-DOF)的機械手臂執(zhí)行機構(gòu)，研究了基于雙目立體視覺技術(shù)的目標物體識別、空間位姿測量以及運動定位控制等關(guān)鍵技術(shù)，結(jié)合機械手臂的動力學模型分析，給出了控制系統(tǒng)的實現(xiàn)方法。

1 4-DOF機械手臂控制系統(tǒng)

4-DOF機械手臂控制系統(tǒng)整體架構(gòu)如圖1所示。整個系統(tǒng)由視覺系統(tǒng)和機械手臂控制系統(tǒng)2部分組成，視覺系統(tǒng)以PC機為控制核心，采集和處理目標圖像。機械手臂控制系統(tǒng)以DSP為核心，控制機械手臂抓取目標物體放置于目標位置。本文設(shè)計的機械手臂控制任務(wù)是抓取矩形類物體放置于矩形區(qū)域中。

圖1 機器視覺輔助定位4-DOF機械手臂實驗平臺

控制系統(tǒng)的任務(wù)執(zhí)行采用基于Eye-to-Hand雙目視覺的位置控制方案，利用雙目攝像機采集目標圖像信息，在PC機上進行圖像處理，完成目標的識別與空間位姿測量。然后將目標的位姿信息發(fā)送至DSP控制器，轉(zhuǎn)化為機械手臂各自由度上的控制指令，驅(qū)動電機轉(zhuǎn)動相應(yīng)角度，使得末端夾持器以特定的姿態(tài)到達目標物體的位置，控制夾持器實現(xiàn)對目標物體的抓取與搬運，同時在機械手臂上安裝傳感器形成位置閉環(huán)，保證機械手臂的控制精度。

2 矩形目標識別與空間位姿測量

根據(jù)控制任務(wù)的要求，對于任意放置的矩形目標和放置區(qū)域的位置，4-DOF機械手臂需要按照矩形的長邊方向抓取目標物體，按與放置區(qū)域長邊一致的方向放置目標物體。因此，基于雙目視覺的目標識別和位姿測量過程即是提取目標(目標物體和目標區(qū)域)的輪廓特征參數(shù)和矢量參數(shù)，利用圖像匹配算法識別對象，結(jié)合雙目視覺相機的標定參數(shù)，確定目標相對于機械手臂參考系的空間坐標。

2.1 矩形目標輪廓提取與匹配

為了保證檢測出單像素邊緣的圖像輪廓，本文通過掏空二值化圖像內(nèi)部像素點，利用鏈碼跟蹤的方法提取和存儲輪廓邊緣信息[8]。首先對目標圖像進行灰度化、濾波和圖像閾值分割，得到二值圖像。遍歷圖像中的每一個像素點，如果當前像素點灰度值為255，且周圍相鄰8個像素點灰度值也為255，則該點灰度值置0；如果當前像素點灰度值為0，該點灰度值仍置0；除上述2種情況的其他像素點灰度值設(shè)置為255。通過鏈碼的方向進行輪廓跟蹤，利用輪廓起始點坐標和相應(yīng)的方向鏈碼值連接輪廓邊界，不同的輪廓通過結(jié)束標志區(qū)分，從而得到由鏈碼表示的輪廓序列，保存圖像中目標的輪廓信息。如圖2所示的2個矩形輪廓，可以看出，采用的輪廓提取方法能夠準確地提取目標的輪廓，較好地保留了目標的特征信息。

(a)目標物體和目標區(qū)域輪廓

(b)原始圖像的輪廓信息

進一步，通過比較2個矩形輪廓的周長以及輪廓面積，便可識別矩形目標物體和目標區(qū)域，即周長/面積小的矩形輪廓為待抓取的目標物體，大矩形輪廓為待放置區(qū)域。

2.2 矩形目標矢量參數(shù)提取

矩形目標物體和目標區(qū)域的矢量信息決定了機械手臂末端夾持器抓取和放置動作的方向。本文利用目標的質(zhì)心坐標和方向來計算目標的空間三維坐標和方向，得到圖像中目標的矢量參數(shù)。

圖像中第k個目標的質(zhì)心坐標定義為

(1)

式中：m00為圖像中目標的零階圖像矩；m10和m01為一階圖像矩。

(i+j)階圖像矩定義為

(2)

式中：i、j為非負整數(shù)；f(r,c)為圖像中(r,c)處的灰度值，即當位于目標上時值為1，否則為0。

圖像中第k個目標的方向角度θ定義為穿過該目標的長軸與x軸的夾角，即

(3)

式中：C11(k)、C20(k)和C02(k)分別為第k個目標的圖像中心矩，定義為

(4)

分別將目標物體和目標位置輪廓坐標值帶入式(1)和式(2)，即可求得其質(zhì)心坐標和方向，如圖3所示。

圖3 矩形目標的質(zhì)心和方向矢量參數(shù)

2.3 矩形目標空間位姿測量

采用立體匹配方法求取雙目視覺相機采集的圖像對中目標的視差，結(jié)合標定的雙目視覺相機內(nèi)外參數(shù)和三角測距原理，計算得到目標的空間三維坐標，實現(xiàn)目標的定位。立體匹配方法的原理是首先利用質(zhì)心作為匹配點得到目標視差的估計值，對該值加減一定的視差余量來設(shè)定搜索范圍。然后利用區(qū)域匹配，在右目圖像中搜索與左目圖像中目標質(zhì)心相似度最高的匹配點從而得到視差[9]。

灰度圖局部窗口之間灰度值的相似度使用去均值的歸一化互相關(guān)(ZNCC)系數(shù)r表示，即,

(5)

則視差搜索范圍表示為

r(x,y)=max({r(x,y,p)|(pc-dd

(6)

式中：pc為質(zhì)心匹配時得到的目標視差值；ud、dd為對應(yīng)視差值的上偏移量和下偏移量。

結(jié)合雙目成像系統(tǒng)中的三角測距原理，以左目相機的光心作為坐標系的原點，計算得到目標在空間中的三維坐標，即

(7)

式中：Tx為雙目視覺相機的基線長度，mm；(xl,yl)和(cx,cy)分別為左目相機圖像坐標系的形心坐標和校正后的主點坐標;f為左目相機焦距，mm；xr為右目相機在圖像坐標系的橫坐標。

3 4-DOF機械手臂運動控制

基于目標的三維位置信息，對機械手臂進行運動學分析獲得機械手臂各關(guān)節(jié)的變量，將期望位置坐標轉(zhuǎn)換為各自由度上的旋轉(zhuǎn)或伸縮位移，控制機械手臂的末端夾持器進行抓取和放置操作，完成控制任務(wù)。

4-DOF機械手臂如圖4(a)所示，各自由度上的運動分別為：腰部機械臂的水平旋轉(zhuǎn)運動；大臂沿水平導軌的直線伸縮運動；小臂垂直腰部平面的旋轉(zhuǎn)運動；小臂末端的機械夾持器拾取。機械臂由5個關(guān)節(jié)組成，其中關(guān)節(jié)3和關(guān)節(jié)4共用一個步進電機，關(guān)節(jié)1、關(guān)節(jié)3、關(guān)節(jié)4和關(guān)節(jié)5為旋轉(zhuǎn)關(guān)節(jié)，關(guān)節(jié)2為移動關(guān)節(jié)。選取機械手臂的基座中心作為空間坐標系的原點，對機械手臂進行坐標系建模，如圖4(b)所示。其中X0-Z0表示機械臂基座的坐標系(基坐標系)，即關(guān)節(jié)1的坐標系，依次建立關(guān)節(jié)2～4的坐標系，X5-Z5表示機械臂末端夾持器的坐標系，也是夾持器的實際位姿。

(a)4-DOF機械手臂結(jié)構(gòu)

(b)4-DOF機械手臂關(guān)節(jié)坐標系圖4 4-DOF機械手臂結(jié)構(gòu)及關(guān)節(jié)坐標系

利用D-H法對機械臂進行分析建模[10]，根據(jù)機械手臂的結(jié)構(gòu)參數(shù)，建立其運動學模型如下：

x=[18.7+23.4cos(88.723 99-α)+λ]sinβ

(8)

y=8.7+23.4sin(88.723 99-α)

(9)

z=[18.7+23.4cos(88.723 99-α)+λ]cosβ

(10)

式中：(x,y,z)為機械臂夾持器的空間坐標；α、β和γ分別為小臂旋轉(zhuǎn)角度、腰部旋轉(zhuǎn)角度和大臂伸縮距離。

通過該正運動學模型和機械手臂各個關(guān)節(jié)的角度，計算可得機械手臂末端夾持器在機械手臂坐標系中的位置。反之，通過該運動學模型的逆模型可求解給定期望位置條件下各個關(guān)節(jié)的旋轉(zhuǎn)角度和移動位移，完成4-DOF機械手臂運動路徑的規(guī)劃。

由式(8)～式(10)，4-DOF機械手臂逆運動學模型描述為：

(11)

(12)

(13)

4 實驗驗證

本文采用USB3.0通信協(xié)議雙目視覺相機采集彩色未壓縮的雙目720P圖像，速率31幀/s。雙目視覺相機的基線距離為6 cm，分辨率為1 280×480，工作距離為48 cm，鏡頭焦距為4.3 mm。分別使用張正友平面標定法[11]和Brown算法[12]標定雙目視覺相機的內(nèi)參數(shù)矩陣、外參數(shù)矩陣和畸變參數(shù)向量，標定值如表1所示。

表1 雙目視覺相機標定參數(shù)

4-DOF機械手臂DSP控制系統(tǒng)實驗平臺如文獻[13]所述，關(guān)節(jié)的旋轉(zhuǎn)或伸縮動作通過各自由度上的步進電機驅(qū)動，旋轉(zhuǎn)角度和伸縮距離與電機脈沖個數(shù)nx、ny、nd的關(guān)系為：

α=0.002 25nx+30

(14)

β=0.002 25ny

(15)

λ=0.003 175nd

(16)

末端夾持器初始坐標為(0,30.85,28.7)cm，即各自由度上的初始位移α=30°，β=0°，γ=0 cm。圖5為機械手臂和雙目視覺相機的工作空間中任意放置的矩形目標物體和目標區(qū)域，4-DOF機械手臂末端夾持器按照矩形長邊方向抓取目標物體并按與目標區(qū)域長邊對齊的方式放置的工作過程。其中的22組目標位置測試實驗數(shù)據(jù)如表2所示。

圖5 機械手臂目標抓取與放置過程

編號目標物體坐標和方向視覺定位坐標和方向夾持器坐標和方向X/mmY/mmθ/(°)X/mmY/mmθ/(°)X/mmY/mmθ/(°)150-604548.7-59.94547.7-60.644.82-100-30120-100.4-29.2121.8-101.2-30.5122.33-50-30110-50.2-29.9111.0-48.9-30.9122.440-30800.1-30.480.51.9-29.881.3550-306050.3-30.459.750.3-27.561.66100-302099.6-32.421.8101.5-49.922.57-1000150-99.3-0.1149.6-99.22.2151.48-500120-48.4-0.9121.6-48.51.0122.1900900.00.090.00.20.592.5105006050.3-0.859.951.22.059.51110003098.2-2.429.797.21.631.512-10030160-100.131.1160.0-101.4-28.062.113-503080-49.429.979.4-49.930.881.214030600.828.759.949.628.659.51550304050.327.941.450.131.440.716100302099.827.421.899.832.221.517-10090110-100.192.7110.6-100.493.580.618-509070-48.790.269.0-48.391.971.619090500.888.650.51.391.550.52050903049.587.831.051.491.330.8211009020101.888.620.0101.390.619.9220120400.8119.741.51.1121.041.5

目標物體大小為52.0 mm×14.0 mm，目標區(qū)域大小為114.0 mm×53.0 mm，實驗過程目標物體高度已知，故數(shù)據(jù)中的坐標只包含X、Y軸坐標。每次實驗記錄3類數(shù)據(jù)，即矩形目標物體實際的坐標和方向、視覺系統(tǒng)的定位坐標和方向及機械手臂末端夾持器到達目標物體時的實際坐標和方向。從表2可以看出，視覺系統(tǒng)的定位誤差在3 mm以內(nèi)，方向誤差小于2°；機械手臂夾持器的抓取誤差小于4 mm，方向誤差最大值小于3°，具有較高的定位精度和控制精度，達到了機械臂控制系統(tǒng)的設(shè)計要求。

5 結(jié)論

本文針對生產(chǎn)線上工作的工業(yè)機器人生產(chǎn)柔性差，無法適應(yīng)工作環(huán)境變化的情況，以4-DOF機械手臂為研究對象，設(shè)計了機器視覺輔助定位的運動控制系統(tǒng)，利用視覺系統(tǒng)定位矩形目標，實現(xiàn)目標的抓取與放置操作。設(shè)計的機械臂控制系統(tǒng)工作穩(wěn)定，具有較高的定位和控制精度，對其他的工業(yè)機器人目標定位與抓取作業(yè)研究有一定借鑒意義。