，

(華南理工大學(xué) 機械與汽車工程學(xué)院，廣州 510641)

0 引言

裝配是產(chǎn)品生產(chǎn)的后置工序，在整個制造業(yè)的過程中有著十分重要的地位。傳統(tǒng)的工業(yè)裝配主要由人工手動操作，工作效率低下，精度偏低。機械制造生產(chǎn)的自動化是制造業(yè)長期發(fā)展的目標之一，通過自動化的生產(chǎn)不僅能大大地提高生產(chǎn)效率，降低勞動強度，還能提高產(chǎn)品的質(zhì)量，進而增強產(chǎn)品在市場中的競爭力[1]。一般傳統(tǒng)的自動化裝配生產(chǎn)線上，裝配機器人的動作都是預(yù)先嚴格設(shè)定好的，只能做一些固定的動作，這些機器人都是通過各種傳感器來進行控制運動，所以被稱為敏感控制機器人[2]。在機器人進行裝配操作的時候，要求零件和料板等都必須按照設(shè)定的位置和特定的方向進行放置，這就對配套的夾具和固定機構(gòu)的性能要求極高，同時傳輸帶也必須經(jīng)過特殊的設(shè)計。但是，在實際的生產(chǎn)過程中，由于多方面的原因，零件的位置沒有被嚴格固定，導(dǎo)致裝配機器人裝配出現(xiàn)錯誤。因此，自動化裝配對機器人或者說機械手的能夠根據(jù)工件的位置，動態(tài)的調(diào)整位姿的能力提出了更高的要求。

人類主要通過各類感覺器官感知外部世界，而人類從外界獲得信息的80% 來自于視覺。視覺信息傳入大腦后，由大腦根據(jù)已有的知識進行信息處理工作，進一步進行判斷和識別[3]。機器視覺主要研究用計算機來模擬人的視覺功能從客觀事物的圖像中提取信息，進行處理并加以理解，最終用于實際檢測、測量和控制[4]。機器視覺系統(tǒng)主要應(yīng)用于工業(yè)探測這樣不適合人工作業(yè)或者人工視覺無法達到要求的場合；以及自動生產(chǎn)流水線這樣大批量工業(yè)生產(chǎn)過程，能大幅提高生產(chǎn)的質(zhì)量和效率[5]。在國內(nèi)，機器視覺領(lǐng)域?qū)儆谛屡d行業(yè)，其技術(shù)推廣和運用還有很大的發(fā)展余地[6]。各行業(yè)中的應(yīng)用有極大的上升空間。目前隨著我國配套基礎(chǔ)建設(shè)的完善，技術(shù)、資金的積累，各行各業(yè)對采用圖像和機器視覺技術(shù)的工業(yè)自動化、 智能化需求開始廣泛出現(xiàn)，國內(nèi)有關(guān)大專院校、研究所和企業(yè)近兩年在圖像和機器視覺技術(shù)領(lǐng)域進行了積極思索和大膽的嘗試，逐步開始了許多領(lǐng)域的應(yīng)用，在自動化裝配領(lǐng)域，機器視覺技術(shù)也提供了一種可行的思路[7]。

1 系統(tǒng)的組成及其工作原理

一個典型的工業(yè)機器視覺應(yīng)用系統(tǒng)包括光源、光學(xué)系統(tǒng)、圖像捕捉系統(tǒng)、圖像數(shù)字化模塊、數(shù)字圖像處理模塊、智能判斷決策模塊和機械控制執(zhí)行模塊[8]。光源的作用主要是獲得對比度鮮明的圖像，圖像的質(zhì)量好壞主要看圖像的邊緣是否銳利，具體來說是看：感興趣的部分和其他部分的灰度值差異是否大、不感興趣部分是否得到消隱、信噪比是否高以及材質(zhì)或照射角度對成像的影響是否少。光學(xué)系統(tǒng)和圖像捕捉系統(tǒng)兩者是緊密連接在一起的，主要包括工業(yè)相機及其鏡頭，主要作用就是將圖像信息捕捉，傳送給工控機進行后續(xù)處理，也是一個極其重要的環(huán)節(jié)，相機和鏡頭的選取需要根據(jù)實際的工作環(huán)境進行。數(shù)字圖像處理模塊是核心環(huán)節(jié)，其作用就是通過圖像處理技術(shù)，提取所需的圖像信息，然后通過智能決策模塊，下發(fā)指令給機械控制執(zhí)行模塊，控制相關(guān)機器的動作。將機器視覺技術(shù)應(yīng)用于工業(yè)制造領(lǐng)域，大幅提高了產(chǎn)品的質(zhì)量和可靠性，保證了生產(chǎn)的速度[9]。

本系統(tǒng)主要由工控機、照明系統(tǒng)、圖像采集系統(tǒng)和機械運動系統(tǒng)等部分組成。照明系統(tǒng)主要由光源和光源控制器組成。圖像采集系統(tǒng)主要由12 mm的變焦光學(xué)鏡頭，面陣相機組成。機械運動系統(tǒng)主要由運動控制卡、工作臺、底座、伺服運動系統(tǒng)組成。其中運動控制卡選用的是東莞市升力智能有限公司的IPMC8812運動控制卡，工業(yè)相機采用了浙江大華有限公司的A5201MG50型號工業(yè)相機，鏡頭采用的是12 mm鏡頭。系統(tǒng)結(jié)構(gòu)框架如圖1所示。

圖1 系統(tǒng)框架圖

首先，需要對相機進行標定，這是視覺定位的必經(jīng)過程，其中相機坐標系是聯(lián)系圖像坐標系和世界坐標系的紐帶。通過相機的標定建立了成像模型，確定了相機的位置及其屬性的參數(shù)，從而確定了圖像點與其對應(yīng)的空間點之間的位置關(guān)系。相機標定以后，工業(yè)相機通過圖像采集系統(tǒng)獲得料盤的圖片信息，將信息傳送給工控機的圖像處理程序，經(jīng)過預(yù)處理、二值化，特征提取等圖像處理步驟后，確定4個MARK點的位置信息，包括坐標以及角度，最后通過運動控制系統(tǒng)下發(fā)指令控制機械手抓取對應(yīng)料盤移動到相應(yīng)位置，旋轉(zhuǎn)相應(yīng)角度實現(xiàn)準確的定位裝配。

2 系統(tǒng)的關(guān)鍵性過程及算法

2.1 相機的標定及其位置的坐標變換

2.1.1 坐標系的定義

三維物體空間物體成像時，一般用到4個坐標系統(tǒng)：世界坐標系、相機坐標系、成像平面坐標系以及像素坐標系[10]。世界坐標系OwXwYwZw，也稱為現(xiàn)實世界坐標系，它是一種客觀世界的絕對坐標系；相機坐標系OcXcYcZc，以相機為中心制定的三維直角坐標系，原點是在相機的光心,其ZC軸與光軸重合，XCYC軸位于焦平面上；成像坐標系oixy，是定義在相機成像平面上的，以物理單位表示的二維坐標系，原點在相機光軸與成像平面的焦點，x軸和y軸與相機坐標系的Xc軸和Yc一致；像素坐標系ofXfYf，是計算機里面的數(shù)字圖像所采用的坐標系，原點是在數(shù)字圖像的左上角，Xf軸向右，Yf軸向下，分別表示像素在圖像數(shù)組中的列和行[11]。

2.1.2 坐標系間的變換

世界坐標系到相機坐標系:

(1)

其中:XC表示在相機坐標系的坐標，XW表示在世界坐標系的坐標，R是旋轉(zhuǎn)矩陣，T是平移向量。

相機坐標系到圖像坐標系:

(2)

其中:f表示相機焦平面到成像平面間的距離即焦距，(Xi,Yi)表示在圖像坐標系下的坐標。

圖像坐標系到像素坐標系:

因為圖像點上的像素坐標(Xf,Yf)表示的是像素點在數(shù)字圖像數(shù)組里面的行數(shù)和列數(shù)，并不是用實際的物理單位在圖像中將像素點表示出來，所以，建立一個像素物理坐標系ofxy,用物理單位mm來表示，同時建立oiuv圖像像素坐標系，具體的對應(yīng)關(guān)系如圖2所示，其中，(u,v)是成像點在像素坐標系下的坐標；(u0,v0)是相機就點在像素坐標系下的坐標。

圖2 圖像物理與像素坐標系關(guān)系圖

針對CCD相機，兩個坐標系之間的對應(yīng)關(guān)系取決于像素的尺寸、形狀和CCD在相機中的位置，兩者之間的關(guān)系可表示為：

(3)

其中:Sx、Sy表示圖像平面單位距離上的像素個數(shù)，單位是pixel·mm-1,而且：

(4)

dx、dy表示像素點在像素坐標系中x軸和y軸方向的物理尺寸，(Cx,Cy)是光心的像素坐標。

物體空間坐標系到圖像像素坐標系：

經(jīng)過以上3個步驟，然后對(1)和(2)做等價變換，可以得到：

(5)

(6)

聯(lián)立上面各式，可不難推導(dǎo)出物體的空間坐標P(Xw,Yw,Zw)和計算機圖像像素的二維坐標Pf(Xf,Yf)之間的變換關(guān)系：

(7)

其中:M1由fu和fv決定，參數(shù)fu和fv、Cx和Cy只與相機的內(nèi)部結(jié)構(gòu)有關(guān)，是相機的內(nèi)部參數(shù)；M2只與相機相對于世界坐標系的具體方位有關(guān)，是相機的外部參數(shù)，參數(shù)X為空間坐標點在世界坐標系下的坐標。

2.1.3 相機的標定

由于鏡頭存在畸變，工業(yè)相機在實際的應(yīng)用中需要進行標定。相機的標定，就是確定空間位置與圖像上像素的映射關(guān)系，求取相機內(nèi)部參數(shù)和未知參數(shù)的過程。具體的標定方法，主要有：傳統(tǒng)標定方法、基于主動視覺的標定方法以及自標定方法。傳統(tǒng)的標定方法需要使用特殊制作的標定物，簡便靈活；基于主動視覺的標定方法，無需標定物，但過分依賴設(shè)備、系統(tǒng)成本高，對控制場合有較高的要求；自標定方法，不需要知道圖像點的三維坐標，僅通過不同角度拍攝場景中的圖像對應(yīng)點的關(guān)系來進行標定，適用于復(fù)雜的應(yīng)用場景。

綜合考慮，本系統(tǒng)采用傳統(tǒng)標定方法中的Tsai兩步法。兩步法基本步驟：第一步，解線性方程，得到部分外部參數(shù)的精確解；第二步，將其與外部參數(shù)與畸變修正參數(shù)相結(jié)合進行迭代求解得到所有參數(shù)結(jié)果。實驗得到的相機標定參數(shù)如下：

所用相機內(nèi)參數(shù)：單個像元的寬的大小為:

SX=3.011 1 μm，單個像元的高Sy=3 μm，焦距f=9.099 34 mm，徑向畸變量級Ka=-0.000 68，中心點x坐標Cx=968.035 pixel，中心點y坐標Cy=597.867 pixel。

相機的外參數(shù)：旋轉(zhuǎn)矩陣R=R(α,β,γ)，其中α=6.26047 rad，β=6.2578957 rad，γ=4.7256536 rad。平移向量T=(Tx,Ty,Tz)，其中TX=-56.134 mm，TY=11.159 mm，Tz=402.044 mm。

2.2 料盤的圖像處理及其方位確定

經(jīng)過圖像采集系統(tǒng)采集過來的料盤圖像，需經(jīng)過一系列的圖像處理，最終確定其像素坐標，進而確定其實際空間坐標。

第一步：預(yù)處理

圖像處理的第一步，一般都是預(yù)處理。預(yù)處理的主要目的是清除圖像上的無用信息，恢復(fù)對自己有用的信息，增強信息的可檢測性，以及最大限度地簡化數(shù)據(jù)，從而有利于后續(xù)圖像處理的進行[12]。

減輕或消除噪聲的影響是其重要的一環(huán)。對噪聲的處理，一般的方法有均值濾波、中值濾波以及在頻率域上的頻率濾波。均值濾波，主要的作用是使待處理像素點的值，等于其一定大小鄰域內(nèi)全體像素的平均值，起平滑的作用；中值濾波，是用結(jié)構(gòu)元素模板里面的像素中值作為結(jié)果值，對于椒鹽噪聲的處理有著顯著的效果；頻率濾波中的低通濾波也能夠平滑圖像，去除噪聲，運用高通濾波器衰減或抑制低頻分量，能夠銳化圖像。

就本系統(tǒng)而言，采用均值濾波就能起到較好的預(yù)處理效果。

第二步：圖像分割

圖像分割是指根據(jù)灰度、彩色、空間紋理、幾何形狀等特征把圖像劃分成若干個互不相交的區(qū)域，使得這些特征在同一區(qū)域內(nèi)，表現(xiàn)出一致性或相似性，而在不同區(qū)域間表現(xiàn)出明顯的不同。閾值法是一種傳統(tǒng)的圖像分割方法，因其實現(xiàn)簡單、計算量小、性能較穩(wěn)定而成為圖像分割中最基本和應(yīng)用最廣泛的分割技術(shù)。圖像閾值化分割，它特別適用于目標和背景占據(jù)不同灰度級范圍的圖像。其基本原理是：通過設(shè)定不同的特征閾值，把圖像像素點分成若干類．常用的特征包括：直接來自原始圖像的灰度或彩色特征。主要方法包括全局閾值分割和局部閾值分割。全局閾值分割，針對的是全局的區(qū)域，對于一些有陰影，或者亮度不均勻等特征的圖像，往往分割效果不理想，所以此時采用局部閾值分割，即對不同的局部區(qū)域采用不同的閾值進行分割，抗噪聲強，效果較好。所以，綜合考慮，本系統(tǒng)采用自適應(yīng)的局部閾值分割。

第三步：邊緣擬合及特征提取

由于CCD相機的畸變等因素的影響，料盤圖像中的4個Mark點一般是類橢圓形。對閾值后的區(qū)域進行形態(tài)學(xué)處理，然后提取邊緣，精度并不能滿足要求。因此，為了提高識別的精度，需要對亞像素輪廓進行橢圓擬合。一般的方法有最小二乘法以及加權(quán)的最小二乘法[13]。最小二乘法是在隨機誤差服從正態(tài)分布的前提下，由最大似然法推出的一種最優(yōu)估計技術(shù)[14]?；驹硎牵ㄟ^使邊緣的離散點與擬合后橢圓之間的幾何距離最小，兩者之間的距離平方和最小，然后通過極值原理求得擬合橢圓中的各個參數(shù)的值。其中，橢圓的隱式方程可由如下公式表示：

F(a,x)=ax=Ax2+Bxy+Cy2+Dx+Ey+F=0

(8)

其中:x=[x2xyy2xy1]T，a=[ABCDEF]

如果離散點比較多，對于較遠的離散點的權(quán)值和較近離散點的權(quán)值選擇成一樣的話，就會求得和理想橢圓偏差較大的橢圓參數(shù)，顯然是不可取的。加權(quán)的最小二乘法，是指采用多次迭代的方法來進行擬合。首先，第一次選擇1作為權(quán)重進行擬合，計算各個邊緣點到橢圓的距離di，然后通過選擇的權(quán)重函數(shù)W(di)，將這些權(quán)重用于后續(xù)的迭代。選用的Turkey權(quán)重函數(shù)W(di)：

(9)

其中:τ是消波因數(shù)，用它來定義各個邊緣點的權(quán)重。帶權(quán)重的橢圓擬合算法處理過程如圖3所示。

圖3 帶權(quán)重擬合算法流程圖

特征提取后的處理圖像如圖4所示。

圖4 提取特征后的圖像

從圖可以看出，4個類橢圓Mark點已被提取出來，從左至右，從上至下，將其分別編號為：1、2、3、4。行列及面積特征信息如表1所示。

表1 MARK點相關(guān)特征信息表

3 實驗結(jié)果分析

為了得到本檢測系統(tǒng)的重復(fù)精度，對MARK點標定之后，人為改變初始機械手的位置15次，再運行程序，檢查是否能完成裝配的同時，記錄此時的機械手所持物料的位置與實際位置坐標，結(jié)果如表2所示。

表中實驗次數(shù)為0所對應(yīng)的放料定位坐標為實際的放料坐標，實驗次數(shù)從1到15，分別記錄下實際的坐標值以及位置是否匹配的數(shù)據(jù)信息。由表可知，15次試驗位置基本達到匹配要求，所以本系統(tǒng)能夠完成自動裝配任務(wù)；同時，通過圖中X、Y放料定位實際坐標一列記錄的數(shù)據(jù)，可以求得系統(tǒng)的X坐標重復(fù)性誤差=標準差/平均值=0.148/167.513=0.088%，Y坐標的重復(fù)性誤差=標準差/平均值=1.904/156.772=1.21%，滿足實際生產(chǎn)需求。

圖5 實驗平臺結(jié)果圖

4 結(jié)論

針對工業(yè)上機械手自動化抓取裝配的需求，提出一種基于機器視覺的定位抓取系統(tǒng)。此系統(tǒng)首先通過工業(yè)相機對料盤的圖像進行采集，然后經(jīng)過一系列的圖像處理，對MARK點的位置進行定位識別，工控機下發(fā)指令控制機械手進行自動的裝配。通過在實驗平臺進行實驗驗證，此系統(tǒng)再實現(xiàn)自動化裝配的要求的同時，檢測精度較高，重復(fù)性誤差較小，滿足工業(yè)上的生產(chǎn)需求。