朱永國，卓 鑫，黃佳亮，胡元帆

（1.南昌航空大學(xué) 航空制造工程學(xué)院，南昌 330063；2.南昌航空大學(xué) 飛行器學(xué)院，南昌 330063）

0 引言

傳統(tǒng)鉚接質(zhì)量檢測方法是借助塞尺、千分表和卡規(guī)等設(shè)備進(jìn)行手工檢測。該方法依賴人工操作，效率低、檢測精度較低，且易對工件造成損壞。與傳統(tǒng)檢測方法相比，數(shù)字化三維視覺測量技術(shù)具有精度高、效率快的優(yōu)點(diǎn)[1-3]。DubinSki等采用視覺測量方法檢測MC-21飛機(jī)蒙皮表面損傷質(zhì)量，在飛機(jī)設(shè)計(jì)與維護(hù)階段提供幫助[4]。Buckhorst采用數(shù)字化三維測量技術(shù)，通過無人機(jī)攜帶工業(yè)相機(jī)快速地檢測飛機(jī)表面，并自動記錄檢測位置的索引圖像和表面缺陷，提高了飛機(jī)裝配效率[5]。Gramopadhye等采用主動和漸進(jìn)式零件訓(xùn)練相結(jié)合的方案模擬機(jī)身視覺檢測任務(wù)，以此改善視覺檢查任務(wù)的決策性能[6]。崔焱等提出了基于機(jī)器視覺的手機(jī)蓋板表面缺陷檢測系統(tǒng)，通過機(jī)器臂攜帶工業(yè)相機(jī)采集手機(jī)蓋板缺陷圖像，利用圖像差分算法快速識別出手機(jī)蓋板表面缺陷，提高了檢測效率[7]。杜雨馨等采用十字激光器實(shí)時(shí)解算掘進(jìn)機(jī)機(jī)身位姿，得到機(jī)身相對于外部環(huán)境的傾角與偏離位移，實(shí)驗(yàn)表明該方法精度較高[8]。丁超等基于結(jié)構(gòu)光原理對深孔類零件的內(nèi)表面輪廓進(jìn)行三維重建，深孔直徑檢測精度可達(dá)亞像素精度級別[9]。常樹鶴等設(shè)計(jì)一套激光信息融合檢測系統(tǒng)在線識別焊縫熔絲，在保證成形質(zhì)量的同時(shí)，自動實(shí)時(shí)引導(dǎo)電弧焊路徑，提高了生產(chǎn)效率[10]。徐尤南等提出了一種基于線結(jié)構(gòu)光雙目測量系統(tǒng)的管片位姿測量方法，通過雙目測量系統(tǒng)獲取管片邊緣點(diǎn)的坐標(biāo)，結(jié)合最小二乘法求解管片實(shí)際位姿，提高了管片位姿測量精度[11]。王堅(jiān)等提出基于機(jī)器視覺的瞄準(zhǔn)鏡缺陷檢測算法，實(shí)現(xiàn)了缺陷的快速識別與定位，縮短了檢測時(shí)間[12]。

線結(jié)構(gòu)光測量方式與其他測量方法相比，具有效率高、精度高、成本低的優(yōu)點(diǎn)[13-15]，為此，本文在以上文獻(xiàn)研究的基礎(chǔ)上，以飛機(jī)蒙皮鉚接裝配質(zhì)量控制為研究對象，提出一種基于線結(jié)構(gòu)光的飛機(jī)蒙皮鉚接間隙自動檢測方法，以實(shí)現(xiàn)飛機(jī)蒙皮鉚接間隙檢測的自動化和數(shù)字化，克服傳統(tǒng)飛機(jī)蒙皮鉚接間隙檢測方法效率低、精度差等不足。

1 飛機(jī)蒙皮鉚接間隙自動檢測系統(tǒng)搭建

圖1所示為基于線結(jié)構(gòu)光的鉚接間隙自動檢測系統(tǒng)，圖2所示為飛機(jī)蒙皮鉚接間隙自動檢測流程。

圖1 蒙皮鉚接間隙自動檢測系統(tǒng)

圖2 飛機(jī)蒙皮鉚接間隙自動檢測流程

1）如圖1所示，數(shù)字化測量設(shè)備主要包括一字線激光器、工業(yè)相機(jī)和工業(yè)機(jī)器人等。一字線激光器用于投射激光光條；工業(yè)相機(jī)用于獲取鉚釘光條圖像；工業(yè)機(jī)器人控制線結(jié)構(gòu)光傳感器移動，實(shí)現(xiàn)飛機(jī)蒙皮鉚接間隙連續(xù)自動檢測。

2）計(jì)算機(jī)集成軟件集圖像采集、圖像預(yù)處理、中心線提取、特征點(diǎn)檢測、系統(tǒng)標(biāo)定、坐標(biāo)轉(zhuǎn)換等功能于一體。

如圖2所示，首先通過系統(tǒng)標(biāo)定和圖像處理技術(shù)獲取相機(jī)內(nèi)參、畸變系數(shù)、光平面系數(shù)和手眼關(guān)系矩陣，將坐標(biāo)統(tǒng)一機(jī)器人基坐標(biāo)系下表示；其次，根據(jù)鉚釘分布特點(diǎn)和手眼關(guān)系矩陣規(guī)劃自動檢測路徑，通過離線編程代碼導(dǎo)入到機(jī)器人當(dāng)中；然后，由機(jī)械臂帶動線結(jié)構(gòu)光傳感器完成自動拍攝；最后，通過坐標(biāo)轉(zhuǎn)換和圖像處理技術(shù)獲取鉚接間隙特征的三維坐標(biāo)，以此求解出鉚釘頭與蒙皮表面之間的間隙。

2 測量模型構(gòu)建

如圖3所示，一字線激光器射點(diǎn)Q發(fā)出的激光在蒙皮表面上形成光條Lm，由于鉚釘頭檢測范圍小，且其為平面，可將光條Lm近似為直線。將Lm與Q點(diǎn)構(gòu)成的平面記為光平面π，點(diǎn)P為光條直線Lm上一點(diǎn)，P點(diǎn)在成像平面上的投影點(diǎn)為P′。

圖3 線結(jié)構(gòu)光測量模型

圖3中，各坐標(biāo)系分別為像素坐標(biāo)系Of-uv、圖像坐標(biāo)系O-XY、相機(jī)坐標(biāo)系Oc-XcYcZc，OOc的長度即為相機(jī)的焦距f。

建立圖像坐標(biāo)(x,y)與像素坐標(biāo)(u,v)的關(guān)系式：

式(1)中，(u0,v0)為圖像坐標(biāo)系原點(diǎn)O的坐標(biāo)值；dx、dy為像元大小。

在成像過程中，由于相機(jī)自身制造的誤差導(dǎo)致圖像出現(xiàn)畸變。圖像畸變按畸變方向可分為徑向畸變和切向畸變。設(shè)(x,y)為畸變后的圖像坐標(biāo)，即圖像真實(shí)坐標(biāo)，(x′,y′)為畸變前的圖像坐標(biāo)，即圖像理想坐標(biāo)。當(dāng)同時(shí)發(fā)生以上兩種畸變現(xiàn)象時(shí)，真實(shí)坐標(biāo)與理想坐標(biāo)的關(guān)系可用下式表示：

式(2)中，k1，k2，k3為徑向畸變系數(shù)；p1，p2為切向畸變系數(shù)；r為像點(diǎn)到中心點(diǎn)的距離，r2=x2+y2。

建立像素坐標(biāo)(u,v)與相機(jī)坐標(biāo)(xc,yc,zc)的關(guān)系式：

式(3)中，尺度因子cx=f/dx，cy=f/dy，s為傾斜因子，當(dāng)像素坐標(biāo)系u，v兩軸垂直時(shí)s=0，M為相機(jī)內(nèi)參矩陣。

光平面π方程用式(4)所示：

式(4)中，AL、BL、CL、DL為光平面方程參數(shù)。

聯(lián)立式(1)～式(4)，即可求得點(diǎn)P在相機(jī)坐標(biāo)系下的三維坐標(biāo)值。

3 檢測系統(tǒng)標(biāo)定

要實(shí)現(xiàn)坐標(biāo)統(tǒng)一在機(jī)器人基坐標(biāo)系下在表示，需對鉚接間隙自動檢測系統(tǒng)進(jìn)行標(biāo)定，標(biāo)定內(nèi)容包括相機(jī)標(biāo)定、光平面標(biāo)定和手眼標(biāo)定。

3.1 相機(jī)標(biāo)定

相機(jī)標(biāo)定用于獲取相機(jī)內(nèi)參和畸變系數(shù)，光平面標(biāo)定用于獲取光平面方程，結(jié)合相機(jī)標(biāo)定和光平面標(biāo)定即可求解相機(jī)坐標(biāo)系中任意一點(diǎn)的三維坐標(biāo)[16]。圖4所示為相機(jī)標(biāo)定流程。

圖4 相機(jī)標(biāo)定流程

采用單應(yīng)性矩陣H表示像素坐標(biāo)系與相機(jī)坐標(biāo)系之間的坐標(biāo)轉(zhuǎn)換關(guān)系：

式(5)中，H由旋轉(zhuǎn)矩陣R和平移矩陣t組成：

定義hi為H的第i列，hji為矩陣第j行第i列的元素，ri為R的第i列，M為相機(jī)內(nèi)參。

聯(lián)立式(3)和式(5)，可得：

式(7)中，λ為放縮因子，r1、r2為正交向量。

利用式(7)，可得：

令A(yù)a=M-TM-1，Aa為對稱矩陣，可化簡為：

式(9)中，aij為Aa矩陣中對應(yīng)位置中的元素。

采用cholesky算法分解矩陣a，可得相機(jī)內(nèi)參和畸變系數(shù)：

外參用式(11)表示：

畸變系數(shù)使用極大似然估計(jì)求解，最優(yōu)化目標(biāo)函數(shù)如式(12)所示：

式(12)中，m為角點(diǎn)個(gè)數(shù)，n為標(biāo)定圖片的數(shù)目，mij為第i幅圖像第j個(gè)角點(diǎn)的坐標(biāo)值，Pj為相機(jī)坐標(biāo)系中第j個(gè)角點(diǎn)的坐標(biāo)。

3.2 光平面標(biāo)定

圖5所示為光平面標(biāo)定流程。

圖5 光平面標(biāo)定方程

光平面方程已由式(4)給出，采用奇異值分解擬合光平面方程。設(shè)交點(diǎn)的相機(jī)坐標(biāo)為(xi,yi,zi)，若交點(diǎn)的個(gè)數(shù)為n，擬合步驟如下：

1）求所有交點(diǎn)的平均坐標(biāo)

2）求交點(diǎn)坐標(biāo)與平均坐標(biāo)的差值矩陣Mv

3）設(shè)定目標(biāo)函數(shù)d=min||MvX||，其中d為所有交點(diǎn)到光平面距離之和，其中X=[ALBLCL]T，約束條件為：||X||=1。

4）對差值矩陣進(jìn)行奇異值分解。

式(15)中，Mv=UΣVT，U為n階正交矩陣，Σ為n×3對角矩陣，V為3階正交矩陣。且滿足條件||VTX||=||X||=1。

5）當(dāng)且僅當(dāng)VTX=[000...1]T時(shí)，d取最小值，得：

6）將求解出的X與交點(diǎn)坐標(biāo)代入光平面方程即可計(jì)算DL。

3.3 手眼標(biāo)定

采用平面靶標(biāo)對手眼關(guān)系標(biāo)定，標(biāo)定前需建立標(biāo)定板坐標(biāo)系Om-XmYmZm，該坐標(biāo)系Xm軸、Ym軸與相機(jī)成像平面重合，Zm軸垂直于成像平面，標(biāo)定板坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣為Mb。

設(shè)q0、q1為末端執(zhí)行器移動前后對標(biāo)定板同一位置獲取的一組點(diǎn)，其標(biāo)定板坐標(biāo)分別為(xm0,ym0,zm0)、(xm1,ym1,zm1)，基坐標(biāo)分別為(xb0,yb0,zb0)、(xb1,yb1,zb1)。標(biāo)定板坐標(biāo)和基坐標(biāo)的轉(zhuǎn)換關(guān)系式為：

式(17)中，Ma0、Ma1和Mb0、Mb1分別為q0、q1兩點(diǎn)所處空間位置相機(jī)坐標(biāo)系到基坐標(biāo)系、標(biāo)定板坐標(biāo)系到工具坐標(biāo)系的轉(zhuǎn)換矩陣。

由于機(jī)器人本體與標(biāo)定板均未移動，兩點(diǎn)的轉(zhuǎn)換矩陣不變，可得：

對式(18)進(jìn)行移項(xiàng)，可得：

綜上式(17)～式(19)，可得：

式(20)中，Ma通過機(jī)器人示教盒獲取，Mb為相機(jī)外參，可通過相機(jī)標(biāo)定求解的內(nèi)參和畸變系數(shù)計(jì)算得到。

聯(lián)立式(8)與式(20)，可得：

根據(jù)李群理論[17]，對式(21)兩邊移項(xiàng)并取對數(shù)，可得：

令logMa=[Lα]、logMb=[Lb]。式(22)可化為[Lα]=Mc[Lb]McT=[McLv]，即：

當(dāng)存在多組點(diǎn)時(shí)，利用最小二乘法進(jìn)行求解，可得：

利用式(24)，可得：

將Rc代入式(21)，即可求解出tc。

4 自動檢測系統(tǒng)坐標(biāo)系統(tǒng)一

在鉚接間隙自動檢測系統(tǒng)中，須建立統(tǒng)一的坐標(biāo)基準(zhǔn)，由于機(jī)器人本體位置保持改變，因此可把坐標(biāo)系統(tǒng)一在機(jī)器人基坐標(biāo)系下。圖6為機(jī)器人坐標(biāo)系模型。

圖6 機(jī)器人坐標(biāo)系模型

圖6中，Ob-XbYbZb為機(jī)器人本體上的基坐標(biāo)系，Ot-XtYtZt為末端執(zhí)行器上的工具坐標(biāo)系。Ma為工具坐標(biāo)系到基坐標(biāo)系的轉(zhuǎn)換矩陣；Mc為相機(jī)坐標(biāo)系到工具坐標(biāo)系的轉(zhuǎn)換矩陣，Mc的表達(dá)式為：

式(26)中，Rc為旋轉(zhuǎn)矩陣，tc為平移矩陣。

利用式(26)，得點(diǎn)P在基坐標(biāo)系下的坐標(biāo)(xb,yb,zb)為：

式(27)中，Ma為工具坐標(biāo)系到基坐標(biāo)系的轉(zhuǎn)換矩陣。

5 鉚接間隙檢測

5.1 鉚接間隙特征提取

1）中心線提取

鉚釘光條圖像經(jīng)過二值化處理后所，光條寬度并未達(dá)到亞像素精度級別，為了便于鉚接間隙特征點(diǎn)的檢測，需提取光條中心。由于圖像中光條區(qū)域占比不大，且呈直線特征。Zhang-suen骨架抽取法具有計(jì)算量小，精度高的優(yōu)點(diǎn)，故采用Zhang-suen骨架抽取法[18]提取中心線邊緣特征，再采用幾何中心法確定光條中心。Zhang-suen算法根據(jù)圖像的8鄰域連通特性刪除邊界點(diǎn)，設(shè)圖像中某一點(diǎn)的像素點(diǎn)為p，則p的8鄰域示意圖如圖7所示。

圖7 p的8鄰域圖

圖像像素點(diǎn)的灰度值只有0和255兩種取值，定義N(p)表示p點(diǎn)的8鄰域中灰度值不為0的點(diǎn)的個(gè)數(shù)，S(p)表示將p點(diǎn)的8鄰域以p1，p2，p3Kp8的順序排列，相鄰兩個(gè)像素灰度值出現(xiàn)0到255的次數(shù)。中心線提取步驟如下：

（1）對圖像進(jìn)行遍歷，當(dāng)像素點(diǎn)p灰度值不為0時(shí)，計(jì)算N(p)、S(p)，并將這些像素點(diǎn)記錄標(biāo)記點(diǎn)群。

（2）刪除符合下列條件的像素點(diǎn)。

（3）對刪除部分像素點(diǎn)后的標(biāo)記點(diǎn)群重新計(jì)算N(p)、S(p)。

（4）重復(fù)步驟（1）至（3），直到不再出現(xiàn)符合刪除條件的像素點(diǎn)。

（5）按列遍歷標(biāo)記點(diǎn)群，將每列的幾何中心作為中心點(diǎn)。

2）特征點(diǎn)檢測

鉚接間隙特征點(diǎn)是角點(diǎn)的一種，Harris角點(diǎn)方法能提取特征點(diǎn)[19]，為此引入Harris角點(diǎn)方法提取鉚接間隙特征點(diǎn)，具體步驟如下：

（1）分別計(jì)算圖像f(x,y)在x，y兩個(gè)方向的梯度fx，fy。

（2）計(jì)算x，y方向上的梯度乘積。

（3）采用大小為n×n的濾波模板對圖像進(jìn)行遍歷，并將梯度乘積與圖像函數(shù)之積進(jìn)行高斯加權(quán)求和，得到Mg，g為高斯濾波函數(shù)。

（4）計(jì)算每個(gè)像素點(diǎn)的Harris響應(yīng)值R，R值為大數(shù)值時(shí)該像素點(diǎn)是角點(diǎn)。其中λ1,λ2為矩陣Mg的特征值，且λ1＞λ2，k為響應(yīng)系數(shù)，k值越大，角點(diǎn)數(shù)量越少。

過濾出大于某臨界值Rt的R值，這些像素點(diǎn)即為角點(diǎn)。

5.2 鉚接間隙求解

鉚接間隙求解如圖8所示，Pl(xl,yl,zl)，Pr(xr,yr,zr)分別為鉚釘頭左右兩側(cè)的特征點(diǎn)，Lm為光條擬合直線，Pfl(xfl,yfl,zfl)，Pfr(xfr,yfr,zfr)分別為Pl，Pr到光條直線Lm的垂足點(diǎn)。由圖可知左側(cè)間隙值ΔGL為Pl，Pfl兩點(diǎn)間的距離，右側(cè)間隙值ΔGL為Pr，Pfr兩點(diǎn)間的距離。

圖8 鉚接間隙求解模型

鉚接間隙求解步驟如下：

1）使用圖像處理技術(shù)獲取鉚接間隙特征點(diǎn)，包括鉚釘頭特征點(diǎn)Pl，Pr與蒙皮表面特征點(diǎn)群Ps，并結(jié)合求解的標(biāo)定參數(shù)還原特征點(diǎn)在機(jī)器人基坐標(biāo)系下的三維坐標(biāo)。

2）設(shè)置一個(gè)距離度量Δd區(qū)分出Pl，Pr與Ps，其中點(diǎn)群Ps坐標(biāo)為(xsi,ysi,zsi)。

3）對點(diǎn)群Ps進(jìn)行空間直線擬合，擬合后的直線為Lm，設(shè)Lm直線方程為：

將式(33)轉(zhuǎn)換為矩陣形式：

設(shè)點(diǎn)群Ps共有n組點(diǎn)，采用最小二乘法空間直線擬合求解Lm直線參數(shù)：

計(jì)算鉚釘頭特征點(diǎn)Pl，Pr到直線Lm的垂足Pfl，Pfr的坐標(biāo)。PlPfl，PrPfr與直線Lm的方向向量之積為0，結(jié)合式(33)即可求得Pfl，Pfr的坐標(biāo)：

左右兩側(cè)間隙值求解：

5.3 自動檢測軟件開發(fā)

以VS2010為開發(fā)平臺，基于C++語言，結(jié)合Opencv與Basler API函數(shù)，開發(fā)圖9所示的鉚接間隙自動檢測軟件。

圖9 鉚接間隙自動檢測軟件模塊設(shè)計(jì)

軟件的部分界面如圖10～圖13所示。

圖10 數(shù)據(jù)管理界面

圖11 系統(tǒng)標(biāo)定界面

圖12 鉚接間隙求解界面

圖13 圖像處理界面

6 實(shí)驗(yàn)

6.1 蒙皮鉚接間隙自動檢測系統(tǒng)搭建

基于以上的理論研究，構(gòu)建圖14所示的蒙皮鉚接間隙自動檢測系統(tǒng)。

圖14 蒙皮鉚接間隙自動檢測平臺

6.2 鉚接間隙自動檢測實(shí)驗(yàn)

鉚接間隙自動檢測系統(tǒng)選用圖15的鋁合金板鉚接件進(jìn)行實(shí)驗(yàn)，該鋁合金板長53cm，寬30cm，鉚釘排列數(shù)目為8×5。

圖15 鋁合金樣板圖

實(shí)驗(yàn)中選取左側(cè)3列的15個(gè)鉚接間隙值與參考理論值進(jìn)行作差比較，其中參考理論值通過萊卡T-scan掃描獲得。左側(cè)間隙測量數(shù)據(jù)如表1所示，右側(cè)間隙測量數(shù)據(jù)如表2所示。

表1 左側(cè)間隙測量數(shù)據(jù)（mm）

表2 右側(cè)間隙測量數(shù)據(jù)（mm）

由表1和表2可看出，左、右側(cè)鉚接間隙檢測誤差的最大為0.006mm。經(jīng)過計(jì)算可得，左側(cè)鉚接間隙的均方差為2.24×10-3mm；右側(cè)鉚接間隙的均方差為4.74×10-3mm。因此，構(gòu)建的鉚接間隙自動檢測系統(tǒng)具有較高的準(zhǔn)確度和工程應(yīng)用可行性，能滿足實(shí)際工程需要。且和T-scan方法相比，更經(jīng)濟(jì)，能自動檢測。

7 結(jié)語

1）建立了基于線結(jié)構(gòu)光的鉚接間隙測量模型，引入Harris角點(diǎn)檢測方法實(shí)現(xiàn)了鉚接間隙求解，提出了線結(jié)構(gòu)光鉚接間隙自動檢測方法。該方法可提高鉚接間隙的檢測效率，實(shí)現(xiàn)了飛機(jī)蒙皮鉚接間隙的數(shù)字化和自動化檢測，也能保證檢測數(shù)據(jù)的可靠性和穩(wěn)定性。

2）構(gòu)建了鉚接間隙自動檢測實(shí)驗(yàn)平臺，實(shí)驗(yàn)結(jié)果表明該方法具有較高的準(zhǔn)確度和工程應(yīng)用可行性，能滿足實(shí)際工程需要。