魯墨武，張誠然，姜春英，葉長龍

（沈陽航空航天大學(xué)，沈陽 110000）

0 引言

自動鉆鉚技術(shù)提高了航空鉚接裝配的加工質(zhì)量和產(chǎn)品一致性，并改善了工人工作環(huán)境。其中鉚接孔定位誤差對鉆鉚質(zhì)量具有較大影響，位誤差來源主要分為兩方面，其一為壁板本身和定位工裝自身存在制造、變型引起的整體偏差；其二壁板尺寸大、剛度小，變形量較大，導(dǎo)致實際施鉚點與理論施鉚點位置偏移[1]。為降低此類誤差影響，可以從建模角度對裝配偏差預(yù)測，如采用剛?cè)峄旌辖７椒╗2]。但由于施鉚過程連續(xù)受外力影響，壁板裝配變型規(guī)律復(fù)雜，傳統(tǒng)裝配定位難以滿足需求。另一方面，工件的在線檢測成為修正誤差的主要方式，如采用激光跟蹤儀[3]、三維激光掃描儀[4,5]、激光位移傳感器[6]等定位和檢測方法。其中機(jī)器視覺檢測靈活高效，適合大量特征的快速在線測量，如：視覺引導(dǎo)機(jī)器人多種工件柔性拾取與放置[7]，機(jī)器視覺微小孔軸零件的精密裝配[8]，零件二維尺寸在線檢測[9]等。本文采用雙目視覺檢測方法對航空壁板上的鉚接孔位進(jìn)行在線檢測。

1 目標(biāo)特征提取

目標(biāo)特征提取中，圖像分割方法如最大類間方差閾值分割方法[10]、模糊遺傳分割算法[11]等，均要求良好打光環(huán)境；改進(jìn)主動輪廓分割模型方法準(zhǔn)確性高[12]，但計算效率較低。而對于飛機(jī)壁板鉚接孔的特征提取主要面臨以下兩個問題：1）飛機(jī)壁板多為曲面，且尺寸較大，現(xiàn)場環(huán)境打光一致性較差，單一的閾值處理難以得到完整的感興趣區(qū)；2）外界干擾及噪聲影響，孔邊緣輪廓的準(zhǔn)確獲取較為困難，單純提高圖像質(zhì)量的方法成本較高。

1.1 改進(jìn)區(qū)域生長法

區(qū)域生長法內(nèi)容包括三部分，種子像素的選取，迭代生長的條件，生長終止條件。算法的研究主要集中在種子的選取和種子生長策略問題上[13,14]。其中，初始種子點、判別條件和終止條件定義如下：

初始種子點：待檢測區(qū)域的邊界；

判別條件：1）鄰域點灰度值與當(dāng)前種子灰度值相差的絕對值不大于閾值；2）此點不曾是種子；

終止條件：棧中無種子。

由于上述判別條件閾值難以控制，存在種子未到達(dá)邊界就停止生長或者越過邊界覆蓋目標(biāo)情況，為了改善這一現(xiàn)象，本文采用方法是加入比較局部均方差的判別條件。如圖1所示窗口在前景和背景區(qū)域移動時，其內(nèi)像素灰度值的均方差產(chǎn)生變化，變化規(guī)律如圖2所示，窗口的中心位于前景與背景的邊界上時均方差最大。

圖1 窗口中心位于邊緣上

圖2 均方差值與窗口位置關(guān)系

對于直線或近似直線邊緣，通過均方差判別結(jié)果較好。實驗表明，窗口尺寸在3×3像素到9×9像素時具有較好效果，并且隨著窗口尺寸的增大，結(jié)果并無明顯改善。由于噪聲的影響，依靠局部均方差判別邊界時若窗口未接觸目標(biāo)區(qū)域邊界，生長易陷入局部極值而停止。為改善這一現(xiàn)象，判別條件設(shè)定如下：

1）鄰域點灰度值等于當(dāng)前種子灰度值，鄰域點局部均方差大于或等于當(dāng)前種子局部均方差；

2）此點不曾是種子。

實驗使用大小為7×7矩形窗口，被檢測圖像尺寸為46×57像素，如圖3所示，圖中外圈為傳統(tǒng)區(qū)域生長結(jié)果，取判別條件的閾值為2；內(nèi)圈為改進(jìn)判別條件的生長結(jié)果，明顯后者更接近圓孔在圖像上的實際邊緣。

圖3 窗口在圖像區(qū)域不同位置

比較本方法與OSTU閾值分割、Canny邊緣檢測結(jié)果如表1所示，檢測目標(biāo)為如圖4所示鉚接壁板。壁板尺寸為300mm×600mm，壁板上鉚接孔直徑為4mm，圖像尺寸為1470×1198像素。結(jié)果如表1所示，其中Canny和本文算法均不存在漏檢，但Canny邊緣檢測存在如圖5所示殘缺邊緣現(xiàn)象。

表1 Q邊緣檢測結(jié)果

圖4 鉚接壁板樣件

圖5 部分Canny邊緣檢測結(jié)果

綜上所述，區(qū)域生長法的優(yōu)勢在于對曲面打光不均勻敏感度低；檢測結(jié)果均為閉合輪廓，更接近實際情況；同時結(jié)合局部均方差的判別條件，改進(jìn)區(qū)域生長法的結(jié)果較傳統(tǒng)方法更接近實際邊緣。

1.2 特征參數(shù)擬合

由于壁板的曲面平滑，鉚接孔相對壁板較小，將鉚接孔和其周圍區(qū)域視為平面，另一方面由于大部分圓孔為傾斜拍攝，且目標(biāo)深度遠(yuǎn)小于物距，其幾何輪廓可以被視為橢圓[15]。橢圓參數(shù)方程通過最小二乘法擬合獲得，參數(shù)包括橢圓的中心坐標(biāo)C(X,Y)，橢圓長軸a，橢圓短軸b和橢圓長軸與水平軸夾角θ，如式(1)所示。

2 鉚接孔位置和姿態(tài)計算

2.1 鉚接孔位置計算

鉚接孔位置通過視差法計算，特征提取方法在上一章完成，標(biāo)定方法使用張正友標(biāo)定法[16]。標(biāo)定結(jié)果包含三部分，相機(jī)內(nèi)參、畸變系數(shù)和相機(jī)外參。其中相機(jī)內(nèi)參表示了圖像坐標(biāo)系與世界坐標(biāo)系的變換關(guān)系，畸變系數(shù)用于修正透鏡產(chǎn)生的圖像扭曲變形，相機(jī)外參描述了左目和右目相機(jī)之間的位置關(guān)系，圖像矯正過程如圖6所示。

圖6 圖像矯正過程

依據(jù)矯正結(jié)果，給出反投矩陣Q定義如式(2)所示，其中(cx,cy)表示左目相機(jī)圖像經(jīng)過矯正后，其主光軸的在圖像坐標(biāo)系上的位置；(cx',cy')表示右目相機(jī)圖像經(jīng)過矯正后，其主光軸的在圖像坐標(biāo)系上的位置；f為矯正后左目相機(jī)焦距；Tx為左目相機(jī)到右目相機(jī)坐標(biāo)系的水平平移分量。由于圖像經(jīng)過矯正，則cx-cx'=0。

式(3)利用Q矩陣通過視差法計算目標(biāo)點世界坐標(biāo)系位置，對于世界坐標(biāo)系上某點在左目圖像位置(x,y)和對應(yīng)右目圖像位置(x',y')，有d=x-x'，代入式(3)則當(dāng)前點對應(yīng)左目相機(jī)坐標(biāo)系位置為(X/W,Y/M,Z/M)。

2.2 鉚接孔姿態(tài)計算

鉚接孔姿態(tài)計算方法借助圓孔在像平面投影求得，對于左目圖像，任意鉚接孔所在平面與像平面的姿態(tài)變換過程可表示為如圖7所示，其中沿水平方向旋轉(zhuǎn)角度為α，沿豎直方向旋轉(zhuǎn)角度為β，旋轉(zhuǎn)方向符合右手定則。α與β的大小可以由圖像上的橢圓參數(shù)計算得到，如圖8所示，其中α為橢圓半長軸長度，θ為橢圓轉(zhuǎn)角，h為橢圓最高點，w為橢圓在X軸正方向的交點，橢圓參數(shù)方程可由上一章得到。則α與β滿足式(4)和式

圖7 鉚接孔所在平面與像平面的姿態(tài)變換過程

圖8 橢圓的幾何參數(shù)

(5)結(jié)果。

對于左目相機(jī)坐標(biāo)系，圓孔所在平面的法方向由α角與β角表示，如式(5)所示。

從單一圖像計算α與β角總存在兩個解。解決方法是通過視差法求出圖8中表示的橢圓的最高點A和橢圓與X軸的左側(cè)交點B在世界坐標(biāo)系上的位置，比較A點、B點和橢圓中心點的位置關(guān)系確定α與β的正負(fù)關(guān)系。

3 實驗與結(jié)論

實驗相機(jī)采用500萬像素CMOS相機(jī)，鏡頭為25毫米定焦鏡頭，左右目相機(jī)姿態(tài)如圖9所示。所用標(biāo)定板為10×10棋盤標(biāo)定板，棋盤格尺寸為邊長25毫米正方形，精度為20微米。測試樣板開有不同直徑圓孔，如圖10所示。

圖9 雙目相機(jī)姿態(tài)

圖10 測試樣本圖

表2為雙目標(biāo)定求得的Q矩陣參數(shù)。以每組圓孔的第一個孔為基準(zhǔn)，圖11為6毫米圓孔相對于基準(zhǔn)定位誤差在坐標(biāo)軸分量的統(tǒng)計結(jié)果。圖12為6毫米圓孔在不同姿態(tài)下檢測的方向值，共檢測4組姿態(tài)，以第一組為0度姿態(tài)，而后分別翻轉(zhuǎn)10度、20度、30度得到與0度姿態(tài)方向的變化量。圖13為圓孔尺寸和位置誤差的關(guān)系曲線，圖14為圓孔尺寸和角度誤差的關(guān)系曲線。

表2 Q矩陣計算結(jié)果

圖11 圓孔位置誤差分量統(tǒng)計

圖12 圓孔的孔方向統(tǒng)計

圖13 位置誤差與圓孔直徑關(guān)系

圖14 角度誤差與圓孔尺寸關(guān)系

已知某機(jī)型機(jī)身壁板鉚接工藝要求如表3和圖15所示，表3規(guī)定了鉚接孔軸配合關(guān)系，圖15規(guī)定了鉚釘鐓頭與鉚接件表面平行度要求。結(jié)合上述結(jié)論，對于直徑8mm以上鉚接孔，上述條件下檢測精度滿足機(jī)身壁板鉚接孔定位需求，通過相機(jī)標(biāo)定參數(shù)得知當(dāng)前視覺系統(tǒng)分辨力為0.1109mm/像素。

為滿足更小鉚接孔定位需求，在不改變視覺系統(tǒng)硬件條件的情況下，通過縮小視場提高分辨力。對直徑4mm圓孔進(jìn)行測試，結(jié)果如圖16和圖17所示。當(dāng)分辨力為0.0609mm/像素時，上述視覺系統(tǒng)結(jié)合定位方法能夠滿足4mm以上機(jī)身壁板鉚接孔的定位需求。對于更小鉚接孔，由于制孔誤差影響，鉚接孔圓度誤差較大，方法難以保證鉚接孔檢測精度，在此不做討論。

表3 鉚釘孔徑極限偏差

圖15 鉚釘鐓頭與鉚接件表面平行度要求

圖16 位置誤差與視覺系統(tǒng)分辨力關(guān)系

圖17 姿態(tài)誤差與視覺系統(tǒng)分辨力關(guān)系

【】【】

[1]齊振超,張開富,李原,等.大型壁板自動鉆鉚定位誤差分析與優(yōu)化[J].航空學(xué)報,2015,36(10):3439-3449.

[2]靳思源,沈利冰,金隼,等.飛機(jī)壁板件裝配偏差的剛?cè)峄旌辖７椒ㄅc應(yīng)用[J].機(jī)械設(shè)計與研究,2013,29(3):58-61.

[3]Yu C, Jin Z, Ke Y, et al. A robot assisted assembly system for small components in aircraft assembly[J].Industrial Robot,2014,41(5):413-420.

[4]Lee K H, Park H, Son S.A Framework for Laser Scan Planning of Freeform Surfaces[J].The International Journal of Advanced Manufacturing Technology,2001,17(3):171-180.

[5]Song T, Xi F, Guo S, et al. A Comparison Study of Algorithms for Surface Normal Determination Based on Point Cloud Data[J].Precision Engineering,2014,39:47-55.

[6]公茂震,袁培江,王田苗,等.航空制孔機(jī)器人末端垂直度智能調(diào)節(jié)方法[J].北京航空航天大學(xué)學(xué)報,2012,38(10):1400-1404.

[7]Nerakae P, Uangpairoj P,Chamniprasart K. Using Machine Vision for Flexible Automatic Assembly System[J].Procedia Computer Science,2016,96:428-435.

[8]Luo Y, Wei W, Wang X. Research for hole-peg assembly based on machine vision and flexible mechanism[A].International Conference on Mechanic Automation and Control Engineering.IEEE[C],2010:5326-5330.

[9]曾濤,石庚辰,張兵,等.基于工業(yè)相機(jī)的微零件二維尺寸在線檢測方法[J].探測與控制學(xué)報,2011,33(5):20-23.

[10]張宇,黃亞博,焦建彬.一種基于機(jī)器視覺的圓型零件檢測技術(shù)[J].計算機(jī)工程,2008,34(19):185-186.

[11]吳德剛,趙利平.基于機(jī)器視覺的圓孔尺寸測量系統(tǒng)研究[J].應(yīng)用光學(xué),2013,34(6):1014-1018.

[12]冷大煒.基于單目視覺的三維剛體目標(biāo)測量技術(shù)研究[D].清華大學(xué),2011.

[13]Li G, Wan Y. Adaptive Seeded Region Growing for Image Segmentation Based on Edge Detection, Texture Extraction and Cloud Model[A].International Conference[C].DBLP,2010:285-292.

[14]魏津瑜,施鶴南,蘇思沁.基于改進(jìn)算法的自動種子區(qū)域生長圖像分割[J].中南大學(xué)學(xué)報(自然科學(xué)版),2013(52):308-312.

[15]Alvarez L, Salgado A, Sánchez J. Robust detection and ordering of ellipses on a calibration pattern[J].Pattern Recognition and Image Analysis,2007,17(4):508-522.

[16]Zhang Z. A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2000,22(11):1330-1334.