胡江濤, 張俊濤, 湯　偉

(陜西科技大學(xué) 電氣與信息工程學(xué)院，陜西 西安　710021)

?

基于畸變補(bǔ)償?shù)娘w機(jī)鉚釘尺寸測量方法研究

胡江濤, 張俊濤, 湯偉

(陜西科技大學(xué) 電氣與信息工程學(xué)院，陜西 西安710021)

摘要：針對目前飛機(jī)鉚釘尺寸測量效率和測量精度低，不能滿足現(xiàn)代工業(yè)快速、精密測量要求的問題，本文提出了一種基于機(jī)器視覺的飛機(jī)鉚釘尺寸測量方法.該方法以面陣工業(yè)CCD相機(jī)作為光學(xué)傳感器，配置合適的照明條件，利用畸變補(bǔ)償技術(shù)克服面陣相機(jī)的非線性失真，并通過Radon變換方法實(shí)現(xiàn)了飛機(jī)鉚釘尺寸的精確測量.實(shí)驗結(jié)果表明：該方法能夠?qū)崿F(xiàn)飛機(jī)鉚釘?shù)脑诰€快速、高精度測量.

關(guān)鍵詞：飛機(jī)鉚釘；畸變補(bǔ)償；Radon變換；尺寸測量

0引言

飛機(jī)制造是一個復(fù)雜的系統(tǒng)工程，需要對各個

部位進(jìn)行裝配.飛機(jī)鉚釘具有不易脫落、且拆裝方便的特點(diǎn),從而便于對飛機(jī)進(jìn)行經(jīng)常性的檢測維護(hù)，故已被廣泛應(yīng)用于飛機(jī)結(jié)構(gòu)裝配連接中.飛機(jī)在每次飛行過程中，都要經(jīng)歷地-空-地循環(huán)載荷作用，因此其結(jié)構(gòu)連接部位會產(chǎn)生嚴(yán)重的應(yīng)力集中.為了保證飛機(jī)的安全飛行，其中飛機(jī)鉚釘?shù)馁|(zhì)量顯得極其關(guān)鍵[1,2].

作為飛機(jī)的重要零件，飛機(jī)鉚釘?shù)某叽鐪y量至關(guān)重要.在對圖1所示的飛機(jī)鉚釘進(jìn)行測量時，其具體內(nèi)容包括：

(1)擬篩選鉚釘?shù)膬?nèi)徑范圍在φ3～5 mm ；長度為5～40 mm；

(2)擬篩選鉚釘?shù)耐鈭A直徑范圍在φ8～9 mm;

(3)對鉚釘頭部埋頭面夾角進(jìn)行測量，測量范圍為100±1 °；

(4)篩選單批批量一般在1～5萬件，年篩選總量≥300萬件.

在當(dāng)前鉚釘加工企業(yè)的加工現(xiàn)場，飛機(jī)鉚釘?shù)某叽鐓?shù)測量主要依靠人工完成，即使用一些簡易的測量工具進(jìn)行手工測量.這種測量方法的檢測效率和檢測精度較低，產(chǎn)品質(zhì)量難以得到保證，故不能滿足現(xiàn)代工業(yè)快速、精密測量的要求.因此，研究出低成本、高精度、高效率的飛機(jī)鉚釘測量系統(tǒng)便顯得尤為重要.

目前，CCD(電荷耦合器件)技術(shù)已經(jīng)得到快速發(fā)展.因其具有靈敏度、精度、集成度高和光譜響應(yīng)寬的特點(diǎn)，已被廣泛應(yīng)用于各種機(jī)械零件的在線、非接觸檢測領(lǐng)域[3,4]，但該方法運(yùn)用在飛機(jī)鉚釘尺寸檢測領(lǐng)域卻尚無報道.

本文根據(jù)飛機(jī)鉚釘?shù)奶攸c(diǎn)對基于機(jī)器視覺的飛機(jī)鉚釘尺寸測量方法進(jìn)行了研究.設(shè)計出恰當(dāng)?shù)墓庠凑彰鳁l件[5,6]，并結(jié)合畸變補(bǔ)償技術(shù)對CCD相機(jī)獲得的鉚釘原始圖像進(jìn)行了校正，還使用了Radon變換和最小二乘法計算出了飛機(jī)鉚釘?shù)某叽鐓?shù)，從而實(shí)現(xiàn)了飛機(jī)鉚釘在線的快速、高精度測量.

1鉚釘測量和分選過程流程

本文提出的飛機(jī)鉚釘尺寸測量方法的工作原理如圖2所示.整個系統(tǒng)包括運(yùn)動控制部分、光源系統(tǒng)、圖像采集和處理部分.其中，運(yùn)動控制部分由PLC、自動送料振動盤、傳送帶、旋轉(zhuǎn)平臺和分揀裝置組成；而由計算機(jī)和工業(yè)相機(jī)群組成的圖像采集和處理部分則是系統(tǒng)的核心，其圖像處理算法則是本文方法的技術(shù)關(guān)鍵.

圖2　飛機(jī)鉚釘在線測量系統(tǒng)框圖

系統(tǒng)的工作過程是：自動送料振動盤通過振動使無序的待測飛機(jī)鉚釘頭部向下，自動有序定向排列，勻速運(yùn)動的傳送帶將待測鉚釘依次送達(dá)至旋轉(zhuǎn)的圓盤上；在圖3所示的光源照明條件下，當(dāng)定位檢測器探測到待測物體已經(jīng)運(yùn)動至接近攝像頭的拍攝中心時，向CCD相機(jī)發(fā)出啟動脈沖信號，不同位置的CCD相機(jī)分別對鉚釘?shù)穆耦^面和正面進(jìn)行拍攝，從而保證圖像的快速獲??；計算機(jī)使用合適的圖像處理算法對原始圖像進(jìn)行處理、分析、識別，并根據(jù)測量結(jié)果輸出邏輯控制值執(zhí)行氣動噴嘴的動作，將待測飛機(jī)鉚釘進(jìn)行分類收集.

圖3　飛機(jī)鉚釘?shù)呐臄z和照明條件示意圖

2基于畸變補(bǔ)償?shù)娘w機(jī)鉚釘尺寸測量算法

本文提出了一種基于畸變補(bǔ)償?shù)娘w機(jī)鉚釘尺寸測量方法，其流程如圖4所示.該方法由圖像預(yù)處理算法、輪廓提取算法、畸變補(bǔ)償算法、尺寸計算算法和統(tǒng)計分析算法等組成.其中，畸變補(bǔ)償算法和尺寸計算算法(尺寸測量和夾角測量)是鉚釘測量的關(guān)鍵.

圖4　飛機(jī)鉚釘尺寸測量算法流程圖

2.1飛機(jī)鉚釘?shù)某叽鐪y量和夾角測量

在圖3中，面陣相機(jī)b拍攝到了飛機(jī)鉚釘?shù)恼鎴D像，根據(jù)該圖像可以測量飛機(jī)鉚釘?shù)你T釘埋頭面夾角、鉚釘內(nèi)徑、鉚釘長度、埋頭面厚度等物理量.其中，埋頭面的夾角能夠通過擬合埋頭面的兩條直線方程進(jìn)而計算直線夾角得到；鉚釘?shù)拈L度、內(nèi)徑以及埋頭面厚度能夠通過其對應(yīng)平行線間的距離獲得.從而可將飛機(jī)鉚釘尺寸參數(shù)的測量轉(zhuǎn)變?yōu)閷δ繕?biāo)直線的檢測[7].

Radon變換在提取直線特征方面具有很強(qiáng)的抗噪能力和魯棒性，常常被用來檢測船舶的V形航跡以及道路、橋梁、機(jī)場跑道的識別[8,9].飛機(jī)鉚釘?shù)拇郎y目標(biāo)具有“直線型”特征，因此，本文通過Radon變換的方法實(shí)現(xiàn)了對飛機(jī)鉚釘邊緣圖像中直線的檢測.Radon變換定義如下：

(1)

式(1)中：D—整個圖像xy平面；f(x,y)—在圖像點(diǎn)(x,y)的灰度；ρ—直線到坐標(biāo)原點(diǎn)的距離；θ—直線與x軸正方向的夾角；δ—DiracDelta函數(shù).

Radon變換是圖像空間在ρ-θ空間的投影[10].因此，本文中鉚釘特征圖像的每一條直線(或較長的線段)都在ρ-θ空間形成一個亮點(diǎn)，亮點(diǎn)的參數(shù)即為對應(yīng)直線的參數(shù).這樣一來，直線的檢測便轉(zhuǎn)化為在ρ-θ空間中亮點(diǎn)的檢測，即將三維空間的直線距離轉(zhuǎn)化為Radon空間的兩點(diǎn)距離.

在圖3中，面陣相機(jī)a拍攝到了飛機(jī)鉚釘?shù)穆耦^面圖像，可根據(jù)該圖像測量飛機(jī)鉚釘?shù)耐鈭A直徑.本文通過擬合埋頭面圖像的最小外接矩形，并根據(jù)計算最小外接矩形參數(shù)的方法來實(shí)現(xiàn)對飛機(jī)鉚釘外圓直徑的間接測量.

在獲取鉚釘圖像的過程中，由于CCD相機(jī)光學(xué)系統(tǒng)不可避免地存在多種類型的幾何畸變，使得鉚釘圖像與真實(shí)圖像相比存在失真.該問題是基于機(jī)器視覺的尺寸檢測的一個難點(diǎn)問題[11,12]，故為了獲得高精度的尺寸參數(shù)，需要對飛機(jī)鉚釘原始圖像進(jìn)行畸變校正.

2.2畸變補(bǔ)償算法

在鉚釘圖像上定義直角坐標(biāo)系u-v，像素點(diǎn)坐標(biāo)(u,v)代表該像素點(diǎn)在數(shù)組中的行數(shù)和列數(shù)，并未用物理單位表示該像素的位置，因此，需要再建立一個以物理單位表示圖像的坐標(biāo)系.一般使用(u,v)表示以像素為單位的圖像坐標(biāo)系的坐標(biāo)，使用(x,y)表示以毫米為單位的圖像坐標(biāo)系的坐標(biāo).在成像過程中，像素點(diǎn)存在偏差，每一個像素在x軸和y軸方向上的物理尺寸為dx,dy，則鉚釘圖像中任一像素點(diǎn)在兩個坐標(biāo)系中存在如下關(guān)系：

(2)

式(2)中:(u0,v0)為物理坐標(biāo)系(x,y)原點(diǎn)在圖像坐標(biāo)系(u,v)中的坐標(biāo).

可描述為：

(3)

其逆變換為：

(4)

由于攝像機(jī)制造及工藝等原因，光學(xué)系統(tǒng)存在著非線性幾何失真，使得目標(biāo)像點(diǎn)與理論像點(diǎn)相比存在多種類型的幾何畸變，可概括為徑向畸變和切向畸變[13].對于大多數(shù)機(jī)器視覺應(yīng)用，切向畸變可以忽略[14]，徑向畸變只考慮低次項的畸變系數(shù)k1,k2，則攝像機(jī)的畸變模型為

(5)

即:

(6)

式(6)中:k1、k2為畸變系數(shù)，r2=x2+y2.

求解式(6)，能夠通過畸變后的投影坐標(biāo)(xc,yc)計算畸變前的投影坐標(biāo)(x,y).本文通過牛頓迭代法[15]求此方程組，其基本思想如圖5所示.

其中:

令(xc,yc)為初始估計點(diǎn)p0(x0,y0)坐標(biāo)，當(dāng)s足夠小時，逼近結(jié)束，此時逼近結(jié)果(xn+1,yn+1)為畸變補(bǔ)償后投影坐標(biāo)值.

對飛機(jī)鉚釘圖像進(jìn)行畸變補(bǔ)償?shù)牟襟E為：

(2)根據(jù)公式(4)計算畸變圖像的物理坐標(biāo)(xc,yc) ；

(3)通過圖5所示的牛頓迭代法計算補(bǔ)償圖像的物理坐標(biāo)(x,y)；

(4)根據(jù)公式(3)計算補(bǔ)償圖像的像素坐標(biāo)(u,v).

通過上述方法，能夠獲得畸變圖像每個像素點(diǎn)所對應(yīng)的補(bǔ)償圖像像素點(diǎn)的位置，從而完成了對畸變圖像的補(bǔ)償，保證了對飛機(jī)鉚釘尺寸和夾角測量.

圖5　牛頓迭代法算法流程圖

2.3飛機(jī)鉚釘尺寸測量和夾角測量的步驟

飛機(jī)鉚釘尺寸測量的具體步驟如下：

(1)根據(jù)牛頓迭代法對飛機(jī)鉚釘原始圖像進(jìn)行畸變補(bǔ)償；

(2)根據(jù)不同的待測參數(shù)對補(bǔ)償圖像進(jìn)行特征提取；

(3)對特征圖像進(jìn)行邊緣檢測；

(4)對邊緣圖像進(jìn)行Radon變換，根據(jù)Radon變換結(jié)果確定飛機(jī)鉚釘?shù)某叽鐓?shù).

飛機(jī)鉚釘埋頭面的夾角測量同樣需要提取正面圖像的特征區(qū)域，即埋頭面處的兩條直線，并對所提取的兩條直線通過Radon變換的方法進(jìn)行擬合，求解直線方程的參數(shù).飛機(jī)鉚釘埋頭面夾角檢測的具體步驟如下：

(1)根據(jù)牛頓迭代法對飛機(jī)鉚釘原始圖像進(jìn)行畸變補(bǔ)償；

(2)提取飛機(jī)鉚釘?shù)穆耦^面特征圖像，并對其進(jìn)行邊緣檢測；

(3)使用公式(1)的Radon變換對特征直線進(jìn)行檢測，確定存在直線的大致區(qū)域；

(4)利用最小二乘法確定直線區(qū)域內(nèi)特征點(diǎn)回歸直線的精確參數(shù)；

(5)根據(jù)兩直線方程的參數(shù)確定埋頭面夾角.

3系統(tǒng)檢測效果及分析

3.1飛機(jī)鉚釘內(nèi)徑的測量

飛機(jī)鉚釘內(nèi)徑的測量如圖6所示.圖6(a)為飛機(jī)鉚釘正面的原始圖像，畸變矯正后的正面圖像如圖6(b)所示.對內(nèi)徑區(qū)域進(jìn)行特征提取，其邊緣檢測圖像如圖6(c)所示，圖6(d)為內(nèi)徑部分的Radon變換圖.特征圖像中的兩條直線對應(yīng)Radon變換域空間兩個最大局部亮點(diǎn)，Radon變換域中兩個亮點(diǎn)所對應(yīng)的參數(shù)ρ之差即為內(nèi)徑部分兩條直線的距離.對相機(jī)進(jìn)行標(biāo)定，由標(biāo)定結(jié)果計算出鉚釘?shù)膬?nèi)徑為4.009 mm，測量時間為0.661 s.而鉚釘內(nèi)徑的真實(shí)值為4.030 mm，測量的相對誤差為0.52%.

(a)鉚釘正面原始圖像　(b)畸變補(bǔ)償后正面圖像

(c)內(nèi)徑特征邊緣圖　(d) 內(nèi)徑特征Radon變換圖圖6　飛機(jī)鉚釘內(nèi)徑的測量圖

3.2飛機(jī)鉚釘長度的測量

飛機(jī)鉚釘長度的測量如圖7所示.對圖6(b)的飛機(jī)鉚釘畸變校正圖進(jìn)行特征提取，特征區(qū)域的邊緣圖像如圖7(a)所示，圖7(b)為飛機(jī)鉚釘長度特征的Radon變換圖.圖7(b)的Radon變換域中兩亮點(diǎn)之間的距離即為飛機(jī)鉚釘?shù)奈锢黹L度，經(jīng)標(biāo)定后計算出飛機(jī)鉚釘?shù)拈L度為9.913 mm，測量時間為0.548 s.而鉚釘?shù)恼鎸?shí)長度為9.920 mm，測量的相對誤差為0.07%.

(a)鉚釘長度特征邊緣圖

(b)長度特征Radon變換圖圖7　飛機(jī)鉚釘長度的測量圖

3.3飛機(jī)鉚釘埋頭面夾角的測量

飛機(jī)鉚釘埋頭面夾角的測量如圖8所示.其中，鉚釘埋頭面夾角如圖8(a)所示，圖8(b)為埋頭面特征邊緣圖像的Radon變換結(jié)果圖.根據(jù)Radon變換圖中的亮點(diǎn)坐標(biāo)參數(shù)，使用最小二乘法確定的兩條直線的θ值分別為40.10 °和139.15 °，即待測飛機(jī)鉚釘?shù)穆耦^面夾角為99.05 °，測量時間為0.475 s.而鉚釘埋頭面夾角的真實(shí)值為99.70 °，相對誤差為0.65%.

(a)鉚釘正面圖像　(b) 鉚釘埋頭面夾角Radon變換圖圖8　飛機(jī)鉚釘埋頭面夾角的測量圖

3.4飛機(jī)鉚釘外圓直徑的測量

飛機(jī)鉚釘外圓直徑的測量如圖9所示.其中，圖9(a)為飛機(jī)鉚釘埋頭面原始圖像，圖9(b)為飛機(jī)鉚釘埋頭面的最小外接矩形.對所擬合的最小外接矩形參數(shù)進(jìn)行求解，經(jīng)過標(biāo)定后得到飛機(jī)鉚釘?shù)木匦螀?shù)，即飛機(jī)鉚釘?shù)耐鈭A直徑為8.525 mm，測量時間為0.694 s.而鉚釘外圓的真實(shí)直徑為8.560 mm，相對誤差為0.41%.

(a)鉚釘埋頭面圖像　(b)鉚釘外圓最小外接矩形圖圖9　飛機(jī)鉚釘外圓直徑的測量圖

3.5測量誤差分析

本文對3組飛機(jī)鉚釘進(jìn)行了測量，其得到的結(jié)果如表1所示.

表1　飛機(jī)鉚釘尺寸參數(shù)的測量結(jié)果

經(jīng)過實(shí)驗驗證，本文所提出的飛機(jī)鉚釘在線測量方法具有測量時間短、測量精度高等優(yōu)點(diǎn)，能夠滿足對飛機(jī)鉚釘各種尺寸參數(shù)的快速、高精度測量要求,從而能夠較好地提高飛機(jī)鉚釘尺寸參數(shù)的測量精度和測量效率.

4總結(jié)

本文研制了一種基于畸變補(bǔ)償技術(shù)的飛機(jī)鉚釘在線測量方法.針對飛機(jī)鉚釘尺寸參數(shù)測量精度低的問題，由CCD相機(jī)組拍攝飛機(jī)鉚釘正面圖像和埋頭面圖像，再使用圖像畸變補(bǔ)償技術(shù)下的Radon變換實(shí)現(xiàn)了飛機(jī)鉚釘尺寸參數(shù)的高精度測量.

實(shí)驗證明，本文所提出的方法能夠?qū)崿F(xiàn)對飛機(jī)鉚釘快速、高精度測量，相比傳統(tǒng)的人工檢測，提高了測量效率和測量精度，并有效地克服了人工檢測的主觀性所帶來的誤差和低效.

參考文獻(xiàn)

[1] 田冬鳳.飛機(jī)機(jī)身鉚接構(gòu)件疲勞性能研究[D].南京:南京航空航天大學(xué),2013.

[2] 嚴(yán)素欣,黃其青,殷之平,等.基于損傷力學(xué)的飛機(jī)鉚接結(jié)構(gòu)疲勞損傷分析[J].航空計算技術(shù),2013,43(4):43-46.

[3] 陳聰,姚大志.高靈敏度CCD和圖像特征在車牌識別中的應(yīng)用[J].計算機(jī)仿真,2015,32(11):164-168.

[4] 劉瑛,張寶峰.面陣CCD在視覺測量中的應(yīng)用[J].天津理工大學(xué)學(xué)報,2005,21(6):52-54.

[5] Qiaofen Zhang,Jian Gao.Research progress of lighting technology in machine vision[J].China Illuminating Engineering Journal,2011,22(2):31-37.

[6] 浦昭邦,屈玉福,王亞福.視覺檢測系統(tǒng)中照明光源的研究[J].儀器儀表學(xué)報,2003,24(4):438-439.

[7] Lee J H,Kim Y S,Kim S R,et al.Real-time application of critical dimension measurement of TFT-LCD pattern using a newly proposed 2D image-processing algorithm[J]. Optics & Lasers in Engineering,2008,46(7):558-569.

[8] 王世慶,金亞秋.SAR圖像船行尾跡檢測的Radon變換和形態(tài)學(xué)圖像處理技術(shù)[J].遙感學(xué)報,2001,5(4):289-295.

[9] 桑農(nóng),魯鵬，張?zhí)煨?一種基于知識的雷達(dá)圖像機(jī)場目標(biāo)提取方法[J].紅外與激光工程,2003,32(6):594-597.

[10] Yunping Chen,Yang Li,Huixiong Zhang,et al.Automatic power line extraction from high resolution remote sensing imagery based on an improved Radon transform[J].Pattern Recognition,2015,49:174-186.

[11] 張敏,金龍旭,李國寧,等.基于直線特征的攝像機(jī)鏡頭畸變標(biāo)定方法[J].光學(xué)學(xué)報,2015,35(6):1-8.

[12] 余俊,林家明,楊建宇,等.基于新型靶的 CCD攝像系統(tǒng)畸變測量與校正[J].光學(xué)學(xué)報,2007,27(8):1 440-1 442.

[13] 韓九強(qiáng).機(jī)器視覺技術(shù)及應(yīng)用[M].北京:高等教育出版社,2009.

[14] Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].IEEE Journal of Robotics & Automation,1987,3(4):323-345.

[15] 楊彥景.攝像機(jī)標(biāo)定與畸變圖像矯正算法的設(shè)計與實(shí)現(xiàn)[D].沈陽:東北大學(xué),2008.

【責(zé)任編輯：晏如松】

Research on measurement method of aircraft rivet dimension based on distortion compensation

HU Jiang-tao, ZHANG Jun-tao, TANG Wei

(College of Electrical and Information Engineering, Shaanxi University of Science & Technology, Xi′an 710021, China)

Abstract:Aiming at the problem of low efficiency and accuracy of dimension measurement for aircraft rivet,which did not meet the requirements of modern industry quick and precise measurement,this paper put forward a kind of aircraft rivet dimension measurement way based on machine vision.This method takes the CCD-array as optical sensors,designs suitable lighting conditions,uses the distortion compensation technology and combines the Radon transform to realize accurate measurement for the aircraft rivet dimension.The experimental results show that the method can realize the aircraft rivet online fast,high precision measurement.

Key words:aircraft rivet；distortion compensation；Radon transform；dimension measurement

*收稿日期:2016-02-09

基金項目：陜西省科技廳科技計劃項目(2011K02-11)；陜西省教育廳專項科研計劃項目(2011JK1001)

作者簡介:胡江濤(1992-)，男，陜西渭南人，在讀碩士研究生，研究方向：數(shù)字圖像處理

文章編號：1000-5811(2016)04-0177-05

中圖分類號：TP391.41

文獻(xiàn)標(biāo)志碼：A