孫延鵬，王海燕，張 弛

(沈陽(yáng)航空航天大學(xué) 電子信息工程學(xué)院，沈陽(yáng) 110136)

機(jī)身蒙皮上的主要連接形式是鉚接，鉚接的加工質(zhì)量直接影響飛機(jī)整機(jī)結(jié)構(gòu)的性能[1]。隨著科技的快速發(fā)展，現(xiàn)代工業(yè)已經(jīng)迎來(lái)了機(jī)器視覺(jué)時(shí)代的曙光。因?yàn)樵讷@得復(fù)雜過(guò)程的物理模型方面存在極大的困難，在航空領(lǐng)域，自動(dòng)化和改進(jìn)現(xiàn)有制造工藝的壓力越來(lái)越大。不斷增加的飛機(jī)積壓，強(qiáng)勁的競(jìng)爭(zhēng)和新線路增強(qiáng)了自動(dòng)化的需求。設(shè)定變化也符合人體工程學(xué)問(wèn)題以及高生產(chǎn)率和高質(zhì)量的要求。自動(dòng)機(jī)器人系統(tǒng)在工業(yè)環(huán)境中的集成帶來(lái)了一些好處，包括提高員工安全性，提高生產(chǎn)率和提高產(chǎn)品質(zhì)量。自動(dòng)化系統(tǒng)通常用于完成對(duì)人類操作員來(lái)說(shuō)危險(xiǎn)，不適合或過(guò)于重復(fù)的功能，從而帶來(lái)更高的有效負(fù)載并加速傳統(tǒng)的行業(yè)流程優(yōu)化。在飛機(jī)工業(yè)中，最常見(jiàn)的部件連接工藝是焊接，蒙皮板組件是通過(guò)鉚接制成的。這種用于將兩個(gè)物品永久連接在一起的組裝過(guò)程包括通過(guò)兩個(gè)面板鉆一個(gè)光滑孔(或沖孔和鉸孔)以插入鉚釘。鉚釘是一種短圓柱形桿，具有頭部和錐形尾部。通過(guò)施加足夠的力，鉚釘尾部可以塑性變形成所需的形狀，以使接頭牢固且防漏。良好的鉚接對(duì)于保證物品的耐用性至關(guān)重要。由于飛機(jī)蒙皮大多為尺寸非常大的弧形曲面，在鉚接的過(guò)程中會(huì)出現(xiàn)一定程度的鉆鉚誤差，而怎樣快速準(zhǔn)確識(shí)別出鉚接的特征參數(shù)是否滿足標(biāo)準(zhǔn)值，已經(jīng)成為目前研究領(lǐng)域的熱點(diǎn)問(wèn)題。在鉚接質(zhì)量的實(shí)際檢測(cè)環(huán)境中，由于打光一致性差，傳統(tǒng)的迭代閾值法，最大熵閾值法以及最大類間方差閾值法很難將圖像的目標(biāo)和背景清晰分割出來(lái)[2]。盡管鉚接技術(shù)快速發(fā)展，但制造過(guò)程仍然需要大量的人工監(jiān)督和自動(dòng)控制。飛機(jī)結(jié)構(gòu)接頭的完整性在很大程度上依賴于受過(guò)訓(xùn)練的技術(shù)人員的經(jīng)驗(yàn)。在這里，基于機(jī)器視覺(jué)檢測(cè)系統(tǒng)是很重要的。檢測(cè)系統(tǒng)的核心在于對(duì)采集的圖像進(jìn)行處理，而圖像分割技術(shù)則是圖像處理的關(guān)鍵技術(shù)之一，也是圖像理解的前提[1]?；?Hough 變換的圓檢測(cè)是一種具有抗噪聲、干擾點(diǎn)及斷點(diǎn)性強(qiáng)，對(duì)局部缺損不敏感，適于并行處理等優(yōu)良特性的圖像處理方法，然而標(biāo)準(zhǔn) Hough 變換算法數(shù)據(jù)量大，占用大量的計(jì)算內(nèi)存，耗時(shí)長(zhǎng)，對(duì)邊緣要求也很嚴(yán)格，其參數(shù)空間投影會(huì)存在產(chǎn)生大量無(wú)效積累、數(shù)字量化誤差大等問(wèn)題[4]。本文結(jié)合改進(jìn)的Hough變換來(lái)實(shí)現(xiàn)對(duì)鉚釘形變端幾何量的精確檢測(cè)，目的是減少數(shù)據(jù)的計(jì)算量，縮短算法的運(yùn)算時(shí)間。并對(duì)最終獲得的數(shù)據(jù)進(jìn)行最小二乘擬合，提高檢測(cè)值的測(cè)量精度。

1 視覺(jué)檢測(cè)系統(tǒng)總體設(shè)計(jì)

飛機(jī)蒙皮鉚接質(zhì)量視覺(jué)檢測(cè)系統(tǒng)結(jié)構(gòu)如圖1所示。在視覺(jué)檢測(cè)平臺(tái)開(kāi)始工作時(shí)，為了使飛機(jī)蒙皮圖像的鉚釘區(qū)域出現(xiàn)在工業(yè)相機(jī)的視野內(nèi)，需要光源提供良好的打光一致性。計(jì)算機(jī)中的上位機(jī)軟件將驅(qū)動(dòng)圖像采集卡進(jìn)行工作，圖像采集卡將采集的鉚釘圖像傳遞到計(jì)算機(jī)中，Matlab 2018a圖像處理軟件對(duì)采集到的圖像進(jìn)行進(jìn)行數(shù)據(jù)處理、特征提取、圖像相似性計(jì)算以及分類。在完成一張鉚接圖片的檢測(cè)后，PIC控制步進(jìn)電機(jī)將帶動(dòng)視覺(jué)檢測(cè)平臺(tái)進(jìn)入下一次連續(xù)檢測(cè)。

圖1 視覺(jué)檢測(cè)系統(tǒng)結(jié)構(gòu)框圖

2 原理簡(jiǎn)介

在對(duì)飛機(jī)蒙皮圓形鉚釘進(jìn)行質(zhì)量檢測(cè)的過(guò)程中，幾何量尺寸的精確性是衡量鉚接質(zhì)量的重要指標(biāo)。采用上位機(jī)軟件Matlab自帶的imfindcircles函數(shù)對(duì)圓形鉚釘進(jìn)行圓檢測(cè)，得到的半徑相對(duì)于標(biāo)準(zhǔn)半徑偏小。而Open CV中Houghcirles函數(shù)檢測(cè)出的圓心和半徑結(jié)果不精確，像素精度低。

2.1 標(biāo)準(zhǔn)的Hough變換圓檢測(cè)算法

Hough變換不僅適用于直線檢測(cè)，還適用于任何形式的f(x,a)=0所表示的圖形檢測(cè)，其中x表示坐標(biāo)向量，a表示系數(shù)向量。Hough變換的基本原理：設(shè)圓的半徑為r，圓心坐標(biāo)(a0,b0)，則圓的表達(dá)式為

(x-a0)2-(y-b0)2=r02

(1)

將圓上任意一點(diǎn)投影到參數(shù)空間，則圓的表達(dá)式為

(a-xi)2-(b-yi)2=r2

(2)

式中的a,b,r是三維空間中的三個(gè)參數(shù)變量，(xi,yi)是二維平面xoy坐標(biāo)系中圓上的任意一點(diǎn)。假設(shè)這點(diǎn)是已知常數(shù)，那么表達(dá)式在參數(shù)空間中表示為一個(gè)圓，如果圓隨[rmax,rmin]這個(gè)范圍的步長(zhǎng)變化就會(huì)在參數(shù)空間中形成一個(gè)圓錐面。隨著(xi,yi)在aob平面的移動(dòng)而在參數(shù)空間中形成了交叉重疊的一簇圓錐面，它們必會(huì)相交于一點(diǎn) ，從而求出我們所需的圓[5]。二維空間轉(zhuǎn)換為三維參數(shù)空間的過(guò)程如圖2所示。

圖2 Hough變換圓檢測(cè)原理

由于圖像的邊緣點(diǎn)數(shù)據(jù)量大，使用常規(guī)的Hough變換圓檢測(cè)算法將會(huì)耗費(fèi)大量的運(yùn)行時(shí)間和存儲(chǔ)空間，所以將對(duì)標(biāo)準(zhǔn)的Hough變換圓檢測(cè)算法進(jìn)行改進(jìn)。

2.2 改進(jìn)的Hough變換圓檢測(cè)算法

標(biāo)準(zhǔn)的Hough變換圓檢測(cè)算法的魯棒性強(qiáng)，適用于圖像中的圓的定位。但是標(biāo)準(zhǔn)的Hough變換具有運(yùn)算數(shù)據(jù)大，檢測(cè)出的圓的圓心坐標(biāo)和半徑都只能是像素級(jí)，在此基礎(chǔ)上運(yùn)用了一種改進(jìn)的Hough變換精確檢測(cè)圓的算法，目的在于能夠精確而又快速地檢測(cè)出蒙皮圖像的鉚接質(zhì)量參數(shù)。

2.2.1 算法基本思想

根據(jù)圓的梯度大小和方向,任取圓上任意一點(diǎn)A,以A為起點(diǎn)水平向右搜索,找出與圓的另一交點(diǎn)E,求出的AE中心點(diǎn)B(xb,yb)，由于圓心在弦的中垂線上，必定在AE的中垂線上，沿著垂直梯度反方向,以步進(jìn)長(zhǎng)為1求出下一個(gè)點(diǎn)C(xc,yc)。求出C點(diǎn)與圓交點(diǎn)A或者E的距離r,將(xc,yc,c)在參數(shù)空間中進(jìn)行累加，繼續(xù)以步進(jìn)長(zhǎng)為1求下一個(gè)點(diǎn)D,直到y(tǒng)和r超出設(shè)定范圍,繼續(xù)尋找下一個(gè)符合條件的A點(diǎn)和E點(diǎn)[6]。

圖3 算法思想

2.2.2 算法流程圖

在使用Hough變換算法對(duì)蒙皮鉚接圖像進(jìn)行分割前，我們將對(duì)原始圖像進(jìn)行預(yù)處理操作，首先將經(jīng)過(guò)灰度變換的圖像進(jìn)行中值濾波去噪，經(jīng)過(guò)去噪后的圖像通過(guò)反銳化掩模法實(shí)現(xiàn)圖像增強(qiáng)，接著采用最大類間方差閾值分割法(OTSU)對(duì)圖像進(jìn)行二值化處理，使鉚釘從蒙皮圖像的背景中分離出來(lái)，二值化的好壞將直接決定最終的檢測(cè)結(jié)果。本文采用Canny邊緣檢測(cè)算子獲取鉚接圖像邊緣，Canny邊緣檢測(cè)算子具有對(duì)邊緣的錯(cuò)誤檢測(cè)率低、定位準(zhǔn)確和對(duì)同一邊緣具有較低的響應(yīng)次數(shù)等優(yōu)勢(shì)，使得檢測(cè)效果得到很大程度優(yōu)化。檢測(cè)出的圖像輪廓直觀而又清晰，使得圖像參與Hough變換運(yùn)算的數(shù)據(jù)大幅度減小，從而將提高了 Hough變換的運(yùn)算速率。

優(yōu)點(diǎn)：該算法對(duì)于不存在對(duì)應(yīng)點(diǎn)的點(diǎn)不進(jìn)行 Hough變換運(yùn)算，利用梯度信息對(duì)鉚接圖像的像素信息進(jìn)行篩選，減少了算法計(jì)算的數(shù)據(jù)量。對(duì)灰度圖像進(jìn)行二值化處理，避免了環(huán)境復(fù)雜等因素的影響，使得最終的檢測(cè)結(jié)果更加準(zhǔn)確，該算法對(duì)環(huán)境的不敏感因素更加適用于工業(yè)應(yīng)用中。雖然充分利用了梯度的信息,但并沒(méi)有簡(jiǎn)單地認(rèn)為利用梯度求出的法線一定通過(guò)圓心,避免了角度不準(zhǔn)確帶來(lái)的影響,所以在很多場(chǎng)合比其它的快速變換有著更強(qiáng)的魯棒性[7]。通過(guò)Hough變換參數(shù)空間累加記數(shù)，濾除了圖像本身水平和垂直對(duì)稱物的影響，具有抗干擾能力強(qiáng)，對(duì)邊緣檢測(cè)要求不高等優(yōu)點(diǎn)。

缺點(diǎn)：由于在識(shí)別鉚釘之前不知道鉚釘?shù)陌霃胶蛨A心的大小，在該算法中使用步進(jìn)長(zhǎng)為1的累加計(jì)數(shù)的方法導(dǎo)致了一定程度的無(wú)效數(shù)據(jù)處理。但是本算法的主要目的是降低錯(cuò)誤判斷率和提高計(jì)算的速度。

2.2.3 圓心和半徑的精確擬合

Hough變換對(duì)飛機(jī)蒙皮圖像鉚接特征參數(shù)進(jìn)行計(jì)算，求出的圓心和半徑都為整數(shù)值。假設(shè)Hough變換檢測(cè)出的圓上的坐標(biāo)值為樣本集(xi,yi),i∈(1,2,…,N) ,其中樣本點(diǎn)到圓心的距離為di，如式(3)所示。

(Xi-a)2+(Yi-b)2=di2

(3)

樣本點(diǎn)到圓心的距離di的平方與半徑r平方的差為

δi=di2-r2=((Xi-a)2+(Yi-b)2)2-r2

(4)

對(duì)所有的樣本點(diǎn)來(lái)說(shuō)，取δi的平方和的最小值時(shí)的參數(shù)a,b,r為最優(yōu)的擬合值

Q(a,b,r)=∑δi2

(5)

Q取最小值時(shí)，a,b,r便為待擬合的圓心和半徑的值[5]。使用改進(jìn)的Hough變換檢測(cè)蒙皮圖像鉚釘?shù)膱A心和半徑，檢測(cè)出的結(jié)果均為整數(shù)值，采用最小二乘擬合圓的方法去擬合這些整數(shù)值，可以精確求出鉚釘圓心坐標(biāo)及半徑結(jié)果。

3 仿真分析與實(shí)驗(yàn)結(jié)果

為了獲得鉚接的幾何量尺寸，需要對(duì)鉚接圖像進(jìn)行特征提取，因此圖像分割是機(jī)器視覺(jué)檢測(cè)部分的關(guān)鍵技術(shù)之一。本文所有仿真實(shí)驗(yàn)的系統(tǒng)主機(jī)為PC機(jī)，CPU為Inter(R)core(TM)i5-4590，仿真工具為 Matlab 2018軟件。

3.1 圖像采集與預(yù)處理

為了驗(yàn)證算法的可行性，本文采集了某一類戰(zhàn)斗機(jī)飛機(jī)蒙皮中的一種類型鉚釘?shù)膱D像進(jìn)行仿真與分析。鉚接質(zhì)量檢測(cè)系統(tǒng)主要檢測(cè)的參數(shù)是鉚釘鉚接形變后的圓心和半徑。因此需要提取鉚接形變后鉚釘?shù)奶卣鲄?shù)，用特征參數(shù)來(lái)判斷識(shí)別鉚釘是否在規(guī)定范圍之內(nèi)，具體圖像分析處理框架圖如圖5所示。

步驟一:Matlab讀取一幅飛機(jī)蒙皮鉚接圖像將其轉(zhuǎn)換為灰度圖像，圖6是鉚釘R,G,B顏色通道圖像及直方圖。眾所周知，一幅圖像的灰度值是在0～255之間，從圖中可以看出蒙皮鉚接圖像的R,G,B灰度分布情況，也能清晰讀出灰度級(jí)所占的比重。其中，灰度級(jí)在0～250之間，而灰度級(jí)出現(xiàn)的頻率在0～30之間。

步驟二:采用中值濾波法去除蒙皮鉚接圖像的椒鹽噪聲與高斯噪聲，去噪后的圖像如圖7(a)所示；反銳掩模法是一種針對(duì)圖像增強(qiáng)的經(jīng)典銳化方法，算法表達(dá)式如公式所示。

g(x,y)=f(x,y)+C[f(x,y)-f′(x,y)]

(6)

f(x,y)為原始圖像f′(x,y)為人為模糊后的圖像，g(x,y)為銳化處理后的圖像，C為比例常數(shù)，使用這個(gè)算法實(shí)現(xiàn)圖像銳化的目的，從而使圖像變得更加清晰，銳化后的圖像如圖7(b)所示;由于圖像二值化的好壞將直接決定最終的檢測(cè)結(jié)果，基于機(jī)身蒙皮圖像背景與目標(biāo)具有較強(qiáng)的對(duì)比性，采用閾值分割技術(shù)對(duì)圖像分割，選擇恰當(dāng)?shù)拈撝?，就可以很直觀地將鉚釘對(duì)象從蒙皮背景中分離出來(lái)，二值化分割圖像如圖7(c)所示;本文采用Canny邊緣檢測(cè)算子獲取鉚接圖像邊緣，使得檢測(cè)效果得到很大程度上的優(yōu)化，圖像輪廓直觀而又清晰。Canny邊緣檢測(cè)圖像如圖7(d)所示。

圖4 算法流程圖

3.2 蒙皮鉚接圖像特征提取與曲線擬合

機(jī)身蒙皮鉚接原始圖像如圖8所示。利用Matlab 2018a自帶的Hough變換函數(shù)imfingcircles()檢測(cè)鉚接圖像中鉚釘圓的半徑和圓心,結(jié)果如圖9所示。通過(guò)比較原始圖像與imfingcircles()函數(shù)檢測(cè)的圖像可以看出，檢測(cè)出的圓半徑與真實(shí)半徑之間存在誤差。

為了檢測(cè)出蒙皮鉚釘圖像的真實(shí)圓心和半徑，我們需要確定圖像中的圓形目標(biāo)，計(jì)算出鉚釘粒度的大小。經(jīng)過(guò)Canny邊緣檢測(cè)算子檢測(cè)到完整的鉚釘區(qū)域后，對(duì)檢測(cè)結(jié)果進(jìn)行形態(tài)學(xué)腐蝕、膨脹、開(kāi)運(yùn)算及閉運(yùn)算等基本運(yùn)算[8]，對(duì)基本運(yùn)算后的結(jié)果進(jìn)行亞像素邊緣提取，提取結(jié)果如圖10所示。

圖5 圖像分析處理總體框圖

改進(jìn)的Hough變換通過(guò)提取亞像素圖像的邊緣點(diǎn)，在二維空間中取一定范圍的角度步長(zhǎng)及半徑步長(zhǎng)，經(jīng)過(guò)并行循環(huán)將二維空間圖像的點(diǎn)投影到三維空間，就可以找出蒙皮中鉚釘?shù)膱A心與半徑。檢測(cè)結(jié)果如圖11所示。

圖6 鉚釘R，G，B顏色通道圖像及直方圖

然后對(duì)飛機(jī)蒙皮鉚釘不同半徑下的粒度分布進(jìn)行計(jì)算得出圖像所分布的粒徑譜，在此基礎(chǔ)上構(gòu)建三維空間粒子場(chǎng)，從圖12的粒徑譜可以精確看出檢測(cè)的粒子個(gè)數(shù)為三個(gè)，半徑都在18毫米左右，與此同時(shí)從圖13構(gòu)建的三維粒子場(chǎng)中可以精確讀出圓心及半徑。該方法與標(biāo)準(zhǔn)的Hough變換相比，提高了一個(gè)數(shù)量級(jí)，仿真運(yùn)算的總時(shí)間為0.23 s,在一定程度上提高了Hough變換檢測(cè)的速率，滿足實(shí)時(shí)檢測(cè)的需求。

從三維粒子場(chǎng)圖13的三維空間粒子場(chǎng)中可以讀出圓心及半徑。但是這個(gè)檢測(cè)結(jié)果存在一定程度的誤差，該誤差來(lái)自于兩個(gè)方面:一方面來(lái)源于鉚釘鉚接形變端的直徑與厚度在規(guī)定的范圍內(nèi)出現(xiàn)一定偏差；另一方面是機(jī)身蒙皮多為曲面，尺寸大，剛度小，自動(dòng)化鉆鉚技術(shù)在一定程度上偏移了理論鉆鉚點(diǎn)位置。標(biāo)準(zhǔn)的Hough變換圓檢測(cè)的結(jié)果都為整數(shù)值，要想得到更精確的檢測(cè)值，將檢測(cè)出的數(shù)據(jù)進(jìn)行最小二乘擬合圓，表1是兩種算法的結(jié)果比較。

圖7 飛機(jī)蒙皮圖像

圖8 原始圖像

圖9 imfingcircles()函數(shù)檢測(cè)結(jié)果

圖10 亞像素邊緣提取結(jié)果圖

圖11 檢測(cè)結(jié)果圖

圖12 鉚釘粒徑譜

圖13 三維粒子場(chǎng)

表1中的結(jié)果顯示，檢測(cè)的圓心和半徑均非常接近，從表1的誤差結(jié)果項(xiàng)中可以看出圓心誤差(1.72,1.78)像素，半徑誤差小于0.38像素。從數(shù)據(jù)結(jié)果可以看出改進(jìn)的Hough變換檢測(cè)的圓心和半徑與標(biāo)準(zhǔn)的Hough變換檢測(cè)圓相比更能接近真實(shí)值，從而證明改進(jìn)的Hough變換在一定程度上可以提高檢測(cè)值的精度。

表1 標(biāo)準(zhǔn)的Hough檢測(cè)圓和改進(jìn)的Hough檢測(cè)圓結(jié)果比較

4 結(jié)論

本文主要介紹了基于機(jī)器視覺(jué)檢測(cè)部分的鉚接幾何尺寸的測(cè)量，重點(diǎn)介紹了改進(jìn)的Hough變換圓檢測(cè)算法對(duì)鉚接圖像進(jìn)行的圖像分割、特征提取、尺寸計(jì)算。算法繼承了標(biāo)準(zhǔn)Hough變換圓檢測(cè)對(duì)噪聲不敏感、對(duì)局部缺損要求不高等優(yōu)點(diǎn)，采用區(qū)域連通、二值化以及Canny邊緣檢測(cè)算子進(jìn)行一系列預(yù)處理。該算法使Hough變換的數(shù)據(jù)運(yùn)算量減少，針對(duì)標(biāo)準(zhǔn)Hough變換圓檢測(cè)的圓心和半徑只能得到像素級(jí)的精度來(lái)說(shuō)，改進(jìn)的Hough變換結(jié)合最小二乘擬合圓的方法對(duì)檢測(cè)到的圓心和半徑進(jìn)行擬合，提高了檢測(cè)值的精度。這個(gè)算法可以檢測(cè)蒙皮圖像中多個(gè)圓形鉚釘?shù)膱A心和半徑，從仿真結(jié)果可以看出檢測(cè)值與實(shí)際值相符，能夠滿足視覺(jué)檢測(cè)系統(tǒng)中實(shí)時(shí)檢測(cè)的需求，提高了視覺(jué)檢測(cè)系統(tǒng)的實(shí)用性。