李 博 章紹昆 高 鑫 喻志勇 盧仁華

（①成都飛機(jī)工業(yè)（集團(tuán)）有限責(zé)任公司，四川 成都 610091；②中國人民解放軍93147 部隊(duì)，四川 成都 610091）

高強(qiáng)度碳纖維制成的復(fù)合材料具有比強(qiáng)度高、整體成型性好、承載效率高等優(yōu)點(diǎn)[1]，在現(xiàn)代飛機(jī)設(shè)計(jì)中采用了大量碳纖維復(fù)合材料蒙皮（簡稱“蒙皮”），是構(gòu)成飛機(jī)氣動外形的關(guān)鍵零件。在蒙皮上制有群孔，用于聯(lián)接金屬骨架。由于連接孔處易發(fā)生疲勞裂紋[2-3]，連接孔的孔位對于保證連接強(qiáng)度至關(guān)重要。在檢測蒙皮上的大量小尺寸孔系時(shí)，常規(guī)三坐標(biāo)測量機(jī)經(jīng)常會遇到探頭碰撞孔壁的問題，而且每分鐘的測孔數(shù)量僅為5～6 個，限制了在大規(guī)模群孔檢測場景中的應(yīng)用。

機(jī)器視覺技術(shù)憑借非接觸式優(yōu)點(diǎn)，成為蒙皮連接孔檢測的一個重要研究方向，相關(guān)學(xué)者開展了大量工作。勾江洋等[4]利用相機(jī)、鏡頭和光源研制了機(jī)器視覺測孔系統(tǒng)，采用“自適應(yīng)二值化+Canny算子”方法處理孔圖像，達(dá)到檢測孔位的目的；唐君萍等[5]在視覺檢測系統(tǒng)中采用“Otsu 二值化+Canny 算子”方法檢測連接孔邊緣，然后擬合孔心坐標(biāo)；薛婷等[6]利用智能相機(jī)搭建視覺檢測平臺，采用“高通濾波+Canny 算子”方法檢測飛機(jī)壁板基準(zhǔn)孔的邊緣像素，然后擬合孔心坐標(biāo)。

現(xiàn)有文獻(xiàn)大多是在實(shí)驗(yàn)室環(huán)境下開展視覺測孔技術(shù)研究的，但是在實(shí)際的加工環(huán)境中存在惡劣光照、冷卻液殘留、切屑附著等不利因素，蒙皮本身還具有織狀紋理、孔口毛刺和表面撕裂等特點(diǎn)，使蒙皮圖像摻雜了大量干擾信息，無法使用文獻(xiàn)中提到的圖像算法完成孔周邊緣的提取。

針對以上問題，本文設(shè)計(jì)了一套在機(jī)檢測蒙皮孔位的機(jī)器視覺裝置，進(jìn)一步提出了用于實(shí)際加工環(huán)境中，能夠從具有大量干擾信息的蒙皮圖像中準(zhǔn)確提取孔周邊緣的圖像算法；同時(shí)給出了激光束的標(biāo)定方法和光斑坐標(biāo)的計(jì)算方法，綜合以上信息求解連接孔的孔位坐標(biāo)。最后通過實(shí)驗(yàn)驗(yàn)證了本文技術(shù)方案的有效性。

1 視覺測孔原理

1.1 機(jī)器視覺裝置及其測孔方法

機(jī)器視覺裝置由工業(yè)相機(jī)、遠(yuǎn)心鏡頭、激光器和光源等光電器件以及連接件組成，通過刀柄夾持在機(jī)床主軸上，跟隨主軸運(yùn)動依次完成測孔動作，如圖1 所示。該裝置選用BT-2336 型遠(yuǎn)心鏡頭，在其6 mm 的景深范圍內(nèi)消除透視變形，從而保持放大倍率不變[7]，能夠獲取清晰的連接孔圖像。配合MV-EM1400C 型相機(jī)，獲取的圖像像素等效長度ξ為0.005 8 mm。在鏡頭四周均布4 個激光器，產(chǎn)生4 束點(diǎn)狀激光，測量時(shí)在蒙皮表面形成光斑，用于確定連接孔的孔口近似平面。

圖1 機(jī)器視覺裝置

視覺測孔原理如圖2 所示，共有3 個步驟。

圖2 視覺測孔原理

（1）拍攝連接孔圖像，通過孔周邊緣提取與圓孔擬合計(jì)算孔心的XY坐標(biāo)。

（2）拍攝4 個激光光斑圖像，利用激光束的直線方程計(jì)算光斑的三維坐標(biāo)。

（3）根據(jù)4 個光斑的三維坐標(biāo)擬合孔口平面方程，將孔心的XY坐標(biāo)代入平面方程求解孔心Z坐標(biāo)。

1.2 定義坐標(biāo)系

為了便于描述圖像的像素處理，一般按照如下方式定義圖像坐標(biāo)系OF：原點(diǎn)放置于像素矩陣的左上角點(diǎn)，X軸沿著矩陣行號增大的方向，Y軸沿著矩陣列號增大的方向。在OF中的坐標(biāo)單位為像素。

在描述孔位坐標(biāo)時(shí)，一般采用的是相機(jī)坐標(biāo)系OC，其定義如下：XY平面位于鏡頭的物方平面，Z軸與鏡頭軸線重合且指向鏡頭，X軸沿著像素矩陣列號增大的方向，Y軸沿著像素矩陣行號減小的方向。在OC中的坐標(biāo)單位為毫米。

OF與OC的方位關(guān)系如圖3 所示。

圖3 坐標(biāo)系的方位關(guān)系圖

圖像在X、Y方向上的像素分辨率分別記作U和V，那么OF相對于OC的齊次變換矩陣可表示為

2 圖像處理算法

2.1 連接孔圖像處理

受加工現(xiàn)場的復(fù)雜環(huán)境影響，蒙皮連接孔的圖像中摻雜了大量干擾信息。圖4 所示為一幅采自加工現(xiàn)場的蒙皮圖像，其分辨率為4 608×3 288，包括殘留冷卻液、孔內(nèi)反光、表面織狀紋理等干擾信息。

圖4 連接孔的蒙皮圖像

為了快速準(zhǔn)確地提取孔周邊緣，本文提出了一種圖像算法。首先通過全局圖像快速處理初略定位連接孔區(qū)域，然后在臨近孔口的區(qū)域內(nèi)精確搜索邊緣，最后利用邊緣像素?cái)M合孔心的XY坐標(biāo)。下面敘述圖像處理過程。

2.1.1 連接孔區(qū)域初略定位

連接孔區(qū)域初略定位是指先后采用多種方式統(tǒng)一處理蒙皮圖像的全局像素，快速確定連接孔在圖像中占據(jù)的大致位置，流程如圖5 所示。

圖5 連接孔區(qū)域初略定位流程

步驟1：將彩色圖轉(zhuǎn)換為灰度圖，然后經(jīng)雙三次插值將圖像縮小至1/8，以提高計(jì)算速度，如圖5a所示。

步驟2：構(gòu)造Canny 算子提取所有邊緣，如圖5b所示，其灰度矩陣記作D(x,y)。

步驟3：構(gòu)造一個平滑濾波器f(x,y)。f(x,y)的維數(shù)為23×23；在f(x,y)中以坐標(biāo)(11, 11)為圓心建立一個半徑為11 的實(shí)心圓Cf，易得Cf所占區(qū)域共有429 個元素；f(x,y)的元素取值為

D(x,y)與f(x,y)進(jìn)行卷積，相當(dāng)于對圖5b 施加平滑處理得到圖5c，其灰度矩陣記作：

在圖5c 中，連接孔內(nèi)少量偽邊緣被基本濾除，蒙皮表面的織狀紋理也融合為具有一致性的背景。

步驟4：對圖5c 運(yùn)用Otsu 算法[8]得到灰度閾值λ1，使用 λ1分割圖5c，初略定位連接孔所在區(qū)域，如圖5d 所示，其灰度矩陣記作：

步驟5：圖5d 包含若干相互獨(dú)立的連通域，采用Moore-Neighbor Boundary Trace 法[9]提取連接孔所在連通域的邊界像素集，如圖5e 所示。

步驟6：使用最小二乘法[10]對該像素集進(jìn)行圓擬合，如圖5f 所示。第i個像素的坐標(biāo)記作(Xi,Yi)，擬合的圓心坐標(biāo)和半徑分別記作(xa,ya)、Ra，誤差定義如下：

2.1.2 連接孔的精確定位

由于孔周邊緣包含360°圓周范圍，常見的邊緣算子無法直接使用，本文基于Kirsch 算子設(shè)計(jì)了孔周邊緣提取方法，流程如圖6 所示。Kirsch 算子使用8 個掩模，見表1。圖像每個像素點(diǎn)同時(shí)與上述掩模進(jìn)行卷積，每個掩模將在某個特定邊緣方向產(chǎn)生最大響應(yīng)，取響應(yīng)最大值作為邊緣圖像的輸出值。

表1 Kirsch 算子

圖6 孔周邊緣提取流程

步驟1：基于連接孔區(qū)域的初略定位結(jié)果，以圓心坐標(biāo)(xa,ya)作為軸對稱中心且以(2Ra+200)作為邊長，自動從圖5a 中截取一個包含連接孔的方形子圖，如圖6a 所示。

步驟2：圖6a 的灰度矩陣L(x,y)分別與K1～K8進(jìn)行卷積，得到響應(yīng)矩陣Mi。

則邊緣圖像H(x,y)的像素灰度值為Mi(x,y)中的最大值，圖像如圖6b 所示。

步驟3：如圖6c～圖6e 所示，將Ca重疊在邊緣圖像之上，然后將Ca等分為四段圓弧，再將它們向內(nèi)偏移100 像素作為邊緣搜索起點(diǎn)，使用灰度閾值 λ2分別沿水平和豎直方向搜索孔周邊緣。

以右側(cè)的孔周邊緣搜索為例，在水平向右搜索過程中首次遇見的灰度值大于 λ2的像素，便是連接孔的邊緣像素。具體如下，孔周邊緣像素灰度矩陣記作的搜索起點(diǎn)為中像素點(diǎn)的最小行號與最大行號分別記作 μ1和 μ2，則I(x,y)的部分元素取值如下。

I(x,y)中非零元素構(gòu)成了邊緣像素集 S2，如圖6f的紅色點(diǎn)集所示。

步驟4：使用最小二乘法對 S2進(jìn)行圓擬合得到圓Cb，其圓心與半徑分別記作(xb,yb)和Rb。

按照如下方式構(gòu)造圓環(huán)狀ROI 區(qū)域以剔除偽邊緣：圓環(huán)的圓心位于(xb,yb)，內(nèi)徑與外徑分別等于2Rb-10 和2Rb+10 。 S2與ROI 區(qū)域的交集為

再次使用最小二乘法對I(x,y)中非零元素代表的邊緣像素進(jìn)行圓孔擬合，得到連接孔在OF中的二維孔心(xc,yc)和半徑Rc。

2.2 激光光斑圖像處理

激光器發(fā)出的光束在孔口附近的蒙皮表面形成4 個光斑，如圖7a 所示。圖像處理后可得光斑的XY坐標(biāo)，再結(jié)合標(biāo)定的激光束空間直線方程，計(jì)算光斑Z坐標(biāo)。

圖7 激光光斑圖像

2.2.1 光斑二維坐標(biāo)計(jì)算

將光斑圖像轉(zhuǎn)換為灰度圖，使用灰度閾值 λ3分割圖像得到光斑的二值圖，如圖7b 所示。

以I號光斑為例，共占有N個像素，其中第j個像素的坐標(biāo)為那么I 號光斑在OF中的XY坐標(biāo)(xI,yI)為

類似地，求解II～I(xiàn)V 號光斑的XY坐標(biāo)(xII,yII)、(xIII,yIII) 、(xIV,yIV)。

2.2.2 激光束標(biāo)定

上下移動機(jī)器視覺裝置，使光斑在蒙皮表面的位置發(fā)生變化，形成一系列離散的光斑，對這些光斑進(jìn)行直線擬合，就得到了激光束在OF中的直線方程。下面以I 號光斑為例敘述標(biāo)定方法，標(biāo)定原理如圖8 所示。

圖8 激光標(biāo)定原理圖

步驟1：令機(jī)床主軸依次?？吭?0,0,Z1)～(0,0,Z7)采集光斑圖像，參照第2.2.1 小節(jié)方法分別計(jì)算I 號光斑在7 個標(biāo)定位置的XY坐標(biāo)，記作則光斑在OF中的三維坐標(biāo)為

步驟2：采用最小二乘法[11]擬合空間直線方程，記作：

對方程進(jìn)行等價(jià)變換，得：

誤差定義如下：

構(gòu)造最小二乘函數(shù) Ψ：

求解k1、b1、k2、b2以及直線方程參數(shù)x0、y0、z0、n、p。

2.3 孔位計(jì)算

獲得4 條激光束的空間直線方程之后，將光斑XY坐標(biāo)帶入直線方程計(jì)算光斑的Z坐標(biāo)，由此獲得光斑的三維坐標(biāo)(xm,ym,zm),m=I ～I(xiàn)V。4 個光斑確定了連接孔孔口所在的平面，采用最小二乘法擬合孔口平面方程，記作：

2.1 節(jié)計(jì)算了連接孔在OF中的XY坐標(biāo)(xc,yc)，它實(shí)際上描述了連接孔軸線L的位置，如圖9 所示，L的方程為

圖9 連接孔的孔位坐標(biāo)示意圖

連接孔軸線L與孔口平面的交點(diǎn)坐標(biāo)即為連接孔的孔位坐標(biāo)Pc，聯(lián)立式（13）和式（14）求解孔位的Z坐標(biāo)zc：

孔的齊次坐標(biāo)Pc表示為

將Pc轉(zhuǎn)換為OC坐標(biāo)系的點(diǎn)位坐標(biāo)Pd：

至此完成了孔位坐標(biāo)的計(jì)算。

3 實(shí)驗(yàn)驗(yàn)證

基于Visual Studio 平臺開發(fā)了機(jī)器視覺裝置配套的測量軟件，該軟件集成圖像處理算法，自動完成圖像采集與數(shù)據(jù)處理，開展了蒙皮試驗(yàn)件的在機(jī)測孔實(shí)驗(yàn)。其中一件蒙皮輪廓尺寸為895 mm×425 mm×50 mm，一共制有106 個?5.5 mm～?6.5 mm的連接孔，如圖10 所示。

圖10 蒙皮試驗(yàn)件在機(jī)測孔實(shí)驗(yàn)

首先采集不同蒙皮上處于不同狀態(tài)的連接孔圖像，圖11 所示為其中4 幅典型圖像，為節(jié)省篇幅，圖11 僅展示了連接孔及其附近區(qū)域的局部圖像，圖11a～圖11d 依次代表具有良好狀態(tài)、孔內(nèi)殘留冷卻液、孔口毛刺以及不良光照的連接孔。

圖11 加工現(xiàn)場采集的連接孔圖像（局部）

圖12 所示為應(yīng)用“自適應(yīng)二值化+Canny 算子”算法提取圖11 的連接孔邊緣，圖13 所示為應(yīng)用“Otsu 二值化+Canny 算子”算法提取圖11 的連接孔邊緣，圖14 所示為應(yīng)用“高通濾波+Canny 算子”算法提取圖11 的連接孔邊緣。其中僅有“Otsu 二值化+Canny 算子”算法能夠處理圖11a 所示圖像，其他算法均已失效，原因是上述算法不能同時(shí)抑制環(huán)境光照、蒙皮織狀紋理、冷卻液殘留等因素造成的大量偽邊緣，也沒有設(shè)計(jì)有效的邊緣搜索策略，導(dǎo)致算法失效。

圖12 “自適應(yīng)二值化+Canny 算子”算法的孔周邊緣提取結(jié)果

圖13 “Otsu 二值化+Canny 算子”算法的孔周邊緣提取結(jié)果

圖14 “高通濾波+Canny 算子”算法的孔周邊緣提取結(jié)果

圖15 所示為應(yīng)用本文算法提取圖11 的連接孔邊緣，可見該算法對于各種外部環(huán)境中的蒙皮連接孔均有很好的邊緣提取效果。

圖15 本文算法的孔周邊緣提取結(jié)果

對于圖10 所示的蒙皮試驗(yàn)件，使用本系統(tǒng)開展了連接孔孔位的在機(jī)檢測，再使用三坐標(biāo)測量機(jī)進(jìn)行離線測量。本系統(tǒng)與三坐標(biāo)測量機(jī)之間的測量偏差值如圖16 所示。

圖16 蒙皮的孔位檢測偏差

由圖16 可知，孔位的檢測偏差最大值為0.046 mm，滿足了蒙皮連接孔0.05 mm 的孔位檢測精度要求。視覺測孔系統(tǒng)每分鐘平均測孔12 個，三坐標(biāo)測量機(jī)每分鐘平均測孔6 個，前者的檢測效率是后者的2 倍。

4 結(jié)語

（1）本研究研制了一套機(jī)器視覺裝置，提出了污染環(huán)境中織狀復(fù)材蒙皮孔的圖像處理算法，采用粗略定位與精確定位相結(jié)合的方法實(shí)現(xiàn)孔周邊緣的精確提取。

（2）本文提出了激光束標(biāo)定方法和光斑的圖像處理算法，準(zhǔn)確地計(jì)算了蒙皮連接孔的孔位坐標(biāo)。

（3）通過實(shí)驗(yàn)驗(yàn)證了本文方法的有效性，結(jié)果顯示：圖像處理算法可準(zhǔn)確提取蒙皮孔周邊緣，孔位測量誤差小于0.05 mm，檢測效率是常規(guī)探頭方式的2 倍，滿足了飛機(jī)復(fù)材蒙皮連接孔對檢測精度和檢測效率的要求。