何 流，王志共，夏 飛，李炳伯

（1．江西昌河航空工業(yè)有限公司，江西 景德鎮(zhèn) 333002；2．海軍裝備部駐武漢地區(qū)軍事代表局駐南昌地區(qū)軍事代表室，江西 南昌 330000）

1 引言

20世紀90年代以來，飛機裝配領(lǐng)域，數(shù)字化、自動化的制孔技術(shù)得到了應(yīng)用和推廣[1]。EI公司、KUKA系統(tǒng)公司及Aritex等公司已成功研發(fā)出機器人自動制孔設(shè)備，在波音和空客等飛機制造企業(yè)中發(fā)揮了重要作用。國內(nèi)，北京航空航天大學、浙江大學、南京航空航天大學、西北工業(yè)大學、上海拓璞數(shù)控科技股份有限公司、大連四達高技術(shù)發(fā)展有限公司等也與主機廠開展了課題研究，北京神工科技有限公司研制的機器人智能制孔系統(tǒng)在主機廠成功得到應(yīng)用和推廣，大大提升了制孔的質(zhì)量和效率。

飛機裝配工藝要求在制完孔后需要對孔的質(zhì)量進行檢驗，對部分不合格的孔要進行補救，對無法處理的不合格工件進行報廢處理，滿足質(zhì)量要求才可以進行緊固件安裝。目前，孔質(zhì)量檢驗采用的是傳統(tǒng)的人工檢驗方式，難以跟上自動化、數(shù)字化生產(chǎn)的節(jié)奏，主要表現(xiàn)在：

1）精度低：機器人制孔的孔徑精度高，傳統(tǒng)的人工測量已經(jīng)難以滿足要求。人工用卡尺、塞規(guī)等進行測量，誤差大，且測量精度受人工操作影響較大。

2）效率低：人工對孔逐個進行測量，效率低，且需要一直占用工裝。因為孔的數(shù)量巨大，所以耗時長，在“制孔-檢驗”過程中所需時間占比高。為了保證產(chǎn)能，往往采用抽檢或目視，為裝配質(zhì)量埋下了隱患。

3）難以將制孔和檢驗形成閉環(huán)，不適應(yīng)質(zhì)量信息管理和數(shù)字化裝配的要求。

所以，迫切需要研究和開發(fā)與機器人制孔相適應(yīng)的高效率、高精度的智能化在線檢測手段，提升質(zhì)量控制和管理水平。

飛機裝配孔質(zhì)量檢驗時，工件一般保持在工裝上的夾持狀態(tài)，屬于原位測量，具有產(chǎn)品結(jié)構(gòu)復雜、待測范圍廣、待測信息種類較多及測量精度要求高等特點。飛機裝配孔質(zhì)量檢驗從技術(shù)原理上分類，主要有接觸式測量和非接觸式測量兩類。

接觸式測量主要采用的是探針測量方案[2,3]，如EI公司、KUKA系統(tǒng)公司及Aritex公司等，他們將測量模塊集成到機器人制孔/鉆鉚系統(tǒng)的末端執(zhí)行器上。探針沿孔的軸線進給，可以在線檢測孔徑、窩深和工件厚度，其主要缺點是制孔和檢驗完全串行，效率低，切屑和潤滑油的堆積會影響測量精度，探頭磨損也會導致精度退化，也使得制孔末端執(zhí)行器結(jié)構(gòu)更加復雜，體積更加龐大，可達性降低。

非接觸式測量方面，EI公司研究采用激光輪廓儀掃描的方法來測量窩深[4]。但該方案測量精度有限，還不能進行孔徑測量，也尚未應(yīng)用到產(chǎn)品中。國內(nèi)的機器人制孔系統(tǒng)在線檢測技術(shù)目前應(yīng)用較少，還以科研為主。非接觸式測量具有不改變被測對象狀態(tài)、測量效率高等優(yōu)點，是測量的主要發(fā)展方向。機器視覺測量技術(shù)利用工業(yè)級相機采集目標圖像信號，經(jīng)軟件處理數(shù)據(jù)信息，識別被測對象，輸出測量結(jié)果，是一類典型的非接觸式測量方法。視覺測量包括2D視覺測量、3D掃描測量等方法[5，6]，已廣泛應(yīng)用于涂膠檢測、連接器測量、零件尺寸測量等領(lǐng)域。

機器視覺測量技術(shù)的研究與應(yīng)用興起于國外，Marr D[7]提出計算機視覺理論后，視覺測量技術(shù)才得到真正意義上的發(fā)展，如今在制造業(yè)的廣泛應(yīng)用已成大勢所趨。我國也出現(xiàn)諸多研究成果與應(yīng)用實例，許楠楠[8]等利用最小二乘線性回歸邊緣檢測與線邊緣定位等方法，實現(xiàn)了對光學元件外徑的快速精準測量。畢運波[9]等通過牛頓法求解透視幾何原理修正計算模型并分析模型計算精度與窩深和物距間的關(guān)系，實現(xiàn)飛機裝配中的自動化視覺測量沉頭孔垂直度的視覺測量，測量誤差可達0.03°。

本文針對飛機裝配制孔的檢驗問題，提出了基于機器視覺的機器人測量方案，實現(xiàn)對孔邊距、孔間距和孔徑的自動化、高精度測量，試驗和應(yīng)用驗證了系統(tǒng)的有效性。

2 需求分析

對機器人制孔系統(tǒng)的主要加工對象壁板類、翼面類工件而言，孔質(zhì)量檢驗項目主要包括孔位（邊距和間距）、孔徑等。

2.1 孔位

典型的長桁上孔位示意如圖1所示，孔位包括孔邊距、間距s（或節(jié)距）和排距。其中，邊距包括孔中心距長桁上（下）邊沿的距離a和兩端孔中心距左（右）邊沿的距離b。

圖1 典型的長桁上孔位示意圖

機器人制孔系統(tǒng)的典型孔位誤差為±0.5mm，要求檢驗系統(tǒng)的測量精度為0.15mm。根據(jù)產(chǎn)品實際尺寸，設(shè)定孔間距和孔邊距測量的最大范圍為24mm。

2.2 孔徑

機器人制孔系統(tǒng)的典型孔徑精度為H9，按測量孔徑范圍φ3mm~φ6mm計量，對應(yīng)公差范圍為0~0.030mm，要求檢驗系統(tǒng)的孔徑測量精度為0.01mm。

2.3 其他要求

以典型的壁板類工件為例，每個工件上機器人制孔1 000個。考慮檢驗系統(tǒng)的節(jié)拍或效率，要求一次檢驗完成孔位和孔徑的測量，檢驗時間小于25min。

3 基于機器視覺測量的孔質(zhì)量檢驗方案

在裝配生產(chǎn)線上，設(shè)置獨立的孔質(zhì)量檢驗工位，機器人制孔完成的工件和工裝整體流轉(zhuǎn)到檢驗工位。這樣機器人制孔和檢驗可同步進行，不影響機器人制孔的節(jié)拍。孔質(zhì)量檢驗工位采用機器人帶測量末端執(zhí)行器沿編程路徑對孔質(zhì)量進行檢驗的總體方案。

為了滿足測量的范圍和精度，采用將孔位和孔徑分開檢驗的方案：

1）孔位。針對測量范圍大、精度要對相對低的特點，采用普通2D工業(yè)相機+鏡頭+光源的方案。

2）孔徑。針對測量精度要求高、范圍小的特點，采用普通2D工業(yè)相機+遠心鏡頭+光源的方案。

孔質(zhì)量檢驗系統(tǒng)包括機器人、測量末端執(zhí)行器和計算處理單元。其中，測量末端執(zhí)行器及孔質(zhì)量檢測系統(tǒng)如圖2所示，包括工業(yè)相機、遠心鏡頭、定焦鏡頭、光源和結(jié)構(gòu)件等；計算處理單元包括控制箱和軟件（包括控制和通信模塊、檢測軟件模塊等）組成?？刂坪屯ㄐ跑浖糜诓杉鄼C的圖片數(shù)據(jù)，與其他設(shè)備進行數(shù)據(jù)交換等。檢測軟件模塊用于實現(xiàn)對二維數(shù)據(jù)的重構(gòu)、預處理，被測對象特征的提取和測量等。

圖2 測量末端執(zhí)行器及孔質(zhì)量檢測系統(tǒng)

典型的檢測工藝流程為

1）檢測準備：將測量末端執(zhí)行器安裝到機器人末端法蘭上，建立機器人工具坐標系和測量（工件）坐標系。

2）基于被檢驗工件（含工裝）的數(shù)模，機器人和工件的相位位姿，對機器人進行離線編程。

3）機器人帶著測量末端執(zhí)行器按設(shè)定的路徑對孔質(zhì)量依次進行檢測，同步顯示檢測結(jié)果。

4）生成孔質(zhì)量檢測報告。

測量末端執(zhí)行器視覺模塊的選型見表1。

表1 視覺模塊選型

孔徑測量：工業(yè)相機CH120-10GM搭配高放大倍率遠心鏡頭610052。CH120-10GM的像素尺寸為3.45μm，610052的放大倍率為0.75X，可以計算出圖像分辨率為3.45μm/0.75 =4.6μm。經(jīng)算法處理后圖像精度可達3μm，單張圖像視野可達18.8mm×13.8mm。

孔位測量：工業(yè)相機CA050-10GM搭配MF1628M-8MP鏡頭，綜合算法，精度可達30μm，單張圖像視野可達48mm×40mm。

綜合考慮拍照效果和安裝空間要求，采用雙條光為兩個相機補光。

4 孔位和孔徑測量

4.1 測量原理

孔徑測量對精度要求非常高，而且實際制出的孔在微觀下不規(guī)則，測量性能會受到多種因素（如毛刺、缺陷及變形等）的影響。

本文算法采用內(nèi)接圓，橢圓擬合和外接圓三種測量相結(jié)合的方式，如圖3所示，圖中黑白邊緣部分是一個典型的孔邊緣，三條線為三種測量方式分別得到的邊緣。其中紅線為內(nèi)接圓算法，綠線為橢圓擬合算法，黃線為外接圓算法對應(yīng)邊緣。

圖3 孔邊緣及三種算法的結(jié)果

本方法可以最大程度減小各類因素對孔徑測量的影響，極大提高算法精度。此外，本算法最大化的收集到了和孔徑有關(guān)的信息，對實際的不規(guī)則孔的孔徑測量有很大幫助。

采用與孔徑測量類似的方法獲得每個孔的圓心，并通過邊緣檢測獲得被測物體的邊緣。最終計算得出兩點間距離/點到線距離得到孔間距和孔邊距信息。

4.2 測量算法

1）預處理：高斯濾波，并根據(jù)需要使用二值化算法。

2）邊緣檢測：Canny邊緣檢測。

3）識別孔：先找出的所有邊緣中的閉合形狀，然后判斷這些形狀是否是待測孔。

找到每個形狀的中心（x，y）：

式中，n為形狀內(nèi)點的個數(shù)，P為形狀內(nèi)所有的點的集合。

計算形狀上每個點到中心的距離的集合d：

式中，C為形狀上所有點的集合。

計算點到中心距離集合的平均值mean和標準差std：

得到圓度結(jié)果

若圓度結(jié)果大于閾值，則可認為檢測到了孔。閾值越大，則越不規(guī)則的圓會被檢測到。

4）根據(jù)找到的孔的輪廓形狀，分別找出擬合圓的圓心和直徑Fx，F(xiàn)y，F(xiàn)d，最大內(nèi)切圓的圓心和直徑Ix，Iy，Id和最小外接圓的圓心和直徑Zx，Zy，Zd。①擬合圓：將圓心和直徑作為變量，通過最小二乘法擬合出結(jié)果。②最大內(nèi)切圓：遍歷輪廓內(nèi)部的所有點，并計算這些點到輪廓的距離。內(nèi)部距離輪廓最遠的點即為圓心，其對應(yīng)的距離即為半徑，以此找出最大內(nèi)切圓。③最小外接圓：找出輪廓上下左右邊緣的四個點并計算出其外接圓，如果輪廓中有點在這個外接圓外，則將輪廓中最遠的點引入并計算出其外接圓。不斷遍歷直到輪廓中所有點都在計算出的圓內(nèi)，即得到了最小外接圓。

5）將以上結(jié)果儲存，并和待測孔的真實孔徑一起作為訓練集，使用深度學習網(wǎng)絡(luò)進行訓練，并得到權(quán)重參數(shù)模型w。

6）進行足夠多的訓練后，即可得出圓心和孔徑：

軟件開發(fā)使用Python+OpenCV的方式進行算法開發(fā)和調(diào)試。整套系統(tǒng)以Python為基礎(chǔ)架構(gòu)，OpenCV構(gòu)建核心算法，tkinter提供UI支持。兩組相機的數(shù)據(jù)采用同時傳輸、同時處理、同時計算、同時顯示結(jié)果的方式，以最高的效率完成測量任務(wù)。

5 試驗驗證

5.1 精度試驗及評估

定制專用檢具來對孔質(zhì)量測量系統(tǒng)進行精度評估。檢具一共四件，每件基本形狀如圖4所示，每個孔的孔徑不一樣。

圖4 標準檢具示意圖

循環(huán)測量10次，計算孔位、孔徑和孔距的不確定度，以孔邊距為例進行說明?？孜患纯走吘?，包括上邊距、下邊距、左邊距、右邊距。如圖1，孔位置檢具上共有8個孔邊距，包括孔1的孔邊距3個（上、下、左），孔2的孔邊距2個（上、下），孔3的孔邊距3個（上、下、右）。

對孔邊距i（i=1，…，8），進行n次測量，測量值為所以孔邊距的最佳估計值：

采用A類評定方法，計算孔邊距的標準不確定度：

計算孔邊距的合并樣本標準偏差（4個標準件，對應(yīng)8×4=32個獨立測量值）：

孔邊距測量結(jié)果最佳估計值的A類標準不確定度為

計算擴展不確定度：

式中，k=2。

式中，xi為孔間距（孔邊距）的“真值”。

評估結(jié)果：孔位共有32個樣本，孔徑共有12個樣本，孔距共有8個樣本，對應(yīng)的不確定度和評估結(jié)論見表2。

5.2 機器人制孔的測量與評估

將孔質(zhì)量檢驗系統(tǒng)應(yīng)用到某直升機機器人制孔生產(chǎn)線上，對壁板件和平臺板等進行孔質(zhì)量檢驗，輸出結(jié)果和傳統(tǒng)的游標卡尺、孔徑千分表（或塞規(guī)）測量方法進行對比。測量和評估結(jié)果見表2。結(jié)果表明：孔質(zhì)量檢驗系統(tǒng)測量數(shù)據(jù)準確，效率高。

表2 測量和評估結(jié)果

（續(xù)）

6 結(jié)論

基于機器視覺和深度學習的測量方法可實現(xiàn)對孔位和孔徑的高精度測量?；谠摷夹g(shù)開發(fā)的孔質(zhì)量檢驗系統(tǒng)，具有測量精度高、效率高、智能化程度高和可拓展性強等特點，滿足機器人制孔的非接觸式檢驗要求，具有良好的推廣應(yīng)用前景。