袁忠大，程秀全，王大偉

(1.廣州民航職業(yè)技術(shù)學(xué)院飛機維修工程學(xué)院，廣東廣州 510403；2.中國民航大學(xué)航空工程學(xué)院，天津 300300)

0 前言

隨著飛機飛行安全水平的提高，飛機機械原因所導(dǎo)致的事故比例減少，而人為差錯導(dǎo)致的航空安全事故比例則不斷上升。因此，如何充分考慮與識別民航維修中的人為因素[1-3]，是科技工作者的重要課題。

近年來，國內(nèi)外學(xué)者針對機器視覺在產(chǎn)品缺陷或設(shè)備故障檢測中的應(yīng)用進行了大量研究。徐立青[4]基于機器視覺對汽車精密零件表面缺陷展開了自動檢測研究。姚金寶[5]基于機器視覺對拉擠生產(chǎn)線斷紗缺陷檢測進行了研究。張良安等[6]基于機器視覺與深度學(xué)習(xí)對飛機防護柵裂紋檢測系統(tǒng)進行了深度研究。邵先鑫[7]基于機器視覺技術(shù)，對金屬表面缺陷檢測進行了設(shè)計與研究。王清晨[8]基于機器視覺對飛機板件裂紋測量系統(tǒng)進行了研究。魏秀琨等[9]系統(tǒng)地研究了機器視覺在軌道交通系統(tǒng)狀態(tài)檢測中的應(yīng)用。WEI等[10]基于計算機視覺技術(shù)對鋼軌波紋進行了識別與評價。WEI等[11]基于圖像識別及機器深度學(xué)習(xí)技術(shù)對受電弓載玻片進行了缺陷檢測。YU等[12]基于由粗到精的卷積神經(jīng)網(wǎng)絡(luò)模型對鋼軌表面缺陷進行檢測。

為運用機器視覺技術(shù)輔助飛機外觀檢查，本文作者通過收集飛機維修一線的飛機檢查圖片，并運用圖像處理與特征提取、光學(xué)、傳感器、計算機硬件等技術(shù)，設(shè)計一套自主化的基于機器視覺的飛機部件表面無損檢測模型。

1 機器視覺技術(shù)的工作流程

機器視覺是代替人類的視覺和視覺判斷能力，采用相機和計算機完成檢測并執(zhí)行巡檢任務(wù)；它對圖像進行自動采集和分析，以獲得控制所需的數(shù)據(jù)，評價一個特定的部分。

典型的基于PC的機器視覺系統(tǒng)由圖像采集系統(tǒng)、圖像處理系統(tǒng)、動作執(zhí)行系統(tǒng)組成，如圖1所示。

圖1 機器視覺的一般模式

圖像采集系統(tǒng)由相機、鏡頭、光源等硬件組成，圖像采集是將物體的光信號轉(zhuǎn)換為電信號，進而得出所需要的數(shù)字圖像。

處理系統(tǒng)首先會對此圖像進行預(yù)處理，例如照明校正、二進制轉(zhuǎn)換、過濾和顏色提取等，最終對提取出的特征進行識別、測量、判斷等；得出的信息傳輸給動作執(zhí)行系統(tǒng)，它會對得到的信息執(zhí)行相應(yīng)的動作，例如若判斷一個部件上面有瑕疵，則需要將它剔除出來。

綜上，機器視覺檢測的步驟[13-15]一般是：首先由CCD等圖像采集裝置獲取被測部件的數(shù)字化圖像，傳輸?shù)接嬎銠C中；再由程序?qū)D像進行分析處理得到相應(yīng)的檢測信息，并形成對被測部件的判斷決策，該決策信息最終將被發(fā)送到執(zhí)行裝置，完成對被測部件的檢測。

2 硬件簡介

2.1 CCD相機

CCD相機以體積小、數(shù)據(jù)傳輸速度快、性能穩(wěn)定、分辨率清晰等優(yōu)點[16]得到越來越廣泛的應(yīng)用。CCD相機根據(jù)掃描方式的不同可以分為線陣相機和面陣相機。線陣相機的單幀只能獲得一行像素的圖像信息，所有被拍攝的物體需在采集時間內(nèi)，從感光芯片前方向前直線運動才能拼湊成一張完整的圖像；面陣相機單幀可以獲得整個圖像信息。

CCD廠商一般會提供豐富的函數(shù)SDK庫，可以對相機進行二次開發(fā)，將它應(yīng)用到軟件中。如果不需要在機器視覺軟件里控制工業(yè)相機，也可以用廠商提供的軟件進行設(shè)置。

2.2 工業(yè)鏡頭

鏡頭的主要作用是將目標物體的光線匯聚，成像到相機傳感器所在的平面上。鏡頭的質(zhì)量直接影響圖像質(zhì)量，從而影響機器視覺系統(tǒng)的整體性能。所以，在機器視覺系統(tǒng)設(shè)計的環(huán)節(jié)中，合理地選擇和安裝鏡頭非常重要。

無損系統(tǒng)的檢測相機采用德國工業(yè)相機Basler4096-80 km+200 mm接圈Schneider Makro-Symmar5.6/80，檢測光源采用CCS LNSP 100BL-DFSL4。

3 系統(tǒng)開發(fā)與應(yīng)用

光照射到飛機部件表面會產(chǎn)生反射，反射光會被鏡頭捕捉。圖2所示為鏡頭捕捉的飛機部件表面反射圖像，包括機身劃痕、油漆起皮、鉚釘脫落、雷擊點及發(fā)動機進氣道劃痕。

圖2 鏡頭獲取的飛機部件表面圖像

將圖2中的圖像傳送至主機，通過主機中運行的軟件對圖像進行分析，機器視覺軟件界面如圖3所示。

圖3 機器視覺軟件界面

軟件界面左側(cè)為工具箱，具體為圖像、定位、測量、檢測、識別等子工具箱。其中圖像子工具箱中有導(dǎo)入圖像、圖像預(yù)處理、圖像平移等功能；定位子工具箱中有找點、找直線、找圓等功能；測量子工具箱中有卡尺、間隙測量、顏色提取等功能；檢測子工具箱中有Blob分析、劃痕檢測、邊緣缺陷等；識別子工具箱中有條碼識別、二維碼識別、分類器等。界面中部為流程圖及UI設(shè)計器、UI腳本編輯器；界面右側(cè)為算子塊屬性。

用機器視覺對飛機部件進行無損檢測的具體過程為：導(dǎo)入飛機維修員在一線維修工作中所拍攝圖片，并對它進行預(yù)處理；對圖片中的目標區(qū)域進行特征提??；利用統(tǒng)計信息量對飛機部件圖片進行識別和分析。

3.1 導(dǎo)入圖像

導(dǎo)入圖像界面(以機身劃痕為例)如圖4所示。

圖4 導(dǎo)入圖像界面

界面左側(cè)為導(dǎo)入圖像顯示，右側(cè)上部為導(dǎo)入路徑，具體有現(xiàn)場拍照及本地上傳2種方式；右側(cè)下部為圖片循環(huán)加載、畸變校正及坐標系3種功能。其中，圖片循環(huán)加載可利用相機實時拍攝圖像或?qū)Ρ镜匚募A圖像進行連續(xù)處理，完全實現(xiàn)自動化機器視覺檢測。

3.2 圖像預(yù)處理

由于拍攝環(huán)境噪聲等的影響，圖片質(zhì)量通常并不理想，直接影響后續(xù)算法對圖像的特征提取等，因而需要先對圖像進行預(yù)處理，這是整個機器視覺過程的重要組成部分。

以機身劃痕為例，此系統(tǒng)對拍攝圖片進行了以下預(yù)處理。

3.2.1 通道提取

在處理彩色圖像前需進行降維處理，常用的方法有圖像灰度化處理和圖像通道拆分。為保證圖像處理精度，采用HSV顏色模型。用以下公式[17]將常用的RGB顏色模型轉(zhuǎn)成HSV顏色模型：

(1)

(2)

V=Imax

(3)

將RGB圖像轉(zhuǎn)換為HSV圖像后，圖像顏色由彩色變?yōu)楹诎?，其區(qū)域特征更明顯，為下一步的特征提取及系統(tǒng)分析打好基礎(chǔ)，處理結(jié)果如圖5所示。

3.2.2 Sobel濾波處理

Sobel算子主要用作邊緣檢測，它是以離散性差分算子計算凸顯兩素函數(shù)的灰度之近似值。在圖像的任何一點使用Sobel算子，將會產(chǎn)生對應(yīng)的灰度矢量或法矢量。

該算子包含2組3×3的矩陣，分別為橫向和縱向，將其與圖像做平面卷積，即可分別得出橫向及縱向的亮度差分近似值，若以A代表原始圖像，Gx及Gy分別代表經(jīng)橫向及縱向邊緣檢測的圖像灰度值，其公式如下：

(4)

(5)

圖像每一像素的橫向以及縱向灰度值通過以下公式計算該點灰度的大?。?/p>

(6)

Sobel濾波處理結(jié)果如圖6所示。

圖6 Sobel濾波處理結(jié)果

3.2.3 二值化處理

利用OpenCV中的函數(shù)cvThreshold(dst，dst，230，255，CV_THRESH_BINARY_INV)實現(xiàn)圖片的二值化，可手動指定一個閾值，以此閾值進行二值化處理。

處理結(jié)果如圖7所示?？芍航?jīng)過二值化處理后，圖片中的機身劃痕特征更加明顯。

圖7 二值化處理結(jié)果

3.3 特征提取及系統(tǒng)分析

采用周期法和局部二值化法對預(yù)處理后的圖像進行分析[18]。通過周期法對圖像相鄰周期的像素進行比較，得到差異圖像，再將差異圖像二值化，利用二值圖的Blob分析法對圖像中相同像素的連通域進行分析，得到相關(guān)的特征量，如圖像中斑點的數(shù)量、位置、形狀和方向，還可提供相關(guān)斑點間的拓撲結(jié)構(gòu)，從而檢出缺陷。

上述局部二值化法可以把灰度圖像轉(zhuǎn)換成二值圖像。把大于某個臨界灰度值的像素灰度設(shè)為灰度極大值，把小于這個值的像素灰度設(shè)為灰度極小值，將灰度圖像變換成二值圖像，再利用二值圖的Blob分析法得到相關(guān)的特征量，從而檢出缺陷。

定位單個Blob的方法是計算此連通區(qū)域的面積和重心，區(qū)域面積計算是像素累加的過程，計算公式如下所示[19]：

(7)

式中：D為連通區(qū)域像素的集合。

重心坐標計算將當前像素點的灰度值作為參考值，具體計算過程為

(8)

基于Blob分析，編寫圖像處理代碼并對預(yù)處理后的圖像進行分析。由圖8可知：通過對Blob的檢測，圖像中的缺陷均能得到精確檢測及定位。

系統(tǒng)針對不同圖像可自動重復(fù)上述步驟，利用上位機統(tǒng)計軟件得到表1數(shù)據(jù)，可知：基于機器視覺的飛機部件表面無損檢測模型的檢測準確率為100%，完全能夠滿足航空公司對安全效益和經(jīng)濟效益的要求，同時符合民航業(yè)內(nèi)對智慧民航的發(fā)展需求，具有極其重要的行業(yè)應(yīng)用和推廣價值。

表1 缺陷檢測結(jié)果

4 結(jié)論

(1)航空公司的航線和定檢檢查工作量較大，需要人工不斷進行目視檢查，由于人為因素的影響，經(jīng)常導(dǎo)致不必要的事故隱患。文中基于機器視覺技術(shù)開發(fā)了飛機部件表面無損檢測系統(tǒng)，有效避免了人為因素在飛機維修目視檢查中的負面影響，大大提高了航空公司的安全效益和經(jīng)濟效益；同時也為國產(chǎn)大飛機的使用和維護奠定了可靠的檢修技術(shù)基礎(chǔ)。

(2)未來項目團隊將借助無人機自動飛行對飛機相關(guān)部件表面進行圖像提取，同時可借助無人機飛行控制系統(tǒng)的升級實現(xiàn)整個飛機檢修任務(wù)在無人干預(yù)的情況下全自動執(zhí)行。最終則是經(jīng)過數(shù)據(jù)的采集、分析處理，通過人工智能檢測缺陷，提升民航維修的自動化和智能化程度，從而切實提高航空公司的安全和經(jīng)濟效益。