丁成波，劉蜜，劉超

(貴州航天電器股份有限公司，貴州貴陽 550009)

0 前言

隨著科學(xué)技術(shù)的迅速發(fā)展，航天航空技術(shù)也得到了相應(yīng)的發(fā)展，各個(gè)系統(tǒng)所需要的元器件型號(hào)及種類逐漸增多，對其質(zhì)量及檢測過程要求也更加嚴(yán)格。目前微小元器件(如電容、電阻以及一些外形結(jié)構(gòu)類似芯片)尺寸和表面缺陷的檢測和識(shí)別方法主要是人工目識(shí)法，這種方法不僅勞動(dòng)強(qiáng)度大、主觀性強(qiáng)、效率低，檢測人員視覺易疲勞，而且會(huì)經(jīng)常出現(xiàn)錯(cuò)檢現(xiàn)象，存在質(zhì)量隱患。

因此，研究一種高速在線智能檢測方法以適應(yīng)微小元器件尺寸及表面缺陷檢測的高效率、高精度要求十分必要。隨著新一代深度技術(shù)的成熟和進(jìn)步，與傳統(tǒng)視覺算法相比，深度學(xué)習(xí)算法可以有效處理弱小缺陷、復(fù)雜場景、缺陷形態(tài)多變等增量場景，因此，在工業(yè)質(zhì)檢領(lǐng)域，運(yùn)用計(jì)算機(jī)視覺技術(shù)替代純?nèi)斯z測成為可能。

基于此，本文作者構(gòu)建了一套機(jī)器視覺和深度學(xué)習(xí)相結(jié)合的智能在線檢測系統(tǒng)。該系統(tǒng)不僅可以實(shí)現(xiàn)多品種微小元器件的自動(dòng)化在線檢測，而且還能夠?qū)ξ⑿≡骷砻嫒毕葸M(jìn)行識(shí)別,且系統(tǒng)檢測效率高、穩(wěn)定性強(qiáng)、識(shí)別準(zhǔn)確率高。這種方法既滿足自動(dòng)化檢測要求，又能有效解決傳統(tǒng)自動(dòng)化檢測的難點(diǎn)，為實(shí)現(xiàn)多品種大批量微小元器件的尺寸、位置、方向和缺陷在線檢測和識(shí)別提供了思路。

1 系統(tǒng)架構(gòu)

該智能識(shí)別系統(tǒng)框架如圖1所示，主要由傳統(tǒng)的機(jī)器視覺識(shí)別模塊和深度學(xué)習(xí)模塊兩個(gè)部分組成。傳統(tǒng)的機(jī)器視覺主要對微小元器件的尺寸、位置和方向進(jìn)行檢測，而深度學(xué)習(xí)則用于微小元器件表面缺陷識(shí)別。

圖1 系統(tǒng)架構(gòu)

1.1 視覺硬件設(shè)計(jì)

此檢測系統(tǒng)的視覺硬件結(jié)構(gòu)示意如圖2所示。其中相機(jī)采用的是500萬像素的CCD 工業(yè)相機(jī)，鏡頭選用1倍倍率的物方遠(yuǎn)心鏡頭。光照系統(tǒng)采用的是環(huán)形帶散射光源，該光源發(fā)射的光線經(jīng)反射后可以完全進(jìn)入鏡頭，成像質(zhì)量比較好。

圖2 視覺硬件結(jié)構(gòu)示意

1.2 算法流程設(shè)計(jì)

整個(gè)系統(tǒng)算法過程如圖3所示。首先將微小元器件擺放在載盤上并去除其表面附著的多余物或者灰塵；然后選擇需要實(shí)現(xiàn)的檢測功能，并啟動(dòng)設(shè)備；根據(jù)功能需求完成元器件的尺寸、定位、方向識(shí)別和缺陷檢查等，最后對微小元器件表面缺陷進(jìn)行識(shí)別。

圖3 算法流程設(shè)計(jì)

2 基于機(jī)器視覺的圖像處理

此套系統(tǒng)使用的圖像處理算法如圖4所示，主要包括了圖像灰度增強(qiáng)、圖像自動(dòng)二值化、圖像均值濾波、圖像邊緣特征提取以及模板匹配等圖像處理過程。

圖4 圖像處理過程

2.1 圖像灰度增強(qiáng)

在實(shí)際檢測過程中圖像的質(zhì)量往往達(dá)不到理想狀態(tài)，所以需要對圖像進(jìn)行一些增強(qiáng)處理以削弱外界環(huán)境對圖像造成的噪聲對圖像質(zhì)量的影響。

圖像灰度增強(qiáng)是為了增強(qiáng)微小元器件區(qū)域和載盤背景區(qū)域的對比度，使灰度圖像明暗對比顯著?；叶仍鰪?qiáng)是將灰度分段線性變換，將原圖像某點(diǎn)(,)的灰度(,)映射成新的圖像灰度(,)，即：

(,)=[(,)]

(1)

假設(shè)原圖像(,)的灰度范圍[,]，增強(qiáng)后圖像(,)的灰度范圍擴(kuò)展至[,]?；叶仍鰪?qiáng)的的函數(shù)表達(dá)式為

(2)

圖5是幾種常見微小元器件原始圖像，圖6顯示了圖像灰度增強(qiáng)后的圖像。從圖像中可以看出背景更黑、前景更亮了。

圖5 幾種常見微小元器件原始圖像

圖6 陶瓷濾波電容應(yīng)用灰度增強(qiáng)后的正反面效果

2.2 圖像的自動(dòng)二值化

為了使微小元器件圖像中特征信息和背景信息的對比度達(dá)到最佳效果，突出有用的特征信息，最終形成一幅灰度值只有0和1的圖像，使用了一種自動(dòng)二值化算法。算法原理如下：

假設(shè)圖像尺寸是一幅×大小的圖像,(,)是圖像中點(diǎn)(,)處像素的灰度值，灰度級(jí)為，則(,)∈[0,-1]。若灰度級(jí)的所有像素個(gè)數(shù)為，則第級(jí)灰度出現(xiàn)的概率為

(3)

其中:=0,1,2,…,-1，且

(4)

若把圖像中的像素按灰度級(jí)用閾值劃分成兩部分，即背景和目標(biāo)。背景灰度級(jí)為0～-1，目標(biāo)的灰度級(jí)為～-1。

背景和目標(biāo)出現(xiàn)的概率分別為

(5)

(6)

其中:+=1

背景部分的平均灰度值為

(7)

目標(biāo)部分的平均灰度值為

(8)

圖像的總平均灰度值為

(9)

圖像中背景和目標(biāo)的類間方差為

()=(-)+(-)

(10)

令的取值從0～-1變化，計(jì)算不同值下的類間方差()，使得()最大時(shí)的那個(gè)就是所要求的最佳閾值。圖7是圖像經(jīng)過自動(dòng)二值化后的圖像。

圖7 二值化后陶瓷濾波電容正反面的圖像

2.3 圖像濾波

圖像濾波是為了保證原有圖像信息不被破壞的情況下盡可能地抑制干擾噪聲，以期獲得質(zhì)量更高的圖像。根據(jù)陶瓷濾波電容圖像噪聲特點(diǎn)，選取中值濾波來消除或削弱圖像中的噪聲。中值濾波是用圖像像素點(diǎn)領(lǐng)域灰度值的中值來代替該圖像像素點(diǎn)的灰度值。中值濾波實(shí)現(xiàn)原理如下：

(，)=Median{(-，-)，，∈}

(11)

式中：(，)為原始圖像中點(diǎn)(，)的灰度值；(，)為圖像濾波后的灰度值；為濾波窗口。

此系統(tǒng)采用中值濾波方法進(jìn)行圖像處理的效果如圖8所示。

圖8 應(yīng)用中值濾波后的陶瓷濾波電容正反面效果

2.4 邊緣直線特征提取

對微小元器件邊緣直線的提取采用了霍夫變換算法?；舴蜃儞Q算法是將圖像邊緣每一個(gè)特征數(shù)據(jù)點(diǎn)轉(zhuǎn)換成平面中的一條曲線，根據(jù)共線數(shù)據(jù)特征點(diǎn)對應(yīng)的曲線相交于參數(shù)空間中一點(diǎn)的關(guān)系，讓邊緣直線的提取問題轉(zhuǎn)化為計(jì)數(shù)問題。直線的參數(shù)方程為：=cos+cos：其中：表示原點(diǎn)到直線的垂直距離；表示從原點(diǎn)到直線的連線與水平線的夾角。通過上述方程就可以把一個(gè)點(diǎn)(，)轉(zhuǎn)換成(，)的關(guān)系。通過霍夫變換算法提取到的陶瓷濾波電容器邊緣直線如圖9所示，圖中紅色線條表示陶瓷濾波電容的邊緣輪廓曲線。

圖9 陶瓷濾波電容正反面邊緣直線輪廓特征

根據(jù)邊緣輪廓曲線進(jìn)一步可以檢測出陶瓷濾波電容的尺寸(長度和寬度)、位置(中心坐標(biāo)和傾斜角度)、方向(正面和反面)以及極性(陰極和陽極)。

3 微小元器件類型識(shí)別

3.1 模板匹配算法

模板匹配算法是將一張固定大小和方向的圖像，運(yùn)用相應(yīng)的算法在一張大圖像中搜索與該圖像類似的目標(biāo)圖像的算法。其算法原理如下：

如若模板圖像用(，)表示，表示模板圖像寬度，表示模板圖像；被搜索區(qū)域用(，)表示，表示搜索區(qū)域的寬度，表示搜索區(qū)域的高度；用(，)表示模板圖像在被搜索區(qū)域中覆蓋區(qū)域(，)的左上角坐標(biāo)；模板圖像(，)和模板圖像在被搜索區(qū)域中覆蓋區(qū)域(，)的相關(guān)性用(，)表示，那么：

(，)=

(12)

其中：水平和豎直兩個(gè)方向上可以搜索的次數(shù)分別用和表示，=-，=-。因此，當(dāng)模板圖像在搜索區(qū)域完全搜索完成后，計(jì)算出最大(，)用(,)表示。并將(,)與設(shè)定的閾值進(jìn)行比較，若大于閾值則表示該覆蓋區(qū)域與模板圖像匹配，反之則不匹配。

3.2 實(shí)驗(yàn)及結(jié)果分析

根據(jù)模板匹配算法原理，首先建立如圖10所示陶瓷濾波電容正反面的模板樣圖，接著隨機(jī)抽取外觀正常的陶瓷濾波電容、電阻和三極管各33個(gè)隨機(jī)放入載盤(一個(gè)載盤可以放置100個(gè)產(chǎn)品)中進(jìn)行實(shí)驗(yàn)，最后記錄系統(tǒng)分類數(shù)據(jù)。

圖10 陶瓷濾波電容正反面模板樣圖

在測試過程中將系統(tǒng)檢測結(jié)果與人工檢測結(jié)果進(jìn)行對比，其結(jié)果如表1所示。

表1 幾種常見微小元器件混合檢測實(shí)驗(yàn)結(jié)果 單位：個(gè)

從表1可以看出:該系統(tǒng)可以準(zhǔn)確識(shí)別出各類微小元器件的類型，其識(shí)別準(zhǔn)確率均達(dá)到了100%。并且經(jīng)過人工復(fù)核發(fā)現(xiàn)該系統(tǒng)能夠準(zhǔn)確檢測出產(chǎn)品的尺寸、位置、方向以及極性。

4 基于深度學(xué)習(xí)的缺陷識(shí)別

4.1 模型建立

卷積神經(jīng)網(wǎng)絡(luò)(CNN)預(yù)測原理示意如圖11所示，輸入的樣本圖像首先經(jīng)過兩層卷積層(Conv+Relu)，網(wǎng)絡(luò)模型從圖像中初步學(xué)習(xí)和提取特征；然后進(jìn)入池化層(Max Pooling)，前兩個(gè)卷積層所提取的信息被壓縮；接著圖像前向傳播依次再經(jīng)過3個(gè)卷積層，進(jìn)一步提取學(xué)習(xí)圖像中的特征；最后進(jìn)入最大池化層壓縮信息，傳入全連接層，特征矩陣2維壓縮為一維特征向量，再由softmax將一維特征向量映射到具體的某一個(gè)分類。

圖11 CNN預(yù)測原理示意

4.2 學(xué)習(xí)效果評價(jià)

在采集大量微小元器件圖像后，將缺陷類別主要分為劃痕、多余物、色斑和缺損，如圖12所示。

圖12 不同缺陷類型圖像

根據(jù)缺陷存在的實(shí)際情況將圖像切分為4個(gè)部分。如圖13所示。

圖13 區(qū)域分割

接著經(jīng)過人工標(biāo)注，設(shè)計(jì)并建立深度學(xué)習(xí)網(wǎng)絡(luò)，設(shè)置初始參數(shù)。并將人工標(biāo)注的樣本圖像輸入，進(jìn)行模型訓(xùn)練。該模型訓(xùn)練效果如圖14所示，其最終學(xué)習(xí)準(zhǔn)確率達(dá)96%。

圖14 模型訓(xùn)練效果

進(jìn)一步地，設(shè)計(jì)數(shù)據(jù)記錄與統(tǒng)計(jì)模塊，模型訓(xùn)練完成后在檢測裝置視覺模塊中試運(yùn)行，機(jī)器篩選與人工篩選串行(系統(tǒng)篩選后人工篩選)，收集系統(tǒng)的分選準(zhǔn)確率。首先人工挑選陶瓷濾波電容、電阻和三極管有缺陷和無缺陷產(chǎn)品各15只；接著隨機(jī)將90只產(chǎn)品放入載盤中進(jìn)行檢測并記錄檢測時(shí)間；最后將系統(tǒng)檢測的每一只產(chǎn)品結(jié)果與人工復(fù)核結(jié)果按一一對應(yīng)的方法進(jìn)行比較，其結(jié)果見表2。

表2 幾種常見微小元器件缺陷檢測實(shí)驗(yàn)結(jié)果 單位：個(gè)

從表2中可以得出:缺陷識(shí)別準(zhǔn)確率為95.56%，其中無法識(shí)別類的4個(gè)產(chǎn)品經(jīng)過人工復(fù)核發(fā)現(xiàn)其缺陷特征不顯著，受光照影響后特征進(jìn)一步被削弱導(dǎo)致系統(tǒng)無法識(shí)別。

另外，根據(jù)系統(tǒng)記錄時(shí)間檢測90個(gè)產(chǎn)品總耗時(shí)約為30 s，平均檢測效率約為0.344 s/個(gè)。人工檢測90只產(chǎn)品約耗時(shí)2 min，較之效率約提升了4倍。

5 結(jié)論

針對微小元器件的尺寸、位置、方向和缺陷自動(dòng)化在線檢查和識(shí)別難的問題，提出了一種基于機(jī)器視覺和深度學(xué)習(xí)相結(jié)合的智能在線檢測方法，該方法構(gòu)建的系統(tǒng)檢測效率約0.344 s/個(gè)，尺寸、方向和位置檢測準(zhǔn)確率達(dá)100%，缺陷識(shí)別準(zhǔn)確率約為95.56%。相比傳統(tǒng)的人工目識(shí)法具有識(shí)別準(zhǔn)確率高、穩(wěn)定性強(qiáng)優(yōu)點(diǎn)，具有良好的實(shí)用價(jià)值，同時(shí)也為實(shí)現(xiàn)了大批量多品種的微小元器件在線檢測提供了參考。