朱劉盅，李競擇，吳 磊，季偉偉，嚴萬萬，胡姊娟

(1.河海大學 商學院，江蘇 南京 210098;2.江東科技有限公司，江蘇 南通226400;3.南京理工大學 計算機科學與工程學院，江蘇 南京 210094)

光纖是用來導光的透明介質(zhì)纖維，靠著體積小、重量輕、原材料來源廣、價格低廉等優(yōu)點，近幾年大量應(yīng)用于通信技術(shù)，已經(jīng)取代銅導線成為長距離的通訊線路材料，在現(xiàn)代電信網(wǎng)中起著十分重要的作用。

光纖通信作為二戰(zhàn)以來最有意義的四大發(fā)明之一，奠定了網(wǎng)絡(luò)信息傳輸?shù)幕?，承載了全球90%以上的數(shù)據(jù)流量[1]。并且，光纖通信技術(shù)具有傳輸頻帶寬、容量大、損耗低、抗干擾能力強等特點，經(jīng)過飛速發(fā)展，已經(jīng)成為世界新技術(shù)革命的重要標志和未來信息社會中各種信息的主要傳送工具[2]。

與此同時，隨著計算機科學技術(shù)的發(fā)展，人們把更多的目光投向了機器視覺領(lǐng)域。非接觸、高效率、便捷客觀等優(yōu)點，使得機器視覺在工業(yè)缺陷檢測方面得到更廣泛的應(yīng)用[3-5]。比如孫衛(wèi)紅等[6]提出通過像素點互補算法增強圖像裂縫的對比度，更好地檢測樁護壁裂縫區(qū)域。胡浩等[7]對缺陷區(qū)域的灰度、灰度梯度及形態(tài)進行分析分類，提高了小瓦磁缺陷檢測率。Zhang等[8]利用二維圖像搜索轉(zhuǎn)換為一維特征匹配，提出了一種改進的圖像相減方法，用于卷筒紙膠印的缺陷檢測。根據(jù)檢測原理的不同，缺陷檢測方法可以分為統(tǒng)計方法、過濾方法[8]、模型方法、結(jié)構(gòu)方法和基于學習的方法[9]。統(tǒng)計方法包括共生矩陣、形態(tài)學[10]、自相關(guān)函數(shù)等，通過計算圖像像素的灰度分布來獲取缺陷信息[11,12]。過濾方法采用傅里葉變換[13]、Gabor濾波等濾波方法[14,15]去除圖像噪聲，增強缺陷特征以完成檢測。結(jié)構(gòu)方法通過分析紋理信息，采用紋理分割和紋理識別進行缺陷檢測。而基于學習的方法通常以支持向量機(Support vector machine,SVM)[16]、視覺幾何組(Visual geometry group,VGG)[17]network模型、殘差神經(jīng)網(wǎng)絡(luò)(Residual neural network,ResNet)[18]、AlexNet[19]等神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，使用已知樣本訓練的分類器來區(qū)分缺陷樣本和非缺陷樣本。

在光纖制造過程中，也會產(chǎn)生瑕疵，而當前工廠多采用人工判斷方式，此方法往往存在標準不統(tǒng)一、人員不固定、外觀數(shù)據(jù)無法追溯、效率低下等問題。并且封裝的光纖缺陷檢測方法很少，所以本文提出了一種基于Gabor濾波器的光纖缺陷檢測系統(tǒng)，利用Gabor小波良好的空間局部性與方向選擇性，對光纖圖像在水平方向濾波以消除背景紋理對瑕疵檢測的影響并增強瑕疵特征，再對圖像進行形態(tài)學操作進一部增強瑕疵特征，通過閾值分割提取瑕疵特征，然后對圖像進行分塊處理，結(jié)合灰度信息與形狀信息對瑕疵區(qū)域進行篩選，達到瑕疵檢測的目的。本文的主要工作包括:

(1)使用一組包括中值濾波和Gabor濾波的濾波器來消除垂直背景紋理的影響，增強缺陷特征。

(2)由于標簽、小氣泡等原因，在過濾和膨脹操作后仍存在一些不屬于提取缺陷的非缺陷特征。本文將過濾后的圖像分割成相同大小的子塊，根據(jù)子塊缺陷特征所包含的區(qū)域可以將這些子塊分為缺陷塊和非缺陷塊。

(3)本文從所有小塊中選擇缺陷區(qū)域，此區(qū)域由缺陷塊及其鄰近區(qū)域組成，然后根據(jù)原始圖像對應(yīng)的形狀、面積、位置甚至灰度值篩選出真正有缺陷的區(qū)域。根據(jù)定義的公式計算每個缺陷區(qū)域的權(quán)重，從而判斷一幅圖像中是否存在缺陷。

(4)最后，將本文提出的方法與傳統(tǒng)方法和兩種基于學習的方法對比，并對實驗結(jié)果進行了分析。

1 光纖缺陷檢測系統(tǒng)

1.1 數(shù)據(jù)來源

本文的數(shù)據(jù)集是從實際生產(chǎn)環(huán)境中采集的光纖圖像，每個圖像都由一個特殊的相機所捕捉，可以看作是纏繞在軸上的光纖表面的擴展視圖。圖1展示了幾個光纖圖像的樣本，其中圖1(a)是一個合格的圖像，圖1(b)～(d)是有缺陷的圖像，每張圖片尺寸為4 096×10 000。這個數(shù)據(jù)集包含正常圖像和8類缺陷圖像，缺陷類別包括疵點、堵點、機械損傷、氣泡、油污、磕傷凹槽、膠水、異物。

圖1 光纖圖像樣本

實驗所用的數(shù)據(jù)集包含正常圖像與4類瑕疵圖像，即疵點、機械損傷、油污、磕傷凹槽。根據(jù)光纖排線規(guī)律，瑕疵多為縱向，部分典型瑕疵如圖2所示。在實際獲得的光纖圖像中，會有背景紋理、光纖頭、指紋以及標簽等噪音混雜其中，對瑕疵的提取及檢測帶來極大干擾。

圖2 部分典型瑕疵

1.2 流程圖

本文提出了一種基于Gabor濾波器的瑕疵檢測方法。首先，利用中值濾波器進行去噪，然后使用Gabor濾波器在增強瑕疵特征的同時減輕背景紋理的影響。然后，通過形態(tài)學操作與二值化方法初步提取瑕疵特征，再對光纖圖像分割進行分塊操作，根據(jù)每個塊包含瑕疵特征的多少將其劃分為瑕疵塊與正常塊。最后，考慮到分散的特征與瑕疵塊缺少形狀與位置特征，選取瑕疵塊的連通域作為瑕疵區(qū)域。由于單一的特征不能有效地表示瑕疵，所以需要根據(jù)多個判定公式，提取瑕疵區(qū)域及其在原圖上的灰度圖作為聯(lián)合特征，再根據(jù)提取到的聯(lián)合特征，為每個瑕疵區(qū)域賦予權(quán)重，比對整幅圖像的權(quán)重與閾值，將權(quán)重大于閾值的圖像判定為有瑕疵的光纖圖像。圖3為本瑕疵檢測系統(tǒng)的流程圖。

圖3 光纖瑕疵檢測系統(tǒng)的流程圖

1.3 Gabor濾波器與中值濾波

Gabor變換是一種重要的時頻分析方法，在空間域是一個正弦波與高斯核函數(shù)的卷積，在頻率域是經(jīng)過平移的高斯函數(shù)[20]，核函數(shù)定義為

g(x，y;λ，θ，σ，γ)=

(1)

實數(shù)部分

(2)

虛數(shù)部分

(3)

其中x′與y′由下式確定

x′=xcosθ+ysinθ

(4)

y′=-xsinθ+ycosθ

(5)

式(1)～式(5)中,λ為余弦函數(shù)的波長，θ為平行條帶的方向因子，σ為高斯函數(shù)的標準差，γ為空間縱橫比，ψ控制余弦函數(shù)的相位偏移。

中值濾波是一種非線性濾波，利用像素點領(lǐng)域灰度值的中值來代替像素點的灰度值，讓周圍的像素值接近真實值，從而消除孤立的噪聲點，并且中值濾波在消除椒鹽噪聲的同時能較好保留圖像的邊緣細節(jié)。在實驗的光纖圖像中，存在一些由標簽、反光等造成的噪聲，與椒鹽噪聲類似，因此本文選取窗口大小為5的中值濾波器，可以很好地濾去圖像背景中的噪聲。

1.4 基于Gabor濾波器的瑕疵特征提取

光纖圖像經(jīng)過中值濾波后，很好地濾去了背景中灰度突變的噪聲?？紤]到光纖圖像存在豎直方向上的背景紋理，因此采用尺度為13、角度為90°的二維實Gabor濾波器對光纖圖像進行濾波，可以實現(xiàn)在濾去光纖圖像縱向紋理信息的同時增強瑕疵特征，然后再對圖像進行二值化處理與形態(tài)學濾波提取瑕疵特征，具體效果如圖4所示。

圖4 初步提取到的瑕疵特征

1.5 瑕疵區(qū)域提取

在提取瑕疵特征值的過程中，仍存在一些如光纖頭、指紋等非瑕疵特征，這些非瑕疵特征經(jīng)過二值化后與瑕疵特征顏色一致，但形狀、大小、方差等方面存在差別，因此需進一步對提取到的瑕疵特征進行篩選。

首先，本文對經(jīng)過特征提取的圖像I進行分塊處理，將其分解為a×a像素的塊Imn，m和n為當前坐標，用于確定小塊在原圖像中的具體位置，塊Imn的瑕疵密度定義為

(6)

根據(jù)每塊Imn的瑕疵密度不同，按照統(tǒng)計學方法求得閾值ρs，將塊瑕疵密度大于ρs的Imn置為瑕疵塊Ak，否則置為正常塊。經(jīng)過一系列的實驗，取ρs為0.23，具體效果如圖5所示。

圖5 瑕疵區(qū)域檢測

為了保留形狀信息與位置信息，對每個瑕疵塊Ak，取其連通區(qū)域Ft。圖6展示了子塊Imn、瑕疵塊Ak與連通域Ft的關(guān)系。圖中包含了2個連通域，白色子塊代表瑕疵塊Ak，黑色子塊代表正常塊，Ak及其鄰域組成連通域Ft如圖所示。

圖6 子塊、瑕疵塊與連通域的關(guān)系

然后考慮用Gabor濾波器提取到的瑕疵及其對應(yīng)原圖的灰度值對Ak與Ak對應(yīng)原圖的子塊Ik做乘法運算，對每一個瑕疵塊Ak，計算瑕疵權(quán)重Wk,k=1,2,…,n。每塊連通區(qū)域的瑕疵權(quán)重Wk按如下公式計算

(7)

根據(jù)式(8)計算整幅圖像的瑕疵權(quán)重W

(8)

Wd的表達式為

(9)

式中:w3為權(quán)重值，Rd表示面積較小且離散的區(qū)域，c為常數(shù)。計算每張圖像的W，當瑕疵權(quán)重W超過標準瑕疵權(quán)重時，判定光纖產(chǎn)品不合格，經(jīng)過一系列的計算與實驗，取c為5，μ為20。

2 實驗結(jié)果分析

2.1 實驗數(shù)據(jù)

本文數(shù)據(jù)集包含311幅光纖圖像，包括正常圖像與4類瑕疵圖像。瑕疵類別包括機械損傷、磕傷凹槽、疵點、油污。正常圖像的數(shù)量為304，瑕疵圖像的數(shù)量為7，表1展示了瑕疵數(shù)量的分布情況。每幅圖像的分辨率為4 096×100 000，利用5折交叉驗證法評估不同方法的檢測效果。

表1 瑕疵數(shù)量的分布

為了更好地評判算法的效果，本文定義FNR(False negative rate)為漏檢率，用于衡量瑕疵樣本被誤判為正常樣本的比率;定義FPR(False positive rate)為誤檢率，用于衡量正常樣本被誤判為瑕疵樣本的比率。FNR與FPR用如下公式計算

(10)

(11)

式中:FN是假反例的數(shù)量，TN是真反例的數(shù)量，F(xiàn)P是假正例的數(shù)量，TP代表真正例的數(shù)量。

本文采用方差表示樣本波動，VarianceFNR與VarianceFPR定義為如下公式,其中k為使用的測試樣本數(shù)量

(12)

(13)

2.2 對比實驗

將本文提出的方法與3種檢測方法的效果比對進行評估，分別是閾值分割法、基于VGG16的方法以及基于ResNet50的方法?；陂撝捣指畹姆椒〞仍O(shè)置一個閾值來粗略地提取瑕疵特征，然后利用形狀特征濾去如光纖頭的噪聲?；赩GG16與基于ResNet50的方法使用子塊來訓練分類器，然后計算整幅圖像瑕疵塊的比例。

考慮到訓練的有效性以及檢測的效率，每幅光纖圖像被分為156×64的小塊，每個小塊的分辨率為64×64，這樣一幅圖像會被分割成9 984個小塊，選取所有包含瑕疵的小塊，共40 258塊。為了保證數(shù)據(jù)的均衡，隨機選取100幅正常圖像，隨機在每幅圖像中挑選416個小塊，將這些小塊以及所有包含瑕疵的小塊送入5折交叉驗證法。表2展示了不同方法瑕疵檢測的結(jié)果。

表2 不同方法在瑕疵檢測任務(wù)上的對比

盒圖可以更直觀地展現(xiàn)一組數(shù)據(jù)的離散程度，圖7展示了4種方法檢測結(jié)果的盒圖，寬代表均值，高表示標準差。瑕疵樣本測試集上的盒圖如圖(a)所示，正常樣本測試集上的盒圖如圖(b)所示。

如表2和圖7所示，因為缺陷特征不能通過閾值分割完全提取出來，這使得在檢測過程中丟失太多信息，所以閾值分割的方法識別效果很差。其次，實驗數(shù)據(jù)集為現(xiàn)場實際采集，所以訓練集的數(shù)目有限，這就導致用VGG16或ResNet-50訓練的分類器無法學習缺陷中包含的所有特征，所以它們的效果也不如本文的方法。此外，判斷每幅圖像，基于深度學習的方法需要近萬次檢測，以VGG16為例，需要考慮卷積核輸出特征映射的長度以及卷積層中輸出通道的數(shù)量，因此盡管單個測試花費很短的時間，但是仍然需要幾乎1 min來檢測圖像。本文提出的方法雖然也涉及到分塊等預處理操作，但它只包括對像素的運算，時間復雜度僅為O(n4)。最重要的是，光纖圖像中還存在一些與缺陷特征相似但不屬于缺陷的特征，基于閾值分割的方法和基于深度學習的方法都不能有效區(qū)分這些特征。因此可以證明本文提出的方法比這3種比較方法都更準確、更穩(wěn)定。

圖7 測試集上檢測結(jié)果的盒圖

3 結(jié)束語

本文提出了一種基于Gabor濾波器的光纖缺陷檢測系統(tǒng)。首先，為了消除背景紋理的影響，增強缺陷特征，使用了一組包括中值濾波和Gabor濾波的濾波器，經(jīng)過形態(tài)學運算和閾值分割，可以初步提取缺陷特征。其次，將濾波后的圖像分成大小相同的子塊，根據(jù)每個子塊包含的缺陷特征的數(shù)量，將這些子塊分為有缺陷塊和無缺陷塊。最后，由于缺陷經(jīng)常表現(xiàn)為一個區(qū)域，它們可以被看作是一組有缺陷的塊，此區(qū)域由多個缺陷塊和它的鄰居組成，所以可以根據(jù)原始圖像的灰度和缺陷區(qū)域的形狀、位置進行篩選后，對圖像進行判斷。實驗結(jié)果表明，本文提出的方法與閾值分割法、基于VGG16的方法以及基于ResNet50的方法相比能夠更準確、有效地檢測光纖缺陷。