（西南科技大學(xué) 信息工程學(xué)院，綿陽(yáng) 621000）

0 引言

熒光磁粉探傷技術(shù)是一種在鐵磁性材料表面缺陷檢測(cè)中廣泛使用的方法。鐵磁性材料經(jīng)過(guò)磁化后，其表面缺陷處會(huì)產(chǎn)生漏磁場(chǎng)吸附大量的熒光磁粉，并在紫外光照射下發(fā)出明亮的黃綠色熒光，從而形成磁痕圖像，可通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)對(duì)磁痕圖像進(jìn)行處理，以實(shí)現(xiàn)對(duì)缺陷的檢測(cè)。受工件表面情況、探傷工藝等影響，熒光磁粉聚集成像的情況較為復(fù)雜[1]，且由于紫外光中含有紫光成分，將會(huì)在工件表面形成反光區(qū)域，如何在噪聲和反光干擾的情況下對(duì)磁痕圖像缺陷進(jìn)行有效檢測(cè)是計(jì)算機(jī)視覺(jué)算法的難點(diǎn)問(wèn)題。

目前，計(jì)算機(jī)視覺(jué)技術(shù)已被廣泛應(yīng)用于熒光磁粉探傷中，并取得了不錯(cuò)的研究成果?？到2]等人通過(guò)不變矩特征匹配，實(shí)現(xiàn)了火車輪對(duì)熒光磁粉裂紋的識(shí)別。張靜[3]等人根據(jù)幾何特征、紋理特征、灰度特征等信息實(shí)現(xiàn)了對(duì)車削類工件磁痕圖像缺陷的識(shí)別。李遠(yuǎn)江[4]等將幾何特征和支持向量機(jī)（SVM）結(jié)合，實(shí)現(xiàn)了對(duì)真實(shí)裂紋的識(shí)別。楊志軍[5]等通過(guò)梯度形態(tài)學(xué)和幾何特征實(shí)現(xiàn)了對(duì)焊縫裂紋的自動(dòng)識(shí)別。牛乾[6]等人將灰度共生矩特征和多層感知機(jī)進(jìn)行結(jié)合，實(shí)現(xiàn)了對(duì)缺陷工件的識(shí)別。游斌相[7]等提取小波特征并結(jié)合BP神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)兩種裂紋缺陷的識(shí)別。馬濤[8]等人融合了圖像的幾何特征和紋理特征，并結(jié)合SVM實(shí)現(xiàn)了對(duì)裂紋的提取。但上述大多為基于傳統(tǒng)圖像處理和機(jī)器學(xué)習(xí)的方法，在實(shí)際生產(chǎn)的復(fù)雜環(huán)境下易受噪聲和反光影響，檢測(cè)精度不高，且算法的泛化能力較差。

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在目標(biāo)檢測(cè)上相比于傳統(tǒng)圖像處理和機(jī)器學(xué)習(xí)方法準(zhǔn)確率更高，魯棒性更好，為磁痕圖像缺陷檢測(cè)提供了新的思路。本文將深度學(xué)習(xí)應(yīng)用于熒光磁粉探傷中，提出一種基于雙線性對(duì)稱NASNet（BS-NASNet）的磁痕圖像缺陷檢測(cè)算法。該算法結(jié)合雙線性CNN模型和NASNet網(wǎng)絡(luò)形成一種新的BS-NASNet網(wǎng)絡(luò)模型，能夠在噪聲和反光干擾的情況下實(shí)現(xiàn)對(duì)磁痕圖像缺陷的高精度檢測(cè)。

1 算法原理

雙線性模型能夠?qū)Υ藕蹐D像中缺陷和非缺陷部分的差異進(jìn)行有效檢測(cè)，NASNet網(wǎng)絡(luò)能夠獲得更為準(zhǔn)確豐富的圖像特征，將兩種算法進(jìn)行結(jié)合，有利于充分提取缺陷和非缺陷間的細(xì)微差異，提高磁痕圖像缺陷的檢測(cè)精度。因此，本文將雙線性模型和NASNet網(wǎng)絡(luò)進(jìn)行結(jié)合，構(gòu)建一種雙線性對(duì)稱NASNet網(wǎng)絡(luò)模型，稱之為BSNASNet，用于磁痕圖像缺陷的檢測(cè)。

1.1 雙線性模型

雙線性模型[8]是一種細(xì)粒度圖像分類網(wǎng)絡(luò)，該網(wǎng)絡(luò)將兩個(gè)并聯(lián)的CNN網(wǎng)絡(luò)作為特征函數(shù)，通過(guò)雙線性池化對(duì)提取的特征向量進(jìn)行融合，再送入最后的分類器中進(jìn)行識(shí)別。雙線性通過(guò)對(duì)圖像的局部特征進(jìn)行建模，能夠獲得豐富的全局和局部特征，實(shí)現(xiàn)對(duì)不同區(qū)域差異信息的提取。

一個(gè)雙線性模型B由四元組（fA，fB，P，C）組成，其中，fA和fB表示特征函數(shù)，P表示池化函數(shù)，C表示分類函數(shù)。特征函數(shù)可表示為映射f:L×I→Rc×D，I表示輸入圖像，L表示位置，通常包含位置和尺度，c×D表示輸出特征的大小。在圖像每個(gè)位置l處，特征函數(shù)fA和fB的特征輸出通過(guò)矩陣外積進(jìn)行組合，如式(1)所示：

fA和fB的特征維度c必須兼容，且要求c＞1。

為獲得圖像的特征描述，通過(guò)池化函數(shù)P對(duì)圖像中所有位置的雙線性特征進(jìn)行增強(qiáng)，P可以定義為所有雙線性特征的加權(quán)和，如式(2)所示：

如果fA和fB輸出的特征大小分別為c×M和c×N，則的大小為M×N，經(jīng)過(guò)雙線性模型后其大小變?yōu)镸N×1，最后通過(guò)分類函數(shù)C即可獲得相應(yīng)的類別概率。

雙線性模型通過(guò)兩個(gè)CNN作為特征函數(shù)進(jìn)行特征提取，且兩個(gè)CNN網(wǎng)絡(luò)通過(guò)訓(xùn)練能夠提取互為補(bǔ)充的特征信息，相比于單個(gè)的CNN網(wǎng)絡(luò)，雙線性模型能夠獲得更為豐富的全局和局部特征。

1.2 NASNet網(wǎng)絡(luò)

NASNet[9]是2018年由Google Brain團(tuán)隊(duì)提出的一種網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)是由神經(jīng)架構(gòu)搜索在CIFAR-10和ImageNet中搜索到的表現(xiàn)最優(yōu)的卷積層進(jìn)行組合而成。相對(duì)于近年人工設(shè)計(jì)的主流網(wǎng)絡(luò)模型，NASNet網(wǎng)絡(luò)具有更快的運(yùn)算速度和更高的準(zhǔn)確率。

NASNet與ResNet[10]和Inception[11]網(wǎng)絡(luò)的構(gòu)建方式類似，通過(guò)基本單元堆疊而成，其在ImageNet上的網(wǎng)絡(luò)架構(gòu)如圖1所示。NASNet包含Normal cell和Reduction Cell兩種基本組成單元，Normal Cell是不改變輸入特征圖大小的卷積單元，Reduction Cell是通過(guò)增加步幅使輸入特征圖的尺寸縮小為原來(lái)的一半的卷積單元。每個(gè)Cell又由若干個(gè)Block組成，每個(gè)Block是通過(guò)在搜索空間中依次選擇隱藏狀態(tài)1、隱藏狀態(tài)2、操作1、操作2和組合方法這5種方式的組合，對(duì)上述操作重復(fù)B次即可構(gòu)成相應(yīng)的Cell。

NASNet在ImageNet圖像分類驗(yàn)證集上的識(shí)別率相較于之前所有Inception模型都更高，且對(duì)比于ImageNet上其他主流深度學(xué)習(xí)算法的識(shí)別結(jié)果也有一定程度的提升。此外，NASNet網(wǎng)絡(luò)可通過(guò)改變基本單元的數(shù)量調(diào)整網(wǎng)絡(luò)的規(guī)模大小，搭建不同的網(wǎng)絡(luò)模型，其輕量級(jí)網(wǎng)絡(luò)模型能夠在極大程度上節(jié)省運(yùn)算開(kāi)銷的同時(shí)仍保證較高的準(zhǔn)確率。

2 BS-NASNet網(wǎng)絡(luò)結(jié)構(gòu)

本文算法將雙線性模型和NASNet兩種網(wǎng)絡(luò)結(jié)合，提出了一種新的BS-NASNet網(wǎng)絡(luò)模型。

本文算法選用輕量級(jí)的NASNetMobile作為NASNet的預(yù)訓(xùn)練模型。NASNetMobile采用分別由5個(gè)Block構(gòu)成且在ImageNet上表現(xiàn)最好的Normal cell和Reduction Cell作為構(gòu)建NASNet的基礎(chǔ)單元，對(duì)應(yīng)圖2中的Normal cell的數(shù)量N=4，主要由4個(gè)Reduction Cell和12個(gè)Reduction Cell構(gòu)成，網(wǎng)絡(luò)參數(shù)相對(duì)較少，減小了訓(xùn)練的運(yùn)算復(fù)雜度。

本文算法將兩個(gè)相同結(jié)構(gòu)的NASNetMobile網(wǎng)絡(luò)融合成如圖2所示的S-NASNet網(wǎng)絡(luò)，代替原始雙線性模型中的VGG16作為網(wǎng)絡(luò)的特征函數(shù)fA和fB。若將兩個(gè)NASNetMobile網(wǎng)絡(luò)直接進(jìn)行組合，則形成的S-NASNet網(wǎng)絡(luò)最后的特征輸出層的特征維數(shù)較大，會(huì)導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練過(guò)程中產(chǎn)生過(guò)擬合的情況，不適用于小樣本訓(xùn)練。因此本文算法分別對(duì)兩個(gè)NASNetMobile網(wǎng)絡(luò)的輸出特征層通過(guò)1 ×1 卷積進(jìn)行特征降維后再進(jìn)行融合，可進(jìn)一步減小特征維數(shù)，壓縮網(wǎng)絡(luò)參數(shù)，防止算法過(guò)擬合。假設(shè)特征函數(shù)輸出層的特征維數(shù)為M×N×D，1×1卷積濾波器的個(gè)數(shù)為A，則經(jīng)過(guò)1×1卷積操作后，特征維數(shù)變?yōu)镸×N×A，當(dāng)A＜D時(shí)，即可實(shí)現(xiàn)特征降維的功能。相比于原始雙線性模型中的特征函數(shù)VGG16網(wǎng)絡(luò)模型，S-NASNet網(wǎng)絡(luò)能夠更為充分地提取圖像的全局特征和局部特征，檢測(cè)出圖像中的細(xì)微特征，從而對(duì)圖像間的差異進(jìn)行準(zhǔn)確的描述。

在BS-NASNet中，將兩個(gè)特征函數(shù)最后的特征輸出層融合成雙線性特征向量時(shí)，同樣先采用1×1卷積操作進(jìn)行特征降維后再進(jìn)行融合，以降低特征維數(shù)，進(jìn)一步避免算法在訓(xùn)練時(shí)發(fā)生過(guò)擬合。本文算法選擇使用加權(quán)池化作為BS-NASNet的池化函數(shù)，并且在雙線性特征向量后面使用sign平方和L2正則化操作，即從而進(jìn)一步提高網(wǎng)絡(luò)的性能。最后將正則化后的特征向量送入到網(wǎng)絡(luò)最后一層的softmax分類器中，從而實(shí)現(xiàn)對(duì)磁痕圖像缺陷的檢測(cè)。BS-NASNet網(wǎng)絡(luò)的整體結(jié)構(gòu)示意圖如圖3所示。

圖1 NASNet網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2 S-NASNet網(wǎng)絡(luò)結(jié)構(gòu)示意圖

圖3 BS-NASNet整體結(jié)構(gòu)示意圖

3 實(shí)驗(yàn)驗(yàn)證及分析

3.1 實(shí)驗(yàn)平臺(tái)及數(shù)據(jù)集

本文算法在64G內(nèi)存的工作站上進(jìn)行實(shí)驗(yàn)，并通過(guò)TITAN XP對(duì)網(wǎng)絡(luò)模型的訓(xùn)練進(jìn)行GPU加速。實(shí)驗(yàn)所用圖像為生產(chǎn)現(xiàn)場(chǎng)采集的兩種磁痕圖像數(shù)據(jù)集，數(shù)據(jù)集1的樣本圖像中包含較強(qiáng)的反光干擾，數(shù)據(jù)集2的樣本圖像更為復(fù)雜，除反光干擾外還存在大量噪聲，兩種數(shù)據(jù)集的部分樣本圖像如圖5所示。其中，前兩張為缺陷樣本圖像，第三張為無(wú)缺陷樣本圖像。

第一種數(shù)據(jù)集共包含1004張無(wú)缺陷樣本圖像和804張缺陷樣本圖像，圖像尺寸為468×1324，訓(xùn)練集中包含700張無(wú)缺陷樣本圖像和560張缺陷樣本圖像，測(cè)試集中包含300張無(wú)缺陷樣本圖像和240張缺陷樣本圖像。第二種數(shù)據(jù)集共包含872張無(wú)缺陷樣本圖像和914張缺陷樣本圖像，圖像尺寸為800×1536，訓(xùn)練集中包含575張無(wú)缺陷樣本圖像和574張缺陷樣本圖像，測(cè)試集中包含297張無(wú)缺陷樣本圖像和340張缺陷樣本圖像。實(shí)驗(yàn)中將無(wú)缺陷樣本圖像作為正樣本，缺陷樣本圖像作為負(fù)樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

圖4 磁痕圖像樣本

3.2 訓(xùn)練參數(shù)設(shè)置

在數(shù)據(jù)預(yù)處理階段，隨機(jī)選擇訓(xùn)練數(shù)據(jù)集中的一半圖像經(jīng)過(guò)水平翻轉(zhuǎn)實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，并將圖像尺寸歸一化至224×224。訓(xùn)練網(wǎng)絡(luò)模型時(shí)，設(shè)置訓(xùn)練的批次大小為32，初始學(xué)習(xí)率為0.001，學(xué)習(xí)衰減率為0.001，優(yōu)化器采用Adam優(yōu)化算法，并對(duì)整個(gè)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練。

3.3 實(shí)驗(yàn)對(duì)比及分析

通過(guò)現(xiàn)場(chǎng)采集的磁痕圖像數(shù)據(jù)集1和數(shù)據(jù)集2對(duì)本文算法進(jìn)行測(cè)試。本文算法在兩種數(shù)據(jù)集上的準(zhǔn)確率和網(wǎng)絡(luò)損失變化曲線分別如圖5和圖6所示。

圖中的藍(lán)色和橙色曲線分別代表網(wǎng)絡(luò)在訓(xùn)練集和測(cè)試集中的準(zhǔn)確率和網(wǎng)絡(luò)損失的變化情況。根據(jù)網(wǎng)絡(luò)的準(zhǔn)確率和損失變化曲線可以看出，對(duì)于存在反光干擾、噪聲影響不大、成像情況相對(duì)簡(jiǎn)單的數(shù)據(jù)集1，本文算法在第3次迭代時(shí)已基本穩(wěn)定，且算法的收斂速度極快，只需經(jīng)過(guò)極少次的迭代訓(xùn)練即可達(dá)到較高的檢測(cè)精度和較小的網(wǎng)絡(luò)損失。在包含反光區(qū)域和大量噪聲、成像情況相對(duì)復(fù)雜的數(shù)據(jù)集2上，本文算法也在第4次迭代時(shí)基本收斂，網(wǎng)絡(luò)的檢測(cè)精度仍然具有較高的水平，對(duì)于圖像中的噪聲和反光區(qū)域具有較強(qiáng)的抗干擾能力。

圖5 數(shù)據(jù)集1準(zhǔn)確率和損失變化曲線

圖6 數(shù)據(jù)集2準(zhǔn)確率和損失變化曲線

本文算法在特征融合時(shí)采用1×1卷積對(duì)特征進(jìn)行降維，有效降低了網(wǎng)絡(luò)的過(guò)擬合風(fēng)險(xiǎn)。從曲線圖中可以看出，對(duì)于小樣本數(shù)據(jù)集訓(xùn)練，本文算法的檢測(cè)精度和網(wǎng)絡(luò)損失曲線最終趨于平穩(wěn)，并未發(fā)生過(guò)擬合的情況。

為對(duì)算法性能進(jìn)行評(píng)價(jià)，本文選用準(zhǔn)確率P、召回率R和F1值作為評(píng)價(jià)指標(biāo)，準(zhǔn)確率表示檢測(cè)正確的正樣本占所有檢測(cè)為正樣本的比例，召回率反映了檢測(cè)正確的正樣本占所有正樣本的比例，F(xiàn)1值是準(zhǔn)確率和召回率的綜合指標(biāo)，三者的計(jì)算公式分別如式(4)、式(5)、式(6)所示：

式中，TP表示算法檢測(cè)為無(wú)缺陷圖像且實(shí)際也為無(wú)缺陷圖像的數(shù)量，TN表示算法檢測(cè)為缺陷圖像且實(shí)際也為缺陷圖像的數(shù)量，F(xiàn)P表示算法檢測(cè)為無(wú)缺陷圖像但實(shí)際為缺陷圖像的數(shù)量，F(xiàn)N表示算法檢測(cè)為缺陷圖像但實(shí)際為無(wú)缺陷圖像的數(shù)量。

將本文算法的檢測(cè)結(jié)果與文獻(xiàn)[4]的幾何特征與SVM結(jié)合的方法、文獻(xiàn)[6]的灰度共生矩與MLP的方法、文獻(xiàn)[7]的小波特征與BP神經(jīng)網(wǎng)絡(luò)結(jié)合的方法，以及單獨(dú)的NASNet網(wǎng)絡(luò)和以VGG16作為特征函數(shù)的雙線性模型方法在兩種數(shù)據(jù)集上的檢測(cè)結(jié)果進(jìn)行比較，各算法檢測(cè)性能對(duì)比結(jié)果如表1所示。

表1 各算法性能對(duì)比

從表1中各算法的性能對(duì)比結(jié)果中可以看出，文獻(xiàn)[4]、文獻(xiàn)[6]和文獻(xiàn)[7]中基于傳統(tǒng)特征提取與機(jī)器學(xué)習(xí)結(jié)合的檢測(cè)方法易受圖像中反光和噪聲的影響，在準(zhǔn)確率、召回率和F1值上均低于93%，檢測(cè)精度不高。相對(duì)而言，基于深度學(xué)習(xí)的NASNet和雙線性模型在準(zhǔn)確率、召回率和F1值上均高于97%，比上面三種算法提升約5%，對(duì)磁痕圖像缺陷的檢測(cè)效果更好。相比于單獨(dú)的NASNet和以VGG16作為特征函數(shù)的雙線性模型，本文算法將兩種算法進(jìn)行融合，使算法性能上有一定程度的提升，算法的檢測(cè)準(zhǔn)確率更高。

對(duì)于包含大量噪聲、成像情況相對(duì)更為復(fù)雜的數(shù)據(jù)集2，從各算法的測(cè)試結(jié)果對(duì)比中可以看出，文獻(xiàn)[4]、文獻(xiàn)[6]和文獻(xiàn)[7]的檢測(cè)方法受圖像噪聲干擾較為嚴(yán)重，算法性能較差，其準(zhǔn)確率、召回率和F1值上相對(duì)于數(shù)據(jù)集1的測(cè)試結(jié)果降低約5%。相對(duì)而言，基于深度學(xué)習(xí)的NASNet和雙線性模型方法在數(shù)據(jù)集2上的測(cè)試結(jié)果與數(shù)據(jù)集1的結(jié)果相差不大，受噪聲影響較小，算法魯棒性好。對(duì)比于其他幾種檢測(cè)方法，本文算法的在準(zhǔn)確率、召回率和F1值上均高于其他幾種檢測(cè)算法。

4 結(jié)語(yǔ)

針對(duì)現(xiàn)有磁痕圖像缺陷檢測(cè)方法易受噪聲和反光干擾、檢測(cè)精度低的問(wèn)題，本文提出一種基于BS-NASNet的磁痕圖像缺陷檢測(cè)算法。算法將S-NASNet作為雙線性模型的特征函數(shù)，能夠有效提取出缺陷和非缺陷之間的細(xì)微差異特征。算法對(duì)網(wǎng)絡(luò)的輸出特征層經(jīng)過(guò)1×1卷積降維后再進(jìn)行融合，壓縮了網(wǎng)絡(luò)參數(shù)，能夠有效降低網(wǎng)絡(luò)過(guò)擬合風(fēng)險(xiǎn)，適用于小樣本數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，本文算法能夠在噪聲和反光干擾的復(fù)雜情況下，實(shí)現(xiàn)對(duì)磁痕圖像的缺陷檢測(cè)。