謝 艦，姚劍敏,2*，嚴 群,2，林志賢

(1.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108；2.晉江市博感電子科技有限公司,福建 晉江362200)

1 引 言

磁瓦是由永磁鐵氧體材料制成的瓦形磁體，其在工業(yè)上常作為生產(chǎn)永磁電機的核心部分之一。在廠端批量的生產(chǎn)加工磁瓦的過程中，不可避免地會產(chǎn)出表面帶有各種缺陷的殘次品。這些殘次品表面帶有不同類型的缺陷，如果用于生產(chǎn)永磁電機，將會影響永磁電機的性能，嚴重的會引發(fā)各種故障。另一方面廠端也需要精準地分辨各種缺陷的邊界和大小，來決定這些殘次品是否可進行維修或進入下一步工序，因此在磁瓦生產(chǎn)工藝中，表面質(zhì)量檢測是十分重要的一環(huán)。傳統(tǒng)方法主要依靠人工檢查磁瓦的表面，這需要額外的雇傭大量的員工，并且需要專門培養(yǎng)員工來識別各種復(fù)雜的表面缺陷。這種方法十分耗時、耗力，不僅效率不高，并且限制了工廠的生產(chǎn)力。因此開發(fā)自動缺陷識別系統(tǒng)，將磁瓦表面缺陷識別自動化、智能化，是磁瓦制造企業(yè)適應(yīng)工業(yè)化4.0發(fā)展的重要一步。

早期對磁瓦表面缺陷的自動識別還集中在使用傳統(tǒng)圖像處理技術(shù)上。Li[1]提出了一種使用快速離散曲波變換(FDCT)與紋理分析的方法來自動檢測磁瓦上裂紋缺陷的機制，可以檢測到最小長度為0.8 mm的裂紋。楊成立[2]等人提出使用小波變換去噪處理圖像，通過計算對比閾值提取區(qū)域匹配相似度和對比輪廓邊緣面積的方式判別磁瓦是否存在缺陷，該方法對磁瓦表面存在的顯著缺陷有較好的檢測效果。針對經(jīng)典缺陷檢測算法不能很好地提取顏色暗、對比度低的磁瓦圖像缺陷問題，李雪琴[3]等人提出一種非下采樣Contourlet域自適應(yīng)閾值面的磁瓦缺陷自動檢測方法。為了準確定位磁瓦表面缺陷的邊界，林麗君[4]等人提出一種基于圖像加權(quán)信息熵與小波模極大值兩者結(jié)合的缺陷邊緣檢測算法。以上所描述的方法能夠很好地解決部分場景下的磁瓦表面缺陷檢測，但面對生產(chǎn)線上背景復(fù)雜多變、顏色形狀繁多的缺陷，傳統(tǒng)圖像算法能夠起到的作用十分有限。

近幾年隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，國內(nèi)外對基于深度學(xué)習(xí)的缺陷提取技術(shù)進行了不同程度的研究，Wang[5]等人嘗試對輸入圖像進行滑窗切片并通過卷積神經(jīng)網(wǎng)絡(luò)進行逐位置識別，來實現(xiàn)對布匹缺陷的檢測。Mei[6]等人通過改進的卷積降噪自編碼器網(wǎng)絡(luò)，使用無缺陷樣本進行訓(xùn)練并完成對缺陷的定位。王春哲[7]等人引入卷積邊緣信息、顯著性及位置信息改進了候選區(qū)域算法從而有效提升了目標檢測算法的召回率。劉暢[8]等人通過U-net[9]分割磁瓦表面缺陷，并且將分割的前景裁剪后使用另一個單獨的分類網(wǎng)絡(luò)來進行缺陷分類，實現(xiàn)了缺陷的分割和分類并且都達到了很高的精度。但該方法分割的區(qū)域不準時會影響分類準確率，因而限制了準確率的提升。Tabernik[10]等人的工作是嘗試使用一個網(wǎng)絡(luò)同時完成分割與分類的任務(wù)，僅僅使用少量的訓(xùn)練數(shù)據(jù)就在KolektorSDD數(shù)據(jù)集上取得了99.8%的缺陷識別率。但該方法只能輸出原圖1/8的分割結(jié)果，無法分割出原圖一致大小的精細掩膜。綜上所述，基于深度學(xué)習(xí)的方法在磁瓦表面缺陷檢測識別上已經(jīng)取得了不錯的效果，但在實際生產(chǎn)過程中往往存在著能夠獲取的總數(shù)據(jù)少且每種類別分布不均勻的問題，并且想要滿足廠端缺陷分割精準、缺陷分類準確率高的要求，還要解決訓(xùn)練過程中由于缺陷前景面積占比小導(dǎo)致網(wǎng)絡(luò)難以收斂等技術(shù)問題。

結(jié)合以上所存在的問題，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的新模型，能夠使用少量的訓(xùn)練數(shù)據(jù)實現(xiàn)對磁瓦表面缺陷的實時分割與分類，很好地契合了工業(yè)界對于磁瓦表面質(zhì)量檢測的高要求。

2 方 法

圖1顯示了本文設(shè)計的網(wǎng)絡(luò)的主要架構(gòu)，其中包括了一階段的分割網(wǎng)絡(luò)，該分割網(wǎng)絡(luò)對磁瓦表面的缺陷進行像素級別的定位，通過添加輔助損失函數(shù)來提升模型的分割精度。隨后將網(wǎng)絡(luò)提取到的深層特征送入二階段的分類網(wǎng)絡(luò)，從而實現(xiàn)對磁瓦表面缺陷的精準分割和分類。

2.1 分割網(wǎng)絡(luò)

分割網(wǎng)絡(luò)使用的是經(jīng)典的U-net網(wǎng)絡(luò)架構(gòu)。U-net作為經(jīng)典的語義分割模型，經(jīng)常用于醫(yī)學(xué)圖像分割、缺陷分割等場景，它能夠使用較少的數(shù)據(jù)獲得不錯的分割效果。在網(wǎng)絡(luò)結(jié)構(gòu)上，U-net采用的是編解碼的結(jié)構(gòu)，先對輸入進行降采樣然后再上采樣。

編碼結(jié)構(gòu)的存在是使卷積神經(jīng)網(wǎng)絡(luò)通過多次降采樣后能夠擁有一個足夠大的感受野，這個感受野能讓網(wǎng)絡(luò)提取到更加底層的語義信息，更加關(guān)注于一個整體目標和其他背景間的區(qū)別。解碼結(jié)構(gòu)是將網(wǎng)絡(luò)提取到的抽象特征恢復(fù)到原圖大小的過程，由于深度神經(jīng)網(wǎng)絡(luò)一般會使用池化層或者步長不為1的卷積層進行降采樣，在這個過程中會逐漸丟失一些細粒度的信息，所以需要使用直連(Skip-connection)結(jié)構(gòu)，這個結(jié)構(gòu)從高層重新補充了語義信息，在底層特征的基礎(chǔ)上細化了輪廓和邊緣，從而保證了分割的精準度。

分割網(wǎng)絡(luò)結(jié)構(gòu)如圖1的紅色虛線框部分所示，藍色的塊為每層輸出的特征圖，黃框內(nèi)為每層的具體操作。為了加速網(wǎng)絡(luò)收斂、穩(wěn)定訓(xùn)練，分割部分使用的卷積除1×1的以外都通過了批歸一化層[11]和非線性激活層。將原圖經(jīng)過兩個3×3的卷積進行擴維操作后，一共使用4個降采樣塊進行編碼操作，每個降采樣塊包含一個2×2的最大池化和兩個3×3的卷積，通過最大池化將輸出寬高降為原來的1/2。同時為了保證降采樣過程中總體信息不損失，每個降采樣塊都會將圖像通道數(shù)翻倍，于是在編碼部分的底層輸出原圖寬高1/16大小且通道數(shù)為512的特征圖。解碼部分可以看做編碼部分的鏡像，不同的是將2×2的最大池化替換為上采樣操作。上采樣使用的方法為雙線性上采樣，同時將圖像編碼部分提取到和上采樣后一致大小的特征圖在通道上進行合并，最后在經(jīng)過兩個3×3的卷積合并多個通道的信息輸出給下一層。最終將編解碼得到的特征圖通過一個1×1的卷積進行像素級的分類，輸出和原圖一致大小的掩膜，于是就完成了磁瓦表面缺陷的分割。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Network structure diagram

由于在分割上只關(guān)注缺陷前景和背景，所以在基礎(chǔ)損失函數(shù)的設(shè)計上本文使用的是二值交叉熵損失。對于每個像素預(yù)測為缺陷概率為p，背景概率為1-p，其公式的定義如下：

(1)

其中yi表示每個像素的標簽，缺陷類別為1，背景類別為0，pi表示像素預(yù)測為缺陷類別的概率。

并且在實際磁瓦表面缺陷分割問題上考慮到很多細小缺陷實際占磁瓦表面積比例很小，所以對于損失函數(shù)的形式進行修正，提升缺陷正樣本所占的損失比重，表達式如下：

(2)

其中i表示屬于標簽的所有缺陷類別的像素集合，j表示屬于標簽的所有背景類別的像素集合，兩者各自求交叉熵的均值后相加。

2.1.1 差異系數(shù)損失

為了解決部分的磁瓦表面缺陷前景面積占比太小，導(dǎo)致訓(xùn)練階段梯度太小網(wǎng)絡(luò)難以收斂，本文添加了差異系數(shù)損失[12](Dice loss)來提升訓(xùn)練速度和分割精度，其定義如下：

(3)

從定義上看差異系數(shù)是一個相似度度量函數(shù)，能夠用于計算兩個樣本間的匹配度。在分割任務(wù)上其計算形式是預(yù)測的前景區(qū)域和標簽掩膜前景區(qū)域的交并比，所以它是從一個整體角度去考慮和標簽的區(qū)別。這樣即使磁瓦表面缺陷前景面積很小，依然不會影響分割結(jié)果和標簽計算的差異度，從而維持訓(xùn)練階段的梯度。并且直接將分割效果評估指標作為損失去監(jiān)督網(wǎng)絡(luò)訓(xùn)練，能夠忽略背景像素的影響，解決正負樣本不均衡的問題，提升網(wǎng)絡(luò)收斂速度。對應(yīng)差異系數(shù)，其損失函數(shù)的形式如下：

(4)

其中，X是網(wǎng)絡(luò)預(yù)測缺陷區(qū)域的像素個數(shù)，Y是標簽掩膜的缺陷區(qū)域的像素個數(shù)。

2.1.2 多層損失

為了解決訓(xùn)練過程中深層網(wǎng)絡(luò)的梯度逐漸消失導(dǎo)致模型無法完全收斂的問題，進一步提升分割精度。本文添加了多層損失[13]維持網(wǎng)絡(luò)深層的梯度，監(jiān)督網(wǎng)絡(luò)的深層繼續(xù)優(yōu)化從而降低網(wǎng)絡(luò)訓(xùn)練難度并提升精度。具體的做法為：對于如圖1網(wǎng)絡(luò)編解碼部分輸出的特征圖F4_0、F3_1、F2_2和F1_3，在網(wǎng)絡(luò)訓(xùn)練階段對每個特征圖通過一個1×1的卷積輸出和對應(yīng)特征圖一致寬高的掩膜。于是除網(wǎng)絡(luò)本身輸出外，又得到了原圖1/2，1/4，1/8，1/16大小的多層輸出掩膜。并且考慮要得到原圖1/2，1/4，1/8，1/16大小的標簽掩膜，就需要對標簽的尺寸降低對應(yīng)的倍率，這會導(dǎo)致一些過小的缺陷標簽完全失去邊緣信息。于是本文修改方法為對網(wǎng)絡(luò)多層輸出掩膜進行雙線性上采樣到原圖大小，然后計算對應(yīng)的損失，具體的公式如下：

(5)

對應(yīng)添加輔助損失函數(shù)后訓(xùn)練的損失下降和缺陷類別的MIoU指標上升曲線如圖2所示，大約訓(xùn)練75輪以后基礎(chǔ)的交叉熵損失趨近0，無法再提供梯度信息。此后主要由添加的差異系數(shù)損失和多層損失產(chǎn)生梯度，使得網(wǎng)絡(luò)能夠繼續(xù)優(yōu)化，使得最終缺陷類別的MIoU指標可以提升至接近70%。

圖2 損失下降與MIoU上升曲線Fig.2 Loss decrease and MIoU rate increase curve

2.2 分類網(wǎng)絡(luò)

分類網(wǎng)絡(luò)的設(shè)計上采用的網(wǎng)絡(luò)架構(gòu)類似于Tabernik[10]等人提出的方法，并且進行了適應(yīng)性的修改。本文沒有設(shè)計一個單獨的分類網(wǎng)絡(luò)來重新訓(xùn)練分割出的磁瓦表面缺陷，而是通過在分割網(wǎng)絡(luò)深層連接卷積層分支來將網(wǎng)絡(luò)編碼階段提取到的高級語義信息額外用于磁瓦表面缺陷分類。之所以這么做是因為考慮到分割任務(wù)本身就擁有比分類任務(wù)更強的監(jiān)督信息，通過分割精確到像素的監(jiān)督信息網(wǎng)絡(luò)能夠?qū)W習(xí)到缺陷更細致的輪廓與特征，進一步過濾背景等噪聲的影響，從而得到比只用類別標簽訓(xùn)練更高的準確率。

參考通常的分類網(wǎng)絡(luò)[14-17]的設(shè)計一般會采用32倍的降采樣倍率，但考慮到部分缺陷很小，在多次的降采樣過程中的信息丟失會使得磁瓦表面的小缺陷難以區(qū)分，并且由于多層損失的引入使得網(wǎng)絡(luò)深層對缺陷特征提取能力獲得了進一步提升，于是本文在分類網(wǎng)絡(luò)部分沒有再進行降采樣。具體的設(shè)計是在圖1的藍色虛線框內(nèi)，將一階段得到的分割網(wǎng)絡(luò)最終輸出的512維特征圖通過兩個殘差塊分別將最終通道合并為128維。此階段不在進行最大池化操作減少信息丟失，并且使用信息流通更加便捷的殘差塊[15]進行特征的編碼。

殘差塊的結(jié)構(gòu)為在圖1的黃色虛線框內(nèi)，將輸入分為兩條路徑后合并。一條為通過1×1卷積、3×3卷積和1×1卷積，其中除最后的1×1卷積未激活外，其余操作均經(jīng)過批歸一化層和非線性激活層并且通過第一個1×1卷積合并通道數(shù)。另一條路徑為直接通過3×3卷積合并通道數(shù)并經(jīng)過批歸一化層，在殘差塊結(jié)尾將兩個路徑輸出的特征圖結(jié)果按通道求和并通過非線性激活層進行輸出。經(jīng)過兩個這樣的殘差塊合并通道特征編碼后，最后將輸出的128維度的特征圖通過全局平均池化和全局最大池化，并合并為256維的向量通過全連接層進行分類。

分類訓(xùn)練時計算的損失函數(shù)為單類別基于sigmoid的二值交叉熵而非一般所使用多類別的softmax交叉熵，因為考慮到磁瓦表面可能存在多種類別缺陷共存的狀態(tài)，所以選取各種類別間不相互排斥的單類別交叉熵作為損失函數(shù)。網(wǎng)絡(luò)最終輸出的結(jié)果為一個6維的向量，對向量取sigmoid激活后獲得每個類別的概率分布，其中概率最大的就是網(wǎng)絡(luò)預(yù)測的類別。損失函數(shù)具體的定義如下：

， (6)

其中yi表示對應(yīng)類別i的預(yù)測概率，pi為類別的標簽，樣本類別如果是i則為1，否則為0，將樣本所有類別的二值交叉熵求和的結(jié)果即為分類損失。

2.3 數(shù)據(jù)增強

由于實際場景下能夠獲取的磁瓦表面圖像數(shù)據(jù)十分有限，在訓(xùn)練集過小時模型的魯棒性會下降，并且有過擬合的風(fēng)險。這時通過數(shù)據(jù)增強能夠有效地擴充訓(xùn)練數(shù)據(jù)，增加數(shù)據(jù)的多樣性，增強模型的泛化能力，提升模型的性能。因此本文在訓(xùn)練的過程中對數(shù)據(jù)進行在線增強，具體的操作如下：

在訓(xùn)練的過程中對圖像和對應(yīng)標注掩膜進行增強，具體的增強策略包括：(1)有0.5的概率隨機上下翻轉(zhuǎn)；(2)有0.5的概率隨機左右翻轉(zhuǎn)；(3)進行-5°～5°的隨機旋轉(zhuǎn)；(4)有0.5的概率加高斯白噪聲。在訓(xùn)練過程中，每輪對以上4種圖像增強操作隨機選擇3種，測試集不進行數(shù)據(jù)增強。得到具體的效果如圖3所示。

圖3 磁瓦圖像增強效果Fig.3 Magnetic tile image augment effect

3 實驗和結(jié)果分析

實驗環(huán)境基于開源深度學(xué)習(xí)框架pytorch，編程工具為vscode。計算機的配置為Ubuntu18.04操作環(huán)境，8 G內(nèi)存，顯卡為GTX1060ti，顯存大小為6 G。模型的訓(xùn)練是分階段進行的，將分割網(wǎng)絡(luò)部分和分類網(wǎng)絡(luò)部分分開訓(xùn)練。分割網(wǎng)絡(luò)訓(xùn)練時模型會只輸出分割網(wǎng)絡(luò)的結(jié)果，分類網(wǎng)絡(luò)的權(quán)重不會參與更新。同樣分類網(wǎng)絡(luò)訓(xùn)練時將凍結(jié)分割網(wǎng)絡(luò)部分的權(quán)重，只對分類網(wǎng)絡(luò)的權(quán)重進行更新。在訓(xùn)練階段不載入任何預(yù)訓(xùn)練權(quán)重，而是權(quán)重隨機正態(tài)初始化?？紤]到實際場景下的測試樣本會遠多于訓(xùn)練樣本，為了更好地驗證模型的魯棒性并且降低模型過擬合的風(fēng)險，對數(shù)據(jù)集進行5∶5劃分，訓(xùn)練集包含670個樣本，測試集包含674個樣本，兩者的各類別的數(shù)目分布相同。

3.1 數(shù)據(jù)預(yù)處理

本文所使用的數(shù)據(jù)來自開源數(shù)據(jù)集magnetic tile surface defects[18]，其包含5種缺陷類別和無缺陷類別，共1 344張。數(shù)據(jù)集的正負樣本比例為大約2∶5，無缺陷圖片占多數(shù)，數(shù)據(jù)分布很符合實際場景的工廠產(chǎn)出。所有圖片的寬高比例均不一，具體的寬高比例散點圖和數(shù)目分布如圖4所示。

圖4 原始圖像寬高分布散點圖Fig.4 Scatter plot of original image width and height distribution

針對原始圖像寬高分布和網(wǎng)絡(luò)的降采樣倍率，本文對所有圖片和對應(yīng)標注掩膜的圖片先統(tǒng)一轉(zhuǎn)置使得寬大于高，然后再雙線性插值為寬352像素、高320像素的圖像。對應(yīng)的預(yù)處理結(jié)果示例如圖5所示，數(shù)據(jù)集包含的磁瓦表面缺陷有氣孔、破損、裂紋、磨損、起層5種缺陷和無缺陷類別。

圖5 示例圖像Fig.5 Sample images

3.2 評估指標

對于分割所使用的評估指標，我們一般會用平均交并比(Mean Intersection over Union，MIoU)來衡量某個模型的分割效果。IoU指的是兩個區(qū)域的交集面積與并集面積的比例，在缺陷分割中，IoU指的是缺陷真實標簽和預(yù)測值部分的交并的比值，而MIOU指的是該數(shù)據(jù)集中每個類別樣本的交并比的平均值。其定義如下：

(7)

其中TP表示實際為缺陷區(qū)域以及預(yù)測正確為缺陷部位的區(qū)域，F(xiàn)P表示實際為背景區(qū)域以及預(yù)測錯誤為缺陷部位的區(qū)域，F(xiàn)N表示實際為缺陷區(qū)域以及預(yù)測錯誤為背景的區(qū)域。

考慮到在缺陷分割任務(wù)中，對于缺陷圖片和無缺陷圖片，我們所期望的分割結(jié)果是不相同的，對于缺陷圖片更希望能夠分割出缺陷，我們可以用分割出前景的MIoU來衡量分割的效果。但對于無缺陷圖，我們更希望模型輸出一個正常的結(jié)果，也即沒有分割出任何前景。又由于實際場景的無缺陷圖片是遠多于缺陷圖片的，如果單純地放在一起進行統(tǒng)計會對總MIoU有很大的影響，從而對模型的指標評估產(chǎn)生偏差。所以本文對無缺陷圖片所采取的衡量方法為單獨取出評估，并且計算背景部分的MIoU。

在實際的場景下，一般會更加關(guān)注與缺陷分割出的面積占缺陷本身的比例。于是定義缺陷分割準確率PA(Pixel Accuracy,像素準確率)為分割出的缺陷部位面積占所有缺陷面積的平均值，計算公式如下：

(8)

對于分類評估的指標除了總分類準確率外，想要衡量對于每個缺陷類別的預(yù)測精度，會使用召回率(Recall)和準確率(Precition)來衡量每個類別的預(yù)測結(jié)果，其各自的定義如下：

(9)

(10)

其中TP表示預(yù)測為對應(yīng)類別實際也是該類別的樣本，F(xiàn)P表示預(yù)測為該類別實際并非該類別的樣本，F(xiàn)N表示預(yù)測并非該類別實際是該類別的樣本。

為了平衡召回率和準確率，本文采用F1-score來衡量模型對每個缺陷類別的預(yù)測結(jié)果。F1-score同時兼顧了分類模型的精確率和召回率，在形式上表現(xiàn)為每個類別召回率和準確率的調(diào)和平均數(shù)，其公式定義如下：

(11)

3.3 分割效果

分割網(wǎng)絡(luò)部分訓(xùn)練過程如下：設(shè)定初始學(xué)習(xí)率0.01，優(yōu)化器采用使用動量的SGD，設(shè)定權(quán)重衰減率為5e-5。訓(xùn)練采取動態(tài)學(xué)習(xí)率衰減策略，在訓(xùn)練輪數(shù)為100，200，300，400時令學(xué)習(xí)率衰減1/10，訓(xùn)練500輪后網(wǎng)絡(luò)基本收斂。

為了驗證添加輔助損失以及數(shù)據(jù)增強的效果，本文訓(xùn)練了4組模型，并且記錄了在測試圖片上的各種相關(guān)指標，具體結(jié)果如表1所示。

表1 添加輔助損失以及數(shù)據(jù)增強效果對比Tab.1 Effect comprison of add auxiliary loss and data augment

根據(jù)消融實驗的結(jié)果可以看到，原先分割網(wǎng)絡(luò)對于缺陷分割的準確率較低，通過添加差異系數(shù)損失能夠使得網(wǎng)絡(luò)繼續(xù)優(yōu)化，從而提升2.4%的缺陷類別MIoU，但是缺陷分割準確率只提升0.4%，表明該損失函數(shù)貢獻主要在減少網(wǎng)絡(luò)對非缺陷部位的誤分割。對比添加多層損失的效果，缺陷類別MIoU提升6.4%，缺陷分割準確率提升10.4%，表明添加多層損失能夠有效優(yōu)化網(wǎng)絡(luò)深層，明顯提升網(wǎng)絡(luò)分割效果。最后對比進行數(shù)據(jù)增強后的效果，缺陷類別MIoU提升8.2%，缺陷分割準確率提升16.9%，表明通過數(shù)據(jù)增強能夠有效提升模型的魯棒性，增強模型的泛化效果，解決數(shù)據(jù)量少、數(shù)據(jù)分布不均衡的問題，從而大幅提升分割精度。

分割網(wǎng)絡(luò)消融實驗效果對比如圖6所示，可以明顯看出，通過添加輔助函數(shù)后原先分割網(wǎng)絡(luò)對于缺陷能夠有效地分割出整體，通過數(shù)據(jù)增強訓(xùn)練后，分割的輪廓更加精細。本文訓(xùn)練使用的缺陷圖片共196張，最后在測試的196張缺陷圖片上獲得了94.5%的缺陷分割準確率，表明本文提出的方法能夠有效地分割出磁瓦表面缺陷，適應(yīng)實際場景對于磁瓦表面缺陷分割的高精度要求。

圖6 分割效果對比圖。(a)原始圖像；(b)標簽掩膜；(c)原版分割網(wǎng)絡(luò)；(d)添加輔助損失；(e)添加輔助損失與數(shù)據(jù)增強。Fig.6 Comparison charts of segmentation effect.(a)Original image;(b)Label mask;(c)Original segment network;(d)Add auxiliary loss;(e)Add auxiliary loss and data augment.

3.4 分類效果

分類網(wǎng)絡(luò)部分訓(xùn)練過程如下：設(shè)定初始學(xué)習(xí)率3e-4，優(yōu)化器采用Adam，設(shè)定權(quán)重衰減率為5e-5。凍結(jié)分割網(wǎng)絡(luò)部分的權(quán)重，訓(xùn)練50輪后網(wǎng)絡(luò)收斂。

為了驗證本文通過分割提取特征進行分類方法的有效性，本文設(shè)置了對比實驗，使用同樣的訓(xùn)練集與測試集來訓(xùn)練常用的分類網(wǎng)絡(luò)。為了驗證本文方法相比劉暢等人的方法是否進一步提升了分類準確率，設(shè)置了和文獻[8]的對比實驗。并且為了橫向?qū)Ρ缺疚乃岢龅姆诸惥W(wǎng)絡(luò)結(jié)構(gòu)的有效性，與擁有同樣類似結(jié)構(gòu)的文獻[10]進行對比，最終實驗的結(jié)果如表2所示。

表2 分類準確率對比Tab.2 Comparison of classification accuracy

通過實驗1、2與3、4、5的對比，在同樣的圖片預(yù)處理下沒有通過一階段分割網(wǎng)絡(luò)直接使用Resnet-50[15]、X-ception[16]等分類網(wǎng)絡(luò)，最終分類準確率只有70%～89%，表明大量的無缺陷圖片對分類網(wǎng)絡(luò)的精度有很大影響，并且由于大部分缺陷占前景面積很小，網(wǎng)絡(luò)很難過濾背景信息的影響，因此很難有效提取到缺陷的特征并進行區(qū)分。而本文的方法能夠獲得98.9%的準確率表明通過分割部分的強監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)能夠有效過濾缺陷背景并且學(xué)習(xí)到缺陷的特征，避免了類別不均衡的影響，獲得了很高的準確率。通過對比文獻[8]和本文方法的實驗結(jié)果，可以看到本文方法在分類準確率上提升了5.4%，表明通過分割網(wǎng)絡(luò)提取缺陷特征用于分類的方法能夠避免因誤分割或分割不全所導(dǎo)致的誤分類，從而進一步提升分類的準確率。

本文方法和文獻[10]對比的各缺陷類別F1-score分布柱狀圖如圖7所示。

圖7 各缺陷類別F1-score對比柱狀圖Fig.7 F1-score comparison histogram for each defect category

由圖7可知，本文方法所有的缺陷類別F1-score都能夠到達93%以上，并且大部分高于文獻[10]方法，對比可得應(yīng)對該場景下本文的分類網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計更加合理，能夠獲得更高的缺陷分類準確率，滿足工業(yè)生產(chǎn)的高精度要求。

4 結(jié) 論

本文針對磁瓦生產(chǎn)工藝對磁瓦表面缺陷分割準確、缺陷分類精度高的要求，提出一種基于深度學(xué)習(xí)的缺陷分割與分類方法，該方法包括一個缺陷分割網(wǎng)絡(luò)和在分割網(wǎng)絡(luò)上添加的缺陷分類網(wǎng)絡(luò)。本文通過添加輔助損失函數(shù)有效地提升了分割精度，并使用在線數(shù)據(jù)增強的方式訓(xùn)練模型。消融實驗表明，本文添加輔助損失函數(shù)和在線數(shù)據(jù)增強能夠有效提升網(wǎng)絡(luò)性能，使其分割出94.5%標注的缺陷區(qū)域。對比實驗表明，本文方法相比其他分類方法能夠獲得98.9%的分類準確率，滿足工業(yè)上磁瓦表面質(zhì)量檢測的高要求。