鄧 勇

(廣東工業(yè)大學(xué)，廣東 廣州 510000)

隨著工業(yè)不斷發(fā)展，機(jī)器視覺在缺陷檢測中扮演著越來越重要的角色。近年，產(chǎn)品缺陷檢測已經(jīng)發(fā)展到各個(gè)領(lǐng)域，電子產(chǎn)品表面[1]、瓷瓦表面[2]。隨著視覺任務(wù)復(fù)雜性增加，對(duì)視覺檢測的挑戰(zhàn)也隨之增加。產(chǎn)品表面缺陷不僅會(huì)影響產(chǎn)品后續(xù)使用，而且在某種程度上可能會(huì)產(chǎn)生不可預(yù)估的安全隱患。所以產(chǎn)品表面檢測意義重大。

電機(jī)作為工業(yè)、交通、國防及日常生活中不可或缺的重要設(shè)備，其下游行業(yè)包含了幾乎全部國民經(jīng)濟(jì)基礎(chǔ)行業(yè)。換向器作為電機(jī)核心器件之一，也伴隨著電機(jī)行業(yè)發(fā)展日益增長[3]。由于換向器產(chǎn)品缺陷多樣性以及背景復(fù)雜性，很難收集一個(gè)標(biāo)注數(shù)據(jù)集來覆蓋缺陷所有可能存在的情況。因此，在處理模型從未訓(xùn)練過的產(chǎn)品缺陷時(shí)，預(yù)先訓(xùn)練好的檢測模型通常表現(xiàn)不好。收集滿足模型訓(xùn)練需求的帶標(biāo)記樣本，在實(shí)際工業(yè)應(yīng)用場景中是一個(gè)非常困難的任務(wù)。

文中，提出一種基于貝葉斯生成對(duì)抗網(wǎng)絡(luò)的換向器缺陷檢測方法。該方法能夠?qū)W習(xí)現(xiàn)有缺陷分布，訓(xùn)練生成模型學(xué)習(xí)產(chǎn)品表面缺陷模式和分布。第一階段利用貝葉斯生成對(duì)抗網(wǎng)絡(luò)生成大量缺陷樣本，對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)。第二階段利用分割網(wǎng)絡(luò)與分類網(wǎng)絡(luò)結(jié)合的方式進(jìn)行檢測，首先，分割網(wǎng)絡(luò)輸出二值圖對(duì)像素進(jìn)行預(yù)測，然后分類網(wǎng)絡(luò)利用分割網(wǎng)絡(luò)輸出作為注意力掩碼，輸出圖片級(jí)預(yù)測結(jié)果。

1 相關(guān)工作

近年來，人們研究了各種表面缺陷檢測算法。Li等人[4]針對(duì)玻璃產(chǎn)品，基于主成分分析檢測系統(tǒng)被提出。檢測玻璃產(chǎn)品劃痕、裂紋、變形、邊緣破碎等表面缺陷。隨著學(xué)習(xí)算法的進(jìn)步，機(jī)器學(xué)習(xí)算法也開始進(jìn)入缺陷檢測領(lǐng)域。基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的檢測方法一般分為特征提取和訓(xùn)練模型兩個(gè)部分，通過學(xué)習(xí)輸入圖像表征缺陷的特征向量，從而建立分類模型。比如決策樹，SVM等。盡管以上傳統(tǒng)檢測算法在各個(gè)表面缺陷檢測場景下取得不錯(cuò)的效果，但傳統(tǒng)算法需要認(rèn)為設(shè)定規(guī)則提取特征，針對(duì)不同的特征需要以不同的算法提取特征，在不同的生產(chǎn)環(huán)境下，比如光照不同或者背景復(fù)雜程度增加時(shí)，人為設(shè)計(jì)的算法規(guī)則不適當(dāng)前的任務(wù)。可能需要進(jìn)行參數(shù)的微調(diào)，或者重新設(shè)計(jì)算法。通過手工或淺層的學(xué)習(xí)技術(shù)識(shí)別表面缺陷，對(duì)復(fù)雜的情況沒有足夠的辨別力。這些方法通常應(yīng)用于特定的場景，缺乏適應(yīng)性和魯棒性。近十年，基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)檢測系統(tǒng)在表面缺陷檢測領(lǐng)域得到大量應(yīng)用。Wang等人[5]提出基于卷積神經(jīng)網(wǎng)絡(luò)的產(chǎn)品質(zhì)量控制模型，網(wǎng)絡(luò)模型能夠適用不同應(yīng)用場景。Yang等人[6]提出基于正樣本深度學(xué)習(xí)檢測系統(tǒng)，采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)不同高斯金字塔圖像塊進(jìn)行重構(gòu)，并將每個(gè)通道生成重構(gòu)殘差映射合并生成最終的檢測結(jié)果。以上方法雖然在各個(gè)領(lǐng)域均取得不錯(cuò)的效果，但是基于大數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)無法在少樣本情況下達(dá)到性能最佳點(diǎn)，而且大量數(shù)據(jù)的收集與標(biāo)注需要耗費(fèi)大量人工資源與專家資源。故在本文中采用生成對(duì)抗網(wǎng)絡(luò)對(duì)樣本進(jìn)行增強(qiáng)，提升檢測模型泛化能力，增強(qiáng)模型魯棒性。

2 方法

2.1 貝葉斯生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)近年來越來越多被訓(xùn)練來捕捉圖片豐富地隱性分布。貝葉斯生成對(duì)抗網(wǎng)絡(luò)[7]采用隨機(jī)梯度哈密頓蒙特卡羅來邊緣化生成器和鑒別器網(wǎng)絡(luò)權(quán)值，通過探索生成器參數(shù)后驗(yàn)分布，避免模式崩塌、產(chǎn)生可解釋性、多樣性的樣本。網(wǎng)絡(luò)如圖左所示。具體地說，我們給出樣本x服從分布pdata(x)，給出一個(gè)參數(shù)為ωg的生成器網(wǎng)絡(luò)G(z,ωg)將噪音分布z-p(z)轉(zhuǎn)化為真實(shí)樣本分布近似的生成樣本。我們用另外一組參數(shù)ωd表示的判別器網(wǎng)絡(luò)D(x,ωd)鑒別生成樣本與真實(shí)樣本。

(1)

(2)

假設(shè)我們從生成器先驗(yàn)分布p(ωg/αg)中采樣權(quán)重ωg。在這個(gè)權(quán)值采樣條件下初始化一個(gè)神經(jīng)網(wǎng)絡(luò)。然后我們對(duì)服從z～p(z)的白噪音進(jìn)行采樣。通過生成器網(wǎng)絡(luò)G(zi;ωg)將白噪音轉(zhuǎn)換為我們所需樣本，即缺陷樣本。鑒別器也在這個(gè)權(quán)值采樣條件下形成一個(gè)特定神經(jīng)網(wǎng)絡(luò)，更新網(wǎng)絡(luò)權(quán)重ωd，輸出生成樣本是來自于真實(shí)樣本的概率。公式(1)表明，假設(shè)鑒別器輸出較高概率，對(duì)于后驗(yàn)概率p(ωg/z,ωd)將在ωg采樣附近增加。對(duì)于鑒別器權(quán)重ωd的后驗(yàn)，如公式(2)所示，構(gòu)成鑒別器損失，將來自真實(shí)的樣本與生成的樣本鑒別為不同的類別。

生成對(duì)抗網(wǎng)絡(luò)在數(shù)據(jù)增強(qiáng)領(lǐng)域達(dá)到不錯(cuò)效果，DCGAN、DAGAN等。貝葉斯生成對(duì)抗網(wǎng)絡(luò)在數(shù)據(jù)樣本擬合能力上表現(xiàn)出色于其他生成對(duì)抗網(wǎng)絡(luò)。其次提出生成器權(quán)重后驗(yàn)函數(shù)，參數(shù)不同設(shè)置對(duì)應(yīng)于數(shù)據(jù)不同生成假設(shè)，與標(biāo)準(zhǔn)生成對(duì)抗網(wǎng)絡(luò)用一個(gè)解(類似最大似然解)不同的是，貝葉斯生成對(duì)抗網(wǎng)絡(luò)保留整個(gè)ωg后驗(yàn)分布，使得生成的缺陷樣本更具有多樣性與真實(shí)性，提升模型泛化能力。

2.2 缺陷檢測網(wǎng)絡(luò)

缺陷檢測模塊由3部分構(gòu)成，圖1右所示；特征提取網(wǎng)絡(luò)、分割網(wǎng)絡(luò)、分類網(wǎng)絡(luò)第一部分為特征提取層，該層從提取原圖特征轉(zhuǎn)化為高級(jí)特征表示。第二部分為分割網(wǎng)絡(luò)，融合共享層所提取特征，測缺陷位置信息，對(duì)圖片每個(gè)像素是否屬于缺陷概率映射到0～1。第三部分為分類網(wǎng)絡(luò)。該層接受特征提取層特征表示和分割網(wǎng)絡(luò)輸出熱圖作為輸入，預(yù)測結(jié)果0～1的值預(yù)測輸入圖片是否存在缺陷概率。缺陷檢測網(wǎng)絡(luò)不僅預(yù)測輸入圖片中是否存在缺陷，而且對(duì)于缺陷位置也提供可解釋性。

圖1 缺陷檢測框架

缺陷檢測網(wǎng)絡(luò)首先利用卷積層對(duì)輸入進(jìn)行特征提取，將原圖轉(zhuǎn)化為高層特征。卷積層使用步長為1的3×3卷積核。池化層核尺寸為2×2，最大池化層步長設(shè)置為2，將特征圖下采樣，以減少模型中參數(shù)量，提高模型泛化能力。輸出128通道的特征圖，尺寸大小為輸入圖像1/8。缺陷檢測網(wǎng)絡(luò)第二部分為缺陷分割網(wǎng)絡(luò)，將共享層輸出特征表示作為輸入，皆由卷積層構(gòu)建而成，前三層卷積通道數(shù)分別32，64和128，卷積核大小分別為3×3，最后一個(gè)卷積核為5×5，以獲取更大感受野。最后一層卷積層卷積核大小為1×1，個(gè)數(shù)為1，即輸出為單通道特征圖。利用Sigmoid激活函數(shù)將特征圖值域映射到0～1，即缺陷像素概率值。分割網(wǎng)絡(luò)輸出分割熱圖不僅對(duì)缺陷位置進(jìn)行可視化解釋，更是能夠?qū)⒎指钶敵鲎鳛樽⒁饬C(jī)制掩碼融合入分類網(wǎng)絡(luò)，使分類網(wǎng)絡(luò)更大程度上關(guān)注缺陷位置。缺陷檢測網(wǎng)絡(luò)最后一部分為缺陷分類網(wǎng)絡(luò)，分類網(wǎng)絡(luò)將分割網(wǎng)絡(luò)輸出特征圖作為注意力掩碼與特征提取網(wǎng)絡(luò)輸出進(jìn)行相乘后累加，使得網(wǎng)絡(luò)更加關(guān)注缺陷區(qū)域，分類網(wǎng)絡(luò)有4個(gè)卷積層，每個(gè)卷積層卷積核大小為3×3卷積層后都有批量歸一化和非線性ReLU層。最大池化層步長為2。我們將分類網(wǎng)絡(luò)輸出作為全連接層輸入。通過Sigmoid函數(shù)輸出表征整幅圖片中存在缺陷的概率。

3 實(shí)驗(yàn)

實(shí)驗(yàn)硬件條件為:RTX2070S,基于tensorflow深度學(xué)習(xí)框架。對(duì)于貝葉斯生成對(duì)抗網(wǎng)絡(luò)，訓(xùn)練超參數(shù)中，批量大小為32，學(xué)習(xí)率為0.005，采用隨機(jī)梯度下降算法迭代5 000次。生成大量缺陷圖片作為下階段缺陷檢測網(wǎng)絡(luò)的輸入。如圖2所示，a，b為采集的工業(yè)換向器真實(shí)數(shù)據(jù)，圖c，d為貝葉斯生成對(duì)抗網(wǎng)絡(luò)生成的缺陷樣本，如圖可知，缺陷特征主要由缺陷幾何形狀以及缺陷紋理特征組成，本文通過對(duì)缺陷進(jìn)行貝葉斯生成對(duì)抗網(wǎng)絡(luò)建模，鑒別器以強(qiáng)監(jiān)督模式監(jiān)督生成器盡可能生成服從真實(shí)分布的樣本，圖c，d中不僅僅缺陷背景分布發(fā)生了改變，缺陷幾何形狀也通過建模具備多樣性，使得生成缺陷樣本不僅符合真實(shí)性，更具備多樣性。

(a) (b)

基于大數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)在卷積神經(jīng)網(wǎng)絡(luò)下學(xué)習(xí)缺陷像素分布，本文通過將生成樣本dataset1與原始采集訓(xùn)練樣本dataset0進(jìn)行混合生成新數(shù)據(jù)dataset2，利用dataset2對(duì)缺陷檢測網(wǎng)絡(luò)進(jìn)行微調(diào)，模型可以學(xué)習(xí)到更廣泛的數(shù)據(jù)域，使得網(wǎng)絡(luò)更加具備泛化能力，提升精度。

4 總結(jié)

筆者提出一種基于貝葉斯生成對(duì)抗網(wǎng)絡(luò)的換向器缺陷檢測方法。利用貝葉斯生成對(duì)抗網(wǎng)絡(luò)對(duì)高維數(shù)據(jù)擬合能力，生成具備多樣性 與真實(shí)性的缺陷樣本。其次，我們檢測模塊采用分割網(wǎng)絡(luò)與分類網(wǎng)絡(luò)結(jié)合的方式，分割網(wǎng)絡(luò)輸出分割熱圖作為注意力掩碼融入分類網(wǎng)絡(luò)，使得網(wǎng)絡(luò)更加關(guān)注缺陷位置。