劉孝保，劉 佳，陰艷超，高 陽

(昆明理工大學 機電工程學院，云南 昆明 650500)

0 引言

表面細微缺陷影響著工件產(chǎn)品的使用性、外觀性和舒適性[1]，因此表面細微缺陷檢測成為工件缺陷檢測的重要工作之一。近年來，針對工件缺陷檢測的方法主要有傳統(tǒng)物理檢測方法與計算機視覺檢測方法，其中傳統(tǒng)物理檢測方法主要解決工件內(nèi)部缺陷問題，對操作人員的專業(yè)技能要求較高，且僅適用于部分材料工件；計算機視覺檢測方法主要包括深度學習檢測方法和傳統(tǒng)數(shù)字圖像處理方法等[2]，該方法具有實時性、非接觸性、客觀性等特點。針對傳統(tǒng)數(shù)字圖像處理方法，趙君愛等[3]提出一種基于像元搜索算法的微小缺陷檢測方法，用于分割弱小缺陷目標；劉磊等[4]利用主成成分分析法對缺陷圖像特征數(shù)據(jù)進行降維計算獲得新的主成分，并采用支持向量機(Support Vector Machine, SVM)建立制動防抱死系統(tǒng)(Antilock Brake System, ABS)齒圈缺陷檢測模型；WIN等[5]針對鍍鈦表面小裂紋缺陷，改進Otsu閾值調(diào)節(jié)方法，對鍍鈦鋁表面進行自動檢測；馮毅雄等[6]利用缺陷特征完成軸件表面形貌重構(gòu)，消除了水漬偽缺陷對檢測過程的影響；JIAN等[7]采用基于輪廓的配準方法，實現(xiàn)移動過程中震動狀態(tài)的手機玻璃屏(Mobile Phone Screen Glass, MPSG)圖像對準，并結(jié)合減法與投影完成對MPSG圖像缺陷的識別。上述幾類傳統(tǒng)數(shù)字圖像處理方法對表面缺陷檢測均存在預處理數(shù)據(jù)量大、識別精度不高、魯棒性不強等問題。針對基于深度學習的缺陷檢測，虢韜等[8]通過構(gòu)建快速深度卷積神經(jīng)網(wǎng)絡(luò)(Faster Region-based Convolutional Neural Network, Faster-RCNN)網(wǎng)絡(luò)模型識別絕緣子自爆缺陷；范佳楠等[9]通過構(gòu)建Faster-RCNN識別工業(yè)CT圖像缺陷；AKRAM等[10]針對光伏組件缺陷，采用光卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)實現(xiàn)其缺陷的自動檢測，同時根據(jù)策略推廣模型預測特定缺陷類型；李宜汀等[11]針對油辣椒灌裝生產(chǎn)線的封蓋面缺陷檢測，在預處理階段裁剪缺陷主體，然后融合稀疏濾波，通過提取多重特征輸入卷積神經(jīng)網(wǎng)絡(luò)獲得缺陷識別模型；郭亞萍等[12]基于SegNet網(wǎng)絡(luò)重構(gòu)表面缺陷檢測問題，利用編碼—解碼結(jié)構(gòu)實現(xiàn)特征的像素級分類。常用的深度學習表面缺陷檢測模型對特征表征能力強、易于學習的明顯特征具有較好的檢測識別能力，而對缺陷目標在整張圖像中像素占比小、信噪比極低、背景與目標特征區(qū)分不明顯的細微缺陷，雖然可以增加網(wǎng)絡(luò)深度和復雜性來獲取更優(yōu)的學習能力與模型效果，但是總體學習效果仍然欠佳，模型能效比有待提升。

為此，針對工件表面細微特征難以識別的問題，本文構(gòu)建了一種基于超分辨率特征融合的數(shù)據(jù)擴增模型(data Amplification model for Super-Resolution feature Fusion, SRF-A)。該模型集成基于圖像修復與圖像融合的數(shù)據(jù)擴增，并融入圖像超分辨率機制，形成包括缺陷樣本數(shù)據(jù)層(Data)、超分辨率特征提取與樣本修復層(Super Resolution-image Repair, SR-Re)、數(shù)據(jù)擴增層(data Merge-Amplification，M-A)的3層模型結(jié)構(gòu)，著重解決了表面細微缺陷檢測模型構(gòu)建困難、圖像特征不明顯、工業(yè)應用困難的問題，為工件表面細微缺陷檢測提供了一種新的思路與方法。

1 工件表面細微缺陷分析

表面缺陷檢測是零件加工過程中必不可少的環(huán)節(jié)。因為表面缺陷以工件為載體，而工件工藝流程多樣，生產(chǎn)環(huán)境復雜，表面缺陷種類繁多且成因各不相同，所以工件表面細微缺陷具有如下特點：

(1)圖像特征不明顯 圖像特征主要包括顏色特征、紋理特征、形狀特征和空間關(guān)系特征。針對細微缺陷，其顏色特征不明顯，顏色直方圖中細微缺陷的色彩像素點全局占比極??；在紋理特征上，紋理特征所表示的物理表面特性中，細微缺陷對圖像紋理改變較小，且由于圖像分辨率的原因，相同圖像在不同分辨率下對特征的紋理表征偏差較大，二維圖像對三維表面的表征會因圖像分辨率等特性而出現(xiàn)失真；在形狀特征上，細微缺陷區(qū)域的邊界非常接近，因此，描述缺陷的輪廓特征和區(qū)域特征比較困難，常用的邊界描述法、傅里葉形狀描述法、幾何參數(shù)法均因區(qū)域邊界影響而不能很好地對其形狀特征進行描述；在空間關(guān)系特征上，細微缺陷姿態(tài)不清晰，圖像內(nèi)容描述區(qū)分能力差，容易受噪聲影響。因此，可采用圖像超分辨率技術(shù)，通過增強細微缺陷特征來提高其表征能力。

(2)檢測模型構(gòu)建困難 常規(guī)卷積神經(jīng)網(wǎng)絡(luò)模型由卷積層、池化層、全連接層構(gòu)成，其模型的構(gòu)建過程實際上是特征學習與參數(shù)更新的過程，卷積層與池化層用于提取特征的高級表征，需要大量的訓練數(shù)據(jù)，而且訓練數(shù)據(jù)應該標簽清晰、特征突出，而細微缺陷因為在圖像中的特征占比小，圖像特征模糊，所以在神經(jīng)網(wǎng)絡(luò)的學習過程中對細微缺陷特征的學習能力較弱，且訓練過程不易收斂，模型參數(shù)更新困難。因此，可通過超分辨率特征融合來強化細微缺陷的結(jié)構(gòu)與紋理信息，增強檢測模型對細微缺陷圖像特征的學習能力。

(3)檢測(應用)困難 傳統(tǒng)工件表面細微缺陷檢測方法對操作人員技術(shù)水平和檢測設(shè)備要求較高，但對細微缺陷檢測的效果欠佳，因此現(xiàn)代工業(yè)對具有無接觸性、準確率高、客觀快速、自學習等特性的計算機視覺檢測需求極大，然而細微缺陷具有圖像特征不明顯、樣本獲取困難與模型構(gòu)建困難等特點，限制了其應用。為此，通過建立超分辨率特征融合數(shù)據(jù)擴增模型，在強化細微缺陷的結(jié)構(gòu)與紋理信息的同時，增強神經(jīng)網(wǎng)絡(luò)的學習能力和模型構(gòu)建能力，提高了工業(yè)應用的場景適應性與檢測模型能效比。

2 基于超分辨率特征融合的數(shù)據(jù)擴增模型

針對工件表面細微缺陷檢測中存在的問題，本文提出基于超分辨率特征融合的數(shù)據(jù)擴增模型(SRF-A)，該模型重點解決了工件表面細微缺陷的檢測模型構(gòu)建困難、檢測精度差、分類不準確問題，模型結(jié)構(gòu)如圖1所示。

SRF-A由Data層、SR-Re層和M-A層3層結(jié)構(gòu)構(gòu)成，其中：Data層負責劃分初始樣本，輸入原始數(shù)據(jù)，輸出包括表面細微缺陷的工件圖像樣本數(shù)據(jù)，并作為SR-Re層的輸入；SR-Re層用于提取圖像特征的超分辨率和修復原始樣本，從而增強表面細微缺陷圖像特征的超分辨率并獲取無缺陷樣本ND-S；M-A層通過融合SR-Re層提取的超分辨特征和無缺陷樣本實現(xiàn)數(shù)據(jù)擴增。

深度學習模型的實際應用效果不僅取決于其模型本身的合理性，還取決于模型訓練中的樣本質(zhì)量水平。由于工件表面細微缺陷的隱蔽性，容易在深度學習訓練的采樣過程中忽略細微特征而降低細微特征的學習能力。因此，SRF-A針對工件表面的細微缺陷特征，利用超分辨率特征融合對細微缺陷的超分辨率進行復原，在數(shù)據(jù)上強化細微缺陷的圖像特征表示，并通過融合無缺陷樣本，豐富細微缺陷的背景，完成數(shù)據(jù)擴增，提高常規(guī)深度學習模型對細微缺陷特征的更新學習和分類檢測能力。在實際的工件表面缺陷檢測過程中，采用本模型對訓練數(shù)據(jù)進行預處理，能夠豐富模型的訓練數(shù)據(jù)、突出細微類別的圖像表征，從而增強檢測模型的構(gòu)建能力，提升總體檢測精度和分類準確率。

2.1 Data層樣本劃分

實驗數(shù)據(jù)樣本為單缺陷圖像(即一張圖像只包含一類標簽特征)，而SRF-A只針對細微缺陷樣本，因此模型Data層需要將樣本劃分為細微缺陷和非細微缺陷，并將細微缺陷樣本作為Data層輸出。

劃分樣本時，需要提取圖像中的缺陷特征區(qū)域，并計算缺陷特征區(qū)域最小外接矩形在整張圖像中的像元占比，計算步驟為：首先完成樣本的預處理裁剪，減少樣本中無關(guān)背景的干擾；然后用灰度直方圖閾值分割技術(shù)分割缺陷特征區(qū)域；提取分割后的缺陷特征區(qū)域，并統(tǒng)計缺陷區(qū)域外接矩形中的像元數(shù)量，計算缺陷區(qū)域像元數(shù)量占圖像像元總數(shù)的比值，即缺陷特征區(qū)域像元占比。

將實驗經(jīng)驗值0.333%作為樣本中的細微缺陷劃分標準，缺陷特征區(qū)域像元占比小于0.333%的樣本劃分為細微缺陷樣本，否則劃分為非細微缺陷樣本。

2.2 樣本修復

樣本修復是指對樣本中不符合正常樣本數(shù)據(jù)概型分布的噪聲數(shù)據(jù)進行修復與替代，使數(shù)據(jù)的分布特性更加接近自然數(shù)據(jù)[13]，在SRF-A中，SR-Re層中并行結(jié)構(gòu)右側(cè)的樣本修復模塊(Re)通過修復Data層中樣本圖像的細微缺陷，為M-A層提供無缺陷樣本ND-Si(i=1,…,n)。采用快速行進法[14](Fast Marching Method, FMM)修復工件表面細微缺陷的小尺度圖像的原理如圖2所示。

圖中A為缺陷樣本中的缺陷特征區(qū)域，?A為缺陷區(qū)域邊界，p為邊界上一點，Bε(p)為點p的鄰域，q為Bε(p)內(nèi)部一點。對Bε(p)區(qū)域內(nèi)部像素點進行加權(quán)平均以估算p點像素值，即：

R(p)=

(1)

G(p)=

(2)

B(p)=

(3)

式中：R(p)，G(p)，B(p)分別為彩色圖像紅、綠、藍三通道的p點像素值；ω(p,q)為加權(quán)函數(shù)，用于衡量待修復像素點與相關(guān)鄰域像素點的相關(guān)性，像素點距離p點法線方向越近，對p點像素修復貢獻的權(quán)值越大，

ω(p,q)=direction(p,q)·distance(p,q)·

level(p,q)，

(4)

式中：direction(p,q)為方向權(quán)值，保證距離p點法線方向越近的鄰域像素點，對p點像素修復結(jié)果產(chǎn)生的影響越大；distance(p,q)為距離權(quán)值，保證距離p點越近的鄰域像素點，對p點像素點修復結(jié)果產(chǎn)生的影響越大；level(p,q)為水平集距離權(quán)值，保證距離待修復區(qū)域越近的鄰域像素，對待修復區(qū)域像素點修復結(jié)果的影響越大；d0和T0，分別為距離參數(shù)與水平集參數(shù)，d0=1，T0=1；T為缺陷特征區(qū)域像素點距離該區(qū)域邊緣最短的距離。

2.3 超分辨率特征提取

因為細微缺陷特征不易識別，所以構(gòu)建缺陷檢測模型需要對細微缺陷的圖像數(shù)據(jù)進行超分辨率重建，以保證缺陷特征在CNN的下采樣訓練過程中不會丟失。細微缺陷在圖像中像元的占比雖然小，但是細微缺陷內(nèi)部具有豐富的紋理與結(jié)構(gòu)信息，如果直接采用線性插值法進行細微缺陷的超分辨率重建，則重建圖像雖然尺寸較大，但是會丟失細微缺陷大部分的結(jié)構(gòu)和紋理信息，為此采用超分辨率生成式對抗網(wǎng)絡(luò)[15](Super-Resolution Generative Adversarial Networks, SRGAN)對細微缺陷進行超分辨率重建，較好地恢復了細微缺陷內(nèi)部的結(jié)構(gòu)和紋理。超分辨率特征提取(Super-Resolution Feature Extraction, SR-FE)模型結(jié)構(gòu)如圖3所示。

低分辨率圖像生成高分辨率圖像的原理是將訓練集中的高分辨率圖像與其對應的低分辨率圖像作為訓練數(shù)據(jù)，學習低分辨率圖像到高分辨率圖像的關(guān)系映射，并通過網(wǎng)絡(luò)模型儲存該類映射關(guān)系。超分辨率重建圖像是通過學習到的映射關(guān)系，利用低分辨率圖像生成高分辨率圖像。

SR-FE模型首先提取缺陷樣本(Si，i=1,…,n)中的缺陷特征(Fi，i=1,…,n)區(qū)域，輸入SRGAN中的生成模型G-Model，完成對SRGAN的訓練。將原始高分辨率缺陷樣本作為真實數(shù)據(jù)輸入SRGAN中的判別模型D-Model，對原始高分辨率缺陷樣本進行圖像四倍下采樣，獲得高分辨率缺陷樣本對應的低分辨率缺陷樣本，再將低分辨率缺陷樣本輸入SRGAN中的生成模型，生成超分辨率缺陷樣本，并將其作為虛假數(shù)據(jù)，將原始高分辨率缺陷樣本與虛假數(shù)據(jù)同時輸入判別模型，利用SRGAN的博弈和反饋過程對生成模型和判別模型的參數(shù)進行更新。利用生成模型已經(jīng)學習到的樣本映射關(guān)系，將缺陷特征輸入生成模型生成對應的超分辨率特征SR-Fi，完成對樣本中細微缺陷超分辨率特征的提取。SRGAN的目標函數(shù)為

(5)

通過高分辨率缺陷數(shù)據(jù)訓練生成模型，通過注意力矩陣tn(n=1,…,N)提取樣本Sn中的缺陷特征fn，將fn作為生成模型的輸入，輸出四倍超分辨率缺陷特征SR-Fn，

SR-Fn=GθG(fn)；

(6)

fn=Sn×tn。

(7)

式中：SR-Fn為超分辨率缺陷特征；GθG為已完成訓練的生成模型；Sn為缺陷樣本。

注意力機制的數(shù)學描述為從輸入集合中獲取特定子集，軟注意力機制意為生成與樣本矩陣大小相同、內(nèi)部元素數(shù)值介于0～1的注意力矩陣，硬注意力機制意為生成與樣本矩陣大小相同、內(nèi)部元素數(shù)值為0或1的注意力矩陣，本文采用硬注意力機制提取樣本中的缺陷特征。

注意力矩陣tn通過迭代法分割獲取全局閾值，具體步驟如下：

(1)針對本文數(shù)據(jù)預定義參數(shù)t=5，作為后續(xù)比較對象。

(2)隨機設(shè)定初始分割閾值a(a∈[avergegray±20],averagegray為圖像平均灰度值)。

(3)利用初始分割閾值a將原始圖像樣本分割為兩組像素的集合，即背景與前景。

(4)分別計算前景與背景的平均灰度值a1，a2，隨后計算a1和a2的平均值a3。

(5)計算a3與隨機初始分割閾值a的差值T。

(6)比較T與(1)中的預定義參數(shù)t，若T>t，則用a3替代初始分割閾值a，重復(3)～(5)，直到T≤t，結(jié)束迭代，獲取最優(yōu)閾值[16]。

執(zhí)行最新閾值分割前景和背景，獲取注意力矩陣，如圖4所示。圖4b中分割出的前景在注意力矩陣中所有位置的值為1，背景在注意力矩陣中所有位置的值為0。

2.4 基于圖像融合的數(shù)據(jù)擴增模型

數(shù)據(jù)擴增通過對原始數(shù)據(jù)進行一系列變換生成更多樣本數(shù)據(jù)來增加樣本數(shù)據(jù)的多樣性、提高模型泛化能力。CNN訓練學習圖像特征需要大量訓練數(shù)據(jù)，訓練數(shù)據(jù)中的圖像特征通過卷積池化等數(shù)學操作壓縮提取，由于表面細微缺陷的圖像特征不明顯、像素占比小，容易在降采樣過程中丟失細微特征，造成分類不準確、學習效率低下。本文采用超分辨率提取工件表面的細微特征，融合擴增修復樣本與超分辨率特征，使表面細微缺陷數(shù)據(jù)不易在訓練過程中丟失，從而提高模型對表面細微缺陷的學習能力，并提高模型分類的效果。基于圖像融合的數(shù)據(jù)擴增(Data Merge Amplification, DMA)模型結(jié)構(gòu)如圖5所示。

DMA模型屬于SRF-A模型中的第3層M-A層，上接SR-Re層。DMA模型分為超分辨率特征層、單樣本擴增層、無缺陷樣本層、融合位置參數(shù)層、泊松融合層和新樣本層。其中超分辨率特征層以圖1中SR-Re層的SR-FE模型輸出的超分辨率缺陷特征SR-Fi為輸入數(shù)據(jù)；無缺陷樣本層以SRF-A中SR-Re層的樣本修復模塊(Re)輸出的無缺陷樣本為輸入數(shù)據(jù)s=[ND-S1,ND-S2,…,ND-Sn]T；融合位置參數(shù)層中位置參數(shù)position的選擇可以豐富圖像融合后的數(shù)據(jù)表征，屬于圖5 的內(nèi)部結(jié)構(gòu)參數(shù)，并不通過SRF-A的前兩層獲??；泊松融合層位于新樣本層之前，屬于泊松(Poission)圖像融合關(guān)鍵算法區(qū)域，連接DMA模型融合位置參數(shù)position-i、SRF-A模型第2層產(chǎn)生的超分辨率缺陷特征SR-Fi和無缺陷樣本ND-Si。

DMA模型首先以超分辨率缺陷特征SR-Fi作為輸入數(shù)據(jù)，通過單樣本擴增技術(shù)(圖像翻轉(zhuǎn)Flip、圖像旋轉(zhuǎn)Spin、…、圖像模糊blurry)對超分辨率缺陷特征SR-Fi進行變換，獲取變換數(shù)據(jù)x,在無缺陷樣本中選擇融合位置參數(shù)position-i(i-1,…,n)，然后通過泊松圖像融合[17]將無缺陷樣本層數(shù)據(jù)s=[ND-S1,ND-S2,…,ND-Sn]T與單樣本擴增數(shù)據(jù)x根據(jù)融合位置參數(shù)position-i進行超分辨率特征融合，獲得擴增樣本層數(shù)據(jù)d，

di,j=poisson(xi,j,si,1,position-i)。

(8)

2.5 工件表面細微缺陷數(shù)據(jù)擴增流程

對于工件表面缺陷樣本數(shù)據(jù)，原始樣本空間存在數(shù)量較少的細微缺陷類別樣本，導致樣本空間不均衡，而且細微缺陷特征的像元在圖像中占比過小，神經(jīng)網(wǎng)絡(luò)在訓練過程中多次下采樣后，細微缺陷的特征將被特征圖丟失，導致分類模型構(gòu)建失敗，因此采用SRF-A處理初始數(shù)據(jù)，生成新樣本空間。擴增流程如圖6所示。

數(shù)據(jù)擴增具體步驟如下：

步驟1將原始鋁型材待分類數(shù)據(jù)輸入模型作為初始樣本空間。

步驟2通過對原始樣本數(shù)據(jù)進行預處理裁剪，去除大多數(shù)無關(guān)環(huán)境噪聲的影響，獲取工件主體部分以及主體部分所承載的表面缺陷特征。

步驟3采用圖像閾值分割方法對步驟2經(jīng)過預處理裁剪獲取的圖像進行目標缺陷的圖像分割，獲取缺陷區(qū)域。

步驟4通過多次實驗確定像元占比判別閾值為0.333%，計算步驟3獲取的鋁型材表面缺陷像元數(shù)量與圖像總體像元數(shù)量的比值，即表面缺陷區(qū)域的像元占比，并與0.333%比較，將像元占比小于等于0.333%的缺陷樣本劃分為細微缺陷樣本，將像元占比大于0.333%的缺陷樣本劃分為非細微缺陷樣本。

步驟5判定為細微缺陷樣本的數(shù)據(jù)將通過左側(cè)并行通路，分別進入并行通路的左側(cè)分支與右側(cè)分支。左側(cè)分支對細微缺陷樣本在步驟3獲取的細微缺陷進行四倍超分辨率特征復原，并采用旋轉(zhuǎn)、平移、噪聲添加等單樣本擴增技術(shù)，對細微缺陷的四倍超分辨率特征進行數(shù)據(jù)擴增；右側(cè)分支修復缺陷區(qū)域的細微缺陷樣本數(shù)據(jù)，獲得無缺陷樣本。判定為非細微缺陷樣本的圖像直接通過右側(cè)通路，不進行任何操作。

步驟6將步驟5中右側(cè)通路生成的無缺陷樣本與左側(cè)通路生成的細微缺陷四倍超分辨率特征進行泊松圖像融合，獲取包括超分辨率細微特征前景與鋁型材工件背景的新樣本。

步驟7接受步驟4判定的非細微缺陷樣本和步驟6生成的融合數(shù)據(jù)新樣本，獲取包括超分辨率細微缺陷的新樣本空間數(shù)據(jù)。

3 實驗分析

為驗證SRF-A對提升工件表面細微缺陷檢測精度的有效性與可行性，使用鋁型材常見表面缺陷數(shù)據(jù)集(https://tianchi.aliyun.com/competition/entrance/231682/information)，選擇數(shù)據(jù)集中的5類樣本(臟點、凸粉、碰凹、擦花、無缺陷)作為實驗數(shù)據(jù)。由于原始比賽數(shù)據(jù)存在標注錯誤，手動更正錯誤后，獲取5類樣本的數(shù)量分別為擦花26張、碰凹20張、凸粉64張、臟點54張、無缺陷42張，樣本如圖7所示。

3.1 實驗數(shù)據(jù)準備

原始樣本的小樣本與非均勻狀態(tài)會影響模型擬合和訓練結(jié)果[18-19]，因此需要采用數(shù)據(jù)擴增方法消除原始樣本空間的不均勻分布，下面分別采用普通數(shù)據(jù)擴增方法與本文數(shù)據(jù)擴增方法進行實驗數(shù)據(jù)的擴增與準備：

(1)普通數(shù)據(jù)擴增 首先采用普通數(shù)據(jù)擴增方法對原始5類樣本進行數(shù)據(jù)擴增，將每一類標簽樣本擴充至400張(包括4類原始樣本)，其中用到的擴增方法有旋轉(zhuǎn)、平移、縮放、鏡像，設(shè)置旋轉(zhuǎn)角度不超過20°，平移距離不超過圖像尺寸40%，縮放尺寸不超過原始圖像尺寸的10%。

(2)本文數(shù)據(jù)擴增 將上述5類樣本中的4類缺陷樣本劃分為細微缺陷樣本和非細微缺陷樣本，本文數(shù)據(jù)集圖像的原始分辨率為2 560×1 920，單幅圖像的像元總數(shù)為4 915 200。提取缺陷連通區(qū)域的最小外接矩形，并計算該矩形的像元數(shù)量，像元數(shù)量小于128×128=16 384的樣本(即像元占比<0.333%)被劃分為細微缺陷樣本，利用本文SRF-A對細微缺陷樣本進行數(shù)據(jù)擴增，非細微缺陷樣本按比例采用普通數(shù)據(jù)擴增。在用SRF-A對細微缺陷區(qū)域進行超分辨率提取之前，需要對SR-FE模型中的超分辨率模塊(SR)進行訓練，本文采用5類標簽樣本共206張圖像訓練SR模塊中的SRGAN。

首先切分206張原始樣本，獲得21 840張128×128分辨率圖像(高分辨率圖像)，作為SRGAN中D-Model的真實數(shù)據(jù)輸入；其次對128×128分辨率圖像進行四倍下采樣，生成32×32分辨率圖像(低分辨率圖像)，作為SRGAN中G-Model的輸入；最后將G-Model的輸出作為SRGAN中D-Model的虛假數(shù)據(jù)輸入，訓練SRGAN模型生成四倍超分辨率圖像。細微缺陷的四倍超分辨率效果如圖8所示。

由圖8可知，經(jīng)過訓練后的SR模型對缺陷區(qū)域進行超分后，較好地保留了圖像色彩信息和紋理結(jié)構(gòu)，而且在對非訓練數(shù)據(jù)進行超分時，能夠重建低分辨率圖像。樣本劃分如表1所示，數(shù)據(jù)擴增情況如表2所示。

表1 樣本劃分統(tǒng)計

表2 數(shù)據(jù)擴增統(tǒng)計

3.2 實驗環(huán)境搭建與網(wǎng)絡(luò)構(gòu)建

使用個人計算機為硬件平臺，基于Windows 10操作系統(tǒng)，采用Keras平臺作為深度學習后端(Keras版本為2.3.1)，編程語言為Python 3.7.4。

采用經(jīng)典CNN網(wǎng)絡(luò)GoogLeNet和ResNet50分別構(gòu)建兩種分類網(wǎng)絡(luò)，并通過多次實驗調(diào)參優(yōu)化數(shù)據(jù)模型參數(shù)，其網(wǎng)絡(luò)參數(shù)設(shè)置如表3所示。

表3 神經(jīng)網(wǎng)絡(luò)訓練參數(shù)設(shè)置

GoogLeNet網(wǎng)絡(luò)于2014年提出，獲得當年ImageNet挑戰(zhàn)賽第一名，其能夠以較小的參數(shù)量與相對更淺的網(wǎng)絡(luò)層數(shù)獲得更高的分類精度，具有其獨特的優(yōu)勢。

ResNet網(wǎng)絡(luò)于2015年提出，獲得當年ImageNet挑戰(zhàn)賽第一名，其通過殘差學習的方式使得構(gòu)建深層網(wǎng)絡(luò)學習特征更加便捷。本文采用ResNet50網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建50層殘差網(wǎng)絡(luò)。

3.3 實驗驗證與結(jié)果分析

為評估SRF-A的性能與有效性，根據(jù)文獻[20]進行4.1節(jié)普通數(shù)據(jù)擴增與4.2節(jié)網(wǎng)絡(luò)初始參數(shù)設(shè)置(訓練周期為60、學習率為0.001，采用交叉熵損失函數(shù))，采用SRF-A進行3.1節(jié)的超分融合擴增。將3.2節(jié)構(gòu)建的兩種分類網(wǎng)絡(luò)和3.1節(jié)準備的兩種樣本數(shù)據(jù)(普通數(shù)據(jù)擴增、超分融合擴增)對應的4種模型分別設(shè)置3組實驗，共12組實驗進行對比，實驗標簽1為擦花、2為碰凹、3為凸粉、4為臟點、5為無缺陷。最后分別取3組實驗的平均值作圖，平均準確率變化如圖9所示，具體結(jié)果如表4所示。

從文獻[20]可知，由于臟點這類小尺度缺陷的特征尺度細微且分布較廣，網(wǎng)絡(luò)對其識別能力較低。由圖9可見，網(wǎng)絡(luò)在訓練20個輪次之前，兩類方法的精度相差并不明顯；在20個訓練輪次之后，兩類方法開始出現(xiàn)一定差異，本文方法的精度持續(xù)上升直至穩(wěn)定，常規(guī)方法的精度提升效果不大。這是由于本文方法對樣本中的細微缺陷進行超分辨率特征融合，使網(wǎng)絡(luò)在20個訓練輪次之后對數(shù)據(jù)仍然具有學習分類能力；常規(guī)方法則因細微缺陷樣本在學習下采樣過程中丟失了特征，導致與無缺陷樣本區(qū)分時出現(xiàn)困難，而持續(xù)學習導致網(wǎng)絡(luò)產(chǎn)生過擬合現(xiàn)象，降低了模型擬合非訓練樣本的能力。在GoogLeNet網(wǎng)絡(luò)中，本文數(shù)據(jù)擴增方法的平均精度較普通數(shù)據(jù)擴增方法提高了8.1%；在ResNet網(wǎng)絡(luò)中，本文數(shù)據(jù)擴增方法的平均精度較普通數(shù)據(jù)擴增方法提高了5.7%；結(jié)合表4單標簽精度與表1樣本劃分統(tǒng)計，標簽4臟點類缺陷的細微樣本占比為100%，標簽1擦花類缺陷的細微樣本占比為11.5%，標簽3凸粉類缺陷的細微樣本占比為9.4%，這3類樣本在GoogLeNet網(wǎng)絡(luò)中的精度分別提升11.8%，10.5%，4.4%，在ResNet網(wǎng)絡(luò)中的精度分別提升10.4%，7.8%，1.1%，可見細微樣本占比與標簽分類精度的提升有較為明顯的相關(guān)性。

標簽4為臟點類缺陷，在樣本劃分中全部屬于細微缺陷，標簽5為無缺陷樣本，其采樣特征圖與細微缺陷卷積采樣后的特征圖相似性較高，因此在分類網(wǎng)絡(luò)中標簽4和標簽5分類困難。采用本文方法處理后，標簽4的精度提升最大，其次為標簽5，而隨著細微缺陷識別率的提高，網(wǎng)絡(luò)對無缺陷樣本的識別能力得到相應提升。

4 結(jié)束語

針對工業(yè)缺陷檢測中表面細微缺陷檢測存在的問題，提出一種基于超分辨率特征融合的工件表面細微缺陷數(shù)據(jù)擴增方法，該方法具有如下特點：①根據(jù)實驗將缺陷特征像元占比0.333%為標準劃分原始樣本中的細微缺陷樣本；②構(gòu)建并行結(jié)構(gòu)，分別融合SRGAN和圖像修復，進行樣本細微特征的超分辨率特征提取與無缺陷樣本獲??；③通過泊松融合進行圖像擴增來豐富缺陷樣本數(shù)據(jù)量，從而擴增細微缺陷樣本數(shù)據(jù)，增強檢測模型的泛化能力和學習能力，提高模型能效比。然而，本文方法在將細微樣本的缺陷特征前景與無缺陷背景融合時，沒有利用非細微缺陷特征背景豐富擴增后的樣本，而且每類標簽樣本數(shù)據(jù)都服從其類間特有分布，因此下一階段工作將融合Criminisi算法修復非細微缺陷樣本圖像，并利用類樣本概率分布理論進一步支撐無缺陷樣本與特征前景融合，優(yōu)化樣本結(jié)構(gòu)，增強模型的學習能力和檢測能力。