段春梅，張濤川，李大成，陳 肖

(佛山職業(yè)技術(shù)學(xué)院，廣東佛山 528137)

1 引言

PET瓶坯憑借無毒、質(zhì)量分布均勻，良好的絕緣性等優(yōu)點，廣泛地應(yīng)用于日化用品包裝等領(lǐng)域，通過吹塑再次加工形成化妝品瓶、飲料礦泉水瓶、醫(yī)塑包裝、食用油瓶等，其產(chǎn)量和消費量隨著經(jīng)濟的快速發(fā)展迅速增長。因此，PET瓶坯的質(zhì)量具有非常重要意義。但是由于注塑機內(nèi)部的空氣原因而導(dǎo)致在瓶坯上隨機形成氣泡缺陷，或者因為降解的溶料在瓶坯上產(chǎn)生黑色的顆粒而形成黑點缺陷，或者因為模具表面受損以及碰撞原因在瓶坯側(cè)壁上產(chǎn)生形狀不規(guī)則的劃痕，這三種缺陷是十分常見的，除此之外 PET瓶坯的缺陷還包括拉絲、水痕、凹痕等多種缺陷[1]。所以對PET瓶坯進行質(zhì)量檢測是生產(chǎn)過程中不可缺少的。

在許多制造業(yè)中，人工檢測仍然是生產(chǎn)過程中的重要組成部分，但其不能保證檢測的穩(wěn)定性和準(zhǔn)確性。因此，自動缺陷檢測是解決這一問題的必然要求。其中機器視覺技術(shù)以其高精度的識別率和檢測穩(wěn)定性，逐漸取代了傳統(tǒng)的人工檢測方法，能夠滿足用戶的要求?；跈C器視覺的PET瓶坯缺陷檢測過程一般包括圖像采集、圖像預(yù)處理、特征提取和缺陷識別四個步驟。其中，特征提取直接影響檢測精度，甚至導(dǎo)致檢測失敗[2]。一般情況下，機器視覺特征提取方法大部分都是基于圖像梯度方向的直方圖的，例如SURF等[3]。但是由于缺陷具有任意尺寸、方向和形狀的特點，所以通過傳統(tǒng)的機器視覺特征提取方法獲得的標(biāo)準(zhǔn)缺陷特征描述，可能導(dǎo)致分類結(jié)果的精度較低。

所以相對于上述特征提取方法，許多學(xué)者研究了深度學(xué)習(xí)的特征提取方法，并應(yīng)用于不同材料的缺陷分類和檢測。鄧杰航等[4]針對皮革缺陷分類設(shè)計了基于參數(shù)優(yōu)化的殘差網(wǎng)絡(luò)，通過多層卷積層提取皮革特征，引入殘差模塊解決深層網(wǎng)絡(luò)的梯度消失問題，根據(jù)所提取特征進行缺陷分類。姚明海等[5]設(shè)計了卷積神經(jīng)網(wǎng)絡(luò)的自適應(yīng)加權(quán)池化算法，提高卷積神經(jīng)網(wǎng)絡(luò)的特征提取精度，應(yīng)用于各種基于神經(jīng)網(wǎng)絡(luò)的表面缺陷檢測系統(tǒng)，從而提高表面缺陷的檢測準(zhǔn)確率。周穎等[6]利用改進的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)太陽能電池板缺陷檢測，主要通過改進損失函數(shù)，引入平衡因子，然后將網(wǎng)絡(luò)的輸出層換成隨機森林分類器，提高缺陷檢測的識別率和網(wǎng)絡(luò)的泛化能力。金守峰等[7]通過光切成像原理搭建檢測平臺，采用BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)織物表面絨毛缺陷檢測。

同時具研究表明，學(xué)者很少利用深度網(wǎng)絡(luò)學(xué)習(xí)對PET瓶坯缺陷分類和檢測進行探討，因此本文研究基于卷積神經(jīng)網(wǎng)絡(luò)的PET瓶坯缺陷分類和識別。同時本文將對傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行改進，以獲得更好的檢測精度和穩(wěn)定性。在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，采用多流卷積神經(jīng)網(wǎng)絡(luò)識別PET瓶坯缺陷，它通過融合多個圖像特征來提高PET瓶坯缺陷的識別性能，滿足了PET瓶坯缺陷識別的精度和穩(wěn)定性要求。據(jù)研究所知，基于三個獨立卷積神經(jīng)網(wǎng)絡(luò)流(RGB圖像流、梯度圖像流和缺陷圖像流)的多特征融合方法尚未應(yīng)用于PET瓶坯的缺陷分類和識別。目前，世界范圍內(nèi)沒有開放的PET瓶坯樣本數(shù)據(jù)集。項目團隊與企業(yè)合作，由企業(yè)提供包含氣泡、黑點、劃痕和無缺陷的PET瓶坯樣品，為此設(shè)計了一個PET瓶坯缺陷檢測平臺，通過樣機平臺采集樣本圖片，并對樣本進行數(shù)據(jù)增強，有效地解決了訓(xùn)練樣本不足的問題。

2 數(shù)據(jù)采集與預(yù)處理

2.1 PET瓶坯缺陷檢測設(shè)備

設(shè)計了PET瓶坯缺陷檢測平臺，該平臺可以采集樣本圖片并進行缺陷分類和質(zhì)量評估。平臺由工業(yè)相機、平面光源和運動控制系統(tǒng)組成。檢測平臺的結(jié)構(gòu)圖如圖1 所示。其中，Basler工業(yè)相機配有ON Semiconductor MT9J003 CMOS 感光芯片，每秒 10 幀圖像，1000萬像素分辨率。PLC選用是國產(chǎn)三菱PLC-FX-3U，可以和MATLAB進行串口通信，通過MATLAB控制PLC的各個端點。光源是LED平面光源，可以通過調(diào)節(jié)器調(diào)節(jié)光源的亮度。拍照平臺通過六塊不透光的板圍成一個密閉的箱子，為PET瓶坯拍照提供無干擾環(huán)境，減少外界的光照干擾。

圖1 檢測平臺的結(jié)構(gòu)圖

2.2 數(shù)據(jù)增強

為了防止PET瓶坯的訓(xùn)練樣本不足從而導(dǎo)致檢測模型的檢測精度低、擬合度低、魯棒性差，則通過對原始樣本進行適當(dāng)增強變換，增加樣本量。首先統(tǒng)一將PET瓶坯圖像裁剪為512*512像素大小的圖片，然后采用翻轉(zhuǎn)、亮度調(diào)整、旋轉(zhuǎn)等幾何變換方法對數(shù)據(jù)進行增強[8]。圖2為PET瓶坯圖像的數(shù)據(jù)增強圖。

圖2 PET瓶坯圖像的數(shù)據(jù)增強圖

2.3 原始圖像的梯度

PET瓶坯圖像的梯度圖像可以更好地表示輸入圖像的細節(jié)。而且，缺陷區(qū)域梯度信息對缺陷識別更加敏感。同時利用梯度圖像流和原始圖像流進行特征融合，可以提高檢測性能。作為數(shù)據(jù)預(yù)處理的重要內(nèi)容，圖像梯度可以增強缺陷區(qū)域與均勻背景之間的突出變化，和增強圖像的邊緣信息。而PET瓶坯缺陷區(qū)域通常具有灰度值變化率大的特點，因此利用梯度算法可以消除大部分冗余的背景信息，保留具有較高意義的邊緣信息[9]。通過對不同邊緣檢測算子的梯度算法進行實驗比較，最好綜合考慮Sobel算子，比較的效果圖如圖3所示，顯示了原始的RGB圖像和相應(yīng)的算子的梯度圖像。

圖3 PET瓶坯原始圖像及相對應(yīng)的梯度圖像

利用Sobel算子，對不同缺陷類型的PET原始RGB圖像f(x，y)進行計算，得到相應(yīng)的梯度圖像，其計算公式如式(1)所示[10]。

(1)

其中梯度大小和方向的計算公式分別如式(2)和(3)所示[10]。最后對梯度圖像進行歸一化操作

(2)

(3)

2.4 提取缺陷感興趣區(qū)域

如果PET瓶坯的三種缺陷像素較小，則容易混淆缺陷種類，為了更好的進行缺陷分類，需單獨提取PET瓶坯圖像的缺陷感興趣區(qū)域，更好地讀取三種缺陷的特征。提取缺陷感興趣區(qū)域指的是對原始的PET圖像經(jīng)過一定的圖像處理后，通過方框方式勾勒出缺陷區(qū)域。有三種方法，一種是利用圖像分割技術(shù)提取ROI，該算法依賴于圖像的顏色、紋理、形狀等特征；第二種方法就是利用深度學(xué)習(xí)實現(xiàn)目標(biāo)檢測提取對應(yīng)的缺陷ROI；第三種方法是人工標(biāo)注缺陷區(qū)域，也是工作量比較大的一個環(huán)節(jié)。本文使用K-means 算法對PET瓶坯圖像進行分割， 得到瓶坯圖像中的缺陷區(qū)域。

K-means 算法過程：①首先將圖片切割成不重疊的固定大小的塊，使用K-means 算法通過無監(jiān)督學(xué)習(xí)方式提取圖像的特征塊。②隨機選擇k個特征塊作為初始聚類中心，通過式(4)計算其它塊到k個聚類中心塊的歐式距離，使得各類的聚類平方和最小，見式(5)所示；③根據(jù)距離大小求取相似的特征塊，分配到與其最近的類中；④重新更新聚類中心，重復(fù)計算直到聚類中心和目標(biāo)函數(shù)的值是否發(fā)生改變。由于瓶坯缺陷區(qū)域與非缺陷區(qū)域的特征分布存在一定差異，可以實現(xiàn)缺陷的分割[11,12]。

(4)

(5)

其中，歐氏距離衡量的是多維空間中各個點之間的絕對距離。um為聚類中心點，xi為數(shù)據(jù)對象。

3 PET瓶坯缺陷分類識別方法

3.1 多流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)采用基于RGB或灰度圖像的單流卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，不考慮局部細節(jié)信息的提取。本文傾向于同時選擇梯度圖像作為特征提取的另一個輸入，因為圖像梯度能夠很好地反映圖像邊緣等細節(jié)特征，降低了從RGB圖像流中提取有效特征的難度，以便有效且容易地識別PET瓶坯圖像的缺陷。本文將PET瓶坯的原始RGB圖像，以及其對應(yīng)的梯度圖像和缺陷區(qū)域圖像分別作為圖像輸入，設(shè)計了一種多流卷積神經(jīng)網(wǎng)絡(luò)模型，通過三個獨立的子卷積神經(jīng)網(wǎng)絡(luò)提取特征。其中圖像流和梯度圖像流通過卷積層提取特征后融合特征，輸入到全連接層，再與缺陷圖像流提取的特征融合，最后輸入到分類器進行分類。如圖4所示的多流網(wǎng)絡(luò)體系結(jié)構(gòu)由三個獨立的流組成，其輸入為原始圖像和對應(yīng)原始圖像的梯度圖像和缺陷區(qū)域圖像。

圖4 多流卷積神經(jīng)網(wǎng)絡(luò)模型圖

本文設(shè)計的多流卷積神經(jīng)網(wǎng)絡(luò)總共有6層，其中卷積層5層，全連接層1層，提出的多流卷積神經(jīng)網(wǎng)絡(luò)模型的每一個流都是基于ALEXNET的[13]。五個卷積層的設(shè)計與ALEXNET相同。融合卷積層提取的特征輸入到全連接層，然后將所有局部特征重新通過權(quán)值矩陣連接起來，再輸入到分類器中，得到概率分布，實現(xiàn)缺陷的分類和識別，最終給出了合格與不合格的判斷。

3.2 特征的提取和融合

卷積運算的目的是提取輸入的特征。特征的提取可以分卷積層提取和決策級融合。早期的卷積層只能提取邊緣、直線和角度等低層特征。網(wǎng)絡(luò)的后卷積層可以迭代地從底層特征中提取更復(fù)雜的特征。例如將RGB圖像和相應(yīng)的梯度圖像和缺陷區(qū)域圖像，分別輸入到卷積神經(jīng)網(wǎng)絡(luò)中，得到各卷積層的特征映射。圖5顯示的是從三個子卷積神經(jīng)網(wǎng)絡(luò)的不同卷積層提取的帶有缺陷的原始GRB圖像(頂部)、對應(yīng)的缺陷區(qū)域圖像(中間)和對應(yīng)的梯度圖像(底部)的最激活通道的特征圖?？梢钥闯?，從三個子網(wǎng)絡(luò)流中分別提取的圖像特征并不完全一致。

圖5 三個子網(wǎng)絡(luò)的卷積層的激活通道的特征圖

利用上述方法分別提取圖像的各層特征后，對特征進行歸一化操作，然后在特征融合階段合并。特征融合方法有很多種，包括和融合、最大值融合、級聯(lián)融合等[14]。選擇不同的特征融合方法或不同的特征融合層會影響缺陷分類識別的準(zhǔn)確性。針對單一圖像特征不能完全描述圖像的問題，本文采用三個相同的子網(wǎng)絡(luò)流同時訓(xùn)練，以提取不同圖像的有效圖像特征進行特征融合。本文實驗部分比較了不同融合策略下在不同層融合層對檢測精度的影響。通過比較，選擇了合適的融合策略和融合層，可以幫助獲得更好的缺陷分類的準(zhǔn)確率。

4 結(jié)果與分析

本文以PET瓶坯缺陷分類和質(zhì)量檢測為例，驗證本文提出的多流卷積神經(jīng)網(wǎng)絡(luò)模型的合理性、有效性、魯棒性和分類性能。本文采用的是有監(jiān)督訓(xùn)練方式，輸入圖像分別為PET瓶坯原始圖像和其相對應(yīng)的梯度圖像和缺陷區(qū)域圖像，其都有相對應(yīng)的“類別標(biāo)簽”，其中類別標(biāo)簽總共有四種分類，分別為“黑點”、“氣泡”、“劃痕”和“無缺陷”。通過實驗，將本文設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)的性能，與輸入原始RGB圖像或梯度圖像的的單流網(wǎng)絡(luò)結(jié)構(gòu)進行比較，最后在ALEXNET網(wǎng)絡(luò)的不同層次上，研究了不同特征融合策略對PET瓶坯缺陷分類性能的影響，從而選擇合適的特征融合策略和融合層。為了證明網(wǎng)絡(luò)的魯棒性，在網(wǎng)絡(luò)訓(xùn)練和測試過程中，隨機抽取10次樣本，進行訓(xùn)練。對于實驗結(jié)果分析，使用了多種評估指標(biāo)，包括準(zhǔn)確度(Accuracy)、精度(Precision)、查全率(Recall)、特異性(Specificity)和F1-Score。其計算公式如下所示[15]

圖6 特征融合圖

(6)

(7)

(8)

(9)

其中，Tp為真實值和預(yù)測值均是正樣本的值，即為真正例；Fp為真實值為負樣本，預(yù)測值為正樣本，即為假正例；Tn為真實值和預(yù)測值均是負樣本的值，即為真反例；Fn為真實值為正樣本，預(yù)測值為負樣本，即為假反例。

F1-Score是精度和查全率的調(diào)和平均數(shù)，計算公式如式(10)所示

(10)

其中，β為權(quán)重值，當(dāng)β=1時，則查全率和精確度的權(quán)重相等。則公式可以簡化為式(11)所示

(11)

4.1 數(shù)據(jù)集

本文將通過檢測平臺采集的樣本圖片進行了預(yù)處理及分類，總共有5660張樣本圖像，將獲得的瓶坯樣本圖像數(shù)據(jù)集分成訓(xùn)練集、驗證集和測試集三部分，具體分配如表1所示。

表1 PET瓶坯樣本圖像數(shù)據(jù)集

4.2 多流卷積神經(jīng)網(wǎng)絡(luò)的不同特征融合策略在不同層次融合的比較

為了評估多流卷積神經(jīng)網(wǎng)絡(luò)使用不同特征融合策略在不同層次上的效果，設(shè)計了多組實驗。具體數(shù)據(jù)見表2。比較了和融合、最大值融合、級聯(lián)融合三種特征融合策略在融合精度上的差異。為了在該數(shù)據(jù)集中找到最適合缺陷分類和質(zhì)量檢測的層位置，研究了不同融合層的選取對精度的影響。

其模型的驗證和測試的準(zhǔn)確率和估計的廣義分類誤差比較如圖7，8，9所示。

圖7 不同特征融合策略的驗證準(zhǔn)確率比較圖

在模型訓(xùn)練過程中，訓(xùn)練集是用于訓(xùn)練模型從而進行模型參數(shù)估計，驗證集被用于確定效果最佳的網(wǎng)絡(luò)結(jié)構(gòu)，模型的測試可以評估訓(xùn)練模型的性能。如表2和圖7所示，在驗證和測試的準(zhǔn)確率以及估計廣義分類誤差方面，比較PET瓶坯缺陷分類檢測模型的三種特征融合策略，其中最大值特征融合性能最好，而級聯(lián)特征融合的性能最差。在relu5層之后的特征融合上，最大值融合性能和融合策略的性能比較接近，但是考慮訓(xùn)練時間和測試時間，最大值融合策略的計算耗時最低。所以綜合考慮選擇最大值特征融合策略。

表2 多流網(wǎng)絡(luò)的不同特征融合策略在不同層融合的缺陷分類性能比較

圖9 不同特征融合策略的廣義分類誤差比較圖

大多數(shù)早期卷積層特征層融合方案的測試準(zhǔn)確率都在89%以下，相比之下，后期卷積層特征融合的準(zhǔn)確率提高了7%以上。決策級融合的測試檢測準(zhǔn)確率達到93.72%，比后期的卷積層特征融合低了2%。因此在本文的數(shù)據(jù)集基礎(chǔ)上，對于瓶坯缺陷分類，晚期的卷積層特征融合的分類性能較好。因此，從綜合的角度來看，基于最大值融合策略的relu5層特征融合模型更適合于基于本文數(shù)據(jù)集的PET瓶坯缺陷檢測。該模型所采用的缺陷分類驗證的準(zhǔn)確率為96.17%，分類測試的準(zhǔn)確率為95.90%，估計的廣義分類誤差為0.045，表明該模型具有較好的泛化能力。本文所提出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)能夠有效地達到較好的檢測精度。

在確定了最佳網(wǎng)絡(luò)結(jié)構(gòu)后，本文比較了所提出的方法中每個類別的正預(yù)測值和真陽性率，具體數(shù)據(jù)如表3所示。圖8顯示了評估指標(biāo)的比較，其中包括精度、查全率、特異性和F1-Score。

圖8 不同特征融合策略的測試準(zhǔn)確率比較圖

表3 PET瓶坯的每個類的評估指標(biāo)的比較

從表3和圖10可以看出，在本文的數(shù)據(jù)集檢測中，黑點的被檢測出來的概率只有百分之八十多，有一定的誤檢率。劃痕相對黑點的檢測性能稍高，但是黑點和細小劃痕容易混淆。氣泡和無缺陷樣本的精確度、查全率、特異性高，說明該樣本能被全部檢測出來，誤檢率為零。

圖10 四種PET瓶坯缺陷類型評價指標(biāo)的比較

4.3 單流卷積神經(jīng)網(wǎng)絡(luò)和多流卷積神經(jīng)網(wǎng)絡(luò)的比較

將本文設(shè)計的多流卷積神經(jīng)網(wǎng)絡(luò)與單流卷積神經(jīng)網(wǎng)絡(luò)進行比較，通過實驗分析來證明其合理性。其中單流卷積神經(jīng)網(wǎng)絡(luò)簡稱為STCCN，雙流卷積神經(jīng)網(wǎng)絡(luò)結(jié)合SVM分類器簡稱為TSCCN+SVM，雙流卷積神經(jīng)網(wǎng)絡(luò)結(jié)合Softmax分類器簡稱為TSCCN+Softmax。不同模型都是在相同數(shù)據(jù)集上訓(xùn)練和測試，其對比結(jié)果見表4和圖11所示。

表4 多流神經(jīng)網(wǎng)絡(luò)和單流神經(jīng)網(wǎng)絡(luò)的比較結(jié)果

圖11 單流和雙流網(wǎng)絡(luò)測試精度的比較

根據(jù)以上結(jié)果，多流卷積神經(jīng)網(wǎng)絡(luò)充分利用了多個流的結(jié)構(gòu)和圖像信息來獲得有效的特征，其中梯度圖像和缺陷區(qū)域圖像對提高圖像的表現(xiàn)和識別能力起著重要的作用。因為多流卷積神經(jīng)網(wǎng)絡(luò)模型兼顧瓶坯的全局特征和缺陷的細節(jié)特征，解決了單流網(wǎng)絡(luò)對特征提取不全面的問題，所以多流網(wǎng)絡(luò)的精度性能明顯優(yōu)于單流網(wǎng)絡(luò)。除了精度外，檢測速度也是影響性能的主要因素。平臺采用了Intel CORE i7 3.4GHz的處理器，32G內(nèi)存和NVIDIA Tesla M40 24GB GPU配置的計算機進行深度網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練和測試實驗。其中，本文設(shè)計的神經(jīng)網(wǎng)絡(luò)模型的預(yù)訓(xùn)練時間大約為1200秒左右，加載已訓(xùn)練好的模型時間為8秒左右。模型檢測780幅圖像的時間大約是110s，即每秒鐘可檢測7幅圖像，其中檢測時間包括了圖像預(yù)處理時間。與人工檢測相比，是能基本滿足生產(chǎn)要求。

5 總結(jié)

首先，本文提出了一種新的多流卷積神經(jīng)網(wǎng)絡(luò)模型，有效地融合多種特征進行PET瓶坯缺陷分類和識別，這是第一次將多流網(wǎng)絡(luò)應(yīng)用于PET瓶坯缺陷檢測，也是本文的一個重要創(chuàng)新。每個網(wǎng)絡(luò)流都有一個從低級到高級的特征學(xué)習(xí)過程。為了防止深度學(xué)習(xí)中的過度擬合，采用數(shù)據(jù)增強的方法獲取大量樣本。利用Sobel算子計算圖像梯度，并對其進行歸一化處理。同時利用K-means 算法獲取PET瓶坯缺陷區(qū)域。最后利用原始PET瓶坯RGB圖像和相應(yīng)的梯度圖像和缺陷區(qū)域圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，提取特征進行融合。本文設(shè)計不同的實驗，在不同融合層上利用不同特征融合策略，對單流網(wǎng)絡(luò)和多流卷積神經(jīng)網(wǎng)絡(luò)進行了大量的比較分析，驗證了本文提出的多流卷積神經(jīng)網(wǎng)絡(luò)模型的有效性。