張光建,朱 嬋

1(四川建筑職業(yè)技術(shù)學院 基礎部,德陽 618000)

2(四川建筑職業(yè)技術(shù)學院 智能計算研究所,德陽 618000)

塑料制品在成型工藝及生產(chǎn)過程中,會因為很多因素造成產(chǎn)品的一些缺陷.傳統(tǒng)的缺陷檢測方式是通過人工進行,效率不是很高,因為視覺疲勞、主觀判定和業(yè)務水平等因素也達不到統(tǒng)一的檢測標準.利用深度學習的計算機視覺技術(shù)進行產(chǎn)品質(zhì)量的無損檢測,能夠保障質(zhì)量,降低生產(chǎn)成本,具有穩(wěn)定性強、檢測精度高等優(yōu)勢.

1 相關(guān)研究

國內(nèi)外學者對缺陷檢測分類器的早期研究,是基于圖像的外觀、顏色、形狀等特性,通過人工提取特征,再利用機器學習算法進行分類器的訓練.如韓芳芳[1]利用邊緣提取和小波變換和支持向量機對表面凹坑缺陷檢測研究;張王黎[2],文生平等[3]采用改進的二值圖像熵閾值分割方法對采集到的圖像進行缺陷分割,再建立檢測系統(tǒng);王武[4]采用了局部自適應閾值分割算法,使用圖像處理技術(shù),利用幾何特征完成缺陷的提取;Wu 等[5]利用子圖像灰度差、顏色直方圖和像素規(guī)則性3 種圖像特征融合,進行工業(yè)產(chǎn)品表面缺陷檢測,檢測精度在93%～98%之間.

深度學習[6]對輸入的高維數(shù)據(jù)對象,通過逐層進行多維度運算,將高維數(shù)據(jù)轉(zhuǎn)換為低維編碼,最后輸出結(jié)果.在語言和圖像識別方面,遠遠超過早期技術(shù)取得的效果.

卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)[7]是包含卷積計算且具有深度網(wǎng)絡結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(Feedforward Neural Networks),是深度學習的代表算法之一.2012年,Krizhevsky 等提出了一種現(xiàn)代化的卷積神經(jīng)網(wǎng)絡AlexNet[8],開創(chuàng)了深度學習元年.CNN 能夠自動完成特征學習提取,大幅度的提高分類和預測的精度.

近年來,CNN 也開始應用于產(chǎn)品外觀類的檢測.崔熾標[9]使用CNN 對注塑件常見外觀缺陷檢測進行研究,其中對手機中殼注塑件的劃痕類圖像的檢測正確率能達到91.4%以上.Weimer 等[10]訓練神經(jīng)網(wǎng)絡分類器.對任意紋理和弱標記圖像數(shù)據(jù)進行表面缺陷檢測,在對手工標注的容器成型檢測中取得了很好的檢測效果.胡詩堯等[11]利用遷移學習對塑件外觀缺陷進行檢測,以黑點為例,取得了很好的檢測效果.但總體來看,注塑件外觀缺陷識別檢測,離實際生產(chǎn)檢測要求還有一段距離.

2 數(shù)據(jù)集

數(shù)據(jù)集包括正樣本(合格產(chǎn)品圖像)和負樣本(缺陷產(chǎn)品圖像).樣本的采集是通過對實物360 度進行視頻錄像,再對視頻進行按幀采集圖像,原始圖像分辨率為1280×720,為了加快模型訓練,方便后期的操作,使用深度學習中常用的輸入圖像尺寸處理方案,將原始圖像調(diào)整為正方形,這里使用分辨率為150×150,3 通道.共采集了2925 張圖像,其中1505 張為合格樣本,1420 張為缺陷樣本.訓練集、驗證集和測試集按照70%、20%和10%比例,因為是視頻連續(xù)采樣,為了保證各類數(shù)據(jù)的平衡性,這里使用手工分層獲取這3 個數(shù)據(jù)集.合格和缺陷產(chǎn)品樣本如圖1所示.因為細微劃痕人眼很難看清楚,缺陷產(chǎn)品樣本以手工加粗線展示.

圖1 數(shù)據(jù)樣本

3 模型

模型使用基本的卷積層、池化層、全連接層建立基礎的卷積神經(jīng)網(wǎng)絡模型,網(wǎng)絡結(jié)構(gòu)如圖2所示.輸入圖像尺寸為150×150×3,即圖像長寬都是150 像素,通道為3 (RGB 三通道圖像),首先使用32 個3×3 的濾波器(conv2d_1) 和2×2 的最大池化層(max_pooling21_1)進行池化操作;接著使用64 個3×3 的濾波器(conv2d_2)和2×2 的最大池化層(max_pooling21_2)進行池化操作;最后使用128 個3×3 的濾波器(conv2d_3)和2×2的最大池化層(max_pooling21_3)進行池化操作;因為前面輸出的張量形狀為三維,需要將三維輸出展平為一維以適應模型分類器的輸入值要求,最后將三層卷積后的17,17,128 維度的展平為形狀為36 992 的一維向量,再添加最后一層全連接層(dense_1),使用512 個隱藏神經(jīng)元,學習提取特征并減少參數(shù)量,這里使用ReLU 激活函數(shù)會使一部分神經(jīng)元的輸出為0,這樣就形成了網(wǎng)絡的稀疏性,并且減少了參數(shù)的相互依存關(guān)系,緩解了過擬合問題的發(fā)生.網(wǎng)絡中的4 層都采用ReLU 激活函數(shù);輸出值為二分類,所以最后再添加一個輸出為1 的全連接層(dense_2),使用Sigmoid 激活函數(shù).

4 仿真實驗

仿真實驗環(huán)境在Microsoft Windows 10 平臺上搭建,硬件主要配置為Intel? Core? i7-8700 @ 3.2GHz處理器,16 GB 內(nèi)存單個GPU,NVIDIA GeForce GTX1070.網(wǎng)絡模型使用TensorFlow 后端,前端編碼使用Keras完成(Keras 是一個由Python 編寫的開源人工神經(jīng)網(wǎng)絡庫),圖形繪制使用Matplotlib.

圖2 基本模型結(jié)構(gòu)

4.1 設置基準線

模型訓練的參數(shù)設置為:損失函數(shù)loss 使用binary_crossentropy,優(yōu)化器選用rmsprop,學習率為1e-4,評估模型在訓練和測試時的性能指標選用準確率(metrics=['acc']),訓練50 批次,每批次100.訓練集準確率61%,損失值為0.65,驗證集準確率為57%,損失值為0.70.以這些值作為檢測的基準線,研究使用不同技術(shù),在基準線上提升模型性能.

繪制訓練集和驗證集的精度(acc)和損失(loss)曲線對比圖,如圖3所示.圖中明顯的對比可以看出模型訓練效果不理想.訓練集精度值(Training acc)在60%左右,驗證集測試時在acc 和loss 上有振蕩.

4.2 模型改進

在傳統(tǒng)機器學習領域,分類識別圖像的標準流程是特征提取、特征篩選,最后將特征向量輸入合適的分類器完成特征分類.早期主要使用人工特征提取方法進行模型訓練,但人工提取特征需要領域?qū)＜疫M行專業(yè)設計,耗時且不穩(wěn)定.

CNN 能從大量數(shù)據(jù)樣本中自動學習特征,不需要傳統(tǒng)的特征工程.針對小數(shù)據(jù)集上使用深度學習,訓練模型不是很友好,提取特征相對薄弱且訓練時容易過擬合,這里應用兩個重要的深度學習技術(shù):Droupout(丟棄層)和數(shù)據(jù)增強 (data augmentation).Dropout 是Srivastava 等[12]提出的一種針對深度學習廣泛應用的正則化技術(shù).在每次迭代時隨機關(guān)閉一些神經(jīng)單元,即每次迭代時都會訓練使用一部分神經(jīng)元的不同模型,隨著迭代的進行,由于其他神經(jīng)元可能在任何時候都被關(guān)閉,因此神經(jīng)元對其他特定神經(jīng)元的激活變得不那么敏感.

圖3 模型的基準檢測效果

使用數(shù)據(jù)增強,讓有限的數(shù)據(jù)產(chǎn)生更多的等價數(shù)據(jù).數(shù)據(jù)增強采用從現(xiàn)有訓練樣本生成更多訓練數(shù)據(jù),通過若干隨機轉(zhuǎn)換增加樣本,生成可信的圖像,通過數(shù)據(jù)增強處理樣本后,模型永遠不會看到兩次完全相同的圖像,這有助于模型學習到更多的圖像特征.實驗結(jié)果如圖4所示.

在第一階段實驗基礎上,在基礎模型的全連接層前添加一層Droupout,參數(shù)為0.5;Keras 中的ImageData Generator 實例讀取的圖像執(zhí)行的多個隨機轉(zhuǎn)換來完成數(shù)據(jù)增強,相關(guān)參數(shù)設置為:隨機選擇圖片的角度值為40,圖片隨機水平和垂直偏移的幅度為0.2,剪切變換的程度和隨機縮放的幅度值為0.2,可以進行隨機水平翻轉(zhuǎn).同樣訓練50 批次后,訓練準確率達到84%,損失值為0.36,驗證集準確率為81%,損失值為0.52,明顯改善了模型效果.使用正則化技術(shù)或者調(diào)整模型的網(wǎng)絡參數(shù),如增加每層的濾波器個數(shù),增加網(wǎng)絡層數(shù)或者增加訓練迭代次數(shù),模型迭代訓練68 次,訓練準確率達到92%,損失值為0.22,驗證集準確率提升為94%,損失值為0.20.但數(shù)據(jù)樣本規(guī)模太小,特征學習還需要加強,使用其他技術(shù)進一步提升模型效果.

圖4 數(shù)據(jù)增強模型的檢測效果

4.3 提升準確率

使用早停、批量歸一化、遷移學習和微調(diào),進一步調(diào)整網(wǎng)絡模型及訓練.早停技術(shù)(early stopping)是一種簡單的正則化方法,只需監(jiān)控驗證集性能,如果發(fā)現(xiàn)驗證集性能不再提高,就停止訓練.

使用預訓練網(wǎng)絡(pretrained network),可以采用二種策略:特征提取(feature extraction)[13]和微調(diào)(finetuning).在大規(guī)模數(shù)據(jù)集訓練提取的特征權(quán)重為基礎來更新網(wǎng)絡.一般來說,深度學習在大量數(shù)據(jù)可用時,才能有效的學習,模型才能從數(shù)據(jù)自身通過學習完成特征提取.因為深度學習模型本質(zhì)上是高度可調(diào)整的,在大規(guī)模數(shù)據(jù)集上訓練的圖像分類模型權(quán)值,在類似任務上重復使用它,只需要進行細微的更改.在計算機視覺的任務中,許多預先訓練的模型權(quán)重,可以用來從非常少的數(shù)據(jù)中引導強大的視覺模型.

在第二階段實驗基礎上,在模型每個池化層前添加批量歸一化層,優(yōu)化器使用Adam,最后輸出為2 的全連接層(dense_2),使用Softmax 激活函數(shù).數(shù)據(jù)增強調(diào)整縮放因子rescale=1./255,batch_size=33.在兩個池化層后添加一層Droupout,參數(shù)為0.5.使用在Imagenet[14]上訓練提取的特征權(quán)重進行遷移學習,分別凍結(jié)VGG16[15]前15 層和MobileNet[16]前81 層,進行微調(diào),再解凍所有層進行訓練.最終獲得的檢測效果,如表1所示,可以看到準確率相比前兩階段的效果有了顯著的提高.

表1 遷移學習檢測效果(%)

5 結(jié)論

使用CNN 網(wǎng)絡模型,搭建小數(shù)據(jù)樣本的手機外殼表面劃痕缺陷分類器,自動完成產(chǎn)品檢測.模型設計中合理使用丟棄層,批量歸一化層,對數(shù)據(jù)增強擴充樣本,訓練時采用遷移學習、微調(diào)等技術(shù),采用早停技術(shù)監(jiān)測網(wǎng)絡訓練,模型可以獲得較好的實驗檢測精度.CNN模型的結(jié)構(gòu)簡潔,訓練速度快,檢測精度高.后期將對手機外殼質(zhì)量檢測中的多種表面缺陷產(chǎn)品進行樣本采集,進一步訓練模型,完成落地實驗.