張濤川，段春梅

(佛山職業(yè)技術(shù)學(xué)院，廣東 佛山 528137)

0 引言

隨著瓷磚的廣泛應(yīng)用，對(duì)瓷磚的質(zhì)量要求越來(lái)越高。在實(shí)際生產(chǎn)中，質(zhì)量檢測(cè)是瓷磚生產(chǎn)線上一個(gè)非常重要的環(huán)節(jié)，很多企業(yè)都利用自動(dòng)化機(jī)器檢測(cè)瓷磚的平整度和尺寸，但是一些常見(jiàn)的表面缺陷如裂紋、色差、凸塊、凹陷、孔洞和劃痕等還是依靠人工檢測(cè)[1]。為了推進(jìn)瓷磚表面缺陷檢測(cè)的自動(dòng)化，提高檢測(cè)的準(zhǔn)確率，很多學(xué)者采用不同的技術(shù)對(duì)瓷磚表面缺陷檢測(cè)進(jìn)行研究。段春梅等[2]提出一種基于傅里葉變換的隨機(jī)紋理瓷磚表面缺陷高精度檢測(cè)方法，對(duì)采集的瓷磚圖像首先利用傅里葉變換得到頻率譜圖像，然后研究截止頻率參數(shù)對(duì)濾波的影響，設(shè)計(jì)最優(yōu)化濾波器進(jìn)行濾波，再通過(guò)傅里葉逆變換獲得重構(gòu)圖像，達(dá)到抑制背景紋理信息，加強(qiáng)缺陷區(qū)域信息的目的，最后通過(guò)閾值化和形態(tài)學(xué)操作獲得缺陷區(qū)域。李軍華等[3]提出一種有效的多特征融合算法用于瓷磚缺陷檢測(cè)，該方法提取了改進(jìn)后的SIFT和顏色矩的特征，然后將兩種區(qū)域特征分配權(quán)重進(jìn)行融合，將融合的特征向量輸入到SVM分類器進(jìn)行缺陷分類識(shí)別。張軍等[4]針對(duì)通過(guò)小波變換與形態(tài)學(xué)融合的差影法提取裂紋邊緣、花紋及部分背景信息，以減少背景區(qū)域?qū)θ毕輽z測(cè)的干擾。

近年來(lái)，圖像處理技術(shù)和機(jī)器視覺(jué)技術(shù)成為各種產(chǎn)品的缺陷檢測(cè)主流技術(shù)，但是由于表面缺陷具有任意形狀、大小和方向的特點(diǎn)，無(wú)法獲得標(biāo)準(zhǔn)缺陷特征描述，因此很多專家將深度學(xué)習(xí)應(yīng)用于缺陷分類和識(shí)別。本文以瓷磚為研究對(duì)象，結(jié)合機(jī)器視覺(jué)技術(shù)和深度學(xué)習(xí)對(duì)瓷磚表面缺陷進(jìn)行自動(dòng)檢測(cè)。

1 瓷磚在線快速無(wú)損檢測(cè)系統(tǒng)設(shè)計(jì)開(kāi)發(fā)

為了采集瓷磚圖像，進(jìn)行缺陷分類識(shí)別，本文設(shè)計(jì)了瓷磚在線快速無(wú)損檢測(cè)系統(tǒng)。該系統(tǒng)適用于不同尺寸的瓷磚快速檢測(cè)，包括移動(dòng)瓷磚的傳送模塊、相機(jī)、激光器、支架。傳送模塊包括傳送首端、檢測(cè)區(qū)以及傳送末端。相機(jī)和激光器分別通過(guò)相機(jī)支架和激光器支架設(shè)置在檢測(cè)區(qū)的兩端，可自由調(diào)節(jié)高度和角度。檢測(cè)區(qū)的兩側(cè)均設(shè)有照明光源，光源均為方形光源。瓷磚在線快速無(wú)損檢測(cè)系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。

圖1 瓷磚在線快速無(wú)損檢測(cè)系統(tǒng)結(jié)構(gòu)示意圖

將瓷磚放入搭建好的檢測(cè)平臺(tái)上，通過(guò)傳送帶傳送瓷磚，當(dāng)瓷磚到達(dá)檢測(cè)區(qū)時(shí)，打開(kāi)激光器與相機(jī)，相機(jī)將拍攝到的瓷磚圖片上傳至電腦，進(jìn)一步進(jìn)行缺陷檢測(cè)分析處理。其中，在檢測(cè)之前需要調(diào)節(jié)好相機(jī)的光圈、焦距和相機(jī)位置，調(diào)節(jié)好激光器的位置，保證激光器垂直于瓷磚表面。

2 數(shù)據(jù)采集與預(yù)處理

目前沒(méi)有開(kāi)放的瓷磚樣本數(shù)據(jù)集，所以項(xiàng)目團(tuán)隊(duì)與企業(yè)合作，由企業(yè)提供包含裂紋、黑點(diǎn)、劃痕和無(wú)缺陷的四類瓷磚樣品，通過(guò)樣機(jī)平臺(tái)采集樣本圖片，并采用翻轉(zhuǎn)、亮度調(diào)整等變換方法對(duì)樣本進(jìn)行數(shù)據(jù)增強(qiáng)，有效地解決了訓(xùn)練樣本不足的問(wèn)題。

對(duì)瓷磚樣本圖片采用雙邊濾波器進(jìn)行降噪，保持邊緣細(xì)節(jié)平滑的操作。其雙邊濾波器的數(shù)學(xué)定義[5-6]為：

(1)

(2)

(3)

其中：g(x,y)為雙邊濾波后的圖像；Оx,y為以(x,y)為中心的空間領(lǐng)域像素集合；f(x,y)為Оx,y領(lǐng)域的中心像素值；σd、σr為雙邊濾波的參數(shù)；c為常數(shù);(m,n)為窗口模板的中心坐標(biāo)。

由于缺陷區(qū)域梯度信息對(duì)缺陷識(shí)別更加敏感，則采用梯度算法對(duì)所有采集的原始圖像進(jìn)行梯度計(jì)算得到梯度圖像。梯度算法采用了Sobel算子，其計(jì)算公式如公式(4)～公式(6)所示[7]：

(4)

(5)

(6)

其中：Gr(x,y)為g(x,y)的梯度圖像；Gx和Gy分別為Sobel算子在水平方向和垂直方向上的卷積結(jié)果。

在Sobel算子檢測(cè)到的梯度圖像邊緣的基礎(chǔ)上，采用最佳閾值分割算法得到缺陷分割后的效果圖，如圖2所示。其中黑色區(qū)域?yàn)楸尘?，白色區(qū)域?yàn)榇纱u表面所有缺陷。

圖2 圖像缺陷分割效果圖

3 深度學(xué)習(xí)模型設(shè)計(jì)

本文基于Alexnet網(wǎng)絡(luò)設(shè)計(jì)了一種以原始圖像和缺陷分割圖像為輸入圖像的雙流卷積神經(jīng)網(wǎng)絡(luò)模型。選擇雙流網(wǎng)絡(luò)可降低從RGB圖像單流網(wǎng)絡(luò)中提取有效缺陷特征的難度，以便有效且容易地識(shí)別瓷磚圖像的缺陷。雙流網(wǎng)絡(luò)模型如圖3所示。

圖3 雙流網(wǎng)絡(luò)模型

特征提取網(wǎng)絡(luò)由5層卷積層構(gòu)成，卷積層的設(shè)計(jì)與ALEXNET相同[8]。通過(guò)不同的卷積核提取不同的圖像特征，全連接層可以充當(dāng)分類器的作用，將卷積層提取的特征映射到新的特征向量中。本文采取的特征融合方式為決策級(jí)融合，特征融合的策略為最大值融合策略[9]。將融合好的特征輸入到全連接層，最后輸入到SVM分類器，得到缺陷分類結(jié)果。

4 實(shí)驗(yàn)分析

本文將通過(guò)檢測(cè)平臺(tái)采集的樣本圖片進(jìn)行了預(yù)處理及分類，總共有3 548張樣本圖像，針對(duì)裂紋、凸塊、凹陷、劃痕4種缺陷和無(wú)缺陷的5種類別進(jìn)行分類識(shí)別，將獲得的瓷磚樣本圖像的數(shù)據(jù)集分成訓(xùn)練集、驗(yàn)證集和測(cè)試集3部分，具體數(shù)據(jù)如表1所示。

表1 瓷磚樣本圖像數(shù)據(jù)集

本文采用有監(jiān)督訓(xùn)練方式，輸入圖像分別為瓷磚的原始圖像和其相對(duì)應(yīng)的缺陷區(qū)域圖像，其都有相對(duì)應(yīng)的“類別標(biāo)簽”，類別標(biāo)簽總共有五種，分別為裂紋、凸塊、凹陷、劃痕和無(wú)缺陷。在網(wǎng)絡(luò)訓(xùn)練和測(cè)試過(guò)程中，隨機(jī)抽取10次樣本進(jìn)行訓(xùn)練，得到的雙流神經(jīng)網(wǎng)絡(luò)和單流神經(jīng)網(wǎng)絡(luò)檢測(cè)結(jié)果如表2所示。

表2 雙流神經(jīng)網(wǎng)絡(luò)和單流神經(jīng)網(wǎng)絡(luò)檢測(cè)結(jié)果比較

所采用的模型在訓(xùn)練集和驗(yàn)證集上的準(zhǔn)確率和損失值隨迭代次數(shù)的變化情況分別如圖4和圖5所示。

由圖4和圖5可知：隨著訓(xùn)練迭代次數(shù)的增加，準(zhǔn)確率曲線平穩(wěn)增大，損失曲線平穩(wěn)減小，曲線相對(duì)平衡，波動(dòng)較小。所提方法在6個(gè)epoch和300次迭代中都能獲得令人滿意的收斂效果。

圖4 訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率隨迭代次數(shù)的變化情況

圖5 訓(xùn)練集和驗(yàn)證集的損失值隨迭代次數(shù)的變化情況

5 結(jié)語(yǔ)

本文提出了將雙流卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于瓷磚表面缺陷的分類和識(shí)別，這是第一次將雙流網(wǎng)絡(luò)應(yīng)用于瓷磚缺陷檢測(cè)，也是本文的一個(gè)重要?jiǎng)?chuàng)新。本文設(shè)計(jì)了不同的實(shí)驗(yàn)，進(jìn)行了大量的比較分析，驗(yàn)證了提出的雙流卷積神經(jīng)網(wǎng)絡(luò)模型的有效性。但是本文的瓷磚樣本數(shù)據(jù)集不包括復(fù)雜背景圖案的瓷磚缺陷檢測(cè)，這也是后期需要研究的主要內(nèi)容。