趙月,張運楚,2,孫紹涵,王 超

1(山東建筑大學 信息與電氣工程學院,濟南 250101)

2(山東省智能建筑技術重點實驗室,濟南 250101)

螺紋鋼已廣泛應用于房屋、道路、水壩、隧道等土建工程,是不可或缺的結構材料.對于整個鋼鐵行業(yè)來說,螺紋鋼的軋制工藝和質量監(jiān)控手段仍存在大量需要改進的問題.其中典型問題是螺紋鋼軋制過程中產生的表面缺陷,主要有結疤、小氣泡、麻面、劃痕、凹坑和擦傷等,如不能及時發(fā)現(xiàn)就會生產出大量廢品,嚴重影響企業(yè)經濟效益.目前,德國和美國已經有應用于生產線的產品,但是價格高昂.國內雖然已經開發(fā)成功應用于冷軋帶鋼[1]、中厚板[2]、熱軋帶鋼生產線的表面缺陷在線檢測系統(tǒng)[3],但基于螺紋鋼表面缺陷檢測研究相對緩慢,基本上還處于實驗階段.

目前國內螺紋鋼生產企業(yè)大多采用人工目檢的方式對螺紋鋼表面缺陷進行檢測,由于人工目測的方式受眼睛的感光性能、色覺反應等影響,極易產生視覺疲勞,從而漏檢錯檢.基于傳感器對螺紋鋼缺陷的檢測方式,括渦流檢測[4–8]、漏磁檢測[9–12]、電容檢測[13]、紅外檢測[14]和超聲波檢測[15]等,雖然能對螺紋鋼表面的缺陷進行檢測,但是只能用于對精確率要求不高的環(huán)境中,所以檢測的缺陷種類也會受限.而應用機器視覺檢測技術,如激光掃描方式、線陣CCD 攝像機、面陣CCD 攝像機,雖各有優(yōu)勢,但仍存在不可忽視的弊端,如對螺紋鋼表面的灰塵雜質敏感,維護復雜等.

根據(jù)鋼鐵材料產生缺陷的成因分析[16–20],研究人員針對鋼體表面缺陷的自動提取和識別做了進一步的研究,其中最主要的問題是缺陷特征的提取和分類.缺陷特征的提取可分為人工提取特征和基于深度學習的方法進行特征提取,而人工提取費時費力,且精準性較弱,需要使用者擁有大量的知識積累或者遍歷圖像,過程復雜.而基于深度學習的方法,可以通過對數(shù)據(jù)的擴充[21]、迭代[22],找出可以替代原始數(shù)據(jù)的特征向量,但自動識別的方法還未達到適用性,還需要結合機器學習的新發(fā)展進一步的研究[23,24].自Hinton 等提出深度學習的理論后,深度學習網絡開始蓬勃發(fā)展.趙海文等人,在對于汽車輪轂表面缺陷檢測的研究中,將處理后的圖片輸入已經訓練好的卷積神經網絡,此方法具有魯棒性高、耗時短的優(yōu)點,但是仍存在缺陷漏檢的現(xiàn)象[25].王慶等采用BP 神經網絡對在線冷軋帶鋼表面缺陷進行檢測分類的方法[26],使得檢測系統(tǒng)的識別率達到97%;楊加東等以CCD 攝像機為視覺結合圖像處理技術,利用BP 神經網絡進行缺陷分類[27],目前采用比較多的是神經網絡、支持向量機等機器學習算法,但實現(xiàn)需要大量的缺陷樣本數(shù)據(jù).

本文提出一種基于深度學習框架Faster RCNN的螺紋鋼表面缺陷檢測方法.針對螺紋鋼表面缺陷樣本數(shù)據(jù)較少的問題,利用深度卷積對抗生成網絡DCGAN對數(shù)據(jù)集增強,采用Faster RCNN 構建螺紋鋼缺陷檢測模型,利用遷移學習方法實現(xiàn)小樣本螺紋鋼表面缺陷檢測,實驗表明所設計的方法具有較好的穩(wěn)定性和實用性,能有效地解決人工檢測過程中效率低、誤檢率高等問題.

1 螺紋鋼表面缺陷圖像分析

本文所研究的螺紋鋼表面缺陷圖像均取自工業(yè)生產線上所拍攝的圖像,其中螺紋鋼表面主要的缺陷分別如圖1所示:(1)劃痕是在螺紋鋼表面受軋制壓力過大或螺紋鋼表面沾有氧化鐵皮等原因而形成的深度大小不相同的溝槽,呈無規(guī)律的分布于螺紋鋼表面;(2)結疤是受榨汁的負荷問題,或者撞擊引起的螺紋鋼表面的突起;(3)麻面是受軋槽磨損或鋼坯加熱不當?shù)仍蚨斐陕菁y鋼表面產生大量的凹凸不平的粗糙面,通常呈周期性的分布于螺紋鋼表面.

圖1 螺紋鋼表面常見缺陷

隨著制造工藝的提高,在螺紋鋼的制造過程中表面缺陷的產生越來越少,限制了負樣本的獲取,所以針對小樣本的表面缺陷檢測方法是必然趨勢.

Faster RCNN是Girshick 經過RCNN和Fast RCNN的沉淀后,在2016年提出的一種新的圖像檢測與分類的框架,在結構上Faster RCNN 摒棄了傳統(tǒng)的滑動窗口和SS (Selective Search)方法,直接使用RPN 結構生成檢測框,將圖像的特征提取及分類都融合在了一個網絡中,提高的綜合性能的同時,加快了圖像檢測的速度,本文擬在提高檢測精度的同時,可以使小樣本數(shù)據(jù)于深度學習框架上獲得相對良好的檢測效果.

2 螺紋鋼缺陷檢測總體方案設計

針對工業(yè)實際生產過程所造成的螺紋鋼表面缺陷較少的問題,本文設計了一種基于DCGAN的數(shù)據(jù)增強方法,并構建了基于小樣本研究的螺紋鋼表面缺陷檢測模型.算法的整體框架如圖2所示,將工業(yè)CCD 相機獲取的螺紋鋼圖像進行圖像預處理,采用DCGAN的方式對數(shù)據(jù)集進行擴充,然后將擴充的數(shù)據(jù)集標注并進行訓練集驗證集的劃分后輸入到卷積神經網絡ZFnet中生成特征圖,同時,RPN 結構會按照設定好的比例生成anchor 作為初始的檢測框,在RPN 層鏈接全連接層用來做二分類來區(qū)分前景和背景以及設定回歸參數(shù)對檢測框的位置進行修正.PRN 將生成的anchor 投影到特征圖上獲得特征矩陣,將每個特征矩陣通過ROI pooling層縮放到統(tǒng)一的7×7 進行展平處理,最后通過全連接層預測檢測結果.

圖2 基于Faster RCNN的螺紋鋼缺陷檢測框架

3 螺紋鋼表面缺陷檢測模型設計

3.1 基于DCGAN的數(shù)據(jù)增強

針對螺紋鋼生產線上的負樣本短缺的問題,本文采用DCGAN來生成新的負樣本數(shù)據(jù).DCGAN是在原GAN 理論的基礎上提出的,其結構如圖3所示.

圖3 DCGAN 示意圖

包括能夠生成虛假樣本的生成器,和判別真?zhèn)蔚呐袆e器.通過將將設定好的噪聲輸入到生成器中,同時訓練樣本和生成器生成的虛假的樣本一同輸入到判別器中,從而得到輸出為真實或者虛假的數(shù)字,分別用1和0 表示.通過生成器與判別器之間的相互欺騙,最終使得判別器無法對生成器生成的虛假螺紋鋼圖像樣本與真實的原螺紋鋼樣本進行辨別.相較于GAN,DCGAN 在生成器上使用卷積替代池化層容許網絡學習自己的空間上采樣,對于判別器,采用了去卷積替代池化層容許學習自己空間的下采樣,從而生成與原始數(shù)據(jù)相似度很高的螺紋鋼缺陷數(shù)據(jù).

將工業(yè)螺紋鋼生產線上采集到的小樣本螺紋鋼圖像輸入搭建好的DCGAN 模型中,學習率設置為0.001,設定0.5的momentum來加速訓練速度,經過800 次迭代,生成的結果如圖4所示.

圖4 基于DCGAN的生成數(shù)據(jù)

可見通過生成對抗學習,模型已經初步學習到螺紋鋼的表面結構,因為DCGAN 相較于傳統(tǒng)的圖像處理算法擴充的缺陷形態(tài)和尺寸位置以及大小都具有較高的隨機性,更適合對深度學習框架的訓練.

3.2 特征提取網絡設計

采取ZFNet 作為特征提取物網絡,ZFNet是在AlexNet 之后提出的,在AlexNet的基礎上進一步提升了分類效果,他們的差異表現(xiàn)在,AlexNet是用兩塊GPU的稀疏連接結構,而ZFNet 只用了一塊GPU的稠密鏈接結構,并將AlexNet的第一層卷積核的大小由11×11 變成7×7,步長由4 縮短到了2,ZF 網絡通過使用相對較小的卷積核和步長,從而保留了更多我們所需要的特征,具有更高的準確率.

ZF 網絡一共有7 層,分別對卷積層、池化層進行定義,第1 層卷積層是采用96個7×7的卷積核,步長為2;第2 層最大池化層采用3×3 卷積核,步長為2;第3 層卷積層采用256個5×5 卷積核,步長為2;第4 層最大池化層采用3×3 卷積核,步長為2;第5 層卷積層采用384個3×3 卷積核,步長為1;第6 層池化層采用3×3 卷積核,步長為1,第7 層采用256個3×3 卷積核,步長為1.ZF 網絡結構圖如圖5所示.

圖5 ZF 網絡結構圖

ZF 網絡在每層卷積后引入了中引入了ReLU 非線性激活函數(shù),相比于Sigmoid 函數(shù)受輸入值非常大或者非常小而產生的過飽和、梯度消失問題,ReLU 函數(shù)可以使部分神經元輸出為零,使得神經網絡具有稀疏性,從而抑制過擬合問題.輸入線掃后的螺紋鋼圖片經過5 層卷積層和2 層最大池化層,最終輸出螺紋鋼圖像的特征圖,從而達到了與RPN 區(qū)域建議網絡進行參數(shù)共享.

3.3 RPN 網絡模塊

3.3.1 RPN 網絡anchor 參數(shù)設定

RPN 候選區(qū)域建議網絡結構如圖6所示,特征提取網絡對輸入的螺紋鋼圖像提取卷積特征圖,再連接一個3×3 大小的滑動窗口,然后再分成兩路,其中一路連接尺寸為1×1,深度為18的卷積層,輸出的是得分代表每一個位置的12 種 anchor是非目標和目標的概率;另外一路連接的是尺寸為1×1,深度為36的卷積層,輸出的是每個對應點對應的12 種 anchor的4個參數(shù),分別是候選框的中心點坐標x、y和候選框的寬和長w、h.

圖6 RPN 候選區(qū)域建議網絡結構

對于本項目中所拍攝的螺紋鋼各類缺陷,其中最小的凹坑缺陷也要占900×300 尺寸子圖的百分之一多;基于劃痕的缺陷一般在圖像中處于橫向區(qū)域,在其子圖的占比大概在 1/5 到1/2 左右,根據(jù)各種缺陷的尺寸,本文對原始的anchor 進行了面積方面的調整,設計了適用于螺紋鋼缺件檢測的24 種不同的先驗 anchor 尺寸,其面積分別是144 平方,72 平方,36 平方,18 平方,每種面積尺寸又為3 種長寬比,分別是2:1、1:2、1:1,這樣 每個對應點對應的anchor 數(shù)量共計12個,可以滿足螺紋鋼缺陷檢測中所要檢測的所有缺陷大小.

3.3.2 非極大值抑制

非極大值抑制算法的目的是消除掉重疊冗余的候選框,它可以實現(xiàn)從大量的候選框中選取在這些鄰域中分數(shù)最高(即為目標缺陷概率最大)的候選框,并對分數(shù)低的候選框進行抑制.它在目標檢測和分類的領域中應用廣泛,在Faster RCNN 同樣引入了這一算法.

在RPN 網絡特征提取過程中,由于RPN 生成的候選區(qū)域數(shù)量非常多,為保證能夠在上萬個anchor中采樣到滿足我們需要的anchor,需要對生成的anchor進行分類篩選,篩選出滿足需要的正負樣本,其中,正樣本代表螺紋鋼表面缺陷區(qū)域,負樣本表示的是無目標區(qū)域,正負樣本的篩選采用IoU的方法,如圖7所示,即真實的邊框和預測邊框之間的交集與真實邊框和預測邊框之間的補集之比.

圖7 交并比的計算圖

針對于部分凹坑、小劃痕等尺寸比較小的缺陷,其對于anchor 邊框的移動相對較敏感,極易被劃分到負樣本,導致負樣本的容量遠大于正樣本.所以在設定閾值時,采取降低部分閾值的方法對螺紋鋼缺陷檢測會有比較好的檢測效果,本文將正樣本的交并比閾值設定為0.5,負樣本設定為0.1 以下,就可以得到相比較多的正樣本,但是由于降低了閾值,導致部分正樣本中摻雜少量負樣本,所以在起初設計的本交并比的基礎上,選擇交并比在0.3 到0.5的區(qū)域內的anchor 進行再判定,優(yōu)先的選擇大尺寸區(qū)域作為正樣本,而其他的小尺寸anchor 產生的候選區(qū)域列為負樣本.通過設計合適的交并比,可以達到對于正負樣本很好的劃分效果.交并比正負樣本劃分方法如圖8.

圖8 交并比正負樣本劃分方法

3.3.3 RPN的損失函數(shù)

RPN 網絡的整體損失函數(shù)公式如下:

其中,i為最小批次anchor的索引;pi為anchor是預測目標概率;ti為預測邊界框的4個坐標參數(shù);t?i是positive anchor 對應的ground truth 包圍的坐標向量;Ncls表示一個mini-batch中所有樣本數(shù)量;Nreg表示anchor 位置的個數(shù).

Lcls是所檢測的目標或非目標對數(shù)損失:

其中,坐標參數(shù)的定義為:

3.4 ROI Pooling 層

ROI Pooling是池化層的一種,在Faster RCNN中該池化層針對的是RPN 生成的候選框在特征圖上的映射,也就是ROIs.ROI Pooling的目的就是使輸入特征圖的尺寸不固定而輸出固定輸出特征圖的尺寸,其計算的方法是:對一個大小不固定但是通道數(shù)固定的卷積層輸出,將映射后的區(qū)域劃分為與輸出維度相同的sections,對每個sections 都做最大值池化處理,這樣就可以從不同大小的方框中得到固定大小相應的特征圖像.

設定IoU 閾值后,將劃分出的正負樣本送入ROI池化層,通過輸入任意大小的特征,可以輸出固定維數(shù)的向量,將這些向量送入全連接層得到兩個輸出,一個輸出是多分類,即螺紋鋼表面缺陷的種類,另一個輸出是框回歸.

4 基于遷移學習的訓練過程

4.1 數(shù)據(jù)集的劃分

實驗所需的數(shù)據(jù)集是根據(jù)原論文中VOC2007 文件夾進行劃分的,根據(jù)統(tǒng)計,本項目共獲得原始螺紋鋼圖像數(shù)據(jù)275 張,根據(jù)缺陷種類的劃分標準,將螺紋鋼圖片的種類分為4 種,第1 種是螺紋鋼正常圖片,計72 張;第2 種為結疤(jieba),包括小氣泡在內,計57 張;第3 種為麻面(mamian),共計73 張;第4 種是劃痕(huahen),包含擦傷、凹坑在內,計84 張.

擴充后的4 種種類共計1600 張,存入JPEGImages文件夾中,使用labelling 軟件對這些圖像進行標注,并將標注好的XML 文件對應儲存于Annotations 文件夾中.將XML 文件名對應生成trainval.txt 作為存放圖像的文檔,并根據(jù)劃分比例10:1 分別劃train.txt、val.txt并存入到ImageSets 文件夾中.圖9是擴充后的部分樣本集.

圖9 擴充后的部分樣本集

本文通過DCGAN有目標的生產了大量的新螺紋鋼缺陷數(shù)據(jù),彌補了本身負樣本數(shù)據(jù)的不足,最后將生成的樣本圖像送入經遷移學習訓練過的模型中.

4.2 基于遷移學習的模型訓練

本文硬件部分采用英特爾 Core i7-7700 處理器,內存8 GB,GPU是Nvidia GeForce GTX 1050 Ti (4 GB)單路GPU 對目標檢測模型進行搭建,軟件部分選取Windows 10、CUDA10.1+CUDNN6.0 以及 Anaconda3、PyTorch1.5、torchvision0.6 對螺紋鋼缺陷檢測模型進行預測和訓練.

遷移學習的種類有很多,比如基于特征、基于參數(shù)、基于關系等.由于本文中的螺紋鋼表面缺陷樣本較難獲取,所以選擇了基于參數(shù)的遷移學習對螺紋鋼表面缺陷算法進行訓練,其原理是利用現(xiàn)有的優(yōu)質模型用自己的數(shù)據(jù)進行Finetune 從而可以實現(xiàn)小樣本的高精度檢測,基于Faster RCNN的遷移學習過程是:首先對網絡進行預訓練,保存由大規(guī)模數(shù)據(jù)集(ImageNet)訓練完成的初始化網絡權重參數(shù)作為預訓練模型的權重參數(shù),保留模型的前幾層參數(shù),對后幾層進行重新訓練.在對螺紋鋼缺陷檢測模型訓練的過程中,采用了RPN Loss 與Faster RCNN Loss 相互聯(lián)合訓練的方法,其中參數(shù)的設定步驟是:

(1)使用ImageNet 分類模型初始化前置卷積網絡參數(shù),可以得到螺紋鋼缺陷檢測模型的初始化權重和參數(shù);

(2)固定RPN 網絡獨有的卷積層以及全連接層參數(shù),并用RPN 生成的目標建議框訓練Faster RCNN的參數(shù);

(3)把Faster RCNN 訓練好的前置卷積網絡層參數(shù)固定,對RPN 卷積層和全連接層參數(shù)微調;

(4)固定前置卷積層參數(shù)的同時微調RPN 全連接層參數(shù);

(5)通過RPN和Faster RCNN 前置卷積網絡層參數(shù)共享.

4.3 檢測結果分析

訓練和檢測的結果分別如圖10、圖11所示,可以看到該檢測系統(tǒng)對于螺紋鋼缺陷的檢測具有很好的效果.

圖10 基于遷移學習訓練檢測結果

圖11 螺紋鋼缺陷檢測部分檢測識別效果圖

通過訓練和測試得到缺陷檢測系統(tǒng)的檢測誤差主要來源是劃痕的漏檢,其識別精度僅92.37%,而結疤識別精度為95.36%,麻面為97.72%,錯誤的原因是因為劃痕的尺寸多樣化,部分形狀也與結疤類似,且數(shù)據(jù)集樣本較少,導致影響檢測精度下降.

5 結論與展望

本文采用深度學習模塊采用Faster RCNN 作為深度學習的基本框架,構建了基于小樣本學習的螺紋鋼表面缺陷檢測模型.針對工業(yè)實際生產所造成的螺紋鋼表面缺陷樣本較少問題,設計了一種基于DCGAN的數(shù)據(jù)增強方法,通過DCGAN有針對性地產生了大量的新螺紋鋼缺陷數(shù)據(jù),彌補了本身負樣本數(shù)據(jù)的不足,最后將生成的樣本圖像送入經遷移學習訓練過的模型中.實驗證明本文設計的缺陷檢測方法能夠快速準確地都螺紋鋼表面缺陷進行定位和分類,提高了缺陷識別的效率.