徐秀 宣靜怡 曹桐滔

摘 要： 為有效進行圓柱形金屬工件表面缺陷檢測，設(shè)計一套利用深度學(xué)習(xí)框架——Faster R-CNN的表面缺陷檢測系統(tǒng)。該系統(tǒng)算法利用Resnet網(wǎng)絡(luò)進行特征提取，采用RPN方法提取缺陷的候選目標(biāo)矩形區(qū)域，再利用Fast R-CNN在候選區(qū)域基礎(chǔ)上進行缺陷檢測。此外，為克服金屬表面反光并獲得高質(zhì)量圖片，設(shè)計一套合適的圖像采集系統(tǒng)。實驗表明，該檢測系統(tǒng)能有效克服光滑金屬表面的強反射，從而獲取高質(zhì)量圖片；同時利用基于Faster R-CNN框架的方法進行缺陷檢測，較好地解決了圓柱形金屬表面缺陷檢測能力弱的問題，在置信度閾值為0.9時，其查全率為95.0%，查準(zhǔn)率為96.0%，檢測速度為65ms/幅。

關(guān)鍵詞：圓柱形金屬工件；表面缺陷檢測；Faster R-CNN；深度學(xué)習(xí)；低對比度缺陷；機器視覺

DOI：10. 11907/rjdk. 182498

中圖分類號：TP319 文獻標(biāo)識碼：A 文章編號：1672-7800（2019）005-0130-04

Abstract： A surface defect detection system is proposed in this paper for the quality inspection of cylindrical workpieces. The surface defect detection algorithm is based on Faster R-CNN. Firstly， the Resnet network is used to extract the feature map. Then the RPN is adapted to extract candidate rectangle area. Finally， the defects are detected by Fast R-CNN. Whats more， to overcome the reflection of metal surface and get high quality pictures for detecting， an image acquisition system is designed. Experiments show that the system has an advantage in overcoming the reflection of metal and getting high quality pictures of cylindrical metal workpieces. Meanwhile the detection algorithm based on Faster R-CNN can effectively detect defects. When the confidence threshold is 0.9， the recall rate is 95.0% and the precision rate is 96.0%，and the speed of detection is 65ms per picture.

Key Words： cylindrical metal workpieces； surface defect detection； Faster R-CNN； deep learning； low-contract defects； machine vision

0 引言

圓柱形金屬工件是一類典型的零件形態(tài)，被廣泛應(yīng)用于各種產(chǎn)品中。為保證工件質(zhì)量，通常需要對該類工件進行表面缺陷檢測[1]，缺陷類型包括劃痕、孔洞、污漬、銹跡等。傳統(tǒng)人工品質(zhì)檢測方式檢測效率低、效果差，無法滿足大批量生產(chǎn)的需求。因此，在實際生產(chǎn)過程中，越來越多的廠家采用機器視覺（光電）技術(shù)進行工件表面缺陷自動檢測。

金屬工件表面缺陷檢測是光電檢測中的難點，近年來，國內(nèi)外學(xué)者進行了大量研究。然而金屬表面缺陷檢測技術(shù)目前仍然面臨著如光照不均、缺陷與非缺陷之間對比度低、噪音與細微缺陷相似度高等問題，造成識別精度低、檢測速度慢等問題[2-3]。目前用于金屬工件表面缺陷檢測的機器視覺方法可以根據(jù)是否需要先驗知識即無缺陷模板，劃分為兩大類[4]：第一類方法是基于模板匹配的，將無缺陷的模板圖像與待檢測圖像進行對比，若有明顯差異的部分，則作為有缺陷的部分。該方法要求待檢測圖像與模板圖像之間必須擁有精確的匹配度，否則容易出現(xiàn)誤檢、漏檢等情況[4-5]；第二類方法利用圖像特征，從圖像灰度值直方圖、顏色、紋理等特征入手，提取能夠區(qū)分無缺陷圖與有缺陷圖的差異特征向量，然后設(shè)計分類器，經(jīng)過訓(xùn)練、調(diào)整參數(shù)后得到最佳網(wǎng)絡(luò)。在檢測時，利用預(yù)先訓(xùn)練好的分類器實現(xiàn)對目標(biāo)圖像的實時特征提取，判別是否存在缺陷及是哪種缺陷[6-8]。該方法雖然檢測速度快，但僅適用于背景簡單且缺陷特征較明顯的場合，因為以上特征提取方法都不可避免地會遺漏某些細節(jié)特征。

在利用卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法對圖像進行特征提取的思想啟發(fā)下，相繼有研究人員提出利用卷積神經(jīng)網(wǎng)絡(luò)原理進行目標(biāo)檢測的算法。本文基于深度學(xué)習(xí)框架Faster R-CNN設(shè)計一套適用于圓柱形金屬電鍍件表面缺陷檢測的算法與系統(tǒng)，以克服由于金屬表面強反射造成的光照不均問題，并有效進行缺陷識別。

1 Faster R-CNN缺陷檢測算法

繼RCNN、Fast R-CNN[9]之后，F(xiàn)aster R-CNN[10]是目標(biāo)檢測界領(lǐng)軍人物Ross Girshick及其團隊在2015年的又一力作，目前被應(yīng)用于多個領(lǐng)域目標(biāo)檢測[11-14]。Faster R-CNN 算法由兩大模塊組成：①區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）候選區(qū)域檢測模塊；②Fast R-CNN檢測模塊。RPN與Fast R-CNN共享特征網(wǎng)絡(luò)。其中，RPN是全卷積神經(jīng)網(wǎng)絡(luò)，用于提取候選框；Fast R-CNN基于RPN提取的候選框檢測并識別候選框中的目標(biāo)，其結(jié)構(gòu)如圖1所示。

1.1 特征提取

在提取圖像特征上，卷積神經(jīng)網(wǎng)絡(luò)[15-16]具有優(yōu)越性。卷積神經(jīng)網(wǎng)絡(luò)具有權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)，降低了網(wǎng)絡(luò)模型復(fù)雜度，減少了權(quán)值數(shù)量。另外，在圖像處理時，可以直接將圖像作為網(wǎng)絡(luò)輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取與數(shù)據(jù)重建。在Faster R-CNN框架下，本文使用Resnet[7]網(wǎng)絡(luò)進行特征提取，生成特征圖，區(qū)域建議網(wǎng)絡(luò)與Fast RCNN檢測均在該特征圖基礎(chǔ)上進行。

1.2 區(qū)域建議網(wǎng)絡(luò)RPN

區(qū)域建議網(wǎng)絡(luò)（Region Proplsal Network，RPN）是一個全卷積網(wǎng)絡(luò)，用于提取高質(zhì)量的候選框，解決了選擇性算法（Selective Search，SS）[18]的速度瓶頸，大幅提高了目標(biāo)檢測速度，在訓(xùn)練時將RPN放于最后一個卷積層后面。RPN網(wǎng)絡(luò)的作用是輸入一張圖像、輸出一批矩形候選區(qū)域，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。構(gòu)建區(qū)域建議網(wǎng)絡(luò)RPN的具體流程為：使用一個小滑動窗口（3*3的卷積核）在最后卷積得到的特征圖（feature map）上進行滑動掃描。經(jīng)過滑動卷積后，映射得到一個D維向量，最后將該D維向量送入兩個全連接層中，即候選框位置回歸層與分類層，以獲得位置信息與分類信息。其中位置回歸層輸出候選框的4個相關(guān)參數(shù)（x，y，w，h），包括候選框中心坐標(biāo)x和y、寬w和長h；分類層輸出目標(biāo)與非目標(biāo)概率。

每個滑動中心對應(yīng)k個錨框，每個錨框?qū)?yīng)一種尺寸與一種長寬比，如圖2右側(cè)所示。Faster R-CNN中RPN使用3種不同尺寸以及3種不同比例（1∶1，1∶2，2∶1）組合成9種不同大小的錨框預(yù)測包含目標(biāo)的窗口位置，可以使尋找到的候選區(qū)域更加準(zhǔn)確。在對樣本進行測試時，輸入圖像經(jīng)過最后一層卷積層后輸出，再通過RPN產(chǎn)生大量候選框。候選框數(shù)目很大且重疊區(qū)域多，為提高檢測效率，使用非極大值抑制法對候選框進行過濾。

1.3 缺陷識別

通過RPN獲得候選區(qū)域后，F(xiàn)aster R-CNN利用Fast R-CNN進行檢測。RPN與Fast RCNN共享卷積特征，F(xiàn)ast RCNN在RPN提供的高質(zhì)量區(qū)域建議網(wǎng)絡(luò)的基礎(chǔ)上進行目標(biāo)識別，目標(biāo)檢測速度得到了大幅提高。對候選區(qū)域進行訓(xùn)練，在訓(xùn)練時，通過一種交替運行優(yōu)化方法使RPN與Fast R-CNN共享卷積特征。

2 實驗系統(tǒng)與實驗過程

2.1 實驗系統(tǒng)

為驗證算法有效性，采用直徑為7.5mm、全長為16.5mm的圓柱形金屬工件進行實驗，其表面主要缺陷為劃痕。本文缺陷檢測系統(tǒng)包括圖像采集與圖像處理兩部分。檢測系統(tǒng)原理如圖3所示。在圖像采集系統(tǒng)中，為避免光學(xué)照明不均[19-20]，采用適用于高反光表面檢測的環(huán)形無影光源；為采集到完整的柱面圖像，設(shè)計一個旋轉(zhuǎn)平臺，如圖4所示，包括伺服電機、彈簧、頂針、導(dǎo)軌等。通過E2V公司的Eliixa 4K MONOCHROME線陣相機，其分辨率為8192pixel，像元尺寸5[μm]及silicon的圖像采集卡配合光源、旋轉(zhuǎn)機構(gòu)等，獲得金屬圓柱工件清晰的表面展開圖。圖5（a）為采集到的有缺陷的圓柱形金屬工件的表面展開圖，圖片克服了光滑金屬的高反光。獲得圖像后，將圖像信息傳輸?shù)接嬎銠C中保存，然后圖像處理模塊對工件進行缺陷檢測。在圖像處理中，硬件平臺GPU為：LEADTEK GTX1060，操作系統(tǒng)為Ubuntu 16.04平臺，基于深度學(xué)習(xí)庫Keras進行。

2.2 實驗數(shù)據(jù)集與訓(xùn)練檢測模型構(gòu)建

本文選擇2 000個含有缺陷的圖片作為訓(xùn)練集，500個混合樣本作為檢測集。在訓(xùn)練前，先通過LabelImg對缺陷目標(biāo)進行標(biāo)注，在標(biāo)注目標(biāo)完成后，每個標(biāo)注圖片保存為一個XML文件作為訓(xùn)練樣本。本文使用Keras框架實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型，錨框尺度分別為8、16、32，長寬比為2∶1、1∶1、1∶2，設(shè)置IOU閾值最大值為0.7，最小值為0.3。在訓(xùn)練時，使用Resnet網(wǎng)絡(luò)進行特征提取，獲得特征圖。在特征圖基礎(chǔ)上，RPN與 Fast R-CNN網(wǎng)絡(luò)共享卷積特征，進行交替訓(xùn)練，迭代次數(shù)為8 000，獲得檢測模型。

3 實驗結(jié)果與分析

本次實驗評價標(biāo)準(zhǔn)中用查全率recall、查準(zhǔn)率precision及檢測時間評價檢測效果。各指標(biāo)如下所示。

由表1可以看出，當(dāng)置信度閾值過低時，由于金屬表面光照不均及工件本身自帶的凹槽，易將凹槽部分誤認為缺陷，導(dǎo)致查準(zhǔn)率較低。當(dāng)置信度閾值過高時，會忽略很多置信度值低于閾值的缺陷，造成漏檢，導(dǎo)致查全率偏低。綜合考慮，當(dāng)置信度為0.9時，檢測效果最佳。由表2可以看出，本文算法與文獻[21]的算法相比，查全率與查準(zhǔn)率基本相同，但是檢測時間上，本文算法優(yōu)勢明顯。由于文獻[21]的方法運算量主要集中于背景圖像的自適應(yīng)平滑上，運算時間成本較高，而本文采用的Faster R-CNN方法在RPN提供的高質(zhì)量候選區(qū)域上進行目標(biāo)檢測，實現(xiàn)端到端的檢測，大大提高了檢測速度，平均檢測時間為每幅65ms左右。由圖7可以看出，本文算法對于人眼不易察覺、對比度較低，且大小為2mm～ 3mm的缺陷也有效。由此可見，本文缺陷檢測系統(tǒng)對圓柱形金屬表面缺陷檢測正確率高且速度快。

4 結(jié)語

在利用光電檢測方法進行表面缺陷檢測時，由于金屬工件表面存在強反射現(xiàn)象導(dǎo)致圖像光照不均，導(dǎo)致檢測效果低下。本文設(shè)計了一套包含線陣相機、環(huán)形無影光源、機械旋轉(zhuǎn)系統(tǒng)等的圖像獲取系統(tǒng)，克服了高光影響，獲得了高質(zhì)量的圓柱形金屬工件展開圖，為檢測算法實施提供了保障。該系統(tǒng)使用基于Faster R-CNN的深度學(xué)習(xí)框架進行缺陷檢測，相較傳統(tǒng)方法，其檢測正確率及檢測速度均有明顯優(yōu)勢。然而，使用基于Faster R-CNN深度框架進行檢測時訓(xùn)練時間過長，導(dǎo)致在正式進行檢測前準(zhǔn)備時間較長，下一步工作將圍繞回歸窗函數(shù)改變候選框數(shù)量進行修改，以縮短訓(xùn)練時間。

參考文獻：

[1] SU J H，LIU S L. Measure system of surface flaw and morphology analysis of cylindrical high precision parts[J]. Laser & Optoelectronics Progress， 2014， 51（4）： 041202.

[2] 羅菁，董婷婷，宋丹，等. 表面缺陷檢測綜述[J]. 計算機科學(xué)與探索，2014（9）：1041-1048.

[3] 湯勃，孔建益，伍世虔. 機器視覺表面缺陷檢測綜述 [J]. 中國圖象圖形學(xué)報，2017（12）： 1640-1663.

[4] 韓斌. 計算機視覺檢測中的若干問題研究及應(yīng)用 [D]. 無錫：江南大學(xué)，2009.

[5] 孫寶華，韓躍平，徐青，等. 基于SURF算法的產(chǎn)品表面缺陷檢測研究[J]. 紅外技術(shù)， 2014， 36（6）： 503-507.

[6] 張學(xué)武，丁燕瓊， 閆萍. 一種基于紅外成像的強反射金屬表面缺陷視覺檢測方法[J]. 光學(xué)學(xué)報， 2011， 31（3）： 112-120.

[7] LIU H，GUO S， CHEN Y F， et al. Shearography using wave-defect interactions for crack detection in metallic structures[C]. Washington D. C. ：Proceedings of the 2017 IEEE International Ultrasonics Symposium （IUS）， 2017.

[8] 李明，劉悅. 基于支持向量機的金屬表面缺陷檢測算法[J]. 世界有色金屬，2017，65（2）： 120-121.

[9] GIRSHICK R. Fast R-CNN[C]. Proceedings of the 15th IEEE International Conference on Computer Vision， 2015：1-9.

[10] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real- time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）： 1137-1149.

[11] 史凱靜，鮑泓，徐冰心，等. 基于Faster RCNN的智能車道路前方車輛檢測 [J]. 計算機工程，2018，44（7）：36-41.

[12] 李偉山，衛(wèi)晨，王琳. 改進的Faster RCNN煤礦井下行人檢測算法[J]. 計算機工程與應(yīng)用，1-16. [2018-06-21]. http：//kns.cnki.net/kcms/d LI Weishan.

[13] 戴陳卡，李毅.基于Faster RCNN以及多部件結(jié)合的機場場面靜態(tài)飛機檢測[J].計算機應(yīng)用，2017，37（S2）：85-88.

[14] SHI Y，LI Y，WEI X，et al. A faster-RCNN based chemical fiber paper tube defect detection method [J]. 2017，173-7.

[15] YI L， LI G， JIANG M. An end-to-end steel strip surface defects recognition system based on convolutional neural networks[J]. Steel Research International， 2017， 88（2）： 1600068.

[16] WEIMER D， SCHOLZ-REITER B， SHPITALNI M. Design of deep convolutional neural network architectures for automated feature extraction in industrial inspection[J]. CIRP Annals， 2016， 65（1）： 417-20.

[17] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. Las Vegas：The 29th IEEE Conference on Computer Vision and Pattern Recognition， 2016.

[18] UIJLINGS J R R，VAN DE SANDE K E A，GEVERS T，et al.Selective search for object recognition[J]. International Journal of Computer Vision， 2013， 104（2）： 154-171.

[19] 栗琳. 基于視覺的高反射球面缺陷快速檢測關(guān)鍵技術(shù)研究 [D].天津：天津大學(xué)，2013.

[20] 張靜， 葉玉堂， 謝煜， 等. 金屬圓柱工件缺陷的光電檢測 [J]. 光學(xué)精密工程， 2014， 50（7）： 1871-1876.

[21] 閔永智，岳彪，馬宏鋒. 基于圖像灰度梯度特征的鋼軌表面缺陷檢測[J]. 儀器儀表學(xué)報，2018，39（4）：220-229.

（責(zé)任編輯：江 艷）