馬靜

（惠州經(jīng)濟職業(yè)技術(shù)學(xué)院，廣東惠州，516057）

0 引言

伴隨著基于深度學(xué)習(xí)的目標(biāo)檢測算法不斷突破，基于機器視覺的智能檢測技術(shù)也突飛猛進(jìn)。基于深度學(xué)習(xí)的目標(biāo)檢測算法主要分為One-Stage（單階段）和Two_Stage（二階段）兩類。其中One-Stage目標(biāo)檢測算法是基于回歸對目標(biāo)進(jìn)行分類和定位，如SSD及YOLO系列算法等。Two_Stage目標(biāo)檢測算法是基于區(qū)域建議，將檢測問題分成提取候選區(qū)域、候選區(qū)域分類與定位兩個階段，如SPP-Net、R-CNN、Fast R-CNN、Faster R-CNN等。One-Stage算法速度較快，但精度較低。Two_Stage算法精度較高，但速度較慢【2】。在綜合考慮金屬表面光滑、高反光、檢測難度大等特性以及基于深度學(xué)習(xí)的目標(biāo)檢測算法的特點的基礎(chǔ)上，本文選擇了Faster R-CNN目標(biāo)檢測算法對麻點和劃痕兩類常見金屬表面缺陷檢測進(jìn)行了研究。

1 Faster R-CNN檢測算法

基于Region Proposal的R-CNN系列目標(biāo)檢測方法是當(dāng)前目標(biāo)檢測技術(shù)領(lǐng)域一個重要分支，它經(jīng)歷了R-CNN, SPPNET, Fast R-CNN, Faster R-CNN的演變過程。Faster R-CNN在R-CNN, SPP-NET及Fast R-CNN算法基礎(chǔ)上進(jìn)行優(yōu)化【3】，成為了目標(biāo)檢測的優(yōu)秀代表。

如圖1所示，F(xiàn)aster R-CNN主要由特征提取網(wǎng)絡(luò)（Conv Layers）、RPN網(wǎng)絡(luò)（Region Proposal Networks）、Roi Pooling及Classification網(wǎng)絡(luò)幾個部分組成。特征提取網(wǎng)絡(luò)使用VGG16、ResNet等模型提取圖片特征(Feature Map)。RPN網(wǎng)絡(luò)實質(zhì)是二分類和坐標(biāo)回歸，其主要工作原理是在Feature Map基礎(chǔ)上通過softmax判斷Anchor（錨）是屬于Positive（正樣本）還是Negative（負(fù)樣本），同時利用Bounding-Box Regression（邊框回歸）修正Anchor，獲得精確的proposals從而生成Region Proposals。Roi Pooling層的核心是將大小不同的特征區(qū)域通過池化操作轉(zhuǎn)化為相同尺度的特征。Classification網(wǎng)絡(luò)利用Roi Pooling送入的Proposal Feature Map計算Proposal的類別，同時再次利用Bounding-Box Regression獲得檢測框最終的精確位置【4-6】。

圖1 Faster R-CNN基本結(jié)構(gòu)

2 基于Faster R-CNN實驗方案設(shè)計

2.1 特征提取網(wǎng)絡(luò)實驗設(shè)計

本文特征提取網(wǎng)絡(luò)主要使用VGG16網(wǎng)絡(luò)模型進(jìn)行特征提取。原始圖像在經(jīng)過模型處理后，在特征維度上完成一定的縮減。

如圖2所示，首先將任意大小PxQ的圖像縮放至固定大小1000x600，然后將1000x600圖像送入VGG16網(wǎng)絡(luò)，通過VGG16網(wǎng)絡(luò)最后生成feature Map。VGG16網(wǎng)絡(luò)主要由13個conv層，13個relu層，4個pooling層構(gòu)成。conv層卷積核設(shè)為（3，3），同時設(shè)定 stride=1，padding=1，以便在進(jìn)行卷積操作時，保持特征的空間維度不改變。pooling層卷積核設(shè)為（2，2），同時設(shè)定 stride=2，padding=0。

圖2 特征提取網(wǎng)絡(luò)實驗設(shè)計圖

2.2 RPN網(wǎng)絡(luò)實驗設(shè)計

RPN網(wǎng)絡(luò)主要功能是通過Anchor機制判斷Anchor是否檢測到物體、計算包含物體的檢測框的偏移量以及檢測框的坐標(biāo)。

如圖3所示，F(xiàn)eature Map進(jìn)入RPN后，分別進(jìn)行兩次卷積，第一次按照kernel_size=3，stride=1，padding=2進(jìn)行卷積，通過卷積進(jìn)一步集中特征信息。第二次按照kernel_size=1，stride=1，padding=0的方式做兩個全卷積,分別得到Rpn_cls_score及Rpn_bbox_pred。其中Rpn_cls_score記錄了RPN網(wǎng)絡(luò)中每一個空間位置Anchor的出現(xiàn)概率。Rpn_bbox_pred表示網(wǎng)絡(luò)中每一個Anchor的坐標(biāo)偏移量（四個回歸值△x，△y，△，△h）。在Rpn_cls_score的基礎(chǔ)上再經(jīng)過Reshape(2，-1)→softmax→Reshape(24，-1)的處理得到Rpn_cls_porb_reshape，它記錄了Anchor Box分類的概率。

圖3 RPN 網(wǎng)絡(luò)實驗設(shè)計圖

實驗的最后是計算RPN網(wǎng)絡(luò)輸出的損失Rpn_loss_bbox與Rpn_loss_cls。其中Rpn_loss_bbox是對Rpn_bbox_targets（真實的檢測框?qū)?yīng)Anchor的偏移量）與Rpn_bbox_pred做的smooth L1損失，它記錄了是否存在物體的損失。Rpn_loss_bbox是對Rpn_lables（真實的Anchor標(biāo)簽）與Rpn_cls_score做的softmax損失，它記錄了物體檢測偏移量的損失【7】。

2.3 Roi Pooling及Classification（RC）網(wǎng)絡(luò)實驗設(shè)計

RC網(wǎng)絡(luò)是在RPN特征提取的基礎(chǔ)上，繼續(xù)分類和檢測框微調(diào)工作，最終實現(xiàn)目標(biāo)檢測。

如圖4所示，Proposal目標(biāo)層首先通過gt_boxes(包含了真實檢測框坐標(biāo)與類別的數(shù)據(jù)結(jié)構(gòu))計算出rpn_rois（RPN檢測框）的Bbox_cls (真實結(jié)果的類別信息)和Bbox_targets(真實的坐標(biāo))，作為后續(xù)輸入的rois。接著通過rois的檢測框坐標(biāo)從特征提取網(wǎng)絡(luò)實驗輸出的特征取得此坐標(biāo)對應(yīng)的ROI區(qū)域的特征。通過ROI池化得到Pool5，從而輸出固定大小的Feature Map，再對特征圖進(jìn)行全連接產(chǎn)生fc7全連接層。全連接層由兩部份組成FC 21和FC 84，其中FC2是用來分類，預(yù)測ROI屬于哪個類別（20個類+背景），F(xiàn)C84用來回歸位置（21個類，每個類都有4個位置參數(shù)）。通過全連接層與softmax計算每個檢測框的類別，輸出cls_prob概率向量，同時再次利用邊框回歸獲得每個檢測框的位置偏移量bbox_pred，用于回歸獲得更加精確的目標(biāo)檢測框。

圖4 RC網(wǎng)絡(luò)實驗設(shè)計圖

實驗的最后計算損失loss_cls與loss_Bbox。其中l(wèi)oss_cls是對Bbox_targets與Bbox_pred做的smooth L1損失，它記錄了物體分類損失。loss_Bbox是對Bbox_cls與cls_score做的softmax損失，它記錄了物體檢測偏移量的損失。

3 基于Faster R-CNN缺陷檢測實驗

3.1 實驗平臺

本次實驗的硬件環(huán)境是CPU Intel(R) Core( TM) i9，64GB內(nèi)存，顯卡型號為NVIDIA Quahra M2002，軟件環(huán)境window7操作系統(tǒng)，Anacoada3.5.4，Tensorflow，主要編程語言python。標(biāo)注工具LabelImg。

3.2 數(shù)據(jù)集的構(gòu)建

本文檢測原始圖像均由數(shù)碼相機拍攝而成，共190張，分辨率為1440*1080，其中麻點88張、劃痕102張，數(shù)據(jù)樣圖如圖5所示。但由于數(shù)據(jù)量較少，又對原圖進(jìn)行90及180度旋轉(zhuǎn)處理和2次1000X600的隨機裁剪處理，最終將數(shù)據(jù)集擴充至1710張圖片。最后使用LabelImg對數(shù)據(jù)集進(jìn)行標(biāo)注，表明其缺陷的位置和種類。

圖5 數(shù)據(jù)樣圖

3.3 模型訓(xùn)練

在模型訓(xùn)練時將數(shù)據(jù)集按照訓(xùn)練集、驗證集與測試集為6：2：2的比例進(jìn)行分配，即訓(xùn)練集1026張圖片、驗證集及測試集各342張圖片。Faster R-CNN訓(xùn)練實質(zhì)是RPN+Fast R-CNN的訓(xùn)練，整個訓(xùn)練過程是一個交叉過程，可梳理為五步。第一步，使用VGG16模型對缺陷數(shù)據(jù)進(jìn)行特征提取。為了節(jié)省顯存，前四層卷積層的學(xué)習(xí)率設(shè)為0。Conv5的輸出作為圖片特征（feature）。conv5下采樣了輸入數(shù)據(jù)的16倍；第二步，利用第一步模型中的參數(shù)訓(xùn)練RPN網(wǎng)絡(luò)，得到特征提取模塊一（初始檢測框及相應(yīng)模型參數(shù)）。利用Anchor機制和回歸機制，將20000多個候選的Anchor選出256個Anchor進(jìn)行分類和回歸位置，同時利用非極大值（(Nonmaximum suppression, NMS）抑制，選出概率最大的2000個ROI；第三步，訓(xùn)練Fast R-CNN，得到特征提取模塊二；利用ProposalTargetCreator從2000 個rois選擇128個ROI進(jìn)行訓(xùn)練，從中選出58個ROI和gt_bboxes的IoU大于0.5的ROI作為正樣本，70個IOU小于0的rois作為負(fù)樣本。第四步，利用特征提取模塊二的參數(shù)重新訓(xùn)練RPN網(wǎng)絡(luò)（只更新網(wǎng)絡(luò)參數(shù)），生成目標(biāo)推薦框。第五步，利用推薦框?qū)ast R-CNN網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練（只更新網(wǎng)絡(luò)參數(shù)）。

3.4 檢測結(jié)果

模型檢測結(jié)果如表1所示，訓(xùn)練loss收斂如圖5所示，圖表數(shù)據(jù)表明模型在迭代1000次時趨于收斂，迭代1000次后麻點的檢測結(jié)果為90.56%，劃痕的檢測結(jié)果為91.21%，整個模型的平均檢測精度為90.78%。實驗結(jié)果表明Faster R-CNN在金屬表面缺陷檢測表現(xiàn)優(yōu)異。

表1 模型訓(xùn)練結(jié)果

4 總結(jié)與展望

本文在對Faster R-CNN模型較深入研究的基礎(chǔ)上，針對模型幾個重要環(huán)節(jié)做了詳細(xì)的實驗設(shè)計，并依據(jù)設(shè)計對金屬表面的麻點、劃痕兩大類缺陷數(shù)據(jù)做了模型訓(xùn)練，得到了較好實驗結(jié)果，但本次實驗的檢測效率為65.8 frame/s遠(yuǎn)遠(yuǎn)不能滿足實際需要，因此在工業(yè)5.0及人工智能與機器視覺檢測技術(shù)助力企業(yè)智能升級的大背景下，未來將從以下兩個方面進(jìn)行相關(guān)研究：（1）在基礎(chǔ)特征提取網(wǎng)絡(luò)、RPN、分類回歸等方面優(yōu)化Faster R-CNN，使其實現(xiàn)的效率顯著提升；（2）將深度學(xué)習(xí)與機器視覺技術(shù)完美結(jié)合，使理論研究落地，在實際應(yīng)用中能達(dá)到現(xiàn)代化工業(yè)生產(chǎn)中精準(zhǔn)化和智能化的要求。

圖6 模型訓(xùn)練loss收斂圖