郭龍源 童光紅 段厚裕 趙林 李武勁 歐先鋒 晏鵬程 張一鳴

摘要：由于磁瓦缺陷本身對比度、不同缺陷特征不盡相同等原因，傳統(tǒng)缺陷檢測算法檢測效果較差。針對不同缺陷特征的磁瓦缺陷檢測的問題，提出了一種基于YOLOv3的磁瓦缺陷檢測方法。YOLOv3借鑒Resnet的殘差結(jié)構(gòu)可以很輕松的構(gòu)建更深的卷積網(wǎng)絡，更深的網(wǎng)絡可以更好地表達磁瓦缺陷的特征。同時其類似FPN的特征融合思想，可以較好地保證小缺陷樣本不會出現(xiàn)特征丟失的情況?；谝陨蟽?yōu)點，YOLOv3很適合應用于缺陷檢測。實驗結(jié)果表明，該方法在檢測效果上不差于基于Resnet101的Faster R-CNN的方法.而且其平均檢測速度快5倍以上。

關(guān)鍵詞：缺陷檢測;深度學習;目標檢測;磁瓦

中圖分類號：TP391文獻標志碼：A 文章編號：2095-5383（2019）03-0025-06

缺陷檢測是機器視覺領(lǐng)域中的一個重要研究方向。磁瓦作為汽車發(fā)動機中電機的重要組成部分，表面缺陷的存在將直接影響汽車發(fā)動機的壽命。所以在磁瓦生產(chǎn)過程中，必須對其進行表面缺陷檢測。如何解決磁瓦缺陷檢測的實時性以及由于磁瓦缺陷本身對比度低、缺陷小而造成檢測難度大等問題，是缺陷檢測的重點和難點。缺陷檢測一般先依據(jù)工件的特性和現(xiàn)場的環(huán)境，選擇相應的光源，通過打光測試選擇合適的照明方法可以獲得良好的圖像。然后根據(jù)實際成像圖片的缺陷特征來設計提取算法，其提取算法常用到的特征包括：Haar、SIFT、HOG等;而其缺陷分類算法常用神經(jīng)網(wǎng)絡（MLP）、支持向量機（SVM）、Adaboost等。傳統(tǒng)缺陷檢測算法對于一類缺陷通過打光以及特定的算法設計，可以到達很好的檢測效果。

在本文中磁瓦缺陷對比度較低，而且不同缺陷對比度不盡相同，所以無法通過打光來突出缺陷特征;其次磁瓦不同缺陷間的特征不相同，設計對應的特征提取算法難度較大;最后傳統(tǒng)分類算法較難學習到磁瓦缺陷的特征。近年來，隨著深度學習的廣泛應用，在目標檢測領(lǐng)域取得了一系列成果，如SSD、Faster R-CNN等，同時在工業(yè)檢測領(lǐng)域得到極大的應用。常海濤等將Faster R-CNN應用到工業(yè)缺陷檢測中通過預處理來修正預測框位置，取得較好的檢測效果，孫暉等通過改進SSD來實現(xiàn)在線檢測表面缺陷，李明等通過GAN來擴容數(shù)據(jù)集，再通過Faster R-CNN來進行缺陷檢測，一定程度上解決了工業(yè)數(shù)據(jù)集難收集等問題?；谝陨涎芯浚疚尼槍Υ磐呷毕莸奶卣饕约肮I(yè)實時在線檢測的要求，提出一種改進的YOLOv3缺陷檢測模型。

1YOLOv3算法描述

1.1YOLOv3的主體結(jié)構(gòu)

1.1.1YOLOv3特征提取網(wǎng)絡

對于卷積神經(jīng)網(wǎng)絡來說，特征提取設計是極其重要的。為了保留原圖大部分信息，又能提取目標的大部分特征，YOLOv3在特征提取網(wǎng)絡中采用了Darknet-53.整個網(wǎng)絡中沒有池化層和固定輸出的連接層，基本上采用了完整的卷積層，而且圖像輸入在正向計算中，通過卷積層改變卷積核的步幅來實現(xiàn)尺寸變化。Darknet-53另一方面為了構(gòu)建出更復雜的模型，引入了Resnet的殘差塊結(jié)構(gòu)，這個結(jié)構(gòu)如圖1所示，不同于YOLOv2直接采用類似VGG的網(wǎng)絡，采用Resnet的殘參塊設計，殘差這種結(jié)構(gòu)能保證網(wǎng)絡結(jié)構(gòu)在很深的情況下，仍能收斂，模型能訓練下去;網(wǎng)絡越深，表達的特征越好，分類+檢測的效果都會提升;此外，利用網(wǎng)絡中的殘差思想，殘差中的1*1卷積大大減少了每個卷積的信道，一方面減少了參數(shù)的數(shù)量，同時計算量也會減少到一定程度。因此相比較YOLOv2的19層設計，v3可以輕易設計53層的特征提取層，精度提升相比v2比較明顯。Darknet-53中大部分層如圖3所示等，res8表示含有8個殘差結(jié)構(gòu)，其結(jié)構(gòu)如圖2所示，其中DBL為卷積層+歸一化層+激活層。

1.1.2YOLOv3多尺度特征融合

對于大多數(shù)卷積神經(jīng)網(wǎng)絡，通過特征提取層提取輸入圖像以獲得最終特征圖，然后在該特征圖上直接預測。這樣直接獲取最后一層的熱圖，丟失了淺層的語義信息，這對小目標檢測是不利。而且對于目標檢測，輸入圖片可能存在不同尺寸的目標，不同目標之間存在不同的特征，我們需要利用淺層特征來區(qū)分小目標，利用深層特征來區(qū)分大目標。對于YOLOv3來說，每一次尺寸變化的特征圖對后面目標區(qū)域預測都是有用的，所以YOLOv3借鑒了FPN的多尺度特征融合的思路，將不同分辨率的特征圖融合之后單獨輸出，分別進行目標預測。如圖3主結(jié)構(gòu)所示，它將darknet-53的中間層某一層和后面的某一層的上采樣進行拼接，最后輸出了3個不同尺度的熱圖，如圖3中的y1，y2，y3，采用多尺度特征融合來對不同尺寸的目標進行分別檢測，越精細的網(wǎng)格單元就可以檢測出越精細的物體，極大改善YOLOv3在小目標檢測方面的提升。

1.1.3YOLOv3的類別預測

YOLOv3在預測類別這方面用多標簽分類替換了原先的單標簽分類，因為在實際中一個目標或一張圖片不可能只存在一個類別，例如數(shù)據(jù)集中有ear和bus這兩個類別，那么數(shù)據(jù)集一張圖片中存在bus這個類，你實際檢測的結(jié)果就必須要用bus和car這兩個類別，這就是多標簽分類?；谝陨纤觯琘OLOv3將v2單標簽分類的softmax層改進為可以通過多個標簽分類的邏輯回歸。這樣YOLOv3在預測汽車這個類別時，還可以預測出汽車本身所屬的子集。對于邏輯回歸（10gistie）層YOLOv3主要使用sigmoid函數(shù)，這個函數(shù)可以將特征層輸出的結(jié)果約束到[0，1]的區(qū)間內(nèi)，所以當一張圖片經(jīng)過darknet-53特征提取后.輸出的結(jié)果繼續(xù)經(jīng)過sigmoid函數(shù)得到的小數(shù)如果大于設定閾值，則表示屬于這個類，否則不屬于。

總的來說，YOLOv3借鑒了殘差網(wǎng)絡結(jié)構(gòu)，形成更深的網(wǎng)絡層次以及多尺度檢測，提升了mAP以及小物體檢測效果。在保證精度正確率的情況下，比Faster R-CNN快4～5倍以上。

1.2損失函數(shù)

損失函數(shù)（loSS function）是用來估量你模型的預測值與真實值的不一致程度，對于YOLOv3來說損失函數(shù)清晰的表達了預測框與真實框之間的差距。YOLOv3通過損失函數(shù)來不斷訓練減少這個差距，YOLOv3的損失函數(shù)在原文中作者沒有明確提出其損失函數(shù)的公式。但是在目標檢測任務中有幾個關(guān)鍵信息是需要確定的：預測及區(qū)域置信度（confidence）。根據(jù)這4類信息，可以知道YOLOv3的損失函數(shù)由這4部分的損失函數(shù)組成，其定義可為：

Lconf和Lcls是直接經(jīng)過Sigmoid函數(shù)，例如用sigmoid將置信度壓縮到[0，1]內(nèi)，此時置信度不僅反映了該區(qū)域是否含有物體，還預測這個預測框中坐標的準確度。

2基于YOLOv3的磁瓦缺陷檢測

2.1磁瓦數(shù)據(jù)集

本文磁瓦數(shù)據(jù)集由實際磁瓦生產(chǎn)流水線上采集的圖像，包含磁瓦常見的兩種缺陷：裂紋、缺口。每類缺陷有1200張494x648的單通道圖像，共2400張，將其按2：1：1均勻分成訓練集、驗證集以及測試集，部分缺陷圖片如圖4所示。

2.2實驗條件及訓練過程

本實驗的硬件為英特爾i7-8700K六核十二線程CPU、英偉達GTX 1080Tix2獨立顯卡（11G顯存）、16G雙通道內(nèi)存和512GB的三星860evo固態(tài)硬盤，windows 10操作系統(tǒng)。本文的對比實驗Faster R-CNN、SSD和本文YOLOv3以及后期結(jié)果預處理都基于深度學習框架Mxnetl.5.0實現(xiàn)。

在實際訓練網(wǎng)絡中，磁瓦缺陷有2類，所以將YOLOv3最后輸出的全連接層數(shù)量設置為2，當這4層全連接層輸出的置信度均小于設定閾值0.5時，表示磁瓦無缺陷，如果大于閾值前取最大置信度，對應全連接層輸出為磁瓦缺陷類別。對于預測框重疊情況采用非極大性抑制（NMS），當預測框之間重疊度（重疊區(qū)域面積比例IOU）超過設定重疊閾值0.45，則丟棄此預測框，并使用隨機梯度下降（SGD）微調(diào)YOLOv3的預訓練模型。初始學習率設置0.001，并采用學習率衰減，每迭代200次，學習率衰減為初始學習率的0.1倍。在預測中，將YOLOv3視作端到端的分類網(wǎng)絡，由邏輯回歸層來得到輸出結(jié)果。

2.2本文算法評估指標

為了定量評價磁瓦缺陷檢測算法的性能，采用工業(yè)檢測常用的正確率以及目標檢測的mAP來評價。設RcD表示正確的樣本檢測率，CC表示正確識別某種類型的缺陷數(shù)，Nn表示錯誤識別的缺陷類別的數(shù)量，In表示預測框與真實標注框的交集，un表示預測框與真實標注框的并集。則mAP和Rcd可由式（4）（5）計算。

3磁瓦檢測結(jié)果與分析

3.1預處理圖片

圖5（a）是原圖，（b）是（a）對應的灰度直方圖，原圖中只有一個缺口缺陷，占據(jù)原圖尺寸很小，而且灰度值分布在一定區(qū)域內(nèi)，缺陷和背景的灰度值主要在這個區(qū)域中，這對缺陷特征提取很不利;（c）是（a）經(jīng)過預處理后的圖像，（d）是（c）對應的灰度直方圖。從圖5可以得知，缺陷區(qū)域?qū)Ρ榷扔幸欢ㄌ嵘?，而且直方圖中一定數(shù)量的灰度值均勻分布到了其他區(qū)域，這樣可以在提升缺陷區(qū)域?qū)Ρ榷鹊耐瑫r，限制背景的區(qū)域的灰度值增幅。這樣的預處理，對后面圖片的缺陷檢測是有利的。

3.2缺陷檢測結(jié)果

將YOLOv3訓練后檢測的結(jié)果和預處理后再檢測的結(jié)果做比較，兩種檢測比較的預測框精度如表

1、表2所示。

GT為標注的缺陷實際坐標（真值），表1未作預處理直接用YOLOv3檢測的缺陷區(qū)域坐標值，表2預處理后再用YOLOv3檢測的坐標值。其中，GT尺寸表示實際缺陷面積，缺陷尺寸為算法檢測出的缺陷面積，AP表示算法檢測出的區(qū)域與實際GT標注區(qū)域的交集與并集的比例。AP越大，檢測區(qū)域和標簽區(qū)域越重疊，表明算法越精確。從表1、表2可以看出，特別是裂紋缺陷的AP有較大提升，這說明缺陷與背景對比度過低，會影響最終的檢測結(jié)果，通過預處理在增強缺陷對比度的同時，可以有效抑制背景的對比度。所以預處理圖片后，可以幫助本文算法準確定位出缺陷區(qū)域。

3.3不同算法檢測結(jié)果對比

為了驗證該算法優(yōu)于其他算法，本文與常用的缺陷檢測算法Faster R-CNN和SSD等對比，從正確率、mAP以及檢測時間等評估指標對比，其評估結(jié)果如表3所示。

從表3可以得知，SSD雖然引入了尺度變換，網(wǎng)絡不同層抽取不同尺度的特征做預測，缺少特征融合，不能將低層語義信息和高層語義信息結(jié)合，所以其正確率和mAP都要低于YOLOv3：本文Faster R-CNN的特征提取網(wǎng)絡是基于Resnetl01.更深層的網(wǎng)絡對精度是有提升的。

表3中、YoLOv3在與Faster R-CNN相差不多的正確率和mAP的情況下，其檢測速度比它快5倍以上，檢測時間對工業(yè)檢測來說是極其重要的，所以相對于Faster R-CNN，YoLOv3更具實際使用價值。

本文部分測試集中磁瓦檢測結(jié)果如圖6所示，其中對于裂紋缺陷SSD有較好的檢測效果，但是對于小目標的缺口缺陷，例如缺口2，SSD出現(xiàn)誤檢，將缺口缺陷檢測成良品，本文SSD的特征提取忽視低層語義信息，導致小缺口在經(jīng)過特征提取網(wǎng)絡后出現(xiàn)特征丟失的情況。結(jié)合表3和圖6，F(xiàn)aster R-CNN和YOLOv3對實際磁瓦缺陷圖片，無論是缺陷位置的定位以及缺陷的正確率結(jié)果都比較好，特別是YOLOv3的平均檢測時間只需要0.03ms，這對工業(yè)檢測極為有利，所以這些特點使YOLOv3能夠較好的解決磁瓦的在線缺陷檢測。

4結(jié)論

本文討論了磁瓦缺陷檢測中的正確率以及檢測時間等工業(yè)評估指標，還計算了目標定位準確度的mAP以及部分圖片的坐標位置的評估指標。本文提出了在YOLOv3的檢測結(jié)果上.增加預處理的磁瓦缺陷檢測算法，利用類似FPN的特征融合較好地保證了小缺陷、較低對比度缺陷的特征信息的提取，一定程度上改善了檢測算法對小目標缺陷的檢測效果。總的來說，該算法可以快速實現(xiàn)缺陷位置的定位和缺陷類別的分類，同時保證磁瓦缺陷的檢測效果。目前，本文算法只實現(xiàn)了缺陷位置的定位以及缺陷的分類，在接下來的研究中，希望能夠借助一些新的網(wǎng)絡應用到實際缺陷檢測，實現(xiàn)缺陷分割，并且進一步提高缺陷檢測的正確率。