劉好斌， 楊豐玉， 楊志勇， 張 佗， 洪賢濤

（1.南昌航空大學 軟件學院, 南昌 330063；2.中國人民解放軍第五七一九工廠, 成都 610000）

0 引言

軸承作為汽車、起重機、飛機等大型機械設備的重要組成部分，承擔著機械設備的重量，引導轉(zhuǎn)動等重要任務，因此，軸承質(zhì)量的好壞決定著機械設備能否正?？煽窟\行[1-3]。然而，軸承端面表面缺陷作為軸承生產(chǎn)制造過程中最常見的軸承缺陷，目前仍然主要采用人工目視檢測方法進行缺陷檢測。由于人工目視檢測方法易受檢測人員生理、情緒以及檢測持續(xù)時間等因素的影響，普遍存在檢測精度低、可靠性差等問題。

相對人工目視檢測方法而言，基于機器視覺技術(shù)的表面缺陷檢測方法，因具有較高的計算效率與檢測精度，被廣泛應用于軸承缺陷檢測技術(shù)領域。例如，針對滑動軸承表面缺陷檢測問題，陳琦等[4]提出一種通用的檢測方法，首先使用模板匹配和閾值分割法獲取待檢測區(qū)域，然后針對缺陷形態(tài)的不同設計相應特征提取算法，最后利用SVM實現(xiàn)缺陷類別分類。針對軸承表面缺陷檢測誤檢率較高問題，陳昊等[5]通過引入圖像光流技術(shù)構(gòu)建一種基于圖像光流的軸承滾子表面缺陷檢測方法，有效降低了軸承表面缺陷檢測誤檢率。針對軸承表面缺陷檢測存在漏檢率較高問題，蘭葉深等[6]提出一種基于視覺顯著性的軸承表面缺陷檢測方法，該方法首先對輸入圖像進行高斯金字塔采樣，然后對每層圖像執(zhí)行超像素分割并對分割結(jié)果進行顯著值提取，最后對獲取的顯著圖進行缺陷檢測和定位，大幅降低了檢測漏檢率。為了進一步實現(xiàn)對軸承表面缺陷的特征分類，宇文旋等[7]提出一種軸承表面缺陷分類的特征選擇算法，該方法通過綜合利用相關分析、標量特征選擇等方法，實現(xiàn)了較高的軸承表面缺陷特征分類精度。由于軸承表面缺陷形態(tài)各異且隨機多變，上述基于傳統(tǒng)機器視覺技術(shù)的檢測方法往往僅能針對某一種或某一類軸承表面缺陷的檢測，因此，傳統(tǒng)機器視覺軸承表面缺陷檢測方法普遍存在可靠性差的問題。

與傳統(tǒng)機器視覺技術(shù)不同，基于深度學習的機器視覺技術(shù)通過從大量樣本數(shù)據(jù)中學習充分且可靠的深層次圖像特征，可實現(xiàn)高精度與實時的目標檢測。目前，基于深度學習的目標檢測方法可以分為以Faster-RNN[8]為代表的兩階段檢測算法和以SSD[9]、YoLo[10]為代表的一階段檢測算法。兩者的區(qū)別主要在于后者將目標識別與定位集成于一體，并不需要單獨先對輸入圖像提取候選框，然后再基于候選區(qū)域修正。其中YoLo算法因具有優(yōu)越的實時性、檢測精度與魯棒性，而逐漸成為目標建檢測領域的主流算法，目前該算法已更新到Y(jié)oLov5。實際上對軸承表面缺陷檢測也可視為目標檢測，因此，本研究以YoLov5目標檢測算法為基準，構(gòu)建基于注意力機制的軸承端面表面缺陷檢測模型，實現(xiàn)軸承端面表面缺陷檢測。

1 聯(lián)合 Mosaic與 Copy-Pasting策略的數(shù)據(jù)增強方法

由于深度學習算法模型通常需要從大量具有標簽信息的樣本數(shù)據(jù)中學習圖像特征參數(shù)，因此，在訓練深度學習算法模型之前需要構(gòu)建一個標簽樣本數(shù)據(jù)充足且場景豐富的訓練數(shù)據(jù)集，以供深度學習模型訓練使用。然而，在工業(yè)缺陷檢測領域，具有缺陷的樣本在日常生產(chǎn)中占比非常小，難以獲取充分且可靠具有標簽的樣本數(shù)據(jù)集。為了克服該問題，一般使用數(shù)據(jù)增強技術(shù)實現(xiàn)數(shù)據(jù)集擴充以滿足模型訓練需求，常用的數(shù)據(jù)增強技術(shù)一般有圖像翻轉(zhuǎn)、圖像旋轉(zhuǎn)、圖像裁剪以及添加噪聲等[11]。但是，上述數(shù)據(jù)增強方法僅能擴充數(shù)據(jù)的數(shù)量，無法增強待檢測目標場景豐富度，反而會導致模型過擬合問題。針對該問題，本研究提出一種聯(lián)合Mosaic與Copy-Pasting策略的數(shù)據(jù)增強方法。其中Mosaic數(shù)據(jù)增強策略受CutMix數(shù)據(jù)增強[12]方法啟發(fā)，首先從已標注缺陷區(qū)域的軸承端面表面缺陷數(shù)據(jù)集中隨機讀取4張圖像Im1、Im2、Im3、Im4；然后，對取出的 4 張圖像進行翻轉(zhuǎn)、縮放以及色域變換等初步數(shù)據(jù)增強操作，并將增強后圖像分別置于4個只具有灰色背景的圖像Imnew1、Imnew2、Imnew3、Imnew4上，其中 Im1置于Imnew1左上角，Im2置于 Imnew2右上角，Im3置于Imnew3左下角，Im4置于Imnew4右下角；最后，利用矩陣方式將 4張圖像從 Imnew1、Imnew2、Imnew3、Imnew4上截取下來，并將它們拼接成一張新圖像。此時，相對于原始數(shù)據(jù)有效豐富了圖像背景，并且圖像的拼接也在一定程度提高了批尺寸。圖1展示了Mosaic數(shù)據(jù)增強策略基本流程。

圖1 Mosaic 數(shù)據(jù)增強Fig.1 Mosaic data augmentation

雖然，通過利用Mosaic數(shù)據(jù)增強策略可以豐富圖像背景，但是缺陷數(shù)量并未大幅增加，仍然無法為模型訓練提供充足缺陷樣本。針對該問題，本研究在Mosaic數(shù)據(jù)增強策略基礎上聯(lián)合Copy-Pasting策略，提出一種聯(lián)合Mosaic與Copy-Pasting策略的數(shù)據(jù)增強方法，以擴充缺陷樣本數(shù)據(jù)量進而滿足模型訓練集需求。Copy-Pasting策略由Ghiasi等[13]提出用于實例分割技術(shù)中的數(shù)據(jù)增強，首先，該方法隨機選擇2張標簽圖像，通過隨機尺度抖動、縮放、水平翻轉(zhuǎn)等操作進行初步數(shù)據(jù)增強。然后，再任意選擇一張圖像中的待檢測目標粘貼在另一幅圖像中任意位置。

受該方法啟發(fā)，首先從經(jīng)Mosaic數(shù)據(jù)增強后圖像中提取待檢測缺陷，然后利用Copy-Pasting策略將提取的缺陷粘貼在當前圖像的任意位置，并執(zhí)行多次粘貼操作，以增加缺陷在圖像上的數(shù)量，進而擴充訓練數(shù)據(jù)集數(shù)量。圖2展示了聯(lián)合Mosaic與Copy-Pasting策略的數(shù)據(jù)增強方法基本流程及增強效果。從圖中可以看出，該數(shù)據(jù)增強策略可以在豐富圖像背景的同時顯著提高缺陷樣本數(shù)量。

圖2 聯(lián)合 Mosaic 與 Copy-Pasting 策略的數(shù)據(jù)增強方法Fig.2 Data augmentation method combining Mosaic and Copy-Pasting strategies

2 基于YoLov5的軸承端面表面缺陷檢測模型

YoLov5檢測模型是YoLo目標檢測系列算法中當前精度和可靠性均表現(xiàn)最佳的目標檢測算法[14]，針對不同類型的目標均能取得較好的檢測效果。根據(jù)模型網(wǎng)絡深度與寬度的不同，YoLov5目標檢測模型又可以細分為YoLov5s、YoLov5m、YoLov5l以及YoLov5x等4個版本。由于本研究方法主要針對工業(yè)生產(chǎn)制造中軸承端面表面缺陷檢測，在考慮計算精度的同時需要兼顧計算速度。因此，使用YoLov5s作為主干檢測網(wǎng)絡模型，其中YoLv5網(wǎng)絡模型架構(gòu)如圖3所示。

從圖3可以看出，YoLov5模型主要由3個部分組成，分別為用于特征提取的骨干網(wǎng)絡部分、特征融合部分（頸部網(wǎng)絡部分）及目標檢測部分。其中，BCSP模塊具體構(gòu)成如圖4所示，BN表示批正則，add表示加法特征融合，Concat表示圖像特征以串聯(lián)方式融合，HardSwish與Leaky Relu均為激活函數(shù)。BCSP模塊主要用于多級特征融合以避免由于網(wǎng)絡深度的增加而造成的特征損失。SPP模塊即空間金字塔池化模塊，本研究通過使用不同核尺寸和步長的池化操作捕獲不同尺度的圖像特征，再通過串聯(lián)方法實現(xiàn)特征的疊加融合。

圖3 YoLov5 目標檢測模型Fig.3 YoLov5 target detection model

圖4 BCSP 模塊Fig.4 BCSP module

本研究中，首先對550×550×3通道的軸承端面表面缺陷樣本使用聯(lián)合Mosaic與Copy-Pasting策略進行數(shù)據(jù)增強。然后，將經(jīng)數(shù)據(jù)增強的圖像輸入Focus模塊，在Focus模塊中對輸入圖像進行切片，即將輸入圖像分割成n×n網(wǎng)格并使用32個卷積核進行特征提取。隨后經(jīng)過4次相同卷積、池化和下采樣步驟完成對輸入圖像的特征提取。在提取圖像特征后，利用特征金字塔[15]和感知對抗網(wǎng)絡[16]實現(xiàn)自上而下的骨干網(wǎng)絡特征融合，以獲取更加豐富且充分可靠的特征信息。同時，為了兼顧小缺陷檢測，在特征融合部分將輸出3個尺度的特征圖，分別為 80×80、40×40、20×20 的特征圖，它們分別用于檢測小、中、大3類缺陷。對于每個圖像切片，將對應預測出3個預測框，每個預測框由左上角和右下角坐標以及含有缺陷的置信度組成，置信度由該預測框含有目標的概率大小和該預測框的定位準確度組成。當該預測框是背景時（即不包含目標），記為Pr(obj)=0，當該預測框包含目標時，記為Pr(obj)=1，通過該方法可以檢測出當前圖像切片中是否存在缺陷。預測框的準確度用預測框與真實框的 IOU（Intersection over union，交并比）表征。當IOU越大，說明預測框與真實框重合度越高，即預測框越準確。為了消除重復預測框和無效預測框，本研究通過利用非極大值抑制方法對冗余預測框進行剔除，保留置信度最高的預測框信息，進而完成缺陷檢測過程。非極大值抑制方法首先根據(jù)每個預測邊界框的置信度得分進行排序，然后選擇置信度最高的預測邊界框增加到最終輸出列表中，并將其從預測邊界框列表中刪除。接著，計算所有預測邊界框的面積。同時，計算置信度最高的邊界框與其他預測邊界框的IOU并刪除IOU大于閾值的邊界框。最后，重復上述過程，直至預測邊界框列表為空，通過該方法可以有效去除冗余預測邊界框。在得到最終所需的預測框后，利用預測框的左上角、右下角坐標以及中心點坐標值即可準確定位缺陷所在位置。

為了使該方法模型訓練更加充分，模型損失函數(shù)首先利用IOU指標[17]構(gòu)建目標框與預測框位置損失CIOU_Loss，然后，用FocalLoss評價指標構(gòu)建目標框與預測框類別損失和置信度損失Focall_Loss，計算公式為：

式(1)中：IOU表示預測框與真實框之間的交并比；A表示預測框；B表示真實框；Dis_C表示待檢測目標最小外接矩形對角線距離；Dis_2表示待檢測目標真實框與預測框中心點歐式距離；v為衡量長寬比一致性參數(shù)，可由式(3)計算得到，其中wgt，hgt表示真實框?qū)挾扰c高度，wp，hp表示預測框?qū)挾扰c高度。式(2)中，pt表示預測樣本概率，γ為常數(shù)參數(shù)。

3 實驗與分析

3.1 實驗誤差指標

采用精度(Precision)、漏檢率(Missed detection rate)和誤檢率 (False detection rate)作為檢測誤差量化指標[18]，計算公式為：

式中：P表示測試數(shù)據(jù)集中真實正樣本個數(shù)，N表示測試數(shù)據(jù)集中真實負樣本個數(shù)，TP表示正樣本中預測為正樣本的個數(shù)，F(xiàn)P表示負樣本中預測為正樣本個數(shù)，F(xiàn)N表示樣本為真實正樣本但是預測為負樣本個數(shù)，PT表示預測為正樣本個數(shù)，PN表示預測為負樣本個數(shù)，Missp表示正樣本漏檢率，MissN表示負樣本漏檢率，F(xiàn)alsep表示正樣本誤檢率，F(xiàn)alseN表示負樣本誤檢率。

3.2 網(wǎng)絡訓練

采用的實驗數(shù)據(jù)來源于軸承生產(chǎn)制造企業(yè)日常采集的軸承端面表面缺陷數(shù)據(jù)集。該數(shù)據(jù)集共包含1069張軸承端面表面圖像，其中包含缺陷的負樣本720張，合格樣本249張。負樣本中軸承端面表面至少包含一處缺陷，軸承端面表面缺陷數(shù)據(jù)樣本如圖5所示，其中NG表示包含缺陷的負樣本，OK表示合格正樣本。由于數(shù)據(jù)樣本較少尚不滿足模型訓練需求，首先通過使用聯(lián)合Mosaic與Copy-Pasting策略的數(shù)據(jù)增強方法將數(shù)據(jù)集樣本數(shù)量由原來的1069張擴充為3270張。在實際訓練中，隨機取樣抽取300張圖像作為測試集，測試集中包含缺陷的負樣本200張，正樣本100張，剩余2970張作為訓練集，在訓練之前，本研究模型超參數(shù)配置如下：初始學習率lr=0.01，動量momentum=0.920，權(quán)重衰減weight_decay=0.0005，優(yōu)化器optimizer采用隨機梯度下降法SGD，訓練次數(shù)設置為500個epochs。

圖5 軸承端面表面缺陷數(shù)據(jù)樣本Fig.5 Samples of surface defect on bearing end surface

3.3 實驗分析

當模型訓練完成后，使用事先抽取的300張圖像作為測試集，對模型檢測效果進行測試，表1展示了軸承端面表面缺陷檢測結(jié)果。從表中結(jié)果可以看出，正樣本和負樣本中漏檢率分別為5%、7.5%，說明該方法存在較低的漏檢率。雖然正樣本誤檢率相對負樣本誤檢率較高，但在工業(yè)生產(chǎn)環(huán)境中，可以允許少數(shù)合格品誤判為不合格品，而對不合格品誤判為合格品的容忍度較低，而本研究方法負樣本誤檢率僅為2.6%，也側(cè)面反映其具有較高的檢測精度。此外，在總的精確度指標上，本研究方法也實現(xiàn)了94.7%的檢測精度，進一步說明該軸承端面表面缺陷檢測方法具有較高的檢測精度。

表1 軸承端面表面缺陷檢測結(jié)果Table 1 Test results of surface defects on bearing end surfaces

圖6為利用本研究方法檢測軸承端面表面缺陷的效果，其中藍色框表示檢測出的缺陷所在位置。從圖中可以看出，該方法可以準確地檢測出軸承端面表面缺陷，特別是針對面積較小的缺陷也具有較高的檢測精度。

圖6 檢測結(jié)果Fig.6 Test results

4 結(jié)論

1）提出一種基于YoLov5的軸承端面表面缺陷檢測算法。先提出一種聯(lián)合Mosaic與Copy-Pasting策略的數(shù)據(jù)增強方法克服了軸承端面表面缺陷數(shù)據(jù)樣本不足問題，然后基于YoLov5檢測模型構(gòu)建基于YoLov5的軸承端面表面缺陷檢測模型，實現(xiàn)了軸承端面表面缺陷檢測。

2）軸承端面表面缺陷測試實驗的檢測精度為94.7%，證明本方法具有較高的檢測精度。