焦俊祥，金若男，李慧姝，方 武

（蘇州經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院信息技術(shù)學(xué)院，蘇州 215009）

0 引言

目前，已有學(xué)者開展了工具表面缺陷檢測(cè)的相關(guān)研究，研究中針對(duì)不同的應(yīng)用場(chǎng)景使用了不同的技術(shù)，例如：磁粉探傷、滲透探傷、渦流檢測(cè)、超聲波檢測(cè)和基于深度學(xué)習(xí)算法的機(jī)器視覺等技術(shù)。近年來，隨著深度學(xué)習(xí)各種算法的發(fā)展，很多新的目標(biāo)檢測(cè)模型被提出，其中一些模型由于獨(dú)特的設(shè)計(jì)和出色的性能被廣泛應(yīng)用在各個(gè)領(lǐng)域，例如Faster R-CNN 算法、R-FCN 算法和SSD 算法等，但這些算法的性能提升主要依賴于大型數(shù)據(jù)集和前期樣本標(biāo)注，對(duì)于工具表面的缺陷識(shí)別不太友好。本文使用的是基于深度學(xué)習(xí)的機(jī)器視覺方法，該方法在工業(yè)應(yīng)用中包括三個(gè)主要環(huán)節(jié):數(shù)據(jù)標(biāo)注、模型訓(xùn)練與模型推斷，使用的算法為YOLOv5網(wǎng)絡(luò)算法，YOLOv5單階段目標(biāo)檢測(cè)算法，該算法的優(yōu)勢(shì)主要有兩點(diǎn)：①在輸入端完成了數(shù)據(jù)增強(qiáng)，因此對(duì)訓(xùn)練數(shù)據(jù)集的要求不會(huì)太過苛刻；②該算法模型在硬件上部署方便，對(duì)于表面缺陷檢測(cè)有較強(qiáng)的適應(yīng)性與實(shí)用性。通過使用公開的數(shù)據(jù)集NEU-DET 數(shù)據(jù)集與YOLOv5 訓(xùn)練出來的模型，可以準(zhǔn)確識(shí)別表面的各種缺陷，如劃痕、凹坑等，如圖1所示，該實(shí)驗(yàn)結(jié)果充分證明了基于深度學(xué)習(xí)的缺陷檢測(cè)方法在工業(yè)中的可行性。

圖1 使用NEU-DET數(shù)據(jù)集和YOLOv5網(wǎng)絡(luò)算法對(duì)工具表面缺陷進(jìn)行識(shí)別

1 研究進(jìn)展

目前，國(guó)內(nèi)針對(duì)不同場(chǎng)景下的表面缺陷檢測(cè)的方法有許多種，例如：王攀峰等［1］提出的Q355B鋼板截面磁粉探傷；王赫等［2］通過熒光滲透探傷測(cè)量裂紋長(zhǎng)度；周慶祥等［3］使用以常規(guī)渦流檢測(cè)為基礎(chǔ)的多通道渦流檢測(cè)技術(shù)，該技術(shù)憑借檢測(cè)靈敏度高、檢測(cè)范圍大等優(yōu)勢(shì)廣泛應(yīng)用于金屬構(gòu)件的檢測(cè)；孫賀斌等［4］通過超聲波檢測(cè)結(jié)合鋁合金焊縫聲學(xué)特征驗(yàn)證了超聲波檢測(cè)技術(shù)在鋁合金焊縫缺陷方面的實(shí)用價(jià)值；崔國(guó)寧等［5］通過卷積神經(jīng)網(wǎng)絡(luò)使用機(jī)器視覺技術(shù)實(shí)現(xiàn)了對(duì)輸油管道缺陷尺寸的智能識(shí)別；路生亮等［6］通過改進(jìn) Faster R-CNN 算法，解決了對(duì)熱軋鋼板表面小目標(biāo)識(shí)別精度差的問題，使其檢測(cè)速度與識(shí)別精度有了很好的提升；耿朝暉等［7］改進(jìn)Faster R-CNN 算法，提高了PCB板缺陷檢測(cè)的效率，在增強(qiáng)后的數(shù)據(jù)集上面取得了96.65% 的 mAP 值；楚雅璐等［8］改進(jìn) SSD 算法，解決了因形變引起的服裝圖像識(shí)別準(zhǔn)確率低的問題，與原SSD 模型相比其平均預(yù)測(cè)精度mAP值提升可達(dá)3.63%；楊耀［9］認(rèn)為可以采用機(jī)器視覺技術(shù)來完成裂紋磁痕判別,通過改進(jìn)Mobile Net V3 模型實(shí)現(xiàn)對(duì)裂紋磁痕的識(shí)別，查全率96.5%，查準(zhǔn)率91.7%，平均單圖識(shí)別速度1.7 s；易文淵［10］使用一種改進(jìn)的Canny 邊緣檢測(cè)算法來提取缺陷圖像，并設(shè)計(jì)了一種基于UNET 和ResNet 的二階段深度學(xué)習(xí)網(wǎng)絡(luò)算法來檢測(cè)軸承部件外壁缺陷；葛釗明等［11］改進(jìn)YOLOv5 的特征檢測(cè)算法，引入卷積注意力模塊并改進(jìn)了損失函數(shù),在檢測(cè)速度不變的情況下，改進(jìn)后的模型在測(cè)試集上的mAP 提高了1.2%，召回率提高1.5%；李衍照等［12］提出一種Mosaic+Mixup的數(shù)據(jù)集增強(qiáng)方法，引入輕量型的GhostNet 網(wǎng)絡(luò)代替YOLOv5主干網(wǎng)絡(luò)中CSP1模塊中的殘差模塊，改進(jìn)的YOLOv5的平均精度均值（mAP）達(dá)到96.88%，單張圖片檢測(cè)時(shí)間不超過50 毫秒。高慧芳等［13］提出一種基于DCGAN 與YOLOv5s的缺陷識(shí)別方法，設(shè)計(jì)了深度卷積生成對(duì)抗網(wǎng)絡(luò)（DCGAN）擴(kuò)充缺陷數(shù)據(jù)集，并優(yōu)化了YOLOv5s 網(wǎng)絡(luò)的C3 模塊，優(yōu)化后YOLOv5s 算法的mAP 值、精確率、召回率分別提高到85.4%、85.2%、83%。

2 YOLOv5

2.1 數(shù)據(jù)集

YOLOv5的數(shù)據(jù)集包含有六種典型工具的表面缺陷，如圖2 所示，即軋制氧化皮（RS）、斑塊（Pa）、開裂（Cr）、點(diǎn)蝕表面（PS）、內(nèi)含物（In）和劃痕（Sc）。該數(shù)據(jù)庫包括1800 個(gè)灰度圖像：六種不同類型的典型工具表面缺陷，每一類缺陷包含300個(gè)樣本。對(duì)于缺陷檢測(cè)任務(wù)，數(shù)據(jù)集包含了注釋，指示每個(gè)圖像中缺陷的類別和位置。如圖3所示，對(duì)于每個(gè)缺陷，黃色框是指示其位置的邊框，綠色標(biāo)簽是類別分?jǐn)?shù)。

圖2 數(shù)據(jù)集中的六種典型工具表面缺陷

圖3 數(shù)據(jù)集對(duì)六種典型缺陷的標(biāo)注

2.2 YYOOLLOOvv5單階段目標(biāo)檢測(cè)算法

現(xiàn)階段目標(biāo)識(shí)別的主流算法有：R-CNN、YOLO、SDD 等，其中YOLO 算法主要應(yīng)用于快速目標(biāo)檢測(cè)，如自動(dòng)駕駛、無人車等這類需要快速對(duì)所獲得的圖像和視頻進(jìn)行識(shí)別并且反饋，以供控制系統(tǒng)做出迅速響應(yīng)的場(chǎng)景。YOLO采用一步到位的方式，即輸入整個(gè)圖片，直接輸出為目標(biāo)識(shí)別的區(qū)域和目標(biāo)類型。為了降低訓(xùn)練好的預(yù)測(cè)模型在硬件上的部署難度，并且考慮實(shí)際應(yīng)用中環(huán)境因素的多樣性，這里采用了YOLOv5 算法，使用的預(yù)訓(xùn)練模型為由YOLOv5官方提供的 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，這四種網(wǎng)絡(luò)結(jié)構(gòu)在COCO數(shù)據(jù)集下的性能各有優(yōu)劣：YOLOv5s 網(wǎng)絡(luò)最小，速度最快，AP 精度也最低。另外三種網(wǎng)絡(luò)算法比YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，AP 精度提升，但計(jì)算速度也越來越慢，如圖4所示。

圖4 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5m預(yù)訓(xùn)練模型在COCO數(shù)據(jù)集的性能表現(xiàn)

YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)主要分為四個(gè)部分：輸入端、Backbone（主干網(wǎng)絡(luò)）、Neck 網(wǎng)絡(luò)和Prediction（輸出端）。

（1）YOLOv5 在輸入端進(jìn)行了Mosaic 數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放。

（2）YOLOv5 在 Backbone 里面有兩個(gè)結(jié)構(gòu)，分別為Focus 結(jié)構(gòu)與CSP 結(jié)構(gòu)，其中Focus 里最重要的是切片操作，而CSP 結(jié)構(gòu)相較于YOLOv4版本主要是設(shè)計(jì)了兩種CSP 結(jié)構(gòu)，以YOLOv5s網(wǎng)絡(luò)為例，CSP1_X 結(jié)構(gòu)應(yīng)用于Backbone 主干網(wǎng)絡(luò)，另一種CSP2_X結(jié)構(gòu)則應(yīng)用于Neck中。

（3）YOLOv5 在 Neck 里采用了 FPN+PAN 結(jié)構(gòu)，相較于YOLOv4 的Neck 中采用的都是普通的卷積操作，YOLOv5 的Neck 結(jié)構(gòu)中采用借鑒CSPNet設(shè)計(jì)的CSP2_X結(jié)構(gòu)，加強(qiáng)網(wǎng)絡(luò)特征融合的能力。

（4）YOLOv5 在Prediction（輸出端）進(jìn)行的操作有：Bounding box 損失函數(shù)、nms 非極大值抑制。其中，nms 非極大值抑制是在原有的CIOU_Loss 基礎(chǔ)上添加了DIOU_nms，主要作用是對(duì)一定區(qū)域內(nèi)多個(gè)被重疊遮擋的目標(biāo)進(jìn)行檢測(cè)，CIOU_Loss 作為目標(biāo)Bounding box 損失函數(shù)，計(jì)算過程如式（1）、式（2）所示：

2.3 建立數(shù)據(jù)集并使用YYOOLLOOvv5進(jìn)行模型訓(xùn)練

數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)注軟件使用labelimg庫對(duì)圖片中的目標(biāo)位置進(jìn)行人工標(biāo)注，可以得到一個(gè)包含有圖片的標(biāo)簽、標(biāo)注框的中心坐標(biāo)、標(biāo)注框的相對(duì)寬與高信息的標(biāo)簽文件:“.txt”（如圖5 所示）。將原始圖片數(shù)據(jù)和人工標(biāo)注的標(biāo)簽共同作為原始數(shù)據(jù)集，包含訓(xùn)練集、驗(yàn)證集和測(cè)試集。通過官網(wǎng)下載預(yù)訓(xùn)練模型YOLOv5s.pt 對(duì)本地?cái)?shù)據(jù)集進(jìn)行訓(xùn)練，訓(xùn)練中通過更改Weights、cfg、data、epochs、batch-size 等一系列變量針對(duì)不同訓(xùn)練集和驗(yàn)證集中的目標(biāo)類別數(shù)目、識(shí)別目標(biāo)名稱進(jìn)行訓(xùn)練，最終得到兩個(gè)模型文件：best.pt與last.pt，獲得了模型文件的可視化數(shù)據(jù)：識(shí)別目標(biāo)的類別和數(shù)目、模型的深度、模型的寬度、anchors、Backbone、head。

圖5 對(duì)目標(biāo)缺陷在labelimg庫中使用的人工標(biāo)注方式示意圖

3 模型性能評(píng)估

首先計(jì)算了訓(xùn)練后模型的混淆矩陣，如圖6所示，這個(gè)矩陣可以方便地看出機(jī)器是否將兩個(gè)不同的類混淆了（比如說把一個(gè)類錯(cuò)當(dāng)成了另一個(gè)）。

圖6 模型的混淆矩陣

進(jìn)一步地，對(duì)訓(xùn)練后的模型預(yù)測(cè)單一類的準(zhǔn)確率P_curve 進(jìn)行了計(jì)算，如圖7（a）所示。當(dāng)confidence 越大的時(shí)候，類別檢測(cè)越準(zhǔn)確。對(duì)召回率（查全率）和置信度之間的關(guān)系R_curve 進(jìn)行了計(jì)算，結(jié)果顯示置信度越小時(shí)，類別檢測(cè)得越全面，如圖7（c）所示。還計(jì)算了訓(xùn)練后模型的均值平均精度PR_curve，結(jié)果顯示精度越高，召回率越低，如圖7（b）所示。所以只有曲線盡可能的地接近（1，1）點(diǎn)，才可以在準(zhǔn)確率很高的前提下，盡可能檢測(cè)到全部的類別。本文還計(jì)算了模型的F1_curve，F(xiàn)1-score 是分類問題的一個(gè)衡量指標(biāo)。F1-Score 的值從0 到1，1 是最好，0是最差。模型評(píng)估結(jié)果如圖7（d）所示。

圖7 模型的P曲線、R曲線、PR曲線和F1分?jǐn)?shù)曲線

接著分析了模型的數(shù)據(jù)指標(biāo)，如圖8 所示，其中，train/box_loss：預(yù)測(cè)框與真實(shí)框的損失函數(shù)，值越小預(yù)測(cè)框的準(zhǔn)確率越高；train/obj_loss：目標(biāo)檢測(cè)損失，值越小目標(biāo)檢測(cè)越準(zhǔn)；train/cls_loss：分類損失均值，值越小分類越準(zhǔn)；metrics/precision：精度（找對(duì)的正類/所有找到的正類）；metrics/recall：召回率，本應(yīng)該被找對(duì)的正類；val/box_loss：驗(yàn)證集邊緣損失；val/obj_loss：驗(yàn)證集目標(biāo)檢測(cè)損失均值；val/cls_loss：驗(yàn)證集分類損失均值；metrics/mAP@0.5:0.95（mAP@［0.5:0.95］）表示在不同 IoU 閾值（從 0.5 到0.95，步長(zhǎng) 0.05）（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）上的平均 mAP；metrics/mAP@0.5：表示閾值大于0.5 的平均mAP，該指標(biāo)為PR 曲線的面積，代表模型的平均準(zhǔn)確率，mAP越高越好。

圖8 模型的性能指標(biāo)

在訓(xùn)練時(shí)設(shè)置的batch-size=4，即每4張圖片拼成一張照片送進(jìn)YOLOv5中訓(xùn)練。這里的圖片一共12 張，如圖9 所示。使用訓(xùn)練好的模型進(jìn)行了測(cè)試，如圖10所示，val_batchX_labels為驗(yàn)證集第x輪的實(shí)際標(biāo)簽，即：由人工標(biāo)注過的圖片信息。val_batchX_pred 為模型對(duì)val 驗(yàn)證集第x輪里的圖片類別的標(biāo)簽的預(yù)測(cè)。

圖9 模型訓(xùn)練

圖10 模型測(cè)試

4 模型在硬件下的使用

選用的硬件平臺(tái)是jetson nano 4 GB 版本，首先在jetson 官網(wǎng)下載它的操作系統(tǒng)并將其寫入SD 卡中，插入jetson，啟動(dòng)開機(jī)。配置環(huán)境方面，需要更新CMake、PyTorch庫、torchvision庫以及一些YOLOv5運(yùn)行時(shí)的依賴庫，再將訓(xùn)練好的YOLOv5模型加載過來，進(jìn)入detect.py文件修改parse_opt 函數(shù)的weights 與source，分別為生成的模型文件的路徑與推理方式，在YOLOv5里面通過了三種模型的推理方式，分別為圖片（default=文件路徑）、視頻（default=文件路徑）、攝像頭（default=0）。然后運(yùn)行detect.py就可以在jetson 平臺(tái)上使用模型了。這里選擇的是攝像頭識(shí)別的方式，分別對(duì)兩種操作工作進(jìn)行缺陷檢測(cè)，結(jié)果顯示均能識(shí)別出表面缺陷種類：scratches（劃痕），如圖11所示。

圖11 模型對(duì)兩種不同工具進(jìn)行缺陷檢測(cè)結(jié)果

5 結(jié)語

相較于其他的工具表面缺陷檢測(cè)技術(shù)，本文提出了一種基于YOLOv5的工具表面缺陷檢測(cè)算法。實(shí)驗(yàn)證明，通過YOLOv5的深度學(xué)習(xí)算法對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練得出的預(yù)測(cè)模型，搭載在硬件上可用于操作工具的表面缺陷檢測(cè)。