張昕楠,李 穎,郝涌汀,付靖凱,于 鵬

(沈陽(yáng)理工大學(xué)機(jī)械工程學(xué)院,沈陽(yáng) 110159)

0 引言

金屬軸類是機(jī)械設(shè)備的基礎(chǔ)零部件,用于轉(zhuǎn)矩傳動(dòng)和承受載荷。在制造過(guò)程中,由于鋼坯原材料、加工方式、工藝流程等的改變,軸類零部件的表面不可避免地產(chǎn)生各類缺陷,這些缺陷將直接影響到其他機(jī)械設(shè)備的日常工業(yè)運(yùn)轉(zhuǎn)和安全生產(chǎn)管理。傳統(tǒng)的檢測(cè)技術(shù),如使用熒光磁粉進(jìn)行檢查,既費(fèi)時(shí)費(fèi)力,又容易出現(xiàn)誤檢、漏檢等嚴(yán)重的錯(cuò)誤。隨著基于圖像信息的缺陷檢測(cè)分析方法的發(fā)展,MENTOURI等[1]開(kāi)發(fā)出一種利用二值化的統(tǒng)計(jì)圖像特征,結(jié)合k最近鄰分類器的缺陷檢測(cè)分析方法,可以更準(zhǔn)確地發(fā)現(xiàn)熱軋過(guò)程中的鋼帶表面的缺陷。SAYED[2]提出了一個(gè)全新的紡織領(lǐng)域面料瑕疵點(diǎn)檢測(cè)方法,采用了熵濾波和最小誤差閾值分割的技術(shù),可以更加精細(xì)地識(shí)別出紡織物瑕疵點(diǎn)。LI等[3]通過(guò)對(duì)卷煙標(biāo)簽數(shù)據(jù)圖像的采集與標(biāo)注,并完成相關(guān)檢測(cè)實(shí)驗(yàn),提出了將最小外接矩形應(yīng)用于缺陷形狀的方案,該方案應(yīng)用性較廣和檢測(cè)準(zhǔn)確性良好。ZHANG等[4]利用小波多尺度分析技術(shù),提出了一種對(duì)多紋理車輪胎圖像的缺陷測(cè)試方法,該方法通過(guò)應(yīng)用缺陷邊界檢測(cè)模型,可以有效區(qū)分缺陷與背景紋理并達(dá)到實(shí)時(shí)檢測(cè)的目的。URBONAS等[5]提出一種使用快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region-convolutional neural network,faster R-CNN)對(duì)木材表面缺陷進(jìn)行定位和分類檢測(cè)系統(tǒng),使木板材表面缺陷準(zhǔn)確率達(dá)到96.1%,驗(yàn)證了深度學(xué)習(xí)算法可以應(yīng)用于實(shí)木板材缺陷檢測(cè)中的可行性。SHI等[6]使用多通道掩碼和掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)對(duì)缺陷進(jìn)行了分類和確定,分類精度超過(guò)0.987,極大提高了缺陷定位的速度和準(zhǔn)確性。方葉祥等[7]在金屬表面的缺陷研究中使用了改進(jìn)的YOLOv3算法,主要改進(jìn)包括使用直方圖均衡化對(duì)圖像進(jìn)行預(yù)處理﹐使用數(shù)據(jù)增強(qiáng)方法模擬現(xiàn)實(shí)工作環(huán)境以及優(yōu)化損失函數(shù)來(lái)提高模型對(duì)表面缺陷分類的準(zhǔn)確性。劉洋[8]為了提高金屬表面瑕疵檢測(cè)的速度,提出了基于Tiny-YOLOv3的R-Tiny-YOLOv3算法,該算法加入了殘差網(wǎng)絡(luò)以及空間金字塔池化SPP模塊最后選擇CIOU作為損失函數(shù),該算法對(duì)金屬表面瑕疵檢測(cè)精度達(dá)到71.5%,檢測(cè)速度達(dá)到39.8 fps,能夠滿足金屬工件的實(shí)時(shí)檢測(cè)需求。

以上研究以不同的方式改進(jìn)了每種缺陷檢測(cè)模型的性能,但是針對(duì)金屬軸件表面獨(dú)特的缺陷缺乏針對(duì)性的處理,特別是軸件表面小目標(biāo)缺陷以及多目標(biāo)缺陷和不完整軸件的識(shí)別和處理能力不足,這導(dǎo)致了缺陷檢測(cè)精度低和識(shí)別種類不全面,整體檢測(cè)模型不理想。針對(duì)以上問(wèn)題,本文提出了一種基于改進(jìn)YOLOv5的目標(biāo)軸件表面缺陷的檢測(cè)算法,本實(shí)驗(yàn)首先將采集到的目標(biāo)軸件數(shù)據(jù)圖像進(jìn)行數(shù)據(jù)增強(qiáng)與擴(kuò)容,使用labelimg工具分類標(biāo)注,再將標(biāo)注好的數(shù)據(jù)圖像導(dǎo)入到已經(jīng)優(yōu)化完成的YOLOv5的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,獲取訓(xùn)練完成后的的權(quán)重?cái)?shù)據(jù)模型,最后采集需要檢測(cè)的目標(biāo)軸件圖像,并進(jìn)行預(yù)測(cè)與分析。

1 數(shù)據(jù)預(yù)處理

1.1 圖像數(shù)據(jù)集獲取

在生產(chǎn)過(guò)程中,由于原材料缺陷、加工方式錯(cuò)誤、加工人員操作不當(dāng)?shù)葐?wèn)題,生產(chǎn)完成的軸件會(huì)產(chǎn)生表面缺陷的問(wèn)題,常見(jiàn)表面缺陷有劃痕、凹坑、擦傷3種。同時(shí)為解決工業(yè)生產(chǎn)中同時(shí)檢測(cè)多目標(biāo)缺陷軸件與不完整軸件漏檢與檢測(cè)精度低。本文選用實(shí)驗(yàn)軸件為12.5*71三段階梯軸、8*25二段階梯軸、8*20單頭牙軸、6*30雙頭牙軸。使用圖像采集裝置采集標(biāo)準(zhǔn)正常軸件、部分遮擋的正常軸件、具有劃痕缺陷的軸件、具有凹坑缺陷的軸件、具有擦傷缺陷的軸件和具有多種缺陷軸件的圖像,如圖1所示。

圖1 缺陷軸件圖像

圖像采集設(shè)備如表1所示。根據(jù)軸件缺陷檢測(cè)的要求,本文共采集了2417張軸件的原始圖像。

表1 采集設(shè)備

1.2 數(shù)據(jù)增強(qiáng)處理

工業(yè)CCD相機(jī)采集得到的軸件數(shù)據(jù)集圖像分辨率較高,而被檢測(cè)軸件的尺寸卻遠(yuǎn)小于原始圖像,因此本文中采用了切圖的方法來(lái)處理原圖,將圖像裁切為640*640的尺寸,并將裁切后的圖像準(zhǔn)確定位在缺陷特征的中心。為了深度學(xué)習(xí)的準(zhǔn)確性,還需要對(duì)收集到的原始數(shù)據(jù)圖像進(jìn)行多種增強(qiáng)處理,擴(kuò)展數(shù)據(jù)集,增強(qiáng)模型的泛化能力[9]。其中擴(kuò)容操作包括上下翻轉(zhuǎn)、左右翻轉(zhuǎn)、灰度處理、增強(qiáng)對(duì)比度和增大噪聲,以便更好地訓(xùn)練模型,并將這些處理后的軸件數(shù)據(jù)圖像加入到數(shù)據(jù)集中,經(jīng)過(guò)不同處理后的圖像如圖2所示。經(jīng)過(guò)切圖與數(shù)據(jù)增強(qiáng)處理后的,最終獲得6557張軸件樣本數(shù)據(jù)。

圖2 數(shù)據(jù)增強(qiáng)后的圖像

1.3 數(shù)據(jù)標(biāo)注

在開(kāi)始訓(xùn)練YOLOv5模型前,必須對(duì)收集到的數(shù)據(jù)圖像類型進(jìn)行標(biāo)注,本文使用labelimg軟件作為數(shù)據(jù)集類別標(biāo)注工具,其中包括4種標(biāo)注類別,如圖3所示。分別是軸體,類別為0,標(biāo)簽為axle;劃痕缺陷類別為1,標(biāo)簽scratch;凹坑缺陷類別為2,標(biāo)簽為pit;擦傷缺陷類別為3,標(biāo)簽為bruise。通過(guò)labelimg標(biāo)注后,可以獲得VOC(xml格式)的標(biāo)注集,但YOLOv5模型訓(xùn)練必須通過(guò)代碼將VOC(xml格式)文件格式轉(zhuǎn)化為yolo(txt格式)文件格式,并且文件名與圖片名需完全一致。并利用代碼對(duì)經(jīng)過(guò)標(biāo)記的圖像集進(jìn)行隨機(jī)的分類與劃分,將80%的標(biāo)注圖像作為訓(xùn)練集,剩余20%的標(biāo)注圖像則作為測(cè)試集。

圖3 標(biāo)注類別

2 改進(jìn)的YOLOv5網(wǎng)絡(luò)模型

2.1 YOLOv5的網(wǎng)絡(luò)模型介紹

YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)分為Input、Backbone、Neck和Prediction四部分[10]。其網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4所示。

圖4 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

Input端包含Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖片縮放。Mosaic技術(shù)可以實(shí)現(xiàn)對(duì)4張圖像的快速、準(zhǔn)確的分割、精確的編碼,極大地豐富了數(shù)據(jù)集樣本﹐從而提升網(wǎng)絡(luò)魯棒性。YOLOv3、YOLOv4中模擬訓(xùn)練多個(gè)的數(shù)據(jù)集時(shí),僅依靠一個(gè)單獨(dú)的程序預(yù)測(cè)計(jì)算初始錨框的值。而YOLOv5則把預(yù)測(cè)計(jì)算原有錨框的任務(wù)融合到代碼編譯中,以便在模擬訓(xùn)練多個(gè)訓(xùn)練集的情況下,實(shí)現(xiàn)獲得最佳錨框值。自適應(yīng)圖片能夠根據(jù)實(shí)際情況進(jìn)行調(diào)整縮放,有效地減少了推理時(shí)計(jì)算量,從而加快目標(biāo)檢測(cè)的速度與進(jìn)程。

Backbone模塊的基礎(chǔ)架構(gòu)由Focus與CSP架構(gòu)組成[11]。分辨率為640*640*3的原始圖像經(jīng)過(guò)Focus架構(gòu)的切片和卷積處理,便可獲得320*320*32的特征圖像(圖5)。CBL模塊一種很有效的卷積計(jì)算模型,CSP結(jié)構(gòu)能夠有效地從特征圖中提取出多種有用的信息。并且CSP結(jié)構(gòu)能夠避免梯度信息的重復(fù),其參量占據(jù)整個(gè)系統(tǒng)參量的絕大部分。YOLOv5將SPP模型改變到了Backbone模型中,擴(kuò)大感受野,以便更有效的捕獲各種尺度的特征。

圖5 切片操作

在NECK結(jié)構(gòu)部分中,YOLOv5網(wǎng)絡(luò)模型使用了Fpn+Pan結(jié)構(gòu),并采用了CSP二架構(gòu),從而達(dá)到提升網(wǎng)絡(luò)特征融合計(jì)算能力的目的。

Prediction還包含了Bounding box損失函數(shù)和NMS[12]。并且YOLOv5采用了GIoU_Loss損失值算法,利用非極大數(shù)抑制來(lái)減少多余的邊框,以便于確定出最終的物體檢測(cè)點(diǎn)。

2.2 增加小目標(biāo)檢測(cè)層

鑒于軸件表面缺陷的種類繁多且形態(tài)特征復(fù)雜,在檢測(cè)過(guò)程中常有小目標(biāo)缺陷被漏檢和錯(cuò)檢,原始的YOLOv5模型,因?yàn)樾∧繕?biāo)缺陷相對(duì)都會(huì)很小,而YOLOv5的特點(diǎn)之一是下采樣倍數(shù)較大,較深的特征圖在模型訓(xùn)練中往往很難學(xué)習(xí)到小目標(biāo)缺陷和不明顯缺陷的特征信息,所以小目標(biāo)缺陷檢測(cè)效果不佳。為了改善這一情況,因此提出增加小目標(biāo)檢測(cè)層,將較淺特征圖與深特征圖拼接后進(jìn)行檢測(cè)。加入小目標(biāo)檢測(cè)層,可以讓網(wǎng)絡(luò)更加關(guān)注小目標(biāo)的檢測(cè),以提高檢測(cè)的準(zhǔn)確性,同時(shí)增加小目標(biāo)檢測(cè)頭的錨框,如圖6所示。

圖6 檢測(cè)層對(duì)比圖

圖中,P5應(yīng)用于如輪廓、結(jié)構(gòu)等信息的深層特征圖,適用于大目標(biāo)的檢測(cè),這一特征圖所用錨框尺度較大;P3應(yīng)用于包含較多的低層級(jí)信息的淺層特征圖,適用于檢測(cè)小目標(biāo),錨框尺度較小;同理可得,P4則介于兩者尺度之間,應(yīng)用于檢測(cè)中等大小的目標(biāo);根據(jù)軸件表面缺陷的實(shí)際情況,新增加了應(yīng)用于解決圖像中更小的缺陷目標(biāo)檢測(cè)問(wèn)題的錨框。圖7為改進(jìn)后的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)。

圖7 改進(jìn)后的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

在本文的實(shí)驗(yàn)環(huán)境中,使用NVIDIA GeForce 1060 GPU進(jìn)行訓(xùn)練和測(cè)試,CUDA版本是11.3,Pytorch版本是1.10.0,Python版本是3.7.3,環(huán)境的詳細(xì)信息如表2所示。

表2 環(huán)境配置信息

3.2 實(shí)驗(yàn)相關(guān)的評(píng)價(jià)標(biāo)準(zhǔn)

IoU[13],又稱交并比,是一種衡量邊界框準(zhǔn)確性的重要度量指標(biāo),它反映了detection box(檢測(cè)框)與ground truth(真實(shí)標(biāo)簽)的交集和并集的比值,如圖8所示。實(shí)際運(yùn)算中根據(jù)IoU的大小判斷是否有效,一般當(dāng)IoU≥0.5時(shí)判斷正確。

圖8 交并比(IoU)

同時(shí),通過(guò)混淆矩陣(圖9)分析可知,可以根據(jù)預(yù)測(cè)的情況與實(shí)際結(jié)果組合將檢測(cè)結(jié)果劃分為4種不同的情況:

TP(true positive):根據(jù)模型中預(yù)測(cè)出的框,逐一的向該模型的標(biāo)注框求交并比,若該標(biāo)注框產(chǎn)生的最大交并比值超過(guò)了先前已經(jīng)設(shè)定好的最大交并比閾值,以及該檢測(cè)框?qū)?yīng)的標(biāo)簽值與通過(guò)最大交并比計(jì)算得到的標(biāo)注框標(biāo)簽值相同時(shí),即認(rèn)定該預(yù)測(cè)框?yàn)閠rue positive。

FP(false positive):反之,預(yù)測(cè)框與所有的框的交并比均不超過(guò)閾值,則認(rèn)為這些預(yù)測(cè)框都是錯(cuò)誤的預(yù)測(cè),即視該檢測(cè)框?yàn)閒alse postive。

TN(true negative):如果標(biāo)注框的最大交并比達(dá)到了預(yù)先設(shè)置的交并比閾值,而且該預(yù)測(cè)框的類別和通過(guò)最大交并比操作所得到的標(biāo)注框類別相同。則認(rèn)為此預(yù)測(cè)框是true negative。

FN(false negative):反之,如果該預(yù)測(cè)框?qū)?yīng)的標(biāo)簽和通過(guò)交并比操作所得到的標(biāo)注框標(biāo)簽并不相同。則認(rèn)為此預(yù)測(cè)框是false negative。

根據(jù)以上4種情況,可以得到以下3個(gè)指標(biāo),精度P(Precision)、召回率R(Recall)和準(zhǔn)確率A(Accuracy)。并以此獲得綜合評(píng)價(jià)指標(biāo)平均精度AP(Average Precision)和平均精度均值mAP(mean AP over calsses),其中AP表示在同一類別下所有檢測(cè)結(jié)果的平均精度[14],mAP表示所有檢測(cè)類別平均精度的均值[15]。

(1)

(2)

(3)

3.3 結(jié)果分析

為證明本文改進(jìn)后的檢測(cè)效果,以及驗(yàn)證具體改進(jìn)措施起到的作用,本次實(shí)驗(yàn)還設(shè)置原YOLOv5,SSD以及Faster-RCNN三組網(wǎng)絡(luò)組作為對(duì)照組,在相同的訓(xùn)練環(huán)境下,分別使用3組深度學(xué)習(xí)模型在自建數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試分析,以更加準(zhǔn)確地評(píng)估改進(jìn)后YOLOv5模型的性能。其中實(shí)驗(yàn)的總體結(jié)果如表3所示,改進(jìn)后的YOLOv5網(wǎng)絡(luò)模型相比較于Faster-RCNN網(wǎng)絡(luò)組maP大約有7%提升,相較于SSD網(wǎng)絡(luò)組提升了大約9%,與原YOLOv5網(wǎng)絡(luò)組的結(jié)果進(jìn)行對(duì)比表明,針對(duì)于原網(wǎng)絡(luò)的改進(jìn)措施起到了良好的效果,相對(duì)于原網(wǎng)絡(luò)大約提升了4%的精度。

表3 各網(wǎng)絡(luò)檢測(cè)結(jié)果

算法的收斂情況如圖10所示,根據(jù)圖中曲線所示,最優(yōu)權(quán)重在改進(jìn)的YOLOv5網(wǎng)絡(luò)第87次迭代時(shí)產(chǎn)生。

圖10 mAP隨迭代次數(shù)變化情況

圖11～圖14展示了部分檢測(cè)結(jié)果,檢測(cè)對(duì)象分別為不完整軸體和多目標(biāo)缺陷的軸體、凹坑缺陷、擦傷缺陷和劃痕缺陷。該模型網(wǎng)絡(luò)對(duì)明顯的缺陷特征如凹坑和擦傷檢測(cè)置信度分別高于0.90和0.86、對(duì)不明顯小目標(biāo)的缺陷特征如劃痕檢測(cè)置信度高于0.79,且對(duì)于鏡頭下顯示不完整軸體和多目標(biāo)缺陷軸體的檢測(cè)效果較好,能夠滿足實(shí)時(shí)檢測(cè)要求。

圖11 不完整軸體和多目標(biāo)缺陷的軸體

圖12 凹坑

圖13 擦傷

圖14 劃痕

4 結(jié)論

針對(duì)軸件表面缺陷檢測(cè)的問(wèn)題,本文提出了一種基于改進(jìn)的YOLOv5網(wǎng)絡(luò)模型對(duì)軸件表面缺陷進(jìn)行檢測(cè),并使用自建數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證。

通過(guò)增加小目標(biāo)檢測(cè)層來(lái)增加對(duì)軸件表面小目標(biāo)缺陷的檢測(cè)效果,能夠有效聚焦于目標(biāo)軸件的檢測(cè),改進(jìn)的YOLOv5網(wǎng)絡(luò)模型相較于原YOLOv5模型在mAP上提升了7%左右;相較于SSD網(wǎng)絡(luò)模型,提升了9%左右;與Faster-RCNN網(wǎng)絡(luò)組對(duì)比,提升了4%左右。

同時(shí)通過(guò)在自建數(shù)據(jù)集中引入顯示不完整的軸件與多目標(biāo)缺陷軸件的數(shù)據(jù)圖像,對(duì)于多目標(biāo)缺陷軸件檢測(cè)與不完整軸件的檢測(cè)效果具有顯著提升,使網(wǎng)絡(luò)可以更有效完成實(shí)際生產(chǎn)中多目標(biāo)軸件缺陷以及鏡頭下顯示不完整軸件的缺陷檢測(cè)的任務(wù)。

本文所提及的兩種改進(jìn)措施,均可以在軸件表面缺陷檢測(cè)中有效的提升檢測(cè)精度,并且改進(jìn)的YOLOv5網(wǎng)絡(luò)模型同樣適用于其他工業(yè)生產(chǎn)場(chǎng)景,特別是存在小目標(biāo)以及多目標(biāo)的復(fù)雜缺陷檢測(cè)領(lǐng)域中。同時(shí)改進(jìn)后的網(wǎng)絡(luò)模型依然還有提升空間,需要進(jìn)一步研究。