袁俊濤　趙禮剛　秦齊　王天旭　劉志強(qiáng)

關(guān)鍵詞 金剛石鋸絲；目標(biāo)檢測；YOLOv5；DeepSORT

中圖分類號(hào) TQ164；TG74；TP391 文獻(xiàn)標(biāo)志碼 A

文章編號(hào) 1006-852X（2023）01-0096-06

DOI 碼 10.13394/j.cnki.jgszz.2022.0065

收稿日期 2022-05-05 修回日期 2022-08-05

金剛石線鋸切割技術(shù)是對(duì)硬脆材料切片加工的常用技術(shù)方法之一，主要依靠附著在鋸絲上的金剛石磨粒對(duì)材料進(jìn)行切割。金剛石磨粒的脫落是鋸絲失效的主要原因，其影響切割加工的質(zhì)量與效率。

對(duì)于金剛石鋸絲磨損的研究，大多研究者采用掃描電子顯微鏡觀察其磨損情況。倪永明等[1] 發(fā)現(xiàn)金剛石的顆粒掉落過程為金剛石磨粒先破裂，隨后碎屑掉落，最后磨粒整體脫落。磨粒在切割過程中破裂，是影響線鋸切割能力及生命周期的關(guān)鍵因素。黃波等[2] 發(fā)現(xiàn)鋸絲的主要失效機(jī)理為金剛石磨粒的脫落，其在切削過程中并未完全發(fā)揮金剛石磨粒的切削性能，且脫落的磨粒對(duì)工件表面質(zhì)量造成損害。這種靜態(tài)觀察法可以有效分析磨粒變化和鋸絲磨損的情況，但無法在切割過程中實(shí)時(shí)了解。

隨著計(jì)算機(jī)視覺和深度學(xué)習(xí)的發(fā)展，目標(biāo)檢測的實(shí)時(shí)性與準(zhǔn)確性不斷提高，但目前尚未有學(xué)者把這類方法應(yīng)用在金剛石鋸絲的磨損研究中。利用工業(yè)相機(jī)拍攝鋸絲上金剛石磨粒的照片，根據(jù)其磨損程度，將磨粒分為有效（useful）和失效（useless）兩類；提出一種改進(jìn)的YOLOv5 模型檢測方法，在YOLOv5 模型中添加注意力機(jī)制，將路徑聚合網(wǎng)絡(luò)結(jié)構(gòu)（path aggregationnetwork，PAN） 更改為加權(quán)雙向特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)（bidirectional feature pyramid network， BiFPN），提高模型的檢測精度；再連接DeepSORT 多目標(biāo)跟蹤算法，對(duì)切割過程中鋸絲上的金剛石磨粒數(shù)量進(jìn)行統(tǒng)計(jì)，進(jìn)而實(shí)時(shí)監(jiān)測鋸絲磨損情況。

1 YOLOv5 算法及改進(jìn)

1.1 YOLOv5算法

目前，基于深度學(xué)習(xí)的目標(biāo)檢測方法主要有2 種：一是兩階段目標(biāo)檢測模型，主要有R-CNN[3]、SPPNet[4]、Faster R-CNN[5] 等；另一種是一階段目標(biāo)檢測模型，主要有YOLO 系列[6-8]、SSD[9] 等。YOLO 系列算法在保證檢測精度的前提下，檢測速度較快，能夠滿足時(shí)效性，廣泛用于工業(yè)檢測領(lǐng)域。

YOLOv5 從YOLOv1 進(jìn)化而來， 主要由4 部分組成：輸入層、主干網(wǎng)絡(luò)、Neck 層和檢測層。在之前的基礎(chǔ)上，YOLOv5 在輸入層加入Mosaic 數(shù)據(jù)增強(qiáng)方式，提高網(wǎng)絡(luò)的魯棒性。主干網(wǎng)絡(luò)在YOLOv3 的基礎(chǔ)上添加了Focus 模塊、CSP 模塊和SPP 模塊。YOLOv5 中的Neck層采用特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)（feature pyramid networks，F(xiàn)PN） 與PAN 結(jié)合的方法，能更好地融合不同特征信息。檢測層有大、中、小3 個(gè)檢測頭，檢測不同尺寸的物體目標(biāo)。

在公開的數(shù)據(jù)集上，YOLOv5 的檢測精度和速度都有著出色的表現(xiàn)，但在自制的金剛石磨粒數(shù)據(jù)集中問題上仍有很大的提升空間。這是因?yàn)樵谂臄z的圖片中，金剛石磨粒所占的圖片比例不大，但數(shù)量較多且為小目標(biāo)，目標(biāo)顏色與背景區(qū)分不明顯，磨粒形狀不規(guī)則，磨粒之間的磨損程度差別較小，且邊界特征不明顯。因此，在YOLOv5 的基礎(chǔ)上進(jìn)行改進(jìn)，進(jìn)一步提高檢測效果。

1.2 YOLOv5 算法的改進(jìn)

1.2.1 添加注意力機(jī)制

注意力機(jī)制使神經(jīng)網(wǎng)絡(luò)從關(guān)注全部信息到關(guān)注重點(diǎn)信息，對(duì)需檢測的小目標(biāo)和密集目標(biāo)來說，能夠顯著提高網(wǎng)絡(luò)的檢測性能。常見的注意力機(jī)制有CBAM[10]、SE[11]、ECA[12]、CA[13] 等。在YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)中加入坐標(biāo)注意力機(jī)制（coordinate attention， CA），此注意力機(jī)制能夠獲得所有圖片通道上的方向和位置信息，避免二維全局池化造成的位置信息丟失。

因此，將CA 模塊融入YOLOv5 的主干網(wǎng)絡(luò)中，使模型能夠注意到較小的金剛石磨粒，提高網(wǎng)絡(luò)的檢測能力。

1.2.2 Neck層改進(jìn)

YOLOv5 的Neck 層采用FPN + PAN 的結(jié)構(gòu)， 在FPN 后面再建立一條自底向上的通路，解決了FPN 受限于單向信息流的問題，在檢測層中同時(shí)能夠獲得圖像金字塔的頂層和底層較高的語義信息和位置信息，進(jìn)而提高目標(biāo)檢測任務(wù)精度，但需要更多的參數(shù)和計(jì)算。

BiFPN[14] 是一種全新的特征融合方法，在PAN 的基礎(chǔ)上移除只有一條輸入邊的節(jié)點(diǎn)，因這些節(jié)點(diǎn)不僅沒有融合特征，還增加計(jì)算成本；對(duì)位于同一水平的原始輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)增加一條額外的邊；將每條（自上而下和自下而上） 路徑視為一個(gè)特征網(wǎng)絡(luò)層，并多次重復(fù)同一層，實(shí)現(xiàn)更深層次的特征融合。因此，相比PAN， BiFPN 不僅簡化計(jì)算網(wǎng)絡(luò)，減少計(jì)算負(fù)擔(dān)，還更有效地提取融合圖片特征。此外，面對(duì)輸入特征具有不同的分辨率，對(duì)輸出特征的貢獻(xiàn)也不等的情況，Bi-FPN 使用快速歸一化融合方法，對(duì)每個(gè)輸入增加額外的權(quán)重，能夠有效提高計(jì)算速度。

因此，將YOLOv5 的Neck 層的PAN 模塊替換為BiFPN 模塊，使網(wǎng)絡(luò)更好地融合圖片中金剛石磨粒的特征，以提高檢測精度。

2 DeepSORT 多目標(biāo)跟蹤算法

DeepSORT[15] 是多目標(biāo)在線跟蹤算法（simple onlineand realtime tracking， SORT） 的改進(jìn)版，其主要步驟為：獲取原始視頻幀，即拍攝的不同時(shí)間段的金剛石鋸絲視頻；利用目標(biāo)檢測器對(duì)視頻中的磨粒進(jìn)行檢測，目標(biāo)檢測器為上述的改進(jìn)后的YOLOv5 模型；將檢測的目標(biāo)框中的表觀特征和運(yùn)動(dòng)特征提取出來；計(jì)算視頻中前后兩幀目標(biāo)之間的匹配程度，為每個(gè)追蹤到的目標(biāo)分配ID。

3 試驗(yàn)研究及分析

3.1 試驗(yàn)環(huán)境

切割設(shè)備為往復(fù)式線鋸切割機(jī)，為滿足拍照與錄制視頻需求，采用230 萬像素，150 F/s 的彩色工業(yè)相機(jī)，并搭配4 倍的高清遠(yuǎn)心鏡頭和10 W 點(diǎn)光源，將其安置于切割機(jī)上，使鏡頭垂直于鋸絲，拍攝整體布局如圖1所示。拍攝視野為2.11 mm × 1.77 mm，拍攝效果如圖2所示。

深度學(xué)習(xí)訓(xùn)練的處理器為11th Gen Intel（R）Core（TM） i7-11800H @ 2.30 GHz； 16 G 運(yùn)行內(nèi)存， 顯卡為NVIDIA GEFORCE RTX 3060 Laptop GPU；操作系統(tǒng)為 Windows10，64位。

3.2 數(shù)據(jù)集制作

對(duì)切割過程中的鋸絲進(jìn)行采樣，共拍攝2 000 張圖片作為數(shù)據(jù)集。圖3 為磨粒分類圖。對(duì)圖片中形貌完整且清晰的磨粒進(jìn)行標(biāo)注，將磨粒分為有效磨粒和失效磨粒。有效磨粒指的是尚未脫落且具有切割能力的磨粒，其具有明顯的顆粒形貌，如圖3a 所示；失效磨粒指的是磨粒磨平、脫落后在鋸絲上留下黑色痕跡的部分，如圖3b 所示?？偣矘?biāo)注10 229 個(gè)有效磨粒，5 168 個(gè)失效磨粒。

3.3 評(píng)價(jià)指標(biāo)

為了驗(yàn)證改進(jìn)后的YOLOv5 算法性能，選擇使用精確度、召回率、平均精度均值和推理速度4 個(gè)評(píng)價(jià)指標(biāo)。

3.4 模型訓(xùn)練及分析

將金剛石磨粒數(shù)據(jù)集按7∶3 隨機(jī)劃分為訓(xùn)練集和測試集，輸入圖像尺度的像素為640 × 640，每批訓(xùn)練張數(shù)為24，訓(xùn)練過程持續(xù)100 批次。

為驗(yàn)證各個(gè)改進(jìn)模塊的優(yōu)化作用，進(jìn)行消融對(duì)比試驗(yàn)，其結(jié)果如表1 所示。其中，模型1 是在YOLOv5的主干網(wǎng)絡(luò)中添加CA 注意力機(jī)制；模型2 是將原網(wǎng)絡(luò)中的Neck 層的PANet 模塊改為BiFPN 模塊。從表1可以看出：模型1 相比于原始模型的P_re提高了1.4%，R 和M_mAP分別提高2.1% 和2.7%； 模型2 的P_re提高了0.6%， R_re和M_mAP分別提高2.5% 和2.2%。將兩個(gè)改進(jìn)模塊同時(shí)融入原網(wǎng)絡(luò)中形成最終模型，發(fā)現(xiàn)其P_re提高了1.7%，R_re提高了3.7%，M_mAP提高了3.2%，相比前3 種模型有明顯提升，并且對(duì)每張圖片的推理時(shí)間為10 ms，依舊有出色表現(xiàn)，能夠滿足實(shí)時(shí)檢測的需求。

為了更好地驗(yàn)證最終模型的可行性，從測試集中選擇圖片進(jìn)行檢測對(duì)比，圖4a 為YOLOv5 檢測效果，圖4b 為最終模型檢測效果，圖中數(shù)字為對(duì)該目標(biāo)檢測分類的置信度。改進(jìn)后的模型檢測精度明顯提高，并且能識(shí)別出YOLOv5 模型未能識(shí)別出的磨粒，如圖4中紅框所示，表現(xiàn)出了更優(yōu)越的檢測性能和對(duì)小目標(biāo)檢測的魯棒性。

3.5 磨粒統(tǒng)計(jì)及分析

試驗(yàn)過程中，切割機(jī)上的鋸絲纏繞于驅(qū)動(dòng)輪、張緊輪與導(dǎo)輪之間，切割時(shí)驅(qū)動(dòng)輪正向轉(zhuǎn)動(dòng)15 圈后反向轉(zhuǎn)動(dòng)15 圈，做往復(fù)運(yùn)動(dòng)，利用拍攝設(shè)備對(duì)其進(jìn)行采樣拍攝。切割對(duì)象為?20 mm 的微晶玻璃；切割參數(shù)：線速度為800 mm/s，進(jìn)給速度為0.01 mm/s。采樣時(shí)間點(diǎn)：切割前以及每隔1 h 對(duì)15 圈鋸絲拍攝，拍攝長度為每圈的1/4，累計(jì)切割2 h，共錄制45 個(gè)視頻。

將改進(jìn)后的YOLOv5 連接DeepSORT 跟蹤算法對(duì)這45 個(gè)視頻進(jìn)行檢測，檢測時(shí)設(shè)置虛擬檢測線，與鋸絲的運(yùn)動(dòng)方向垂直，如圖5 中的紅線。當(dāng)一個(gè)目標(biāo)跟蹤框的中心點(diǎn)軌跡與檢測線相交時(shí)，對(duì)應(yīng)的磨粒數(shù)量總數(shù)累加。

對(duì)失效磨粒數(shù)進(jìn)行統(tǒng)計(jì)，結(jié)果如圖6 所示，橫坐標(biāo)表示鋸絲的不同位置，縱坐標(biāo)表示失效磨粒數(shù)。在安裝新絲時(shí)，鋸絲有一定的磨損，磨粒僅有少量的脫落；經(jīng)1 h 切割后，各個(gè)部位的失效磨粒數(shù)大量增加； 2 h后，失效磨粒數(shù)減少，趨勢減緩。

這是因?yàn)楫?dāng)金剛石磨粒脫落后，鋸絲繼續(xù)切割使鍍層開始磨損，其表面形貌發(fā)生變化，處于急劇磨損階段，不再具有磨粒的形貌，如圖7 所示，導(dǎo)致檢測模型識(shí)別不到磨粒。因此，經(jīng)過2 h 的切割，失效磨粒的數(shù)量開始下降，意味著鋸絲的切割能力進(jìn)一步下降，應(yīng)及時(shí)更換鋸絲。

4 結(jié)論

為了對(duì)金剛石鋸絲的磨損情況進(jìn)行實(shí)時(shí)監(jiān)測，改進(jìn)YOLOv5 目標(biāo)檢測算法，在網(wǎng)絡(luò)中融合CA 注意力機(jī)制模塊和BiFPN 模塊，使得檢測模型的精確度、召回率和MmAP 分別提高了1.7%、3.7%、3.2%，且每幀圖片的推理時(shí)間穩(wěn)定在10 ms，具有較快的檢測速度。將改進(jìn)后的YOLOv5 檢測模型連接DeepSORT 多目標(biāo)跟蹤算法，對(duì)切割過程中鋸絲上的有效磨粒與失效磨粒進(jìn)行數(shù)量統(tǒng)計(jì)，發(fā)現(xiàn)失效磨粒數(shù)先增加后增加趨勢變緩。從計(jì)算機(jī)視覺的角度監(jiān)測鋸絲磨損情況，能夠及時(shí)調(diào)整切割設(shè)備。