邵靖男

摘要：傳統(tǒng)塊狀磨屑的處理方式存在效率低、收集不及時(shí)等問(wèn)題，為了實(shí)現(xiàn)塊狀磨屑的精準(zhǔn)定位檢測(cè)，需研究塊狀磨屑的識(shí)別及數(shù)量統(tǒng)計(jì)。文章在原始YOLOv5算法的基礎(chǔ)上添加注意力機(jī)制后，進(jìn)一步強(qiáng)化了塊狀磨屑的有效特征；用BiFPN 結(jié)構(gòu)代替 YOLOv5 原有 PAN 結(jié)構(gòu)，加強(qiáng)了淺層特征的利用。添加大尺度檢測(cè)層，可更加準(zhǔn)確地定位小尺寸塊狀磨屑；選擇 EIoU 作為目標(biāo)框回歸的損失函數(shù)，提高收斂速度。在此基礎(chǔ)上，該研究采用DeepSort算法和虛擬檢測(cè)線法實(shí)現(xiàn)塊狀磨屑的數(shù)量統(tǒng)計(jì)。利用軌道小車采集的數(shù)據(jù)進(jìn)行塊狀磨屑的檢測(cè)和計(jì)數(shù)試驗(yàn)。試驗(yàn)結(jié)果表明：較于原始 YOLOv5算法，改進(jìn) YOLOv5算法雖然檢測(cè)速率有所下降，但是精確率提升了 4%、召回率提升了 7.5%、均值平均精度提升了 9.7%，改善了小尺寸塊狀磨屑的檢測(cè)效果。改進(jìn)YOLOv5+DeepSort算法結(jié)合改進(jìn)檢測(cè)線在各場(chǎng)景下可較準(zhǔn)確地實(shí)現(xiàn)對(duì)塊狀磨屑的計(jì)數(shù)。

關(guān)鍵詞：高速鐵路；計(jì)算機(jī)視覺(jué)技術(shù)；YOLOv5算法；DeepSort算法；塊狀磨屑

中圖分類號(hào)：U270? 文獻(xiàn)標(biāo)志碼：A

0 引言

隨著我國(guó)高速列車運(yùn)營(yíng)速度的提高和運(yùn)輸能力的增強(qiáng)，鋼軌會(huì)出現(xiàn)各種形式的損傷和缺陷［1-2］。鋼軌打磨車作為常用的打磨設(shè)備之一［3-4］，在其打磨過(guò)程中，高溫顆粒狀磨屑飛落到防火簾上，逐漸形成塊狀，最后在其重力和車輛振動(dòng)的作用下隨機(jī)掉落在軌道內(nèi)從而影響行車安全。目前，塊狀磨屑的處理方式主要是人工處理，存在效率低、主觀性強(qiáng)、收集不及時(shí)等問(wèn)題。

為實(shí)現(xiàn)對(duì)塊狀磨屑的精準(zhǔn)定位檢測(cè)，研究塊狀磨屑的識(shí)別及計(jì)數(shù)尤為重要。深度學(xué)習(xí)技術(shù)的發(fā)展和鐵路信息化設(shè)備覆蓋率的提高，為塊狀磨屑的識(shí)別和計(jì)數(shù)提供了一種可行性方案。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法有較高的識(shí)別率。其中，YOLO系列算法應(yīng)用于實(shí)時(shí)性較高的場(chǎng)景。對(duì)于目標(biāo)跟蹤領(lǐng)域，針對(duì)SORT算法容易因背景中其他雜物遮擋而產(chǎn)生ID切換的問(wèn)題，研究人員提出了精度和實(shí)時(shí)性更好的DeepSort算法。因此，本文在YOLOv5算法上做了改進(jìn)，提高塊狀磨屑的識(shí)別效果，結(jié)合DeepSort算法實(shí)現(xiàn)對(duì)塊狀磨屑的計(jì)數(shù)。

1 基于改進(jìn)YOLOv5算法的目標(biāo)檢測(cè)算法

YOLOv5算法的網(wǎng)絡(luò)結(jié)構(gòu)主要包括：輸入端（Input）、骨干網(wǎng)絡(luò)（Backbone）、頸部（Neck）和輸出端（Head）。為了提高塊狀磨屑識(shí)別效果，本文從注意力機(jī)制、頸部網(wǎng)絡(luò)、多尺度檢測(cè)和損失函數(shù)4方面進(jìn)行了改進(jìn)，改進(jìn)后的YOLOv5算法網(wǎng)絡(luò)框架如圖1所示。

1.1 增添注意力機(jī)制

增添注意力機(jī)制（Convolutional Block Attention Module，CBAM）是由 Sanghyun 等提出的高效注意力模塊［5］，主要包括通道注意力模塊和空間注意力模塊，通過(guò)對(duì)不同重要性關(guān)注區(qū)域的特征增加權(quán)重，以此來(lái)實(shí)現(xiàn)加強(qiáng)感興趣區(qū)域特征表達(dá)的目的，其模塊結(jié)構(gòu)如圖2所示。

本文在骨干網(wǎng)絡(luò)中用CBAMC3模塊替換C3模塊，增強(qiáng)對(duì)塊狀磨屑有效特征的關(guān)注度。

1.2 特征金字塔結(jié)構(gòu)的改進(jìn)

加權(quán)雙向特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)（Bi-Directional Feature Pyramid Network，BiFPN）的主要思想包括：高效的雙向跨尺度連接以及加權(quán)特征圖融合，如圖3所示。

本文采用BiFPN結(jié)構(gòu)代替YOLOv5原有PAN結(jié)構(gòu)。圖3（a）結(jié)構(gòu)通過(guò)自上而下的傳遞，有效增強(qiáng)淺層特征的語(yǔ)義表達(dá)，但是會(huì)受到單向信息流的限制；PAN結(jié)構(gòu)在FPN的基礎(chǔ)上增加一條自下而上的通道；相比PAN，BiFPN首先通過(guò)刪除一個(gè)輸入邊且無(wú)特征融合的節(jié)點(diǎn)，以簡(jiǎn)化雙向網(wǎng)絡(luò)；針對(duì)同一尺度特征，在其輸入和輸出節(jié)點(diǎn)之間引入橫向連接，使原始特征信息參與特征融合；最后，BiFPN針對(duì)不同重要性的特征增加了權(quán)重，可學(xué)習(xí)調(diào)節(jié)每個(gè)特征的貢獻(xiàn)度，同時(shí)將自上而下和自下而上的路徑作為一個(gè)特征層，通過(guò)重復(fù)堆疊，獲得更深層次的特征。

1.3 添加多尺度檢測(cè)

對(duì)于小尺寸塊狀磨屑的檢測(cè)，過(guò)多的下采樣和過(guò)大的感受野，使小尺寸塊狀磨屑在深層特征圖所占據(jù)的像素點(diǎn)較少，并且在其周圍存在大量無(wú)用特征，影響檢測(cè)精度，因此深層網(wǎng)絡(luò)的高級(jí)特征不利于小尺寸塊狀磨屑的檢測(cè)。本文在原始網(wǎng)絡(luò)上增加尺度為160×160的檢測(cè)層來(lái)提取淺層的特征信息，從而加強(qiáng)對(duì)小尺寸塊狀磨屑的檢測(cè)能力。

1.4 損失函數(shù)改進(jìn)

由于YOLOv5的定位損失忽略了寬、高分別與其置信度的差異，本文選擇EIoU（Efficient Intersection over Union）代替CIoU，加快模型的收斂速度，其計(jì)算見(jiàn)式（1）。

LEIoU=LIoU+Ldis+Lasp=1-IoU+ρ2（bpred，bgt）c2+ρ2（wpred，wgt）c2w+ρ2（hpred，hgt）c2h（1）

其中：IoU為交并比；cw、ch分別為覆蓋塊狀磨屑預(yù)測(cè)框和真實(shí)框的最小包圍框的寬和高；b、bgt分別為塊狀磨屑預(yù)測(cè)框和真實(shí)框的中心點(diǎn)；ρ為塊狀磨屑預(yù)測(cè)框和真實(shí)框的歐式距離；c為能夠覆蓋塊狀磨屑預(yù)測(cè)框和真實(shí)框的最小包圍框的對(duì)角線距離。

2 基于DeepSort的塊狀磨屑計(jì)數(shù)算法

在完成對(duì)塊狀磨屑的識(shí)別后，接下來(lái)就是對(duì)塊狀磨屑進(jìn)行計(jì)數(shù)。目標(biāo)跟蹤算法能夠?qū)崟r(shí)跟蹤塊狀磨屑的軌跡，從而實(shí)現(xiàn)計(jì)數(shù)的目的。

在對(duì)軌道內(nèi)多個(gè)塊狀磨屑進(jìn)行實(shí)時(shí)跟蹤時(shí)，會(huì)涉及不同尺寸塊狀磨屑之間的ID識(shí)別，以及對(duì)受到道砟、落葉燈遮擋的處理，目標(biāo)檢測(cè)位置與跟蹤位置之間的準(zhǔn)確匹配等問(wèn)題。多目標(biāo)跟蹤算法SORT在目標(biāo)跟蹤過(guò)程中有較高的精度［6］，但是該算法會(huì)因?yàn)槟繕?biāo)受到場(chǎng)景中其他雜物遮擋而產(chǎn)生ID切換的問(wèn)題。因此，研究人員提出DeepSort算法來(lái)解決該問(wèn)題。

本文通過(guò)將改進(jìn)的YOLOv5 與DeepSort相結(jié)合從而實(shí)現(xiàn)對(duì)塊狀磨屑的有效追蹤，為接下來(lái)塊狀磨屑的數(shù)量統(tǒng)計(jì)做鋪墊，檢測(cè)流程如下。

（1）輸入實(shí)時(shí)視頻流，利用改進(jìn)的YOLOv5目標(biāo)檢測(cè)算法檢測(cè)出當(dāng)前幀目標(biāo)的方位及類別信息。

（2）將上一步得到的識(shí)別信息和前一幀的卡爾曼濾波的預(yù)測(cè)信息作為輸入。

（3）計(jì)算基于運(yùn)動(dòng)信息的馬氏距離和基于外觀特征的最小余弦距離，將計(jì)算結(jié)果融合成關(guān)聯(lián)矩陣，并使用匈牙利算法進(jìn)行跟蹤匹配。

（4）結(jié)果輸出的同時(shí)，通過(guò)卡爾曼濾波實(shí)現(xiàn)實(shí)時(shí)更新，重新開(kāi)始目標(biāo)檢測(cè)。

本文在對(duì)塊狀磨屑的計(jì)數(shù)過(guò)程中采用虛擬檢測(cè)線法。傳統(tǒng)檢測(cè)線法在計(jì)數(shù)過(guò)程中會(huì)因掉幀、塊狀磨屑漏檢等原因而出現(xiàn)數(shù)量統(tǒng)計(jì)不準(zhǔn)確的情況。為此，本文在原始虛擬檢測(cè)線的基礎(chǔ)上進(jìn)行改進(jìn)，可實(shí)現(xiàn)雙向計(jì)數(shù)，并有效改善以上存在的問(wèn)題，如圖4所示。

3 試驗(yàn)驗(yàn)證

3.1 數(shù)據(jù)集收集及試驗(yàn)環(huán)境

本文通過(guò)軌道小車在光照不足、光照正常、光照充足和遮擋4種不同的場(chǎng)景下進(jìn)行數(shù)據(jù)采集；然后對(duì)采集到不同尺寸的塊狀磨屑圖片進(jìn)行預(yù)處理；最后，利用開(kāi)源工具對(duì)每張圖片中的塊狀磨屑進(jìn)行標(biāo)注。試驗(yàn)環(huán)境：Windows10的操作系統(tǒng)，GPU為RTX2070，CPU為Core I7-10875H，CUDA的版本為11.0，CuDNN的版本為8.0.4。

3.2 評(píng)價(jià)指標(biāo)

（1）目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)。

塊狀磨屑識(shí)別的評(píng)價(jià)指標(biāo)主要采用召回率R、均值平均精度mAP和檢測(cè)速度FPS，其計(jì)算公式如下：

P=TPTP+FP（2）

R=TPTP+FN（3）

AP=∫10P（R）dR（4）

mAP=1m∑mi=1APi（5）

其中，TP為模型識(shí)別塊狀磨屑正確的個(gè)數(shù)；FP為模型將其他目標(biāo)錯(cuò)誤識(shí)別為塊狀磨屑的個(gè)數(shù)；FN為模型將塊狀磨屑錯(cuò)誤的識(shí)別為其他目標(biāo)的個(gè)數(shù)；P為模型在所有預(yù)測(cè)情況中正確預(yù)測(cè)塊狀磨屑的概率；R為模型準(zhǔn)確識(shí)別塊狀磨屑的概率；AP為準(zhǔn)確率對(duì)召回率的積分；mAP為對(duì)所有類別的AP取平均值。

（2）目標(biāo)計(jì)數(shù)評(píng)價(jià)指標(biāo)。

塊狀磨屑計(jì)數(shù)算法的計(jì)數(shù)結(jié)果與人為計(jì)數(shù)做對(duì)比。

3.3 塊狀磨屑檢測(cè)試驗(yàn)

3.3.1 消融試驗(yàn)

為驗(yàn)證本文算法各改進(jìn)部分的有效性，進(jìn)行消融試驗(yàn)。4種模型試驗(yàn)結(jié)果的對(duì)比如表1所示，其中符號(hào)“√”表示在原始網(wǎng)絡(luò)上進(jìn)行的相應(yīng)改進(jìn)。

在原始模型的基礎(chǔ)上添加一個(gè)檢測(cè)層，可提高小尺寸塊狀磨屑的定位精度；嵌入CBAM注意力機(jī)制可加強(qiáng)對(duì)塊狀磨屑有效特征的關(guān)注，其P值和R值有小幅度提升；選擇EIoU替換CIoU，可加快收斂速度；在此基礎(chǔ)上，用BiFPN替換PANet，其R值提升了2.8%。試驗(yàn)結(jié)果表明：與原有的YOLOv5算法相比，改進(jìn)YOLOv5算法在多尺度檢測(cè)、注意力機(jī)制、邊框回歸損失函數(shù)和頸部網(wǎng)絡(luò)4個(gè)方面的優(yōu)化下，P值、R值和mAP值均有顯著提升；檢測(cè)速度FPS稍有下降，但仍能夠做到實(shí)時(shí)且更加精準(zhǔn)地檢測(cè)塊狀磨屑。

3.3.2 模型特征提取能力分析

為了更直觀地體現(xiàn)在骨干網(wǎng)絡(luò)中嵌入注意力機(jī)制對(duì)算法性能的影響，本節(jié)通過(guò)對(duì)原始算法和改進(jìn)算法的中間層特征圖進(jìn)行可視化分析，如圖5所示。

圖5是網(wǎng)絡(luò)中p/2、p/4、p/8、p/16和p/32共5層級(jí)的特征圖可視化對(duì)比結(jié)果。第一列和第二列圖像為原始算法針對(duì)不同尺寸目標(biāo)的中間層特征圖，第三列和第四列圖像為改進(jìn)算法針對(duì)不同尺寸目標(biāo)的中間層特征圖。淺層網(wǎng)絡(luò)提取到的特征信息較為完善，如圖5（c）和（d）中的塊狀磨屑、道砟和落葉等；隨著卷積次數(shù)的增多，特征圖的尺度逐漸減小，特征圖抽象化程度增高的同時(shí)，也會(huì)模糊掉一些細(xì)節(jié)信息如圖5（k）和（l）；從圖5（e）和（f）之間的對(duì)比可以看出，添加注意力機(jī)制之后，塊狀磨屑和軌道內(nèi)側(cè)背景差被明顯放大，突出了目標(biāo)信息的亮度，可更清晰地辨別出塊狀磨屑的具體位置和輪廓。

3.3.3 熱力圖分析

為更好地展現(xiàn)多尺度檢測(cè)和BiFPN結(jié)構(gòu)改進(jìn)對(duì)網(wǎng)絡(luò)的貢獻(xiàn)，本文使用Grad-CAM對(duì)原始算法和改進(jìn)算法進(jìn)行了類激活映射可視化的效果對(duì)比。圖6給出了不同尺寸的塊狀磨屑在光照不足、正常、充足以及遮擋背景下的輸入圖像及其類激活熱力圖。

從圖6可以很直觀地看出模型在原始圖像中識(shí)別時(shí)所關(guān)注的一些特征區(qū)域。其中，白色區(qū)域?yàn)槟Ｐ偷闹攸c(diǎn)關(guān)注區(qū)域，激活區(qū)域的顏色越偏黑說(shuō)明該區(qū)域與所屬類別越不相關(guān)。通過(guò)對(duì)比改進(jìn)前后算法在不同場(chǎng)景下的熱力圖可以發(fā)現(xiàn)：（1）在識(shí)別非小尺寸塊狀磨屑時(shí)，改進(jìn)算法在上述背景下都能準(zhǔn)確地提取到圖像中的關(guān)鍵信息，激活區(qū)域?qū)Ψ切〕叽鐗K狀磨屑的覆蓋程度較為全面；（2）原始算法在光照不足、正常和充足情況下關(guān)注到小尺寸塊狀磨屑的同時(shí)，也關(guān)注到道砟、軌枕和部分陰影區(qū)域，并且在小樹(shù)枝遮擋情況下，激活區(qū)域沒(méi)能準(zhǔn)確覆蓋目標(biāo)，進(jìn)而產(chǎn)生漏檢情況；（3）改進(jìn)后算法受復(fù)雜背景的影響較小，并且能精準(zhǔn)地定位到目標(biāo)的關(guān)鍵特征區(qū)域。當(dāng)小尺寸塊狀磨屑表面有樹(shù)枝遮擋時(shí)，激活區(qū)域也能準(zhǔn)確地覆蓋。通過(guò)上述分析可知，4尺度的檢測(cè)層和BiFPN結(jié)構(gòu)的使用可進(jìn)一步增強(qiáng)網(wǎng)絡(luò)對(duì)不同尺度特征信息的融合能力，使得深層特征圖中小尺寸塊狀磨屑的位置信息更為精確。

3.3.4 檢測(cè)結(jié)果分析

圖7第一列和第二列分別為原始YOLOv5算法和改進(jìn)YOLOv5算法在不同光照環(huán)境下對(duì)不同尺寸塊狀磨屑的部分檢測(cè)結(jié)果。對(duì)于非小尺寸塊狀磨屑的識(shí)別，改進(jìn)算法和原始算法差距不大，如圖7（a）所示；在對(duì)于小尺寸塊狀磨屑的識(shí)別，原始算法存在誤檢：將道砟誤識(shí)別成塊狀磨屑，如圖7（b）和（c）所示，以及漏檢的問(wèn)題，如圖7 （d）所示；相對(duì)于原始算法，改進(jìn)算法則有效提高了對(duì)小尺寸塊狀磨屑的檢測(cè)精度。

3.4 塊狀磨屑計(jì)數(shù)試驗(yàn)

在塊狀磨屑計(jì)數(shù)階段，本文在改進(jìn)YOLOv5算法的基礎(chǔ)上結(jié)合DeepSort和改進(jìn)檢測(cè)帶進(jìn)行檢測(cè)。為驗(yàn)證算法的有效性，本文在光照不足、光照正常和光照充足多個(gè)場(chǎng)景下進(jìn)行塊狀磨屑的計(jì)數(shù)試驗(yàn)，并將計(jì)數(shù)結(jié)果與原始算法和人為計(jì)數(shù)進(jìn)行對(duì)比，如表2所示。

通過(guò)表2對(duì)比結(jié)果可以發(fā)現(xiàn)：（1）改進(jìn)的YOLOv5+DeepSort 算法在3種環(huán)境下的計(jì)數(shù)結(jié)果的準(zhǔn)確度均高于原始算法；（2）在光照不足的情況下，原始算法無(wú)法提取塊狀磨屑的有效特征，導(dǎo)致塊狀磨屑識(shí)別精度降低，從而嚴(yán)重影響其計(jì)數(shù)的準(zhǔn)確度；（3）在光照正常情況下，改進(jìn)后的算法基本不受光照影響，能準(zhǔn)確識(shí)別及追蹤塊狀磨屑，其準(zhǔn)確率能達(dá)到96.7%，相比于原始算法提升了16.1%，同時(shí)該場(chǎng)景下改進(jìn)算法的計(jì)數(shù)結(jié)果最接近人為計(jì)數(shù)結(jié)果。

試驗(yàn)結(jié)果表明：與原有的YOLOv5算法相比，在改進(jìn)YOLOv5算法的基礎(chǔ)上結(jié)合DeepSort和改進(jìn)檢測(cè)帶對(duì)塊狀磨屑計(jì)數(shù)準(zhǔn)確度更高，能夠適應(yīng)多種復(fù)雜環(huán)境。

4 結(jié)語(yǔ)

在原YOLOv5算法的基礎(chǔ)上對(duì)注意力機(jī)制、特征金字塔結(jié)構(gòu)、多尺度檢測(cè)和損失函數(shù)4方面進(jìn)行了改進(jìn)，通過(guò)消融試驗(yàn)，結(jié)合中間層特征圖和熱力圖可視化對(duì)比了改進(jìn)前后的算法，改進(jìn)YOLOv5算法在犧牲一定實(shí)時(shí)性的情況下，精確率提升了4%、召回率提升了7.5%、均值平均精度提升了9.7%，提升了對(duì)小尺寸塊狀磨屑檢測(cè)的準(zhǔn)確率。

將改進(jìn)的虛擬檢測(cè)線算法與改進(jìn)YOLOv5+DeepSort算法相結(jié)合，在不同場(chǎng)景下進(jìn)行塊狀磨屑統(tǒng)計(jì)試驗(yàn)。試驗(yàn)表明，相較于原始算法，改進(jìn)算法結(jié)合改進(jìn)檢測(cè)線在各場(chǎng)景下計(jì)數(shù)準(zhǔn)確率更高。

參考文獻(xiàn)

［1］金學(xué)松，劉啟躍.輪軌摩擦學(xué)［M］.北京：中國(guó)鐵道出版社，2004.

［2］王璞.高速鐵路道岔鋼軌磨耗發(fā)展規(guī)律的試驗(yàn)研究［J］.鐵道建筑，2019（7）：109-112.

［3］雷曉燕.鋼軌打磨原理及其應(yīng)用［J］.鐵道工程學(xué)報(bào)，2000（1）：28-33.

［4］金學(xué)松，杜星，郭俊，等.鋼軌打磨技術(shù)研究進(jìn)展［J］.西南交通大學(xué)學(xué)報(bào)，2010（1）：1-11.

［5］曹義親，伍銘林，徐露.基于改進(jìn)YOLOv5算法的鋼材表面缺陷檢測(cè)［J］.圖學(xué)學(xué)報(bào)，2022（10）：1-11.

［6］陳紫強(qiáng)，張雅瓊.一種基于YOLOv4的改進(jìn)DeepSort目標(biāo)跟蹤算法［J］.桂林電子科技大學(xué)學(xué)報(bào)，2021（2）：140-145.

（編輯 王永超編輯）

Research on the recognition and counting of block debris based on improved YOLOv5+DeepSort algorithm

Shao? Jingnan

（China Railway SIYUAN Survey and Design Group Co.， Ltd.， Wuhan 430063， China）

Abstract： The traditional treatment method for block debris has problems such as low efficiency and untimely collection. In order to achieve precise positioning and detection of block debris， it is necessary to study the identification and quantity statistics of block debris.This article further strengthens the effective features of block debris by adding CBAM attention mechanism on the basis of the original YOLOv5. Replacing YOLOv5s original PAN structure with BiFPN structure enhances the utilization of shallow features. Adding a large-scale detection layer can more accurately locate small-sized block debris. The paper selects EIoU as the loss function for the target box regression to improve convergence speed. On this basis， the DeepSort algorithm and virtual detection line method are used to achieve the quantity statistics of block debris. Detection and counting of block debris use data collected by rail cars. The experimental results show that compared to the original YOLOv5， although the detection rate of the improved YOLOv5 has decreased， the accuracy has increased by 4%， the recall has increased by 7.5% and the average accuracy has increased by 9.7%， improving the detection effect of small-sized block debris. The improved YOLOv5+DeepSort algorithm combined with improved detection lines can accurately count blocky debris in various scenarios.

Key words： high-speed railway; computer vision technology; YOLOv5 algorithm; DeepSort algorithm; block debris