林 軍，康高強(qiáng)，涂振威，徐陽(yáng)翰，岳 偉，熊群芳

（中車株洲電力機(jī)車研究所有限公司，湖南 株洲 412001）

0 引言

扣件和鋼軌是軌道的重要組成部件?？奂撥壘o固在軌枕之上以防止鋼軌出現(xiàn)橫、縱向偏移[1]，鋼軌則提供平順的表面并引導(dǎo)車輪滾動(dòng)[2]，兩者共同作用，為列車提供安全可靠的軌道運(yùn)行環(huán)境。然而，軌道零部件在長(zhǎng)期運(yùn)營(yíng)之后會(huì)出現(xiàn)不同程度的傷損[3]?？奂睋p包含斷裂和缺失；鋼軌傷損可細(xì)分為波浪磨耗、重型劃痕、擦傷壓陷、光帶異常和踏面剝離等[4]。損傷零部件若長(zhǎng)久失修，可能會(huì)導(dǎo)致鋼軌變形、塌陷等問(wèn)題，繼而影響列車的正常運(yùn)行，嚴(yán)重時(shí)將導(dǎo)致列車脫軌甚至翻車等重大交通事故。針對(duì)軌道零部件的缺陷檢測(cè)，傳統(tǒng)的人工巡檢方式存在耗時(shí)耗力、依賴經(jīng)驗(yàn)、易漏檢誤檢等問(wèn)題[5]。目前，基于計(jì)算機(jī)視覺(jué)的軌道零部件缺陷檢測(cè)方法，因其獲取的軌道圖像具有良好的可視性、可追溯性，且缺陷分析具有自動(dòng)化、快速化及智能化等諸多優(yōu)勢(shì)，受到學(xué)界和工業(yè)界的廣泛關(guān)注。根據(jù)對(duì)軌道圖像處理方式的不同，可將其分為傳統(tǒng)方法[6-8]和深度學(xué)習(xí)方法[9-11]。傳統(tǒng)方法通過(guò)分析軌道圖像具體特點(diǎn)，手工提取圖像的幾何尺寸、灰度等底層特征，并設(shè)計(jì)缺陷判據(jù)以判定是否存在缺陷，在特定場(chǎng)景下具有較高的缺陷識(shí)別率，但存在手工設(shè)計(jì)特征煩瑣、泛化性能較差等缺點(diǎn)。深度學(xué)習(xí)方法通過(guò)收集大量軌道數(shù)據(jù)樣本，訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，自動(dòng)學(xué)習(xí)圖像深層特征并產(chǎn)生結(jié)構(gòu)化輸出，不僅克服了手工設(shè)計(jì)特征局限性，而且大大簡(jiǎn)化了缺陷檢測(cè)流程。

針對(duì)鋼軌缺陷，文獻(xiàn)[12]提出基于水平投影法和邏輯操作來(lái)提取鋼軌表面區(qū)域信息，并使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷分類，但其提取軌面區(qū)域算法較煩瑣，檢測(cè)速度有待提高；文獻(xiàn)[13]利用改進(jìn)Otsu算法對(duì)缺陷進(jìn)行分割，但其缺陷提取的精確度很大程度受閾值影響，魯棒性較差；文獻(xiàn)[14]提出一種基于語(yǔ)義分割的鋼軌表面缺陷檢測(cè)方法，其利用一種級(jí)聯(lián)自編碼結(jié)構(gòu)的語(yǔ)義分割網(wǎng)絡(luò)來(lái)預(yù)測(cè)掩碼，再將分割結(jié)果進(jìn)行分類，但其分割網(wǎng)絡(luò)過(guò)程較復(fù)雜且后處理工作較煩瑣，導(dǎo)致缺陷檢測(cè)速度較慢。針對(duì)扣件缺損，文獻(xiàn)[15]提出一種基于圖像融合特征和貝葉斯壓縮感知的圖像分類識(shí)別方法，其根據(jù)系數(shù)矢量中對(duì)應(yīng)訓(xùn)練樣本類別各元素的L2范數(shù)來(lái)判定待測(cè)試扣件的狀態(tài)，測(cè)試準(zhǔn)確率較高，但受環(huán)境因素影響較大，算法魯棒性較差；文獻(xiàn)[16]提出一種改進(jìn)YOLO V3算法的扣件缺陷檢測(cè)方法，其通過(guò)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)以適應(yīng)小目標(biāo)檢測(cè)，實(shí)現(xiàn)了較高的扣件缺陷檢測(cè)準(zhǔn)確率，但其模型泛化能力仍需進(jìn)一步驗(yàn)證。

深度學(xué)習(xí)方法在缺陷樣本充足的情況下，具有較好的檢測(cè)效果；但在軌道應(yīng)用場(chǎng)景中，零部件缺陷存在樣本稀缺、采樣困難、部分缺陷細(xì)微特征不明顯等問(wèn)題，極大地限制了深度學(xué)習(xí)方法的應(yīng)用，因此需進(jìn)一步研究并提升模型在缺陷樣本稀缺情況下的泛化能力，以減少過(guò)擬合。另一方面，傳統(tǒng)方法雖手工設(shè)計(jì)特征煩瑣，但在特定場(chǎng)景下依然具有較好的檢測(cè)效果。因此將深度學(xué)習(xí)方法和傳統(tǒng)方法結(jié)合將是少樣本條件下缺陷檢測(cè)的重要研究方向之一。

綜上，為提升樣本不均條件下的缺陷檢測(cè)效果，本文提出一種融合實(shí)例分割、細(xì)粒度圖像分類、傳統(tǒng)幾何判據(jù)的級(jí)聯(lián)缺陷檢測(cè)網(wǎng)絡(luò)。其首先在實(shí)例分割階段通過(guò)改進(jìn)類別損失函數(shù)，采用Focal Loss損失函數(shù)以平衡正負(fù)樣本比例，定位扣件和缺陷鋼軌；接著，針對(duì)缺陷扣件稀缺問(wèn)題，對(duì)扣件進(jìn)行幾何特征提取并作定量分析以判定是否存在缺陷；最后，針對(duì)鋼軌缺陷種類繁雜且易混淆問(wèn)題，提出一種“實(shí)例分割+細(xì)粒度圖像分類”的兩階段缺陷檢測(cè)網(wǎng)絡(luò)，并引入標(biāo)簽平滑技術(shù)以增大類間距離，提升了鋼軌缺陷的細(xì)分類準(zhǔn)確率。

1 基于實(shí)例分割的軌道零部件定位

實(shí)例分割網(wǎng)絡(luò)可對(duì)軌道零部件同時(shí)進(jìn)行檢測(cè)和定位，是后續(xù)扣件缺陷檢測(cè)、鋼軌缺陷檢測(cè)的重要基礎(chǔ)。本文選用單階段的YOLACT[17]實(shí)例分割算法，其分割精度較高且速度較快。

YOLACT將實(shí)例分割拆分為兩個(gè)簡(jiǎn)單的并行過(guò)程：第一個(gè)分支利用FCN來(lái)產(chǎn)生一系列與圖像大小一致的“prototype masks”，且不依賴于任一特定實(shí)例，可以用來(lái)在空間中定位實(shí)例；第二個(gè)分支是給目標(biāo)檢測(cè)分支添加一個(gè)輸出，對(duì)每個(gè)anchor預(yù)測(cè)“mask coefficients”，用來(lái)識(shí)別單個(gè)物體的類別。這兩個(gè)并行過(guò)程就像人類視覺(jué)辨別物體時(shí)先定位后分割的過(guò)程。因?yàn)檫@兩個(gè)分支可以同時(shí)計(jì)算得到，且最后可使用單個(gè)矩陣相乘來(lái)實(shí)現(xiàn)兩者的組合，這樣既保證了特征域的空間相關(guān)性，又保證了單級(jí)網(wǎng)絡(luò)的快速性。

針對(duì)軌道零部件在圖像中所占比例較小、缺陷部件和正常部件尺寸比例懸殊等特點(diǎn)，為了滿足工程部署需要，對(duì)其實(shí)例分割網(wǎng)絡(luò)作了以下改進(jìn)：

（1）引進(jìn)Focal Loss類別損失函數(shù)

YOLACT類別損失函數(shù)使用的是在線困難樣本挖掘（online hard example mining，OHEM）算法，其核心思想為根據(jù)輸入樣本損失值的大小，篩選出對(duì)分類和檢測(cè)影響較大的困難樣本，并將這些困難樣本應(yīng)用在隨機(jī)梯度下降中訓(xùn)練。OHEM算法雖然增加了錯(cuò)分類樣本的權(quán)重，但卻忽略了易分類樣本，易使模型陷入局部最優(yōu)。事實(shí)上，扣件和鋼軌在軌道圖像中所占比例不到20%，遠(yuǎn)遠(yuǎn)小于背景所占比例。若不加以干預(yù)，損失將被大量的負(fù)樣本所占據(jù)，主導(dǎo)著網(wǎng)絡(luò)訓(xùn)練方向，導(dǎo)致模型對(duì)少樣本欠擬合，因此本文引進(jìn)Focal Loss類別損失函數(shù)：

式中：αt——平衡正負(fù)樣本重要性的因子；γ——調(diào)節(jié)簡(jiǎn)單樣本權(quán)重降低速率的因子；pt——衡量模型預(yù)測(cè)值與真實(shí)值之間接近程度的因子。

樣本越易區(qū)分，pt越接近1，則（1-pt）趨于0，此時(shí)類別損失將趨近于0；相反，樣本越難區(qū)分，pt越接近0，則（1-pt）趨于1，此時(shí)貢獻(xiàn)的類別損失不變。

Focal Loss實(shí)質(zhì)上是一種可變比例的交叉熵?fù)p失函數(shù)，其將樣本不平衡問(wèn)題轉(zhuǎn)化為難易樣本分類問(wèn)題。一般來(lái)說(shuō)，樣本多的容易學(xué)習(xí)，分類準(zhǔn)確率高；樣本少的較難學(xué)習(xí)，分類準(zhǔn)確率較低。當(dāng)某一類別分類準(zhǔn)確率較高時(shí)，其被視為易分類樣本。動(dòng)態(tài)降低易分類樣本的權(quán)重，使得模型在訓(xùn)練中更加快速且專注于難分類的樣本，最終實(shí)現(xiàn)在樣本不均衡情況下較高的缺陷檢測(cè)率。

（2）輕量化

本文將YOLACT骨干網(wǎng)絡(luò)從ResNeXt101替換成ResNet18，結(jié)合特征金字塔（feature pyramid networks，F(xiàn)PN）作為特征提取網(wǎng)絡(luò)，之后將實(shí)例分割分為兩個(gè)并行分支：第一個(gè)分支利用全卷積網(wǎng)絡(luò)ProtoNet產(chǎn)生一系列與圖像大小一致的模板掩碼（prototype masks）；第二個(gè)分支是在目標(biāo)檢測(cè)分支基礎(chǔ)上添加掩碼系數(shù)輸出。為進(jìn)一步降低網(wǎng)絡(luò)計(jì)算量，本文將模板輸出網(wǎng)絡(luò)（ProtoNet）最后一層的模板輸出數(shù)從原來(lái)的32減少為16。最后，利用式（2）矩陣相乘來(lái)實(shí)現(xiàn)兩者的組合：

式中：M——實(shí)例分割掩碼（instance masks）；P——h×w×k的模板掩碼；C——n×k掩碼系數(shù)（mask coefficients）；σ——sigmoid激活函數(shù)。

這樣，通過(guò)簡(jiǎn)單的矩陣相乘，既保證了特征域的空間相關(guān)性，又保證了單級(jí)網(wǎng)絡(luò)的快速性。

2 軌道零部件缺陷檢測(cè)

如何在有限的樣本條件下實(shí)現(xiàn)缺陷的可靠檢測(cè)，是軌道缺陷檢測(cè)面臨的關(guān)鍵問(wèn)題。為此，本文提出了一種基于幾何判據(jù)的扣件缺陷檢測(cè)和基于改進(jìn)細(xì)粒度分類的鋼軌缺陷檢測(cè)的級(jí)聯(lián)軌道零部件缺陷檢測(cè)方法。

2.1 基于幾何判據(jù)的扣件缺陷檢測(cè)

事實(shí)上，正?？奂颖玖砍渥愣毕菘奂颖鞠∪薄Ｈ糁苯硬捎蒙疃葘W(xué)習(xí)方法檢測(cè)扣件缺陷，則會(huì)因正負(fù)樣本數(shù)量極不平衡使網(wǎng)絡(luò)過(guò)擬合，導(dǎo)致缺陷檢測(cè)率低下、泛化性能差等問(wèn)題。若單獨(dú)使用傳統(tǒng)圖像算法，采用手工設(shè)計(jì)特征來(lái)檢測(cè)扣件缺陷，則受環(huán)境復(fù)雜多變、扣件類型和裝配方式多等因素影響，將導(dǎo)致扣件缺陷誤檢率高、應(yīng)用場(chǎng)景受限的問(wèn)題。因此本文提出將深度學(xué)習(xí)方法和傳統(tǒng)方法相結(jié)合，以提高扣件正常、缺陷樣本不平衡條件下缺陷檢測(cè)的可靠性。圖1示出常見(jiàn)扣件類型缺陷，其有以下先驗(yàn)特征：（1）扣件通常是成對(duì)出現(xiàn)，可分為w型和e型等類型，根據(jù)裝配方式不同，在軌道兩側(cè)呈鏡面對(duì)稱或原點(diǎn)對(duì)稱；（2）拍攝用相機(jī)位于軌道正上方，兩側(cè)扣件距離相機(jī)位置等高等寬，具有非常接近的相機(jī)畸變系數(shù)，因此在最終成像圖片中，兩者的形態(tài)和大小非常接近；（3）兩側(cè)扣件同時(shí)出現(xiàn)缺損或缺失的概率極低，這為本文提出對(duì)比缺陷判據(jù)提供先天優(yōu)勢(shì)。

圖1 扣件及鋼軌常見(jiàn)缺陷Fig.1 Fastener and rail defect

基于這些先驗(yàn)知識(shí)和本文所提的方法，比較左右扣件的差異并判別是否存在缺陷，具體判別流程如圖2所示。首先，使用上述實(shí)例分割網(wǎng)絡(luò)檢測(cè)扣件，提取軌道兩側(cè)扣件掩碼，若在鋼軌兩側(cè)只檢測(cè)到單個(gè)扣件掩碼，則認(rèn)定為扣件缺失；之后，對(duì)扣件掩碼進(jìn)行全局二值化和輪廓查找處理并分別計(jì)算兩側(cè)扣件輪廓長(zhǎng)度（l1和l2），如式（3）所示，若鋼軌兩側(cè)扣件輪廓長(zhǎng)度差大于LT，則認(rèn)定存在扣件缺損。

圖2 扣件缺陷檢測(cè)流程Fig.2 Fastener defect detection flowchart

式中：LT——預(yù)定義的閾值。

相比常見(jiàn)的深度學(xué)習(xí)缺陷檢測(cè)方法，本文提出的“實(shí)例分割+傳統(tǒng)圖像處理”方法不受缺陷樣本稀缺的影響，通用性強(qiáng)、泛化性能好。在實(shí)例分割訓(xùn)練階段，不需考慮缺陷樣本稀缺問(wèn)題，訓(xùn)練正?？奂颖炯纯桑辉谕评黼A段，對(duì)扣件掩碼進(jìn)行輪廓查找操作并計(jì)算像素長(zhǎng)度，定量對(duì)比分析兩側(cè)扣件的差異，以此判定扣件是否存在缺陷。本方法可有效檢測(cè)w型和e型等多類扣件的缺失、缺損等缺陷，具有缺陷檢測(cè)率高、泛化性能好等優(yōu)勢(shì)。

2.2 基于改進(jìn)細(xì)粒度分類的鋼軌缺陷檢測(cè)

鋼軌缺陷主要有波浪磨耗、重型劃痕、擦傷壓陷、光帶異常和踏面剝離，圖3示出正常鋼軌及5類常見(jiàn)鋼軌缺陷。受鋼軌所占原圖區(qū)域比例較低、正常鋼軌和缺陷鋼軌數(shù)量差異巨大、缺陷類別樣本不均衡、缺陷差異細(xì)微等因素影響，不論使用圖像分類還是實(shí)例分割方法，都會(huì)出現(xiàn)漏檢率高、誤報(bào)率高的問(wèn)題。

圖3 正常鋼軌及5類常見(jiàn)鋼軌缺陷Fig.3 Normal rail and five defects of rail

為解決上述問(wèn)題，應(yīng)首先區(qū)分缺陷鋼軌和正常鋼軌，之后再對(duì)高分辨率的缺陷鋼軌區(qū)域進(jìn)行細(xì)分類，以實(shí)現(xiàn)更高的缺陷檢出率和缺陷細(xì)分類準(zhǔn)確率?；诖耍疚奶岢鐾ㄟ^(guò)融合實(shí)例分割和圖像分類實(shí)現(xiàn)鋼軌級(jí)聯(lián)缺陷檢測(cè)。缺陷檢測(cè)具體流程如圖4所示：第一階段，使用分割網(wǎng)絡(luò)，完成鋼軌定位和缺陷檢測(cè)；若存在缺陷，則提取高分辨率鋼軌圖像并送入第二階段輕量級(jí)細(xì)粒度分類網(wǎng)絡(luò)，實(shí)現(xiàn)鋼軌缺陷細(xì)分類。本文使用改進(jìn)的弱監(jiān)督數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)（weakly supervised data augmentation network，WS-DAN）[18]方法識(shí)別鋼軌的缺陷類別。

圖4 鋼軌缺陷檢測(cè)流程Fig.4 Flowchart of rail defect detection

（1）WS-DAN細(xì)粒度分類網(wǎng)絡(luò)

該方法采用基于弱監(jiān)督學(xué)習(xí)的圖像增強(qiáng)技術(shù)，結(jié)合注意力機(jī)制，使網(wǎng)絡(luò)聚焦差異關(guān)鍵區(qū)域，重點(diǎn)學(xué)習(xí)細(xì)微差異，實(shí)現(xiàn)精細(xì)化分類。圖5示出細(xì)粒度分類網(wǎng)絡(luò)結(jié)構(gòu)。

圖5 細(xì)粒度分類網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Structure of fine-grained classification network

在訓(xùn)練階段，首先對(duì)原圖進(jìn)行特征提取，并通過(guò)弱監(jiān)督注意力學(xué)習(xí)生成注意力圖（attention map）來(lái)表征對(duì)象的顯著特征；之后，一方面通過(guò)注意力裁剪（attention crop）和注意力刪除（attention drop）的方式實(shí)現(xiàn)圖像增強(qiáng)并將增廣數(shù)據(jù)集送入網(wǎng)絡(luò)訓(xùn)練，另一方面利用雙線性注意力池化機(jī)制融合注意力圖和特征圖；最后，計(jì)算交叉熵?fù)p失。

3 實(shí)驗(yàn)

本文實(shí)驗(yàn)分為軌道零部件定位實(shí)驗(yàn)、扣件缺陷檢測(cè)實(shí)驗(yàn)和鋼軌缺陷檢測(cè)實(shí)驗(yàn)3個(gè)部分。實(shí)驗(yàn)軟件環(huán)境如下：Ubuntu 16.04，NVIDIA Tesla V100 16G，Python 3.8，Pytorch 1.8。

3.1 軌道零部件定位實(shí)驗(yàn)

為驗(yàn)證本文提出的基于實(shí)例分割的軌道零部件定位算法的有效性，選取從多條高速鐵路線路和地鐵線路上收集的軌道零部件圖像作為本文的數(shù)據(jù)集。從數(shù)據(jù)集中篩選并人工標(biāo)注了3 015張軌道零部件圖像作為訓(xùn)練集，其中包含w型扣件圖像858張，e型扣件圖像3 894張，正常鋼軌圖像1 012張，缺陷鋼軌圖像1 541張。

對(duì)訓(xùn)練集訓(xùn)練600個(gè)周期，使用ImageNet預(yù)訓(xùn)練模型，前500次迭代使用預(yù)熱學(xué)習(xí)率。將初始學(xué)習(xí)率設(shè)置為0.001，在第300個(gè)和第500個(gè)周期時(shí)學(xué)習(xí)率分別衰減為初始學(xué)習(xí)率的0.1倍和0.01倍。

本文采用mAP（均值平均精度）指標(biāo)對(duì)軌道零部件定位模型的準(zhǔn)確性進(jìn)行驗(yàn)證，其定義如式（11）～式（14）所示：

式中：P——精確率；R——召回率；TP——檢測(cè)正確的軌道零部件個(gè)數(shù)；FN——未被檢測(cè)的軌道零部件個(gè)數(shù)；FP——檢測(cè)錯(cuò)誤的軌道零部件個(gè)數(shù)；TP+FP——檢測(cè)出的軌道零部件個(gè)數(shù)總數(shù)；TP+FN——真實(shí)軌道零部件個(gè)數(shù)總數(shù)；AP——PR曲線所圍成的面積，代表平均精度；C——類別數(shù)；APi——第i類的mAP值。

圖6示出IoU（平均交并比）分別取0.5到0.95之間10組閾值時(shí)模型的邊界框mAP和掩碼mAP檢測(cè)結(jié)果，并將原YOLACT算法和本文改進(jìn)的YOLACT算法進(jìn)行對(duì)比。IoU閾值越高，代表檢測(cè)難度越大。可以看出，本文提出的改進(jìn)YOLACT算法在邊界框mAP和掩碼mAP指標(biāo)上都優(yōu)于原YOLACT算法的，具有更精確和更細(xì)膩的分割結(jié)果。

圖6 實(shí)例分割模型mAP對(duì)比Fig.6 mAP comparison of instance segmentation models

為驗(yàn)證本文改進(jìn)的實(shí)例分割網(wǎng)絡(luò)的精度和速度，將其與YOLACT、SOLOv2和BlendMask做對(duì)比實(shí)驗(yàn)，結(jié)果如表1所示。表中所示mAP值為IoU取0.5到0.95這10組閾值的平均值。

表1 實(shí)例分割實(shí)驗(yàn)對(duì)比Tab.1 Instance segmentation experiment comparison

從實(shí)驗(yàn)結(jié)果可以看出，通過(guò)引進(jìn)Focal Loss和輕量化網(wǎng)絡(luò)等方法，本文提出的改進(jìn)YOLACT模型在邊界框mAP和掩碼mAP上都優(yōu)于其他模型的，分割速度也遠(yuǎn)遠(yuǎn)快于其他模型的，其代表性分割結(jié)果如圖7所示?？梢钥闯?，其對(duì)扣件、缺陷鋼軌等具有較高的分割精度。

圖7 實(shí)例分割結(jié)果樣例Fig.7 Instance segmentation result example

3.2 扣件缺陷檢測(cè)實(shí)驗(yàn)

在判定扣件缺損前，需預(yù)定義兩側(cè)扣件輪廓長(zhǎng)度差閾值LT。為此，采集了10組100張正?？奂D，通過(guò)實(shí)例分割，提取扣件掩碼進(jìn)行輪廓查找，計(jì)算扣件輪廓長(zhǎng)度l1、l2并作差取平均值?？梢缘贸稣？奂鄼C(jī)成像的平均長(zhǎng)度差為50像素左右。本文將缺損扣件閾值設(shè)定為正?？奂L(zhǎng)度差的兩倍，也就是將LT設(shè)定為100像素，即當(dāng)差值高于100像素時(shí)，則判定扣件缺損。

本文對(duì)163張缺損扣件圖片和204張正?？奂D片進(jìn)行檢測(cè)；同時(shí)，為進(jìn)一步驗(yàn)證本文提出的扣件缺陷檢測(cè)算法的性能，分別將其與線性SVM（支持向量機(jī)）結(jié)合方向梯度直方圖（histogram oriented gradient，HOG）特征檢測(cè)方法和單實(shí)例分割YOLACT檢測(cè)方法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表2所示。其中，F(xiàn)1分?jǐn)?shù)為識(shí)別準(zhǔn)確率和召回率的調(diào)和平均數(shù)。

表2 扣件缺陷檢測(cè)實(shí)驗(yàn)對(duì)比Tab.2 Fastener defect detection comparison

在163張缺陷扣件圖片中，本文提出的扣件缺陷檢測(cè)方法召回率為95.1%，F(xiàn)1得分為95.7。相比“HOG+SVM”方法和單實(shí)例分割YOLACT方法，其在缺陷檢測(cè)成功率上有大幅提升?？梢钥闯?，基于分析掩碼實(shí)例，比較輪廓長(zhǎng)度差判定扣件缺陷的算法具有更強(qiáng)的魯棒性和更高的檢測(cè)精度，精度達(dá)到了95%以上，可滿足實(shí)際缺陷檢測(cè)需要。

3.3 鋼軌缺陷檢測(cè)實(shí)驗(yàn)

鋼軌缺陷檢測(cè)采用“實(shí)例分割+細(xì)粒度圖像分類”的兩階段級(jí)聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)。在3.1節(jié)實(shí)例分割定位實(shí)驗(yàn)中，已經(jīng)將缺陷鋼軌分割定位并從原圖中提取出來(lái)，因此，本節(jié)將重點(diǎn)介紹第二階段的鋼軌缺陷細(xì)分類實(shí)驗(yàn)。在制作鋼軌缺陷分類訓(xùn)練集時(shí)，為減少人工裁剪鋼軌缺陷區(qū)域的工作量，使用半自動(dòng)標(biāo)注：將采集的軌道數(shù)據(jù)集送入上述已訓(xùn)練好的實(shí)例分割模型，自動(dòng)分割裁剪鋼軌缺陷區(qū)域，人工篩選各缺陷類別，并對(duì)數(shù)據(jù)集進(jìn)行翻轉(zhuǎn)、像素變換、添加噪聲等圖像增強(qiáng)操作，最終制作的各鋼軌缺陷類別數(shù)量如表3所示。

表3 鋼軌缺陷細(xì)分類訓(xùn)練集Tab.3 Rail defect fine-grained training set

將制作好的訓(xùn)練集送入改進(jìn)的WS-DAN細(xì)分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練，圖8示出WS-DAN算法在改進(jìn)前后的損失曲線對(duì)比圖?？梢钥闯觯倪M(jìn)前損失值維持在0.28，改進(jìn)后損失值維持在0.58，損失值存在0.3的差值正是使用標(biāo)簽平滑技術(shù)所致。

圖8 改進(jìn)前后損失曲線對(duì)比Fig.8 Comparison of loss curves before and after improvement

圖9為采用t分部隨機(jī)鄰接嵌入（t-SNE）技術(shù)對(duì)網(wǎng)絡(luò)倒數(shù)第二層的高維特征向量進(jìn)行降維并以二維形式可視化模型進(jìn)行預(yù)測(cè)的結(jié)果圖。相比改進(jìn)前，本文提出的改進(jìn)模型進(jìn)一步縮小了相同類別的間距，增大了不同類別間的間距，達(dá)到了聚類的目的，使模型對(duì)不同缺陷類別具有更高的敏感度和區(qū)分度。

圖9 可視化模型預(yù)測(cè)結(jié)果Fig.9 Visualization of model prediction results

為更全面地評(píng)測(cè)本文所提出的“實(shí)例分割+細(xì)粒度圖像分類”的級(jí)聯(lián)鋼軌缺陷檢測(cè)模型性能，本文采集1 239張軌道圖片作為測(cè)試集，各類別圖片數(shù)量如表4所示。

表4 鋼軌缺陷級(jí)聯(lián)檢測(cè)測(cè)試集Tab.4 Rail defect cascade detection test set

首先將測(cè)試集送入第一階段的實(shí)例分割模型并提取檢測(cè)出的缺陷鋼軌區(qū)域，然后送入第二階段的改進(jìn)WS-DAN模型進(jìn)行鋼軌缺陷細(xì)分類。將本文方法與主流方法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表5所示。

表5 鋼軌缺陷檢測(cè)結(jié)果對(duì)比Tab.5 Comparison of rail defect detection results

從實(shí)驗(yàn)結(jié)果可以看出，使用MobileNet V2對(duì)原圖進(jìn)行缺陷分類，其缺陷檢出率較高，達(dá)到了95.5%，但缺陷細(xì)分類準(zhǔn)確率只有55.7%；使用單實(shí)例分割YOLACT檢測(cè)方法，受分割、分類、定位等多任務(wù)影響，其缺陷檢出率和缺陷細(xì)分類準(zhǔn)確率都不理想。目前，即使ImageNet中表現(xiàn)優(yōu)異的ResNeXt101和EfficientNet-b7，用于本實(shí)驗(yàn)時(shí)也存在較為嚴(yán)重的誤檢和漏檢情況，其鋼軌缺陷細(xì)分類準(zhǔn)確率分別只有57.3%和35.5%。本文方法通過(guò)融合實(shí)例分割和細(xì)粒度圖像分類方法，實(shí)現(xiàn)了兩階段鋼軌缺陷檢測(cè)，既減輕了繁重的實(shí)例分割任務(wù)，又充分發(fā)揮了圖像分類的優(yōu)勢(shì)，使實(shí)例分割專注鋼軌缺陷檢出率，圖像分類專注鋼軌缺陷細(xì)分類準(zhǔn)確率，最終達(dá)到98%的缺陷檢出率和95%的缺陷細(xì)分類準(zhǔn)確率。相比其他方法有大幅提升，本文提出的級(jí)聯(lián)網(wǎng)絡(luò)的鋼軌缺陷檢測(cè)方法具有更高的檢測(cè)精度和更強(qiáng)的泛化能力，可滿足實(shí)際缺陷檢測(cè)需要。

4 結(jié)語(yǔ)

本文提出一種改進(jìn)的軌道零部件級(jí)聯(lián)缺陷檢測(cè)算法，其通過(guò)分析扣件和鋼軌缺陷特征，融合實(shí)例分割、傳統(tǒng)圖像處理和細(xì)粒度圖像分類，實(shí)現(xiàn)零部件定位和缺陷檢測(cè)；同時(shí)，利用從多條高速鐵路線路和地鐵線路上收集的軌道零部件數(shù)據(jù)集，對(duì)本文所提方法的有效性進(jìn)行了實(shí)驗(yàn)驗(yàn)證。結(jié)果表明，該算法可在樣本稀缺的情況下，有效檢測(cè)扣件斷裂和丟失等缺陷，準(zhǔn)確率為95.7%；在鋼軌存在細(xì)微缺陷的條件下，鋼軌缺陷檢出率和缺陷細(xì)分類準(zhǔn)確率分別為98%和95%，對(duì)實(shí)際軌道巡檢具有較高的理論和實(shí)用價(jià)值。后續(xù)將在進(jìn)一步提高檢測(cè)精度的基礎(chǔ)上，研究模型壓縮和硬件加速技術(shù)，實(shí)現(xiàn)更高的檢測(cè)速度，這是未來(lái)該領(lǐng)域的重點(diǎn)研究方向。