程敦誠(chéng)，王 倩，吳福慶，王昕鈺，牛英杰，葉 壯

(西南交通大學(xué) 電氣工程學(xué)院，四川 成都 611756)

高速鐵路接觸網(wǎng)是高速鐵路(以下簡(jiǎn)稱“高鐵”)牽引供電系統(tǒng)中的關(guān)鍵基礎(chǔ)設(shè)備。在列車的長(zhǎng)時(shí)間運(yùn)行中，接觸網(wǎng)零部件等具有動(dòng)態(tài)磨損的設(shè)備大都工作在自然環(huán)境中且無(wú)備用，不可避免地會(huì)遭受弓網(wǎng)系統(tǒng)的機(jī)械振動(dòng)和電氣影響，是高鐵牽引供電系統(tǒng)中的薄弱環(huán)節(jié)[1]。高鐵接觸網(wǎng)斜腕臂套筒雙耳是弓網(wǎng)系統(tǒng)重要的承力部件，對(duì)于頂緊螺栓式套筒雙耳，頂緊螺栓是其重要的緊固件，由于列車的高頻振動(dòng)等問(wèn)題，會(huì)產(chǎn)生頂緊螺栓的松脫、脫落兩種不良狀態(tài)，從而降低腕臂的承力能力，增加事故發(fā)生率[2]。因此，對(duì)頂緊螺栓狀態(tài)進(jìn)行高效檢測(cè)，及時(shí)對(duì)其不良狀態(tài)進(jìn)行預(yù)警，給出維修建議，對(duì)保障高鐵牽引供電系統(tǒng)的穩(wěn)定運(yùn)行非常重要。

中國(guó)是世界高速鐵路運(yùn)營(yíng)里程最長(zhǎng)，運(yùn)營(yíng)速度最高，在建規(guī)模最大的國(guó)家。截至2020年底，中國(guó)高鐵路線長(zhǎng)度已超3.5萬(wàn)km，給出行帶來(lái)便利的同時(shí)增加了檢測(cè)的負(fù)荷和難度。人工巡檢、利用高清圖片線上人工判圖等檢測(cè)方式效率低下、需要大量人力。如何快速高效地實(shí)現(xiàn)鐵路接觸網(wǎng)零部件狀態(tài)的智能檢測(cè)已成為行業(yè)研究重點(diǎn)之一[3-4]。目前，接觸網(wǎng)懸掛狀態(tài)檢測(cè)監(jiān)測(cè)裝置(4C)已在全國(guó)18個(gè)鐵路局集團(tuán)有限公司投入使用。為數(shù)據(jù)中心提供了海量的接觸網(wǎng)圖片，奠定了非接觸式圖像檢測(cè)的基礎(chǔ)[5]。

接觸網(wǎng)零部件的狀態(tài)檢測(cè)可以分為定位和分類兩步。隨著深度學(xué)習(xí)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)已成為接觸網(wǎng)零部件定位中的主流算法。文獻(xiàn)[6]通過(guò)Faster RCNN模型對(duì)接觸網(wǎng)等電位線進(jìn)行定位；文獻(xiàn)[7]通過(guò)改進(jìn)的SSD算法對(duì)接觸網(wǎng)吊弦和絕緣子進(jìn)行定位。

在對(duì)接觸網(wǎng)零部件進(jìn)行分類操作時(shí)，目前尚未得到魯棒性很好的分類模型。分類時(shí)若直接利用圖像分割，邊緣檢測(cè)等數(shù)字處理技術(shù)很容易產(chǎn)生錯(cuò)誤的分割，對(duì)接觸網(wǎng)零部件的狀態(tài)進(jìn)行誤判斷；分類時(shí)若直接利用深度學(xué)習(xí)的卷積分類模型對(duì)其不同狀態(tài)進(jìn)行分類，在訓(xùn)練過(guò)程中會(huì)出現(xiàn)嚴(yán)重的過(guò)擬合情況，訓(xùn)練誤差遠(yuǎn)小于測(cè)試誤差，無(wú)法達(dá)到實(shí)際應(yīng)用的要求[8]。文獻(xiàn)[9]通過(guò)生成對(duì)抗網(wǎng)絡(luò)GANs(Generative Adversarial Networks)擴(kuò)展了接觸網(wǎng)開口銷脫落狀態(tài)的樣本數(shù)量，之后，利用VGG16卷積分類模型實(shí)現(xiàn)開口銷正常、脫落狀態(tài)的檢測(cè)；與文獻(xiàn)[9]中的開口銷檢測(cè)不同，對(duì)于頂緊螺栓，需要定量判斷薄螺母的移動(dòng)距離來(lái)對(duì)不同狀態(tài)進(jìn)行定性檢測(cè)，螺母松動(dòng)產(chǎn)生的微小位移使得頂緊螺栓的松脫和脫落狀態(tài)差別極小，所以僅僅擴(kuò)展缺陷樣本后進(jìn)行分類還是不能取得準(zhǔn)確的檢測(cè)結(jié)果。

針對(duì)接觸網(wǎng)零部件數(shù)據(jù)缺陷樣本不足、狀態(tài)變化特征粒度差別小等問(wèn)題，語(yǔ)義分割[10]有望解決這些難題。目前，語(yǔ)義分割模型已經(jīng)在安全帶檢測(cè)和鐵軌路牌識(shí)別中得到了應(yīng)用。文獻(xiàn)[11]提出的安全帶分割算法已經(jīng)在公安監(jiān)控領(lǐng)域?qū)崿F(xiàn)了應(yīng)用；文獻(xiàn)[12]利用FCN語(yǔ)義分割模型實(shí)現(xiàn)了鐵軌路牌的字符分割，滿足了鐵路局集團(tuán)有限公司的實(shí)際需求。文獻(xiàn)[13-14]利用語(yǔ)義分割分別實(shí)現(xiàn)了對(duì)接觸網(wǎng)開口銷和接觸網(wǎng)定位環(huán)的狀態(tài)檢測(cè)。

本文在上述研究的基礎(chǔ)上，結(jié)合接觸網(wǎng)頂緊螺栓的結(jié)構(gòu)特征，提出了SSD512定位算法和U-net8語(yǔ)義分割模型，基于SSD512和U-net8這兩種深度學(xué)習(xí)算法設(shè)計(jì)了頂緊螺栓狀態(tài)智能檢測(cè)方法，并進(jìn)行試驗(yàn)驗(yàn)證。

1 相關(guān)理論分析

1.1 SSD定位算法基本原理

單次多框檢測(cè)器(Single Shot Multibox Detector，SSD)是一種基于多尺度檢測(cè)的定位算法，它融合了Faster R-CNN的錨框思想和YOLO的回歸思想，在定位準(zhǔn)確率和效率上都具有優(yōu)勢(shì)[15]。訓(xùn)練過(guò)程中，通過(guò)對(duì)不同特征層上預(yù)設(shè)的Default Boxes進(jìn)行回歸和類別預(yù)測(cè)來(lái)實(shí)現(xiàn)定位和分類。SSD采用300×300大小的輸入，在去除全連接層的基礎(chǔ)網(wǎng)絡(luò)VGG16[16]后添加多個(gè)卷積層，總共選取了6個(gè)不同尺度的特征層進(jìn)行多尺度定位檢測(cè)。

假設(shè)SSD算法用于定位的特征圖有m個(gè)，則第k個(gè)特征層上預(yù)設(shè)的Default Boxes比例sk的計(jì)算式為

( 1 )

式中：smin通常設(shè)置為0.2；smax設(shè)置為0.9。計(jì)算出的sk即為第k個(gè)特征層上的Default Boxes的面積的開方值，每個(gè)特征層上都設(shè)有5個(gè)不同長(zhǎng)寬比例的Default Boxes，長(zhǎng)寬比ar∈[1,2,3,1/2,1/3],其中ar=1時(shí)，還增加了一種sk的計(jì)算方法為

( 2 )

( 3 )

如圖1所示,假設(shè)在定位過(guò)程中產(chǎn)生了一個(gè)大小為4×4的特征層，取ar∈[1,2,1/2]，則每個(gè)特征點(diǎn)可以生成4個(gè)Default Boxes用于匹配待定位部件，圖中用紅色框表示。

圖1 Default Boxes的示意

1.2 U-net語(yǔ)義分割模型基本原理

語(yǔ)義分割是一種基于像素級(jí)別的分類模型，它基于像素對(duì)圖片各部分進(jìn)行分類標(biāo)記。人工分類標(biāo)記過(guò)的圖片稱為標(biāo)簽圖片；語(yǔ)義分割模型保留了圖片分類模型用于特征提取的卷積池化操作，去除了模型最后的全連接層，不僅實(shí)現(xiàn)了對(duì)圖片特征的提取，還保留了輸入圖片的空間信息。

U-net[17]是一種語(yǔ)義分割所采用的優(yōu)秀模型，具有典型的從端到端的編碼-譯碼結(jié)構(gòu)。訓(xùn)練過(guò)程中采用了圖片彈性形變的方式進(jìn)行數(shù)據(jù)增強(qiáng)。在模型的前半部分通過(guò)卷積池化處理對(duì)輸入圖片進(jìn)行4次降采樣和特征提取，對(duì)圖片實(shí)現(xiàn)了16倍的降采樣；后半部分通過(guò)4次上采樣對(duì)圖片進(jìn)行細(xì)節(jié)的還原，恢復(fù)圖片分辨率。模型的創(chuàng)新點(diǎn)在于將4個(gè)下采樣階段的不同特征層和上采樣階段的具有相同大小的特征層進(jìn)行跨層連接，生成具有雙倍通道的特征圖，實(shí)現(xiàn)特征融合。充分地利用了原始輸入圖片的結(jié)構(gòu)信息，幫助上采樣階段進(jìn)行細(xì)節(jié)還原。

2 頂緊螺栓狀態(tài)智能檢測(cè)方法框架

本文設(shè)計(jì)的頂緊螺栓狀態(tài)智能檢測(cè)方法分包含三部分：頂緊螺栓的定位和截?。豁斁o螺栓的語(yǔ)義分割；頂緊螺栓的狀態(tài)檢測(cè)。首先通過(guò)SSD512實(shí)現(xiàn)頂緊螺栓的快速定位和截?。恢笸ㄟ^(guò)U-net8對(duì)截取的頂緊螺栓圖片進(jìn)行處理，得到頂緊螺栓語(yǔ)義分割后的圖片(語(yǔ)義圖片)，語(yǔ)義圖片將頂緊螺栓的語(yǔ)義信息分為螺桿和薄螺母，分別用綠、藍(lán)色塊表示，通過(guò)判斷語(yǔ)義圖片的差別來(lái)判斷頂緊螺栓的不同狀態(tài)。系統(tǒng)的整體框架見圖2。

圖2 頂緊螺栓狀態(tài)智能檢測(cè)方法框架

3 頂緊螺栓狀態(tài)智能檢測(cè)方法及試驗(yàn)驗(yàn)證

3.1 頂緊螺栓的定位和截取

SSD的算法是在VOC2012(Visual Object Classes Challenge2012)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試的，圖片都在500×500像素左右。雖然4C檢測(cè)車采集的接觸網(wǎng)支撐裝置腕臂結(jié)構(gòu)圖片像素值為6 600×4 400，遠(yuǎn)遠(yuǎn)大于VOC圖片大小，但其中待定位的頂緊螺栓占全局像素還不足0.1%，根據(jù)國(guó)際光學(xué)工程學(xué)會(huì)(Society of Photo-Optical Instrumentation Engineers，SPIE)的定義，當(dāng)待定位目標(biāo)小于圖像像素的 0.12%時(shí)即劃為小目標(biāo)，因此頂緊螺栓的定位是小目標(biāo)定位。SSD算法對(duì)大目標(biāo)定位效果很好，但對(duì)小目標(biāo)的定位效果欠佳。根據(jù)式( 1 )～式( 3 )可以計(jì)算出SSD最底層用于定位小目標(biāo)的特征層上的最小Default Boxes所占總體像素的值大于10%，難以對(duì)接觸網(wǎng)頂緊螺栓等小目標(biāo)進(jìn)行匹配和定位。模型的結(jié)構(gòu)和參數(shù)的設(shè)計(jì)不能直接用于接觸網(wǎng)頂緊螺栓的定位。

3.1.1 SSD512定位算法設(shè)計(jì)

為了提高對(duì)頂緊螺栓等小目標(biāo)的定位效果，基于1.1節(jié)所述的SSD基本原理，將網(wǎng)絡(luò)的輸入設(shè)計(jì)成512×512像素值，以此增加了各個(gè)用于檢測(cè)的特征層像素值的大??；SSD的底層特征層映射到接觸網(wǎng)零部件檢測(cè)圖片的像素范圍較小，主要用于定位頂緊螺栓等小目標(biāo)。為了實(shí)現(xiàn)小目標(biāo)的定位，本文將底層的Default Boxes尺度設(shè)置的很小，smin設(shè)置為0.02，保證有多個(gè)底層特征層可以匹配定位到像素值較小的頂緊螺栓。隨著輸入的增大，用于檢測(cè)的特征層變大，導(dǎo)致各特征層的感受野減小。對(duì)此，本文增加了一層用于檢測(cè)的特征層，實(shí)現(xiàn)了在7個(gè)不同尺度的特征層上對(duì)頂緊螺栓的定位，增加了和小目標(biāo)的匹配度。上述的設(shè)計(jì)也使得模型最后一層的特征層大小不變，可以在支撐裝置腕臂結(jié)構(gòu)圖片中得到較大的像素映射范圍，保證了模型對(duì)大目標(biāo)的定位也不受影響。將根據(jù)頂緊螺栓特點(diǎn)設(shè)計(jì)的SSD算法命名為SSD512，模型結(jié)構(gòu)見圖3，其中輸入圖片的像素大小為512×512×1,第一個(gè)用于檢測(cè)的特征層conv4-2的大小為64×64×512，各特征圖的大小見圖3。

圖3 SSD512的結(jié)構(gòu)

3.1.2 基于SSD512的頂緊螺栓的定位驗(yàn)證及分析

試驗(yàn)數(shù)據(jù)選取4C檢測(cè)車在京廣線采集的包含隧道內(nèi)外等多種環(huán)境的德式一類接觸網(wǎng)支撐裝置腕臂結(jié)構(gòu)圖片，共3 410張，保證了試驗(yàn)數(shù)據(jù)的多樣性。標(biāo)簽為包含位置信息的xml格式文件。其中，用2 900張圖片和對(duì)應(yīng)的xml文件作為訓(xùn)練集，410張圖片作為驗(yàn)證集，剩下的100張圖片作為測(cè)試集。在支撐裝置腕臂結(jié)構(gòu)圖片組成的數(shù)據(jù)集上迭代1 000次，前800次學(xué)習(xí)率為10-5，后200次學(xué)習(xí)率設(shè)置為10-6。訓(xùn)練過(guò)程中，輸入的腕臂結(jié)構(gòu)圖片先經(jīng)過(guò)VGG16網(wǎng)絡(luò)后進(jìn)行了一系列的卷積池化操作，對(duì)頂緊螺栓進(jìn)行了特征提取。之后將conv4-2、fc7等7個(gè)特征層上的Default Boxes與預(yù)設(shè)標(biāo)簽進(jìn)行比對(duì)，并計(jì)算交并比IoU為

( 4 )

式中：G為螺栓在支撐裝置腕臂結(jié)構(gòu)圖片中實(shí)際所處位置；D為SSD512算法特征層預(yù)測(cè)的該頂緊螺栓所處的位置，即眾多Default Boxes中的一個(gè)；交并此指標(biāo)表示G、D兩者的重疊度。通過(guò)對(duì)該指標(biāo)設(shè)置合理的閾值置信度，可以篩選掉絕大多數(shù)Default Boxes，SSD512中對(duì)該閾值設(shè)置為0.5。IoU符合要求的Default Boxes按從大到小的規(guī)則進(jìn)行排序，留下前200個(gè)框，最后通過(guò)非最大值抑制算法(Non-Maximum Suppression，NMS)進(jìn)一步篩選，得到最終的定位結(jié)果。

SSD512的損失函數(shù)為

( 5 )

式中：x為Default Boxes和實(shí)際標(biāo)簽是否匹配，匹配的話將進(jìn)行損失函數(shù)計(jì)算；c為Default Boxes對(duì)頂緊螺栓定位結(jié)果的置信度；l和g分別為符合要求的Default Boxes坐標(biāo)偏移和對(duì)應(yīng)的頂緊螺栓實(shí)際所在位置；N為匹配到的Default Boxes的個(gè)數(shù);Lconf(x,c)為位置預(yù)測(cè)損失函數(shù);Lloc(x,l,g)為類別預(yù)測(cè)損失函數(shù)；α為加權(quán)系數(shù)，為了強(qiáng)調(diào)對(duì)小目標(biāo)的定位效果，將α設(shè)置為2?？偟膿p失函數(shù)由定位誤差和分類誤差的加權(quán)和組成。模型訓(xùn)練過(guò)程中采用的優(yōu)化器的Adam優(yōu)化器。SSD512訓(xùn)練過(guò)程中的損失值變化曲線見圖4。

圖4 SSD512訓(xùn)練過(guò)程的loss變化

由圖4可見，當(dāng)訓(xùn)練到600次時(shí)已能取得良好的收斂效果。其中測(cè)試集的平均損失值穩(wěn)定在1.3，驗(yàn)證集的平均損失值在0.8，能達(dá)到很好的定位效果。為了驗(yàn)證SSD512算法的有效性和魯棒性，對(duì)100張支撐裝置腕臂結(jié)構(gòu)圖片進(jìn)行測(cè)試試驗(yàn)，通過(guò)選擇算法模型輸入大小input、特征層層數(shù)d和最小Default Boxes比例smin三個(gè)主要參數(shù)來(lái)驗(yàn)證提出的SSD512算法定位的有效性。SSD采用文獻(xiàn)[15]中的參數(shù):Input=300，d=6，smin=0.2；模型1參數(shù):Input=300，d=6，smin=0.02。SSD512的參數(shù)為Input=512，d=6,smin=0.02；模型2的參數(shù)為Input=512，d=7，smin=0.02。

在測(cè)試試驗(yàn)中增加了對(duì)平腕臂絕緣子的定位，對(duì)比稍大目標(biāo)的定位效果。通過(guò)控制變量法對(duì)算法結(jié)構(gòu)和參數(shù)設(shè)計(jì)的合理性進(jìn)行驗(yàn)證。用ACC來(lái)對(duì)算法進(jìn)行評(píng)估，準(zhǔn)確率ACC表示算法定位的準(zhǔn)確率，為定位到零部件的個(gè)數(shù)和實(shí)際零部件總數(shù)的比值。100張腕臂結(jié)構(gòu)圖片中有100個(gè)平腕臂絕緣子和400個(gè)頂緊螺栓。

對(duì)比試驗(yàn)的結(jié)果如表1所示。

表1 不同SSD算法參數(shù)的測(cè)試結(jié)果

由表1可見，對(duì)比表1中模型1和SSD試驗(yàn)的結(jié)果可以看出，對(duì)smin的縮小處理增加了可用于匹配頂緊螺栓等小目標(biāo)的Default Boxes的個(gè)數(shù)，明顯地增加了模型對(duì)小目標(biāo)的定位效果；對(duì)比模型2和模型1以及SSD512和模型2的試驗(yàn)結(jié)果表明，增加模型的輸入大小和用于檢測(cè)的特征層的個(gè)數(shù)，也能提升定位準(zhǔn)確率。

SSD512的定位效果見圖5。

圖5 SSD512的定位效果

3.2 頂緊螺栓的語(yǔ)義分割

基于SSD512定位到頂緊螺栓后，可以得到頂緊螺栓所在Default Boxes邊框的四點(diǎn)坐標(biāo)，并可以將其圖片截取出來(lái)(頂緊螺栓圖片)。考慮到定位過(guò)程中Default Boxes的偏移、保證頂緊螺栓截取的完整性，將提取邊界適當(dāng)放大，以96×96的像素大小截取出完整的頂緊螺栓部件，并將其邊長(zhǎng)歸一化到224×224，用于保證語(yǔ)義分割的精度。

目前沒(méi)有用于接觸網(wǎng)零部件語(yǔ)義分割方面的公開數(shù)據(jù)集，參考VOC2012等語(yǔ)義分割數(shù)據(jù)集，隨機(jī)選取250張頂緊螺栓正常狀態(tài)圖片、150張頂緊螺栓松脫狀態(tài)圖片和80張頂緊螺栓脫落狀態(tài)圖片，使用Python開源的LabelMe等軟件對(duì)其進(jìn)行標(biāo)記，制作可用于接觸網(wǎng)頂緊螺栓語(yǔ)義分割模型訓(xùn)練的標(biāo)簽圖片，標(biāo)記的標(biāo)簽圖片見圖6。

圖6 頂緊螺栓圖片和對(duì)應(yīng)的標(biāo)簽圖片

圖6 展示了不同狀態(tài)下的頂緊螺栓圖片和其對(duì)應(yīng)的標(biāo)簽圖片。頂緊螺栓的薄螺母被標(biāo)記為藍(lán)色，螺桿標(biāo)記為綠色。正常狀態(tài)下，薄螺母緊貼接觸網(wǎng)腕臂支架插口；松脫狀態(tài)下，伴隨頂緊螺栓的松動(dòng)，薄螺母與接觸網(wǎng)腕臂插口不再緊貼，具有一定的間距；脫落狀態(tài)伴隨著頂緊螺栓離開插口。

U-net采用彈性形變的數(shù)據(jù)增強(qiáng)方式可以減少標(biāo)簽圖片標(biāo)記的工作量，還可以增加模型的泛化能力，但是頂緊螺栓是剛性零部件，彈性形變的數(shù)據(jù)增強(qiáng)會(huì)產(chǎn)生不符合實(shí)際的頂緊螺栓圖片；U-net對(duì)輸入圖片進(jìn)行了切割和邊緣鏡像操作，輸入的大小為572×572×1，輸出的語(yǔ)義圖片為388×388×2，和頂緊螺栓圖片大小相差數(shù)倍；U-net為像素點(diǎn)的二分類模型，頂緊螺栓圖片的語(yǔ)義分割是一個(gè)像素點(diǎn)三分類問(wèn)題。所以，U-net的參數(shù)設(shè)計(jì)不能直接用于頂緊螺栓的語(yǔ)義分割，需要進(jìn)行改進(jìn)優(yōu)化。

3.2.1 U-net8語(yǔ)義分割模型設(shè)計(jì)

為了增加模型訓(xùn)練速度，根據(jù)頂緊螺栓數(shù)據(jù)集的特點(diǎn)，基于1.2節(jié)所述U-net的基本原理對(duì)模型進(jìn)行設(shè)計(jì)。訓(xùn)練過(guò)程中改變了數(shù)據(jù)增強(qiáng)的方法，對(duì)輸入的頂緊螺栓原圖和標(biāo)簽圖片做了相同的隨機(jī)翻轉(zhuǎn)、偏移等處理；為了提高語(yǔ)義的豐富性和辨識(shí)度，便于在之后的檢測(cè)過(guò)程中有效地將頂緊螺栓的不同狀態(tài)區(qū)分開來(lái)，將模型輸出的灰度語(yǔ)義圖，設(shè)計(jì)為三通道的標(biāo)準(zhǔn)RGB圖片格式，通過(guò)3個(gè)通道像素值的組合判斷語(yǔ)義信息。同時(shí)，改變了模型的輸入方式，降低了原始模型的輸入大小，使得模型的輸入輸出在同一尺度224×224×3；將16倍降采樣的U-net只進(jìn)行了3次降采樣，新設(shè)計(jì)的模型按采樣倍率定義為U-net8和擁有更少參數(shù)的4倍降采樣的U-net4，大大加快了訓(xùn)練時(shí)間。

U-net8具有對(duì)稱的結(jié)構(gòu)，U形結(jié)構(gòu)左側(cè)為降采樣過(guò)程，對(duì)特征進(jìn)行提取，經(jīng)過(guò)3次降采樣，特征層大小分別為112×112、56×56、28×28，特征層深度為128、256、512。右側(cè)為像素的恢復(fù)過(guò)程，各層參數(shù)均在圖7中進(jìn)行了標(biāo)注，3次上采樣后模型最終輸出的語(yǔ)義圖片為224×224×3。U-net8的模型結(jié)構(gòu)見圖7。

圖7 U-net8的結(jié)構(gòu)

3.2.2 頂緊螺栓語(yǔ)義分割模型性能驗(yàn)證及分析

為了在所設(shè)計(jì)的U-net8和U-net4中選擇適合于頂緊螺栓語(yǔ)義分割的模型，本文進(jìn)行了對(duì)比試驗(yàn)。將340張截取的頂緊螺栓圖片用于訓(xùn)練，140張組成驗(yàn)證集。語(yǔ)義分割試驗(yàn)階段優(yōu)化器采用Adam，學(xué)習(xí)率為0.000 1，采用IoU作為分割的準(zhǔn)確度，對(duì)模型的分割效果進(jìn)行評(píng)估，用交并比損失函數(shù)(1-IoU)加上圖片的交叉熵?fù)p失函數(shù)作為U-net8的總體損失函數(shù)。

∑[Alog2B+(1-A)log2(1-B)]

( 6 )

式中：A為語(yǔ)義分割模型的標(biāo)簽圖片，在模型訓(xùn)練過(guò)程幫助模型調(diào)參；B為訓(xùn)練好的模型在驗(yàn)證試驗(yàn)中輸出的語(yǔ)義圖片。兩者的相似度反映了訓(xùn)練好的模型性能的好壞。對(duì)3種模型均在480張截取的頂緊螺栓圖片和其對(duì)應(yīng)的標(biāo)簽圖片上面進(jìn)行訓(xùn)練和驗(yàn)證，比較訓(xùn)練過(guò)程中l(wèi)oss和IoU的變化曲線以及測(cè)試時(shí)的分割結(jié)果。

訓(xùn)練過(guò)程中l(wèi)oss和IoU變化曲線見圖8。由圖8可見，對(duì)頂緊螺栓進(jìn)行語(yǔ)義分割時(shí)，U-net8和U-net在訓(xùn)練過(guò)程都表現(xiàn)出很好的性能。U-net由于過(guò)多的參數(shù)導(dǎo)致前期訓(xùn)練較慢，U-net4則因?yàn)閰?shù)過(guò)少，導(dǎo)致IoU較低，loss最大。U-net8不僅能在分割精度上和U-net持平，訓(xùn)練過(guò)程中也收斂更快。最后訓(xùn)練得到的U-net8IoU穩(wěn)定在0.85，可以得到很好的分割結(jié)果。因此，本文選擇U-net8進(jìn)行頂緊螺栓的語(yǔ)義分割。

圖8 U-net8訓(xùn)練過(guò)程的loss和IoU變化

3.3 頂緊螺栓的狀態(tài)檢測(cè)

根據(jù)鐵路行業(yè)關(guān)于支撐裝置腕臂的相關(guān)標(biāo)準(zhǔn)，頂緊螺栓薄螺母的規(guī)格需要符合相關(guān)的國(guó)家標(biāo)準(zhǔn)[18]，薄螺母的寬度和直徑是統(tǒng)一的，可以由薄螺母和頂緊螺栓各部分的比例關(guān)系對(duì)頂緊螺栓的移動(dòng)距離進(jìn)行定量測(cè)量，進(jìn)而對(duì)頂緊螺栓的不同狀態(tài)進(jìn)行檢測(cè)。

訓(xùn)練好U-net8后，通過(guò)輸入截取的頂緊螺栓圖片來(lái)獲得頂緊螺栓的語(yǔ)義圖片。為了實(shí)現(xiàn)對(duì)頂緊螺栓各部分的對(duì)比、定量測(cè)量，需要將語(yǔ)義圖片旋轉(zhuǎn)至同一平面進(jìn)行投影比較。利用Canny邊緣檢測(cè)等算法可以將語(yǔ)義圖片旋轉(zhuǎn)至相同平面。

邊緣提取對(duì)比見圖9。圖9(b)為Canny算子提取的頂緊螺栓邊緣特征，圖9(c)為圖9(a)經(jīng)U-net8語(yǔ)義分割處理后得到的頂緊螺栓語(yǔ)義圖片。圖9(d)為U-net8處理后再進(jìn)行Canny邊緣檢測(cè)所得的結(jié)果。薄螺母、螺桿部件的輪廓都能進(jìn)行很好的提取，方便了后續(xù)的旋轉(zhuǎn)操作。語(yǔ)義分割模型的引入為之后頂緊螺栓狀態(tài)檢測(cè)的可靠性提供了保證。

圖9 邊緣提取的對(duì)比

頂緊螺栓狀態(tài)檢測(cè)的具體步驟如下：

Step1語(yǔ)義圖片藍(lán)色、綠色像素的統(tǒng)計(jì)。根據(jù)圖片中藍(lán)色以及綠色連通域的有無(wú)判斷頂緊螺栓的脫落狀態(tài)。對(duì)語(yǔ)義信息中僅有黑色色塊(僅有插口)的語(yǔ)義圖片，判斷為缺失狀態(tài)。對(duì)頂緊螺栓脫落和其他狀態(tài)對(duì)應(yīng)的分割圖片進(jìn)行像素點(diǎn)統(tǒng)計(jì)時(shí)，發(fā)現(xiàn)緊螺栓脫落狀態(tài)對(duì)應(yīng)的分割圖片的像素點(diǎn)小于100，其他狀態(tài)對(duì)應(yīng)的分割圖片的像素點(diǎn)遠(yuǎn)遠(yuǎn)大于100。所以，可以將藍(lán)色和綠色像素值均少于閾值100的語(yǔ)義圖片判斷為松脫狀態(tài)。

Step2語(yǔ)義圖片旋轉(zhuǎn)至水平位置。如圖10所示，可以通過(guò)確定語(yǔ)義圖片中某一直線與水平面的夾角確定旋轉(zhuǎn)角度將其旋轉(zhuǎn)至水平位置。利用RGB三色像素值的明顯區(qū)別，可以很方便地對(duì)語(yǔ)義圖片中的特定顏色進(jìn)行提取和處理。因此，可以對(duì)頂緊螺栓語(yǔ)義圖片進(jìn)行藍(lán)色色塊提取，利用薄螺母計(jì)算旋轉(zhuǎn)角度。提取藍(lán)色語(yǔ)義后，先通過(guò)Canny算子描繪出薄螺母邊緣，結(jié)合Hough直線檢測(cè)[19]，獲得薄螺母邊緣線中長(zhǎng)邊與水平面的傾角，利用該傾角將圖10(a)旋轉(zhuǎn)至水平位置。

圖10 旋轉(zhuǎn)角度的測(cè)量

Step3語(yǔ)義圖片的投影處理。如圖11所示，先對(duì)頂緊螺栓語(yǔ)義圖片進(jìn)行綠色色塊提取并進(jìn)行二值化處理，得到螺桿區(qū)域。之后，將二值化圖片進(jìn)行像素值的水平投影，較短白色色塊的投影長(zhǎng)度即為薄螺母和插口的距離，兩個(gè)白色色塊之間的長(zhǎng)度即為薄螺母的厚度。對(duì)投影圖片中的白色色塊進(jìn)行分析，若只有一個(gè)白色色塊，則證明頂緊螺栓處于正常的狀態(tài)，若出現(xiàn)兩個(gè)白色色塊，則需要通過(guò)比例關(guān)系判斷是否松脫。

圖11 水平投影處理

Step4定量測(cè)量。如圖12所示，圖中標(biāo)識(shí)的線段a為薄螺母和插口距離，b為薄螺母寬度，c為螺桿頭部到薄螺母的長(zhǎng)度，(a+b+c)表示螺桿突出的總長(zhǎng)，通過(guò)b/(a+b+c)的比例關(guān)系和閾值的大小關(guān)系來(lái)確定頂緊螺栓是否松脫。頂緊螺栓在正常狀態(tài)時(shí)，薄螺母和螺桿螺母長(zhǎng)度之和的比例接近0.2。列車振動(dòng)導(dǎo)致螺桿和螺母突出距離增大，b/(a+b+c)的比例會(huì)減小，通過(guò)比例減小的程度判斷螺母的位置。試驗(yàn)表明，當(dāng)b/(a+b+c)<0.185時(shí)，判斷頂緊螺栓為松脫狀態(tài)，需要對(duì)該不良狀態(tài)進(jìn)行預(yù)警。0.185能有效將頂緊螺栓兩種不同狀態(tài)的語(yǔ)義圖片進(jìn)行區(qū)分。

圖12 間距的測(cè)量

4 頂緊螺栓狀態(tài)智能檢測(cè)方法對(duì)比驗(yàn)證及分析

基于前文給出的頂緊螺栓智能檢測(cè)方法，采用TensorFlow-gpu的深度學(xué)習(xí)框架，試驗(yàn)環(huán)境NVIDIA GeForce RTX2060顯卡，16 GB運(yùn)行內(nèi)存，CPU@2.9 GHz處理器，對(duì)方法的有效性進(jìn)行驗(yàn)證。

對(duì)測(cè)試集中包含400個(gè)頂緊螺栓的100張支撐裝置腕臂結(jié)構(gòu)圖片，通過(guò)SSD512進(jìn)行定位，并對(duì)定位到的頂緊螺栓與其他方法進(jìn)行對(duì)比試驗(yàn)，一共做了兩組對(duì)比試驗(yàn)來(lái)驗(yàn)證本文所提方法的有效性：灰度像素統(tǒng)計(jì)圖[2]，DCGAN+VGG[9]。對(duì)比試驗(yàn)的結(jié)果如表2所示。

表2 不同模型下的測(cè)試結(jié)果對(duì)比

綜合準(zhǔn)確率表示的是定位準(zhǔn)確率和狀態(tài)識(shí)別準(zhǔn)確率的乘積。分析表2試驗(yàn)數(shù)據(jù)可知：通過(guò)灰度像素統(tǒng)計(jì)圖對(duì)頂緊螺栓狀態(tài)進(jìn)行檢測(cè)時(shí)，頂緊螺栓圖片灰度變化過(guò)小，對(duì)狀態(tài)識(shí)別的結(jié)果影響較大。DCGAN+VGG能在一定程度上增加識(shí)別的準(zhǔn)確率，卻無(wú)法定量判斷薄螺母的移動(dòng)距離，導(dǎo)致狀態(tài)的定性判斷不準(zhǔn)確。本文所提方法采用了基于深度學(xué)習(xí)的SSD512及U-net8，在對(duì)頂緊螺栓的狀態(tài)進(jìn)行檢測(cè)時(shí)，利用其物理結(jié)構(gòu)的特點(diǎn)，將其劃分為不同的語(yǔ)義信息。能夠判斷出大部分頂緊螺栓的狀態(tài)。

通過(guò)定量檢測(cè)對(duì)松脫狀態(tài)進(jìn)行識(shí)別，可以在產(chǎn)生重大隱患前及時(shí)完成檢修工作，防患于未然。這一點(diǎn)剛好契合鐵路系統(tǒng)“超前診斷”的要求。在鐵路系統(tǒng)數(shù)據(jù)中心“一桿一檔”的數(shù)據(jù)存儲(chǔ)模式下，可以依據(jù)不同時(shí)段同一零部件語(yǔ)義分割結(jié)果的變化情況來(lái)判斷狀態(tài)的變化。不僅可以記錄、對(duì)比長(zhǎng)度的變化，也可以依據(jù)不同時(shí)間點(diǎn)像素的比值來(lái)判斷狀態(tài)的變化，推廣應(yīng)用于接觸網(wǎng)零部件覆冰狀態(tài)檢測(cè)等其他方面，具有良好的應(yīng)用前景。

5 結(jié)束語(yǔ)

本文提出的基于深度學(xué)習(xí)實(shí)現(xiàn)頂緊螺栓狀態(tài)智能檢測(cè)的方法，實(shí)現(xiàn)了接觸網(wǎng)頂緊螺栓的定位、語(yǔ)義分割和狀態(tài)檢測(cè)，通過(guò)將所設(shè)計(jì)的SSD512和U-net8相結(jié)合，有效地解決了缺陷樣本不足帶來(lái)的分類精度低、魯棒性差的問(wèn)題。同時(shí)對(duì)狀態(tài)變化特征粒度小時(shí)的狀態(tài)判定能夠取得良好的效果。試驗(yàn)數(shù)據(jù)表明，本文提出的方法對(duì)接觸網(wǎng)頂緊螺栓的智能檢測(cè)具有良好的效果，為接觸網(wǎng)零部件的智能檢測(cè)提供了一種全新的思路。