吳耿才

（東莞市諾麗電子科技有限公司，廣東東莞 523000）

0.前言

現(xiàn)今快節(jié)奏的生活模式，使城市的交通系統(tǒng)越來越發(fā)達(dá)，軌道交通是城市交通系統(tǒng)中必不可少的一部分，它可以有效地緩解城市交通擁堵的現(xiàn)象。城市軌道交通應(yīng)該保證它的流暢性和便捷性，加強(qiáng)它的服務(wù)質(zhì)量，盡量降低它的事故率，從而推動(dòng)整個(gè)交通系統(tǒng)的發(fā)展，間接性地推動(dòng)社會(huì)的進(jìn)步，并且提高人們的生活質(zhì)量，城市軌道交通是推動(dòng)社會(huì)發(fā)展和經(jīng)濟(jì)增長(zhǎng)的重要因素之一，先進(jìn)快捷的軌道交通環(huán)境會(huì)改善人們的生活，緩解一個(gè)城市的交通壓力，改善城市的交通結(jié)構(gòu)，讓城市的交通方式更加多樣化。地鐵車輛的運(yùn)維是保證地鐵正常運(yùn)行的重要一環(huán)，每天地鐵公司都需要花費(fèi)大量的人力物力在地鐵的日常檢修過程中，地鐵車輛外觀是評(píng)估車輛是否有故障的重要一環(huán)，大部分的車輛異常都可以通過外觀直接觀測(cè)到，如果外觀出現(xiàn)問題長(zhǎng)期不解決，可能導(dǎo)致更加嚴(yán)重的故障，所以地鐵外觀檢測(cè)對(duì)地鐵運(yùn)行維護(hù)至關(guān)重要。地鐵外觀檢測(cè)包括對(duì)車頂、車側(cè)、車底、走行部等位置進(jìn)行檢測(cè)，包括部件缺失、部件移位、部件干涉、異物、撞擊等，地鐵日常巡檢中同樣主要是對(duì)車輛外觀進(jìn)行檢查，一次日常檢測(cè)中大約要檢測(cè)3000多個(gè)項(xiàng)點(diǎn)，耗費(fèi)2個(gè)多小時(shí)，這對(duì)地鐵人員造成了很大的檢修壓力，且大部分時(shí)候都在夜間進(jìn)行，人工檢測(cè)容易發(fā)生疲勞，造成漏檢。國(guó)內(nèi)外已經(jīng)提出了多種檢測(cè)地鐵車輛外觀的算法。例如，通過前后兩次過車圖像差分對(duì)比檢測(cè)異常；通過待檢測(cè)圖像與正常圖像相似度對(duì)比檢測(cè)異常；通過目標(biāo)檢測(cè)模型直接檢測(cè)異常等。這些方法都存在誤報(bào)多，易受自然條件影響，無(wú)法具體確定異常類別等問題，地鐵檢修人員無(wú)法通過這些代替日常檢修工作，甚至?xí)黾訖z修人員的工作量。因此，本文提出了一種多階段的深度學(xué)習(xí)方法，旨在協(xié)助地鐵檢修人員對(duì)一部分地鐵外觀檢測(cè)項(xiàng)點(diǎn)進(jìn)行檢測(cè)，減少地鐵檢修人員工作量，降低檢測(cè)過程中的誤報(bào)率，同時(shí)降低檢測(cè)過程中的漏報(bào)率。

1.總體介紹

我們提出了一種地鐵列車外觀異常檢測(cè)的算法，該算法充分將地鐵外觀異常檢測(cè)的難點(diǎn)通過深度學(xué)習(xí)從側(cè)面進(jìn)行突破，解決了異常樣本過少，異常類型難以判斷，異常特征隨機(jī)無(wú)法預(yù)估等難點(diǎn)，利用現(xiàn)有的深度學(xué)習(xí)方法實(shí)現(xiàn)了比以往方法更高的檢測(cè)精度和更低的誤報(bào)率。

我們提出的算法總體可以分為3個(gè)檢測(cè)階段，在第一階段對(duì)區(qū)域進(jìn)行定位分割，通過一個(gè)深度學(xué)習(xí)語(yǔ)義分割網(wǎng)絡(luò)將地鐵列車按照部件進(jìn)行區(qū)域劃分，如輪對(duì)區(qū)域、空壓機(jī)區(qū)域、輔助逆變箱區(qū)域等；第二階段使用一個(gè)編解碼結(jié)構(gòu)的網(wǎng)絡(luò)模型，通過自定義的一個(gè)相似度損失函數(shù)對(duì)待檢測(cè)區(qū)域進(jìn)行相似度異常分析；第三階段運(yùn)用一種細(xì)粒度分類方法對(duì)異常結(jié)果進(jìn)行進(jìn)一步篩除，一方面獲取異常結(jié)果的具體類別，另一方面排除一些誤報(bào)，主要原理是通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練使同類別的距離變小，同時(shí)使不同類別的距離變大。其中，第一階段和第二階段借鑒了FCN結(jié)構(gòu)，第二階段中還加入了Transformer結(jié)構(gòu)，增強(qiáng)了模型的泛化能力，大大提高了算法魯棒性，第三階段則通過豐富有效的數(shù)據(jù)增強(qiáng)方式，提高了模型的分類性能。在第二部分中我們將主要對(duì)這3個(gè)階段展開介紹。

2.具體過程

2.1 第一階段

算法第一階段主要是進(jìn)行檢測(cè)區(qū)域定位，需要將車輛不同的部分劃分出來，使用一種編解碼結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行全景分割。由于地鐵列車情況較為復(fù)雜，某些部位需要單獨(dú)處理，如車軸、車輪、聯(lián)軸節(jié)等部位在列車行進(jìn)中會(huì)轉(zhuǎn)動(dòng)，由于轉(zhuǎn)動(dòng)會(huì)導(dǎo)致此類區(qū)域在相似度判斷時(shí)發(fā)生較大的影響，需要將其單獨(dú)分出來進(jìn)行特殊分析，而以往的全景分割神經(jīng)網(wǎng)絡(luò)模型中各類別之間是互斥的，無(wú)法賦予同一個(gè)區(qū)域兩種類別屬性，所以在神經(jīng)網(wǎng)絡(luò)模型最后的類別輸出部分使用了多通道的判別方式，將一個(gè)多分類問題轉(zhuǎn)化為多個(gè)二分類問題，可以使全景分割結(jié)果各類別間并不互斥。如車軸部分既屬于輪對(duì)類別區(qū)域，又屬于活動(dòng)類別區(qū)域，原本只能將車軸區(qū)域劃分至輪對(duì)區(qū)域類別或活動(dòng)區(qū)域類別，現(xiàn)在則可以同時(shí)賦予車軸區(qū)域兩個(gè)類別屬性。

在損失函數(shù)部分，由于將多分類轉(zhuǎn)化為二分類后，每個(gè)類別的兩個(gè)分類之間所占比例會(huì)出現(xiàn)不均衡的情況，我們采用根據(jù)類別面積比例加權(quán)的方式對(duì)損失進(jìn)行均衡化，即根據(jù)當(dāng)前類別在圖像中所占的面積比，對(duì)當(dāng)前類別距離進(jìn)行加權(quán)，擴(kuò)大當(dāng)前類別的影響因子，損失函數(shù)公式如下：

其中da、db分別為兩個(gè)類別輸出與標(biāo)簽的平方差，sa、sb分別為兩個(gè)類別所占的面積大小，s為輸入圖像的總面積，即sa與sb之和。

2.2 第二階段

在第一階段中，我們已經(jīng)獲取到了需要分析的區(qū)域，并對(duì)區(qū)域做了類別劃分，算法第二階段則是對(duì)第一階段識(shí)別到的結(jié)果進(jìn)行初步的異常判斷，判斷基礎(chǔ)是利用第一階段劃分出的區(qū)域進(jìn)行相似度判斷，我們的做法是首先將一份正常圖像作為對(duì)比參考，其次將異常圖像與正常圖像結(jié)合作為一組對(duì)比數(shù)據(jù)，最后利用相似度損失函數(shù)進(jìn)行距離分析，通過對(duì)正常圖像和異常圖像逐像素區(qū)域?qū)Ρ?，將存在異常的區(qū)域從整個(gè)分析區(qū)域中與正常區(qū)域分離開。整體結(jié)構(gòu)同樣是使用編解碼結(jié)構(gòu)，與第一階段不同的是輸入部分使用一組圖像對(duì)，標(biāo)簽不單純作為計(jì)算損失，而是作為權(quán)重參與到損失函數(shù)計(jì)算中，即在相似度計(jì)算中為標(biāo)簽中的異常區(qū)域部分給予一個(gè)較大的權(quán)重，在計(jì)算相似度距離時(shí)使用了兩個(gè)均方差距離共同表示，即輸出圖異常部分區(qū)域與輸入圖異常部分區(qū)域距離最小，輸出圖正常部分區(qū)域與輸入圖對(duì)應(yīng)區(qū)域距離最小，相應(yīng)的損失函數(shù)如下：

其中，lossn為異常區(qū)域的損失，losso為正常區(qū)域的損失，λn為異常區(qū)域的標(biāo)簽權(quán)重，λo為正常區(qū)域的標(biāo)簽權(quán)重，In為輸出中異常區(qū)域的圖像灰度值，IN為輸入中異常區(qū)域的圖像灰度值，Io為輸出中正常區(qū)域的圖像灰度值，IO為輸入中正常區(qū)域的圖像灰度值，SN為標(biāo)簽中異常區(qū)域的面積，SO為標(biāo)簽中正常區(qū)域的面積。在訓(xùn)練過程中，設(shè)置λn為SN/S，λo為sO/S，IN為 1，IO為 -1。

此外，在編解碼結(jié)構(gòu)中，還加入了Transformer模塊，Transformer模塊中加入了上下文的影響因子，可以為神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)增加更多的先驗(yàn)條件，卷積是一種局部操作，一個(gè)卷積層通常只會(huì)建模鄰域像素之間的關(guān)系。Transformer則是全局操作，一個(gè)Transformer層能建模所有像素之間的關(guān)系，雙方可以很好地進(jìn)行互補(bǔ)。最早將這種互補(bǔ)性聯(lián)系起來的是非局部網(wǎng)絡(luò)，在這個(gè)工作中，少量Transformer自注意單元被插入原始網(wǎng)絡(luò)的幾個(gè)地方，作為卷積網(wǎng)絡(luò)的補(bǔ)充，并被證明其在物體檢測(cè)、語(yǔ)義分割和視頻動(dòng)作識(shí)別等問題中廣泛有效。我們使用Transformer結(jié)構(gòu)旨在強(qiáng)調(diào)異常區(qū)域周圍圖像對(duì)相似度判斷的影響，使相似度損失不僅僅受當(dāng)前卷積區(qū)域的影響，同時(shí)當(dāng)前卷積區(qū)域周圍的特征圖也會(huì)對(duì)相似度損失產(chǎn)生一部分影響，我們這樣做的原因是，在通過第一階段后提取到的圖像中邊緣部分可能會(huì)存在一定程度的偏移，而且本身圖像在彩圖過程中會(huì)因?yàn)檐囁僮兓挠绊懘嬖谝欢ǔ潭鹊幕?，所以異常圖像與正常圖像無(wú)法做到完全對(duì)齊，所以在以圖像灰度值距離作為相似度判斷依據(jù)時(shí)容易發(fā)生較大的偏差，因此在做相似度比較時(shí)需要結(jié)合待檢測(cè)區(qū)域周圍的圖像增強(qiáng)相似度距離判斷的穩(wěn)定性。

2.3 第三階段

在第二階段完成后，雖然可以將待測(cè)圖像中與正常圖像相似度較低的部分劃分出來，但其中仍然會(huì)混合一些并不是異常的部分，比如列車的活動(dòng)區(qū)域和灰塵、雨水等容易變化的部分，且并沒有對(duì)異常情況進(jìn)行分類區(qū)分，為了達(dá)到更好的檢測(cè)效果，在算法的最后加入了第三階段，算法的第三階段是使用一個(gè)深度學(xué)習(xí)細(xì)粒度分類網(wǎng)絡(luò)對(duì)算法第二階段的結(jié)果進(jìn)行分類，由于地鐵列車在行駛過程中車體外觀會(huì)發(fā)生各種各樣的變化，但并不是所有變化都是異常，而變化的出現(xiàn)會(huì)使區(qū)域與正常圖像的相似度變低，為減少因某些變化導(dǎo)致的誤報(bào)，使用了一個(gè)細(xì)粒度分類網(wǎng)絡(luò)對(duì)異常檢測(cè)結(jié)果進(jìn)行二次判斷，去除那些在地鐵列車行駛過程中發(fā)生的正常的外觀變化，如灰塵、雨水等。

在第三階段的分類網(wǎng)絡(luò)部分我們的數(shù)據(jù)是由第二階段得來的，我們經(jīng)過分類劃分后主要可以分為以下幾個(gè)類別：缺失異常、異物異常、移位異常、其他異常、列車活動(dòng)部分、表面臟污、表面水漬4類，這4類數(shù)據(jù)中差異最大的部分在于表面紋理，所以我們?cè)谇捌跀?shù)據(jù)預(yù)處理時(shí)加入了亮度增強(qiáng)、對(duì)比度增強(qiáng)、圖像灰度值反轉(zhuǎn)、翻轉(zhuǎn)、旋轉(zhuǎn)等一系列方法，可以更加突出圖像紋理部分的特征，同時(shí)，由于第二階段的結(jié)果圖像尺寸大小差別較大，我們對(duì)較大的圖像進(jìn)行了裁剪，將尺寸較大的圖像裁剪為幾個(gè)尺寸較小的圖像，最后經(jīng)過等比例縮放變換為64×64的圖像作為第三階段的輸入。

為了最大程度上保留和提取到圖像的紋理信息，我們?cè)谔卣魈崛【W(wǎng)絡(luò)resnet-18的基礎(chǔ)上對(duì)其做出修改，使用一個(gè)下采樣和上采樣模塊替換了原網(wǎng)絡(luò)模型的基礎(chǔ)卷積模塊，可以更好地提取圖像的紋理信息，在損失函數(shù)部分采用Triplet Loss，Triplet Loss顯式的在Loss里面要求：不同類別之間的距離至少要超過同類別之間距離的某個(gè)閾值。如果能夠做到這一點(diǎn)，那么類內(nèi)距和類間距之間差就有一個(gè)明顯的鴻溝，那么也可以達(dá)到上面提到的目標(biāo)。同時(shí)，由于在地鐵列車異常檢測(cè)過程中，檢出異常的任務(wù)要比減少誤報(bào)的任務(wù)重要性大得多，所以在幾個(gè)分類中，異常類別分類的檢測(cè)準(zhǔn)確度顯得更加重要，所以我們?cè)趽p失函數(shù)中為異常類別加入了一個(gè)較大的權(quán)重，使模型更傾向于檢出異常，而不是減少誤報(bào)。

3.試驗(yàn)過程

在試驗(yàn)過程中，我們將算法的3個(gè)階段分開分別對(duì)其進(jìn)行性能分析。

第一個(gè)階段的算法主要為一個(gè)深度學(xué)習(xí)圖像語(yǔ)義分割網(wǎng)絡(luò)，采用MPA（平均像素精度）對(duì)檢測(cè)結(jié)果進(jìn)行評(píng)價(jià)，MPA公式如下：

模型測(cè)試數(shù)據(jù)集中我們使用1000張圖像，平均像素精度可達(dá)到92.32%。

第二階段中，使用第一階段的輸出作為第二階段的測(cè)試數(shù)據(jù)，算法第二階段在本質(zhì)上也可以作為一個(gè)深度學(xué)習(xí)分類網(wǎng)絡(luò)，只不過其分類標(biāo)準(zhǔn)是我們定義的相似度，而作為地鐵外觀異常檢測(cè)，我們關(guān)心的是異常被檢出多少，以及出現(xiàn)多少誤報(bào)，所以在第二階段的試驗(yàn)過程中采用檢出率和誤報(bào)率作為評(píng)價(jià)指標(biāo)，其公式如下：

檢出率=正確檢出的異常個(gè)數(shù)/真實(shí)的異常個(gè)數(shù)＊100%

誤報(bào)率=錯(cuò)誤檢出的異常個(gè)數(shù)/檢測(cè)項(xiàng)點(diǎn)總數(shù)＊100%

在試驗(yàn)中，我們共設(shè)置了80處異常，模型異常報(bào)警為134處，其中正確報(bào)警為80處，錯(cuò)誤報(bào)警為54處，檢出率達(dá)到了100%，總檢測(cè)項(xiàng)點(diǎn)數(shù)按1000計(jì)算，誤報(bào)率為5.4%。

算法的第三階段同樣是一個(gè)深度學(xué)習(xí)分類模型，其目的主要是為了消除誤報(bào)和對(duì)異常進(jìn)行分類，第三階段試驗(yàn)過程中的輸入圖像為第二階段的輸出結(jié)果。在評(píng)價(jià)模型消除誤報(bào)的性能時(shí)，仍然使用和第二階段中相同的檢出率和誤報(bào)率作為評(píng)價(jià)指標(biāo)，不同的是誤報(bào)率中基數(shù)為檢測(cè)的圖像數(shù)量，而不是檢測(cè)項(xiàng)點(diǎn)總數(shù)，在對(duì)異常分類作出評(píng)價(jià)時(shí)，采用的是mAP（平均精度）指標(biāo)，且只考慮前4種類型的類別，即只分析異常類別的分類精度，指標(biāo)公式如下：

檢出率=正確檢出的異常個(gè)數(shù)/真實(shí)的異常個(gè)數(shù)＊100%

誤報(bào)率=錯(cuò)誤檢出的異常個(gè)數(shù)/檢測(cè)圖像個(gè)數(shù)＊100%

其中，k為類別個(gè)數(shù)，ni為第i個(gè)類別的樣本數(shù)，ti為第i個(gè)類別檢測(cè)正確的個(gè)數(shù)，pi為結(jié)果中檢測(cè)為第i個(gè)類別的個(gè)數(shù)。

在實(shí)驗(yàn)中，輸入的圖像共有134張，經(jīng)過切割處理后共得到452張圖像。其中，異常圖像共有253張，非異常圖像共有199張，正確檢出的異常個(gè)數(shù)共有252個(gè)，錯(cuò)誤檢出的異常個(gè)數(shù)共有14個(gè)，經(jīng)計(jì)算統(tǒng)計(jì)后得出，檢出率為99.6%，誤報(bào)率為3.1%，mAP為73.2%。

最后，由于在算法第三階段有對(duì)圖像進(jìn)行切割，所以一些檢測(cè)結(jié)果需要進(jìn)行合并處理，在對(duì)算法第三階段的結(jié)果進(jìn)行合并處理之后，最終得出正確檢出的異常個(gè)數(shù)為80個(gè)，錯(cuò)誤檢出的異常個(gè)數(shù)為13個(gè)，按照第二階段的評(píng)價(jià)指標(biāo)計(jì)算，得出最終的檢出率為100%，誤報(bào)率為1.3%。

4.結(jié)語(yǔ)

本文提出的地鐵列車外觀檢測(cè)方法主要利用了現(xiàn)有的比較先進(jìn)的模型結(jié)構(gòu)，同時(shí)結(jié)合地鐵列車的外觀異常特點(diǎn)，使用了一個(gè)三階段的異常檢測(cè)算法，避開了異常檢測(cè)中異常樣本較少帶來的影響。同時(shí)也考慮到了地鐵列車外觀異常檢測(cè)中檢出和誤報(bào)的重要關(guān)系，在模型訓(xùn)練過程中做出了相應(yīng)的平衡性調(diào)整。目前算法遇到的問題是異常類別判斷準(zhǔn)確率偏低，主要原因是由于樣本數(shù)太少，且樣本特征不明顯，后續(xù)改善可以考慮從數(shù)據(jù)增強(qiáng)和少樣本方向進(jìn)行突破。