唐詩
摘 要:在晚上地鐵停運后,檢測人員需要檢測維修地鐵運營車輛,排查可能的安全隱患,費時費力,效率低,成本高。為了解決這一系列問題,現(xiàn)利用AI算法進(jìn)行地鐵車輪螺栓松動檢測,進(jìn)行異常警告。
關(guān)鍵詞:YOLOV3;邊緣檢測;UNet;Hough直線檢測;缺陷檢測
0 引言
根據(jù)深圳地鐵的運營分析,城市軌道交通30年運營全成本約為建設(shè)成本的3.3~3.7倍,其中設(shè)備檢修費用占到其中很大的一部分。因此,通過AI技術(shù)對地鐵車輪螺栓松動進(jìn)行檢測,可以極大地提高檢測效率,同時降低地鐵運營中需要的維護(hù)成本。
近年來國內(nèi)外對缺陷檢測算法的研究取得了一些進(jìn)展,主要表現(xiàn)在使用特定的特征提取方法,設(shè)計基于深度卷積網(wǎng)絡(luò)的各種檢測網(wǎng)絡(luò)模型等新式檢測手段。但目前市面上的檢測方法相對較為單一,且螺栓在圖像中占比較小,表面紋理特征差異不大,檢測的效果達(dá)不到商用要求。本文提出的算法結(jié)合了YOLOV3、UNet和傳統(tǒng)方法提取特征的手段,使車輪螺栓松動檢測達(dá)到了很高的準(zhǔn)確率。
1 螺栓松動檢測系統(tǒng)
1.1 對接到地鐵運營中心的數(shù)據(jù)庫
開發(fā)地鐵車輛檢測系統(tǒng)軟件,將算法檢測到的結(jié)果形成可視化結(jié)果,提供給到維護(hù)人員,實時監(jiān)控運營車輛故障異常情況,為檢修提供參考依據(jù)。同時數(shù)據(jù)將會更新到地鐵運營中心的數(shù)據(jù)庫。
1.2 使用高速線陣相機(jī)進(jìn)行數(shù)據(jù)采集
高速線陣相機(jī)的優(yōu)點有以下的優(yōu)點:非常適合測量場合,精度高,部署成
本低,且在高強(qiáng)度使用場景中不易發(fā)生故障,在工業(yè)上應(yīng)用較多。目前主要運用于檢測連續(xù)的材料,部署在地鐵站場入口兩側(cè)。
1.3 光源、鏡頭的調(diào)試
調(diào)試鏡頭和光源直接影響數(shù)據(jù)質(zhì)量,多次調(diào)試使數(shù)據(jù)的清晰度和亮度滿足我們的要求,下面是我們的調(diào)試經(jīng)驗:
線掃描系統(tǒng),對光源和相機(jī)來說,有效的工作區(qū)域都是一個窄條。也就是保證光源照在這個最亮的窄條與相機(jī)芯片要完全平行,否則只能拍到相交叉的一個亮點。所以機(jī)械安裝、調(diào)試是比較費工夫的。同時由于幅寬比較寬,對于線光源有兩個特別的要求,就是均勻性和直線性。因為線光源不同位置的亮暗差異,會直接影響圖象的亮度高低,這一點LED比鹵素?zé)舾每刂啤3龉獠糠值闹本€性,取決于LED發(fā)光角度的一致性、聚光透鏡的直線性以及線光源外殼的直線性。
2 基于多目標(biāo)檢測及圖像分割算法
2.1 地鐵車輛螺栓檢測-YOLOV3
2.1.1 YOLOV3
YOLOV3是目前主流的目標(biāo)檢測算法,在工業(yè)上應(yīng)用廣泛。該算法有檢測速度快、精度高的優(yōu)點。該模型分別在不同的特征層面上做了特征融合,因此可以檢測到圖像中的小物體,這對螺栓的檢測是至關(guān)重要的。
YOLOV3是one-stage檢測算法,可以實現(xiàn)端對端實時檢測。DarkNet53是主要的網(wǎng)絡(luò)結(jié)構(gòu),主要是由1×1以及3×3卷積層和殘差結(jié)構(gòu)構(gòu)成。通過堆疊這樣的網(wǎng)絡(luò)結(jié)構(gòu),實現(xiàn)速度與精度的均衡,同時殘差結(jié)構(gòu)還可以避免訓(xùn)練過程中發(fā)生的梯度爆炸問題。
YOLOV3借鑒了FPN的思想,對多種不同尺度的特征進(jìn)行了檢測。其輸出特征圖大小分別為52×52、26×26和13×13,使用了9種不同尺寸的anchor,輸出得到的張量為K×K×[3×(4+1+C)],其中,K為特征圖大小,C為缺陷類別數(shù)。
2.1.2 YOLOV3基礎(chǔ)上的改進(jìn)
使用GIOU替代IOU。GIOU的計算方式為:先計算兩個框的最小閉包區(qū)域面積,再計算閉包區(qū)域中都不屬于兩個框的區(qū)域占閉包區(qū)域面積的比重,再計算IOU,最后用IOU減去這個比重。GIOU考慮到了 IOU 沒有考慮到的非重疊區(qū)域,對尺度也不敏感。
增加注意力模塊。通過在特征圖的通道上使用注意力的機(jī)制,給予特征圖中關(guān)鍵的位置較大的權(quán)重,從而提取到主要的特征,避免無關(guān)特征的干擾。
由于檢測目標(biāo)特征與背景區(qū)分度較高,故采用輕量化YOLOV3、檢測網(wǎng)絡(luò)僅使用52*52特征圖進(jìn)行檢測,加快檢測效率。
2.2 對螺栓圖像分割-UNet
UNet是在FCN的基礎(chǔ)上發(fā)展過來的網(wǎng)絡(luò)結(jié)構(gòu),分割效果很好,該模型在醫(yī)療上有了成熟的應(yīng)用。相比FCN,UNet通過拼接的方式保留了更多的維度/位置信息,該模型適用于超大圖像分割,分割精度高,可滿足多尺度分割的要求。使用YOLOV3摳出螺栓后,直接用OpenCV提取發(fā)現(xiàn)處理效果不好。后在中間加了一步圖像分割,再用OpenCV處理圖像分割后的結(jié)果,效果顯著提升。
UNet的網(wǎng)絡(luò)結(jié)構(gòu),整個結(jié)構(gòu)呈U型,先對圖像做下采樣,后做上采樣得到分割結(jié)果圖,上采樣結(jié)構(gòu)層和下采樣結(jié)構(gòu)層之間做skip-connection,將不同尺度的特征融合到一起,提高分割的準(zhǔn)確度。
3 數(shù)據(jù)集
3.1 數(shù)據(jù)采集
在地鐵鐵軌處安裝高速相機(jī),無需等到列車停放,在地鐵運行時對地鐵整體的車輪進(jìn)行拍攝。對拍攝得到的圖片做預(yù)處理,標(biāo)注螺栓的位置和類別,螺栓松動檢測主要做的是二分類,即判斷是否松動。
3.2 樣本制作
數(shù)據(jù)增強(qiáng):將圖片轉(zhuǎn)換成灰度圖;通過使用不同強(qiáng)度的光照模擬不同的光環(huán)境,得到更有泛化表現(xiàn)的樣本;使用傳統(tǒng)方法提高圖片的對比度;隨機(jī)裁剪圖像,增強(qiáng)局部區(qū)域特征的學(xué)習(xí);由于螺栓沒有故障樣本,需要使用PS的方式來制作YOLOV3的負(fù)樣本。
用精靈標(biāo)注助手標(biāo)注YOLOV3的樣本,螺栓有目標(biāo)為正樣本,沒有目標(biāo)作為負(fù)樣本,共同參與訓(xùn)練。正樣本約2w張,負(fù)樣本約5w張。另留出700張作為測試集。
用LabelMe標(biāo)注UNet的樣本,即將六角螺栓標(biāo)注出來,作為圖像分割的樣本。大約4w張樣本。另留出400張作為測試集。
4 最終效果
使用本文算法對螺栓松動檢測,在Tesla K80顯卡下能達(dá)到30+FPS的幀率,mAP達(dá)到96.69;螺栓邊緣直線檢測平均誤差2.2°。
5 結(jié)語
本文提出的算法不僅可以檢測到螺栓的松動情況,還可以對誤剎車和防松絲斷裂等故障做出檢測,最終也達(dá)到了很好的效果。閘刀閘瓦縫隙松開最小面積為3000+像素;防松絲正負(fù)樣本分類準(zhǔn)確率95.38%。綜合前面的算法結(jié)構(gòu)和最終效果,本文算法在工業(yè)上有較好的工程應(yīng)用價值。
參考文獻(xiàn)
[1]Redmon J,F(xiàn)arhadi A. ?YOLOV3: An Incremental Improvement[R]. arXiv,2018.
[2]Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]// International Conference on Medical Image Computing & Computerassisted Intervention. 2015.
[3]Canny J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986 (6): 679-698.
[4]Generalizing the Hough Transform to Detect Arbitrary Shapes?BALLARD D. H. Pattern Recognition 13(2), 111-122, 1981