白堂博 高嘉琳 楊建偉 許貴陽(yáng)

1.北京建筑大學(xué)機(jī)電與車(chē)輛工程學(xué)院，北京100044；2.北京建筑大學(xué)城市軌道交通車(chē)輛服役性能保障北京市重點(diǎn)實(shí)驗(yàn)室，北京100044

扣件是城市軌道中不可忽視的基礎(chǔ)部件，扣件狀態(tài)的準(zhǔn)確智能化檢測(cè)對(duì)于保證軌道列車(chē)安全運(yùn)行具有重要意義［1］。在列車(chē)運(yùn)行過(guò)程中扣件容易出現(xiàn)移位、斷裂、丟失等問(wèn)題。這些問(wèn)題所產(chǎn)生的振動(dòng)及噪聲十分微小，基于振動(dòng)、噪聲信號(hào)分析的檢測(cè)方法處理難度大，檢測(cè)效果差［2］。

目前基于圖像采集與處理的扣件狀態(tài)檢測(cè)方法有流行排序方法［3］、十字交叉與特征測(cè)度方法［4］、引導(dǎo)濾波與積分投影方法［5］、垂向定位與灰度投影方法［6］、置信圖方法［7］等。這些方法優(yōu)點(diǎn)是計(jì)算效率較高，但需要分別進(jìn)行扣件的定位及扣件圖像特征的提取，并須根據(jù)特定的檢測(cè)對(duì)象進(jìn)行算法修正，難以適應(yīng)多變的現(xiàn)場(chǎng)情況。

近年來(lái)隨著目標(biāo)檢測(cè)技術(shù)的發(fā)展，深度學(xué)習(xí)被應(yīng)用于扣件狀態(tài)檢測(cè)。Guo等［8］提出基于YOLOv4（You Only Look Once v4）算法的扣件狀態(tài)檢測(cè)方法；龍炎［9］提出了基于Faster R-CNN（Faster Region-based Convolutional Neural Networks）算法的扣件狀態(tài)檢測(cè)方法；李兆洋等［10］建立了基于改進(jìn)SSD（Single Shot Multibox Detector，SSD）算法的扣件定位方法。該類(lèi)方法不用經(jīng)過(guò)目標(biāo)定位及圖像特征提取，可直接對(duì)圖像中的扣件區(qū)域進(jìn)行檢測(cè)，但是該類(lèi)方法重點(diǎn)在于檢出目標(biāo)，對(duì)扣件斷裂及缺失檢測(cè)效果好，對(duì)扣件偏移的檢測(cè)效果較差。

針對(duì)這種情況，本文提出一種基于改進(jìn)Mask R-CNN的鐵路扣件狀態(tài)檢測(cè)方法，首先利用Mask R-CNN方法實(shí)現(xiàn)扣件的位置檢測(cè)與扣件圖像分割，然后利用最小外接矩形法改進(jìn)Mask R-CNN的輸出層，計(jì)算獲得扣件圖像角度信息，進(jìn)而識(shí)別偏移扣件。

1 Mask R-CNN算法簡(jiǎn)介

區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）是在經(jīng)典深度學(xué)習(xí)算法卷積神經(jīng)網(wǎng)絡(luò)（CNN）基礎(chǔ)上發(fā)展起來(lái)的，在圖像處理中具有較好的性能，被廣泛應(yīng)用到目標(biāo)檢測(cè)領(lǐng)域。R-CNN算法先通過(guò)搜索或者邊框檢測(cè)生成候選圖像區(qū)域，再將每個(gè)圖像區(qū)域視為一張待分類(lèi)圖像輸入CNN進(jìn)行網(wǎng)絡(luò)訓(xùn)練和目標(biāo)檢測(cè)。為了實(shí)現(xiàn)目標(biāo)檢測(cè)，R-CNN算法須首先選定大量的候選圖像區(qū)域進(jìn)行訓(xùn)練，計(jì)算量太大，影響檢測(cè)效率。為解決這一問(wèn)題，F(xiàn)ast R-CNN和Faster R-CNN相繼被提出，通過(guò)改變卷積次序和引入?yún)^(qū)域候選網(wǎng)絡(luò)減少了計(jì)算量，提高了計(jì)算效率。

掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask R-CNN）［11］是在Faster R-CNN的基礎(chǔ)上改進(jìn)而來(lái)的，增加了感興趣區(qū)域（Region of Interest，ROI）排列步驟和全卷積網(wǎng)絡(luò)，以實(shí)現(xiàn)圖像分割和目標(biāo)提取。

Mask R-CNN（圖1）主要分為特征提取、區(qū)域候選和結(jié)果輸出三大部分，輸出結(jié)果包括目標(biāo)物體分類(lèi)、目標(biāo)檢測(cè)框回歸及目標(biāo)圖像分割。在進(jìn)行目標(biāo)檢測(cè)時(shí)，系統(tǒng)會(huì)通過(guò)卷積網(wǎng)絡(luò)生成候選圖像區(qū)域并實(shí)現(xiàn)目標(biāo)檢測(cè)。Mask R-CNN將原來(lái)的ROI池化改進(jìn)為ROI排列，通過(guò)這一操作，特征圖被劃分為一定規(guī)格的二值掩膜圖，保證了像素輸入和輸出的對(duì)應(yīng)關(guān)系，從而實(shí)現(xiàn)了Faster R-CNN所不具備的圖像分割功能。

圖1 Mask R-CNN結(jié)構(gòu)

2 基于改進(jìn)Mask R-CNN的鐵路扣件狀態(tài)檢測(cè)方法

2.1 設(shè)計(jì)思路及具體步驟

利用Mask R-CNN算法進(jìn)行扣件狀態(tài)檢測(cè)時(shí)可將完整扣件與斷裂、丟失狀態(tài)的扣件分開(kāi)，但正?？奂c偏移扣件同屬于完整扣件，分類(lèi)時(shí)難以有效區(qū)分。本文根據(jù)Mask R-CNN具備目標(biāo)物體圖像分割的特點(diǎn)，利用最小外接矩形法改進(jìn)Mask R-CNN的輸出層，以實(shí)現(xiàn)偏移扣件的角度計(jì)算及狀態(tài)檢測(cè)。設(shè)計(jì)思路如圖2所示。具體步驟：首先進(jìn)行現(xiàn)場(chǎng)試驗(yàn)，完成圖像采集并建立數(shù)據(jù)集；然后利用Mask R-CNN將扣件中完整扣件和斷裂、丟失狀態(tài)的扣件進(jìn)行初步分類(lèi)；最后利用最小外接矩形法對(duì)Mask R-CNN的輸出層中完整扣件的分割圖像進(jìn)行角度計(jì)算，以判斷其是否為偏移扣件。

圖2 本文方法的設(shè)計(jì)思路

2.2 基于最小外接矩形法的Mask R-CNN輸出層改進(jìn)

最小外接矩形法［12］是一種獲取圖像中特定目標(biāo)物體角度的方法。計(jì)算時(shí)將圖像中目標(biāo)物體區(qū)域分割出來(lái)，并使目標(biāo)物體區(qū)域在90°范圍內(nèi)等角度旋轉(zhuǎn)，每次旋轉(zhuǎn)后，用一個(gè)水平外接矩形擬合其邊界。通過(guò)計(jì)算這一過(guò)程中得到的最小外接矩形特征參數(shù)即可得到物體角度等信息。

最小外接矩形法采用頂點(diǎn)鏈碼方法［12］對(duì)目標(biāo)的最小外接矩形的幾何形狀特征參數(shù)進(jìn)行計(jì)算，以得到目標(biāo)偏轉(zhuǎn)角度。

根據(jù)四方向頂點(diǎn)鏈碼方法，目標(biāo)圖像頂點(diǎn)在旋轉(zhuǎn)過(guò)程中在4個(gè)步進(jìn)方向0、1、2、3進(jìn)行遍歷（圖3），得到圖像中目標(biāo)物體邊界［12］f（x，y），然后利用該邊界求中心矩μjk，最終求得目標(biāo)物體主軸與x軸的夾角α。μjk的計(jì)算公式為

圖3 四方向頂點(diǎn)鏈碼方法步進(jìn)方向示意

式中：j，k分別為目標(biāo)物體邊界f（x，y）橫縱坐標(biāo)的階次，j，k=0，1，2；xˉ和yˉ為目標(biāo)物體質(zhì)心橫縱坐標(biāo)，其計(jì)算公式為

目標(biāo)物體主軸與x軸的夾角α為

式中：μ11，μ20，μ02分別為目標(biāo)圖像主軸方向、x軸方向和y軸方向上的二階中心矩，由式（1）計(jì)算得到。

利用最小外接矩形法改進(jìn)Mask R-CNN的輸出層，可以在得到扣件分割圖像后直接輸出扣件角度信息。在該方法中，目標(biāo)扣件邊界f（x，y）不需采用頂點(diǎn)鏈碼方法求取，只需通過(guò)Mask R-CNN算法中的ROI排列，直接獲取目標(biāo)扣件分割區(qū)域并得出扣件邊界坐標(biāo)，簡(jiǎn)化了計(jì)算，提高了效率。

3 工程現(xiàn)場(chǎng)驗(yàn)證

3.1 檢測(cè)設(shè)備

選取京滬高速鐵路上長(zhǎng)15 km的軌道區(qū)間（其中無(wú)砟軌道約10.2 km，有砟軌道4.8 km）作為試驗(yàn)段，對(duì)基于改進(jìn)Mask R-CNN的扣件狀態(tài)檢測(cè)方法應(yīng)用效果進(jìn)行驗(yàn)證。試驗(yàn)采用的智能軌道巡檢車(chē)（圖4）由北京鷹路科技有限公司研發(fā)，該車(chē)分為電動(dòng)巡檢車(chē)和軌道狀態(tài)巡檢系統(tǒng)兩部分。電動(dòng)巡檢車(chē)由車(chē)體、軌道輪和座椅組成；軌道狀態(tài)巡檢系統(tǒng)由主機(jī)和高清線陣圖像掃描模塊組成。采集軌道圖像時(shí)巡檢車(chē)運(yùn)行速度為20 km/h，圖像分辨率為2 048×2 048。

圖4 智能軌道巡檢車(chē)

3.2 圖像采集與處理

本次檢測(cè)中獲得的軌道圖像分有砟軌道和無(wú)砟軌道兩種，見(jiàn)圖5。扣件狀態(tài)檢測(cè)算法運(yùn)行所采用的關(guān)鍵硬件中GPU為NVIDIA RTX2080，CPU為Intel i7 9700，內(nèi)存為16 GB。算法運(yùn)行平臺(tái)為Windows 10，算法運(yùn)行所需軟件包括Tensorflow 1.6，Python 3.6.5，CUDA 10.0，CUDNN 10.0。

圖5 軌道圖像

選用現(xiàn)場(chǎng)采集的1 000張軌道圖像（其中無(wú)砟軌道600張，有砟軌道400張）進(jìn)行扣件狀態(tài)檢測(cè)分析，隨機(jī)選取500張作為訓(xùn)練集，其余500張作為測(cè)試集。測(cè)試前需要進(jìn)行圖像標(biāo)注以建立訓(xùn)練集特征信息庫(kù)。采用LABELME軟件進(jìn)行訓(xùn)練集圖像標(biāo)注（圖6），將圖像中的扣件區(qū)域作為目標(biāo)檢測(cè)區(qū)域。

圖6 圖像標(biāo)注

根據(jù)訓(xùn)練集圖像標(biāo)注生成的扣件邊界坐標(biāo)數(shù)據(jù)集進(jìn)行算法訓(xùn)練。

3.3 檢測(cè)結(jié)果與分析

將測(cè)試集圖像輸入到改進(jìn)的Mask R-CNN，得到扣件區(qū)域的分割結(jié)果，見(jiàn)圖7?？梢?jiàn)，改進(jìn)的Mask R-CNN能夠檢測(cè)出圖像中扣件位置并進(jìn)行分割，對(duì)所分割的扣件區(qū)域進(jìn)行預(yù)處理，包括去除邊界外部信息、去除噪聲、濾波、二值化，最終提取出扣件邊界，見(jiàn)圖8。

圖7 扣件位置檢測(cè)及分割結(jié)果

圖8 扣件邊界提取

根據(jù)提取出的扣件邊界數(shù)據(jù)，構(gòu)造扣件邊界函數(shù)f（x，y），將該邊界函數(shù)代入式（1）—式（3），即可得到扣件偏移角度。以圖8中扣件為例，經(jīng)計(jì)算得到該扣件主軸與軌道方向的偏移角度（即夾角α）為-15.28°。根據(jù)工程經(jīng)驗(yàn)，夾角超過(guò)±10°即可判定為扣件偏移，因此該扣件被判定處于偏移狀態(tài)。

基于改進(jìn)Mask R-CNN的扣件狀態(tài)檢測(cè)方法與其他基于深度學(xué)習(xí)的扣件狀態(tài)檢測(cè)方法對(duì)偏移扣件的檢測(cè)結(jié)果對(duì)比見(jiàn)表1。其中，檢出率為正確檢出扣件占所有待檢測(cè)扣件的百分比，準(zhǔn)確率為正確檢出扣件占所有檢出扣件的百分比?？梢?jiàn)，本文提出的改進(jìn)Mask R-CNN扣件狀態(tài)檢測(cè)方法的檢出率和準(zhǔn)確率均高于其他方法。該方法對(duì)扣件角度進(jìn)行計(jì)算，可有效判定扣件偏移狀態(tài)，提高偏移扣件的檢出率和準(zhǔn)確率。

表1 偏移扣件檢測(cè)結(jié)果對(duì)比 %

4 結(jié)論

針對(duì)軌道扣件狀態(tài)檢測(cè)中偏移扣件檢測(cè)難的問(wèn)題，提出了基于改進(jìn)Mask R-CNN的扣件狀態(tài)檢測(cè)方法。該檢測(cè)方法可以有效檢測(cè)出圖像中扣件的位置并進(jìn)行分割，分割后的扣件圖像經(jīng)預(yù)處理和計(jì)算后可直接獲得扣件偏移角度，進(jìn)而實(shí)現(xiàn)對(duì)扣件偏移狀態(tài)的判定。經(jīng)在京滬高速鐵路試驗(yàn)段現(xiàn)場(chǎng)測(cè)試，該檢測(cè)方法能夠?qū)ζ瓶奂M(jìn)行有效檢測(cè)，并且檢出率和準(zhǔn)確率均較高。