張雯柏,鄭樹彬,李鵬程,郭 訓(xùn)

(1.上海鐵大電信科技股份有限公司研究與發(fā)展中心,上海 200070； 2.上海工程技術(shù)大學(xué)城市軌道交通學(xué)院,上海 201620)

近20年來，根據(jù)扣件的特征及布設(shè)位置提出的定位算法較多，核心的處理前提是應(yīng)用軌道扣件的空間布設(shè)表征進行定位?？奂挥阡撥壟c軌枕交叉位置，鋼軌灰度沿水平方向變化，軌枕灰度沿豎直方向變化。用濾波器去除軌道圖像噪點信息，Sobel梯度檢測，將得到的黑白圖像投影到水平、豎直兩個方向；以掃描的方式對兩個方向上的圖像投影進行區(qū)域積分，篩選積分最小值定位鋼軌與軌枕的位置；再由先驗知識以及扣件與鋼軌、軌枕的相對布設(shè)條件獲得扣件坐標(biāo)[1-2]。

傳統(tǒng)的扣件識別定位算法大多是通過灰度的顯著性差異和鋼軌、軌枕互相垂直的空間關(guān)系確定軌道位置，從而進一步確定扣件位置。這種扣件檢測思路有其局限性，要求軌道與圖像嚴(yán)格垂直，旋轉(zhuǎn)后的圖像在水平豎直方向上的投影無法反映鋼軌和軌枕的真實位置[3]；鐵路軌道不僅只有直線段，還有彎道和道岔區(qū)段，在這些區(qū)域鋼軌與軌枕的空間關(guān)系并非垂直關(guān)系，故算法在該區(qū)段檢測缺少魯棒性。

本文通過對近些年來深度學(xué)習(xí)的研究，提出一種新的扣件檢測思路。利用深度學(xué)習(xí)的YOLO目標(biāo)檢測算法對軌道扣件進行自動檢測與定位。網(wǎng)絡(luò)通過自主學(xué)習(xí)扣件特征，直接從圖像的全局信息中提取扣件特征，識別扣件位置，從本質(zhì)上打破軌道部件空間關(guān)系對扣件識別算法的束縛。

1 深度卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)實質(zhì)上是一種考慮圖像數(shù)據(jù)特征的稀疏連接型BP網(wǎng)絡(luò)。局部感受也保留了像素間的區(qū)域空間關(guān)系，減少了模型參數(shù)數(shù)量，加快學(xué)習(xí)速率，同時在一定程度上也減少了過擬合的可能；為了盡可能地減少參數(shù)數(shù)量與網(wǎng)絡(luò)規(guī)模，在模型特征提取時避免考慮特征位置，引入了共享權(quán)值的概念。其原理是，認(rèn)為圖像小區(qū)域內(nèi)像素聯(lián)系更加緊密，較遠(yuǎn)的像素對當(dāng)前區(qū)域影響更小，故每個神經(jīng)元只收集圖像一小塊區(qū)域信息，學(xué)習(xí)圖像的局部特征，高層神經(jīng)元對相鄰小塊區(qū)域圖像信息進行匯總，形成一個由小到大的整體映射[4-5]。應(yīng)用在本文中，即經(jīng)過訓(xùn)練的底層神經(jīng)元提取軌道圖像的紋理、邊緣、角點等基本特征(扣件的點、線信息)，中層神經(jīng)元對得到基本特征進行篩選重組等處理，得到螺母、彈條、擋板肩等部件信息，經(jīng)高層神經(jīng)元匯總，提取出更加復(fù)雜的扣件區(qū)域的整體特征。

卷積層、激活層、最大池化層組成了一個典型的分類卷積網(wǎng)絡(luò)，其中，末端接入全連接層和Softmax分類層[6]。在網(wǎng)絡(luò)激活層使用Sigmoid激活函數(shù)容易出現(xiàn)梯度飽和，為了避免該問題，本文使用與線性修正單元ReLU相類似的Leaky ReLU作為網(wǎng)絡(luò)的激活層。

圖像的卷積運算過程可以看成一種線性運算，多層卷積經(jīng)線性變換可以化歸到單層卷積，因而這樣的卷積層只能擬合線性函數(shù)[7-8]。引入非線性變換的激活層在網(wǎng)絡(luò)理論上可以擬合任何函數(shù)。經(jīng)試驗驗證，以線性修正單元(Rectified Linear Unit，ReLU)作為非線性激活函數(shù)可以達(dá)到更好的特征提取效果[9]，ReLU函數(shù)如圖1所示。

數(shù)學(xué)定義如下

(1)

如果不再將函數(shù)輸出值域限制于[-1，1]之間，就能極大地改善深度增長與梯度消失相悖的問題，當(dāng)輸入>0時輸出的梯度恒為1，克服梯度上限飽和，說明ReLU函數(shù)能夠優(yōu)于Sigmoid處理梯度飽和問題。但當(dāng)網(wǎng)絡(luò)輸入<0時，函數(shù)輸出為0，造成下限硬飽和，使得網(wǎng)絡(luò)權(quán)重不再更新。為避免這種情況，在隨后的實驗中本文采用ReLU函數(shù)的變種Leaky ReLU

(2)

其中，a為一個極小值(如0.01)，其主要目的是當(dāng)輸入為負(fù)時，輸出梯度極小但不至于為0。

2 深度學(xué)習(xí)目標(biāo)檢測算法

在端到端檢測網(wǎng)絡(luò)出現(xiàn)之前，已經(jīng)存在R-CNN、Fast R-CNN等算法使用分類器對目標(biāo)物體進行檢測。核心思想是將檢測任務(wù)考慮為目標(biāo)分類問題，在圖像中提出大量候選框，用分類器依次對候選框內(nèi)容進行判斷[10-11]。分類器思路將目標(biāo)檢測劃分為多個模塊，每個模塊都需要大量計算，耗時較長，無法達(dá)到實時檢測，且由于各塊獨立無法做到系統(tǒng)的全局最優(yōu)化。

2.1 YOLO檢測算法

YOLO(You Only Look Once)是由Girshick Redmon于2016年提出的一種針對目標(biāo)識別的新算法。其核心思想是：將檢測任務(wù)考慮為回歸問題，利用全局信息直接對目標(biāo)的Bounding Box和類別進行預(yù)測，實現(xiàn)單個CNN網(wǎng)絡(luò)的端對端檢測[12]。能夠做到全局優(yōu)化，在滿足較高mAP(Mean Average Precision，平均精度均值)的同時極大提高檢測速度。YOLO檢測流程見圖2。

(1)將圖像劃分為S×S個網(wǎng)格。若待識別目標(biāo)的中心包含在某格中，則此格應(yīng)該對該目標(biāo)進行回歸預(yù)測。

(2)每個網(wǎng)格預(yù)測B個邊框。每個邊框預(yù)測x：邊框中心點的橫坐標(biāo)；y：邊框中心點的縱坐標(biāo)；w：邊框的寬度；h：邊框的高度；confidence：邊框的置信度得分等5個值。confidence評分包括網(wǎng)格所包含目標(biāo)的置信度以及網(wǎng)格信息預(yù)測的精準(zhǔn)度，數(shù)學(xué)表達(dá)式如下

(3)

圖2 YOLO流程架構(gòu)模型

圖3 YOLO網(wǎng)絡(luò)結(jié)構(gòu)

(3)每個網(wǎng)格最多只能包含一個目標(biāo)，用Pr(class|object)表示(即在目標(biāo)存在的條件下屬于每種類別的概率)，預(yù)測該目標(biāo)屬于C個類別的概率值。例如，網(wǎng)絡(luò)對20種目標(biāo)進行分類，網(wǎng)格預(yù)測其包含的目標(biāo)屬于各個類別的概率值。

(4)損失函數(shù)

采用均方和誤差整合位置誤差、類別誤差作為損失函數(shù)(即網(wǎng)絡(luò)輸出的S×S×(B×5+C)維向量與標(biāo)注圖像的對應(yīng)S×S×(B×5+C)維向量均方和誤差)[13]。計算公式如下

(4)

其中，coordError是位置相關(guān)誤差，iouError是邊框置信度誤差，classError是目標(biāo)類別誤差。將上式展開后為

(5)

(5)檢測階段，將邊框置信度和網(wǎng)格類別概率相結(jié)合，得到邊框含有某一特定類別目標(biāo)的置信度。計算公式如下

(6)

2.2 YOLO網(wǎng)絡(luò)結(jié)構(gòu)(圖3)

YOLO的網(wǎng)絡(luò)結(jié)構(gòu)與Googlenet類似，共有24個卷積層和2個全連接層組成。其中，前24層卷積層網(wǎng)絡(luò)用于特征提取，輸出S×S×(B×5+C)維向量[15]。網(wǎng)絡(luò)信息如表1所示。

表1 YOLO網(wǎng)絡(luò)信息

3 實驗與分析

3.1 實驗環(huán)境

硬件環(huán)境：CPU Intel(R) Core(TM)i7-7700HQ @2.80GHz；內(nèi)存16G；GPU卡NVIDIA GeForce 940MX。

3.2 實驗數(shù)據(jù)準(zhǔn)備

實驗使用的數(shù)據(jù)集包含210張軌道圖像，其中100張訓(xùn)練，60張驗證，50張測試。

實驗使用的軌道圖像數(shù)據(jù)來源于上海市龍陽路軌道實訓(xùn)基地的實拍圖，考慮到攝影角度和光照條件的變化，以及樣本多樣性等因素，圖像采樣標(biāo)準(zhǔn)如表2所示。

表2 數(shù)據(jù)采集統(tǒng)計

使用開源標(biāo)注軟件精靈標(biāo)注助手(Colabeler)對扣件類別及位置進行標(biāo)注，該軟件目前支持在Windows/Mac/Linux平臺下運行。標(biāo)注結(jié)果為Pascalvoc的xml文件，其文本格式化信息如圖4所示。

圖4 圖像標(biāo)注信息

3.3 網(wǎng)絡(luò)構(gòu)建及訓(xùn)練

基于TensorFlow構(gòu)架構(gòu)建32層的卷積網(wǎng)絡(luò)[16-17]，其中包含24個卷積層、4個最大池化層，3個全連接層。

圖5 網(wǎng)絡(luò)結(jié)構(gòu)代碼

網(wǎng)絡(luò)輸出層預(yù)測扣件的概率及其坐標(biāo)范圍，網(wǎng)絡(luò)結(jié)構(gòu)代碼見圖5。對預(yù)測框的高度和寬度、圖像的高度和寬度進行歸一化處理，取值區(qū)間在[0，1]之間；激活層改用帶泄露修正線性單元(Leaky ReLU)函數(shù)，使得當(dāng)輸入為負(fù)時導(dǎo)數(shù)不至于為0，減少神經(jīng)元靜默情況的發(fā)生。同時，不包含目標(biāo)的預(yù)測框置信度為0，在回歸迭代時，其梯度更新相對于包含目標(biāo)的預(yù)測框更加劇烈，易造成模型不穩(wěn)定，網(wǎng)絡(luò)發(fā)散[18]。因此，調(diào)整損失函數(shù)中預(yù)測框坐標(biāo)損失及不包含目標(biāo)的預(yù)測框置信度的權(quán)重，即增加坐標(biāo)預(yù)測權(quán)重，降低不包含目標(biāo)的預(yù)測框置信度權(quán)重。本實驗令λcoord=5，λnoobj=0.5。

(7)

設(shè)置網(wǎng)絡(luò)訓(xùn)練參數(shù)。每次訓(xùn)練8幅圖像(BatchSize=8)。學(xué)習(xí)速率參數(shù)收斂速度，速率過大，容易使梯度下降過程中迭代值越過最優(yōu)值，網(wǎng)絡(luò)難以收斂甚至發(fā)散[19]；速率過小使得梯度下降過程中步長過小，算法收斂時間過長，也容易陷入局部最優(yōu)值。本實驗訓(xùn)練速率設(shè)置如表3所示。

表3 訓(xùn)練次數(shù)與學(xué)習(xí)率

由于原始訓(xùn)練數(shù)據(jù)有限，在數(shù)據(jù)預(yù)處理階段進行數(shù)據(jù)增強，隨機將原始圖像的灰度值增加[-50，50]，將原始圖像的拍攝角度旋轉(zhuǎn)[-10，10];同時對目標(biāo)數(shù)據(jù)進行歸一化處理，將像素灰度值[0，255]轉(zhuǎn)換到[0，1]區(qū)間[20]。

3.4 實驗結(jié)果與分析

統(tǒng)計50幅軌道圖像的檢測結(jié)果，檢測正確率為94%，檢測速度達(dá)到54 fps(幀/s)。如圖6所示，當(dāng)攝影角度為垂直攝影，同時扣件圖像清晰無遮擋，網(wǎng)絡(luò)檢測效果理想(如圖6(a)、6(b)、6(c)、6(d)所示)；當(dāng)扣件圖像被部分遮擋(如圖6(e))，網(wǎng)絡(luò)對該扣件無輸出；當(dāng)扣件在圖像中像素占比小(即相比于圖像大小，目標(biāo)極小，如圖6(f))，網(wǎng)絡(luò)輸出誤差較大。其原因在于YOLO的每個網(wǎng)格只能預(yù)測一個目標(biāo)，當(dāng)多個較小的目標(biāo)物體位于同一個網(wǎng)格時，網(wǎng)絡(luò)預(yù)測不準(zhǔn)確。最終結(jié)果顯示，YOLO扣件檢測算法能夠達(dá)到實時檢測的要求，但是誤檢率較高(達(dá)到6%)，分析誤檢圖像可知，當(dāng)扣件存在部分遮擋或檢測目標(biāo)的像素量占比極小(如檢測結(jié)果圖6(f))，算法魯棒性差?？紤]到實際中相機與軌檢車為剛性連接，相機聚焦與拍攝角度固定，可以排除獲得此兩種圖像的情況，因此YOLO卷積網(wǎng)絡(luò)能夠滿足實時檢測的需要。

圖6 YOLO卷積神經(jīng)網(wǎng)絡(luò)扣件檢測結(jié)果

4 結(jié)語

(1)針對基于軌道布設(shè)關(guān)系的已有扣件定位算法受攝影角度、光照條件影響大，在彎道和咽喉道岔集中區(qū)域魯棒性差的問題，提出了應(yīng)用YOLO卷積神經(jīng)網(wǎng)絡(luò)定位軌道扣件的算法，從根本上避免軌道布設(shè)對檢測算法的約束。實驗結(jié)果表明，該算法對光照條件改變的魯棒性強，在陰雨及晴天光照條件下，網(wǎng)絡(luò)輸出準(zhǔn)確；同時算法要求攝影角度在75°～90°范圍內(nèi)(即扣件無遮擋)。猜測該現(xiàn)象是由訓(xùn)練數(shù)據(jù)的不平衡造成的，提高遮擋扣件在訓(xùn)練集的比重有望提高算法性能。

(2)算法將軌道圖像劃分為7×7的網(wǎng)格，根據(jù)相鄰共享關(guān)系，每個網(wǎng)格負(fù)責(zé)預(yù)測兩個邊界框，通過對邊界框的位置信息、長度信息、高度信息進行回歸檢測，輸出扣件位置；同時網(wǎng)絡(luò)改用Leaky-ReLU作為激活函數(shù)，保證網(wǎng)絡(luò)梯度傳遞，減少神經(jīng)元靜默情況的發(fā)生。

(3)通過檢測上海市龍陽路軌道實訓(xùn)基地實拍圖，檢測結(jié)果表明，在保證相機與軌檢車剛性連接，相機對軌道拍攝角度固定的情況下，基于YOLO的卷積神經(jīng)網(wǎng)絡(luò)定位扣件速度快(平均速度為54 fps)，檢測結(jié)果穩(wěn)定(準(zhǔn)確率為94%)，達(dá)到了實時檢測要求。