崔宵洋 林建輝 陳春俊 楊 崗 楊劼力 徐 剛

（1.西南交通大學機械工程學院 成都 610031）

（2.西南交通大學牽引動力國家重點實驗室 成都 610031）

（3.中車青島四方機車車輛股份有限公司 青島 266111）

1 引言

高速列車采用弓網(wǎng)系統(tǒng)作為車輛的受流裝置。隨著我國列車速度越來越高，維持弓網(wǎng)間的良好接觸變得越來越困難，其受流質(zhì)量不能得到良好的保障，當嚴重惡化時影響列車的安全運行。定位器是接觸網(wǎng)的關(guān)鍵零部件之一，確保接觸線在受電弓滑板運行軌跡范圍內(nèi)，使接觸線與受電弓不脫離。定位器的坡度狀態(tài)經(jīng)常會受到弓網(wǎng)耦合系統(tǒng)引起的振動和激勵作用帶來的不利影響，當其坡度值過大會出現(xiàn)受電弓滑板加速磨損的現(xiàn)象，當坡度值過小會導致與受電弓滑板碰撞［1～2］。因此，檢測接觸網(wǎng)定位器對確保弓網(wǎng)系統(tǒng)的正常工作有著重要的意義。在我國鐵路起步階段，鐵路接觸網(wǎng)定位器檢修的自動化水平較低，主要依靠傳統(tǒng)人工巡檢方式檢測。人工檢測的工作量極大，維修成本高并且效率低下。隨著我國鐵路檢修設(shè)備的快速發(fā)展和對自動化檢測的需求越來越高，鐵路檢修行業(yè)開始使用圖像處理和機器學習的技術(shù)來對接觸網(wǎng)定位器進行自動化檢測，基于視覺的定位器檢測系統(tǒng)如圖1 所示。此檢測技術(shù)雖然在一定程度上提高了檢測效率，降低了人工檢修的成本，但是受到傳統(tǒng)機器學習的弊端影響，造成檢測的精確度和實時性都比較低，不能滿足實際檢測的需求［3］?，F(xiàn)如今我國鐵路檢測已經(jīng)進入“大數(shù)據(jù)”時代，迫切需要全面提高接觸網(wǎng)定位器的檢測技術(shù)，實現(xiàn)高精確率和高實時性的自動化檢測目標，切實保障高速列車的安全行駛。

近二十年隨著硬件GPU 計算水平的大力提高，深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)和計算機視覺技術(shù)在學術(shù)界和工業(yè)界都取得了巨大成功。鐵路行業(yè)相關(guān)研究學者也廣泛采用基于卷積神經(jīng)網(wǎng)絡(luò)（convolu?tional neural networks，CNN）的計算機視覺技術(shù)，在接觸網(wǎng)緊固件［4］、受電弓滑板磨耗［5］和軌道表面缺陷［6］等檢測領(lǐng)域取得了良好的檢測效果。在目標檢測領(lǐng)域，以Faster R-CNN［7］為代表的基于候選區(qū)域目標檢測算法在ImageNet［8］和MICROSOFT CO?CO［9］圖像數(shù)據(jù)庫中效果表現(xiàn)良好，在車輛檢測和行人檢測等得到了廣泛的實際應(yīng)用。然而，F(xiàn)aster R-CNN 算法對于小目標的檢測效果不太好?；诙ㄎ黄髟诮佑|網(wǎng)采集圖像中所占區(qū)域比較小事實，本文創(chuàng)新性設(shè)計了用于精確檢測小目標的多尺度卷積特征，該特征融合了不同卷積神經(jīng)網(wǎng)絡(luò)層的低級和高級的卷積特征。因此我們把改進后的Faster R-CNN 稱為多尺度特征Faster R-CNN（Multi-Lev?el Features Faster R-CNN，MLF-FRCNN）。

圖1 高速鐵路定位器檢測視覺系統(tǒng)

2 定位器檢測技術(shù)相關(guān)研究

近年來，我國鐵路行業(yè)相關(guān)學者在定位器檢測領(lǐng)域做了很多研究工作。范虎偉［11］提出首先利用Sobel 邊緣算子獲取圖像的邊緣輪廓線，然后使用鏈碼對定位器粗定位和Radon 變換精確定位相結(jié)合的檢測算法。段汝嬌［12］首先對定位器圖像進行細化預(yù)處理，然后利用改進的霍夫變換對細化圖像中的相鄰特征像素點聚類和感知編組，最后采用隨機霍夫變換使感知編組后的圖像中每條線段更接近直線，實現(xiàn)定位器快速而又準確的檢測。王旭東［13］提出基于霍夫變換直線檢測與AdaBoost 相結(jié)合的定位器檢測算法。顧會建［14］提出基于灰度自相似度特征（Gray Self-Similarity）和AdaBoost 算法構(gòu)建定位器檢測的分類器，然后利用霍夫變換對定位器進行精確檢測。前面所提出的定位器檢測算法主要利用人工獲取目標特征，然后手工對目標特征進行編碼。然而現(xiàn)如今大規(guī)模的圖像檢測數(shù)據(jù)給這種基于傳統(tǒng)機器學習的檢測技術(shù)帶來了嚴峻挑戰(zhàn)。傳統(tǒng)檢測算法嚴重依賴于設(shè)計精妙的目標特征描述子，容易陷入求解局部最優(yōu)解的陷阱，檢測精確度和速度偏低。深度卷積神經(jīng)網(wǎng)絡(luò)模型在訓練過程中整合特征提取，可以有效地解決上述問題。鐘俊平［15］提出基于CNN 的接觸網(wǎng)開口銷不良狀態(tài)檢測，所提的深度學習模型采用新型的錨機制產(chǎn)生目標建議區(qū)域，提高了檢測準確率。陳俊文提出［16］基于CNN 的接觸網(wǎng)緊固件缺陷檢測，整個檢測模型采用了由粗檢到精檢的策略。劉志剛［17］研究了基于不同深度學習模型的接觸網(wǎng)支撐組件的定位和故障檢測算法，重點比較分析了基于Faster R-CNN［7］的檢測模型效果。

Faster R-CNN 是R-CNN［18］家族中具有最優(yōu)異的檢測精確度和速度深度卷積網(wǎng)絡(luò)模型。但是Faster R-CNN本身存在著一個弊端，即其感興趣區(qū)域池化層（region of interest pooling，ROI-pooling）僅僅從單一高級卷積神經(jīng)網(wǎng)絡(luò)層的特征圖中構(gòu)建特征，比如VGG-16［19］模型只是從第五個卷積層（Conv5）的特征圖做候選區(qū)域池化運算，忽略了從低級卷積特征圖中提取特征，這些低級特征對于檢測小目標是非常重要的。因此我們提出了基于MLF-FRCNN 的定位器檢測模型，融合全局特征信息和局部特征信息，可以更好地包含檢測目標的細節(jié)信息，提高定位器的檢測精度和魯棒性。

3 所提模型

3.1 Faster R-CNN的不足

Faster R-CNN 起源于R-CNN，中間又經(jīng)歷了SPP-NET［20］和Fast R-CNN［21］的 發(fā) 展 而 最 終 形 成的。R-CNN 系列深度學習模型都是基于建議區(qū)域（region proposal）的目標檢測算法，所以如何尋找和處理目標的建議區(qū)域?qū)φ麄€模型檢測的性能有著至關(guān)重要的作用。搜索目標的建議區(qū)域（region proposal）算法從最初的EdgeBoxes［22］或者Selective Search［23］算法發(fā)展到在Faster R-CNN 中使用的區(qū)域建議網(wǎng)絡(luò)（region proposal network，RPN），檢測的精確率和速度至此得到了大幅度的提高。Faster R-CNN 通過卷積特征共享的方法使RPN 和Fast R-CNN 高效地結(jié)合成一體完成目標檢測的任務(wù)。然而Faster R-CNN 模型在提取目標特征的過程中，其最后的Conv5 卷積層所對應(yīng)的感受野范圍是相當大的。因此當檢測小目標的時候，Conv5 卷積層輸出結(jié)果只會包含很少的像素，不能很詳細地描述目標的特征信息。更糟糕的是，隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)越來越深，相應(yīng)特征圖上的每個像素點提取了感興趣區(qū)域（region of interest，ROI）之外越來越多的卷積信息。這意味著如果ROI很小，特征圖也就包含了更小比例的ROI內(nèi)部的信息。

3.2 MLF-FRCNN的結(jié)構(gòu)

跨層連接（skip-layer connections）在深度學習神經(jīng)網(wǎng)絡(luò)領(lǐng)域中是一個比較常用的思想，它可以跨過中間神經(jīng)層而將低級和高級神經(jīng)層的輸出直接連接在一起。例如Sermanet［24］提出基于多步特征（multi-stage features）的行人檢測，就是利用了跨層連接的思想。Liu［25］研究了當采用跨層連接技術(shù)提取特征時特征歸一化的必要性。根據(jù)上述Faster R-CNN 的檢測弊端和相關(guān)學者的研究方向，我們認為如果將局部特征和全局特征組合起來形成多尺度特征并加以高效利用，那么能夠更精確地檢測定位器小目標，同時具有較高的魯棒性。因此我們?nèi)略O(shè)計了多尺度特征，不僅有來自高級卷積神經(jīng)網(wǎng)絡(luò)層的高級特征，還有來自其他低級卷積層的特征，例如Conv3 和Conv4 等。這樣MLF-FRCNN 模型的特征提取工作更加完善，既能包含目標的全局信息，還能包含更多的目標細節(jié)信息，可以保證高效率地檢測小目標。受Liu 研究工作的啟發(fā)，我們在提取多級卷積特征過程中加入了二范歸一化的處理?；贚iu 提出的ParseNet［25］模型，我們設(shè)計了如圖2 所示的MLF-FRCNN 深度卷積神經(jīng)網(wǎng)絡(luò)模型。MLF-FRCNN 的區(qū)域候選網(wǎng)絡(luò)和Faster R-CNN 的保持不變，但是我們重新設(shè)計了可以在不同尺度下提取卷積特征的Fast R-CNN 卷積神經(jīng)網(wǎng)絡(luò)去訓練目標的候選區(qū)域。新型多尺度特征深度卷積神經(jīng)網(wǎng)絡(luò)包含了5 個共享的卷積層，分別是Conv1，Conv2，Conv3，Conv4 和Conv5。前兩個卷積層Conv1和Conv2后面都相應(yīng)依次連接著線性整流函數(shù)（rectified linear unit，ReLU）激活層，局部響應(yīng)歸一化（local response normalization，LRN）層，最大池化（MAX-pooling）層。另外三個卷積層后面連接ReLU 激活層，它們的輸出結(jié)果做為相應(yīng)的ROI 池化層和歸一化層的輸入。隨后對來自不同卷積層的特征進行拼接、尺度調(diào)節(jié)和降維處理（1×1 con?volution），形 成 多 尺 度 特 征（Multi-Level Fea?tures）。然后將得到的多尺度特征向量輸入到兩個全連接層（fully connected layer），最后softmax 回歸層完成目標分類和調(diào)整目標包絡(luò)框的檢測任務(wù)。

圖2 MLF-FRCNN模型的結(jié)構(gòu)

3.3 二范歸一化

為了能夠在多尺度下提取小目標的特征，我們需要在感興趣區(qū)域池化操作后將不同維度的特征向量連接起來。實際上每個卷積層的特征圖在通道數(shù)量和像素值大小范圍上都是不同的，例如卷積層越深，其特征圖上的像素值會越小。如果將各個不同卷積層的特征向量未加處理直接連接，那么淺層特征向量由于像素值較大而在多尺度特征所占權(quán)重過大，多尺度特征不能很客觀地描述小目標而變得不可信，最后導致整個深度卷積神級網(wǎng)絡(luò)檢測性能非常差。因此，我們對要連接成多尺度特征的每個特征向量進行二范歸一化處理和尺度調(diào)節(jié)［25］，這樣能夠平衡大特征和小特征之間對多尺度特征的貢獻比，同時會使神經(jīng)網(wǎng)絡(luò)訓練變得更加穩(wěn)定。特征向量的二范歸一化如式（1）和（2）所示：

在神經(jīng)網(wǎng)路訓練過程中，我們通過反向傳播（back propagation，BP）算法和鏈式法則來計算尺度因子μi和特征向量X 的微分，如式（4）、（5）、（6）所示：

式中，l 表示我們要最小化的損失函數(shù)。

我們需要將二范歸一化層集成到Faster R-CNN 模型中，ROI-pooling 層從Conv3，Conv4 和Conv5 卷積層中提取特征，每個卷積層都獨立地將特征數(shù)據(jù)傳遞給二范歸一化層。然后將多個特征向量連接成一個特征向量并進行尺度調(diào)節(jié)，使數(shù)值縮放至合適范圍內(nèi)。為了使縮放后的特征向量能夠成功輸入到原Faster R-CNN 的全連接層，需要保證它們二者之間的維度大小一樣，所以增加了1×1 convolution 層，壓縮特征向量的通道數(shù)為1。高級和低級卷積層的特征向量經(jīng)過歸一化處理，特征拼接，尺度調(diào)節(jié)和降維處理后，形成了固定維度的多尺度特征向量，最后該特征向量輸入到深度卷積神經(jīng)網(wǎng)絡(luò)的全連接層進行目標分類和目標包絡(luò)框的調(diào)整。

3.4 改進的anchor

在Faster R-CNN 模型的區(qū)域建議網(wǎng)絡(luò)RPN中，錨（anchor）的設(shè)計采用了3 種尺度{128，256，512} 和3 種比例{1 :1，1:2，2:1} ，總共有9 種不同的候選建議窗口在特種圖上滑動。然而接觸網(wǎng)定位器在我們線路試驗采集的接觸網(wǎng)圖像中面積占比比較小，比例大概在0.009～0.042 的范圍之間，遠小于ImageNet 和MICROSOFT COCO圖像數(shù)據(jù)集目標的面積占比（0.014～0.463），同時定位器構(gòu)件的寬度值遠大于其高度值?；诖?，我們將anchor 尺度和比例相應(yīng)地改為{64，128，256}和{4 :1，6:1，8:1} 。改進的anchor 在特征圖上產(chǎn)生包括中心點坐標、高度和寬度一共4 個變量參數(shù)( x，y，h，w )的區(qū)域建議框。在卷積神經(jīng)網(wǎng)絡(luò)層的特征圖里每一個位置上，分別產(chǎn)生36 個( 4×9 )用于輸入到回歸神經(jīng)網(wǎng)絡(luò)層的參數(shù)和18 個( 2×9 )用于輸入到分類層的參數(shù)。RPN 在卷積特征圖上滑動時一共產(chǎn)生H×W×9（H ，W 分別代表特征圖的高度和寬度）個anchor。

4 實驗分析

我們創(chuàng)建了總數(shù)為6000 張的高速鐵路接觸網(wǎng)定位器圖像數(shù)據(jù)集來評估MLF-FRCNN 模型的檢測效果，其中3000 張作為網(wǎng)絡(luò)模型的訓練集，1500張作為驗證集，1500 張作為測試集。接觸網(wǎng)圖像分為有隧道和無隧道兩種拍攝背景，每一種拍攝背景下的接觸網(wǎng)圖像中包括了不同拍攝角度和光照強度情況。多樣化的接觸網(wǎng)圖像數(shù)據(jù)庫利于深度卷積模型的訓練，提高定位器檢測算法的魯棒性。在模型訓練之前，我們首先利用標注工具對接觸網(wǎng)圖像中的定位器做人工標注，存儲目標的標注數(shù)據(jù)。為了提高網(wǎng)絡(luò)模型對計算資源的使用效率，接觸網(wǎng)圖像的分辨率由原來的6 600×4 400 等比例降為600×400。隨后進行零均值化處理，這樣可以在反向傳播中加快網(wǎng)絡(luò)中每一層權(quán)重參數(shù)的收斂。在MLF-FRCNN 模型訓練階段，選用VGG16深度卷積神經(jīng)網(wǎng)絡(luò)模型，超參數(shù)學習率設(shè)置為0.001，選用動量設(shè)置為0.9 的隨機梯度下降優(yōu)化器。硬件平臺包括2 GB RAM 的NVDIA TITAN X GPU和3.60GHz Intel i7-7700 CPU等。計算機選用Ubuntu操作系統(tǒng)選和Caffe［26］深度學習框架。

本小節(jié)重點分析多尺度特征對MLF-FRCNN模型檢測效果的影響。表1 比較了不同卷積層特征經(jīng)過歸一化、尺度調(diào)節(jié)和降維操作連接成的多尺度特征對模型MLF-FRCNN 的平均精度均值（mean average precision，mAP）的影響。從表1 中我們可以看出，當多尺度特征包含卷積層Conv3、Con4 和Conv5 特征時平均精度均值可以達到最高98%。若再增加卷積層Conv2的卷積特征時我們發(fā)現(xiàn)模型MLF-FRCNN 的平均精度均值并沒有得到實質(zhì)性的提高，反而在一定程度上增加了模型的復雜性，所以我們設(shè)計的多尺度特征實際上來自卷積層Conv3、Con4和Conv5。圖3展示了DPM［10］、Fast?er R-CNN 和MLF-FRCNN 的對比檢測效果。可以看出在隧道環(huán)境下和無隧道環(huán)境下，MLF-FRCNN定位器檢測模型的精確率和回召率都高于DPM 模型和Faster RCNN 模型，這表明設(shè)計的多尺度特征對于檢測小目標的定位器有很大的幫助。DPM 模型的檢測效果最差，大約只有70%。其中主要原因是DPM 基于傳統(tǒng)機器學習，提取目標特征和訓練特征進行目標分類的過程是獨立的，并且目標特征的描述子高度依賴人工設(shè)計，有時候并不能良好地描述目標。Faster R-CNN 的檢測效果處于兩外二者之間，大約為92%。Faster R-CNN 與DPM 模型相比最大的不同之處是采用了深度卷積神經(jīng)網(wǎng)絡(luò)，能夠做到端到端學習，可以大幅度提高檢測效果。MLF-FRCNN 與Faster R-CNN 相比，實現(xiàn)了可以在多個不同尺度下提取目標特征，該多尺度特征包含了目標的局部細節(jié)信息，所以檢測效果是最優(yōu)的，高達98%。橫向?qū)Ρ韧环N模型在兩種不同檢測環(huán)境下的效果，我們發(fā)現(xiàn)三種模型在無隧道的環(huán)境下定位器檢測的精確率和回召率都要高于隧道環(huán)境。該現(xiàn)象發(fā)生的主要因素是在隧道下拍攝的接觸網(wǎng)圖像背景顯得更復雜，客觀上增加了定位器的檢測難度。

圖3 上圖和下圖分別為無隧道和有隧道環(huán)境下三種檢測模型的比較

表1 從不同卷積層連接多尺度特征的檢測效果比較

表2 三種定位器檢測模型的幀率比較

表2 展 示 了DPM、Faster R-CNN 和MLFFRCNN 定位器檢測模型的幀率（Frames Per Sec?ond，F(xiàn)PS）。與Faster R-CNN 相比，MLF-FRCNN 由于使用了多尺度特征增加了一定的復雜性而導致檢測速度慢了大概1%，該模型的檢測幀率為4.65。MLF-FRCNN 模型的檢測速度比DPM 模型快了大約10 倍，可以很好地滿足實際檢測中高實時性的要求。另外，MLF-FRCNN 模型檢測幀率的標準差低于DPM 和Faster R-CNN 的標準差，這說明我們所提出的模型更具有穩(wěn)定性。圖4 展示了基于MLF-FRCNN 的定位器檢測模型的最終檢測結(jié)果，矩形框即為檢測到的定位器。圖4 的前2 個子圖片顯示的是在無隧道場景下定位器檢測結(jié)果，后4 個子圖片顯示的是在有隧道場景下的檢測結(jié)果。綜上分析，基于MLF-FRCNN 的定位器檢測模型具有高精確率和高實時性的特點，同時具有較好的魯棒性。

圖4 基于MLF-FRCNN的定位器檢測結(jié)果

5 結(jié)語

本文提出了一種基于MLF-FRCNN 的高速鐵路接觸網(wǎng)定位器檢測模型，主要在以下兩個方面進行了創(chuàng)新。首先是該模型很巧妙地融合了來自不同卷積神經(jīng)網(wǎng)絡(luò)層的特征，將分別來自高級和低級卷積層的特征向量經(jīng)過二范歸一化后進行特征拼接，隨后對其尺度調(diào)節(jié)和降維處理，最終形成了多尺度特征。該多尺度特征能夠更好地包含目標的整體信息和局部細節(jié)信息，因此更利于檢測定位器這種小目標。另外，我們根據(jù)定位器的結(jié)構(gòu)特點，重新制定了RPN 網(wǎng)絡(luò)中anchor 的尺度和比例設(shè)計規(guī)則，使其能好地符合檢測定位器這種目標場景。試驗結(jié)果表明，基于MLF-FRCNN 的定位器檢測模型比DPM 模型和Faster R-CNN 在檢測精確度方面提高了很多，同時具有很高的實時性和魯棒性，這對高速鐵路定位器的后期維修工作具有重要的意義。由于高速鐵路接觸網(wǎng)圖像的拍攝環(huán)境很惡劣，其圖像背景很復雜，造成定位器的自動化檢測這項工作很有挑戰(zhàn)性。面向未來，我們需要在如何設(shè)計高效的多尺度特征方面做更加深入的研究，繼續(xù)提高定位器檢測的精確度。另外如何從整體上對該深度卷積神經(jīng)網(wǎng)絡(luò)模型進行優(yōu)化，提高檢測的速度也是非常有價值的。