龐鴻宇，于 龍，高仕斌

0 引言

受電弓滑板監(jiān)測裝置（5C）通過拍攝列車車頂圖像指導故障消缺[1]，是受電弓自動化監(jiān)測的重要設備之一。受電弓所在車頂區(qū)域構(gòu)件繁多，檢測容易受到復雜背景干擾。在拍攝角度和車速的影響下，車頂圖像還會出現(xiàn)歪斜畸變，對受電弓的狀態(tài)識別帶來困難。為提高自動化檢測效率，首要任務是實現(xiàn)車頂圖像中受電弓的定位與矯正。

目前，針對受電弓檢測的傳統(tǒng)方法大部分基于形狀特征的提取，如Canny 檢測[2，3]、HOG+SVM檢測[4，5]、霍夫變換[6]等。這些方法利用圖像的外觀特征對受電弓進行檢測，算法實現(xiàn)簡單，然而車頂各類鋼架、橫梁繁多復雜，針對受電弓的檢測精度低，誤檢率高。近幾年，基于卷積神經(jīng)網(wǎng)絡的目標檢測方法取得了較好的效果，如基于潛在區(qū)域推薦的Fast R-CNN[7]和Faster R-CNN[8]目標檢測框架，以及基于回歸的YOLO[9]系列網(wǎng)絡等。基于卷積神經(jīng)網(wǎng)絡的目標檢測方法相對傳統(tǒng)方法而言，能夠提取深度特征，具有良好的魯棒性。文獻[10]提出改進的YOLO V2 算法，對受電弓進行實時檢測。文獻[11]改進YOLO V3 網(wǎng)絡的結(jié)構(gòu)，對接觸網(wǎng)絕緣子進行目標識別與定位。上述基于卷積神經(jīng)網(wǎng)絡的目標檢測方法都是通過預設不同尺度及位置的錨點框獲取描述目標的特征向量實現(xiàn)檢測，在圖像歪斜畸變角度不大時可以實現(xiàn)受電弓的定位，但目標的檢測結(jié)果是外接矩形框，對于因拍攝角度造成的透視畸變的目標而言檢測結(jié)果不準確，更無法進行圖像的矯正。目前尚缺乏針對受電弓的精確檢測及圖像矯正方法，國內(nèi)外相關研究也近乎空白。

針對上述研究現(xiàn)狀，本文提出一種基于卷積神經(jīng)網(wǎng)絡的受電弓精確檢測與圖像矯正方法。該方法能夠直接預測受電弓區(qū)域的4 個頂點坐標，將頂點圍成的四邊形作為受電弓的精確檢測結(jié)果，提高受電弓的檢測精度。同時，還可利用頂點坐標進行透視變換，完成傾斜矯正，為后續(xù)受電弓的狀態(tài)判斷提供更良好的數(shù)據(jù)集。

1 受電弓滑板監(jiān)測裝置

受電弓滑板監(jiān)測裝置（5C）包括高清攝像機、攝像云臺、視頻傳輸系統(tǒng)、視頻顯示系統(tǒng)、視頻分析處理系統(tǒng)等，安裝于車站、車站咽喉處和動車段出入庫線上[1]。列車進出站時自動觸發(fā)裝置獲取列車車頂高清圖像，拍攝圖片尺寸為2 048×3 000。5C 裝置的拍攝方式與所拍部分圖像分別如圖1、圖2 所示。

圖1 5C 裝置安裝位置及拍攝示意圖

圖2 5C 裝置拍攝的圖像

2 受電弓檢測與矯正方法

本文所述方法的整體網(wǎng)絡由特征提取網(wǎng)絡與轉(zhuǎn)置卷積網(wǎng)絡構(gòu)成，如圖3 所示。特征提取網(wǎng)絡用于提取圖像特征，將原始圖像轉(zhuǎn)化為含有豐富特征信息的特征圖。轉(zhuǎn)置卷積網(wǎng)絡用于處理小分辨率特征圖得到大分辨率特征圖，以此生成檢測受電弓4個頂點的熱圖，熱圖反映了受電弓區(qū)域4 個頂點可能出現(xiàn)的位置的概率；最后根據(jù)預測的頂點位置坐標進行透視變換，得到更良好的受電弓區(qū)域圖像。

圖3 受電弓檢測網(wǎng)絡結(jié)構(gòu)

2.1 特征提取網(wǎng)絡

近年來，很多學者設計了豐富的網(wǎng)絡結(jié)構(gòu)用于圖像識別[12]、目標檢測[7]以及實例分割[13]等領域。從最早出現(xiàn)的LeNet[14]網(wǎng)絡到后來的VGGNet[15]，可以觀察到網(wǎng)絡的性能隨著網(wǎng)絡深度的加深而不斷提高，但是當網(wǎng)絡層數(shù)增長到一定數(shù)量后，網(wǎng)絡深度再加深會產(chǎn)生性能下降的現(xiàn)象。實驗證明這種現(xiàn)象是梯度消失造成的，文獻[16]提出的深度殘差網(wǎng)絡（ResNet）結(jié)構(gòu)解決了這一問題，解決問題的核心是殘差塊。一個殘差塊的結(jié)構(gòu)如圖4 所示，其中BN 為批量歸一化操作，ReLU 為激活函數(shù)。

圖4 殘差模塊結(jié)構(gòu)示意圖

殘差塊由恒等映射和殘差兩部分構(gòu)成，一個殘差塊可以表示為

殘差函數(shù)不僅可以減小網(wǎng)絡計算量，還可用于訓練網(wǎng)絡參數(shù)，簡化學習難度。本文采用ResNet網(wǎng)絡作為特征提取網(wǎng)絡，去掉最后的池化層與全連接層，形成的特征圖作為轉(zhuǎn)置卷積網(wǎng)絡的輸入。

2.2 轉(zhuǎn)置卷積網(wǎng)絡

轉(zhuǎn)置卷積網(wǎng)絡由若干個轉(zhuǎn)置卷積層組成，用于將低維向量映射到高維向量，提高特征圖的分辨率。卷積與轉(zhuǎn)置卷積運算如圖5 所示。由圖5（a）可以看出，卷積運算將特征圖縮小。圖5（b）中轉(zhuǎn)置卷積運算將特征圖分辨率擴大。由于受電弓區(qū)域的頂點占用圖像像素比例極小，本文采用轉(zhuǎn)置卷積操作，以獲得更多頂點的特征信息。

圖5 卷積與轉(zhuǎn)置卷積示意圖

特征圖分辨率擴大的倍數(shù)與轉(zhuǎn)置卷積層的數(shù)量及運算的步長有關，其輸入輸出關系如下：

o=s(i- 1) + 2p-k+ 2 （4）

式中：i、o分別為轉(zhuǎn)置卷積的輸入與輸出；s為步長；k為卷積核大??；p為邊界填充大小。

本文采用的轉(zhuǎn)置卷積網(wǎng)絡包含3 個轉(zhuǎn)置卷積層，主要結(jié)構(gòu)如表1 所示。3 個轉(zhuǎn)置卷積層的每層有256 個4×4 大小的卷積核，之后通過卷積核大小為1×1 的卷積層生成熱圖。

表1 轉(zhuǎn)置卷積層結(jié)構(gòu)

2.3 損失函數(shù)

在實際任務中，受電弓的頂點無法被某一個像素位置定義，標注頂點周圍的像素點與標注點十分相近，若將其直接歸為負樣本會對網(wǎng)絡的訓練造成干擾。本文采用高斯函數(shù)對頂點作“軟標注”，以對應頂點的真實位置為中心的高斯函數(shù)響應值作為目標熱圖，使網(wǎng)絡更容易收斂。“軟標注”處理方法如式（5）所示。

式中：(Win,Hin)為網(wǎng)絡輸入圖像的尺寸；(Wout,Hout)為網(wǎng)絡輸出特征圖的尺寸；(xt-o,yt-o)為頂點在輸入圖像上的位置；(xt-p,yt-p)為頂點在特征圖上對應的位置；g(x,y)為標簽特征圖上(x,y)位置的標簽響應值；σ為高斯函數(shù)的方差，σ的設定與輸出特征圖尺寸有關。本文設置若輸出特征圖尺寸Hout為64，則σ為2；若Hout為96，則σ為3；若Hout為128，則σ為4；以此類推。

采用均方誤差（MSE）作為網(wǎng)絡的損失函數(shù)，如式（6）所示。

式中：f(x,y)為網(wǎng)絡輸出特征圖上(x,y)位置的響應值。

2.4 受電弓透視矯正

由于5C 裝置安裝時無法對安裝角度進行準確調(diào)整，列車行進方向與圖像坐標軸呈一定夾角，對后續(xù)受電弓檢測造成干擾，因此需要對圖像進行透視矯正，保持受電弓滑板平行于圖像坐標軸。對受電弓檢測出的4 個頂點進行透視變換即可得到矯正后的受電弓區(qū)域圖像。透視矯正算法計算式為

式中：(x,y,w)為預測的頂點在原圖的坐標，實際常取w= 1；(x′,y′,w′)為預測的頂點變換后的坐標。

因此，根據(jù)透視變換前后4 個頂點的坐標即可求取4 組變換公式，獲得變換矩陣，最終得到透視變換后的圖像。

3 實驗

3.1 實驗數(shù)據(jù)集及模型參數(shù)設置

本文選取實際線路上5C 裝置拍攝的1 000 張圖像作為樣本庫，圖像尺寸為2 048×3 000。以ResNet-101 網(wǎng)絡作為模型的核心網(wǎng)絡，將模型輸入尺寸設為288×384，從而減小模型運算的時間與復雜度。模型訓練集、驗證集、測試集所用樣本數(shù)量比例為8∶1∶1。網(wǎng)絡訓練過程中超參數(shù)的設置如表2 所示。

表2 網(wǎng)絡訓練超參數(shù)設置

3.2 實驗評價標準

由于線路或拍攝角度不同，受電弓區(qū)域在圖像中的大小是不同的，因此采用對受電弓頂點預測的絕對偏差進行評價是不合理的。本文采用式（11）中的相對偏差得分（score）對檢測網(wǎng)絡預測的位置進行評價。相對偏差得分能夠有效消除拍攝角度不同所造成的影響，其計算式為

定義預測的4 個頂點坐標構(gòu)成的外接四邊形表示為R，根據(jù)人工標注的真實受電弓滑板4 個頂點組成的外接矩形表示為Rgt，則受電弓檢測的精度可以用交并比（IOU）來表示：

3.3 檢測性能結(jié)果分析

本文以受電弓滑板4 個端點作為頂點進行定位實驗，顯卡為 GTX1080Ti，軟件平臺為Python3.5.0，算法框架為Tensorflow1.3。測試集樣本100 張，每個測試樣本標注受電弓的4 個頂點，則測試集共有400 個點。受電弓滑板區(qū)域4 個頂點的標注坐標與模型預測坐標結(jié)果如圖6 所示，其中圓形點為預測坐標點，“×”形點為標注點?？梢钥吹?，模型預測坐標結(jié)果從視覺上與標注坐標十分接近，并且能夠很好地反映受電弓所在區(qū)域，在視覺上具有良好的預測效果。

圖6 標注坐標與預測坐標示意圖

為了從數(shù)值上分析模型的預測效果，表3 展示了圖6 中4 個預測點的絕對距離偏差與相對距離偏差的計算結(jié)果。

表3 頂點預測位置的偏差結(jié)果

測試集所有樣本頂點的絕對偏差與相對偏差的整體分布如圖7 所示。相對距離偏差的柱狀分布如圖8 所示。

圖7 測試集中頂點的預測結(jié)果整體分布

圖8 頂點的預測結(jié)果中相對偏差距離分布

由圖7 可以看到，所有頂點的檢測結(jié)果位于對角線周圍，代表測試集中受電弓滑板區(qū)域面積大小接近。絕對偏差大部分集中于40 個像素點以內(nèi)，相對偏差大部分集中于0.05 以內(nèi)。由圖8 可得，頂點的檢測結(jié)果中相對偏差在0.01～0.02 的有167個，占比最大（41.75%）；相對偏差在0.05 以上的有6 個，占比最少（1.5%）。定義相對偏差得分閾值不超過0.05 的檢測點為正確檢測點，則模型對受電弓頂點的檢測準確率為98.5%。

為進一步驗證本文所述受電弓檢測方法在精確度上的提升，將本文方法與文獻[10]中針對受電弓檢測的YOLO V2目標檢測算法進行對比。將100張測試樣本劃分為兩類：普通受電弓圖和歪斜畸變受電弓圖，其中歪斜畸變圖有62 張。計算兩種方法在測試集上的平均IOU結(jié)果如表4 所示。

表4 受電弓檢測精度比較結(jié)果

分析表4 可知，針對普通受電弓圖像，本文方法和YOLO V2 方法的檢測精度相當，然而對于歪斜畸變的受電弓圖像，YOLO V2 檢測精度明顯下降，本文方法的檢測精度仍處于較高水平，平均檢測精度達到0.967。

獲得4 個頂點的準確位置能夠為受電弓的矯正提供幫助。獲得受電弓滑板區(qū)域頂點定位的結(jié)果后，可依據(jù)4 個頂點位置結(jié)果進行透視變換，得到角度合適的圖像。頂點定位后的透視變換結(jié)果如圖9 所示。

圖9 透視變換結(jié)果

由圖9 可以看出，本文方法解決了拍攝角度帶來的受電弓歪斜畸變問題，能夠為受電弓的后續(xù)狀態(tài)判斷提供更良好的數(shù)據(jù)集。

4 結(jié)論

（1）為精確檢測受電弓，采用殘差網(wǎng)絡提取車頂受電弓頂點的粗特征，再以轉(zhuǎn)置卷積網(wǎng)絡擴大特征圖，提升特征的提取精度，通過訓練及預測獲得精確的受電弓頂點定位結(jié)果。與目前受電弓的目標檢測方法進行對比，驗證了本文所述方法能夠保證檢測的性能。

（2）基于頂點定位結(jié)果的透視變換算法能夠優(yōu)化受電弓的檢測圖像，明顯提升歪斜受電弓圖像的定位效果，為生成良好圖像數(shù)據(jù)集提供參考。本文所述方法在工程應用上具有一定的參考價值。