費(fèi)垚東，李柏林，范 宏

（西南交通大學(xué)機(jī)械工程學(xué)院，四川 成都610031）

1 引言

鐵路系統(tǒng)作為交通運(yùn)輸?shù)闹饕绞?，在?guó)民經(jīng)濟(jì)發(fā)展和國(guó)防建設(shè)中扮演著舉足輕重的角色。近年來(lái)，我國(guó)鐵路系統(tǒng)得到快速發(fā)展，規(guī)模逐漸增大，截至2018年底，全國(guó)鐵路運(yùn)營(yíng)里程已達(dá)到13.1萬(wàn)公里以上，其中高鐵2.9萬(wàn)公里以上。高安全性和高可靠性是軌道交通永恒的話題，然而隨著我國(guó)鐵路營(yíng)運(yùn)里程的持續(xù)增加，傳統(tǒng)耗時(shí)、費(fèi)力的人工巡檢模式已經(jīng)不能滿足現(xiàn)階段鐵路系統(tǒng)的養(yǎng)護(hù)要求，急需開(kāi)發(fā)自動(dòng)巡檢設(shè)備以提高鐵路巡檢質(zhì)量和效率。計(jì)算機(jī)硬件和圖像傳感器的發(fā)展，使得機(jī)器視覺(jué)技術(shù)在自動(dòng)檢測(cè)方面的應(yīng)用成為可能。鐵路公司也正試圖將機(jī)器視覺(jué)技術(shù)引入鐵路檢測(cè)的許多方面，例如鋼軌表面缺陷檢測(cè)［1］、接觸網(wǎng)故障檢測(cè)［2-4］、貨車故障檢測(cè)［5、6］、扣件故障檢測(cè)［7、8］等。

近年來(lái)，基于圖像識(shí)別的零件故障檢測(cè)［9］已經(jīng)取得了一些成果，文獻(xiàn)［10］中采用隨機(jī)的Hough變換方法確定螺栓位置，進(jìn)而通過(guò)灰度值判斷螺栓是否丟失，但該方法擴(kuò)大了感興趣區(qū)域，計(jì)算量大，識(shí)別率低。文獻(xiàn)［11］利用基于混合注意力子網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識(shí)別，從而判斷螺栓是否缺失，但實(shí)驗(yàn)的步驟偏多，增加了處理時(shí)間。文獻(xiàn)［12］用Sobel梯度法預(yù)處理圖像后提取特征，再利用交叉核函數(shù)支持向量機(jī)分類，判斷螺栓是否丟失，但該方法對(duì)噪聲敏感。文獻(xiàn)［13］基于降噪的LBP算法來(lái)提高鐵路扣件識(shí)別的準(zhǔn)確率，但識(shí)別速度明顯降低。文獻(xiàn)［14］基于Hough變換原理確定感興趣區(qū)域，通過(guò)梯度直方圖特征和角度距離相似性來(lái)確定擋件是否丟失，但該方法不能有效的抗噪聲。文獻(xiàn)［15］考慮中心點(diǎn)與上下鄰域關(guān)系的局部二值模式編碼方法，有效識(shí)別全部或部分缺失的鐵路扣件，然而該方法存在對(duì)噪聲抑制不足的弊端。使用TFDS采集到的貨車圖像，基于機(jī)器視覺(jué)技術(shù)，重點(diǎn)研究貨車螺栓故障的自動(dòng)檢測(cè)算法。該算法首先根據(jù)先驗(yàn)知識(shí)確定各螺栓的ROI（Region of Interest），然后使用提出的自適應(yīng)局部三值編碼算法提取螺栓的特征，最后將特征送入訓(xùn)練好的SVM（Support Vector Machines）中實(shí)現(xiàn)故障螺栓的識(shí)別。

2 TFDS簡(jiǎn)介

TFDS（Trouble of Moving Freight Detection System），即鐵路貨車運(yùn)行故障動(dòng)態(tài)圖像檢測(cè)系統(tǒng)，是5T系統(tǒng)的重要組成部分，是一套集高速數(shù)字圖像采集、大容量圖像數(shù)據(jù)實(shí)時(shí)處理和精確定位模式識(shí)別技術(shù)于一體的智能系統(tǒng)。該系統(tǒng)使用高速攝像機(jī)對(duì)運(yùn)行中的貨物列車的關(guān)鍵部位進(jìn)行高速攝像，將圖像實(shí)時(shí)傳輸?shù)奖O(jiān)控室，由室內(nèi)檢車員按照制動(dòng)、鉤緩、側(cè)架、中間部等八個(gè)工位在電腦中對(duì)圖像進(jìn)行分析，找出相關(guān)部件的故障，并將故障信息反饋給室外檢車員，進(jìn)行“定向”排除，從而實(shí)現(xiàn)安全行車遠(yuǎn)程可控。圖像采集設(shè)備由底部圖像采集裝置（如圖1（a）所示）和側(cè)面圖像采集裝置（圖1（b））組成。TFDS使用高速線陣CCD相機(jī)捕捉動(dòng)態(tài)貨車圖像，最高拍攝速度為68000線/秒，分辨率為（1400×1024）像素，可以適應(yīng)的貨運(yùn)列車運(yùn)行速度為（1～160）km/h。部分采集到的貨車圖像，如圖2所示。

圖1 TFDS圖像采集設(shè)備Fig.1 Image Acquisition Equipment of TFDS

圖2 TFDS圖像Fig.2 Image of TFDS

TFDS有效降低了工人在貨運(yùn)列車故障檢測(cè)中的勞動(dòng)強(qiáng)度。但是，該系統(tǒng)只負(fù)責(zé)捕獲，傳輸和存儲(chǔ)圖像，不能實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)識(shí)別故障圖像。目前，室內(nèi)檢查員的人眼仍然完成了貨車故障檢測(cè)仍以室內(nèi)檢查員人眼識(shí)別為主。但是，隨著貨運(yùn)列車的增加，檢查人員的工作量將大幅增多。此外，動(dòng)態(tài)檢車員的經(jīng)驗(yàn)不足與疲勞都容易導(dǎo)致故障的漏報(bào)與錯(cuò)報(bào)。因此，通過(guò)圖像處理的手段實(shí)現(xiàn)螺栓故障的自動(dòng)識(shí)別具有重大意義。

3 算法

3.1 感興趣區(qū)域（ROI）提取

由于原始圖像覆蓋的區(qū)域很大，直接在原始圖像中識(shí)別螺栓將會(huì)是一個(gè)巨大的挑戰(zhàn)，為此我們采用由粗到精的搜索策略，首先提取螺栓的ROI，然后在ROI中識(shí)別螺栓故障。ROI的提取，是至關(guān)重要的一步，精準(zhǔn)定位螺栓的位置，可以省去許多不必要的運(yùn)算，為后續(xù)的圖像識(shí)別過(guò)程節(jié)省時(shí)間。TFDS系統(tǒng)通過(guò)線陣掃描方式拍攝整列通過(guò)列車，配合智能磁鋼裝置，再利用車輪信息可以精確提取圖像，即列車的各個(gè)部件在圖像中的位置基本保持穩(wěn)定，位置誤差很小。因此，我們可以利用圖像的先驗(yàn)信息，直接從原始圖像中截取包括待檢測(cè)螺栓在內(nèi)的合適區(qū)域作為ROI，部分螺栓的ROI，如圖3所示。

圖3 螺栓ROI圖Fig.3 ROI Figure of Bolts（a）Boltsat The End of Shaft；（b）Bolts at The Tail Frame Pallet；（c）Bolts at The Hook Joist.

雖然ROI包括了螺栓在內(nèi)，但是由于圖像采集設(shè)備存在一定誤差，導(dǎo)致螺栓在ROI內(nèi)的位置不是固定的，而是在列車行駛方向上存在一定的波動(dòng)。因此，這里采用模板匹配方法實(shí)現(xiàn)丟失螺栓的精確定位，采用歸一化相關(guān)性（Normalized Cross Correlation，簡(jiǎn)稱NCC）作為相似性測(cè)度［16］。假設(shè)S（x，y）是大小為m×n的搜索圖像，T（x，y）是大小為M×N的模板圖像，NCC的相似性測(cè)度公式如下：

在實(shí)現(xiàn)螺栓精確定位時(shí)，T為丟失螺栓模板圖，直接從原始圖像中截取得到，如圖4（a）所示；S（x，y）為螺栓ROI。首先根據(jù)公式（1）計(jì)算搜索子圖與模板的相似度，遍歷整個(gè)搜索圖，得到相似性矩陣R；然后找到相似性矩陣R中的最小元素的坐標(biāo)，并將此坐標(biāo)映射回ROI圖像中，即得到故障螺栓在ROI中的精確位置，從而得到所需的螺栓子圖。軸端螺栓定位結(jié)果的例子，如圖4（b）所示。

圖4 軸端螺栓匹配Fig.4 Bolts Matching at The End of Shaft

3.2 螺栓局部特征提取

在得到精確的螺栓子圖之后，需要對(duì)其提取特征以供分類器做出分類。一個(gè)合適的特征提取算子可以大大簡(jiǎn)化后續(xù)的目標(biāo)識(shí)別過(guò)程。TFDS圖像數(shù)量巨大且容易受到光照的影響，而局部模式描述子又具有算法簡(jiǎn)潔、光照不變等優(yōu)點(diǎn)，因此這里采用局部模式描述子對(duì)螺栓子圖提取特征。首先簡(jiǎn)述LBP（Local Binary Pattern）算子，即局部二值模式；然后介紹原始的LTP（Local Ternary Pattern）算子，即局部三值模式；最后詳細(xì)介紹這里提出的改進(jìn)的LTP算法，并完成螺栓的特征提取。

3.2.1 局部二值模式（LBP）

原始LBP算子由文獻(xiàn)［17］提出，他們將窗口中心點(diǎn)的灰度值作為閾值，通過(guò)比較鄰域點(diǎn)灰度值與中心點(diǎn)灰度值的大小進(jìn)行編碼。如果灰度值比中心點(diǎn)的大，則將對(duì)應(yīng)像素點(diǎn)的值設(shè)為1，否則設(shè)為0。然后根據(jù)制定的編碼方向，對(duì)應(yīng)位置的值乘以相應(yīng)的權(quán)重，將二進(jìn)制轉(zhuǎn)換成一個(gè)十進(jìn)制求和，并將該值作為此中心點(diǎn)的LBP特征值，如公式（2）所示。

其中，

式中：gc-中心點(diǎn)Pc的灰度值；gn-鄰域點(diǎn)Pn（n=0，1，...，N-1）的灰度值。

為了更直觀的表達(dá)上述內(nèi)容，以3×3窗口的LBP特征值的計(jì)算過(guò)程為例作說(shuō)明，如圖5所示。以窗口中左上角的像素點(diǎn)為起點(diǎn)按順時(shí)針?lè)较蛐D(zhuǎn)一周得到此窗口的二進(jìn)制序列，將序列中等于1的點(diǎn)乘以對(duì)應(yīng)的權(quán)重并相加得到LBP特征值為27。

圖5 LBP算子計(jì)算過(guò)程示意圖.Fig.5 Schematic Diagram of Calculation Process of LBP Operator.

3.2.2 局部三值模式（LTP）

LBP算子的主要弱點(diǎn)是二進(jìn)制s（x）函數(shù)的閾值是中心點(diǎn)像素的值，這使得該算子對(duì)噪聲敏感，特別是在近乎均勻的圖像區(qū)域。為了克服這個(gè)弱點(diǎn)，文獻(xiàn)［18］提出使用三元編碼（LTP），LTP是在LBP的基礎(chǔ)上得來(lái)的，是對(duì)LBP的擴(kuò)展。LTP描述子在均勻區(qū)域中具有更強(qiáng)的區(qū)分性和抗噪聲的能力，通常被用于紋理分類［19］，人臉識(shí)別［20］，人體動(dòng)作識(shí)別［21］等。為了實(shí)現(xiàn)三元編碼，在規(guī)范LBP的s（x）函數(shù)中引入閾值τ，該函數(shù)變?yōu)椋?/p>

那么，LTP算子三元編碼的自然展開(kāi)就是這樣的：

式中：qp-鄰域像素值；qc-中心像素值；τ-手動(dòng)設(shè)定的閾值。

為了降低特征直方圖的大小，根據(jù)以下二進(jìn)制函數(shù)bc(x)，c∈{-1,1}，原始LTP編碼被分成正負(fù)兩部分：

最后，將這兩部分根據(jù)二進(jìn)制模式計(jì)算的直方圖連接起來(lái)以形成特征向量。在一個(gè)3×3鄰域中，計(jì)算LBP和LTP的過(guò)程對(duì)比，如圖6所示。

圖6 LBP與LTP的關(guān)系（LTP編碼分為正（LTP+）和負(fù)（LTP-）兩部分）Fig.6 Relationship of LBP And LTP（LTP Coding Is Divided Into Positive（LTP+）And Negative（LTP-）Two Parts）

3.2.3 改進(jìn)的LTP算子

由于TFDS系統(tǒng)的圖像采集設(shè)備安裝在室外環(huán)境中，極易受到天氣、光照、污跡等因素的影響，導(dǎo)致采集到的車體圖像噪聲嚴(yán)重，這就要求特征提取算子具有抗噪聲的特性?，F(xiàn)有的LTP算子的閾值是固定的，對(duì)閾值沒(méi)有加以限制，但是由于噪聲的存在，導(dǎo)致螺栓圖像的灰度或平緩或起伏，原始的LTP算子不能有效處理這種情況。因此，這里提出一種改進(jìn)的LTP算子以克服圖像中的噪聲影響。在原始LTP算子的基礎(chǔ)上，首先計(jì)算局部區(qū)域的均方差，然后利用此均方差確定此區(qū)域中心點(diǎn)編碼所需的閾值，實(shí)現(xiàn)閾值的自適應(yīng)性。改進(jìn)的LTP算子根據(jù)不同區(qū)域的特點(diǎn)自動(dòng)調(diào)整所用的閾值，使得該算子具有更好的描述性和對(duì)抗噪聲的能力。改進(jìn)LTP算子的閾值τ通過(guò)以下公式計(jì)算：

式中：v-中心像素鄰域內(nèi)的標(biāo)準(zhǔn)方差；d-預(yù)設(shè)的參照標(biāo)準(zhǔn)差；Th-預(yù)設(shè)的閾值。

原始LTP與改進(jìn)LTP的編碼圖如圖7所示，從圖中可以看出改進(jìn)LTP保留的信息比原始LTP的更豐富，并突出了螺栓的關(guān)鍵特征，這有利于后續(xù)的分類識(shí)別。使用改進(jìn)的LTP算子對(duì)螺栓子圖完成編碼后，還要統(tǒng)計(jì)直方圖才能形成分類器能夠識(shí)別的特征向量。LTP直方圖通過(guò)以下公式計(jì)算：

圖7 LTP編碼對(duì)比圖Fig.7 Comparison of LTP Codes

其中，

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)準(zhǔn)備

為了檢驗(yàn)這里算法的性能，由國(guó)內(nèi)某車輛段提供的TFDS圖像用于實(shí)驗(yàn).圖像測(cè)試集由不同光照條件下的列車圖像組成，包括正常圖像與故障圖像（真實(shí)故障與人工合成故障），圖像總數(shù)為30000幅，圖像庫(kù)明細(xì)如表1所示；圖像大小為（1400×1024）識(shí)別算法使用VS2010編碼實(shí)現(xiàn)，實(shí)驗(yàn)計(jì)算機(jī)平臺(tái)配置為：2.71G Hz Core i5 CPU，8G內(nèi)存。

表1 測(cè)試圖像庫(kù)明細(xì)Tab.1 Testing Details of The Image Library

實(shí)驗(yàn)所用算法的參數(shù)設(shè)置為：改進(jìn)LTP算法的鄰域點(diǎn)個(gè)數(shù)P=8，鄰域半徑R=2，計(jì)算標(biāo)準(zhǔn)差v使用的鄰域半徑為13，標(biāo)準(zhǔn)差參照值d=30，LTP閾值Th=10。

4.2 螺栓故障檢測(cè)實(shí)驗(yàn)

螺栓圖像的信息比較單一，且故障螺栓的樣本數(shù)量極少。由于SVM（支持向量機(jī)）處理小樣本、非線性和高維模式的問(wèn)題表現(xiàn)良好，因此這里使用SVM進(jìn)行分類更適合。圖像庫(kù)中30000幅圖像均被用于測(cè)試故障識(shí)別算法的性能。SVM的核函數(shù)使用線性核函數(shù)，實(shí)驗(yàn)采用交叉驗(yàn)證的方式，交叉率為0.8。使用漏檢率（未檢出的故障圖像占總故障圖像的比值）、誤檢率（錯(cuò)誤檢出的故障圖像占總測(cè)試圖像的比值）和準(zhǔn)確率（正確檢出的故障圖像占總檢出圖像的比值）作為評(píng)估實(shí)驗(yàn)性能的指標(biāo)。分別使用原始LBP、原始LTP和改進(jìn)LTP對(duì)扣件子圖提取特征，將它們的統(tǒng)計(jì)直方圖送入同一個(gè)SVM分類器完成故障分類，對(duì)比結(jié)果如表2所示。

表2 螺栓故障識(shí)別結(jié)果Tab.2 Identification Results of Bolt Fault

由表2可知，由算法得到的誤檢率與漏檢率均低于其余兩種算法，其中漏檢率為0.36%，誤檢率為3.33%，正確率為90.88%。由于TFDS采集的圖像極易受天氣、光照不均的影響，圖像質(zhì)量不穩(wěn)定，常常伴隨有大量噪聲，提出的自適應(yīng)閾值的LTP算子具有較強(qiáng)的抗噪聲能力，因此取得了較好的結(jié)果。

5 結(jié)束語(yǔ)

目前使用的TFDS系統(tǒng)主要負(fù)責(zé)在室外抓捕圖像，列車故障識(shí)別仍然以人眼識(shí)別為主，只有個(gè)別故障實(shí)現(xiàn)了計(jì)算機(jī)自動(dòng)化識(shí)別。針對(duì)TFDS圖像中的螺栓故障，提出一種基于自適應(yīng)閾值LTP的螺栓故障識(shí)別方法。實(shí)驗(yàn)結(jié)果表明，這里提出的算法對(duì)不同光照下的螺栓圖像檢測(cè)效果良好，包括鉤尾框托板螺栓、鉤托梁螺栓、軸端螺栓。該檢測(cè)算法同樣可以用到TFDS系統(tǒng)中其他零件的檢測(cè)，只需要重新設(shè)計(jì)模板圖像即可。未來(lái)，我們將收集更多的圖像數(shù)據(jù)對(duì)算法進(jìn)一步驗(yàn)證并作改進(jìn)，同時(shí)要開(kāi)展其他零部件的自動(dòng)檢測(cè)研究工作。