張金敏，馮映科，王思明

?

基于WLD-LPQ特征的心盤螺栓故障圖像檢測算法

張金敏1，馮映科1，王思明2

(1. 蘭州交通大學(xué) 機電工程學(xué)院，甘肅 蘭州 730070；2. 蘭州交通大學(xué) 自動化與電氣工程學(xué)院，甘肅 蘭州 730070)

針對貨車心盤螺栓故障圖像，提出一種基于韋伯局部描述符(Weber Local Descriptor , WLD)特征和局部相位量化(Local Phase Quantization, LPQ)特征融合的故障圖像檢測算法。該算法分為螺栓定位與識別2個步驟，采用間接定位法逐步定位感興趣區(qū)域(Region of Interest, ROI)，通過最大類間方差法(Otsu)和改進的Canny算法與圖像投影結(jié)合定位螺栓部位；利用WLD特征和LPQ特征分別提取螺栓紋理，對其歸一化，使用PCA降維特征向量，串行聯(lián)合為WLD-LPQ特征，通過支持向量機SVM自動檢測識別。研究結(jié)果表明：本文算法能快速準確定位，空間域與頻率域結(jié)合的WLD-LPQ特征提高了檢測識別率，平均檢測識別率達到98%以上。

心盤螺栓圖像檢測；WLD；LPQ；特征融合

心盤是鐵路貨車與轉(zhuǎn)向架傳遞載荷的主要部件之一[1]。組合式心盤便于拆裝檢修，廣泛應(yīng)用于鐵路貨車上。心盤螺栓作為組合式心盤結(jié)構(gòu)連接的關(guān)鍵零部件，在貨車運行過程中，容易造成螺栓松動、丟失、折斷等故障，從而危及貨車運行安全[2]。因此心盤螺栓故障的檢測具有重大意義。貨車運行故障動態(tài)檢測系統(tǒng)(Trouble of Moving Freight Car Detection System, TFDS)替代傳統(tǒng)人工列檢，提高了作業(yè)效率和質(zhì)量[3]。但心盤螺栓形狀較小，TFDS列檢員受到工作時間長、勞動強度大等因素影響，容易造成漏檢。心盤螺栓故障自動識別替代人工列檢是TFDS發(fā)展的必然趨勢。陳燕等[4]通過制動梁位置確定螺栓所在的心盤區(qū)域，用Hough提取圓特征的螺栓圖像，根據(jù)像素值大小判斷故障。YANG等[5]結(jié)合灰度映射和梯度映射，采用自適應(yīng)閾值變換濾掉不相關(guān)特征，定位螺栓并分割圖像，用Hough提取主要特征，最后利用螺栓幾何特征識別。LI 等[6]通過灰度投影和空間濾波初步定位螺栓，依靠梯度特征準確分割圖像，用Haar特征描述，通過AdaBoot分類器分類實現(xiàn)故障診斷。以上研究方法均未考慮拍照姿勢、光照和遮擋等因素影響，心盤螺栓識別率不高。ZHANG等[7]用Gabor濾波器提取螺栓邊緣特征，接著LBP描述，并用遺傳理論優(yōu)化Gabor不同方向模板的權(quán)值，最后利用SVM分類器實現(xiàn)故障識別，提高了在復(fù)雜環(huán)境下心盤螺栓的識別率，但該算法運行耗時較長，難以滿足TFDS實時檢測的要求。心盤螺栓圖像的特點及故障圖像檢測的難點包括：1) 心盤螺栓位于光照不良的轉(zhuǎn)向架底部，容易出現(xiàn)圖像亮度不均、噪聲多等現(xiàn)象，影響螺栓的定位和識別。2) 轉(zhuǎn)向架底部零部件較多，形狀各異，受干擾的因素多，用單一圖像處理方法難以有效定位。3) 心盤螺栓受到粉塵、油污等污染物的附著，造成螺栓紋理模糊，增加了識別難度。4) 螺栓故障類型多，部分故障與正常狀態(tài)相似度較高，區(qū)分難度大。針對以上問題，本文提出基于WLD-LPQ特征的心盤螺栓故障圖像自動檢測 算法。

1 心盤螺栓故障檢測原理

如圖1所示，心盤螺栓形狀小，直接定位比較困難，主要采用間接定位[4?6]，并用WLD-LPQ特征提取螺栓紋理，通過SVM分類器實現(xiàn)故障的自動檢測識別。

心盤螺栓自動檢測識別算法流程步驟：

步驟1：圖像讀取、中值濾波。

步驟2：心盤螺栓定位。

步驟3：WLD特征和LPQ特征分別提取、歸一化、PCA降維，最后串行聯(lián)合。

步驟4：SVM分類器檢測識別。

圖 1 心盤螺栓間接定位示意圖

1.1 心盤螺栓的定位

對于特定形狀的圖像，圖像投影能快速定位圖像中的某些信息[8]。根據(jù)制動梁與制動桿交點、螺栓中間的加強筋、螺栓固有的幾何位置關(guān)系，采用圖像投影可快速定位ROI?；叶韧队八俣瓤?，但容易受到光照、噪聲等因素的影響，在實際應(yīng)用中效果差，本文采用二值投影可解決此類問題。

二值圖像的水平和垂直投影表示為：

式中：為圖像的高度或者寬度；(,)為二值圖像的像素值。

二值化是本文圖像投影得到有效信息的關(guān)鍵步驟。二值化方法通常有全局閾值法、局部閾值法、動態(tài)閾值法，而全局閾值法中的Otsu閾值分割法對噪聲及光照不均的圖像分割效果更優(yōu)[9]，且算法運行簡單快速。Canny算法具有較好的信噪比、較高的檢測準確率、較好的邊緣連續(xù)性以及完整性[10]。經(jīng)前期實驗，采用Otsu算法和Canny算法二值化圖像效果最佳。

Canny算法也存在不足之處，如存在偽邊緣、抗噪能力差等問題[10]。根據(jù)加強筋邊緣特點，改進Canny算法，以提高其運行速度和增強抗算法的噪聲能力。Canny算法改進如下：

1) 去除高斯濾波步驟，以減少程序運行時間。

2) 在梯度計算方面，因Frei-Chen具有檢測細微邊緣和暗區(qū)邊緣的能力[11]，采用Frei-Chen算法代替Sebol算法更具優(yōu)勢。加強筋(如圖1矩形框內(nèi))的邊緣均為垂直走向，所以本文采用垂直邊緣檢測模板計算，能去除不相關(guān)的邊緣。梯度計算方法為：

3) 采用Otsu算法確定雙閾值提高算法的自適用性，有效去除偽邊緣和噪聲。加強筋邊緣屬于強邊緣，經(jīng)前期實驗可知采用Otsu算法計算梯度幅值閾值的1.5倍作為高閾值，低閾值設(shè)定為高閾值的一半。

以圖1的心盤螺栓圖像定位為例，具體過程 如下：

1) 采用Otsu算法二值化圖像，并水平投影(如圖2(a)所示)，制動梁位置的像素值最高，從而確定制動梁垂直坐標(biāo)；然后制動梁區(qū)域局部垂直投影，圖2(b)為制動梁上下250像素范圍的投影，圖2(c)為制動梁上部分250像素范圍的投影，圖2(d)為制動梁下部分250像素范圍的投影，對3個圖的最大投影值的水平坐標(biāo)求平均值，計算出制動桿的水平坐標(biāo)，比較3個圖的水平坐標(biāo)數(shù)值，得出制動梁和制動桿交點A的坐標(biāo)值和心盤螺栓位于制動梁的下方及制動桿的左側(cè)。

(a) 制動梁水平投影；(b) 制動梁上下250像素范圍投影；(c) 制動梁上部分250像素范圍投影；(d) 制動梁下部分250像素范圍投影

(a) 加強筋灰度圖像；(b) 加強筋邊緣二值圖像；(c) 加強筋垂直投影；(d) 加強筋水平投影

圖4 心盤螺栓定位結(jié)果

1.2 心盤螺栓識別

1.2.1 WLD特征

圖 5 心盤螺栓WLD特征提取過程

圖6 心盤螺栓WLD直方圖

1.2.2 LPQ特征

LPQ屬于頻率域的紋理描述，對模糊圖像的紋理描述具有一定的優(yōu)勢[13]，具體描述如下：

對于圖像()，×鄰域N采用離散的短時傅立葉變換[14]表示為：

對于每個像素位置，通過向量表示：

傅立葉系數(shù)相位可以通過每個部分的實數(shù)和虛數(shù)的符號來表示。

LPQM表示窗口大小為×的算法，5×5窗口的LPQ算法如圖7所示。

圖7 心盤螺栓LPQ特征提取過程

圖8 心盤螺栓LPQ直方圖

1.2.3 WLD-LPQ特征

本文采用WLD-LPQ特征描述，結(jié)合空間域和頻率域的特征描述以增強螺栓紋理描述能力。對上一節(jié)已經(jīng)分割好的心盤螺栓圖像，首先采用WLD特征和LPQ特征分別描述螺栓紋理，得到相應(yīng)的特征向量。

然而WLD特征和LPQ特征是不同的度量，直接融合一起，不利用提高紋理的描述能力。歸一化處理可以保持數(shù)據(jù)之間的相對關(guān)系和加快程序的收斂速度[15]。因此本文采用最大最小歸一化，如式(10)和(11)所示。

由于WLD特征和LPQ特征維度較高，影響檢測速度。PCA方法常用于降維處理，且降維后的特征仍具有很好的描述能力[16]。因此采用PCA分別對WLD特征和LPQ特征降維處理，最后串行聯(lián)合WLD和LPQ特征(如圖9所示)。

1.2.4 SVM分類

SVM在兩類別分類方面能取得較高的準確 率[17]。在提取心盤螺栓圖像特征之后，采用支持向量機(SVM)進行分類識別。該算法具體描述如 下[18]。

運用拉格朗日函數(shù)法進一步將式(13)變?yōu)椋?/p>

高斯核函數(shù)具有相當(dāng)高的靈活性，因此本文選用此函數(shù)，如式(15)所示。

其中：為核函數(shù)寬度。

根據(jù)參數(shù)(,)對SVM的影響，采用二分法進行參數(shù)尋優(yōu)。二分法就是固定值，每次取數(shù)值范圍的中間值，并且計算正確識別率。其算法步驟如下[19]。

1) 使用線性SVM求解最優(yōu)化誤差懲罰參數(shù)，使其推廣識別錯誤率降到最低。

2) 將上一步驟得到的代入相應(yīng)高斯核函數(shù)的SVM 中，依據(jù)對SVM的影響曲線(使SVM 錯誤率最低的數(shù)值僅有一個)，通過二分法來獲得最優(yōu)參數(shù)的查詢，如果超過設(shè)定精度值，本輪尋優(yōu) 結(jié)束。

3) 在得到的最優(yōu)值附近縮小步長值，重復(fù)步驟2進行更細致的二分尋優(yōu)。

4) 如果達到預(yù)定的精度則退出查詢，否則繼續(xù)尋找最優(yōu)參數(shù)。

2 實驗與分析

為驗證本文算法的有效性及優(yōu)越性，使用從蘭州鐵路局采集的心盤螺栓圖像作為實驗樣本。實驗硬件條件: Intel Corei5-5200U 2.2 GHz的CPU，8 GB內(nèi)存，軟件條件：Win7 系統(tǒng)，用Matlab R2014a進行測試，并分析檢測結(jié)果。

2.1 心盤螺栓定位實驗分析

本文選取不同環(huán)境下采集的心盤螺栓圖像進行實驗分析。一般情況下，圖像有4個心盤螺栓，由于制動桿遮擋的原因，只能顯示3個心盤螺栓。當(dāng)制動桿位置偏差未能完全遮擋住螺栓時，螺栓就會顯示出部分圖像(如圖10(a)所示)。圖10(b)為本文定位實驗的結(jié)果。

(a) 原來圖像；(b) 定位后圖像

從圖10(b)可以看出，本文方法可以定位未完全遮擋住的螺栓，而文獻[4]?[6]由于制動桿遮擋原因無法定位未完全遮擋住的心盤螺栓。從而說明本文定位方法適用性強。

2.2 心盤螺栓識別實驗分析

采用實驗室已有圖像自建心盤螺栓圖像庫，自建部分的樣本庫如圖11所示。對其進行實驗，并分析實驗結(jié)果。本文采用SVM分類器檢測識別，在訓(xùn)練SVM分類過程中，采用高斯核函數(shù)，為了SVM分類獲得最優(yōu)參數(shù)，利用二分法對誤差懲罰參數(shù)和高斯核參數(shù)測試準確率，其結(jié)果如表1 所示。

(a) 正樣本；(b) 負樣本

表1 SVM分類最優(yōu)參數(shù)值

從圖12可以看出，WLD-LPQ特征的識別率比WLD特征和LPQ特征高，其中9×9的窗口最優(yōu)。因此本文采用9×9窗口WLD-LPQ特提取螺栓 紋理。

圖12 窗口的影響

從圖13可以看出WLD特征和LPQ特征的錯誤檢測次數(shù)均大于20次才能達到100%，而WLD- LPQ特征錯誤檢測次數(shù)不到13次就可以達到100%。這表明在相同情況下，WLD-LPQ特征檢測算法檢測的準確率和速度都優(yōu)于WLD特征和LPQ特征。

圖13 WLD，LPQ和WLD-LPQ的比較

2.3 心盤螺栓整體檢測算法實驗分析

為進一步說明本文整體算法的優(yōu)越性，采用3種不同心盤螺栓檢測算法與本文進行實驗對比，實驗結(jié)果如表2所示。

表2 不同故障檢測算法對比

較表2的檢測率可知，本文算法的檢測率最高。原因在于心盤螺栓圖像的紋理清晰情況不一，有部分螺栓紋理較為模糊，采用文獻[4]和[5]的Hough提取螺栓圓特征方法失效，文獻[6]梯度的方法也失效，而本文依然可以提取心盤螺栓圖像。比較表2中的檢測時間，文獻[5]檢測時間較短，而本文算法的檢測時間相對文獻[4]和[6]也較短。雖然本文算法比文獻[5]稍微長0.01秒，但準確率最高，算法所消耗的時間也滿足TFDS實時檢測的要求。故本文算法對心盤螺栓故障檢測具有優(yōu)越性。

表3顯示了天水，武威，嘉峪關(guān)3個地方獲取圖像進行故障檢測的結(jié)果。

從表3數(shù)據(jù)分析可知：本文方法的平均準確檢測率達到96.01%，這比表2的98.49%略低。其主要原因是TFDS現(xiàn)場工作環(huán)境復(fù)雜，造成采集的圖像質(zhì)量差，如出現(xiàn)圖像嚴重模糊(如圖14所示)，以至于無法識別。但在實際中出現(xiàn)這種情況的概率極低，因此本文算法也能達到TFDS檢測的要求。

表3 不同測試點的正確檢測率

圖14 嚴重模糊圖像

3 結(jié)論

1) 根據(jù)制動梁與制動桿的交點、加強筋中點、螺栓的幾何位置關(guān)系定位心盤螺栓。在定位過程中，結(jié)合 Otsu算法和改進的Canny算法二值化圖像，然后圖像投影，排除了光照和噪聲等因素的干擾，提高了定位準確率。本文為心盤螺栓定位提供一種方法。

2) 在螺栓識別方面，采用WLD-LPQ特征提取螺栓紋理，通過SVM分類器實現(xiàn)心盤螺栓故障的自動檢測識別。實驗表明，使用WLD-LPQ特征的方法，提高了故障圖像的識別率。

3) 本文算法在檢測時間和準確率方面實現(xiàn)最優(yōu)化，保證在較短的檢測時間內(nèi)保持較高的檢測識別準確率，符合實際檢測要求，具有較好的應(yīng)用 前景。

[1] 牛成超, 王世博, 曹波. 基于微凸體接觸的心盤磨耗盤摩擦行為數(shù)值模擬研究[J]. 摩擦學(xué)報, 2015, 35(4): 398?406. NIU Chengchao, WANG Shibo, CAO Bo. Numerical simulation of friction behavior of center disc wear plate based on asperities contact[J]. Tribology, 2015, 35(4): 398?406.

[2] 戴鵬. 貨車典型故障圖像識別算法研究[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2010: 34?35. DAI Peng. Image recognition algorithms of the typical failures of the freight train[D]. Harbin: Harbin Institute of Technology, 2010: 34?35.

[3] 孫國棟, 徐威, 梁永強, 等. 基于形狀上下文的列車擋鍵丟失圖像識別算法[J]. 鐵道科學(xué)與工程學(xué)報, 2014, 11(6): 127?131. SUN Guodong, XU Wei, LIANG Yongqiang, et al. Image recognition algorithm for side frame key of train based on shape context[J]. Journal of Railway Science and Engineering, 2014, 11(6): 127?131.

[4] 陳燕, 郭峰. TFDS 系統(tǒng)心盤螺栓丟失故障的自動識別檢測技術(shù)[J]. 鄭州輕工業(yè)學(xué)院學(xué)報(自然科學(xué)版), 2010, 25(3): 90?94. CHEN Yan, GUO Feng. Automatic identification method of center plate bolts missing in TFDS system[J]. Journal of Zhengzhou University of Light Industry (Natural Science), 2010, 25(3): 90?94.

[5] YANG Xudong, YE Lianjie, YUAN Jianbo. Research of computer vision fault recognition algorithm of center plate bolts of train[C]// Instrumentation, Measurement, Computer, Communication and Control, 2011 First International Conference on, 2011: 978?981.

[6] LI Nan, WEI Zhenzhong, CAO Zhipeng, et al. Automatic fault recognition for losing of train bogie center plate bolt[C]// Communication Technology (ICCT), 2012 IEEE 14th International Conference on, 2012: 1001?1005.

[7] ZHANG Hongjian, HE Ping, YANG Xudong. Fault detection of train center plate bolts loss using modified LBP and optimization algorithm[J]. The Open Automation and Control Systems Journal, 2015(7): 1916?1921

[8] Berthold Klaus Paul Horn. Robot vision[M]. Massachusetts: the MIT Press, 1986.

[9] 袁小翠, 吳祿慎, 陳華偉. 基于Otsu方法的鋼軌圖像分割[J]. 光學(xué)精密工程, 2016, 24(7): 1772?1781. YUAN Xiaocui, WU Lushen, CHEN Huawei. Rail image segmentation based on Otsu threshold method[J]. Optics and Precision Engineering, 2016, 24(7): 1772? 1781.

[10] 郭萌, 胡遼林, 趙江濤. 基于Kirsch和Canny算子的陶瓷碗表面缺陷檢測方法[J].光學(xué)學(xué)報, 2016, 36(9): 11? 17. GUO Meng, HU Liaolin, ZHAO Jiangtao. Surface defect detect detection, method of ceramic bowl based on Kirsch and Canny operator[J]. Acta Optica Sinica, 2016, 36(9): 11?17.

[11] Ashutosh Mishra, Sudipta Mahapatra, Swapna Banerjee. Modified frei-chen operator based and visible sensor image fusion for real-time applications[J]. IEEE Sensors Journal, 2017, 17(14): 4639?4646.

[12] 羅月童, 趙蘭英, 賈偉, 等. 基于線性韋伯局部描述子的掌紋識別[J]. 中國圖像圖形學(xué)報, 2016, 21(2): 0235? 0244. LUO Yuetong, ZHAO Lanying, JIA Wei, et al. Palmprint recognition method based on line feature weber local descriptor[J]. Journal of Image and Graphics, 2016, 21(2): 0235?0244.

[13] YUAN Chengsheng, SUN Xingming, Lü Rui. Fingerprint Liveness detection based on multi-scale LPQ and PCA[J]. China Communications, 2016, 13(7): 60?65.

[14] 徐藝文, 陳忠輝, 王衛(wèi)星. 基于時頻分析的多載波2FSK技術(shù)在LPLC通信的應(yīng)用[J]. 四川大學(xué)學(xué)報(工程科學(xué)版), 2013, 45(1): 158?163. XU Yiwen, CHEN Zhonghui, WANG Weixing. Multi carrier 2FSK technology based on time-frequency analysis for LPLC communication[J]. Journal of Sichuan University (Engineering Science Edition), 2013, 45(1): 158?163.

[15] 李澄非, 陳新華. 融合局部二值模式和Hu矩特征的車型識別[J]. 激光與光電子學(xué)進展, 2016, 10(3): 206?211. LI Chengfei, CHEN Xinhua. Vehicle type recognition based on combining local binary pattern and hu matrix feature[J]. Laser and Optoelectronics Progress, 2016, 10(3): 206?211.

[16] YIN Yingjie, XU De, WANG Xingang. Online state- based structured SVM combined with incremental PCA for robust visual tracking[J]. IEEE Transactions on Cybernetics, 2015, 45(9): 1988?2000.

[17] 王海燕, 王紅軍, 徐小力. 基于支持向量機的納西東巴象形文字符識別[J]. 云南大學(xué)學(xué)報(自然科學(xué)版), 2016, 38(5): 730?736. WANG Haiyan, WANG Hongjun, XU Xiaoli. Recognition of Naxi Dongba pictographs based on support vector machine[J]. Journal of Yunnan University (Natural Sciences Edition), 2016, 38(5): 730?736.

[18] 譚熊, 余旭初, 秦進春, 等. 高光譜影像的多核SVM分類[J]. 儀器儀表學(xué)報, 2014, 35(2): 405?411. TAN Xiong, YU Xuchu, QIN Jinchun, et al. Multiple kernel SVM classification for hyperspectral images[J]. Chinese Journal of Scientific Instrument, 2014, 35(2): 405?411.

[19] 劉東輝, 卞建鵬, 付平, 等. 支持向量機最優(yōu)參數(shù)選擇的研究[J]. 河北科技大學(xué)學(xué)報, 2009, 30(1): 58?61. LIU Donghui, BIAN Jianpeng, FU Ping, et al. Study on the choice optimum parameters of support vector machine[J]. Journal of Hebei University of Science and Technology, 2009, 30(1): 58?61.

(編輯 蔣學(xué)東)

Research on fault recognition algorithm of center plate bolts based on WLD-LPQ features

ZHANG Jinmin1, FENG Yingke1, WANG Siming2

(1. School of Mechatronic Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China; 2. School of Automation and Electrical Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China)

A method based on the combination of WLD and LPQ features was proposed which aimed fault image of center plate bolts of freight train. The algorithm was divided into two steps: bolt positioning and recognition. Firstly, the positioning of the ROI was investigated by the indirect location method. The Otsu Method and the improved Canny algorithm combined with image projection were used to position the bolt. Secondly, the WLD feature and LPQ feature were chosen to extract the bolt texture separately which were normalized next. Then this paper used the PCA dimensionality vector. Finally, the WLD feature and LPQ feature was proposed to form the WLD-LPQ feature which was combined with SVM for automatic recognition and detection. Test results show that this method can quickly locate the center plate bolts. The recognition rate is high and the average fault recognition rate is over 98%.

center plate bolts image detection; WLD; LPQ; feature fusion

10.19713/j.cnki.43?1423/u.2018.09.023

TP391.4

A

1672 ? 7029(2018)09 ? 2349 ? 10

2017?07?18

國家自然科學(xué)基金資助項目(61263004)

張金敏(1966?)，女，甘肅蘭州人，副教授，從事機器視覺與模式識別研究；E?mail：236807705@qq.com