狄仕磊， 劉甲甲， 羅建橋， 李柏林

(西南交通大學(xué) 機械工程學(xué)院，四川 成都 610031)

基于潛在語義主題融合的鐵路扣件狀態(tài)檢測*

狄仕磊， 劉甲甲， 羅建橋， 李柏林

(西南交通大學(xué) 機械工程學(xué)院，四川 成都 610031)

針對現(xiàn)有單一底層特征識別扣件狀態(tài)的算法存在描述能力差、特征維度過高等問題，提出一種基于兩種扣件底層特征的潛在語義主題融合的扣件檢測模型。通過潛在狄利克雷分布(LDA)模型分別獲取扣件圖像的局部二值模式(LBP)特征和方向梯度直方圖(HOG)特征的扣件語義主題向量。將這兩種語義主題向量進行加權(quán)融合，權(quán)值由該圖像LBP特征圖和其梯度圖的信息熵來確定。以該向量訓(xùn)練分類器，判斷待檢扣件狀態(tài)。實驗表明：與目前的主流扣件檢測方法相比，該方法的漏檢率和誤檢率明顯降低，檢測能力顯著增強。

鐵路扣件檢測； 語義主題； 潛在狄利克雷分布模型； 信息熵； 加權(quán)融合

0 引 言

鐵路扣件是連接鐵路鋼軌和軌枕的緊固件，鐵路扣件的缺失、損壞很有可能導(dǎo)致列車脫軌等重大事故，所以,實現(xiàn)鐵路扣件狀態(tài)的自動化檢測在鐵路運輸中就顯得尤為重要。國際上主要通過在巡道車上安裝扣件圖像采集裝置，基于扣件圖像實現(xiàn)扣件狀態(tài)檢測[1,2]。國內(nèi)在這方面的研究開始較晚，文獻[3]采用主成分分析(principal component analysis,PCA)檢測扣件圖像，其僅能反映扣件整體狀態(tài)；文獻[4]中僅采用方向梯度直方圖(histogram of gradient,HOG)特征，扣件的漏檢率較高。文獻[5, 6]提取了扣件圖像的子塊信息，檢測準確率有所提升，但由于子塊特征串聯(lián)后維度過高，底層特征與圖像內(nèi)容之間的語義鴻溝[7]制約了扣件檢測算法的準確性。因此，需要統(tǒng)計、分析底層特征，抽取其中的語義信息，將圖像從語義模糊的高維特征空間轉(zhuǎn)化到語義明確的低維主題空間。

潛在狄利克雷分布(latent Dirichlet allocation, LDA)主題模型[8]是國內(nèi)外特征整合方面的研究熱點，在場景分類、圖像標注等領(lǐng)域有廣泛應(yīng)用[9,10]。文獻[11]在LDA的基礎(chǔ)上整合harr特征，使誤檢扣件大幅減少。但由于現(xiàn)階段所使用的整合LDA方法所選取的底層特征比較單一，導(dǎo)致分類器對不同狀態(tài)下的扣件區(qū)分能力不強?？紤]到目前扣件檢測出現(xiàn)的問題，本文利用每張扣件圖像的局部二值模式(local binary pattern,LBP)特征圖和HOG特征梯度圖的信息熵所占的比重，對通過LDA主題模型整合兩種特征所得到的主題分布進行加權(quán)融合，再將融合后的主題輸入到支持向量機(support vector machine,SVM)分類器對扣件進行分類識別。該方法融合了LBP這種紋理描述特征和HOG這種梯度描述特征，使融合后的主題分布對扣件的描述能力更強。

1 LDA模型

1.1 基本原理

LDA模型將一幅圖像作為一篇文檔，將文檔描述成主題的集合，而主題通過視覺詞匯的分布來表達。在LDA模型下，一個文檔由若干個主題構(gòu)成，該模型如圖1所示。

其中，θ表示某個主題發(fā)生的概率，φ表示在某個給定主題的條件下生成某個單詞的概率。z表示選定的某個主題，NC和N分別表示文檔中的單詞個數(shù)和文檔庫中的文檔數(shù)，T為主題個數(shù)，α和β分別為θ和φ的先驗分布。通過Gibbs采樣將文檔中的單詞分配到某個主題，從而可以得到文檔的主題分布。給出每個單詞所屬主題的全概率公式

(1)

1.2 建模方法

對扣件圖像視覺單詞構(gòu)成的文檔DLBP和DHOG進行一定次數(shù)的Gibbs采樣迭代，就可以得到扣件圖像的LDA主題模型表示。其步驟如下：1)對于訓(xùn)練集文檔中的單詞wi，隨機設(shè)定其所屬主題zi。2)根據(jù)式(1)將詞匯分配給某個主題進行迭代。迭代足夠次數(shù)以后，取zi(i從1循環(huán)到K)的當前值作為樣本記錄下來。3)按照式(2)估計訓(xùn)練集扣件圖像主題分布θV和主題下單詞的分布φ的值，完成扣件圖像的LDA表示,即

(2)

2 潛在主題加權(quán)融合

2.1 潛在主題加權(quán)融合

本文利用LDA模型分別提取基于HOG和LBP特征的圖像潛在主題分布，將圖像特征融合通過語義信息的主題分布的融合來實現(xiàn)。首先，利用LDA模型得到圖像視覺單詞構(gòu)成的文檔DLBP和DHOG的潛在語義主題分布PLBP(z|w)和PHOG(z|w)。然后,通過信息熵加權(quán)融合這兩個主題分布，作為扣件圖像的主題分布描述。設(shè)對于圖像vi，利用LBP特征得到的主題分布是PLBP(z|wi)，利用HOG特征得到的主題分布是PHOG(z|wi)。該圖像的融合主題分布可由式(3)得出

P(z|wi)=τPLBP(z|wi)+(1-τ)PHOG(z|wi)

(3)

式中 τ為利用LBP特征得到的主題分布所占的權(quán)重，其取值通過式(4)得到

(4)

式中 HLBP(vi)和HHOG(vi)分別為由LBP特征得到的特征圖和梯度圖的信息，如圖2所示，h為信息熵。

圖2 LBP特征圖和梯度圖Fig 2 LBP feature graphs and gradient graphs

從圖2中可以看出：不同狀態(tài)下的扣件LBP特征特征圖和HOG特征的梯度圖信息熵不同，而信息熵可以表達圖像特征分布的稀疏度和信息量，同時，兩種特征各自信息熵的大小決定著其在融合主題中所占的比重。因此，本文將主題分布通過從同一張圖片的這兩種底層特征中學(xué)習(xí)得到，并通過信息熵控制兩種特征對主題模型的影響。

2.2 算法描述

給定訓(xùn)練集V={v1,v2,v3,…,vN}，測試集為VT={vT1,vT2,vT3,…,vTN}，V∩VT≠? 。算法具體步驟如下：

2) 為這四種文檔分別建立LDA模型，求出基于扣件圖像LBP特征的訓(xùn)練集主題分布PLBP(z|v)和后驗概率PLBH(w|z)；

5)將P(z|v)和PVT(z|v)送入SVM分類器進行分類，即可得到測試集每張扣件圖像的狀態(tài)。

算法流程圖如圖3所示。

圖3 算法流程Fig 3 Algorithm flow chart

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集設(shè)置

鐵路扣件實際狀態(tài)可分為正常、扣件被遮擋、扣件斷裂以及扣件丟失4種情況(如圖2)。本文從大量扣件圖像中選取以上4種情況的扣件各200張作為實驗樣本庫，圖像均為120像素×180像素灰度圖。隨機抽取每種狀態(tài)的扣件100張作為訓(xùn)練集，余下圖像作為測試集。連續(xù)抽取5次，實驗結(jié)果是5組數(shù)據(jù)統(tǒng)計結(jié)果的平均值。

3.2 實驗與結(jié)果分析

1)實驗1

首先通過將本文算法與HOG,LBP特征在底層特征上的融合并通過LDA模型進行扣件檢測的方法對比，來驗證本文算法中底層特征在語義層融合的有效性；然后，將文本算法與分別用HOG和LBP特征通過LDA模型進行扣件檢測的方法相比較，來驗證本文算法中特征融合的必要性。漏檢率=漏檢目標數(shù)量/失效扣件總數(shù)量×100 %，誤檢率=誤檢扣件數(shù)量/正?？奂倲?shù)量×100 %。實驗1的檢測結(jié)果如表1所示。

表1 不同底層特征的扣件檢測結(jié)果Tab 1 Fastener detection results in different bottom layer features

將4組實驗結(jié)果對比后可知，本文方法相對于單一特征和直接將圖像的兩種特征在底層特征空間融合進行主題模型分類的方法顯著降低了漏檢率。分析其原因為：融合后的主題分布對各種類型的扣件圖像具有更強的描述能力，減少了冗余信息，對于缺陷扣件和正?？奂簿哂懈鼜姷姆直媪?。

2)實驗2

將本文所提方法與文獻[3]中的PCA方法、文獻[5]中的方向場(directional field,DF)方法，以及文獻[6]中的LBP和HOG方法對比，各方法的參數(shù)設(shè)置和原文獻一致，樣本采用本文創(chuàng)建的樣本庫。各方法的檢測結(jié)果如表2所示：

表2 本文算法與現(xiàn)有扣件檢測算法的對比Tab 2 Comparison of the algorithm in this paper and the existing fastener detection algorithms

由表2中可知：主成分方法和HOG、LBP的方法雖然耗時較短，但檢測效果較差。梯度方向場匹配雖然能夠檢測出各種失效扣件，但誤檢率過高，且耗時較長。綜合考慮，本文算法相比其他方法漏檢率和誤檢率明顯降低，檢測效果最好。

4 結(jié) 論

針對鐵路扣件狀態(tài)檢測的現(xiàn)狀，本文提出一種基于圖像底層特征的語義信息自適應(yīng)融合的方法來檢測扣件狀態(tài)。通過提取扣件圖像的兩種底層特征，有效改善了單一特征對圖像描述能力不強的問題；通過對視覺詞匯主題分布的融合解決了一般底層特征融合后特征維度過高導(dǎo)致的信息冗余問題。實驗表明：融合后的主題向量對各種狀態(tài)的扣件描述和區(qū)分能力更強，檢測精度更高。

[1] De Ruvo G,De Ruvo P,Marino F,et al.A FPGA-based architecture for automatic hexagonal bolts detection in railway maintenance[C]∥2005 Proceedings of the Seventh International Workshop on Computer Architecture for Machine Perception(CAMP),Palermo,Italy:IEEE,2005:219-224.

[2] Hsieh H Y,Chen Nanming,Liao Ching Lung.Visual recognition system of elastic rail clips for mass rapid transit systems[C]∥ASME/IEEE 2007 Joint Rail Conference and Internal Combustion Engine Division Spring Technical Conference,Pueblo,Colorado,USA:American Society of Mechanical Engineers,2007:319-325.

[3] 王 凌,張 冰,陳錫愛.基于計算機視覺的鋼軌扣件螺母缺失檢測系統(tǒng)[J].計算機工程與設(shè)計,2011,32(12):4147-4150.

[4] 李永波,李柏林,熊 鷹.基于HOG特征的鐵路扣件狀態(tài)檢測[J].傳感器與微系統(tǒng),2013,32(10):110-113.

[5] Yang Jinfeng,Tao Wei,Liu Manhua,et al.An efficient direction field-based method for the detection of fasteners on high-speed railways[J].Sensors,2011,11(8):7364-7381.

[6] Dou Yunguang,Huang Yaping,Li Qingyong,et al.A fast template matching-based algorithm for railway bolts detection[J].International Journal of Machine Learning and Cybernetics,2014,5(6):835-844.

[7] Tang Jinhui,Zha Zhengjun,Tao Dacheng,et al.Semantic-gap-oriented active learning for multilabel image annotation[J].IEEE Transactions on Image Processing,2012,21(4):2354-2360.

[8] 鄭併斌,范新南,李 敏,等.基于軌跡分段LDA主題模型的視頻異常行為檢測方法[J].計算機應(yīng)用,2015,35(2):515-518,565.

[9] Wang Ying,Li Jie,Gao Xinbo.Latent feature mining of spatial and marginal characteristics for mammographic mass classifica-tion[J].Neurocomputing,2014,144(20):107-118.

[10] Zhou Wengang,Li Houqiang,Lu Yijuan,et al.BSIFT:Toward data-independent codebook for large scale image search[J].IEEE Transactions on Image Processing,2015,24(3):967-979.

[11] Feng Hao,Jiang Zhiguo,Xie Fengying,el al.Automatic fastener classification and defect detection in vision-based railway inspection systems[J].IEEE Transaction on Instrumentation and Measurement,2014,63(4):877-888.

[12] 董 健.基于加權(quán)特征空間信息視覺詞典的圖像檢索模型[J].計算機應(yīng)用,2014,34(4):1172-1176.

Railway fasteners state detection based on latent semantic topic fusion*

DI Shi-lei， LIU Jia-jia， LUO Jian-qiao， LI Bai-lin

(School of Mechanical Engineering,Southwest Jiaotong University,Chengdu 610031,China)

Low-level features in present railway fastener detection algorithms have poor descriptive ability and high feature dimension.Aiming at these problems,a fastener detection model which fuses potential semantic topics based on two kinds of low features is proposed.Latent Dirichlet allocation(LDA)model is designed to capture latent semantic topics of histogram of gradient(HOG)feature and local binary pattern(LBP)feature fastener pictures.Topic distribution of each feature is fused by different weight,which is determined by the LBP feature graphs and the gradient images.Vectors is used to train classifier and judge state of tested fasteners.Experimental results show that the proposed algorithm has lower loss and false detection rate and stronger detectability than existing detection methods.

railway fastener detection; semantic topics; latent Dirichlet allocation (LDA) model; information entropy; weighted fusion

10.13873/J.1000—9787(2016)07—0019—03

2015—11—02

四川省科技支撐計劃資助項目(2013GZ0032,2014GZ0005)

TP 391.4

A

1000—9787(2016)07—0019—03

狄仕磊(1992-)，男，甘肅武威人，碩士研究生，主要研究方向為圖像處理與模式識別。