劉賢華，邱實(shí)，胡文博，王勁，王衛(wèi)東

(1. 中南大學(xué) 土木工程學(xué)院，湖南 長沙 410075；2. 高速鐵路建造技術(shù)國家工程實(shí)驗(yàn)室，湖南 長沙 410075；3. 中南大學(xué) 軌道交通基礎(chǔ)設(shè)施智能監(jiān)控研究中心，湖南 長沙 410075)

隨著鐵路現(xiàn)代化進(jìn)程的不斷推進(jìn)，鐵路線路維檢面臨著維護(hù)周期短、維護(hù)路段長、安全性要求高等新的挑戰(zhàn)。其中扣件作為固定軌道的重要部件，其狀態(tài)好壞嚴(yán)重影響著列車運(yùn)行的穩(wěn)定性和安全性。近年來，扣件缺陷檢測方法主要分為基于傳統(tǒng)圖像處理和基于深度學(xué)習(xí)2類，但都存在各自的不足之處。如何進(jìn)一步改進(jìn)扣件檢測方法對保證鐵路現(xiàn)代化建設(shè)中扣件維檢安全性、實(shí)時性和準(zhǔn)確性具有重要意義?？奂ㄎ环矫?，許多學(xué)者對此進(jìn)行了廣泛而深入的研究?；趥鹘y(tǒng)圖像處理的扣件定位方法一般是基于扣件先驗(yàn)知識、圖像灰度或紋理特征對扣件進(jìn)行定位，吳祿慎等[1]提出一種改進(jìn)的十字交叉定位法。PRASONGPONGCHAⅠ等[2]使用邊緣密度圖和隨機(jī)采樣一致性算法來估計扣件區(qū)域。QⅠU 等[3]提出了一種基于雙模板匹配的鋼軌扣件定位方法，并基于先驗(yàn)知識得到鋼軌區(qū)域圖。這些方法在特定的鐵路線路場景和較高的圖像質(zhì)量下能有較好的扣件定位效果，但適應(yīng)性較差，受先驗(yàn)知識影響較大，應(yīng)用較為局限?；谏疃葘W(xué)習(xí)的扣件定位方法適用性強(qiáng)，但其定位準(zhǔn)確率與標(biāo)注的扣件樣本的數(shù)量相關(guān)，訓(xùn)練較為困難，白堂博等[4]利用Faster R-CNN 對鐵路扣件進(jìn)行定位。李兆洋等[5]提出用基于改進(jìn)SSD模型對高鐵扣件進(jìn)行定位?？奂R別方法主要分為有監(jiān)督[6-8]和模板匹配[9-11]兩大類。有監(jiān)督方法如劉甲甲等[12]提出一種基于圖像融合特征和貝葉斯壓縮感知的圖像分類識別方法。GⅠBERT 等[13]采用多任務(wù)學(xué)習(xí)框架，綜合多個檢測器的檢測結(jié)果對扣件的缺陷類型進(jìn)行判定。模板匹配方面，DOU等[14]提出基于梯度直方圖的模板匹配算法，YANG等[15]提出基于方向場的模板匹配算法等?？偟膩碚f，以上有監(jiān)督類方法需要大量標(biāo)注的扣件樣本來訓(xùn)練分類器，耗費(fèi)大量人力和時間，且對于不同環(huán)境的鐵路線路，往往需重新設(shè)立扣件樣本，不利于大范圍推廣。而對于模板匹配類方法，常需降低匹配閾值以換取匹配召回率的提高，但匹配閾值的降低又難免造成匹配精確率的降低。綜上，現(xiàn)有方法存在扣件定位和識別準(zhǔn)確率低、適應(yīng)性差或扣件樣本需求量大、模型訓(xùn)練困難等不足。鑒于此，本文提出一種基于改進(jìn)形狀匹配的扣件缺陷檢測方法。該方法對扣件檢測的召回率高，能夠?qū)崿F(xiàn)高精度下的扣件缺陷快速識別。此外，該方法結(jié)合軌檢車拍攝的扣件圖片的特點(diǎn)，能夠做到無須預(yù)先進(jìn)行扣件定位即可找出缺陷扣件的所在的鐵路里程，具有較高的實(shí)用性和可行性。

1 技術(shù)路線

高速鐵路綜合巡檢車拍攝的扣件圖片有三大特點(diǎn)：圖像連續(xù)、位置固定和高度規(guī)律性?；谝陨?點(diǎn)，本文設(shè)計一種無需預(yù)先進(jìn)行扣件定位的扣件缺陷檢測方法。原理是利用圖片中所有扣件數(shù)量M和狀態(tài)良好的扣件數(shù)量N來確定破損扣件數(shù)量P，即P=M-N。若P不為0，說明該張扣件圖片中含有破損扣件，將該張圖片對應(yīng)的序號和里程打印輸出即可。

實(shí)現(xiàn)該方法的關(guān)鍵操作是圖片智能裁剪和模板庫自動化更新，具體流程見圖1。在圖片智能裁剪前還需進(jìn)行圖像預(yù)處理操作，包括均值濾波、直方圖均衡化和拉普拉斯銳化等，旨在減少圖像椒鹽噪聲、增強(qiáng)圖像對比度、銳化圖像輪廓邊緣，有利于后續(xù)更加精確地進(jìn)行圖片智能裁剪和輪廓提取等操作。圖片智能裁剪是對扣件圖片在鋼軌方向進(jìn)行裁剪，目的是對圖片中的扣件數(shù)量進(jìn)行固定，可有效避免軌檢車連續(xù)拍攝造成的扣件數(shù)量變化、扣件截斷等問題；另一方面，軌檢車拍攝的扣件圖片具有連續(xù)性，往往同一扣件會出現(xiàn)在連續(xù)幾張圖片中且位置不同，因此對扣件圖片的邊界進(jìn)行裁剪并不會減少有效扣件的數(shù)量。模板庫自動化更新則是根據(jù)輸入圖片針對性地選取相應(yīng)的模板庫，并具有模板庫優(yōu)化和更新功能，這是保證模板庫具有流動性、代表性和多樣性的關(guān)鍵操作，能有效提高扣件匹配的召回率而不過度增大模板庫尺寸。對扣件模板進(jìn)行ROⅠ區(qū)域提取和輪廓提取操作，根據(jù)選定的試驗(yàn)參數(shù)進(jìn)行多模板形狀匹配。

圖1 扣件檢測方法技術(shù)路線Fig.1 Technical flow of the proposed method

2 扣件圖片智能裁剪

2.1 算法簡述

本文針對軌檢車拍攝的CRTSⅢ型板式無砟軌道扣件圖片提出智能裁剪算法，該算法是基于圖像灰度值的一種圖片裁剪方法，可對具有不同扣件數(shù)的扣件圖片進(jìn)行裁剪，從而得到扣件數(shù)量固定的扣件圖片。算法流程敘述如下。

步驟1：

輸入圖片I0，尺寸為L0×W0。

步驟2：

用尺寸為L1×W1的矩形框?qū)D片I0進(jìn)行裁剪，矩形框長度方向含擋肩n個，其中L1×W1需滿足如下條件：

其中：w0為圖片中擋肩間距；w1為圖片中擋肩縱向?qū)挾?；n2p和n1p分為矩形框的上下可調(diào)整空間，由調(diào)整次數(shù)n1(或n2)乘以每次調(diào)整距離p得到。

步驟3：

以原圖片左上角為原點(diǎn)，圖片寬度為橫坐標(biāo)，長度為縱坐標(biāo)。設(shè)定矩形框頂端初始縱坐標(biāo)為S，S一般滿足如下條件：

計算縱坐標(biāo)為S處鋼軌左邊的一段擋肩范圍內(nèi)(設(shè)為c)的灰度方差，記為?0。

步驟4：

根據(jù)方差?0判斷是否屬于正常裁剪(即矩形框不與擋肩相交，反之與擋肩相交)，并進(jìn)行下一步操作，判據(jù)和相應(yīng)操作如下：

1) 當(dāng)?0≥?x時，判斷屬于非正常裁剪，矩形框整體下移p，并重復(fù)步驟4。

2) 當(dāng)?0＜?x時，判斷屬于正常裁剪，將圖片進(jìn)行裁剪，算法結(jié)束。

?x為圖片中擋肩邊緣處灰度方差，根據(jù)統(tǒng)計方法得到，一般可較保守取值。

2.2 實(shí)例計算

軌檢車采集的圖片原圖長1 048 px，寬690 px，圖片中擋肩間距165 px，擋肩縱向?qū)挾?9 px。為得到扣件數(shù)量固定為20，即在矩形框長度方向含有5 個擋肩的扣件圖片，可用長度為770 px，寬度為690 px 的矩形框?qū)υ瓐D片進(jìn)行裁剪，可較好滿足算法步驟2 的要求。初始位置S為48 px，c為50 px，取p為20 px。

判斷矩形框初始位置是否為正常裁剪(正常裁剪與非正常裁剪示例如圖2 所示)前需先確定扣件圖片中擋肩邊緣處灰度方差。計算橫坐標(biāo)在80～130 px，縱坐標(biāo)在490～655 px(剛好一個擋肩間距，其中擋肩范圍為527～596 px)范圍內(nèi)的灰度方差，如圖3所示，擋肩范圍內(nèi)的灰度方差顯然要比其他地方的要大得多。此外，由于矩形框的可調(diào)整空間較大，因此可保守將?x取值為1 000 px2，灰度方差小于?x即認(rèn)為是非正常裁剪，進(jìn)行平移調(diào)正即可。實(shí)踐表明，該方法智能、快捷、高效，能夠較好保證裁剪為正常情況。

圖2 2種裁剪方式Fig.2 Two cutting methods

圖3 扣件圖像灰度方差Fig.3 Variance of the gray-scale image

3 模板庫自動化更新

該改進(jìn)方法的多模板匹配與單模板匹配類似，不同的是對于單張扣件圖片，多模板匹配是用多個模板逐個與之進(jìn)行匹配，直至扣件圖片中所有扣件都成功匹配或模板庫遍歷完全。一種理想的多模板匹配狀態(tài)是前幾個模板就可將圖片中所有或絕大部分扣件成功匹配，其余模板專門匹配各類形態(tài)迥異的扣件，這樣既可大幅減少多模板匹配的時間，又能有效提高匹配召回率。因此，如何選取合適的模板庫，在不過度擴(kuò)大模板庫的前提下增強(qiáng)扣件種類和形態(tài)多樣化，并對模板庫中的模板進(jìn)行合理的匹配位次排序是問題的關(guān)鍵。

本文提出一種自動化更新模板庫的方法，分為初次創(chuàng)建模板庫和模板庫優(yōu)化更新2種模式，能夠做到對模板庫的實(shí)時更新。模板庫自動化更新流程如圖4所示，模板庫的初次建立是依據(jù)以往軌檢車拍攝的扣件圖片等間隔采樣得到，模板庫大小固定。而對于已建立好的模板庫，依據(jù)評價準(zhǔn)則對模板庫中的模板進(jìn)行評價和排序，并調(diào)整匹配位次，目的是讓評價高的模板增加匹配的機(jī)會和次數(shù)，并能夠有效提前結(jié)束該張扣件圖片的匹配。對于匹配位次較后的模板則用新建立的模板進(jìn)行替換，以進(jìn)一步提高模板庫的多樣性和匹配召回率，其中新模板來自匹配結(jié)果中未完全匹配的圖片。

圖4 模板庫自動化更新流程Fig.4 Template library automated update process

模板質(zhì)量的優(yōu)劣用該模板平均每次匹配成功的扣件數(shù)來衡量，扣件數(shù)越多，說明該模板適用性越強(qiáng)。本文試驗(yàn)驗(yàn)證當(dāng)模板庫數(shù)量為32 時改進(jìn)方法能夠達(dá)到較好性能(見5.2 節(jié))，且匹配時間與模板庫數(shù)量為16 時相近，匹配精度有略微提高。因此，對于數(shù)量為32 的模板庫，在模板庫優(yōu)化更新時可設(shè)定評價排序前16 的模板保持不變，對于排序靠后的16 個模板用新的模板進(jìn)行替換。這樣做的好處是既能保證后續(xù)模板匹配的精度保持在一個較高的水平，又可進(jìn)一步對模板庫進(jìn)行優(yōu)化。

4 基于HALCON的形狀匹配

Python 是一種高效靈活的計算機(jī)編程語言，能夠方便調(diào)用許多功能豐富的函數(shù)庫，如本文所用的Opencv 和Numpy 等。HALCON 是德國mvtec公司一款工業(yè)界著名的圖像處理軟件，其內(nèi)置閾值分割、形態(tài)學(xué)處理、輪廓提取等算子，且具有Python 接口，能夠高效高精度地完成各項(xiàng)圖像處理任務(wù)。本文基于Python-HALCON 聯(lián)合編程來實(shí)現(xiàn)基于改進(jìn)形狀匹配的扣件缺陷檢測方法的整個流程，其中形狀匹配通過調(diào)用HALCON 內(nèi)置的各類算子來實(shí)現(xiàn)。

4.1 形狀匹配流程

HALCON 提供的形狀匹配算法主要分為3 步：即建立模板、尋找匹配形狀和在目標(biāo)圖片中顯示匹配輪廓。以上3 步由HALCON 內(nèi)置算子實(shí)現(xiàn)，具體實(shí)現(xiàn)流程如圖5所示。形狀匹配的不同步驟分別用序號①，②和③表示，序號后為該步驟調(diào)用的算子。

圖5 HALCON形狀匹配流程Fig.5 HALCON shape matching flowchart

基于HALCON 的形狀匹配第1 步是通過算子gen_rectangle1 確定模板的大小和區(qū)域，然后利用算子reduce_domain 提取扣件模板中的ROⅠ區(qū)域，最后用算子create_shape_model 得到形狀匹配模板；第2 步是用算子find_shape_model 來找到扣件圖片中與模板對應(yīng)的形狀；第3步是利用圖示相關(guān)算子將扣件中找到的形狀轉(zhuǎn)化為模板中提取的輪廓，并將其在扣件圖片上進(jìn)行展示。

4.2 匹配效果展示

形狀匹配中2個關(guān)鍵算子是create_shape_model和find_shape_model，其參數(shù)的設(shè)定決定著匹配速度的快慢以及形狀匹配能否成功。如圖像金字塔層級的設(shè)定、形狀匹配的起始和終止角度以及步長的設(shè)定、貪婪度的設(shè)定等等。根據(jù)設(shè)定的算子參數(shù)得到的形狀匹配模板及其匹配輪廓如圖6 所示。其中圖6(b)中扣件輪廓越深，表示不同模板輪廓與該扣件輪廓匹配成功的次數(shù)越多，匹配結(jié)果可信度越高。

圖6 形狀匹配模板及其匹配輪廓展示Fig.6 Shape matching template and its matching outline display

5 試驗(yàn)結(jié)果

5.1 試驗(yàn)數(shù)據(jù)集

本文所采用的軌道扣件數(shù)據(jù)集來自2016年衡陽東-郴州西的一段高鐵線，線路類型為CRTSⅢ型板式無砟軌道。軌檢車所拍攝的軌道扣件圖片數(shù)量巨大，為便于統(tǒng)計和計算實(shí)驗(yàn)結(jié)果，本文選取其中168 張圖片用于實(shí)驗(yàn)測試，每張圖片20 個扣件，總共3 360 個扣件(正樣本)。這3 360 個扣件皆是狀況良好的扣件，扣件皆為WJ-8 型，該樣本可用于驗(yàn)證該改進(jìn)方法的匹配召回率和匹配精度。為驗(yàn)證匹配閾值大小對受損扣件的過濾(即無法匹配成功)程度，本文參照其他線路扣件損壞的形態(tài)。利用Photoshop軟件對良好扣件進(jìn)行修改(由于修改使得圖像輪廓變化，類比缺陷扣件)，制造出300個彈條斷裂扣件共100 張圖片(負(fù)樣本，如圖7所示)。

圖7 缺陷扣件展示Fig.7 Defective fastener display

5.2 結(jié)果分析

5.2.1 不同閾值對負(fù)樣本的過濾作用

本試驗(yàn)?zāi)康氖沁x擇合適閾值并驗(yàn)證閾值對負(fù)樣本的過濾作用。利用完整扣件模板與含缺陷扣件的圖片進(jìn)行形狀匹配，閾值從0.8 不斷下調(diào)直至出現(xiàn)缺陷扣件匹配率不為0，此閾值即認(rèn)為是能夠過濾含有較明顯缺陷扣件的臨界點(diǎn)，如表1 所示。只要閾值高于0.7，即可認(rèn)為形狀匹配不會出現(xiàn)誤匹配的情況。

表1 不同閾值下形狀匹配對負(fù)樣本的匹配情況Table 1 Matching of negative samples under different thresholds

5.2.2 不同條件下該改進(jìn)方法的匹配性能

本試驗(yàn)是基于改進(jìn)形狀匹配的扣件缺陷檢測方法的一次綜合性能展示，實(shí)驗(yàn)展示了在閾值分別為0.75 和0.8 時，不同模板庫大小下該方法的匹配速度和召回率，分別如圖8(a)和圖8(b)所示。圖片共有168 張，合計3 360 個扣件。當(dāng)閾值為0.75，模板數(shù)量為32 時，匹配召回率較高，達(dá)到了98.15%，且平均每張圖片匹配時間0.18 s，基本能夠達(dá)到瞬時匹配的速度；而再繼續(xù)增加模板數(shù)量對召回率的提升較小，花費(fèi)時間增加較多，因此模板數(shù)量為32 是一個比較合適的選擇。當(dāng)閾值為0.8時，匹配召回率相比閾值為0.7時下降較多，且隨著模板數(shù)量增大，匹配時間顯著增加。綜上分析，閾值為0.75，模板數(shù)量為32 時該扣件缺陷檢測方法具有優(yōu)良的匹配召回率和匹配速度。

圖8 該改進(jìn)方法在不同條件下匹配性能表現(xiàn)Fig.8 Ⅰmproved method matches performance under different conditions

6 結(jié)論

1) 提出一種基于改進(jìn)形狀匹配的扣件缺陷檢測方法，該方法的一大優(yōu)勢是無需預(yù)先對扣件進(jìn)行定位，在匹配閾值為0.75，模板庫扣件數(shù)量為32 的條件下該改進(jìn)方法對單張圖片匹配時間僅為0.18 s，檢測召回率達(dá)到了98.15%，具有較高的實(shí)用性、適用性和可行性，能夠較好滿足工務(wù)段日常維檢的需要。

2) 創(chuàng)新性地提出了智能裁剪算法用以對扣件原圖片進(jìn)行上下邊緣裁剪，以確保輸入的扣件圖片中的扣件數(shù)量固定，進(jìn)而能確定輸入的總扣件數(shù)量。實(shí)踐證明，該算法可行性強(qiáng)，裁剪準(zhǔn)確率高，且不會導(dǎo)致有效扣件數(shù)量的缺失。

3) 提出了模板庫自動化更新算法，可自動根據(jù)輸入的扣件圖片創(chuàng)建扣件模板庫，并具有模板庫優(yōu)化更新的功能，使得模板庫具有流動性，并能夠在高召回率的前提下進(jìn)一步提高模板庫的多樣性和代表性。

4)進(jìn)一步豐富了軌檢車拍攝的CRTSⅢ型板式無砟軌道扣件圖片數(shù)據(jù)，考慮該改進(jìn)方法對不同路段、不同光照和不同天氣等條件下的扣件缺陷檢測魯棒性，并致力于推動該改進(jìn)方法在軌檢車實(shí)際巡檢場景中的快速、高效部署和應(yīng)用。