李海培
(中鐵第一勘察設(shè)計(jì)院集團(tuán)有限公司,西安 710043)
2020年3月城軌交通協(xié)會(huì)發(fā)布《中國城市軌道交通智慧城軌發(fā)展綱要》,其中設(shè)立2025年智能基礎(chǔ)設(shè)施監(jiān)測(cè)/檢測(cè)覆蓋率目標(biāo)為60%以上,2035年達(dá)到85%以上。基于該背景,發(fā)展智能軌道狀態(tài)壽命及維護(hù)評(píng)估系統(tǒng)勢(shì)在必行。鋼軌表面是軌道最薄弱的環(huán)節(jié),容易產(chǎn)生裂紋、魚鱗破損、擦傷、剝離等缺陷,嚴(yán)重影響行車安全[1]。此外,城軌列車運(yùn)行高速化和高密度的發(fā)展趨勢(shì),對(duì)鋼軌質(zhì)量和鋼軌表面缺陷檢測(cè)技術(shù)的要求也在逐步提高。為此,許多專家學(xué)者針對(duì)鋼軌表面缺陷檢測(cè)問題進(jìn)行了大量的研究。
文獻(xiàn)[2]結(jié)合均值和標(biāo)準(zhǔn)差分布曲線定位軌面區(qū)域,選取自適應(yīng)均值窗口,基于模糊模型對(duì)圖像進(jìn)行差分完成缺陷的分割,但該方法容易受到復(fù)雜環(huán)境和惡劣天氣的影響。文獻(xiàn)[3]提出了一種非接觸式診斷方法,通過激勵(lì)聲波和雷達(dá)獲取自由軌震蕩頻率特征識(shí)別鋼軌缺陷信息。文獻(xiàn)[4]通過分析圖像的灰度和梯度特征設(shè)計(jì)出平滑濾波器,根據(jù)背景圖像和原圖像的差分閾值分割結(jié)果,由連通區(qū)域標(biāo)記法實(shí)現(xiàn)軌面缺陷檢測(cè)。文獻(xiàn)[5]采用高斯-中值濾波對(duì)圖像進(jìn)行預(yù)處理,結(jié)合圖像處理技術(shù)及卷積神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)處理后圖像進(jìn)行了缺陷檢測(cè),但整體檢測(cè)算法速度慢,耗時(shí)長,實(shí)用價(jià)值較低。文獻(xiàn)[6]完成了Faster R-CNN網(wǎng)絡(luò)對(duì)輸電線路缺陷識(shí)別檢測(cè),基于傳統(tǒng)的Faster R-CNN網(wǎng)絡(luò)對(duì)缺陷識(shí)別的檢測(cè)時(shí)間有待提高。
首先對(duì)采集到的圖像進(jìn)行預(yù)處理,基于灰度垂直投影法提取鋼軌表面區(qū)域,根據(jù)缺陷圖像特點(diǎn)對(duì)Faster R-CNN網(wǎng)絡(luò)進(jìn)行改進(jìn),鋼軌表面缺陷檢測(cè)由特征提取、候選區(qū)域生成和分類識(shí)別3個(gè)子模塊共同完成,提出鋼軌表面缺陷檢測(cè)算法整體框架,如圖1所示。
圖1 鋼軌表面缺陷檢測(cè)算法整體框架
為了更好地提取圖像特征,并減少一部分后續(xù)處理計(jì)算量,需要對(duì)圖像進(jìn)行預(yù)處理,包括圖像的灰度化,圖像高斯濾波,直方圖均衡化3個(gè)步驟對(duì)鋼軌檢測(cè)原圖進(jìn)行處理[7-9]。圖像灰度化采用加權(quán)平均值法進(jìn)行計(jì)算。高斯濾波離散化窗口卷積方式,高斯核函數(shù)[10]公式為
(1)
式中,σ為高斯分布標(biāo)準(zhǔn)差。
濾波后的圖像抑制了噪聲的同時(shí),也造成了部分圖像細(xì)節(jié)的丟失,比如軌面缺陷處的邊緣細(xì)節(jié)特征會(huì)發(fā)生改變等,因此,需要對(duì)前一步處理后的圖像進(jìn)行增強(qiáng)。采用直方圖均衡化[11]使得處理后的圖像成為均勻分布的直方,理想情況下各個(gè)灰度值對(duì)應(yīng)的像素點(diǎn)個(gè)數(shù)相同。采用自適應(yīng)直方圖均衡化,變化方法為
(2)
式中,xi,j為變換前后的像素值,ni,j為像素平均灰度值,H為對(duì)xi,j的變換函數(shù),k為權(quán)重系數(shù)。
通過觀察采集的大量現(xiàn)場(chǎng)鋼軌缺陷檢測(cè)圖像發(fā)現(xiàn),由于材質(zhì)原因軌面區(qū)域和非軌面的線路區(qū)域灰度值差異化大,除此,軌檢系統(tǒng)攝像機(jī)連續(xù)移動(dòng)采集圖像中軌面區(qū)域和非軌面區(qū)域位置相對(duì)固定?;谝陨蟽牲c(diǎn),采用基于灰度投影的區(qū)域定位法[12]。具體算法流程如圖2所示。
圖2 基于灰度投影的鋼軌表面定位法流程
圖2中,F(xiàn)max為第i列曲線值f(pi)的最大值,圖像像素大小為a×b,令圖像每列灰度值為I(i,x),其投影函數(shù)為
(3)
計(jì)算連續(xù)m列投影曲線函數(shù)值之和為
(4)
由式(4)可得,當(dāng)f(p)=Fmax時(shí),該列即為待定位的軌面圖像列,投影函數(shù)值之和的集合為F={f(1),f(2),…,f(i+m-1)}。通過對(duì)坐標(biāo)的裁剪,即可得到軌面區(qū)域。
在Matlab 2016(a)軟件仿真平臺(tái)中,對(duì)上述算法進(jìn)行仿真,直方圖均衡化系數(shù)k=0.5。預(yù)處理部分結(jié)果如圖3所示,預(yù)處理前后的直方圖如圖4所示。
圖4 預(yù)處理前后直方圖對(duì)比
圖3預(yù)處理后圖像信息量明顯減少,且均衡化后圖像能增強(qiáng)濾波造成邊緣細(xì)節(jié)模糊的問題。定位前后的鋼軌表面圖像如圖5所示。投影曲線函數(shù)值與圖像列數(shù)的函數(shù)曲線如圖6所示。
圖5 軌面圖像定位前后結(jié)果
圖6 投影曲線結(jié)果
由圖5、圖6可以看出,矩形框標(biāo)記部分的投影曲線函數(shù)值明顯高于其他部分,鋼軌表面也被完整定位出來,可見本方法具備可行性。
深度學(xué)習(xí)通過深層次神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征,相比傳統(tǒng)機(jī)器克服了其需要人工設(shè)計(jì)特征以及復(fù)雜環(huán)境下算法結(jié)果不佳的問題[13-15]。采用Faster R-CNN算法,可以滿足缺陷識(shí)別對(duì)實(shí)時(shí)性的較高要求。
Faster R-CNN目標(biāo)檢測(cè)模型是在R-CNN、Fast R-CNN的基礎(chǔ)上改進(jìn),通過生成的一種優(yōu)化目標(biāo)檢測(cè)模型,用區(qū)域建議生成網(wǎng)絡(luò)RPN代替了原有傳統(tǒng)的Selective Search、edge box等方法,傳統(tǒng)的Selective Search等方法生成區(qū)域建議需2 s,而RPN網(wǎng)絡(luò)僅需10 ms,在實(shí)時(shí)性方面有了大幅度的提升[16-17]。Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。
圖7 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)
具體實(shí)施時(shí),F(xiàn)aster R-CNN算法首先利用卷積網(wǎng)絡(luò)表示高層語義信息的特征圖,然后根據(jù)RPN網(wǎng)絡(luò)產(chǎn)生多種不同長寬比的候選區(qū)域,選擇ROI區(qū)域后形成分類回歸網(wǎng)絡(luò),并根據(jù)特征進(jìn)行識(shí)別輸出。后面會(huì)對(duì)各個(gè)子網(wǎng)絡(luò)進(jìn)行介紹。
特征提取網(wǎng)絡(luò)作為Faster R-CNN的基礎(chǔ)網(wǎng)絡(luò),用于提取輸入圖片的語義信息,特征提取的效果會(huì)影響到后續(xù)一系列操作的結(jié)果,對(duì)于鋼軌表面缺陷識(shí)別檢測(cè),選擇一個(gè)合適的基層特征提取網(wǎng)絡(luò)表現(xiàn)得尤為重要。Faster R-CNN網(wǎng)絡(luò)最常見的特征提取網(wǎng)絡(luò)有ZF、VGG16、ResNet三種類型,除全連接層外,各具有5層、13層和15層及以上的特征提取層數(shù)。對(duì)于小目標(biāo)檢測(cè)來說,較淺網(wǎng)絡(luò)提取的特征圖可以包含更多細(xì)節(jié)特征,更適合于軌面缺陷檢測(cè)這種小目標(biāo)定位,故選擇ZF網(wǎng)絡(luò)作為基層特征提取子網(wǎng)絡(luò)。ZF特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。
圖8 ZF特征提取網(wǎng)絡(luò)結(jié)構(gòu)
網(wǎng)絡(luò)共包含5層卷積層,其中第1、2層均包含了conv、pool、norm及Relu操作,第3~5層均包含conv和Relu操作。
RPN網(wǎng)絡(luò)是Faster R-CNN網(wǎng)絡(luò)中用于提取目標(biāo)區(qū)域建議框的結(jié)構(gòu),其結(jié)構(gòu)示意如圖9所示。通過利用3×3滑窗提取卷積特征得到多個(gè)候選區(qū)域,并將此特征圖分別送入分類和回歸層,每個(gè)窗口對(duì)應(yīng)x個(gè)目標(biāo)候選區(qū)域,參考建議框anchors的長度和比例各不相同,用anchor鋪設(shè)原圖尋找目標(biāo)的方法計(jì)算量小。輸入256維向量,輸出網(wǎng)絡(luò)層包括分類層和回歸層,前景置信度表示軌面缺陷的概率,位移偏移量為anchors的平移縮放量。
圖9 候選區(qū)生成網(wǎng)絡(luò)結(jié)構(gòu)
對(duì)分類層中對(duì)每一個(gè)anchor進(jìn)行前景置信度的計(jì)算,結(jié)合非極大抑制思想,以IOU(Intersection over union,簡稱交并比)作為指標(biāo),即模型預(yù)測(cè)候選框和任意一個(gè)標(biāo)記候選框的交疊率,其計(jì)算公式為
(5)
式中,SanchorBox表示預(yù)測(cè)的候選框;SgroundTruth表示標(biāo)記候選框。若IOU指標(biāo)>0.7,則標(biāo)記可能包含前景物體候選框的正樣本,IOU指標(biāo)<0.3,則標(biāo)記為非目標(biāo)物體的負(fù)樣本。
回歸層輸出的anchors平移縮放量,用(Δx,Δy,Δw,Δh)分別表示預(yù)測(cè)邊框的中心坐標(biāo)(x,y)、矩形框?qū)挾葁及高度h的偏移量值,根據(jù)偏移量值進(jìn)行區(qū)域邊框位置回歸,其計(jì)算公式為
(6)
式中,x、xa、x*分別表示預(yù)測(cè)邊框、錨點(diǎn)、真實(shí)區(qū)域邊框的x坐標(biāo),y、w、h同理。
分類回歸網(wǎng)絡(luò)輸入ZF網(wǎng)絡(luò)輸出的特征圖和RPN網(wǎng)絡(luò)輸出的候選區(qū)域,輸出置信度和修正參數(shù)用以修正候選區(qū)域,其網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示。
圖10 分類回歸網(wǎng)絡(luò)結(jié)構(gòu)
分類回歸網(wǎng)絡(luò)包含一個(gè)pool13池化層,fc6、fc7、fc/cls和fc/bbox四個(gè)全連接層以及一個(gè)softmax層。pool13池化層先將輸入的候選區(qū)域池化成長度、比例相同的特征圖,然后通過fc6、fc7進(jìn)行特征映射,接著fc/cls、fc/bbox輸出各候選區(qū)域?qū)?yīng)的系數(shù)和修正參數(shù),最后由softmax計(jì)算系數(shù)得到置信度。
Faster R-CNN在通用目標(biāo)檢測(cè)領(lǐng)域表現(xiàn)優(yōu)異,但是由于缺陷部分占圖像整體部分比例較小,對(duì)小比例目標(biāo)的檢測(cè)效果不太理想,會(huì)出現(xiàn)誤檢和漏檢情況,結(jié)合鋼軌表面缺陷檢測(cè)需求,對(duì)Faster R-CNN網(wǎng)絡(luò)一些關(guān)鍵部分加以改進(jìn),提高Faster R-CNN網(wǎng)絡(luò)對(duì)鋼軌表面缺陷檢測(cè)的準(zhǔn)確率。主要包括對(duì)ZF網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)(卷積核的選擇和基于級(jí)聯(lián)的特征融合策略),以及對(duì)網(wǎng)絡(luò)訓(xùn)練策略的設(shè)計(jì),基于改進(jìn)后的鋼軌表面缺陷檢測(cè)算法網(wǎng)絡(luò)結(jié)構(gòu)如圖11所示。
圖11 改進(jìn)后的鋼軌表面缺陷檢測(cè)算法網(wǎng)絡(luò)結(jié)構(gòu)
RPN網(wǎng)絡(luò)根據(jù)提取到的卷積特征圖生成缺陷的建議區(qū)域,也稱為ROI(Region of Interest,感興趣區(qū)域),如圖11中紅色框標(biāo)注部分,然后將ROI區(qū)域映射回特征提取網(wǎng)絡(luò)提取的特征圖中,得到不同尺寸特征圖,ROI池化對(duì)不同尺度特征圖采樣,生成相同尺寸的特征張量,分類及回歸子網(wǎng)根據(jù)張量特征進(jìn)行分類回歸。
傳統(tǒng)ZF網(wǎng)絡(luò)采用的卷積核尺寸選擇7×7、5×5等具有較大感受野尺寸的卷積核,可以提取深層次的語義信息,其特征圖相對(duì)分辨率較小,這對(duì)于大尺度目標(biāo)的檢測(cè)是有效的,但這些深層次分辨率對(duì)較小的特征圖結(jié)果表現(xiàn)不理想,如對(duì)象鋼軌表面缺陷檢測(cè)?;诖?,針對(duì)傳統(tǒng)的ZF特征提取網(wǎng)絡(luò)進(jìn)行了以下2方面的改進(jìn)。
(1)卷積核的選擇
將ZF中卷積核尺寸由原來7×7的卷積核替換為三層3×3卷積核,原來conv1改進(jìn)為conv1_1、conv1_2及conv1_3,兩層3×3卷積核代替原來5×5的卷積核,這樣可以減少參數(shù)量和網(wǎng)絡(luò)規(guī)模大小,使網(wǎng)絡(luò)有更強(qiáng)的非線性映射能力,優(yōu)化網(wǎng)絡(luò)性能。
(2)基于級(jí)聯(lián)的特征融合
如圖8所示,傳統(tǒng)的ZF網(wǎng)絡(luò)為單層卷積層和池化層的交替使用結(jié)構(gòu),但Faster R-CNN網(wǎng)絡(luò)中僅將特征提取網(wǎng)絡(luò)的最后一層卷積特征圖作為后續(xù)操作輸入,最后一層卷積特征圖中每個(gè)點(diǎn)都融合了大量的周圍信息,所包含細(xì)節(jié)信息對(duì)于檢測(cè)鋼軌表面缺陷是不夠的。選擇一種基于級(jí)聯(lián)的特征融合策略對(duì)單層交替使用的卷積層結(jié)構(gòu)進(jìn)行改進(jìn),融合淺層特征和深層特征,提高網(wǎng)絡(luò)對(duì)小車號(hào)區(qū)域的定位性能。改進(jìn)后ZF網(wǎng)絡(luò)卷積層結(jié)構(gòu)如圖12所示。
圖12 改進(jìn)后ZF網(wǎng)絡(luò)卷積層結(jié)構(gòu)
圖12中,每一層卷積層卷積后,圖像的尺寸在減小,但是前期卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的是低維特征,往后學(xué)習(xí)的是高維特征。因此輸出的是小尺寸高維度的特征圖。融合cov1_3和cov2_2淺層特征圖C1,特征融合一般有元素求和或計(jì)算點(diǎn)積2種方式,卷積神經(jīng)網(wǎng)絡(luò)得到特征圖相當(dāng)于x深度的二維矩陣。矩陣元素求和或計(jì)算點(diǎn)積要求矩陣維度相同,cov1_3層特征圖和cov2_2層特征圖通道數(shù)不同,需將96通道的cov1_3特征圖升維成256通道,和cov2_2層進(jìn)行特征融合。淺層特征C1與cov4層特征圖輸出的深層次特征需進(jìn)行融合,其通道數(shù)是384,為解決通道數(shù)不一致的問題,在與C1特征融合之前,加入一層256通道的反卷積層,將384通道的深層特征降維成256通道的淺層特征,并與C1進(jìn)行特征融合得到C2,最后與第8卷積層特征融合輸出最終結(jié)果。
為了驗(yàn)證改進(jìn)算法在鋼軌表面缺陷檢測(cè)中的有效性,在顯卡為NVIDIA Geforce 920M,顯存為12GB的PC機(jī)上安裝Ubuntu16.04LTS 64位操作系統(tǒng),使用的網(wǎng)絡(luò)訓(xùn)練框架為Caffe。
參考路面、橋梁裂紋檢測(cè)等通用評(píng)價(jià)標(biāo)準(zhǔn),比較算法改進(jìn)的有效性,引入召回率Rec、準(zhǔn)確率Acc作為評(píng)價(jià)標(biāo)準(zhǔn)[18-20]。一般來說,準(zhǔn)確率越高召回率就越低,為了均衡準(zhǔn)確率和召回率對(duì)模型評(píng)價(jià)造成的影響,設(shè)定K為分類精度系數(shù),用以全面客觀地評(píng)價(jià)分類結(jié)果,其計(jì)算公式為
(7)
實(shí)驗(yàn)數(shù)據(jù)集由西安市軌道交通集團(tuán)有限公司運(yùn)營分公司提供,GJ-2型軌檢車采集的60 kg/m及50 kg/m型鋼軌表面圖像數(shù)據(jù),總共1 592張圖片,包含裂紋、魚鱗破損、擦傷、剝離以及非缺陷五類圖像。為了擴(kuò)充樣本集,采用裁剪、旋轉(zhuǎn)、添加噪聲、調(diào)節(jié)圖像明暗度等變換后,總共得到25 472張圖片,其中訓(xùn)練集22 000張圖片,測(cè)試集3 472張鋼軌表面缺陷圖片。部分樣本庫圖像如圖13所示。
圖13 部分樣本庫圖像
實(shí)際鋼軌表面缺陷圖像復(fù)雜多變,為得到識(shí)別準(zhǔn)確性高的分類器,需要讓分類識(shí)別網(wǎng)絡(luò)學(xué)習(xí)到更全面的缺陷特征,建立了5 000張實(shí)際環(huán)境豐富、干擾因素多的非軌面缺陷圖像擴(kuò)充樣本集,部分圖像如圖14所示。
圖14 部分干擾圖像
數(shù)據(jù)集測(cè)試實(shí)驗(yàn)分2組進(jìn)行,實(shí)驗(yàn)1將原樣本集分別輸入改進(jìn)前后的Faster R-CNN模型進(jìn)行訓(xùn)練;實(shí)驗(yàn)2將擴(kuò)充樣本集分別輸入改進(jìn)前后的Faster R-CNN模型進(jìn)行訓(xùn)練。得出分類精度與迭代次數(shù)的關(guān)系曲線對(duì)比,如圖15所示。
圖15 分類準(zhǔn)確率實(shí)驗(yàn)結(jié)果對(duì)比
由圖15可以看出,改進(jìn)后的Faster R-CNN模型對(duì)樣本集數(shù)據(jù)和干擾集數(shù)據(jù)的識(shí)別準(zhǔn)確率皆高于傳統(tǒng)模型,實(shí)驗(yàn)1中高出1.9%,實(shí)驗(yàn)2中高出2.8%,將上述4次實(shí)驗(yàn)的準(zhǔn)確率、召回率和分類精度系數(shù)指標(biāo)的平均值進(jìn)行比較,結(jié)果見表1。
從表1可以看出,改進(jìn)后模型準(zhǔn)確率高于傳統(tǒng)模型,2次實(shí)驗(yàn)準(zhǔn)確率分別提高了6.47%和4.19%,分類精度系數(shù)K實(shí)驗(yàn)1中提高了0.94%,實(shí)驗(yàn)2中提高了1.07%。由此看出,提出改進(jìn)Faster R-CNN模型對(duì)鋼軌表面缺陷檢測(cè)是有效的。
表1 不同方法缺陷檢測(cè)精度對(duì)比結(jié)果 %
學(xué)習(xí)率尺度影響最終的分類識(shí)別精度,其值過大,分類精度低;其值過小,訓(xùn)練時(shí)間過長,容易產(chǎn)生局部最優(yōu)的情況。調(diào)整模型中學(xué)習(xí)率,分別取0.01、0.007、0.003和0.001進(jìn)行實(shí)驗(yàn),其迭代次數(shù)和精度關(guān)系曲線對(duì)比如圖16所示。
由圖16可以看出,當(dāng)學(xué)習(xí)率為0.001時(shí)對(duì)應(yīng)的分類精度最高,迭代次數(shù)在2 000次附近收斂達(dá)到94.7%。
將本文方法與文獻(xiàn)[5]中的CNN網(wǎng)絡(luò)模型缺陷檢測(cè)法和文獻(xiàn)[6]中的傳統(tǒng)Faster R-CNN網(wǎng)絡(luò)模型缺陷檢測(cè)算法進(jìn)行對(duì)比,各類缺陷檢測(cè)準(zhǔn)確率結(jié)果見表2,各類缺陷檢測(cè)時(shí)間見表3。
圖16 學(xué)習(xí)率實(shí)驗(yàn)結(jié)果對(duì)比
表2 不同方法缺陷檢測(cè)準(zhǔn)確率對(duì)比結(jié)果 %
表3 不同方法缺陷檢測(cè)時(shí)間對(duì)比結(jié)果 s
從表2和表3可以看出,改進(jìn)方法對(duì)鋼軌表面四類缺陷檢測(cè)的準(zhǔn)確率和實(shí)時(shí)性都優(yōu)于另2種方法。
(1)為響應(yīng)《中國城市軌道交通智慧城軌發(fā)展綱要》中提出的發(fā)展智能軌道狀態(tài)壽命及維護(hù)評(píng)估系統(tǒng)的目標(biāo),提出一種基于改進(jìn)Faster R-CNN的鋼軌表面缺陷檢測(cè)方法,在樣本庫圖像中驗(yàn)證該方法對(duì)鋼軌表面常見4種缺陷檢測(cè)平均準(zhǔn)確率達(dá)到94.7%。
(2)對(duì)Faster R-CNN網(wǎng)絡(luò)的卷積核結(jié)構(gòu)和ZF網(wǎng)絡(luò)卷積層結(jié)構(gòu)進(jìn)行改進(jìn),與改進(jìn)前模型進(jìn)行對(duì)比實(shí)驗(yàn),改進(jìn)后模型比傳統(tǒng)模型缺陷檢測(cè)準(zhǔn)確率提高1.85%,平均檢測(cè)時(shí)間快0.51 s。結(jié)果表明,改進(jìn)后檢測(cè)方法實(shí)際可行,在軌道狀態(tài)壽命及維護(hù)中有較大的應(yīng)用價(jià)值。