朱力強(qiáng)，許力之，周 鑫，王耀東

(1.北京交通大學(xué) 機(jī)械與電子控制工程學(xué)院,北京 100044 2.北京交通大學(xué) 載運(yùn)工具先進(jìn)制造與測(cè)控技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,北京 100044)

基于視頻圖像的智能分析技術(shù)能有效檢測(cè)出侵入鐵路周界內(nèi)的異物，是鐵路安全防災(zāi)系統(tǒng)的重要一環(huán)[1]。判斷異物是否侵限需要獲取精確的鐵路周界即軌道區(qū)域的邊界及位置。傳統(tǒng)的處理算法大多針對(duì)監(jiān)控區(qū)域固定的相機(jī)采集的圖像進(jìn)行處理，并需要手動(dòng)標(biāo)記報(bào)警區(qū)域。隨著我國高速鐵路的快速發(fā)展，鐵路沿線的監(jiān)控相機(jī)數(shù)目激增，對(duì)所有相機(jī)內(nèi)的場(chǎng)景進(jìn)行標(biāo)注需要耗費(fèi)大量的時(shí)間和人力成本。同時(shí)大量布置在鐵路沿線的可變焦的云臺(tái)相機(jī)，隨時(shí)可能因不同的需求而改變拍攝角度、焦距等，導(dǎo)致監(jiān)控場(chǎng)景改變，使得報(bào)警區(qū)域需要手動(dòng)的重新標(biāo)定。故把能學(xué)習(xí)特征后自動(dòng)識(shí)別目標(biāo)的深度學(xué)習(xí)算法應(yīng)用到周界識(shí)別中，實(shí)現(xiàn)不同場(chǎng)景內(nèi)周界區(qū)域的劃分，將大幅度提升檢測(cè)系統(tǒng)的工作效率和精確度。在實(shí)際工程應(yīng)用中，需要將算法移植進(jìn)沿線不同配置的數(shù)據(jù)處理平臺(tái)，即要求設(shè)計(jì)的檢測(cè)算法具備良好的識(shí)別精準(zhǔn)度，同時(shí)算法的計(jì)算量要足夠小。

周界識(shí)別可歸為分割問題，目前分割算法主要有傳統(tǒng)算法和基于深度學(xué)習(xí)兩種。傳統(tǒng)算法基于閾值、區(qū)域和目標(biāo)紋理等信息劃分出不同目標(biāo)區(qū)域，如Achanta等[2]基于簡單線性迭代聚類的超像素算法，該方法將圖像由RGB顏色空間轉(zhuǎn)換到CIE-Lab顏色空間，并和X、Y坐標(biāo)組成5維特征向量，然后通過K-means算法進(jìn)行局部聚類獲取目標(biāo)邊界。文獻(xiàn)[3-4]提出一種多尺度組合聚合(MCG)算法，在多尺度融合的基礎(chǔ)上，引入隨機(jī)森林回歸器提升區(qū)域組合以及目標(biāo)生成的方式。房澤平等[5]提出基于特征顏色和SNCC的交通標(biāo)志識(shí)別與跟蹤方案，基于圖像的YCbCr顏色空間進(jìn)行閾值分割，并設(shè)計(jì)標(biāo)準(zhǔn)的匹配模板來定位和識(shí)別交通標(biāo)志。Verbeek等[6]提出一種基于馬爾科夫隨機(jī)場(chǎng)的區(qū)域分類算法，并結(jié)合基于方面的空間模型，提高了區(qū)域級(jí)分類的精度。文獻(xiàn)[7-9]基于K-means聚類算法，設(shè)定基于場(chǎng)景的顏色聚類規(guī)則，對(duì)所有碎片化區(qū)域中的連通域進(jìn)行分析后進(jìn)行組合與聚類。以上傳統(tǒng)分割算法計(jì)算耗時(shí)較長，在不同的場(chǎng)景運(yùn)用需要進(jìn)行調(diào)整，且無法獲得目標(biāo)的語義信息。

深度學(xué)習(xí)算法可根據(jù)任務(wù)分為目標(biāo)檢測(cè)和語義分割兩大類，目標(biāo)檢測(cè)網(wǎng)絡(luò)有基于單階段檢測(cè)和基于兩階段檢測(cè)兩種，兩階段檢測(cè)算法如R-CNN系列[10-13]，首先生成大量的候選區(qū)域，再對(duì)各候選區(qū)域進(jìn)行分類。單階段檢測(cè)算法如YOLO系列則略過了生成候選區(qū)域階段[14-18]，但在圖像的不同尺度特征圖的每一個(gè)像素位置預(yù)設(shè)了大量不同尺度的先驗(yàn)框，最后直接預(yù)測(cè)產(chǎn)生物體的類別和位置。然而無論是單階段還是兩階段的目標(biāo)檢測(cè)算法，依賴的錨框均不能精確地適配周界區(qū)域，無法直接應(yīng)用于周界識(shí)別。語義分割網(wǎng)絡(luò)如FCN等[19-22]對(duì)圖像中所有像素進(jìn)行分類，所以網(wǎng)絡(luò)需要的尺寸較大，其中包含的上采樣的結(jié)構(gòu)導(dǎo)致計(jì)算量比目標(biāo)識(shí)別網(wǎng)絡(luò)大。以上問題使得分割網(wǎng)絡(luò)依賴于高性能GPU顯卡，為獲取區(qū)域的精準(zhǔn)度需要較長的計(jì)算時(shí)間不利于將算法移植進(jìn)在鐵路沿線的端側(cè)數(shù)據(jù)處理平臺(tái)層。

因此，結(jié)合目標(biāo)檢測(cè)算法和語義分割算法的優(yōu)點(diǎn)，提出一種基于特征點(diǎn)識(shí)別的目標(biāo)檢測(cè)網(wǎng)絡(luò)算法，實(shí)現(xiàn)鐵路周界區(qū)域的實(shí)時(shí)識(shí)別。該算法在保證網(wǎng)絡(luò)精確識(shí)別周界的前提下，壓縮網(wǎng)絡(luò)參數(shù)進(jìn)一步優(yōu)化模型，提升網(wǎng)絡(luò)速度。

1 基于特征點(diǎn)的周界識(shí)別網(wǎng)絡(luò)

提出算法方案不同于傳統(tǒng)目標(biāo)檢測(cè)算法需要依賴檢測(cè)目標(biāo)錨框，而是直接對(duì)鐵軌、護(hù)欄的特征點(diǎn)進(jìn)行識(shí)別。算法整體方案見圖 1，首先對(duì)圖像中的鐵軌、護(hù)欄等邊界上的特征點(diǎn)進(jìn)行標(biāo)注，然后設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)特征點(diǎn)的識(shí)別，最后利用識(shí)別的特征點(diǎn)集進(jìn)行曲線擬合從而獲取精確的周界區(qū)域。

圖1 基于特征點(diǎn)的周界識(shí)別方案

1.1 數(shù)據(jù)標(biāo)注方式

傳統(tǒng)的目標(biāo)檢測(cè)標(biāo)注方式見圖2(a)，該標(biāo)注方案同時(shí)包含軌道區(qū)域和軌道周圍的無關(guān)區(qū)域。當(dāng)物體侵入該部分區(qū)域時(shí)，無論物體在軌道內(nèi)還是軌道外，視頻監(jiān)控系統(tǒng)都會(huì)進(jìn)行報(bào)警，導(dǎo)致容易出現(xiàn)大量誤報(bào)為入侵的情況。語義分割網(wǎng)絡(luò)雖然能精準(zhǔn)的識(shí)別出鐵路周界區(qū)域，但是網(wǎng)絡(luò)尺寸大，計(jì)算量高，不適用于鐵路沿線數(shù)據(jù)處理設(shè)備。因此，需要在傳統(tǒng)目標(biāo)檢測(cè)基于邊界框的方案上進(jìn)行改進(jìn)，通過小計(jì)算量的網(wǎng)絡(luò)模型，劃分出更為精準(zhǔn)的報(bào)警區(qū)域。

圖2 周界不同的標(biāo)注方式

提出基于特征點(diǎn)的周界識(shí)別算法，通過識(shí)別鐵軌和護(hù)欄的特征點(diǎn)后再擬合出精確的周界。該方案的標(biāo)注方式見圖2(b)，首先將護(hù)欄按照左右兩側(cè)的不同特征分別標(biāo)記為主護(hù)欄Fm和側(cè)護(hù)欄Fs，然后周界內(nèi)四條鐵軌分別標(biāo)記為四類R1、R2、R3、R4，最后將周界內(nèi)區(qū)域劃分成兩部分：護(hù)欄區(qū)域和軌道區(qū)域。其中兩側(cè)的護(hù)欄區(qū)域由最外側(cè)兩條鐵軌R1、R4和護(hù)欄Fm、Fs分別連接而成，軌道區(qū)域由最外側(cè)兩條鐵軌R1和R4連接而成。

手動(dòng)標(biāo)記的特征點(diǎn)并不能包含周界上的所有特征點(diǎn)，因此需要將標(biāo)注的數(shù)據(jù)概率化生成熱圖。首先將六類特征點(diǎn)(左右側(cè)護(hù)欄、四條軌道)分開單獨(dú)進(jìn)行處理，再將手動(dòng)標(biāo)注的特征點(diǎn)在該類熱圖上的位置值設(shè)為1，通過圖3所示高斯核，將特征點(diǎn)位置附近的區(qū)域都置為0～1之間的數(shù)代表真值，最后將每類特征點(diǎn)的真值圖轉(zhuǎn)為熱圖。圖4為數(shù)據(jù)集中單幅圖像的熱圖，六張圖片分別代表R1、R2、R3、R4、Fm、Fs六類特征點(diǎn)的熱圖。

圖3 高斯核熱圖

圖4 熱圖數(shù)據(jù)集

1.2 特征點(diǎn)提取網(wǎng)絡(luò)LDNet

為了兼顧準(zhǔn)確率和模型大小，選用VGG16網(wǎng)絡(luò)模型作為基礎(chǔ)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)中不同尺度的特征圖提取的是網(wǎng)絡(luò)不同的圖像信息，因此需要針對(duì)周界特征點(diǎn)的識(shí)別任務(wù)改進(jìn)VGG16網(wǎng)絡(luò)模型。改進(jìn)的網(wǎng)絡(luò)模型為LDNet，其結(jié)構(gòu)見圖5。

圖5 多尺度信息融合網(wǎng)絡(luò)結(jié)構(gòu)LDNet

網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)步驟如下：

Step1全連接層改進(jìn)

使用卷積層替代VGG16中的全連接層，網(wǎng)絡(luò)最后直接生成熱圖與真值比對(duì)進(jìn)行損失計(jì)算。使用卷積層替換后三層全連接層后，網(wǎng)絡(luò)參數(shù)減小了2～5個(gè)數(shù)量級(jí)，有效地減小了原網(wǎng)絡(luò)模型的規(guī)模。

Step2多尺度信息融合

淺層網(wǎng)絡(luò)輸出的特征圖包含豐富的幾何細(xì)節(jié)信息，如點(diǎn)和線的位置信息，但語義信息表征能力較弱；深層網(wǎng)絡(luò)輸出特征圖中含有更多的語義信息，但缺乏對(duì)空間幾何細(xì)節(jié)信息的感知能力。網(wǎng)絡(luò)模型實(shí)現(xiàn)精確的鐵路周界特征點(diǎn)識(shí)別，既需要鐵路周界特征點(diǎn)在圖像上的空間細(xì)節(jié)信息，也需要通過豐富的語義信息識(shí)別不同的周界線。因此需要融合計(jì)算的多尺度特征信息提升模型特征點(diǎn)識(shí)別能力。在全連接層改進(jìn)后的VGG16網(wǎng)絡(luò)基礎(chǔ)上，加入池化層和卷積層Conv7增大模型的感受野。

模型中同一尺度的特征由相同序列不同的卷積核計(jì)算得到，圖5中Conv6下兩個(gè)藍(lán)色的特征圖(尺寸為：19×19×1 024)是Conv6-1和Conv6-2計(jì)算所得，其他序列類推。

選用Conv2-2、Conv3-3、Conv4-3、Conv6-2、Conv7五個(gè)卷積層的輸出(分辨率分別為：150×150、75×75、38×38、19×19、10×10)分別代表了五個(gè)不同尺度的信息進(jìn)行融合。信息融合方式為首先對(duì)低分辨率的特征進(jìn)行Squeeze層壓縮，然后對(duì)壓縮后的特征反卷積到與高分辨率特征同一尺度，最后再與高分辨率特征進(jìn)行像素級(jí)點(diǎn)乘。在訓(xùn)練過程中，每一尺度的信息經(jīng)過Squeeze層壓縮后的特征，都會(huì)與熱圖標(biāo)簽計(jì)算損失進(jìn)行反向傳播，即圖5中四個(gè)綠色的Squeeze層與最后兩個(gè)藍(lán)色的預(yù)測(cè)層，總共計(jì)算6個(gè)尺度信息的損失。以圖5網(wǎng)絡(luò)模型最后一層Conv7輸出的1 024個(gè)通道的10×10尺度特征為例。首先將該特征圖輸入到Squeeze7層通過1×1卷積核壓縮成6個(gè)通道做檢測(cè)(與標(biāo)簽計(jì)算損失)；再將6個(gè)通道信息輸入到反卷積層Deconv7，得到19×19×1的特征信息；最后與模型Conv6-2輸出的19×19×1 024特征的每個(gè)通道信息進(jìn)行點(diǎn)乘。后續(xù)計(jì)算以此類推，直至與模型Conv2-2輸出的150×150×128特征相乘后，通過Conf_layer和Loc_layer分別計(jì)算得到置信度預(yù)測(cè)結(jié)果(150×150×6)和位置偏差預(yù)測(cè)結(jié)果(150×150×2)。其中置信度預(yù)測(cè)結(jié)果的像素點(diǎn)值表示為該點(diǎn)屬于六類特征點(diǎn)的概率值，置信度預(yù)測(cè)結(jié)果每個(gè)像素點(diǎn)值代表該點(diǎn)與真值的位置偏差，兩個(gè)通道分別預(yù)測(cè)X、Y兩個(gè)方向上的位置偏差。

以上搭建的網(wǎng)絡(luò)模型稱為LDNet，由圖5可以看出，LDNet可分為三大模塊，包括由VGG16改進(jìn)的基礎(chǔ)特征提取模塊(白色網(wǎng)絡(luò)層)；多尺度特征融合模塊的Squeeze層和Deconv層(綠色網(wǎng)絡(luò)層和黃色網(wǎng)絡(luò)層)；以及最終用于周界特征點(diǎn)預(yù)測(cè)的Conf_layer和Loc_layer(藍(lán)色網(wǎng)絡(luò)層)。LDNet網(wǎng)絡(luò)每層配置如表1所示，其中Conv1代表Conv1-1、Conv1-2，其他層以此類推。

表1 LDNet網(wǎng)絡(luò)配置

1.3 網(wǎng)絡(luò)損失函數(shù)

網(wǎng)絡(luò)損失Λdet分為置信度損失Λconf和位置損失Λloc，計(jì)算式為

Λdet=Λconf+λlocΛloc

( 1 )

式中：λloc為位置損失權(quán)重，取1。

使用Focal Loss計(jì)算置信度損失

( 2 )

( 3 )

( 4 )

式中：Lk為每k個(gè)尺度的Focal Loss;N為圖像中關(guān)鍵點(diǎn)的數(shù)量;訓(xùn)練過程中，γ設(shè)為2，β設(shè)為4。

訓(xùn)練過程中，LDNet中共有五個(gè)尺度的信息參與了置信度損失的計(jì)算，即圖5中綠色網(wǎng)絡(luò)層輸出的特征和Conf_layer藍(lán)色網(wǎng)絡(luò)層輸出的特征。因此總置信度損失計(jì)算式為

( 5 )

式中：n代表一共有n個(gè)尺度的信息；Λi是根據(jù)式( 2 )計(jì)算的當(dāng)前尺度的置信度損失；αi為當(dāng)前尺度置信度損失的權(quán)重因子，對(duì)150×150的尺度置信度損失取2，其他尺度取1。

網(wǎng)絡(luò)位置損失基于L1 loss，L1 loss計(jì)算式為兩數(shù)差值的絕對(duì)值，具體如下

( 6 )

1.4 網(wǎng)絡(luò)訓(xùn)練與數(shù)據(jù)后處理

選用Adam優(yōu)化器，可大幅度提升網(wǎng)絡(luò)的學(xué)習(xí)收斂速度，并容易獲得更優(yōu)的模型參數(shù)。網(wǎng)絡(luò)訓(xùn)練超參數(shù)設(shè)置如下：學(xué)習(xí)率基于迭代次數(shù)進(jìn)行階梯狀變化，初始學(xué)習(xí)率設(shè)置為0.000 1，在迭代8 000、10 000、12 000次后學(xué)習(xí)率依次減小10倍。設(shè)置每次輸入的數(shù)據(jù)Batch size為2，Batch Normalization的權(quán)重衰減系數(shù)設(shè)置為0.000 1，動(dòng)量參數(shù)為0.9。訓(xùn)練經(jīng)過30 000次后完全收斂，收斂后網(wǎng)絡(luò)輸出的熱圖見圖6，每個(gè)尺度的熱圖從左至右依次代表R1、R2、R3、R4、Fm、Fs。

圖6 網(wǎng)絡(luò)輸出不同尺度熱圖

使用Conf_layer輸出150×150的熱圖用于擬合周界曲線。見圖7(a)，首先將熱圖的每一行搜索一個(gè)概率最大值標(biāo)記在原始圖像上。然后對(duì)于每一個(gè)概率大于0.4的行最大值，加上Loc_layer預(yù)測(cè)的位置偏置值變換至原圖像的真實(shí)坐標(biāo)位置。最終將每一類篩選出的值做多項(xiàng)式擬合并連接，得到四條邊界線fm、fs、r1、r2。其中r1、r2兩條線組合形成軌道區(qū)域，fm和fs根據(jù)邊界線的起始點(diǎn)位置排序決定分別與哪一條鐵軌組合形成對(duì)應(yīng)的護(hù)欄區(qū)域，當(dāng)fm起始點(diǎn)在r1左側(cè)時(shí)，fm和r1組合而成的區(qū)域作為主護(hù)欄區(qū)域。最終排序后四條邊界線組合成的周界區(qū)域，見圖7(b)，其中包括軌道區(qū)域(紅色區(qū)域)、護(hù)欄區(qū)域(藍(lán)色區(qū)域和綠色區(qū)域)。

由圖7可以看出，LDNet能在多場(chǎng)景、白天黑夜、霧天雨天等多張狀況有效識(shí)別周界上的特征點(diǎn)，并對(duì)特征點(diǎn)擬合合成精準(zhǔn)的周界。

圖7 算法最終輸出結(jié)果

2 基于特征相似度的LDNet網(wǎng)絡(luò)裁剪

( 7 )

對(duì)于LDNet識(shí)別鐵路周界的特征點(diǎn)過程，雖然各通道特征圖的l1范數(shù)值能有效代表對(duì)應(yīng)的卷積核是否有用，但不能判斷該卷積核是否為冗余的卷積核(即其他卷積和與其貢獻(xiàn)相近)，同樣不能代表當(dāng)該卷積核與模型最終輸出結(jié)果的相關(guān)程度。由于LDNet每一尺度反卷積生成的特征的六個(gè)通道均包含了需要識(shí)別的六類特征點(diǎn)的信息，故利用LDNet網(wǎng)絡(luò)結(jié)構(gòu)中的反卷積層輸出的特征信息能有效判斷卷積核是否冗余，LDNet各尺度反卷積結(jié)果見圖8。

圖8 LDNet各尺度反卷積結(jié)果

將LDNet中每個(gè)卷積核輸出的特征圖與其尺度相同的反卷積結(jié)果進(jìn)行比較，當(dāng)卷積核與反卷積輸出的特征越相似，說明該卷積和對(duì)最終輸出的影響越大，該卷積核對(duì)最終結(jié)果是否精確越重要。將圖8的這四種尺度反卷積特征圖作為模板，然后把模型每個(gè)卷積核與對(duì)應(yīng)相同尺度的模板的差值計(jì)算l1范數(shù)。l1范數(shù)越大，說明該卷積核與模板匹配度越小，對(duì)結(jié)果的貢獻(xiàn)度也越小。在實(shí)施裁剪過程中，通過計(jì)算卷積核在訓(xùn)練集中結(jié)果的l1均值后進(jìn)行排序，l1均值越大，則該卷積核序列越靠后，對(duì)應(yīng)的通道則為可以裁剪的通道。特別的，LDNet中Conv1-1和Conv1-2輸出的為300×300特征圖，Conv7輸出為10×10特征圖，按特征圖l1范數(shù)準(zhǔn)則裁剪，則最終裁剪準(zhǔn)則如下

( 8 )

式中：size為當(dāng)前卷積核輸出的特征圖尺寸；Sxi為第i張圖片xi輸入網(wǎng)絡(luò)后生成的對(duì)應(yīng)尺度的特征圖模板。

為了對(duì)比本文裁剪準(zhǔn)則(基于特征相似度)與其余兩種裁剪準(zhǔn)則(基于特征圖l1范數(shù)，基于卷積核l1范數(shù))，把數(shù)據(jù)集中每個(gè)場(chǎng)景的50個(gè)圖像用于計(jì)算卷積核與輸出的相似度-‖F(xiàn)xi-Sxi‖，并按升序進(jìn)行排序可視化。圖9為三種裁剪準(zhǔn)則排序結(jié)果，基于特征相似度和基于特征圖l1范數(shù)變化趨勢(shì)相近，這二者與基于卷積核l1范數(shù)變化趨勢(shì)差異較大。雖然前兩種裁剪準(zhǔn)則的曲線走勢(shì)大致相同，但對(duì)卷積和的排序結(jié)果有區(qū)別的。以第20個(gè)卷積核的特征相似度和特征圖l1范數(shù)作為基準(zhǔn)線為例，前20個(gè)卷積核對(duì)應(yīng)的特征圖l1范數(shù)有一部分是低于基準(zhǔn)線的，而基于特征相似度的沒有這種情況，后續(xù)將通過實(shí)驗(yàn)討論這三種裁剪方式對(duì)檢測(cè)結(jié)果的影響。

圖9 特征相似度、特征圖l1范數(shù)與核l1范數(shù)準(zhǔn)則排序結(jié)果

3 分析與討論

為了驗(yàn)證算法的可行性，從鐵路視頻監(jiān)控系統(tǒng)收集了多場(chǎng)景多狀況的圖像數(shù)據(jù)，包含白天、夜晚、直道、彎道、公鐵跨橋、無護(hù)欄等多種鐵路場(chǎng)景圖像數(shù)據(jù)3 816張，并以6∶2∶2的比例劃分成訓(xùn)練集(2 288張)、驗(yàn)證集(764張)和測(cè)試集(764張)。由于監(jiān)控系統(tǒng)中采用的相機(jī)不同，采集的原圖尺寸大小有1 920×1 080和1 280×720兩種，為了保證輸入圖像尺寸統(tǒng)一和減少深度學(xué)習(xí)算法的計(jì)算量，統(tǒng)一將圖像縮放至300×300。使用LDNet進(jìn)行計(jì)算，并進(jìn)行裁剪實(shí)驗(yàn)，將裁剪前后網(wǎng)絡(luò)性能與其他算法作對(duì)比，實(shí)驗(yàn)平臺(tái)為采用統(tǒng)一配置，Intel i7處理器，16 GB內(nèi)存，不使用GPU 顯卡。

3.1 性能評(píng)價(jià)指標(biāo)

基于提出的周界識(shí)別算法方案，本章基于運(yùn)行速度和對(duì)樣本是否分類正確的判斷進(jìn)行評(píng)價(jià)。按分類是否正確將最終的預(yù)測(cè)值分為四類：真正例TP、真負(fù)例TN、假真例FP、假負(fù)例FN。

語義分割的性能評(píng)價(jià)指標(biāo)采用mPA、mIoU，根據(jù)置信度閾值判斷像素點(diǎn)是否分類正確，計(jì)算式為

( 9 )

(10)

(11)

式中：PA為像素精確率，mPA為所有類別的平均像素精確率；mIoU為所有類別的平均交并比；k為除去背景的k個(gè)類別目標(biāo)；pij為屬于第i類但被預(yù)測(cè)為第j類的像素點(diǎn)的總數(shù)目，即pii為TP，pij為FN，pji為FP。

3.2 裁剪準(zhǔn)則有效性驗(yàn)證

在應(yīng)用中，通常根據(jù)實(shí)際任務(wù)所需的處理速度和內(nèi)存大小來確定對(duì)模型的壓縮比。一次性將模型裁剪成所需的大小容易裁去一些潛在有用的卷積核，破壞了模型的結(jié)構(gòu)，導(dǎo)致很大的精度損失以及大幅度識(shí)別準(zhǔn)確度降低。因此采用多次裁剪的策略，選取每次最合適的裁剪比例，逐步的將原始模型壓縮到目標(biāo)結(jié)構(gòu)。通過對(duì)LDNet不同裁剪次數(shù)形成相同的最終裁剪結(jié)果實(shí)驗(yàn)出最佳裁剪策略。不同裁剪策略結(jié)果如表2所示，不同裁剪策略性能結(jié)果如表3所示。

表2 不同裁剪策略相關(guān)參數(shù)對(duì)比

表3 不同裁剪策略的性能比較 %

由表3可知，裁剪策略1采用少量多次的方式最佳，故后續(xù)將統(tǒng)一采用四次裁剪次數(shù)。為了比較本文所提出的裁剪方法與特征圖l1范數(shù)、卷積核l1范數(shù)的性能差異，基于鐵路數(shù)據(jù)集訓(xùn)練，將這三種準(zhǔn)則在LDNet上分別進(jìn)行四次裁剪實(shí)驗(yàn)，實(shí)驗(yàn)的性能對(duì)比和裁剪壓縮率如表4所示。

表4 不同裁剪準(zhǔn)則的性能比較 %

由表4可以看出，在對(duì)LDNet進(jìn)行四次裁剪到相同參數(shù)壓縮率后，基于特征相似度的裁剪準(zhǔn)則的結(jié)果在mPA和mIoU指標(biāo)上均優(yōu)于其余兩種裁剪準(zhǔn)則，且最終識(shí)別精度優(yōu)于原始模型。故本文提出的裁剪準(zhǔn)則得到的模型識(shí)別精度更好，能更有效的識(shí)別出模型中無用和冗余的卷積核。

為了探索更優(yōu)的模型壓縮后的結(jié)構(gòu)，對(duì)LDNet按表2策略1所示的裁剪壓縮比基礎(chǔ)上增加裁剪次數(shù)，直至裁剪后模型精度不能恢復(fù)為止。裁剪次數(shù)增加過程中模型的性能變化見圖10。

圖10 網(wǎng)絡(luò)識(shí)別精度變化曲線

由圖10可知，使用特征相似度的裁剪準(zhǔn)則在小裁剪比例的基礎(chǔ)上，對(duì)LDNet裁剪8次后精度損失較大，且進(jìn)行微調(diào)也無法恢復(fù)原有精度，故以第7次裁剪后得到的模型結(jié)構(gòu)作為最終裁剪結(jié)果，在保證精度的情況下盡可能減少網(wǎng)絡(luò)參數(shù)量。

3.3 LDNet有效性驗(yàn)證

使用圖10中7次裁剪后得到的LDNet進(jìn)行計(jì)算，并與FCN、MCG算法以及裁剪前原始結(jié)構(gòu)作對(duì)比。其中可視化區(qū)域分別為主護(hù)欄區(qū)域、側(cè)護(hù)欄區(qū)域、軌道區(qū)域。不同算法的性能比較如表5所示。

表5 使用所提算法裁剪前后模型與不同算法性能參數(shù)比較

由表5可知，LDNet裁剪后模型尺寸壓縮至僅2.99 MB，壓縮了原始LDNet尺寸的97.4%。裁剪后的LDNet在mPA上達(dá)到最高為96.37%，相比原始LDNet增加0.26%，而mIoU僅下降0.08%，幾乎保持不變。LDNet裁剪后計(jì)算耗時(shí)降低61.5%，相比其他算法運(yùn)行時(shí)間大幅度縮短。綜上可得將LDNet用提出裁剪準(zhǔn)則進(jìn)行7次裁剪最終可以實(shí)現(xiàn)2.99 MB的參數(shù)占用空間，且精度幾乎無損失。最終識(shí)別精度上優(yōu)于其他的算法，不同算法對(duì)鐵路周界的識(shí)別結(jié)果見圖11。

圖11 不同算法識(shí)別結(jié)果

由表5和圖11可知，F(xiàn)CN識(shí)別結(jié)果中,護(hù)欄區(qū)域存在漏識(shí)別，也有部分非周界區(qū)域識(shí)別成鐵軌區(qū)域；MCG算法計(jì)算過程中需要對(duì)大量的區(qū)域進(jìn)行迭代聚合，所以計(jì)算速度和效率遠(yuǎn)低于算法，并且MCG識(shí)別結(jié)果中鐵軌和護(hù)欄聚合區(qū)域均存在缺少的情況。本文提出的識(shí)別模型LDNet對(duì)周界各個(gè)區(qū)域的識(shí)別精度更高，誤識(shí)別也更少，裁剪后單張圖片計(jì)算耗時(shí)最短，能夠滿足鐵路視頻監(jiān)控系統(tǒng)實(shí)時(shí)性要求和低內(nèi)存占用要求，不再依賴GPU的加速，容易搭載在鐵路沿線不同配置的處理平臺(tái)上，實(shí)現(xiàn)自動(dòng)快速的識(shí)別出鐵路周界中的護(hù)欄和鐵軌區(qū)域。

4 結(jié)論

提出一種基于多尺度信息融合的鐵路周界識(shí)別深度神經(jīng)網(wǎng)絡(luò)模型LDNet，實(shí)現(xiàn)各種線路場(chǎng)景的周界自動(dòng)快速精確識(shí)別。該算法拋棄了目標(biāo)檢測(cè)網(wǎng)絡(luò)依賴的錨框，直接識(shí)別周界線特征點(diǎn)，使用目標(biāo)檢測(cè)網(wǎng)絡(luò)實(shí)現(xiàn)了分割式的結(jié)果；對(duì)于實(shí)際運(yùn)用中的配置問題，設(shè)計(jì)了基于特征相似度的裁剪準(zhǔn)則，選用網(wǎng)絡(luò)裁剪的方式壓縮網(wǎng)絡(luò)，進(jìn)一步的對(duì)模型優(yōu)化。通過對(duì)比實(shí)驗(yàn)，裁剪后的LDNet單張圖像處理耗時(shí)0.60 s，識(shí)別mPA達(dá)到96.37%，模型尺寸僅2.99 MB，均優(yōu)于FCN和MCG算法，能滿足在精度要求的前提下達(dá)到實(shí)時(shí)性識(shí)別鐵路周界的要求。