柴雪松，張 慧，辛向黨，龔 喆，李健超，于國丞

(1.中國鐵道科學(xué)研究院集團有限公司 鐵道建筑研究所，北京 100081；2.中國鐵路蘭州局集團有限公司 貨運處，甘肅 蘭州 730000；3.中國鐵路呼和浩特局集團有限公司 烏海車務(wù)段，內(nèi)蒙古 烏海 016000)

0 引言

為了保障鐵路貨運安全，貨運計量安全檢測監(jiān)控系統(tǒng)、貨運安全檢測監(jiān)控與管理系統(tǒng)等業(yè)務(wù)系統(tǒng)[1]先后研發(fā)，這些系統(tǒng)為鐵路貨運安全提供了強有力的支撐。其中，鐵路貨運安全檢測監(jiān)控與管理系統(tǒng)采用高清圖像技術(shù)[2]，實現(xiàn)了對貨物裝載狀態(tài)的高清圖像采集和存儲，使得貨檢作業(yè)人員在室內(nèi)就可以清晰查看鐵路貨物裝載狀態(tài)，并留存作業(yè)記錄，為貨檢工作閉環(huán)管理提供了有力的手段。在高清圖像檢測設(shè)備已大量安裝使用的情況下，如何快速識別圖片中裝載狀態(tài)的不良問題成為制約高清設(shè)備功能發(fā)揮的瓶頸。

由于既有系統(tǒng)不具備智能識別功能，裝載狀態(tài)不良的判別依賴于人工瀏覽海量圖像資料，瀏覽強度大、視覺易疲勞，作業(yè)質(zhì)量難以保證，容易形成安全隱患。因此，研制智能化的貨檢圖像識別系統(tǒng)成為趨勢[3-4]。近年來，人工智能特別是深度學(xué)習(xí)技術(shù)取得突破性發(fā)展[5-6]，在語音、圖像智能識別方面已具備工業(yè)應(yīng)用的水平。與傳統(tǒng)圖像處理方法對比，深度學(xué)習(xí)技術(shù)具有精度高、能夠解決復(fù)雜問題等優(yōu)點，而且隨著圖像樣本數(shù)量的增加，識別效果還會逐步提高。深度學(xué)習(xí)與傳統(tǒng)方法比較如圖1所示。

圖1?深度學(xué)習(xí)與傳統(tǒng)方法比較Fig.1 Comparison between in-depth learning and traditional method

高清視頻監(jiān)控系統(tǒng)的大規(guī)模建設(shè)，提供了海量高清圖像，為開展貨檢智能識別研究提供了必要的前提條件。深度學(xué)習(xí)技術(shù)發(fā)展基本成熟，為開展貨檢智能識別提供了可行性。開展貨檢智能識別技術(shù)研究，可以使海量高清圖像資料得到充分應(yīng)用，顯著提升貨檢自動化水平，保障貨檢作業(yè)質(zhì)量，促進鐵路貨運安全。

1 貨車裝載問題采集與分析

貨檢作業(yè)目的之一就是發(fā)現(xiàn)裝載狀態(tài)不良的車輛，并及時進行處理。開展智能識別工作的前提是掌握既有貨車裝載中存在的問題，根據(jù)采集獲取的問題圖片建立問題圖片庫，分析問題類型和特征。

1.1 樣本采集

對于建立樣本庫，通常有2種方式。方式1：扣取一定數(shù)量的車輛組織為試驗專列，人工設(shè)置多種裝載不良工況，然后通過貨檢高清設(shè)備來獲取樣本圖片。方式2：直接收集實際檢測圖片，再分門別類的建立樣本庫。

對于方式1，由于實際運用車輛的新舊程度差別很大、裝載不良的形態(tài)各異，而且試驗列車能模擬的工況有限，因而這種方式獲取的圖像代表性不足，不能很好地反映實際情況。對于方式2，為了獲取廣泛的實際圖片，需要選取多個測點，而且涵蓋一定時間跨度，因而工作量較大，這樣建立的圖片庫能反映客觀實際工況，更具有應(yīng)用價值。因此，從2017年1月到2018年10月底，收集整理中國鐵路蘭州局集團有限公司蘭州北、武威南、嘉峪關(guān)、迎水橋站4個車站，以及中國鐵路呼和浩特局集團有限公司烏海站，在此期間實際過車時裝載狀態(tài)不良的圖片，從中抽取樣本圖片650張，以此建立問題圖片樣本庫。

1.2 樣本分析

1.2.1 不同車型的問題車輛占比分析

對問題車輛按不同車型(將集裝箱視為載體，對于裝載集裝箱的集裝箱專用平車、平集兩用車和敞車，統(tǒng)稱為集裝箱車)進行分類統(tǒng)計，不同車型的問題車輛占比如表1所示。從表1中可以看出，集裝箱車、罐車和敞車病害數(shù)量占比較高，是裝載狀態(tài)不良的易發(fā)車輛，這三者合計占比高達90%以上。

表1?不同車型的問題車輛占比Tab.1 Proportion of improper vehicles in different types

1.2.2 不同車型的裝載不良形態(tài)

對不同車型的裝載狀態(tài)不良進行分類統(tǒng)計，集裝箱車裝載不良分類如表2所示，罐車裝載不良分類如表3所示，敞車裝載不良分類如表4所示，棚車裝載不良分類如表5所示。

表2?集裝箱車裝載不良分類Tab.2 Types of improper loading in container cars

表3?罐車裝載不良分類Tab.3 Types of improper loading in container cars in tank cars

表4?敞車裝載不良分類Tab.4 Types of improper loading in open wagons

表5?棚車裝載不良分類Tab.5 Types of improper loading in box wagons

從表2至表5可以看出，對于不同車型，其裝載狀態(tài)不良的形態(tài)有所差異。這與車輛結(jié)構(gòu)特點，以及所裝貨物的種類都有關(guān)系。對于集裝箱而言，箱頂異物、箱門開啟、防塵蓋開啟是易發(fā)問題。對于敞車而言，車內(nèi)雜物是最多發(fā)生的裝載狀態(tài)不良，占比超過80%；繩網(wǎng)破損、腰繩斷等也是多發(fā)現(xiàn)象，占比接近15%。對于罐車而言，螺栓未入槽是最多發(fā)生的問題，車頂雜物和上蓋開啟也是多發(fā)現(xiàn)象。對于棚車而言，車頂雜物是最多發(fā)生的問題。

1.2.3 裝載不良類型統(tǒng)計

對所有裝載不良進行統(tǒng)計，裝載不良分類如表6所示。由表6可知，裝載狀態(tài)不良的種類主要有11種。其中，頂部雜物、螺栓未入槽、車內(nèi)雜物、車門開啟、防塵蓋開是主要發(fā)生的裝載不良類型。

2 貨檢圖像識別模型研究

貨檢圖片種類復(fù)雜，貨檢智能識別工作也將是一個不斷完善的過程。為了使貨檢智能識別技術(shù)能在保證識別效果的前提下盡早發(fā)揮作用，以棚車、集裝箱車、敞車的裝載狀態(tài)不良為主要研究內(nèi)容，對車頂、箱頂異物、棚車門開、集裝箱門開、集裝箱防塵蓋開的智能識別技術(shù)進行研究。

2.1 技術(shù)難點

通過對問題圖片的分析，發(fā)現(xiàn)技術(shù)難點主要表現(xiàn)在以下方面：①類型眾多。異物種類多種多樣，圖像顏色、特征類型各有區(qū)別，因而需要訓(xùn)練識別的模型就很多，導(dǎo)致了識別難度和識別時間的增加。②類內(nèi)差異大、類間差異小。同一類問題差異性很大，如異物形狀不規(guī)則，很難搜集不同規(guī)則的形狀，導(dǎo)致后續(xù)檢測難度加大。背景和檢測物體差異性小，并且背景不是很干凈，經(jīng)常圖上背景由于車輛、裝載物及光照影響存在很大的干擾。③多尺度。例如，車內(nèi)的小塊異物和棚車車門打開，兩者尺度差距很大，模型需要周全考慮圖片中不同問題可能出現(xiàn)的各種尺度。

2.2 模型研究

目前基于深度學(xué)習(xí)的目標檢測主要分為以下2種思路。①以Faster-RCNN為代表的兩階段法[7]，即先通過淺層網(wǎng)絡(luò)生成候選目標矩形區(qū)域，再通過使用分類模型如支持向量機(SVM)對候選區(qū)域進行分類和深層網(wǎng)絡(luò)對候選區(qū)域精調(diào)。②以SSD/YOLO為代表的一階段法[8]，即直接計算圖片特征圖像，利用整張圖片回歸出目標物體坐標。前者的優(yōu)勢在于檢測結(jié)果更加精確，而后者的優(yōu)勢是檢測速度更快。研究提出的模型框架在SSD/YOLO為代表的一階段模型上進行改進獲得，降低了簡單負樣本對模型的影響，從而在檢測速度快的基礎(chǔ)上，有效地提高精度。模型框架如圖2所示。

由圖2可以看出，檢測方法端到端地將特征提取、組合、目標分類、目標定位統(tǒng)一于一個神經(jīng)網(wǎng)絡(luò)中。神經(jīng)網(wǎng)絡(luò)直接從圖像中提取候選框區(qū)域，然后進行特征提取，再使用提取的特征建立分類子網(wǎng)絡(luò)和目標框回歸子網(wǎng)絡(luò)，達到檢測裝載狀態(tài)不良圖片的目標。

（1）特征提取網(wǎng)絡(luò)。模型首先使用殘差網(wǎng)絡(luò)(Resnet)進行特征提取。殘差網(wǎng)絡(luò)是在標準卷積網(wǎng)絡(luò)的基礎(chǔ)上增加了恒等映射，減小了優(yōu)化的難度，提高了特征提取的效果。然后，使用特征金字塔網(wǎng)絡(luò)(Feature Pyramid Net)進行特征的提取與組合。特征金字塔網(wǎng)絡(luò)在標準的卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了一路自上而下的支路和特征橫向連接，并將不同尺度的特征組合在一起。金字塔的每一層可以分別檢測不同尺度的物體。特征金字塔網(wǎng)絡(luò)能夠通過一個全連接網(wǎng)絡(luò)提高多尺度物體的預(yù)測性能。

表6?裝載不良分類Tab.6 Types of improper loading

圖2?模型框架Fig.2 Model structure

在特征提取網(wǎng)絡(luò)中，使用了P3—P75層特征，下標i表示特征的層數(shù)，第i層的分辨率是原圖的2i分之一。這里，由于P1和P2層處在淺層，還不能學(xué)到高階抽象特征，因而忽略了P1和P2的信息。P3—P5是結(jié)合了殘差網(wǎng)絡(luò)中對應(yīng)的層和上一層Pi+1的信息，即把更抽象，語義更強的高層特征圖橫向連接至前一層特征圖，因而高層特征得到增強。P6是在P5的基礎(chǔ)上進行卷積核為3×3，步長為2的卷積操作得到，P7是在P6的基礎(chǔ)上再次進行卷積核為3×3，步長為2的卷積操作。

（2）分類子網(wǎng)絡(luò)。分類子網(wǎng)絡(luò)預(yù)測了每個區(qū)域每個類別的概率。該子網(wǎng)絡(luò)是在特征金字塔網(wǎng)絡(luò)的每一層上，增加了一個全卷積神經(jīng)網(wǎng)絡(luò)，并在最后增加softmax非線性激活函數(shù)，輸出每個區(qū)域每一類的概率。設(shè)候選區(qū)域的個數(shù)為A，類別數(shù)為K，全卷積神經(jīng)網(wǎng)絡(luò)將256個通道的輸入特征，首先使用4個卷積核為3×3的卷積層，每個卷積層都使用ReLU非線性激活函數(shù)，最后使用K×A個3×3濾波器，通過一個sigmoid函數(shù)，得到每個候選區(qū)域中，存在每個類別的物品的概率。

（3）目標框回歸子網(wǎng)絡(luò)。與分類子網(wǎng)絡(luò)類似，目標框回歸子網(wǎng)絡(luò)也使用了若干個全卷積網(wǎng)絡(luò)。即對特征金字塔得到的每一層的256個通道的特征，首先使用4個卷積核為3×3，激活函數(shù)為ReLU，濾波器個數(shù)為256的卷積層，然后通過卷積個數(shù)為3×3，激活函數(shù)為ReLU，濾波器個數(shù)為4×A的卷積層，對每個候選區(qū)域，輸出4個數(shù)值。該數(shù)值表示預(yù)測得到的目標框相對標準框的偏移值。分類子網(wǎng)絡(luò)與目標框回歸子網(wǎng)絡(luò)的參數(shù)不共享。

（4）損失函數(shù)。損失函數(shù)表示預(yù)測結(jié)果與實際數(shù)據(jù)的接近程度。分類情況下，典型的交叉熵損失函數(shù)計算公式為

式中：CE(p，y)表示預(yù)測結(jié)果與實際數(shù)據(jù)的接近程度，數(shù)值越小表示越接近；y表示實際數(shù)據(jù)的情況，當實際數(shù)據(jù)中存在某一類別時，y= 1，反之，y= -1；p表示預(yù)測結(jié)果中是否有某一類的概率，p∈[0，1]。

針對某一類別t的概率可以表示為

式中：pt為存在類別t的概率。

于是，類別t的損失函數(shù)可以轉(zhuǎn)寫為

3 貨檢圖像試驗測試分析

3.1 測試樣本

測試集用來測試模型檢測性能，同樣從中國鐵路蘭州局集團有限公司和中國鐵路呼和浩特局集團有限公司實際過車圖片中，隨機抽取450張圖片，建立測試集。其中，人工核查問題圖片共計352張。

3.2 評價指標

對于識別模型，在理論分析中常用的評價指標是錯誤率和精度。但是，在工程應(yīng)用中，最關(guān)心的是識別結(jié)果中有多少圖片被漏掉，以及識別結(jié)果中確實存在問題的圖片比例。因此，檢出率R和查準率P更為適用于此類需求的性能度量。根據(jù)真實情況和模型預(yù)測結(jié)果的組合，查準率P和檢出率R分別可以表示為

式中：TP為檢測結(jié)果中的真正例；FP為檢測結(jié)果中的假正例；FN為檢測結(jié)果中的假反例。

3.3 測試數(shù)據(jù)分析

3.3.1 檢出率和查準率

利用建立的智能識別模型，對測試樣本集開展測試。測試中，總共有7種工況，集裝箱防塵蓋開啟、集裝箱門開、棚車門開、敞車車頂異物、敞車車內(nèi)異物、集裝箱車頂異物和棚車車頂異物。不同工況的測試結(jié)果如表7所示。

表7?測試結(jié)果Tab.7 Inspection result

從表7中可看出，模型總體識別效果良好。合并統(tǒng)計測試結(jié)果，對于問題圖片352張(TP+FN)，測試漏判59張(FN)，漏判率16.5%，檢出率為83.5%。對于自動識別結(jié)果圖片312張(TP+FP)，其中沒有問題的圖片誤判19張(FP)，查準率為93.9%。進一步分析檢測結(jié)果，敞車內(nèi)異物和集裝箱頂異物識別效果相對較差，主要是由于2種問題圖片中各種干擾因素較多。為了提高檢出率，還應(yīng)收集更多樣本圖片并進一步訓(xùn)練模型。

3.3.2 檢測速度

針對測試集中450張圖片，系統(tǒng)總體檢測時間為6 min 46 s，平均每張圖片耗時為0.9 s。對于編組場貨檢作業(yè)，按每列車60輛計算，則貨檢智能識別系統(tǒng)需要的檢測時間T為

考慮高清設(shè)備安裝在進站信號機之外，列車通過高清設(shè)備并進站停車時需要5 min左右時間。因此，貨檢智能識別系統(tǒng)可以實現(xiàn)列車到達前，工作人員即可收到自動識別結(jié)果，滿足指導(dǎo)貨檢作業(yè)的要求。

4 結(jié)束語

貨檢作業(yè)是保障鐵路貨運安全的必要環(huán)節(jié)，不斷采用先進的技術(shù)手段來提升貨檢作業(yè)質(zhì)量是國內(nèi)外鐵路的發(fā)展方向，也是我國鐵路進步的必然要求。采用深度學(xué)習(xí)技術(shù)，通過不斷完善研究建立可靠的智能識別系統(tǒng)來實現(xiàn)對海量貨檢圖片的自動識別，可以避免人工檢查可能存在的漏檢，同時極大地解放了貨檢一線人員的作業(yè)強度，可以使有限的人力集中在核實自動識別結(jié)果以及處理所發(fā)現(xiàn)的問題上，在現(xiàn)場作業(yè)人員普遍不足的背景下，以人機結(jié)合的方式有效提升貨檢作業(yè)的效率和質(zhì)量，從而為保障鐵路貨運安全提供堅實的設(shè)備基礎(chǔ)。