張萼輝

（上海鐵路局科學(xué)技術(shù)研究所，上海200071）

鐵路貨車裝載狀態(tài)圖像智能識(shí)別系統(tǒng)

張萼輝

（上海鐵路局科學(xué)技術(shù)研究所，上海200071）

貨車裝載狀態(tài)高清視頻監(jiān)控系統(tǒng)每日產(chǎn)生的圖像數(shù)量眾多，目前完全依靠人工識(shí)別異常狀態(tài)，工作量巨大且效率低下。采集貨車裝載狀態(tài)圖像進(jìn)行人工分類和定義后，輸入深度學(xué)習(xí)模塊進(jìn)行學(xué)習(xí)，得到正常及異常狀態(tài)模式識(shí)別算法?；诖怂惴ㄩ_發(fā)的鐵路貨車裝載狀態(tài)圖像智能識(shí)別系統(tǒng)可替代大部分人工查看的工作量，明顯提高效率，進(jìn)一步保證安全。

鐵路貨車；裝載狀態(tài)；異常檢測(cè)；圖像智能識(shí)別；深度學(xué)習(xí)模塊

0 引言

上海鐵路局南京東站、金華東站、南翔站及徐州北站等7個(gè)大型貨站共50條到達(dá)或出發(fā)線均安裝了貨車裝載視頻監(jiān)視系統(tǒng)，每日平均過車數(shù)約為1275列。每輛貨車分別采集左視、右視和俯視3張圖像，供現(xiàn)場(chǎng)值班人員查看貨車外觀的異常狀況；對(duì)進(jìn)站貨車通過查看實(shí)時(shí)拍攝的高清圖像進(jìn)行預(yù)檢，以指導(dǎo)裝卸作業(yè)；對(duì)出發(fā)貨車裝載狀態(tài)進(jìn)行復(fù)核，如發(fā)現(xiàn)問題需通知下一站進(jìn)行處理。貨車裝載視頻監(jiān)視系統(tǒng)對(duì)于貨運(yùn)系統(tǒng)的安全運(yùn)營(yíng)具有重要意義。

按貨站每日平均過車數(shù)180列、每列車平均50輛編組計(jì)算，一個(gè)貨站需人工檢測(cè)2.7萬(wàn)張圖像，工作量及人工勞動(dòng)強(qiáng)度巨大，且長(zhǎng)時(shí)間作業(yè)容易因疲勞發(fā)生漏檢，存在安全隱患。因此，利用深度學(xué)習(xí)技術(shù)開發(fā)鐵路貨車裝載狀態(tài)圖像智能識(shí)別系統(tǒng)，自動(dòng)排查異常情況以替代大部分人工工作量，顯得異常緊迫[1]。

1 需求分析

貨車裝載狀態(tài)圖像主要用于查看貨車外觀異常情況。根據(jù)《上海鐵路局貨車裝載視頻監(jiān)視系統(tǒng)運(yùn)用管理辦法》，監(jiān)控檢查的主要內(nèi)容包括本站到發(fā)、通過列車貨物裝載狀態(tài)，集裝箱、篷布和篷布繩網(wǎng)狀態(tài)，貨車門、窗、蓋關(guān)閉以及未苫蓋篷布的敞車內(nèi)部情況，押運(yùn)人押運(yùn)行為，扒乘和閑雜人員，貨車車體頂部、外側(cè)，集裝箱頂部存在殘貨或雜物，貨車發(fā)生火災(zāi)，罐車發(fā)生泄漏，散堆裝貨物發(fā)生撒漏以及其他通過圖像可明顯發(fā)現(xiàn)的危及行車安全的情況。

開發(fā)貨車裝載狀態(tài)圖像智能識(shí)別系統(tǒng)的目的，一是為了部分替代圖像的人工篩查工作，二是要自動(dòng)找出危及行車安全的異常裝載狀態(tài)。已經(jīng)定義的異常裝載狀態(tài)種類較多，情況復(fù)雜，同時(shí)還有未定義的其他明顯危及行車安全的情況。因此，識(shí)別已經(jīng)明確定義的異常狀態(tài)，雖然可以找出部分問題，但并不能達(dá)到減輕人工工作量的目的。因?yàn)樨涇囇b載狀態(tài)異常情況所占比例較低，即使機(jī)器可從2.7萬(wàn)張圖像中找出100張已定義的異常狀態(tài)圖像，其他還需人工篩查。

對(duì)異常狀態(tài)的計(jì)算機(jī)圖像檢測(cè)與模式識(shí)別是一個(gè)開放式問題，即危及行車安全的貨車外觀異常情況不可窮盡。計(jì)算機(jī)并不理解哪些情況會(huì)危及行車安全，需要人工描述危及行車安全情況的圖像特征，因此無(wú)法對(duì)所有異常情況進(jìn)行圖像特征描述及識(shí)別模型開發(fā)。

為達(dá)到圖像智能識(shí)別技術(shù)開發(fā)的目的，系統(tǒng)首先應(yīng)準(zhǔn)確、高效地識(shí)別正常裝載狀態(tài)的圖像，其次應(yīng)找出發(fā)生概率較高的幾種貨車異常裝載狀態(tài)事例。經(jīng)系統(tǒng)自動(dòng)識(shí)別分類后，圖像將分為3類，即正常圖像庫(kù)、異常圖像庫(kù)及不確定圖像庫(kù)，既不能作為正常圖像濾除，又沒有被系統(tǒng)發(fā)現(xiàn)為異常的不確定圖像，再通過人工方式進(jìn)行查看和分析。

2 正常狀態(tài)識(shí)別

2.1 識(shí)別策略

準(zhǔn)確、高效地識(shí)別正常裝載狀態(tài)圖像是一個(gè)聚類問題，將圖像分為兩類：異常（假）和正常（真）。正常狀態(tài)圖像這一類應(yīng)有相當(dāng)高的可信度，即凡是歸類為正常狀態(tài)的圖像，其真判斷為真的概率應(yīng)很高。如果將假判斷為真，會(huì)產(chǎn)生漏檢隱患，降低系統(tǒng)可信度。超過一定的誤檢閾值，系統(tǒng)將失去可用性。同時(shí)，系統(tǒng)應(yīng)盡量提高真判斷為真的數(shù)量，因這些圖像將不再需要人工查看，數(shù)量越多，越能體現(xiàn)系統(tǒng)減少人工工作量的價(jià)值。

在同一智能水平下，真判斷為真的概率和真判斷為真的數(shù)量成反比（見圖1）。圖1將橫軸作了歸一化處理，將真判斷為真的數(shù)量轉(zhuǎn)化為判斷為真的圖像占所有圖像的百分比。若判斷為真的標(biāo)準(zhǔn)設(shè)置得越高，則入選為真的圖像越少，其為真的概率越高。在識(shí)別模型使用時(shí)，應(yīng)選擇一個(gè)合適的工作點(diǎn)，兼顧2個(gè)指標(biāo)，保證系統(tǒng)的可用性和效率。

圖1 圖像識(shí)別可信度與可用性的關(guān)系

系統(tǒng)的智能水平越高，對(duì)應(yīng)的曲線越往上凸，即相同的真判斷為真的概率對(duì)應(yīng)更多的真判斷為真的數(shù)量，整體上提高了系統(tǒng)的可用性和效率。為達(dá)到該效果，需要對(duì)分類模型進(jìn)行細(xì)化。具體操作如下：每種車型有其對(duì)應(yīng)的典型故障，故障發(fā)生的位置也是固定的。對(duì)每種車型的關(guān)鍵位置正常狀態(tài)進(jìn)行標(biāo)注，輸入深度學(xué)習(xí)模塊進(jìn)行訓(xùn)練，開發(fā)包含正常狀態(tài)參數(shù)的智能識(shí)別算法。識(shí)別時(shí)，根據(jù)車號(hào)獲取需要分類的貨車型號(hào)，利用這種車型的算法對(duì)貨車狀態(tài)進(jìn)行分類。

2.2 算法選擇

正常裝載狀態(tài)的判斷可轉(zhuǎn)化為不同車型關(guān)鍵位置的局部圖像特征匹配。在基于局部特征的圖像匹配算法研究中，角點(diǎn)作為重要的局部特征，具有旋轉(zhuǎn)不變性，幾乎不受光照變化的影響，集中了圖像上很多信息，因而具有重要的實(shí)用價(jià)值。角點(diǎn)是二維圖像亮度變化劇烈的點(diǎn)或圖像邊緣曲線上曲率極大值的點(diǎn)。這些點(diǎn)在保留圖像圖形重要特征的同時(shí)，可以有效減少信息的數(shù)據(jù)量，使其信息的含量很高，有效提高了計(jì)算速度，有利于圖像的可靠匹配，使得實(shí)時(shí)處理成為可能。

系統(tǒng)采用一種基于角點(diǎn)和局部差分不變量（Gray value Differential Invariants，GDI）特征描述子的快速匹配算法[2]對(duì)貨車局部位置的狀態(tài)進(jìn)行判斷。具體是利用單次高斯卷積建立具有較少圖層的階梯金字塔[3]，利用Shi-Tomasi算法[4]提取圖層中數(shù)量適中的強(qiáng)角點(diǎn)，并確定角點(diǎn)的特征主方向；即使存在旋轉(zhuǎn)、噪聲等灰度變化影響，也能穩(wěn)定提取強(qiáng)角點(diǎn)；最后，通過建立GDI局部特征區(qū)域統(tǒng)計(jì)直方圖的描述子，實(shí)現(xiàn)角點(diǎn)的快速匹配。

系統(tǒng)通過角點(diǎn)匹配進(jìn)行識(shí)別，因此即使訓(xùn)練圖像與被測(cè)圖像的特征位置在空間上不一致，算法通過掃描圖像，也能找到特征位置與之匹配，具有良好的適應(yīng)性。貨車車門角點(diǎn)特征提取見圖2?？紤]到特征的普適性，后續(xù)還需濾除由文字產(chǎn)生的非車門特征角點(diǎn)。

3 異常狀態(tài)識(shí)別

3.1 識(shí)別策略

通過現(xiàn)場(chǎng)調(diào)研與統(tǒng)計(jì)，發(fā)現(xiàn)3類異常狀態(tài)占應(yīng)檢出故障總數(shù)的80%以上，分別是：車門車窗未關(guān)閉（見圖3）；篷布或繩網(wǎng)掀起、脫垂、破損（見圖4）；車內(nèi)殘留雜物（見圖5）或人員逗留。其中，敞車中門、下側(cè)門開啟，重棚車車門開啟（有押運(yùn)人除外），篷布和篷布繩網(wǎng)存在脫落危險(xiǎn)屬一類報(bào)警，應(yīng)立即停車處理；空敞車內(nèi)存留有易飄起的雜物、空棚車車門開啟、貨車上有扒乘和閑雜人員屬二類報(bào)警，應(yīng)在前方站停車處理。這3類異常狀態(tài)對(duì)行車安全危害較大，且圖像特征較為明顯，因此項(xiàng)目初期主要對(duì)此進(jìn)行識(shí)別模型開發(fā)。

圖2 貨車車門角點(diǎn)特征提取

圖3 車門開啟

圖4 篷布撕裂

圖5 車內(nèi)雜物

對(duì)此類異常狀態(tài)的檢測(cè)應(yīng)遵循盡量不漏檢，允許少量誤檢的原則。通過系統(tǒng)檢測(cè)，此類異常狀態(tài)被歸入異常事例庫(kù)中。異常事例庫(kù)已將異常狀態(tài)圖像進(jìn)行濃縮，其異常狀態(tài)圖像的比例遠(yuǎn)遠(yuǎn)高于未經(jīng)篩選的原始圖像。因此存在少量誤檢，不會(huì)降低查看人員工作效率。漏檢圖像會(huì)出現(xiàn)在不確定圖像庫(kù)中，雖然不確定圖像也會(huì)有人工查看，但查看力度肯定不如異常圖像庫(kù)，人工也存在較大漏檢可能。因此對(duì)異常狀態(tài)的機(jī)器檢測(cè)，應(yīng)當(dāng)盡量提高其檢測(cè)率。在識(shí)別模型中，異常檢測(cè)的特征匹配度可以設(shè)置得較為寬松，以保證系統(tǒng)足夠的檢測(cè)率。

3.2 算法選擇

對(duì)于異常狀態(tài)的特征，采用Faster-RCNN[5]的深度學(xué)習(xí)框架完成目標(biāo)的檢測(cè)和識(shí)別。具體流程如下：通過人工方式將不同類型的異常狀態(tài)圖像進(jìn)行分類，并對(duì)分類的目標(biāo)進(jìn)行標(biāo)注，形成深度學(xué)習(xí)數(shù)據(jù)集。設(shè)計(jì)和訓(xùn)練深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型，通過該深度模型完成對(duì)目標(biāo)的分類識(shí)別。

RCNN算法使用區(qū)域提取替代滑動(dòng)窗口進(jìn)行檢測(cè)，對(duì)每個(gè)區(qū)域提取特征，然后利用一個(gè)分類器預(yù)測(cè)這個(gè)區(qū)域包含一個(gè)感興趣對(duì)象的置信度。RCNN采用顯著性檢測(cè)[6]的方法劃分區(qū)域，利用像素級(jí)的標(biāo)注，把顏色、邊界、紋理等信息作為合并條件，使用多尺度的綜合采樣方法劃出一系列區(qū)域，這些區(qū)域要遠(yuǎn)遠(yuǎn)少于傳統(tǒng)滑動(dòng)窗口窮舉法產(chǎn)生的候選區(qū)域。

Faster-RCNN用區(qū)域生成網(wǎng)絡(luò)代替選擇性搜索方法，將目標(biāo)檢測(cè)的4個(gè)基本步驟（候選區(qū)域生成、特征提取、分類、位置精修）統(tǒng)一到一個(gè)深度網(wǎng)絡(luò)框架之內(nèi)，所有計(jì)算沒有重復(fù)，完全在GPU中完成，大幅提高了運(yùn)算速度，適用于數(shù)量巨大的貨車裝載狀態(tài)圖像模式識(shí)別應(yīng)用。

4 技術(shù)指標(biāo)

為滿足實(shí)用性，系統(tǒng)至少應(yīng)達(dá)到以下技術(shù)指標(biāo)：

車門開啟檢出率≥90%；

車內(nèi)殘留雜物（長(zhǎng)度≥30cm）檢出率≥80%；

篷布或繩網(wǎng)掀起、脫垂、破損、苫蓋不良檢出率≥70%；正常裝載狀態(tài)圖片濾除率≥50%；

50輛編組貨運(yùn)列車高清圖像識(shí)別時(shí)間≤150s。

5 結(jié)束語(yǔ)

鐵路貨車裝載狀態(tài)圖像智能識(shí)別系統(tǒng)為解決目前貨車裝載狀態(tài)圖像人工查看工作量巨大、檢測(cè)效率低的問題提供了有益嘗試。系統(tǒng)可用性的關(guān)鍵在于提高識(shí)別精度，一方面應(yīng)選擇適用的算法，另一方面需要在應(yīng)用模式上進(jìn)行創(chuàng)新，了解各項(xiàng)技術(shù)的優(yōu)缺點(diǎn)，揚(yáng)長(zhǎng)避短，進(jìn)一步提升識(shí)別精度，實(shí)現(xiàn)以科技促效益、保安全的目的。

[1] 趙耀．鐵路貨車裝載視頻監(jiān)視系統(tǒng)設(shè)計(jì)方案[J]．中 國(guó)鐵路，2016(1)：87-89.

[2] 畢國(guó)玲．智能視頻監(jiān)控系統(tǒng)中若干關(guān)鍵技術(shù)研究[D]. 北京：中國(guó)科學(xué)院大學(xué)，2015.

[3] 呂冀，高洪民，汪渤，等．圖像制導(dǎo)的目標(biāo)匹配算 法與系統(tǒng)設(shè)計(jì)[J]．彈箭與制導(dǎo)學(xué)報(bào)，2009，29(5)： 43-45.

[4] SHI J，TOMASI C．Good features to track[C]//Computer Vision and Pattern Recognition．IEEE Computer Society Conference on IEEE，1994：593-600.

[5] REN S，HE K，GIRSHICK R，et al．Faster R-CNN： towards real-time object detection with region proposal networks[J]．IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39(6)：1 137.

[6] GIRSHICK R，DONAHUE J，DARRELL T，et al．Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Computer Vision and Pattern Recognition. IEEE，2014：580-587.

lmage lntelligent ldentification System for Railway Freight Wagon Loading Condition

ZHANG Ehui
（Science and Technology Research Institute，Shanghai Railway Administration，Shanghai 200071，China）

The high-definition video surveillance system for wagon loading conditions produces mass data every day. At present, the identification of abnormality relies on human work, which means huge workload and low efficiency. This paper proposes a normal and abnormal condition identification algorithm by collecting,classifying and defining the wagon loading condition images and inputting the data in the deep learning module.The image intelligent identification system for railway freight wagon loading condition developed based on this algorithm can take over most of the workload previously taken by human and thus improves the efficiency and safety.

Railway freight wagon；loading condition；abnormality detection；image intelligent identification；deep learning module

U298

A

1001-683X（2017）09-0113-04

10.19549/j.issn.1001-683x.2017.09.113

張萼輝（1980—），男，高級(jí)工程師，碩士。E-mail：18918121605@126.com

責(zé)任編輯 盧敏

2017-06-15