陳大海 中國鐵路上海局集團有限公司徐州機務段

1 研究背景

機車車載安全防護系統(tǒng)，簡稱6A 系統(tǒng)，由中央處理平臺和6 個子系統(tǒng)組成。其中視頻監(jiān)控子系統(tǒng)實時采集、存儲司機室、機械間、電器間等監(jiān)控部位的視頻圖像，并響應中央處理平臺的指令，向其發(fā)送視頻圖像；機車乘務員通過中央處理平臺處理單元的USB 接口，插入專用移動U 盤下載視頻數(shù)據(jù)，退勤時將U 盤視頻數(shù)據(jù)上傳至專用數(shù)據(jù)服務器，由專業(yè)人員進行回放和分析。

由于數(shù)據(jù)量巨大，分析人員只能抽查分析，覆蓋率較低。為提高數(shù)據(jù)分析效率、充分發(fā)揮6A 視頻的監(jiān)控作用，經(jīng)上海局集團公司批準立項（課題任務書編號：2019049），徐州機務段與北京新聯(lián)鐵集團股份有限公司合作開發(fā)了“基于機車6A視頻數(shù)據(jù)的違標作業(yè)自動檢索管理系統(tǒng)”。

2 技術(shù)原理

“基于機車6A 視頻數(shù)據(jù)的違標作業(yè)自動檢索管理系統(tǒng)”主要由圖形處理器(GPU)、WEB服務器和客戶端軟件等組成，見圖1。系統(tǒng)基于人體骨骼行為識別技術(shù)，首先對人體骨架和關(guān)鍵節(jié)點精準檢測，在此基礎(chǔ)上，通過人體靜態(tài)行為參數(shù)和動態(tài)行為參數(shù)的計算， 結(jié)合圖像目標識別算法，并利用機車LKJ 信息進行綜合判定，準確識別動作行為中的違標作業(yè)行為，自動提取違標作業(yè)視頻文件；GPU 出色的圖形處理能力和高性能計算能力確保了海量視頻數(shù)據(jù)的處理效率；客戶端軟件具有違標作業(yè)信息條件檢索功能，可生成違標信息列表和統(tǒng)計分析圖。

圖1 系統(tǒng)組成示意圖

3 系統(tǒng)功能

系統(tǒng)主要功能如下：

（1）自動識別、提取乘務員違標作業(yè)視頻文件。系統(tǒng)實時監(jiān)測轉(zhuǎn)儲路徑下的6A 視頻文件，對于新產(chǎn)生的視頻文件，能夠自動檢索、識別和提取違標作業(yè)視頻文件。

（2）違標信息統(tǒng)計。進入違標信息統(tǒng)計頁面，選擇查詢條件，可按時間、車間、違標項點等條件查詢，生成車間、違標項點、司機違標信息統(tǒng)計折線圖表及車間、違標項點、司機違標數(shù)據(jù)列表；選擇車間、違標項點、司機違標信息列，生成違標信息分布餅狀圖。違標信息統(tǒng)計分析圖見圖2。

圖2 違標信息統(tǒng)計分析圖

（3）違標信息檢索。進入違標信息頁面，自動顯示當日違標作業(yè)信息，按時間、車型、車號、司機姓名、工號、違標項點等條件檢索，生成違標作業(yè)信息列表和正常作業(yè)信息列表，可按車型、車號、司機姓名、工號、違標項點等條件檢索，生成違標作業(yè)信息列表，并能導出數(shù)據(jù)（EXCELL表格），見圖3。

圖3 違標作業(yè)信息列表

（4）視頻回放復核。進入視頻回放復核頁面，在左側(cè)列表默認顯示當前所有未審核數(shù)據(jù)，選擇左側(cè)列表文件夾進行視頻回放，視頻畫面顯示在右側(cè)播放窗口，復核后點擊“確認審核”按鈕，選擇違標等級、審核意見，點擊“確認審核”按鈕保存，復核完成。點擊視頻上方功能按鈕，可根據(jù)違標項點結(jié)果視頻進行截圖、下載等功能操作。視頻回放復核界面見圖4。

圖4 視頻回放復核界面

（5）違標項點設(shè)置。進入違規(guī)項點配置頁面，顯示當前所有項點信息，可以選擇啟用相應項點，保存后項點信息更新到列表中。

（6）6A 視頻文件路徑配置。進入6A 視頻文件路徑配置頁面，顯示系統(tǒng)對所有支持的參數(shù)信息，可新增、修改參數(shù)信息，保存后更新到列表中。

（7）用戶管理、系統(tǒng)配置功能。進入用戶管理頁面，顯示當前系統(tǒng)所有用戶信息，可新增、修改相應用戶信息，保存后用戶信息更新到列表中。

4 關(guān)鍵技術(shù)方案

（1）LKJ 文件解析：通過 FTP 方式將 LKJ 文件共享，程序?qū)崟r監(jiān)控LKJ 文件，并對新產(chǎn)生的文件進行解析并存入數(shù)據(jù)庫LKJ表及l(fā)kj_option_info表中。

（2）視頻文件更新監(jiān)控：通過FTP 方式將視頻文件路徑共享，程序?qū)崟r監(jiān)控轉(zhuǎn)儲路徑下的機車6A 視頻文件，對新產(chǎn)生的視頻文件，關(guān)聯(lián)對應的LKJ 文件，得到司機信息，存儲到數(shù)據(jù)庫video表中。

（3）人體骨骼檢測：檢測人體關(guān)節(jié)點并持續(xù)跟蹤，同時考慮外觀特征和運動軌跡，將檢測結(jié)果與跟蹤結(jié)果進行融合，提高檢測結(jié)果與跟蹤結(jié)果的可信度。

（4）圖像目標識別：系統(tǒng)采用基于深度學習的目標檢測與識別方法，采用深度神經(jīng)網(wǎng)絡提取圖像中對象特征，利用錨點框機制、分類與邊框回歸，實現(xiàn)目標的檢測與分類。

（5）違規(guī)行為標準庫：系統(tǒng)對乘務員的違規(guī)操縱標準進行參數(shù)化配置，分別設(shè)定乘務員接車、段內(nèi)運行、出段（站接）、始發(fā)站、區(qū)間運行、進站（出站）、中間站停、終到站、入段（站交）、交車等時段的操縱事項、正常操縱標準、違規(guī)標準。

（6）違標行為分析：首先將視頻文件按照車型、車號、日期等條件排序，將原始視頻、解析視頻、LKJ 文件路徑數(shù)據(jù)信息生成VideoPathAndOutPath.txt 中；然后采用AI 人工智能算法，解析違標視頻，把處理結(jié)果寫到IllegalInfofor.json。

5 系統(tǒng)應用

該系統(tǒng)開發(fā)完成后，自2019 年6 月起在徐州機務段試用，取得了預期的效果。

（1）違標作業(yè)識別能力強。系統(tǒng)可準確識別乘務員抬腿、運行中離崗、打手機以及玩電子設(shè)備、扭頭閑聊間斷瞭望、運行中開門、遮擋攝像頭、盹睡、進出站未手比、雙值乘區(qū)段未執(zhí)行二人值乘等九種違標作業(yè)行為。

（2）分析效率大幅提高。對于每日下載的大量的6A 視頻數(shù)據(jù)，人為分析耗時長、效率極低，只能進行抽查分析。以徐州機務段為例每周量化要求分析項點數(shù)不少于9 個，其中A 類違規(guī) 2 個、B 類違規(guī) 7 個，實際每天產(chǎn)生 100 趟機班，司機室視頻數(shù)量7 200 個，總時長900 h，總計246 GB，單人分析每天分析3 個機班視頻，3 個違規(guī)項點左右，4 名視頻分析人員同時分析一天，文件分析覆蓋率僅為12%，分析項點覆蓋率為20%，且存在問題集中在某一機班、某些群體，出現(xiàn)問題人控化現(xiàn)象。使用該系統(tǒng)后，15 min6A 視頻文件的處理時間不超過1 min。

（3）安全管理更科學。系統(tǒng)客戶端分析軟件實現(xiàn)了違標作業(yè)信息按時間、車間、姓名、工號、違標項點等條件檢索功能，可生成違標信息列表和統(tǒng)計分析圖，并能導出數(shù)據(jù)（EX?CELL 表格）；通過客戶端軟件還可以對系統(tǒng)生成的違標作業(yè)視頻進行回放，人工復核、確認系統(tǒng)自動判定的違標行為。機務段安全、運用管理部門利用本系統(tǒng)可以及時掌握機車乘務員值乘作業(yè)標準化執(zhí)行情況，提高了分析效率，降低人工成本，確保了視頻分析覆蓋率，同時對高頻違標作業(yè)行為、人員進行預警。

6 結(jié)束語

本系統(tǒng)基于人體骨骼行為識別技術(shù)，通過對人體骨架和關(guān)鍵節(jié)點的精準檢測，采用圖像目標識別算法，對乘務員的違標作業(yè)行為進行綜合判定；系統(tǒng)實時監(jiān)控轉(zhuǎn)儲路徑下新產(chǎn)生的機車6A 視頻文件，自動檢索、識別、提取違標作業(yè)視頻信息；系統(tǒng)客戶端分析軟件實現(xiàn)了違標作業(yè)視頻信息按時間、車間、姓名、工號、違標項點等條件檢索功能，可生成違標信息列表和統(tǒng)計分析圖，并能導出數(shù)據(jù)（EXCEL 表格）；通過客戶端分析軟件還可以對系統(tǒng)生成的違標作業(yè)視頻進行回放，人工復核、確認系統(tǒng)生成的違標信息。系統(tǒng)的應用可有力促進機車乘務員按標作業(yè)意識的提高，防止工作懈怠、主觀故意違章造成的行車意外安全事故，達到保障行車安全的目的。