謝崇彬 中國(guó)鐵路上海局集團(tuán)有限公司機(jī)務(wù)部

1 概述

機(jī)車(chē)視頻監(jiān)控預(yù)警系統(tǒng)可以實(shí)現(xiàn)機(jī)車(chē)動(dòng)態(tài)在線預(yù)覽、機(jī)車(chē)視頻實(shí)時(shí)/回調(diào)預(yù)覽、工作狀態(tài)智能報(bào)警、運(yùn)行項(xiàng)點(diǎn)實(shí)時(shí)分析、運(yùn)行記錄在線提取、機(jī)車(chē)數(shù)據(jù)綜合同步分析、運(yùn)行狀態(tài)掌上移動(dòng)式監(jiān)控、系統(tǒng)數(shù)據(jù)統(tǒng)一分析，匯總檢索，全方位管控機(jī)車(chē)運(yùn)行狀態(tài)，對(duì)機(jī)車(chē)乘務(wù)員起到預(yù)警提醒作用，確保行車(chē)安全。

機(jī)車(chē)視頻監(jiān)控預(yù)警系統(tǒng)操作方便、自動(dòng)化程度高、安全可靠，通過(guò)對(duì)視頻、音頻文件與LKJ運(yùn)行記錄文件進(jìn)行關(guān)聯(lián)分析、同步播放，實(shí)現(xiàn)關(guān)鍵項(xiàng)點(diǎn)的分析，對(duì)LKJ運(yùn)行記錄文件中的事件信息 (如進(jìn)出站、色燈變化等)進(jìn)行直接定位，提高了分析人員的工作效率，降低了勞動(dòng)強(qiáng)度，為鐵路安全工作帶來(lái)巨大效益。

2 總體設(shè)計(jì)方案

系統(tǒng)在設(shè)計(jì)時(shí)，分析比較了傳統(tǒng)的基于通用PC的視頻監(jiān)控系統(tǒng)和目前新興的基于嵌入式系統(tǒng)的視頻監(jiān)控系統(tǒng)的各自的優(yōu)缺點(diǎn)，考慮到本系統(tǒng)需要安裝在機(jī)車(chē)上使用，對(duì)體積和穩(wěn)定性等方面均有要求，所以最終選擇了嵌入式技術(shù)與通用PC技術(shù)相結(jié)合的開(kāi)發(fā)方案。系統(tǒng)的車(chē)載部分，采用嵌入式技術(shù)來(lái)完成，地面監(jiān)控部分采用計(jì)算機(jī)技術(shù)來(lái)完成，互相之間通過(guò)互聯(lián)網(wǎng)連接。車(chē)載和地面部分均通過(guò)服務(wù)器來(lái)搭建實(shí)現(xiàn)互聯(lián)互通。本系統(tǒng)主要設(shè)計(jì)為三部分組成，分別是車(chē)載視頻監(jiān)控預(yù)警系統(tǒng)、在線預(yù)警分析系統(tǒng)、地面綜合分析系統(tǒng)。其中車(chē)載視頻監(jiān)控預(yù)警系統(tǒng)一端由一個(gè)機(jī)車(chē)視頻監(jiān)控預(yù)警裝置、六個(gè)網(wǎng)絡(luò)攝像機(jī)、一個(gè)圖像采集器、TAX箱信息隔離板等組成。這三部分通過(guò)內(nèi)外網(wǎng)相互連接，車(chē)載視頻監(jiān)控預(yù)警系統(tǒng)通過(guò)3G/WIFI等網(wǎng)絡(luò)隨車(chē)移動(dòng)運(yùn)行。

2.1 車(chē)載視頻監(jiān)控預(yù)警系統(tǒng)

系統(tǒng)安裝于列車(chē)中，主要完成任務(wù)：進(jìn)行錄像采集，圖像分析，數(shù)據(jù)U盤(pán)轉(zhuǎn)儲(chǔ)等相關(guān)功能，能夠?qū)Ω魍ǖ酪曨l進(jìn)行全程錄像，支持遠(yuǎn)程視頻點(diǎn)播預(yù)覽，行車(chē)數(shù)據(jù)自動(dòng)上傳等功能。該系統(tǒng)由：機(jī)車(chē)視頻監(jiān)控預(yù)警裝置主機(jī)，網(wǎng)絡(luò)攝像機(jī)，圖像采集器，TAX箱信息隔離板等組成。

2.1.1 機(jī)車(chē)視頻監(jiān)控預(yù)警裝置主機(jī)

視頻監(jiān)控裝置部分具有視頻和音頻信號(hào)實(shí)時(shí)采集壓縮、硬盤(pán)記錄、實(shí)時(shí)音視頻預(yù)覽、音視頻信號(hào)切換、本地錄像文件回放、實(shí)時(shí)無(wú)線網(wǎng)絡(luò)傳輸、遠(yuǎn)程文件回放、錄像數(shù)據(jù)備份和錄像下載等功能。

預(yù)警部分主要功能是圖像分析和存儲(chǔ)報(bào)警音視頻信息、無(wú)線上傳機(jī)車(chē)運(yùn)行信息和報(bào)警信息、在線預(yù)覽、機(jī)車(chē)定位、獲取機(jī)車(chē)運(yùn)行信息、系統(tǒng)實(shí)時(shí)自檢、報(bào)警信息人工轉(zhuǎn)儲(chǔ)等功能。

系統(tǒng)主機(jī)將采集的圖像信息輸入到圖像加速處理器進(jìn)行預(yù)處理，然后由數(shù)字媒體處理器進(jìn)行圖像識(shí)別、分割。圖像識(shí)別算法根據(jù)紅外光在瞳孔形成的反射光線對(duì)眼睛進(jìn)行定位，在無(wú)法定位時(shí)采用目標(biāo)跟蹤算法進(jìn)行跟蹤檢測(cè)，可以準(zhǔn)確計(jì)算司機(jī)視網(wǎng)膜瞳孔圖像的大小和位置，結(jié)合眼睛視網(wǎng)膜瞳孔狀態(tài)及嘴部特征，然后進(jìn)行狀態(tài)模板匹配，融合多門(mén)學(xué)科算法，深入分析計(jì)算出乘務(wù)員疲勞駕駛的數(shù)學(xué)模型，根據(jù)PERCLOS原理和霍思道夫距離算法，使用神經(jīng)網(wǎng)絡(luò)判斷算法，實(shí)現(xiàn)機(jī)車(chē)乘務(wù)員在不同駕駛姿態(tài)、不同照明環(huán)境以及戴眼鏡、墨鏡等情況下的工作狀態(tài)實(shí)時(shí)準(zhǔn)確檢測(cè)?？梢詫?shí)時(shí)精準(zhǔn)分辨出臉部和眼睛狀態(tài)信息，從而能準(zhǔn)確判斷乘務(wù)員駕駛狀態(tài)。

2.1.2 圖像采集器

采用紅外主動(dòng)補(bǔ)光和紅外濾光法，可以有效濾除環(huán)境光線和背景圖像干擾。通過(guò)高靈敏度紅外攝像頭采集乘務(wù)員面部特征信息，將圖像信息輸入到裝置主機(jī)進(jìn)行處理分析。

2.1.3 網(wǎng)絡(luò)攝像機(jī)

路況攝像機(jī)一般安裝于司機(jī)操作臺(tái)側(cè)前方靠近窗玻璃的位置，采集機(jī)車(chē)前方線路情況并記錄，同時(shí)在顯示屏上顯示對(duì)應(yīng)通道的圖像信息，前方攝像機(jī)拍攝范圍為機(jī)車(chē)前方50 m～100 m內(nèi)物體要清晰可見(jiàn)，可視距離達(dá)200 m以上。

司機(jī)室內(nèi)球型防爆紅外攝像機(jī)可以安裝在司機(jī)室頂棚，俯瞰司機(jī)室，將司機(jī)室內(nèi)標(biāo)準(zhǔn)化作業(yè)等情況拍攝下來(lái)存入車(chē)載主機(jī)硬盤(pán)內(nèi)，同時(shí)在顯示屏上顯示對(duì)應(yīng)通道的圖像信息，調(diào)整好位置，將攝像頭正對(duì)著司機(jī)，以便攝錄司機(jī)標(biāo)準(zhǔn)化作業(yè)的情況。室內(nèi)攝像機(jī)拍攝范圍涵蓋正司機(jī)側(cè)的整個(gè)門(mén)窗、前方操縱臺(tái)玻璃和副司機(jī)坐凳位置，能看到司機(jī)的整個(gè)作業(yè)范圍。

機(jī)械間半球型紅外攝像機(jī)可以安裝在機(jī)械間頂棚，俯瞰機(jī)械間，將機(jī)械間室內(nèi)情況拍攝下來(lái)存入車(chē)載主機(jī)硬盤(pán)內(nèi)，同時(shí)可送監(jiān)視屏顯示畫(huà)面，乘務(wù)員可及時(shí)了解機(jī)械間情況。

2.2 在線預(yù)警分析系統(tǒng)

該系統(tǒng)考慮由在線預(yù)警分析平臺(tái)網(wǎng)站和移動(dòng)APP客戶端組成。通過(guò)在線預(yù)警分析平臺(tái)網(wǎng)站或者移動(dòng)APP客戶端能夠進(jìn)行查詢監(jiān)視。

2.3 地面綜合分析系統(tǒng)

該系統(tǒng)考慮由音視頻綜合分析臺(tái)、數(shù)據(jù)轉(zhuǎn)儲(chǔ)上傳裝置組成。列車(chē)入段后能夠?qū)④?chē)載數(shù)據(jù)通過(guò)數(shù)據(jù)轉(zhuǎn)儲(chǔ)上傳裝置上傳到服務(wù)器中，然后由相關(guān)分析人員，通過(guò)音視頻綜合分析臺(tái)，對(duì)列車(chē)視頻數(shù)據(jù)，運(yùn)行數(shù)據(jù)，錄音數(shù)據(jù)等進(jìn)行同步關(guān)聯(lián)播放顯示，對(duì)運(yùn)行數(shù)據(jù)進(jìn)行立體化分析。

3 系統(tǒng)功能實(shí)現(xiàn)

機(jī)車(chē)視頻監(jiān)控預(yù)警系統(tǒng)實(shí)現(xiàn)功能考慮從三部分實(shí)現(xiàn)，分別為車(chē)載視頻監(jiān)控預(yù)警系統(tǒng)、在線預(yù)警分析系統(tǒng)和地面綜合分析系統(tǒng)。軟件功能模塊如圖1所示。

圖1 軟件功能模塊

3.1 車(chē)載視頻監(jiān)控預(yù)警系統(tǒng)

3.1.1 值乘報(bào)警

通過(guò)圖像采集設(shè)備，對(duì)司機(jī)室情況進(jìn)行自動(dòng)掃描分析，能夠識(shí)別司機(jī)面部特征，如是否正常了望，是否盹睡等，如果發(fā)現(xiàn)異常后，系統(tǒng)能夠自動(dòng)進(jìn)行語(yǔ)音提醒，并產(chǎn)生對(duì)應(yīng)的報(bào)警記錄。如圖2所示。

圖2 車(chē)載視頻監(jiān)控預(yù)警系統(tǒng)工作流程

3.1.2 車(chē)況報(bào)警

系統(tǒng)通過(guò)煙霧傳感器以及溫度傳感器，如果發(fā)現(xiàn)煙霧過(guò)濃或者溫度過(guò)高，將會(huì)自動(dòng)產(chǎn)生煙霧報(bào)警或者高溫告警，再將報(bào)警時(shí)間、工作端自動(dòng)上傳至服務(wù)器，可通過(guò)在線預(yù)警分析平臺(tái)或者地面綜合分析系統(tǒng)中能夠進(jìn)行查看，并能夠?qū)?duì)應(yīng)時(shí)間段的時(shí)間進(jìn)行定位回放。

3.1.3 項(xiàng)點(diǎn)分析

通過(guò)TAX分析運(yùn)行數(shù)據(jù)，自動(dòng)將運(yùn)行過(guò)程中的一些項(xiàng)點(diǎn)進(jìn)行判定，包括：“進(jìn)站、出站、區(qū)間停車(chē)、站內(nèi)停車(chē)、管壓為零、信號(hào)降級(jí)、調(diào)車(chē)啟動(dòng)、列車(chē)啟動(dòng)、信號(hào)故障、站內(nèi)非正常停車(chē)”，項(xiàng)點(diǎn)數(shù)據(jù)，能夠自動(dòng)上傳至數(shù)據(jù)服務(wù)器，通過(guò)在線預(yù)警分析系統(tǒng)，能夠?qū)崟r(shí)查看該機(jī)車(chē)本趟運(yùn)行的項(xiàng)點(diǎn)信息。

3.1.4 數(shù)據(jù)實(shí)時(shí)上傳

考慮實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)上傳功能，將設(shè)備各項(xiàng)狀態(tài)，以及所有相關(guān)數(shù)據(jù)，實(shí)時(shí)的上傳至數(shù)據(jù)服務(wù)器，包括設(shè)備硬件狀態(tài)，如：SD卡狀態(tài)、內(nèi)部存儲(chǔ)狀態(tài)、北斗狀態(tài)、TAX連接狀態(tài)、各攝像頭狀態(tài)、溫度、煙霧數(shù)據(jù)等等。

3.2 在線預(yù)警分析系統(tǒng)

3.2.1 實(shí)時(shí)監(jiān)控（見(jiàn)圖3）

圖3 實(shí)時(shí)監(jiān)控

考慮實(shí)現(xiàn)實(shí)時(shí)顯示全部在線機(jī)車(chē)，能夠根據(jù)車(chē)次、車(chē)號(hào)來(lái)進(jìn)行查詢定位。機(jī)車(chē)在電子地圖中，能夠顯示列車(chē)前進(jìn)方向，能夠?qū)㈣F路線路用加亮顏色顯示。能夠點(diǎn)擊機(jī)車(chē)查看詳細(xì)信息，如：車(chē)次、司機(jī)、速度、限速、管壓、色燈、交路、車(chē)站等等。能夠?qū)崟r(shí)播放該機(jī)車(chē)各個(gè)通道的視頻，例如司機(jī)室、機(jī)械間、車(chē)頂、路況等。還能夠查看該機(jī)車(chē)的運(yùn)行記錄、報(bào)警記錄、運(yùn)行事件、運(yùn)行曲線以及設(shè)備狀態(tài)等信息，通過(guò)運(yùn)行記錄、報(bào)警記錄、運(yùn)行事件、運(yùn)行曲線來(lái)將視頻定位到特定的時(shí)間點(diǎn)，查看分析指定時(shí)間的視頻內(nèi)容。還能夠進(jìn)行運(yùn)行回放，能夠選擇指定的時(shí)間段，回放該時(shí)間段的視頻，運(yùn)行記錄進(jìn)行查看分析。

3.2.2 在線報(bào)警

實(shí)現(xiàn)在線報(bào)警功能，能夠?qū)崟r(shí)刷新顯示當(dāng)前所有機(jī)車(chē)的報(bào)警記錄，通過(guò)顏色來(lái)區(qū)別嚴(yán)重程度，能夠根據(jù)分類來(lái)篩選報(bào)警記錄，如值乘報(bào)警、LKJ報(bào)警、車(chē)況報(bào)警燈。相關(guān)管理人員能夠播放報(bào)警視頻（如果是煙霧或者高溫報(bào)警，能夠調(diào)取對(duì)應(yīng)時(shí)間的視頻，能夠切換不同的通道來(lái)查看）。管理人員能夠根據(jù)報(bào)警情況，做出判斷，比如如果屬于違章，能夠直接添加兩違登記，以便日后統(tǒng)計(jì)查詢。

3.2.3 手機(jī)APP終端

考慮通過(guò)收集APP來(lái)讓管理人員可以查看接收各種信息。管理人員的手機(jī)通過(guò)移動(dòng)終端、或手機(jī)連接網(wǎng)絡(luò)，并進(jìn)行身份驗(yàn)證登錄，就能夠接收到各種事件報(bào)警通知，可以查詢相關(guān)報(bào)警信息信息，點(diǎn)擊后查看機(jī)車(chē)服務(wù)器可向各手機(jī)終端推送報(bào)警信息，查看本機(jī)收到的所有的報(bào)警通知，就像短信一樣，明顯區(qū)別已讀和未讀的報(bào)警通知，可以直接在線點(diǎn)播查看報(bào)警視頻。能夠查看在線機(jī)車(chē)的運(yùn)的實(shí)時(shí)運(yùn)行情況以及報(bào)警、運(yùn)行記錄，包括運(yùn)行情況、司機(jī)副司機(jī)信息、運(yùn)行記錄、報(bào)警記錄等。如圖4所示。

圖4 手機(jī)APP終端

3.3 地面綜合分析系統(tǒng)

3.3.1 數(shù)據(jù)轉(zhuǎn)儲(chǔ)上傳

通過(guò)自動(dòng)快速轉(zhuǎn)儲(chǔ)裝置，支持6個(gè)U盤(pán)同時(shí)轉(zhuǎn)儲(chǔ)，轉(zhuǎn)儲(chǔ)速度每秒200 M以上，能夠自動(dòng)讓U盤(pán)中的視頻、報(bào)警數(shù)據(jù)上傳至路網(wǎng)服務(wù)器，操作簡(jiǎn)單，插入U(xiǎn)盤(pán)進(jìn)行轉(zhuǎn)儲(chǔ)，轉(zhuǎn)儲(chǔ)完畢后拔出U盤(pán)即可。

3.3.2 三合一同步分析

考慮以LKJ運(yùn)行記錄為中心，實(shí)現(xiàn)機(jī)車(chē)乘務(wù)員作業(yè)LKJ運(yùn)行記錄文件和音視頻文件的自動(dòng)關(guān)聯(lián)檢索功能，同步定位播放；實(shí)現(xiàn)運(yùn)行記錄和LKJ監(jiān)控顯示器的同步還原顯示；能夠通過(guò)多種記錄數(shù)據(jù)的綜合分析，完成關(guān)鍵項(xiàng)點(diǎn)作業(yè)情況分析，提高分析效率和真實(shí)程度，立體還原現(xiàn)場(chǎng)作業(yè)實(shí)際情況。如圖5所示。

圖5 三合一同步

運(yùn)行曲線和LKJ監(jiān)控顯示器同步回放定位。根據(jù)LKJ運(yùn)行記錄文件，同步還原顯示LKJ運(yùn)行曲線和LKJ監(jiān)控顯示器界面，監(jiān)控?cái)?shù)據(jù)跟隨時(shí)間進(jìn)度自動(dòng)移動(dòng)，播放分析視頻的時(shí)候能夠有效直觀地進(jìn)行顯示。如圖6所示。

圖6 運(yùn)行曲線和LKJ監(jiān)控顯示器同步回放定位

LKJ運(yùn)行記錄項(xiàng)點(diǎn)和LKJ運(yùn)行事件同步定位。自動(dòng)與LKJ運(yùn)行記錄分析系統(tǒng)連接，自動(dòng)獲取LKJ運(yùn)行記錄分析軟件中的各類分析項(xiàng)點(diǎn)(緊急制動(dòng)、管壓為0)，并支持用戶根據(jù)需要自定各種事件，例如開(kāi)車(chē)事件、停車(chē)事件、進(jìn)站、出站事件等。選擇指定事件后，會(huì)自動(dòng)定位播放對(duì)應(yīng)的音視頻信息。

運(yùn)行揭示同步定位。根據(jù)LKJ運(yùn)行記錄文件自動(dòng)提取相關(guān)揭示信息，系統(tǒng)能夠?qū)⒋舜涡熊?chē)過(guò)程中啟用揭示和沒(méi)有啟用的揭示進(jìn)行區(qū)分，啟用的揭示默認(rèn)顯示在界面最上方，并且左側(cè)有綠色圖標(biāo)指示。雙擊一條揭示信息后，能夠自動(dòng)定位到該揭示啟控的時(shí)間，并同步播放相關(guān)音視頻信息。如圖7所示。

圖7 運(yùn)行揭示同步定位

報(bào)警記錄定位。將轉(zhuǎn)儲(chǔ)記錄中出現(xiàn)的報(bào)警記錄列出來(lái)，用戶可以直接雙擊要查看的報(bào)警記錄，然后視頻以及對(duì)應(yīng)的運(yùn)行記錄，運(yùn)行曲線能夠自動(dòng)定位。

運(yùn)行記錄同步定位?？紤]顯示本次轉(zhuǎn)儲(chǔ)記錄的全程運(yùn)行記錄詳細(xì)信息。雙擊運(yùn)行記錄后，能夠自動(dòng)根據(jù)時(shí)間定位視頻和錄音，使視頻播放過(guò)程中，運(yùn)行記錄也能隨著視頻自動(dòng)往下切換。

視頻截取。考慮通過(guò)視頻截取功能，能夠截取指定時(shí)間段的視頻，并且能夠?qū)?duì)應(yīng)的錄音片段進(jìn)行合成，還能夠添加字幕信息，并且能夠設(shè)置字幕格式，如顏色、大小和位置等。

4 結(jié)束語(yǔ)

本次設(shè)計(jì)與研究實(shí)現(xiàn)了對(duì)機(jī)車(chē)各監(jiān)控區(qū)域進(jìn)行視頻圖像采集，使機(jī)車(chē)乘務(wù)員能及時(shí)了解機(jī)車(chē)各監(jiān)控區(qū)域的情況，對(duì)司機(jī)室監(jiān)控區(qū)域進(jìn)行音頻采集，并對(duì)采集的音視頻信息進(jìn)行實(shí)時(shí)記錄分析，是機(jī)器視覺(jué)在保證鐵路安全運(yùn)輸方面應(yīng)用的典型范例，這一研究成果可以為建立更全面、科學(xué)、合理的乘務(wù)員管理體系建立基礎(chǔ)。在地面分析時(shí)，通過(guò)音視頻數(shù)據(jù)轉(zhuǎn)儲(chǔ)裝置和音視頻智能分析系統(tǒng)，可對(duì)車(chē)載設(shè)備記錄的音視頻進(jìn)行高速轉(zhuǎn)儲(chǔ)，并自動(dòng)分析關(guān)鍵項(xiàng)點(diǎn)。既實(shí)現(xiàn)了對(duì)機(jī)車(chē)乘務(wù)員值乘狀態(tài)的實(shí)時(shí)監(jiān)測(cè)提醒，又可有效提高地面分析人員的工作質(zhì)量和工作效率。