湯寶偉
安全和高效是行車指揮的兩個(gè)永恒主題,它依賴于行車指揮設(shè)備功能的完備性和調(diào)度指揮人員的操作水平。CTC3.0 的應(yīng)用[1],在設(shè)備安全指揮方面上了一個(gè)新的臺(tái)階。但在實(shí)際的行車指揮過程中,在各種應(yīng)急情況和非正常情況下,鐵路運(yùn)輸部門急需一定的方法和設(shè)備能夠?qū)?shí)際過程中的違規(guī)、不合理操作及時(shí)發(fā)現(xiàn),進(jìn)而通知操作員及時(shí)更正,防止安全隱患[2-4]。
基于CTC 報(bào)警信息和站場圖掃描的行車作業(yè)檢索分析系統(tǒng)在這方面進(jìn)行了探索[5],取得了顯著的效果。但其應(yīng)用存在局限性:一是依賴于CTC 報(bào)警信息,目前有些在用的TDCS/CTC 系統(tǒng)或者沒有報(bào)警信息或者信息不全,因此無法進(jìn)行行為檢索;二是無法對(duì)菜單、按鈕等操作過程進(jìn)行記錄,不利于對(duì)操作行為和習(xí)慣進(jìn)行具體分析;三是沒有對(duì)多工種的操作場景進(jìn)行記錄和合成,不能進(jìn)行多業(yè)務(wù)的綜合性分析。為了解決這些問題,需要同現(xiàn)有技術(shù)方案相結(jié)合,繼續(xù)尋找新的技術(shù)方案。
方案設(shè)計(jì)的目標(biāo)是對(duì)操作行為能夠進(jìn)行全程全方位記錄:諸如操作員在某時(shí)刻的語言,在終端上的輸入,辦理了哪些操作等。在此基礎(chǔ)上,再對(duì)其操作行為的合理性進(jìn)行分析。
在全程全方位記錄方面,可通過記錄鍵盤點(diǎn)擊事件、鼠標(biāo)點(diǎn)擊事件并記錄坐標(biāo),再使這些事件在相同系統(tǒng)中進(jìn)行場景還原。然而此方案由于無法獲得在事件發(fā)生時(shí)CTC 系統(tǒng)及外圍系統(tǒng)狀態(tài),也就無法再現(xiàn)屏幕操作。因此,基于視頻錄制是唯一的技術(shù)選擇。而傳統(tǒng)的在操作終端上安裝錄屏軟件,由于占用主機(jī)系統(tǒng)資源,難免會(huì)對(duì)生產(chǎn)系統(tǒng)造成影響,因此該方案行不通。而采取外設(shè)攝像頭的方式,由于安裝位置和角度的限制,畫面失真和扭曲,效果也不好。經(jīng)過對(duì)視頻錄制技術(shù)的分析,采用把HDMI 信號(hào)的輸出通過重新編碼壓縮成視頻的方式可以解決這一難題[6-8]。
在完成視頻記錄的基礎(chǔ)上,對(duì)視頻進(jìn)行分析是另外一個(gè)目標(biāo)。錄屏的海量視頻數(shù)據(jù),單純靠人工來分析,工作量大,成本高。而隨著云計(jì)算的應(yīng)用,AI 技術(shù)的發(fā)展,視頻的識(shí)別和分析算法已經(jīng)取得了顯著的發(fā)展[9-10],在識(shí)別率、實(shí)時(shí)性方面可以滿足行為檢索的需求。
綜上所述,采用基于視頻的錄制和分析技術(shù),實(shí)現(xiàn)對(duì)行車指揮行為的記錄和分析是可行的,同時(shí)也能擴(kuò)大系統(tǒng)的檢索范圍。
如圖1 所示,基于視頻錄制和分析技術(shù)的行車作業(yè)檢索分析系統(tǒng)是在原有行車作業(yè)檢索分析系統(tǒng)、TDCS/CTC 衛(wèi)星授時(shí)系統(tǒng)的基礎(chǔ)上,增加了語音采集、音視頻錄制、動(dòng)態(tài)圖形建模和流程定義、視頻分析和視頻文件存儲(chǔ)管理等子系統(tǒng)。
圖1 系統(tǒng)結(jié)構(gòu)圖
TDCS/CTC 衛(wèi)星授時(shí)系統(tǒng)用于提供系統(tǒng)時(shí)鐘,保證不同來源的音視頻信號(hào)基于同一時(shí)鐘基準(zhǔn)進(jìn)行視頻編碼,以便多個(gè)終端的錄制視頻在播放時(shí)能夠?qū)崿F(xiàn)同步;語音采集子系統(tǒng)采集工作人員的語音,生成語音記錄;音視頻錄制子系統(tǒng)實(shí)現(xiàn)終端操作界面的錄屏功能,并通過視頻文件存儲(chǔ)管理子系統(tǒng)實(shí)現(xiàn)文件存貯;視頻分析子系統(tǒng)依據(jù)識(shí)別判定依據(jù),對(duì)操作行為進(jìn)行檢索,并通過既有的檢索分析系統(tǒng)的報(bào)警信息管理子系統(tǒng)進(jìn)行報(bào)警信息管理。
音視頻錄制功能是指對(duì)車站值班員、調(diào)度員等終端進(jìn)行不間斷地屏幕錄制,記錄終端上所有的操作行為,同時(shí)記錄工作人員的語音。音視頻錄制的工作原理如下。
1)獲取圖像。音視頻錄制子系統(tǒng)接收終端輸出的HDMI 信號(hào),從HDMI 的TMDS 時(shí)鐘信號(hào)、Preamble (控制信息)、Data Island (數(shù)據(jù)包)、Video Data(視頻信息)里面提取圖像大小、幀速率信息、RGB 或YUV 通道圖像數(shù)據(jù),合成完整的RGB圖像序列,根據(jù)獲取TDCS/CTC 系統(tǒng)時(shí)鐘和圖像幀速率,計(jì)算圖像實(shí)際產(chǎn)生的時(shí)間并進(jìn)行標(biāo)注,把產(chǎn)生的圖像序列集進(jìn)行緩存。
2)獲取語音和字幕。音視頻錄制子系統(tǒng)接收語音采集子系統(tǒng)提供的語音數(shù)據(jù),同時(shí)把語音轉(zhuǎn)換成文字,用做視頻字幕;并根據(jù)語音開始的系統(tǒng)時(shí)間和語音參數(shù),設(shè)置字幕對(duì)應(yīng)的播放時(shí)間,根據(jù)錄音設(shè)備ID識(shí)別講話人,并將其加入字幕當(dāng)中。
3)視頻編輯合成。音視頻錄制子系統(tǒng)根據(jù)用戶設(shè)置的視頻圖像大小,幀速率、編碼器,通過視頻分析模塊給出的視頻錄制指令(該指令用于指示合成哪段時(shí)間的視頻或者全部合成,來節(jié)省硬盤空間),把在緩存中的圖像序列集、音頻、字幕進(jìn)行視頻合成,形成音視頻文件。當(dāng)同一時(shí)刻存在多個(gè)音頻和字幕時(shí),可將音頻和字幕加入不同的通道,以保證信息的完整性。
基于視頻的行為分析是指依據(jù)單個(gè)圖像或者圖像序列集和語音,對(duì)操作員的指揮行為進(jìn)行檢索分析,并給出分析結(jié)果,供操作員或管理人員調(diào)閱查看。
1)判定依據(jù)定義。為了計(jì)算機(jī)能夠在圖像中查找特定圖像信息,需要對(duì)檢索目標(biāo)進(jìn)行定義。利用動(dòng)態(tài)圖形建模、流程定義子系統(tǒng)完成這一功能。動(dòng)態(tài)圖像建模是用實(shí)際顯示的圖形來表示信號(hào)機(jī)、道岔、股道、進(jìn)路、列車、供電臂、封鎖區(qū)域、計(jì)劃圖表的各種狀態(tài);用一組圖形序列來表達(dá)列車進(jìn)路、調(diào)車進(jìn)路建立和進(jìn)路解鎖時(shí),道岔、信號(hào)機(jī)的前后序列變化,列車移動(dòng)時(shí)軌道區(qū)段的變化、車次號(hào)的變化等,以便計(jì)算機(jī)通過圖像間的變化來識(shí)別具體設(shè)備特征。流程定義是對(duì)設(shè)備故障下的各種非正常操作和調(diào)度命令等關(guān)鍵業(yè)務(wù)操作,以操作步驟的形式來表達(dá),比如要電話通知哪些崗位,做哪些登記,做哪些設(shè)備操作,以及這些操作之間的先后關(guān)系等。
2)行為分析。視頻分析子系統(tǒng)接收來自多臺(tái)終端的圖像序列、語音和字幕,依據(jù)判斷依據(jù)進(jìn)行識(shí)別。通過對(duì)圖像序列進(jìn)行掃描,識(shí)別報(bào)警信息框中的報(bào)警信息[11],提取設(shè)備狀態(tài)信息、操作信息及時(shí)間;識(shí)別信號(hào)設(shè)備故障類型及編號(hào),并記錄開始故障的時(shí)間;識(shí)別調(diào)度命令擬寫、下發(fā)、簽收操作及調(diào)度命令類型,并記錄相應(yīng)時(shí)間;對(duì)于設(shè)備故障的非正常操作,以設(shè)備故障時(shí)間為起點(diǎn),識(shí)別經(jīng)過該故障設(shè)備辦理的接發(fā)車進(jìn)路及時(shí)間,識(shí)別菜單操作命令、按鈕操作命令及時(shí)間,依據(jù)這些時(shí)間在語音文字記錄里面提取語音指令,并把這些事件按照時(shí)間先后進(jìn)行排序,形成設(shè)備故障情況下的操作動(dòng)作集合。同時(shí),視頻分析子系統(tǒng)還把來自不同終端的操作動(dòng)作集合進(jìn)行關(guān)聯(lián),以分析不同工種間業(yè)務(wù)的協(xié)同。視頻分析子系統(tǒng)對(duì)操作動(dòng)作集與正常的操作流程進(jìn)行比對(duì),形成分析結(jié)果。分析結(jié)果信息包括操作發(fā)生的時(shí)間,對(duì)應(yīng)的設(shè)備、具體操作、操作人,分析結(jié)論以及視頻對(duì)應(yīng)的終端ID,通過既有檢索分析系統(tǒng)中的報(bào)警管理信息子系統(tǒng),對(duì)分析結(jié)果進(jìn)行存儲(chǔ)。
視頻文件存儲(chǔ)管理子系統(tǒng)按組織把屬于同一調(diào)度臺(tái)、車站各個(gè)終端對(duì)應(yīng)的多個(gè)音視頻文件組成一組,并根據(jù)時(shí)間順序進(jìn)行存儲(chǔ)。
既有檢索分析系統(tǒng)中已經(jīng)實(shí)現(xiàn)了行為的統(tǒng)計(jì)功能和場景回放功能。在行為統(tǒng)計(jì)方面,來源于視頻分析的報(bào)警可以無差別地與原有系統(tǒng)兼容,進(jìn)行統(tǒng)計(jì)顯示。而場景回放功能需要選擇一個(gè)視頻播放器,增加對(duì)視頻文件播放的支持,而且該播放器需要支持多路視頻協(xié)同播放的功能,以觀看各業(yè)務(wù)工種間操作的協(xié)同情況。
基于視頻錄制與分析技術(shù)的操作行為檢索分析系統(tǒng),在原有檢索分析系統(tǒng)的基礎(chǔ)上,進(jìn)行了以下的應(yīng)用和技術(shù)創(chuàng)新。
1)采用通過HDMI 信號(hào)錄制視頻的方式,解決了在操作終端上安裝錄屏軟件帶來的內(nèi)存、性能、硬盤讀寫等資源消耗,進(jìn)而影響生產(chǎn)系統(tǒng)的問題,填補(bǔ)了目前行車記錄回放缺乏菜單操作、鍵盤操作、鼠標(biāo)操作的空白,對(duì)補(bǔ)全現(xiàn)場信息具有重要作用。
2)記錄多工種人員的操作行為,并將這些圖像、語音基于統(tǒng)一的系統(tǒng)時(shí)鐘合成視頻,把多個(gè)相關(guān)聯(lián)的視頻分成一組進(jìn)行存儲(chǔ),解決了現(xiàn)場信息零星分散,缺乏相關(guān)性,不易存儲(chǔ)管理的難題,有利于全方位對(duì)操作行為進(jìn)行立體綜合分析。
3)通過對(duì)信號(hào)設(shè)備、圖表等要素進(jìn)行動(dòng)態(tài)圖像建模和標(biāo)準(zhǔn)流程定義,通過語音和圖像識(shí)別技術(shù)檢索,能夠?qū)崟r(shí)發(fā)現(xiàn)不合理的操作行為,解決了現(xiàn)有檢索系統(tǒng)與各個(gè)廠家數(shù)據(jù)和協(xié)議的耦合問題,具有通用性強(qiáng)、檢索范圍廣和易于拓展的優(yōu)勢(shì)。
基于報(bào)警信息和站場圖掃描的行車作業(yè)檢索分析系統(tǒng)已經(jīng)應(yīng)用于上海局、沈陽局、哈爾濱局、武漢局,在提高車務(wù)和調(diào)度人員設(shè)備操作和應(yīng)急處理水平方面發(fā)揮了一定的作用。而基于視頻錄制和分析的檢索分析系統(tǒng),是多媒體技術(shù)與運(yùn)輸指揮系統(tǒng)的深度融合,符合利用技術(shù)保安全的發(fā)展方向,其在還原現(xiàn)場指揮真實(shí)場景,全方位信息整合方面提供了重要技術(shù)支撐,使得檢索分析系統(tǒng)邁上了一個(gè)新的臺(tái)階。