賈云飛，樊 樂，徐 暉，吳仁彪

（中國民航大學(xué) 智能信號與圖像處理天津市重點實驗室，天津300300）

0 引 言

數(shù)據(jù)記錄回放分為非交互式回放和交互式回放這2種［1］。非交互式回放模式下，用戶只能被動地觀看回放視頻，無法對回放畫面進(jìn)行任何操作。而在交互式回放模式下，用戶可以干預(yù)回放畫面，進(jìn)行交互操作?；胤胚^程的交互操作包括航跡過濾、實時測距和屏幕縮放［2］等。若只能被動地觀看回放視頻，用戶想要看到的某些航跡信息、電子進(jìn)程單信息或其它重要信息，可能會被隱藏或遮擋，不利于航空事故的分析。其次，交互式回放能讓管制學(xué)員親自參與回放時的管制過程，具有更好的培訓(xùn)和學(xué)習(xí)效果。再者，交互式回放能為模擬演練系統(tǒng)提供更好的服務(wù)［3］。因此，交互式回放不可或缺。

國外空管自動化系統(tǒng)發(fā)展較早，技術(shù)先進(jìn)，如美國Raytheon公司的 “Auto Trac”和 “Guardian”自動化系統(tǒng)和法國Thales公司的THALES自動化系統(tǒng)等。國內(nèi)各區(qū)管中心廣泛使用的EUROCAT－X系統(tǒng)提供了友好的交互式回放功能［4］。但是，進(jìn)口系統(tǒng)價格昂貴，在后續(xù)維護(hù)上存在先天劣勢，因此迫切需要研制具有我國自主知識產(chǎn)權(quán)的空管自動化系統(tǒng)。目前，國產(chǎn)空管自動化系統(tǒng)能實現(xiàn)管制員操作記錄回放的系統(tǒng)非常少［5］。文獻(xiàn) ［6］提到了Unix平臺上ATC系統(tǒng)的操作記錄與回放，記錄的是完整的X 協(xié)議請求序列，數(shù)據(jù)量非常大，對記錄數(shù)據(jù)的壓縮和解壓需要復(fù)雜的算法，且不支持交互式回放。本文致力于實現(xiàn)對管制員操作的交互式回放。

1 記錄回放的實現(xiàn)方法

EUROCAT－X是一套較完善的空管自動化系統(tǒng)，系統(tǒng)提供了專門的回放處理器ASPB （air situation play－back），即空域情況重放。但在實際工作中，EUROCAT－X 提供的回放功能存在一定缺陷，比如，重放過程等待時間較長；CPU 占用率過大；重放只能在TRU64 平臺上使用等。因此，國產(chǎn)空管自動化系統(tǒng)需要采用自主研發(fā)的回放技術(shù)。為了實現(xiàn)空管自動化系統(tǒng)的運行過程和用戶操作的記錄與回放，可以采用如表1所示的幾種方法。

表1 幾種記錄回放方法的實現(xiàn)原理

經(jīng)測試，在相同的硬件環(huán)境下，上述5 種方法的特點和性能對比見表2。

表2 幾種記錄回放方法的性能對比

由表1和表2可知，由于錄屏軟件的開啟和連續(xù)高頻率地畫面截屏搶占系統(tǒng)資源，錄制屏幕和記錄屏幕畫面這2種方式在記錄過程中CPU 使用率都高達(dá)80%以上，同時記錄數(shù)據(jù)量非常大，需要復(fù)雜的數(shù)據(jù)壓縮和較高的硬件支持［7］。為保證回放的精度，記錄屏幕畫面時必須進(jìn)行連續(xù)高頻率的截屏，導(dǎo)致在短時間內(nèi)產(chǎn)生太多的圖片，存儲開銷過大?；胤艜r，由于需要頻繁讀硬盤，往往會導(dǎo)致回放畫面卡頓。運用Windows鉤子機(jī)制的記錄與回放方法雖然系統(tǒng)開銷較小，但鉤子截獲的是鼠標(biāo)和鍵盤操作的位置信息，而不是被操作的窗體信息［8，9］，其回放會因活動窗體的不同而發(fā)生錯亂，例如，回放過程中目標(biāo)窗體位置發(fā)生變化時，對窗體的相關(guān)回放操作將失效。采用記錄Xwindow協(xié)議數(shù)據(jù)來回放屏幕顯示內(nèi)容，該方法只能從記錄之初開始回放，不能自由選擇回放開始時間，且回放時無法進(jìn)行交互操作。Xwindow是一套在Unix機(jī)器上運行優(yōu)良的視窗系統(tǒng)，它包括X客戶端、X服務(wù)器和X 協(xié)議3部分。Xwindow系統(tǒng)客戶端通過X協(xié)議實現(xiàn)與Xserver的交互，Xserver對客戶端的需求做出回答［6］。該方法只適用基于Unix開發(fā)的軟件，而國產(chǎn)空管自動化系統(tǒng)大多基于Windows平臺設(shè)計。

針對以上幾種記錄回放實現(xiàn)方法的不足，并結(jié)合空管自動化系統(tǒng)的設(shè)計需求，本文采用記錄原始操作數(shù)據(jù)的方法，實現(xiàn)對管制員操作的交互式回放。該方法是針對程序的數(shù)據(jù)結(jié)構(gòu)、I／O 交互特性編寫的程序代碼，這種記錄回放方式有其專門性，其實現(xiàn)過程與被記錄軟件的耦合性強，但它能實現(xiàn)交互式回放和定點回放，磁盤利用率高，占用系統(tǒng)資源少，且該方法適用于所有系統(tǒng)平臺。

2 方案設(shè)計與實現(xiàn)

2.1 操作記錄

本文采用記錄原始操作數(shù)據(jù)的方法實現(xiàn)交互式回放，操作記錄以操作復(fù)用為目的，需要收集鍵盤事件、鼠標(biāo)事件及其作用的UI（user interface）對象［10，11］，本文中的具體記錄信息為：操作時間、操作類型、操作所作用的界面元素和操作內(nèi)容。

（1）操作時間。操作時間是指產(chǎn)生該操作的系統(tǒng)時間。操作時間影響操作的時序，只有準(zhǔn)確無誤地記錄好每一個操作的時間，才能保證回放時操作的正確性和連續(xù)性。

（2）操作類型。操作類型是指鼠標(biāo)和鍵盤對所有界面元素的所有操作類型，比如窗口控件操作、航跡操作和電子進(jìn)程單操作等。

（3）操作所作用的界面元素。操作所作用的界面元素是指操作所實施的對象，比如被操作控件及其父窗口ID號、航跡索引號等。

（4）操作內(nèi)容。操作內(nèi)容并非每個控件都有，本文只記錄了文本編輯框被操作后的內(nèi)容，并且只記錄有效的操作內(nèi)容。本文的方案只記錄操作結(jié)果，不記錄操作過程，在不影響回放效果的前提下，大大減少了記錄數(shù)據(jù)量。

將上述記錄信息封裝在用戶自定義的結(jié)構(gòu)體內(nèi)，根據(jù)不同的操作類型，定義不同類型的結(jié)構(gòu)體。本文的記錄對象是基于自主研發(fā)的通航空管自動化系統(tǒng)綜合數(shù)據(jù)顯示終端 （SDD）的席位操作，所記錄的管制員操作類型見表3。

記錄時先在每條記錄數(shù)據(jù)前添加一個時間戳，然后將數(shù)據(jù)類型對應(yīng)的結(jié)構(gòu)體存儲到文件。由于需要記錄大量的系統(tǒng)狀態(tài)和用戶操作數(shù)據(jù)，為了提高文件讀寫的效率，本文采用格式相對簡單的二進(jìn)制文件進(jìn)行記錄［12］。記錄文件過大會增加文件加載和恢復(fù)的時間開銷，影響回放效率。本文采用分段記錄的方法，通過定時器限定每個文件只能存儲15min的記錄數(shù)據(jù)，分段記錄的方式還有利于回放時軟件全局狀態(tài)的恢復(fù)。對于軟件全局狀態(tài)，本文采取增量式更新記錄，在每個記錄文件之初記錄下整個軟件所有變量的狀態(tài)，在后續(xù)記錄過程中，只對有狀態(tài)更新的變量進(jìn)行記錄，記錄速度快、記錄數(shù)據(jù)量小。數(shù)據(jù)記錄流程如圖1所示。

表3 管制員操作類型及其記錄內(nèi)容

圖1 數(shù)據(jù)記錄流程

2.2 快進(jìn)回放和定點回放

為了實現(xiàn)回放時各消息之間的時間間隔和記錄時一致，必須有控制回放速度的時間機(jī)制。本文通過定時器控制回放函數(shù)的執(zhí)行，每回放完一條消息，就將定時器的時間間隔調(diào)整為相鄰兩條數(shù)據(jù)信息的時間戳之差。這就保證了回放時各個操作之間的時間間隔和消息產(chǎn)生時一樣，更好地實現(xiàn)了操作再現(xiàn)。在此基礎(chǔ)上，可以通過等比例調(diào)整定時器的時間間隔實現(xiàn)任意倍數(shù)的快進(jìn)回放。由于每條記錄信息前都有時間戳，這就允許任意輸入回放起止時間，通過比較回放起止時間和讀取的記錄信息時間戳的大小，限定何時開始回放何時結(jié)束回放，實現(xiàn)了定點回放。快進(jìn)回放和定點回放能更有針對性地查看固定時間段內(nèi)的回放信息，減少回放過程的等待時間。

2.3 交互式回放及其容錯機(jī)制

回放過程中，逐條讀取記錄文件信息，根據(jù)讀取到的數(shù)據(jù)類型將其分發(fā)到相應(yīng)的回放處理單元進(jìn)行處理和顯示。由于記錄的是窗口和控件的原始操作數(shù)據(jù)，而不是鼠標(biāo)和鍵盤的動作過程［13］，因此在回放過程中，用戶看不到操作過程，只能看到操作后的結(jié)果，這樣就保證了回放過程中鼠標(biāo)和鍵盤都可以自由操作，實現(xiàn)了回放過程的交互性，回放時能響應(yīng)暫停、快進(jìn)和快退等各種回放控制命令。

考慮到交互式回放的特點，回放過程中用戶可以對回放內(nèi)容進(jìn)行主動干預(yù)，而這種人為干擾可能會造成回放過程中的軟件中斷，因此交互式回放必須設(shè)計容錯機(jī)制。針對上述問題，本文在回放每個操作之前，都會主動判斷該操作所作用的界面元素是否存在，若已被人為銷毀，則重新創(chuàng)建該操作對象，再實施回放處理，保證正?；胤潘胁僮鳌?shù)據(jù)回放流程如圖2所示。

圖2 數(shù)據(jù)回放流程

2.4 同步回放

空管自動化系統(tǒng)要求數(shù)據(jù)記錄回放子系統(tǒng)記錄雷達(dá)數(shù)據(jù)、話音數(shù)據(jù)和管制員操作數(shù)據(jù)，并實現(xiàn)以上3種數(shù)據(jù)的同步回放。為防止某航跡還未出現(xiàn)或已經(jīng)消失，卻有作用在該航跡上的某些操作的回放，必須保證雷達(dá)數(shù)據(jù)和管制員操作數(shù)據(jù)在回放過程中的嚴(yán)格同步。本文所述方案中，雷達(dá)數(shù)據(jù)和操作數(shù)據(jù)采取同步記錄和保存在同一個文件的方法，以實現(xiàn)回放畫面的同步和連續(xù)。

目前空管領(lǐng)域比較多的是雷達(dá)數(shù)據(jù)記錄設(shè)備和語音記錄設(shè)備是2套獨立的設(shè)備，進(jìn)行獨立回放。如果不能同時同地回放畫面和語音，會給事故分析和管制培訓(xùn)造成不便，因此必須保證畫面信息和語音信息嚴(yán)格同步回放。本文中將雷達(dá)數(shù)據(jù)、操作數(shù)據(jù)和話音數(shù)據(jù)都以數(shù)據(jù)包的形式同時發(fā)送給數(shù)字話音記錄儀，保證話音數(shù)據(jù)的時標(biāo)和雷達(dá)及操作數(shù)據(jù)的時標(biāo)始終保持一致，并提供與記錄儀同步回放接口，實現(xiàn)3種數(shù)據(jù)的同步回放。

3 方案實測

3.1 開發(fā)及測試

本文所提出的交互式記錄回放方法是基于自主研發(fā)的通航空管自動化系統(tǒng)SDD 實現(xiàn)的。開發(fā)平臺為Windows操作系統(tǒng)，編程語言使用標(biāo)準(zhǔn)C＋＋。本文所提出的交互式回放方法在上述平臺成功通過試驗。經(jīng)測試，記錄SDD 席位操作時長1min35s，記錄操作步數(shù)為75，幾種記錄方法的記錄文件大小對比如圖3和圖4所示。

圖3 2種方法記錄文件大小對比Ⅰ

圖4 2種方法記錄文件大小對比Ⅱ

由測試數(shù)據(jù)可知，連續(xù)截屏和用錄屏軟件記錄的方法，文件大小都是以MB 為計量單位，長時間記錄會導(dǎo)致文件過大，增加保存難度，數(shù)據(jù)傳輸過程中也會占用更大的傳輸帶寬，且回放畫面清晰度不高。運用Windows鉤子機(jī)制的記錄方法，雖然記錄文件較小，但從圖3 可以看出，它相對于記錄原始數(shù)據(jù)的方法其記錄文件還是很大，而且在整個回放過程中，鼠標(biāo)和鍵盤都被回放鉤子所占用，回放畫面不可控，不具備交互性?？展茏詣踊到y(tǒng)記錄文件要求保存1年，所以必須采用產(chǎn)生記錄文件很小的記錄方法，由圖中對比可知，本文所采用的記錄原始操作數(shù)據(jù)的方法記錄文件最小，對硬盤要求最低，文件上傳下載過程中占用帶寬也最小，提升了系統(tǒng)運行效率。

本方案實現(xiàn)了雷達(dá)數(shù)據(jù)和管制員操作數(shù)據(jù)的同步回放，并將其與數(shù)字話音記錄儀相結(jié)合，實現(xiàn)了語音數(shù)據(jù)、雷達(dá)數(shù)據(jù)和操作數(shù)據(jù)三者的同步回放。數(shù)據(jù)記錄回放子系統(tǒng)數(shù)據(jù)流如圖5所示。

圖5 數(shù)據(jù)記錄回放子系統(tǒng)數(shù)據(jù)流

由實驗可知，該系統(tǒng)可以在遠(yuǎn)程終端對記錄儀進(jìn)行回放控制，回放過程具有良好的交互性，用戶可以實施屏幕縮放，測距和在線繪圖等交互操作，回放畫面清晰，回放過程可控，可以在交互式回放和非交互式回放2種模式之間自由切換。記錄儀和回放席位都采用雙網(wǎng)架構(gòu)，保證數(shù)據(jù)傳輸可靠穩(wěn)定，能夠7×24小時無間斷記錄與空中交通管制相關(guān)的所有數(shù)據(jù)，記錄線程不影響系統(tǒng)的正常運行，記錄文件小，便于長期保存。因此，本文所提出的方法具有可靠性和高效性，能夠長時間穩(wěn)定運行，符合空管自動化系統(tǒng)的設(shè)計需求。

3.2 交互式回放的優(yōu)勢

由實驗可知，本文所提出的交互式回放技術(shù)具有如下優(yōu)點：

（1）只記錄操作結(jié)果。只記錄鼠標(biāo)和鍵盤的操作結(jié)果，回放時沒有鼠標(biāo)和鍵盤的任何動作過程，可以對回放畫面進(jìn)行各類操作，具有良好的交互式回放效果。

（2）記錄數(shù)據(jù)量小。程序開發(fā)過程中進(jìn)行選擇性記錄，對于一些不必要記錄的沒有意義的操作不予記錄，記錄數(shù)據(jù)量大大減少。

（3）實現(xiàn)定點回放。只要相應(yīng)的記錄文件存在，可以任意選取回放起止時間，減少回放等待時間。

（4）回放過程可控。回放過程中，能實現(xiàn)快進(jìn)、后退、暫停、繼續(xù)、終止等各種回放控制。

（5）磁盤空間利用率高。記錄文件以二進(jìn)制文件的格式保存，長時間記錄不會造成記錄文件過大，對硬件設(shè)備的要求不高。

（6）較高的容錯性。管制員操作數(shù)據(jù)和雷達(dá)數(shù)據(jù)都以數(shù)據(jù)包的形式存放，且前后時序也被記錄?；胤艜r，數(shù)據(jù)到達(dá)回放終端的時序與操作發(fā)生的時序保持嚴(yán)格一致?；胤挪僮髑坝信袛嗖僮鲗ο笫欠翊嬖诘娜蒎e機(jī)制，避免回放過程的軟件中斷。

4 結(jié)束語

本文提出了一種基于原始操作數(shù)據(jù)的交互式記錄回放方法，對空管管制員的席位操作進(jìn)行了記錄與回放，并在自主研發(fā)的通航空管自動化系統(tǒng)運行通過，測試結(jié)果表明，該方案實現(xiàn)了回放過程中的人機(jī)界面交互，并實現(xiàn)了雷達(dá)數(shù)據(jù)、操作數(shù)據(jù)和話音數(shù)據(jù)的同步回放，滿足空管自動化系統(tǒng)的需求。本文提出的方案也可用于其它需要交互式回放的系統(tǒng)，對類似的工程應(yīng)用有一定參考價值。該實現(xiàn)方法與被記錄軟件對象的耦合性較強，下一步研究目標(biāo)是實現(xiàn)數(shù)據(jù)記錄回放子系統(tǒng)的模塊化。

［1］CHEN Dongying.Discussions on ATC record replay system［J］.Air Traffic Management，2010 （2）：35－37 （in Chinese）.［陳冬瑩.空管記錄回放系統(tǒng)的探討 ［J］.空中交通管理，2010 （2）：35－37.］

［2］ZHU Jun，ZHOU Luhua.Discussions on function of recording and replaying in the emergency system of Hefei ATC and advice［J］.Air Traffic Management，2009 （5）：27－28 （in Chinese）.［朱軍，周祿華.淺談合肥自動化應(yīng)急系統(tǒng)的記錄回放功能及建議 ［J］.空中交通管理，2009 （5）：27－28.］

［3］WANG Yang，F(xiàn)AN Zhihua.Research on earthquake rescue drilling simulation system ［J］.Computer Si－mulation，2013，30 （1）：404－408 （in Chinese）.［王楊，范植華.地震救援演練仿真系統(tǒng)的研究 ［J］.計算機(jī)仿真，2013，30 （1）：404－408.］

［4］LIU Yansheng.Technical studies on accident investig－ation collection system based on EUROCAT－X ［J］.Air Traffic Management，2009 （9）：14－16 （in Chinese）. ［劉燕生.基于EUROCAT－X的事故調(diào)查采集系統(tǒng)技術(shù)研究 ［J］.空中交通管理，2009 （9）：14－16.］

［5］WANG Shuang，ZHOU Luhua.Technologies of sync－h(huán)ronous record and reproducing of radar image and voice［J］.Air Traffic Management，2010 （4）：15－20 （in Chinese）. ［王霜，周祿華.雷達(dá)圖像和語音的同步記錄與回放技術(shù) ［J］.空中交通管理，2010 （4）：15－20.］

［6］ZENG Jing.Design and realization of a high－reliabil－ity radar data record and playback subsystem of ATC ［D］.Chengdu：University of Electronic Science and Technology of China，2011（in Chinese）.［曾競.一種高可靠性空管雷達(dá)數(shù)據(jù)記錄回放系統(tǒng)的設(shè)計與實現(xiàn) ［D］.成都：電子科技大學(xué)，2011.］

［7］HAN Wei，ZHAI Zhengjun，JIANG Hongmei，et al.Design and realization of on－aero integration d－ata collection and analysis system ［J］.Computer Engineering and Design，2007，28（17）：4195－4197 （in Chinese）. ［韓瑋，翟正軍，姜紅梅，等.飛行數(shù)據(jù)綜合記錄與分析系統(tǒng)的設(shè)計與實現(xiàn) ［J］.計算機(jī)工程與設(shè)計，2007，28 （17）：4195－4197.］

［8］WANG Jia，JIANG Xi.Design and implementation of software record／playback system based on wind－ows hook ［J］.Science Technology and Engineering，2012，12 （10）：2450－2453 （in Chinese）.［王甲，姜希.基于Windows Hook的軟件錄制回放系統(tǒng)的設(shè)計和實現(xiàn) ［J］.科學(xué)技術(shù)與工程，2012，12 （10）：2450－2453.］

［9］Qin Zuze，Qin Shigang，Liu Jianxun.A novel meth－odfor capturing healthy image data in hospital legacy systems ［C］／／Computer and Information Technology，2011：1－5.

［10］CHEN Dejian，SUN Yanchun，HUANG Gang，et al.Operation remote synchronization based onrecord and replay for remote education platform ［J］.Computer Engineering and Applications，2013，49 （6）：65－71 （in Chinese）. ［陳德健，孫艷春，黃罡，等.基于操作記錄與回放技術(shù)的遠(yuǎn)程同步教學(xué)工具 ［J］.計算機(jī)工程與應(yīng)用，2013，49 （6）：65－71.］

［11］ZHANG Nuyun.Research on action－based programming process reuse ［D］.Beijing：Beijing University，2010 （in Chinese）.［張弩云.基于動作的編程過程復(fù)用方法與技術(shù)研究［D］.北京：北京大學(xué)，2010.］

［12］WU Xinhui，WANG Yongbin，LIU Hongbo.Implementation of record and replay module for telegraph training system［J］.Computer Engineering and Design，2009，30 （23）：5538－5540 （in Chinese）.［吳鑫輝，王永斌，劉宏波.報務(wù)訓(xùn)練系統(tǒng)的記錄回放模塊研究 ［J］.計算機(jī)工程與設(shè)計，2009，30 （23）：5538－5540.］

［13］CHEN Ce，GUO Jiuwu，ZHAO Chunxia.Common logging and replay system for military command system ［J］.Computer Engineering and Design，2010，31 （21）：4693－4696 （in Chinese）.［陳策，郭久武，趙春霞.面向指揮系統(tǒng)的通用記錄與復(fù)演技術(shù)研究 ［J］.計算機(jī)工程與設(shè)計，2010，31（21）：4693－4696.］