王圣杰，楊 華，2，鄭世寶，2，梁龍飛

(1.上海交通大學(xué)電子工程系圖像通信與網(wǎng)絡(luò)工程研究所，上海200240;2.上海市數(shù)字媒體處理與傳輸重點實驗室，上海200240;3.上海博康智能網(wǎng)絡(luò)科技股份有限公司，上海200030)

隨著科學(xué)技術(shù)的不斷進(jìn)步，計算機的普及率日益提高，其操作的安全性與合法性也越來越受到人們的關(guān)注。通過對計算機操作進(jìn)行無間斷地記錄，可以有效避免由于非法操作而造成的不良后果，對于存儲有個人檔案、商業(yè)機密、病人病歷等敏感信息的計算機，這種需求尤為迫切。

目前，對計算機操作視頻進(jìn)行記錄主要存在硬件實現(xiàn)［1］與軟件實現(xiàn)［2］兩種方式。軟件實現(xiàn)在原理上一般基于操作系統(tǒng)底層機制，可靈活使用包括 VC、VB［3］、JAVA［4］、C#［5］、Delphi［6］等在內(nèi)的多種開發(fā)語言，但這種實現(xiàn)方式大多依賴于操作系統(tǒng)對自身行為進(jìn)行記錄，需要在被記錄計算機上安裝特定的軟件，這樣不僅會占用過高的CPU資源，使計算機工作性能受到較大影響，而且跨平臺適應(yīng)性差。硬件實現(xiàn)方式很好地解決了以上問題，大多通過在被記錄計算機主機上安裝VGA采集卡，實現(xiàn)了對計算機屏幕的錄制，并可在用戶端安裝配套的軟件用于觀看實時操作視頻，但是，使用VGA采集卡存在著采購成本高、用戶端軟件功能單一等不足。

針對以上實現(xiàn)方式的缺陷，本文介紹了一套自主研發(fā)的系統(tǒng)，在不占用被記錄計算機任何資源的前提下，通過軟硬件相結(jié)合的方式實現(xiàn)了對包括計算機操作視頻、鍵鼠操作信息在內(nèi)的計算機操作信息的全面、高效的記錄，并將記錄數(shù)據(jù)以壓縮碼流的形式存儲于遠(yuǎn)程服務(wù)器中，同時提供了多種方式實現(xiàn)了對操作信息的查看與回放。

1 計算機操作視頻記錄系統(tǒng)總體應(yīng)用架構(gòu)

本文研究的計算機操作視頻記錄系統(tǒng)總體應(yīng)用框架如圖1所示，系統(tǒng)由被記錄計算機、計算機操作視頻記錄設(shè)備、以太網(wǎng)絡(luò)、數(shù)據(jù)存儲與管理服務(wù)器、管理者終端組成。每臺被記錄計算機都配備一臺計算機操作視頻記錄設(shè)備對包括計算機操作視頻、鍵鼠信息在內(nèi)的操作信息進(jìn)行采集，并將其以壓縮碼流的方式通過以太網(wǎng)絡(luò)傳輸至中心機房的數(shù)據(jù)存儲與管理服務(wù)器，該服務(wù)器負(fù)責(zé)對來自多臺計算機操作視頻記錄設(shè)備的碼流數(shù)據(jù)、設(shè)備信息和用戶信息進(jìn)行集中存儲與管理。管理者終端不僅可以通過使用瀏覽器登錄位于一臺或多臺計算機操作記錄設(shè)備中的Web Server對其工作參數(shù)進(jìn)行設(shè)置，實現(xiàn)對設(shè)備工作狀態(tài)的動態(tài)調(diào)整;而且能夠通過安裝定制的軟件連接服務(wù)器，查看和回放服務(wù)器存儲的計算機操作記錄數(shù)據(jù)。

圖1 系統(tǒng)總體應(yīng)用框架

2 計算機操作視頻記錄設(shè)備

圖1所示的系統(tǒng)中，核心設(shè)備為計算機操作視頻記錄設(shè)備，該設(shè)備主要技術(shù)指標(biāo)要求如下:1)計算機操作視頻輸入與輸出接口，同時支持HDMI/VGA/DVI三種接口;2)計算機操作視頻分辨率格式，1 024×768，1 280×720，1 280×768，1 280 ×800，1 280 ×1 024，1 360 ×768，1 366×768，1 600 × 1 200，1 680 × 1 050，1 600 × 900，1 280×1 024，1 280×960，1 920×1 080。支持幀率:120 Hz，60 Hz，40 Hz，30 Hz，逐行掃描。支持輸入信號分辨率自適應(yīng)識別;3)視頻編解碼標(biāo)準(zhǔn)，支持H.264/AVC Baseline Profile Level4.0;4)視頻編碼分辨率，與輸入信號分辨率相同(支持隨著操作過程中被記錄計算機操作視頻分辨率的改變而改變);5)視頻編碼幀率為1～30 f/s(幀/秒);6)視頻編碼碼率為1～12 Mbit/s;7)操作系統(tǒng)為嵌入式Linux操作系統(tǒng);8)支持Web Server;9)固件升級:網(wǎng)絡(luò)在線升級;10)電壓AC 220 V;11)功耗小于20W。

計算機操作視頻記錄設(shè)備在硬件構(gòu)造上主要由數(shù)據(jù)編碼與管理主板和數(shù)據(jù)采集與環(huán)出子板組成，如圖2所示。其中1和2分別為輸入鍵盤信號與鼠標(biāo)信號，3和4為輸出鍵盤信號與鼠標(biāo)信號，5和6分別為輸入與輸出的VGA/DVI/HDMI信號，7為輸出碼流數(shù)據(jù)，8為AC 220 V電源。如上所述，設(shè)備硬件分別由一塊主板與一塊子板組成，其中主板主要包括數(shù)據(jù)處理模塊、數(shù)據(jù)接口轉(zhuǎn)換模塊、外圍接口模塊和電源模塊，子板主要包括計算機操作視頻信號采集模塊、操作視頻信號輸出模塊、鍵鼠信息環(huán)出模塊。下面將分別對各個模塊進(jìn)行介紹。

計算機操作視頻信號采集模塊主要完成被記錄計算機輸出操作視頻的采集、顏色空間的變換、圖像增強等操作，它支持HDMI，DVI，VGA等多種接口，并將輸入信號統(tǒng)一去格式化轉(zhuǎn)化為4∶2∶2的Y∶Cb∶Cr信號輸出。操作視頻信號輸出模塊將經(jīng)由數(shù)據(jù)接口轉(zhuǎn)換模塊環(huán)出的信號轉(zhuǎn)化為VGA，HDMI，DVI信號，并送入被記錄計算機顯示器進(jìn)行顯示。鍵鼠信息環(huán)出模塊將以PS/2格式輸入的鍵鼠操作信息分為2路，其中一路直接送入數(shù)據(jù)接口轉(zhuǎn)換模塊，另一路輸出至被記錄計算機主機。

圖2 計算機操作視頻記錄設(shè)備框圖

數(shù)據(jù)處理模塊核心為嵌入式SOC芯片，它以ARM11為內(nèi)核，內(nèi)嵌vDSP子系統(tǒng)，主要負(fù)責(zé)對輸入計算機操作視頻信號與鍵鼠信息進(jìn)行編碼、管理壓縮碼流數(shù)據(jù)、通過以太網(wǎng)絡(luò)將碼流傳輸至用戶管理與數(shù)據(jù)存儲服務(wù)器。它實現(xiàn)了在H.264 Baseline Profile Level 4.0標(biāo)準(zhǔn)下對數(shù)據(jù)接口轉(zhuǎn)換模塊輸出信號的壓縮編碼。

數(shù)據(jù)接口轉(zhuǎn)化模塊核心為FPGA芯片，它實現(xiàn)了對輸入操作視頻分辨率的自適應(yīng)識別以及對鍵鼠信息的采集，并將操作視頻采集模塊輸入的LVDS信號分為兩路，其中一路送至多媒體信號輸出模塊，完成了對輸入信號的環(huán)出，另一路轉(zhuǎn)化為BT656格式的TTL信號，并以特定格式送入數(shù)據(jù)處理模塊進(jìn)行壓縮編碼。

外圍接口模塊主要包括Nand Flash，Micro SD，DDR2，PHY，GPIO和UART等接口，它們分別負(fù)責(zé)SOC芯片中程序與數(shù)據(jù)的存儲、編碼數(shù)據(jù)的本地存儲、編碼數(shù)據(jù)的緩沖、連接以太網(wǎng)并將編碼數(shù)據(jù)傳輸至遠(yuǎn)程服務(wù)器、作為芯片擴展功能接口與RS－232調(diào)試接口。

本系統(tǒng)電源模塊采用了開關(guān)電源與線性電源相結(jié)合的較為成熟的電源方案，該方案外部走線少，可靠性高，抗干擾能力強，成本低，有效完成了對各個模塊進(jìn)行供電的任務(wù)。

3 計算機操作視頻記錄系統(tǒng)軟件方案及設(shè)計

計算機操作視頻記錄系統(tǒng)軟件主要包括計算機操作視頻記錄設(shè)備軟件、數(shù)據(jù)存儲與管理服務(wù)器軟件以及管理者終端用戶軟件等。下面分別介紹幾種軟件。

3.1 計算機操作視頻記錄設(shè)備軟件

計算機操作視頻記錄設(shè)備軟件為運行于該嵌入式設(shè)備中的Web Server，為系統(tǒng)輔助功能實現(xiàn)軟件，其軟件運行平臺為嵌入式ARM，操作系統(tǒng)為Linux操作系統(tǒng)。Web Server的功能主要包括:1)對計算機操作視頻信號進(jìn)行壓縮編碼;2)配置計算機操作視頻記錄設(shè)備IP地址、網(wǎng)關(guān)等網(wǎng)絡(luò)參數(shù);3)配置編碼幀率、編碼碼率、數(shù)據(jù)傳輸方式(UDP/TCP)等參數(shù);4)管理用戶名、密碼等用戶信息。

計算機操作視頻記錄設(shè)備軟件架構(gòu)圖如圖3所示，設(shè)備軟件分為4個層次:物理接口層、設(shè)備驅(qū)動層、中間件(SDK)層和系統(tǒng)應(yīng)用層。物理接口和設(shè)備驅(qū)動層用以進(jìn)行Linux操作系統(tǒng)和底層硬件之間的通信，中間件層為系統(tǒng)提供基本的功能模塊，包括用戶管理、編解碼參數(shù)配置、用戶管理、網(wǎng)絡(luò)參數(shù)配置等，以方便應(yīng)用軟件的開發(fā)，系統(tǒng)應(yīng)用層主要是面向用戶的上層應(yīng)用軟件。

3.2 B/S用戶軟件的設(shè)計

從整體上來看，圖1中管理者終端與計算機操作視頻記錄設(shè)備采用 B/S［7］(Browser/Server)模式進(jìn)行交互，前者作為Browser，后者作為Server，在本系統(tǒng)中，Browser為管理者終端軟件中的瀏覽器，Server即為3.1節(jié)介紹的嵌入式Web Server，管理者終端用戶通過在瀏覽器中輸入Web Server的IP地址、用戶名、密碼登陸服務(wù)器完成對其的各種操作。這種基于http瀏覽器/服務(wù)器的交互方式，大大擴展了交互范圍，不需要安裝額外的軟件，給系統(tǒng)應(yīng)用帶來很大的方便，同時提高了系統(tǒng)的可移植性，給系統(tǒng)的維護(hù)、管理和更新帶來了便利。

圖3 計算機操作記錄設(shè)備軟件架構(gòu)圖

3.3 C/S用戶軟件的設(shè)計

圖1中管理者終端與中心機房數(shù)據(jù)存儲與管理服務(wù)器之間采用Client/Server［7］的模式進(jìn)行信息交互;前者作為Client，后者作為Server，允許兩者通過OCX控件進(jìn)行信息交互，在本系統(tǒng)中Client為數(shù)據(jù)集中管理軟件，Server為數(shù)據(jù)存儲與管理服務(wù)器軟件，管理者終端用戶通過安裝在本地的數(shù)據(jù)集中管理軟件完成各種操作。此種模式將用戶端與服務(wù)器端區(qū)分開來，兩者獨立完成系統(tǒng)分配的不同任務(wù)，有效避免了因服務(wù)器超負(fù)荷工作而導(dǎo)致效率低下的問題，同時有著交互與信息安全控制能力強，用戶端操作響應(yīng)快速，圖形用戶界面豐富的特點。

在本系統(tǒng)中用數(shù)據(jù)存儲與管理服務(wù)器軟件作為數(shù)據(jù)庫管理系統(tǒng)，主要負(fù)責(zé)存儲用戶名、密碼等用戶信息，提供事務(wù)運行管理及用戶日志，存儲與管理來自多臺計算機操作記錄設(shè)備的多路碼流數(shù)據(jù)、響應(yīng)管理者終端用戶的各種操作請求等功能。

4 管理者終端用戶軟件的設(shè)計

如上所述，計算機操作記錄系統(tǒng)的管理者終端用戶軟件，既包括Browser，又包括Client，其中Browser可選用Windows XP系統(tǒng)支持的任意瀏覽器，Client為數(shù)據(jù)集中管理軟件，筆者主要參與了數(shù)據(jù)集中管理軟件的設(shè)計，該軟件為核心功能實現(xiàn)軟件，其架構(gòu)圖如圖4所示，分為物理接口層、BIOS層、操作系統(tǒng)層、SDK層與應(yīng)用軟件層。其中物理接口層提供與底層硬件相連接的接口，BIOS與操作系統(tǒng)實現(xiàn)對底層硬件的控制，SDK提供可供軟件開發(fā)者調(diào)用的核心功能模塊接口，應(yīng)用軟件層主要為直接面向用戶的操作軟件。

軟件功能為:

1)碼流直播:從樹形設(shè)備列表中選擇指定的一臺或多臺設(shè)備，查看其實時編碼數(shù)據(jù);

2)碼流點播與下載:從樹形設(shè)備列表中選擇指定的設(shè)備，按照時間段檢索該由設(shè)備壓縮編碼的碼流數(shù)據(jù)，進(jìn)行播放或下載至指定的本地存儲路徑;

圖4 管理者終端數(shù)據(jù)流集中管理軟件架構(gòu)圖

3)本地回放:播放存儲在本地的被記錄計算機操作信息壓縮碼流;

4)播放控制:碼流點播與本地回放過程中可實現(xiàn)暫停、停止、單幀后退、單幀前進(jìn)、截圖、全屏顯示等播放控制功能;

5)多畫面顯示:支持對碼流進(jìn)行1，4，6，8，9，13，16 不同數(shù)量畫面的播放顯示。

數(shù)據(jù)集中管理軟件的設(shè)計與實現(xiàn)主要通過調(diào)用SDK提供的各個功能模塊來完成，主要包括主框架模塊、用戶檢測與登錄模塊、通信模塊、軟解模塊，其中主框架模塊又可細(xì)分為直播模塊、點播模塊、下載模塊、本地回放模塊。各個模塊間的關(guān)系如圖5所示，下面對其功能做詳細(xì)闡述。

圖5 數(shù)據(jù)集中管理軟件設(shè)計模塊圖

用戶檢測與登陸模塊主要用于建立管理者終端用戶與數(shù)據(jù)存儲和管理服務(wù)器的連接，使后續(xù)操作的實現(xiàn)成為可能。在本設(shè)計中，基于安全因素的考慮，采取了雙重驗證機制。用戶與服務(wù)器建立連接的過程分為兩個階段:用戶檢測階段首先需要輸入Key IP，并與服務(wù)器內(nèi)嵌的USB Key的IP進(jìn)行比對，相同則進(jìn)入登錄驗證階段，反之等待用戶重新輸入;用戶在登陸驗證階段需要輸入服務(wù)器IP、用戶名、密碼，在三種信息全部與服務(wù)器存儲信息一致的前提下，成功建立與服務(wù)器的連接，反之連接失敗。

主框架模塊扮演著實現(xiàn)主要操作功能的角色，諸如對一臺或多臺被記錄計算機操作視頻數(shù)據(jù)進(jìn)行實時直播，按時間段對多路碼流進(jìn)行點播、將存儲于服務(wù)器端的碼流數(shù)據(jù)下載至本地硬盤、播放下載碼流等功能。

通信模塊是管理者終端用戶與服務(wù)器進(jìn)行信息交互的媒介，建立了從服務(wù)器獲取信息的通道，提供了檢測服務(wù)器狀態(tài)、登錄與登出服務(wù)器、獲取服務(wù)器歷史信息、請求下載操作等接口。通信模塊基于Win socket編程實現(xiàn)數(shù)據(jù)通信。通信模塊與服務(wù)器成功建立連接后，自動獲取服務(wù)器基礎(chǔ)資源(計算機操作視頻記錄設(shè)備信息、數(shù)據(jù)存儲信息、數(shù)據(jù)編碼參數(shù)等)，獲取的數(shù)據(jù)以特定格式的消息形式通知主框架模塊，并完成數(shù)據(jù)的解析與處理。主框架模塊對基礎(chǔ)資源解析完畢后調(diào)用通信模塊接口通知服務(wù)器初始化工作完畢，此后通信模塊一直等待響應(yīng)服務(wù)器消息或調(diào)用方法執(zhí)行用戶操作。

軟解模塊完成碼流的解碼與播放工作，提供了登錄服務(wù)器、退出服務(wù)器、播放直播碼流、播放點播碼流、打開本地文件、視頻播放控制等接口。軟解模塊內(nèi)嵌高性能的Coreavc編解碼器，它支持大多數(shù)的視頻編解碼標(biāo)準(zhǔn)和多種形式的GPU硬件加速，與單純依賴“硬解碼”的解決方案相比，有更高的工作效率。

5 總結(jié)與展望

本文介紹的計算機操作視頻記錄系統(tǒng)實現(xiàn)了對計算機輸出操作視頻與鍵鼠操作信息的采集、編碼、傳輸、存儲以及回放查看。本系統(tǒng)主要性能指標(biāo)為直播碼流的延遲時間，經(jīng)多次測試，在多媒體信號分辨率為1 024×768，幀率為25 f/s，碼率為4.7 Mbit/s情況下碼流播放平均延遲為0.72 s，基本達(dá)到了實時性的要求。

目前本系統(tǒng)已成功應(yīng)用于多個單位，經(jīng)過大量使用人員的實踐檢驗與長時間的應(yīng)用測試，該系統(tǒng)運行良好，工作性能穩(wěn)定，具有廣闊的應(yīng)用前景。針對此系統(tǒng)的后續(xù)工作將集中在對計算機操作視頻進(jìn)行智能分析，從計算機視覺的角度提取含有重要或敏感操作的關(guān)鍵幀，以此來實現(xiàn)在短時間內(nèi)對長時間用戶操作的凝縮回放;同時對獲取的PS/2形式鍵鼠操作信息進(jìn)行解析，還原具體操作類型與操作發(fā)生時間，并結(jié)合關(guān)鍵幀信息實現(xiàn)基于多種信息融合的計算機操作數(shù)據(jù)檢索。

［1］孫紅亮，唐艷發(fā)，梁春鋒，等.基于FPGA+ARM的高速計算機屏幕信息記錄系統(tǒng)［J］.電視技術(shù)，2010，34(S2):16－19.

［2］敖文兵.基于H.264/AVC屏幕錄制回放系統(tǒng)［D］.武漢:華中科技大學(xué)，2012.

［3］ ZHAO Ling.Remote screen locked technology based on winsock［C］//Proc.Asia－Pacific Youth Conference of Youth Communication and Technology.［S.l.］:Atlantis Press，2011:65－68.

［4］ HOU Jinbiao.Design and implementation of a remote screen monitoring system based on Java［C］//Proc.WCSE.Xiamen:IEEEComputer Society.［S.l.］:IEEE Press，2009:292－296.

［5］ ZHANG Jia’ai.The research and implementation of screen monitoring and process controlling in C/Smode based on C#technology［J］.Applied Mechanics and Materials，2012(6):1800－1802.

［6］ JIANG Rong.The application of intelligent remote monitoring platform underWindows on physical theory education［C］//Proc.ICMT.Hangzhou:IEEE Press，2011:3706－3709.

［7］湯庸，葉小平，湯娜.數(shù)據(jù)庫理論及應(yīng)用基礎(chǔ)［M］.北京:清華大學(xué)出版社，2004.