陳淑蘭, 王建勇, 孟卿卿, 董 超, 劉玉梅

?

城市監(jiān)控聯(lián)網(wǎng)平臺視頻播放器①

陳淑蘭, 王建勇, 孟卿卿, 董 超, 劉玉梅

(公安部第一研究所信息技術(shù)事業(yè)部, 北京100048) (視頻圖像信息智能分析與共享應(yīng)用技術(shù)國家工程實驗室, 北京100048)

針對城市監(jiān)控聯(lián)網(wǎng)平臺視頻播放器進行研究, 通過分析現(xiàn)存視頻播放器的優(yōu)缺點, 提出了一種新型多功能的播放器. 該播放器是以VLC架構(gòu)為基礎(chǔ), 結(jié)合C# ActiveX控件技術(shù)、流媒體技術(shù)實現(xiàn)的B/S模式視頻播放器. 經(jīng)實踐證明, 該播放器很大程度上提高了安防工作者的工作效率, 減少了人力的浪費, 具有很好的實用價值和應(yīng)用前景.

城市監(jiān)控聯(lián)網(wǎng); 視頻播放器; VLC架構(gòu); 播放器核心SDK; 播放器ActiveX

1 引言

監(jiān)控技術(shù)經(jīng)歷了模擬監(jiān)控、數(shù)字監(jiān)控、網(wǎng)絡(luò)監(jiān)控三個階段, 目前在大規(guī)模的向網(wǎng)絡(luò)監(jiān)控發(fā)展[1], 目前已日趨成熟. 網(wǎng)絡(luò)視頻監(jiān)控是多媒體、計算機網(wǎng)絡(luò)、人工智能和工業(yè)控制等技術(shù)的綜合運用[2]. 因其具有簡單、直觀等優(yōu)點, 被廣泛應(yīng)用于各個行業(yè). 視頻播放器作為城市監(jiān)控聯(lián)網(wǎng)平臺的核心技術(shù), 也成為監(jiān)控技術(shù)、多媒體領(lǐng)域里非常重要的一項研究熱點, 各類型的視頻播放器層層涌出. 視頻播放器綜合計算機技術(shù)、通信技術(shù)和數(shù)字多媒體技術(shù)來處理流媒體文件[3], 通常也稱之為流媒體播放器. 流媒體播放器在最近幾年從最初PC端的媒體播放器發(fā)展到移動客戶端的媒體播放器, 應(yīng)用變得更為廣泛, 技術(shù)也越來越精湛[4].

現(xiàn)在市場上發(fā)展比較好的商用媒體播放器主要有三種, 分別是Realnetworkers公司的Realmedia player, Microsoft公司的Windows Media player, 和Apple公司的quick time player. RealMediaplayer的出現(xiàn)促進了多媒體行業(yè)的形成. Windows mediaplayer是微軟公司出品的一款播放器, 該軟件功能多樣化, 可以播放很多格式的文件, 具有豐富的可視化效果. Quick time player是蘋果公司的播放器, 用來播放MOV格式的視頻, 是一款擁有強大的多媒體技術(shù)的內(nèi)置媒體播放器. 但以上視頻播放器主要應(yīng)用于非視頻監(jiān)控領(lǐng)域, 無法應(yīng)用于基于GB/T 28181標準的城市視頻監(jiān)控領(lǐng)域; 另外由于監(jiān)控網(wǎng)路環(huán)境和視頻編碼格式等特殊原因, 城市視頻監(jiān)控系統(tǒng)對視頻播放器具有更高的要求, 因此設(shè)計一款應(yīng)用于城市視頻監(jiān)控平臺的視頻播放器是十分必要的.

本文研究與設(shè)計了一款城市視頻監(jiān)控聯(lián)網(wǎng)平臺視頻播放器, 該播放器較其他播放器具有非常強烈的行業(yè)性, 其就是針對GB/T28181標準的視頻監(jiān)控, 在城市監(jiān)控領(lǐng)域中播放器的功能具有靈活性, 界面針對安防行業(yè)有較獨特的設(shè)計方案, 在這些方面上是其他普通播放器無法實現(xiàn)的. 該視頻播放器由兩部份組成: 一部分是基于VLC架構(gòu)的播放器核心SDK, 實現(xiàn)播放器核心功能, 該部分作為播放器插件開發(fā)的基礎(chǔ)SDK庫, 具有可移植的特性; 另一部分是使用C# ActiveX技術(shù)開發(fā)的播放器插件, 該插件調(diào)用播放器核心SDK, 實現(xiàn)媒體播放器的功能擴展以及流媒體的播放功能.

2 視頻監(jiān)控播放器設(shè)計原理

城市視頻監(jiān)控平臺是攝像機、網(wǎng)絡(luò)通信、多媒體技術(shù)結(jié)合起來的一套系統(tǒng)[5], 它促進了城市安防事業(yè)的發(fā)展, 城市監(jiān)控聯(lián)網(wǎng)平臺系統(tǒng)適用于全國范圍內(nèi)的監(jiān)控視頻數(shù)據(jù)互聯(lián). 如圖1所示, 是城市監(jiān)控聯(lián)網(wǎng)平臺系統(tǒng)的流媒體子系統(tǒng)基本架構(gòu)圖.

圖1 城市監(jiān)控聯(lián)網(wǎng)平臺流媒體子系統(tǒng)基本架構(gòu)圖

圖1 中, 城市監(jiān)控聯(lián)網(wǎng)平臺流媒體系統(tǒng)是由視頻源、城市視頻監(jiān)控平臺、視頻播放客戶端三個單元組成的, 視頻源可以是前端攝像機或其他監(jiān)控平臺采集到的視頻數(shù)據(jù), 其功能是向流媒體服務(wù)器發(fā)送視頻數(shù)據(jù); 城市視頻監(jiān)控平臺包含有SIP消息服務(wù)器、流媒體服務(wù)器等服務(wù)器組, SIP消息服務(wù)器負責統(tǒng)一調(diào)度控制系統(tǒng)的各組成單元, 流媒體服務(wù)器是流媒體系統(tǒng)的核心部分, 它由一個SIP代理軟件單元以及多個媒體分發(fā)軟件單元構(gòu)成, 負責與SIP服務(wù)器進行信令交互、接收視頻源的數(shù)據(jù)以及向視頻播放器客戶端分發(fā)視頻流數(shù)據(jù); 視頻播放器客戶端是接收媒體服務(wù)器發(fā)送的視頻數(shù)據(jù)的終端設(shè)備.

本文主要研究、設(shè)計和實現(xiàn)城市監(jiān)控聯(lián)網(wǎng)平臺的視頻播放器, 其主要功能包括視音頻壓縮數(shù)據(jù)流接收緩沖(包括本地視頻文件及網(wǎng)絡(luò)視頻流)功能、視音頻壓縮數(shù)據(jù)封裝格式解析功能、視音頻數(shù)據(jù)解碼功能以及視音頻數(shù)據(jù)渲染輸出. 本文設(shè)計視頻播放器時將播放器分為兩大模塊分別設(shè)計: 一個模塊是播放器核心SDK, 一個模塊是播放器ACTIVEX插件.

2.1 播放器核心SDK設(shè)計

對于城市監(jiān)控聯(lián)網(wǎng)中的媒體播放器, 肯定離不開視音頻數(shù)據(jù)接收、解復(fù)用、解碼、音頻和視頻輸出這四個主要模塊, 目前比較流行的視頻播放器架構(gòu)包括DirectShow[6]和VLC[7]等. DirectShow架構(gòu)是微軟公司提供的一套在windows平臺上進行流媒體處理的開發(fā)包, DirectShow使用Filter形成Graph形式, 可自由搭建想要的數(shù)據(jù)處理流程, 能夠?qū)崿F(xiàn)定制的播放器, 但是系統(tǒng)占用資源較多, 實時性能上要差一些; VLC架構(gòu)在結(jié)構(gòu)上更為緊湊, 不能夠自由組合想要的處理流程, 但是實時效率更高, 系統(tǒng)占用率上更低[8], 因本城市監(jiān)控聯(lián)網(wǎng)要求實時性能較高、系統(tǒng)占用率低, 故本文以VLC架構(gòu)為基本架構(gòu), 設(shè)計與開發(fā)出適合城市視頻監(jiān)控聯(lián)網(wǎng)的媒體播放器.

VLC是一個全模塊化結(jié)構(gòu), 擁有很多的模塊, 比如access、access_filter、access_output、audio_output、codec、control、demux、mux、packetizer、stream_output、video_filter、video_output、playlist等等, 在運行視頻播放過程中動態(tài)載入所需的模塊. 其實質(zhì)是一“播放器”, 負責處理ES、PES、PS、TS等流間的轉(zhuǎn)換、傳輸與顯示, 如城市監(jiān)控聯(lián)網(wǎng)中的實時播放采用UDP方式傳輸, 那么其處理過程為: PS->DEMUX->ES. 如圖2所示, 是一個視頻流從接收到渲染輸出的一個過程.

圖2 媒體流處理過程

圖中顯示視頻播放器處理媒體流的流程包括媒體流接收、媒體流解析、媒體流解碼、媒體流處理及輸出四個模塊, 從媒體流接收到播放過程中, 常涉及到四個線程來處理, 它們分別是解復(fù)用線程、解碼線程、視頻處理線程、音頻處理線程[9]. 其中媒體解析模塊使用解復(fù)用線程實現(xiàn)音頻和視頻的分離, 將壓縮包送入相應(yīng)的緩存區(qū), 等待解碼線程處理; 媒體流解碼模塊分別調(diào)用相應(yīng)的解碼器完成音頻和視頻的數(shù)據(jù)解碼, 將解碼的視音頻數(shù)據(jù)送入緩沖區(qū), 待視音頻處理線程使用; 媒體流處理模塊和輸出模塊通常作為一個整體, 在處理媒體流過程當中使用視頻處理線程和音頻處理線程實現(xiàn)視頻畫面的處理, 如亮度調(diào)節(jié)、對比度調(diào)節(jié)、字幕加載、音量調(diào)節(jié)等等, 最后使用輸出模塊渲染輸出到播放終端.

本文的視頻播放器是基于VLC基礎(chǔ)架構(gòu)進一步改進實現(xiàn)的, 且采用SIP協(xié)議作為視頻播放器網(wǎng)絡(luò)控制信令, 實現(xiàn)與城市監(jiān)控聯(lián)網(wǎng)平臺中心媒體服務(wù)器的交互, 通過SIP協(xié)議實現(xiàn)向中心媒體服務(wù)器請求網(wǎng)絡(luò)媒體流等多媒體業(yè)務(wù), 通過RTP協(xié)議實現(xiàn)將媒體服務(wù)器或前端視音頻采集設(shè)備的媒體數(shù)據(jù)封裝推送到視頻播放器客戶端. 本文對VLC內(nèi)部結(jié)構(gòu)進行了二次封裝改進, 并增加了對視頻處理及DXVA2視頻顯示等模塊, 使得設(shè)計出的視頻播放器更加能夠適應(yīng)視頻監(jiān)控聯(lián)網(wǎng)平臺系統(tǒng)的要求.

2.2 播放器ActiveX插件設(shè)計

播放器插件是在播放器核心SDK上搭建的UI界面容器, 此界面采用2種不同的顯示模式, 兩者之間可以切換, 以滿足不同用戶、不同業(yè)務(wù)的需求.

本文設(shè)計的視頻監(jiān)控播放器的基本功能包括實時點播、點播停止、云臺控制、歷史視頻回放、歷史視頻回放停止、本地文件播放、本地文件播放停止、播放控制、抓拍等. C# ActiveX是一個插件類應(yīng)用程序, 不能夠獨立運行, 需要嵌入到WEB頁面中, 本文將設(shè)計開發(fā)的播放器ActiveX插件嵌入到城市監(jiān)控聯(lián)網(wǎng)平臺WEB服務(wù)中. WEB頁面調(diào)用ActiveX控件中相應(yīng)功能的函數(shù)接口, 實現(xiàn)了播放器插件與WEB服務(wù)的實時交互: 當用戶請求實時播放一路視頻時, WEB頁面將界面上用戶輸入的對應(yīng)攝像機名稱、攝像機ID號、實時播放命令等內(nèi)容組成XML格式的字符串通過Javascript傳遞給ActiveX插件, 插件內(nèi)部響應(yīng)模塊接收到消息后解析識別該XML字符串命令, 做出相應(yīng)的控制操作響應(yīng), WEB服務(wù)與ActiveX播放插件完整的交互流程如圖3所示.

圖3 WEB與ActiveX交互流程

其中XML字符串格式如下所示:

"+""+set_i_url.value+"

"+"00

"

它是一種傳遞參數(shù)的方式, WEB服務(wù)將所需參數(shù)組成XML字符串, ActiveX控件再將該XML字符串解析出參數(shù), 識別命令參數(shù)并執(zhí)行相應(yīng)函數(shù).

3 視頻監(jiān)控播放器實現(xiàn)方法

3.1 播放器核心SDK實現(xiàn)

城市監(jiān)控聯(lián)網(wǎng)中視頻播放器的基本功能是基于VLC架構(gòu)完成的, 其基本功能具有實時點播、實時點播停止、云臺控制、歷史視頻回放、播放控制、抓拍等. 本文簡單介紹實時播放、云臺控制等常用功能.

云臺控制主要控制球機型攝像機的旋轉(zhuǎn)以調(diào)整攝像機的顯示范圍和焦點的遠近, 其具有上、下、左、右四個方向的調(diào)整以及遠距、近距2個焦點的調(diào)整控制. 停止云臺控制就是停止啟動觸發(fā)的行為.

本文以VLC的結(jié)構(gòu)為基礎(chǔ), 增加了對視頻處理及DXVA2視頻顯示模塊, 改進VLC的內(nèi)部結(jié)構(gòu), 封裝了播放器的基本功能; SIP信令模塊和經(jīng)過封裝的媒體播放模塊作為播放器核心SDK的兩個部分, 被播放器核心SDK 再次封裝, 這就是前面提到的二次封裝改進, 如圖4展示了播放器核心SDK的結(jié)構(gòu).

圖4 播放器核心SDK

從圖中可以看到, 播放器核心SDK外與播放器插件ActiveX有交互, 內(nèi)與SIP信令和被封裝的VLC基本結(jié)構(gòu)有交互, 通常播放器插件ActiveX有命令操作時, 首先傳遞給播放器核心SDK, SDK通知SIP信令發(fā)送SIP協(xié)議, 若發(fā)送失敗則不進行其他操作; 反之通知經(jīng)過封裝的媒體播放模塊實現(xiàn)核心SDK的請求指令, 完成播放器插件ActiveX要求的操作.

3.2 播放器ActiveX插件實現(xiàn)

本文利用C#的ActiveX技術(shù)實現(xiàn)播放器插件, ActiveX是C#工程中的用戶組件, 在用戶組件中添加播放窗口、播放控制狀態(tài)欄、右鍵菜單等內(nèi)容使得播放器內(nèi)容豐富、功能齊全. 如圖5所示是實現(xiàn)的不共享狀態(tài)欄的播放插件, 界面初始化具有4個播放窗口, 當鼠標移動到某一界面時, 就顯示當前窗口的狀態(tài)欄, 鼠標移出播放窗口狀態(tài)欄隱藏, 畫面鋪滿播放窗口; 當右擊鼠標時, 彈出對應(yīng)窗口的菜單, 該菜單具有播放控制功能、播放界面是否全屏顯示等操作.

圖5 不共享狀態(tài)欄播放器

圖6 共享狀態(tài)欄播放器

圖6是實現(xiàn)的共享狀態(tài)欄播放器, 在狀態(tài)欄上具有播放窗口個數(shù)以及排列方式的設(shè)置, 可在狀態(tài)欄右邊的按鈕里選擇布局方式, 狀態(tài)欄上其他按鈕實現(xiàn)了播放歷史視頻的播放控制功能, 比如暫停、繼續(xù)、前進、倒退、單幀等, 還可以顯示實時播放時攝像機的ID號、音視頻碼率、視頻幀率、網(wǎng)絡(luò)丟包率等信息, 這種直觀的方式能夠為用戶帶來工作上的輕松和方便.

4 視頻監(jiān)控播放器測試結(jié)果分析

本文基于VLC架構(gòu)進行封裝與改進, 研究設(shè)計了一款城市監(jiān)控聯(lián)網(wǎng)平臺視頻播放器, 實現(xiàn)了城市視頻監(jiān)控聯(lián)網(wǎng)平臺流媒體客戶端實時視頻播放等功能. 該視頻播放器可以實現(xiàn)多路監(jiān)控畫面顯示以及攝像頭云臺控制等功能, 讓用戶更方便的進行監(jiān)控操作.

有鑒于此，20世紀二三十年代，一些城市知識分子，人稱鄉(xiāng)村建設(shè)派，曾在河北定縣、山東鄒平等地嘗試鄉(xiāng)村改造，推行諸如識字掃盲等社會改良舉措，但在當時的歷史條件下，收效甚微。1936年，吳景超就直言：

圖7 播放器實時播放測試

如圖7是測試實時播放功能的一個界面展示, 點播任意一路攝像機, 將攝像機的視頻數(shù)據(jù)和音頻數(shù)據(jù)展示出來. 首先初始化播放器核心SDK, 然后進行實時播放操作, 將實時播放需要的參數(shù)組成XML字符串傳遞進ActiveX控件中, 其中一路視頻實時播放的XML字符串如下所示:

"

"+""+" 0";

ActiveX外部接口函數(shù)解析出該XML字符串的命令參數(shù)“RealplayStart”和其他命令參數(shù), 根據(jù)命令參數(shù)“RealplayStart”獲取當前攝像機的實時媒體流, 即把SDK句柄、播放窗口句柄、攝像機ID、本地接收端口號等命令參數(shù)傳遞給實時播放的函數(shù), 實時播放函數(shù)調(diào)用播放器核心SDK, 播放器核心SDK接收實時媒體流并通過解析、解碼等操作處理視頻流, 最終渲染輸出到視頻播放器終端.

圖8 播放器播放本地文件測試

圖8是共享狀態(tài)欄播放器測試本地播放功能的截圖. 本地播放功能是利用該播放器插件播放本地機上的視頻, 首先在WEB界面層組成本地播放請求的XML字符串, 傳遞到ActiveX插件, 該XML格式的字符串有SDK句柄、播放器窗口句柄、本地文件的完整路徑名、顯示比例等參數(shù), 具體如下所示:

"

"+""+set_i_url.value+"

"+"0"

當該XML字符串傳遞給ActiveX控件后, 解析出命令參數(shù)“PlayFileStart”和其他命令參數(shù), “PlayFileStart”的意思是執(zhí)行讀取本地文件操作, 所以將SDK句柄、播放窗口句柄、播放文件的路徑、顯示比例等參數(shù)傳遞給讀取本地文件的函數(shù), 執(zhí)行命令播放本地文件.

經(jīng)過實時點播和本地播放的功能測試, 視頻播放器在運行過程中畫面清晰流暢, 播放控制等功能完整, 界面易操作, 播放窗口的排列可以靈活組合, 播放窗口的大小可以自由控制, 這些非常人性化的界面以及操作滿足了安防監(jiān)控的需要, 以前的播放器具有大眾性、廣泛性, 在界面設(shè)計上有些死板、不具有多通道的播放界面以及針對性. 本文設(shè)計實現(xiàn)的播放器是具有很強的針對性, 是依據(jù)安防行業(yè)GB/T28181標準的播放器, 除了具有很強的實用性, 也有很好的擴展性, 因此本播放器具有較好的應(yīng)用前景.

1 張靜.視頻監(jiān)控系統(tǒng)平臺中媒體播放器的設(shè)計與實現(xiàn)[碩士學(xué)位論文].哈爾濱:哈爾濱工程大學(xué),2011.

2 Dimassa VD, MatSSa VI. A hybrid architecture for intelligent video surveiliance. CIHSPS 2005-IEEE International Conference on Computational Intelligence forHomeland Security and Personal Safety. Orlando, USA. 2005.

3 劉磊磊.視頻監(jiān)控系統(tǒng)流媒體播放器設(shè)計與實現(xiàn)[碩士學(xué)位論文].杭州:浙江大學(xué),2013.

4 高海輝.智能移動視頻監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[碩士學(xué)位論文].北京:北京工業(yè)大學(xué),2010.

5 彭爽.智能監(jiān)控系統(tǒng)中跨平臺播放器的設(shè)計與實現(xiàn)[碩士學(xué)位論文].杭州:浙江大學(xué),2014.

6 趙德杰.基于DirectShow的視頻處理與網(wǎng)絡(luò)傳輸技術(shù)[碩士學(xué)位論文].南京:南京航空航天大學(xué),2006.

7 林璽磊.基于VLC的立體視頻評測系統(tǒng)的設(shè)計與實現(xiàn)[學(xué)位論文].北京:北京郵電大學(xué),2013.

8 Horton S. Open-source VLC media player hits the big time. PC World, 2009, 27 (10): 68.

9 王震,陳耀武.多媒體監(jiān)控系統(tǒng)中實時流媒體播放器的設(shè)計與實現(xiàn).計算機應(yīng)用與軟件,2007,24(10):112–114.

City Monitoring Networking Platform Video Player

CHEN Shu-Lan, WANG Jian-Yong, MENG Qing-Qing, DONG Chao, LIU Yu-Mei

(Department of Information Technology, First Research Institute of Ministry of Public Security of PRC, Beijing 100048, China) (National Engineering Laboratory of Intelligent Analysis of Video Image Information and Sharing Application Technology, Beijing 100048, China)

The video player of the city monitoring networking platform is researched, and a new multi-function video player is presented through analyzing the advantages and disadvantages of the existing video players. This player is a mode of Internet-based B/S video player which bases on VLC architecture, and is achieved by combining C# ActiveX control technology with streaming media technology. The practice proves that this video player greatly improves the efficiency of security, and reduces the waste of manpower, with better use value and application prospects.

city monitoring networking; video player; VLC structure; player core SDK; player ActiveX

2016-07-05;

2016-09-08

[10.15888/j.cnki.csa.005670]