陳 康

(湖北工業(yè)大學 理學院，湖北 武漢430068)

移動端智能視頻監(jiān)控系統(tǒng)的設計與實現(xiàn)

陳 康

(湖北工業(yè)大學 理學院，湖北 武漢430068)

將傳統(tǒng)的視頻監(jiān)控與移動設備相結(jié)合，強化監(jiān)控和報警的主動性、實時性，是未來監(jiān)控系統(tǒng)的主要發(fā)展方向.基于Android平臺，文章討論了視頻采集、視頻編碼、視頻傳輸、目標識別、實時報警等功能模塊的實現(xiàn).其中，重點研究了在無線網(wǎng)絡環(huán)境下的流量擁塞問題，提出了一種改進的平穩(wěn)自適應算法，以提高移動端視頻數(shù)據(jù)傳輸?shù)耐暾院蜁r效性.最后給出了移動端智能視頻監(jiān)控系統(tǒng)的應用場景，并驗證了系統(tǒng)的實用性.

智能視頻監(jiān)控；Android平臺；擁塞控制；平穩(wěn)自適應算法

0 引 言

隨著我國經(jīng)濟水平的不斷提高，人們在追求生活質(zhì)量的同時，越來越注重人身和財產(chǎn)安全問題，這為視頻監(jiān)控系統(tǒng)的應用和推廣提供了潛在的巨大需求.傳統(tǒng)的視頻監(jiān)控系統(tǒng)主要基于有線寬帶、服務器、個人電腦為用戶提供監(jiān)控服務，因此具有“運行維護成本高、被動監(jiān)控”的缺點.首先，傳統(tǒng)視頻監(jiān)控采用了有線網(wǎng)絡進行視頻數(shù)據(jù)的傳輸，這就使得監(jiān)控具有了地域局限性，而且用戶查看監(jiān)控視頻需要借助于已連接網(wǎng)絡的個人電腦，這樣極不方便；其次，傳統(tǒng)視頻監(jiān)控大多是對現(xiàn)場進行錄像，在異常出現(xiàn)后，由用戶調(diào)取某個時間段內(nèi)的視頻進行回放觀看，對于一些重要場所的監(jiān)控，雖然安排相關(guān)人員實時觀察，但這難免會出現(xiàn)疏漏.因此，傳統(tǒng)的視頻監(jiān)控系統(tǒng)具有“被動監(jiān)控”的特點.

隨著移動設備的普及與應用，尤其是無線通信技術(shù)的進步，為以個人電腦為客戶端的視頻監(jiān)控向基于移動端的視頻監(jiān)控轉(zhuǎn)變提供了技術(shù)支撐.此外，針對傳統(tǒng)的視頻監(jiān)控的“被動性”特點，實現(xiàn)監(jiān)控畫面異常的自動捕捉和實時報警，也是未來視頻監(jiān)控系統(tǒng)的發(fā)展方向[1].當前，應用最為廣泛的移動端操作系統(tǒng)為Android系統(tǒng)，該操作系統(tǒng)具有開放性特點，使得企業(yè)或個人可以根據(jù)實際需求，基于該操作系統(tǒng)定制個性化的應用.目前，大部分主流的手機生產(chǎn)廠商，如三星、華為，都采用了該操作系統(tǒng).在無線通信技術(shù)方面，比3G傳輸速率更快的4G網(wǎng)絡已廣泛覆蓋，這為移動視頻監(jiān)控的數(shù)據(jù)傳輸提供了技術(shù)保障.綜上所述，本文討論的移動視頻監(jiān)控系統(tǒng)不僅順應視頻監(jiān)控的發(fā)展方向，具有很強的實用性，而且在實現(xiàn)層面上具有技術(shù)可行性.

1 國內(nèi)外研究現(xiàn)狀

在國外，由歐美等發(fā)達國家掌握著智能視頻監(jiān)控的核心技術(shù)，同時，在政府及軍隊的支持下，智能視頻監(jiān)控產(chǎn)品已從實驗室走向社會或軍隊應用，且已實現(xiàn)批量規(guī)模化生產(chǎn)[2].早期的VSAM視頻監(jiān)控管理系統(tǒng)是由卡內(nèi)基梅隆大學和麻省理工學院聯(lián)合研發(fā)，該系統(tǒng)具有視頻監(jiān)控和智能分析理解的能力，可以應用于未來城市，以及比較危險的場所，如戰(zhàn)場[3].由Maryland大學主導研發(fā)的W4實時視覺監(jiān)控系統(tǒng)，不僅實現(xiàn)了基本的視頻監(jiān)控，而且具備人體輪廓識別能力，并可以同步跟蹤多個目標以及與監(jiān)控目標進行交互[4].目前，美國的Object Video公司的智能視頻監(jiān)控解決方案被廣泛應用于各個行業(yè)，在視頻監(jiān)控市場上占有率最高[5].

在國內(nèi)，智能視頻監(jiān)控的研究起步相對較晚，盡管如此，在國家各級政府及科研機構(gòu)的重視下，我國智能視頻監(jiān)控的研究成績斐然.最具代表性的是以中科院模式識別國家重點實驗室為主導的智能視頻監(jiān)控研究小組，針對監(jiān)控應用最為廣泛的交通場所，深入研究了視覺監(jiān)控和人體行為識別技術(shù)[6].此外，我國地方科研所和部分高校定期舉行智能視頻監(jiān)控研究學術(shù)會議，廣泛深入探討視頻監(jiān)控的發(fā)展方向，致力于我國智能視頻監(jiān)控理論及技術(shù)創(chuàng)新和成果轉(zhuǎn)化[7].

移動設備的普及和應用以及Android平臺的流行，為移動端智能視頻監(jiān)控系統(tǒng)的研發(fā)提供了條件支撐.在國內(nèi)，致力于視頻監(jiān)控產(chǎn)品研發(fā)的?？低暯?jīng)過多年的發(fā)展，其移動端監(jiān)控解決方案在市場上占有了一席之地.此外，深圳華科安和也推出了自主研發(fā)的智能視頻監(jiān)控產(chǎn)品及解決方案[8].可以預見的是，隨著我國智能視頻監(jiān)控理論及技術(shù)的進步，越來越多的廠商將角逐于智能視頻監(jiān)控市場.

2 相關(guān)技術(shù)介紹

2.1 Android平臺

Android系統(tǒng)是當前最為流行的移動設備操作系統(tǒng)，該系統(tǒng)采用了四層結(jié)構(gòu)，分別是應用程序?qū)?、框架層、中間件層、Linux內(nèi)核層[9].應用程序?qū)用嫦蛴脩籼峁梅?，所有應用程序由Java編寫.框架層主要面向移動應用開發(fā)者提供應用程序重用機制，通過允許開發(fā)者直接訪問API框架，從而簡化組件或構(gòu)造重用模塊.中間件層分為程序庫和運行庫兩部分，程序庫包括C或C++編寫的集庫，通過框架層為開發(fā)者提供服務；運行庫為Java編程語言提供支撐，包括了該編程語言所需要核心庫的大部分功能.Linux內(nèi)核層為Android平臺的核心服務提供支撐，同時該層也作為硬件的抽象層.

2.2 H.264編解碼技術(shù)

H.264是基于MPEG-4技術(shù)基礎之上發(fā)展起來的一種新的數(shù)字視頻編解碼技術(shù)，與同類視頻壓縮技術(shù)相比，在相同的網(wǎng)絡條件，它能提供更優(yōu)質(zhì)的視頻圖像畫面[10].該視頻壓縮技術(shù)主要優(yōu)點有：首先，網(wǎng)絡適應性強，通過該技術(shù)壓縮的視頻文件能夠在不同類型的網(wǎng)絡上傳輸；其次，容錯能力強，對于在網(wǎng)絡傳輸過程中產(chǎn)生的丟包現(xiàn)象，它提供了必要的容錯機制；再次，數(shù)據(jù)壓縮比例高，對于同等質(zhì)量的視頻圖像，利用H.264壓縮后所占用的存儲空間是采用MPEG系列技術(shù)壓縮所占用空間的二分之一，甚至更少[11].

2.3 流媒體傳輸協(xié)議

流媒體傳輸協(xié)議主要包括RTP和RTCP.RTP是針對互聯(lián)網(wǎng)的流媒體傳輸協(xié)議，其傳輸方式包括一對一和一對多.RTP協(xié)議并不能確保視頻數(shù)據(jù)包傳輸?shù)捻樞蛐院涂煽啃?，也不能為傳輸擁塞控制提供相應的機制，其目的是向接收端提供時間信息和實現(xiàn)數(shù)據(jù)流同步.而流量控制、擁塞控制以及傳輸質(zhì)量控制均由RTCP協(xié)議完成[12].

3 系統(tǒng)需求分析

基于移動端的智能視頻監(jiān)控是傳統(tǒng)監(jiān)控在移動通信領(lǐng)域的延伸，是無線通信技術(shù)、視頻傳輸及控制技術(shù)、移動終端技術(shù)等綜合應用的產(chǎn)物.本文討論的移動端智能視頻監(jiān)控系統(tǒng)，除了具備傳統(tǒng)監(jiān)控的視頻采集、編碼之外，還包括基于無線網(wǎng)絡的視頻傳輸、實時報警功能.在分析具體功能之前，首先探討移動端智能視頻監(jiān)控系統(tǒng)的業(yè)務流程，如圖1所示.

通過攝像頭采集到現(xiàn)場視頻后，在進行編碼的同時，對視頻內(nèi)容進行智能分析，以判斷監(jiān)控現(xiàn)場是否出現(xiàn)異常情況.如果監(jiān)控現(xiàn)場出現(xiàn)異常，則發(fā)出報警信號，服務器在偵測到報警信號后，向移動端發(fā)送報警短信，移動端在接收到報警短信后，提醒用戶通過移動終端觀看現(xiàn)場視頻.采集視頻首先要經(jīng)過H.264編碼，然后通過RTP協(xié)議進行數(shù)據(jù)包封裝和發(fā)送，移動端接收到數(shù)據(jù)后，對數(shù)據(jù)包進行解析，然后完成視頻的解碼.

基于移動端的智能視頻監(jiān)控系統(tǒng)，與傳統(tǒng)的視頻監(jiān)控相比，其特性主要表現(xiàn)在視頻接收的終端為移動設備，同時，系統(tǒng)具有視頻內(nèi)容智能分析的功能.本文討論的移動端智能視頻監(jiān)控系統(tǒng)主要包括視頻采集、視頻編碼、視頻傳輸、目標識別、實時報警等功能模塊.

4 功能設計和實現(xiàn)

4.1 視頻采集

視頻采集是通過監(jiān)控現(xiàn)場攝像頭完成，在攝像頭捕捉現(xiàn)場圖像之前，服務器端要完成一系列的初始化操作.首先要獲取音頻、視頻等多媒體捕捉設備及其所在位置的信息；然后創(chuàng)建一個服務器端程序?qū)ο?，由該對象實現(xiàn)現(xiàn)場視頻的采集.該功能的實現(xiàn)采用了JMF(Java Media Framework，Java多媒體框架)技術(shù)框架，實現(xiàn)流程如圖2所示.結(jié)合程序流程，可以給出視頻采集功能實現(xiàn)的關(guān)鍵代碼.

//提取所有視頻采集設備列表

allVideoCaptureDvice = CaptureDev iceManager.getDeviceList(null);

//從視頻采集設備列表中提取一個采集設備，并實例化為一個采集對象

aVideoCaptureDvice = allVideoCaptureDvice.elementAt(j);

//通過視頻采集設備定位器取得原始視頻數(shù)據(jù)

originalVideoData =Manager.createDataSource(locator);

//創(chuàng)建原始視頻數(shù)據(jù)處理對象HandleObject

HandleObject = Manager.createProcessor();

//獲取視頻數(shù)據(jù)處理通道

TrackControl[] ProcessingChannel=HandleObject.getTrackControls();

圖2 視頻采集程序流程圖

4.2 視頻編碼

通過視頻采集設備獲取的原始視頻由于占用存儲空間較大，不適合直接向其他設備傳輸，尤其是當接收端為移動設備時，更受制于無線網(wǎng)絡帶寬，因此，對原始數(shù)據(jù)進行編碼壓縮非常必要.視頻數(shù)據(jù)壓縮的前提是至少要符合兩個相關(guān)性：一是時間相關(guān)性，即時間相鄰的兩幀之間，只存在極少的不同之處；二是空間相關(guān)性，即在同一幀內(nèi)，相鄰像素距離極小.在確保這兩個相關(guān)性滿足的前提下，便可以采取適當?shù)木幋a方法對原始視頻進行壓縮.本文采用了主流的H.264視頻編碼技術(shù)，通過該方式完成對采集視頻的編碼，該編碼原理如圖3所示.

4.3 視頻傳輸

視頻傳輸是移動端與服務器端進行通信的過程，這種通信基于TCP/IP協(xié)議進行，為了實現(xiàn)雙方通信，必須具備兩個條件.首先，在視頻傳輸之前，要獲取服務器的IP地址和端口號，然后才能創(chuàng)建Socket通信通道；其次，前端攝像頭采集的視頻為YUV格式，這種格式視頻體積大，不利于網(wǎng)絡的傳輸，因此，需要對采集的視頻進行RTP封裝.本文采用了JMF技術(shù)傳輸RTP數(shù)據(jù)，此時將用到會話處理器，其實現(xiàn)步驟為：

1)創(chuàng)建RTP管理器，并對其進行實例化方法操作.

2)實現(xiàn)一個RTPConnector的類，包括5個參數(shù)，分別是：發(fā)送端的端口號、發(fā)送端的RTCP端口號、接收端的IP地址、接收端的端口號、接收端的RTCP端口號.

3)采用實例化的視頻傳輸方法，將數(shù)據(jù)源作為輸入數(shù)據(jù)，得出格式為RTP的數(shù)據(jù)流.

4)調(diào)用Start()方法，啟動視頻傳輸線程，完成視頻數(shù)據(jù)傳輸.

4.4 目標識別

目標識別是智能監(jiān)控的前提和核心，只有識別出目標監(jiān)控區(qū)域內(nèi)的運動物體，才能在此基礎上進一步判斷目標物體的行為特征及軌跡.本文采用了幀差法對目標監(jiān)控區(qū)域的畫面進行檢測.該算法的核心思想是將相鄰兩幀的畫面像素進行比較差分，并通過設置的閥值區(qū)分監(jiān)控畫面中的像素變化區(qū)域.算法的具體流程為：首先，將前一幀畫面作為背景圖像，然后將其像素與當前畫面像素進行差分，得出差分值；然后，比較差分值與閥值，如果差分值小于閥值，則將當前畫面設置為背景圖像，并以此進行下一輪差分；如果差分值大于閥值，則表示當前畫面出現(xiàn)了運動目標，并標記區(qū)域內(nèi)的變化像素，通過這種標記，便可以準確地識別出畫面中的運動目標的位置.上述算法實現(xiàn)流程如圖4所示.

4.5 實時報警

實時報警是監(jiān)控系統(tǒng)在檢測到目標區(qū)域內(nèi)有運動物體之后所做出的反應，主要是借助于短信平臺向移動客戶端發(fā)送短信.為了確保移動端用戶能在第一時間查看監(jiān)控畫面，必須實現(xiàn)報警短信的實時接收，當發(fā)現(xiàn)移動端有短信通知，目標系統(tǒng)能同步做出響應，如發(fā)出用戶指定的報警聲提醒用戶觀看現(xiàn)場監(jiān)控視頻.功能實現(xiàn)的程序如圖5所示.

5 關(guān)鍵技術(shù)問題

基于移動端的視頻監(jiān)控涉及視頻數(shù)據(jù)的傳輸，與其他數(shù)據(jù)傳輸不同，受視頻數(shù)據(jù)體積大、無線網(wǎng)絡寬帶受限等諸多因素影響，移動端視頻監(jiān)控系統(tǒng)要解決視頻傳輸過程中的網(wǎng)絡擁塞問題.當前，針對網(wǎng)絡擁塞控制的解決方法主要有兩類，分別是速率自適應算法(RAP)和平穩(wěn)自適應算法.

速率自適應算法是基于端到端的數(shù)據(jù)傳輸控制機制，該方法的思想是在發(fā)送端傳輸數(shù)據(jù)時，發(fā)送一個帶有序列號的數(shù)據(jù)分組，接收端在接收到該組數(shù)據(jù)后，針對該序列號數(shù)據(jù)分組，并反饋一個應答數(shù)據(jù)；發(fā)送端根據(jù)反饋數(shù)據(jù)，對發(fā)送數(shù)據(jù)的速率做出及時調(diào)整.該算法公式如下：

(1)

在式(1)中，D(t)和D(t+1)，表示t時刻和t+1時刻的發(fā)送速率，β表示增長常量，Wls表示數(shù)據(jù)在傳輸過程的丟包率，Tls表示數(shù)據(jù)包丟失率門限，α為乘減少因子.該算法的實現(xiàn)相對簡單，由于β是常量，所以，針對無線網(wǎng)絡穩(wěn)定狀態(tài)的定義相對主觀，即，對傳輸速率的調(diào)整缺乏更精準的量化標準.

平穩(wěn)自適應算法是以RAP為基礎，針對其進行了改進，該公式如下：

(2)

在式(2)中，將φ設置為變量，當φ越來越靠近上一次的擁塞點時，該變量的值會越來越小，其函數(shù)公式為：

(3)

雖然該算法比RAP算法復雜，但能針對無線網(wǎng)絡的特點，有效提高媒體流數(shù)據(jù)傳輸?shù)钠椒€(wěn)特性，能在一定程度上提高減少流媒體數(shù)據(jù)傳輸過程中產(chǎn)生的抖動.因此，目標系統(tǒng)采用了改進的平穩(wěn)自適應算法解決網(wǎng)絡擁塞的問題.

6 實現(xiàn)效果

基于移動端的智能視頻監(jiān)控系統(tǒng)在視頻采集端采用了攝像頭完成視頻畫面的捕捉，將攝像頭采集的數(shù)據(jù)上傳到服務器，經(jīng)服務器轉(zhuǎn)發(fā)至移動端用戶.圖6為視頻采集端的效果圖.

圖6 視頻監(jiān)控畫面

圖7 移動客戶端實時查看監(jiān)控畫面

圖8 報警短信列表界面

通過移動客戶端查看現(xiàn)場監(jiān)控畫面是系統(tǒng)開發(fā)的核心目標，圖7所示為移動端用戶查看現(xiàn)場視頻的界面.打開此頁面，默認狀態(tài)為視頻實時查看，用戶可以通過操作該界面下方展示的相應按鈕，實現(xiàn)視頻回放、快進、倒退、最大化、最小化等功能.

當監(jiān)控現(xiàn)場出現(xiàn)可疑運動目標時，服務器會調(diào)用短信平臺的接口向移動端用戶發(fā)送短信，并將已經(jīng)發(fā)送的短信以列表的方式展示給用戶，如圖8所示.

7 總結(jié)

在移動設備已經(jīng)普及應用的背景下，實現(xiàn)傳統(tǒng)視頻監(jiān)控系統(tǒng)向基于移動端應用轉(zhuǎn)變已成為必然趨勢.本文討論了基于Android平臺的智能視頻監(jiān)控系統(tǒng)的設計和實現(xiàn)方案，給出了視頻采集、視頻編碼、視頻傳輸、目標識別、實時報警等功能模塊的實現(xiàn)過程.其中，視頻采集功能采用了JMF技術(shù)框架，本文給出該功能實現(xiàn)的流程和關(guān)鍵代碼；視頻編碼采用了當前主流的H.264編碼方式；在視頻傳輸模塊方面，介紹了采用會話處理器、基于JMF技術(shù)傳輸RTP數(shù)據(jù)的實現(xiàn)過程；目標識別功能的實現(xiàn)采用了幀差法，通過對相鄰兩幀畫面像素進行差分比較并進行標記，從而識別出可疑運動目標；實時報警模塊主要討論了報警短信攔截以及報警提示功能的實現(xiàn).針對視頻傳輸過程中可能產(chǎn)生的網(wǎng)絡擁塞，本文采用了一種改進的平穩(wěn)自適應算法，該算法有效提高了視頻數(shù)據(jù)傳輸效率和穩(wěn)定性.

隨著無線網(wǎng)絡技術(shù)的進步，必將解決視頻數(shù)據(jù)傳輸速率的問題，同時，基于移動端的智能視頻監(jiān)控系統(tǒng)將更側(cè)重于智能的研發(fā)方向，例如，在檢測出監(jiān)控區(qū)域中出現(xiàn)可疑運動目標后，能通過相應算法提高識別的準確率.

[1]張偉.視頻監(jiān)控技術(shù)的發(fā)展歷程和方向[J].中國交通信息產(chǎn)業(yè)，2015，17(6):41-43.

[2]駱云志.視頻監(jiān)控技術(shù)發(fā)展綜述[J].兵工自動化，2014，12(1):60-62.

[3]吳瑞紅.美國城市視頻監(jiān)控系統(tǒng)概況[J].中國安防，2015，17(4):39-41.

[4]陳桂香.美國馬里蘭州海茲維爾市平安城市視頻監(jiān)控系統(tǒng)建設概況[J].中國安防，2015，23(9):80-83.

[5]殷曉博，張永福.美國舊金山機場智能視頻監(jiān)控系統(tǒng)解決方案[J].中國公共安全，2015，12(7):54-57.

[6]李子青.國內(nèi)智能視頻監(jiān)控技術(shù)的發(fā)展[J].智能建筑，2014，24(8):70-73.

[7]李杰.智能視頻監(jiān)控系統(tǒng)的研究和應用[D].北京:北京郵電大學，2015：15-18.

[8]余榮發(fā).基于Android的移動視頻監(jiān)控系統(tǒng)的設計與實現(xiàn)[D].廣州:華南理工大學，2014：7-9.

[9]林學森.深入理解Android內(nèi)核設計思想[M].北京:人民郵電出版社，2015：74-78.

[10]李東新，吳鎮(zhèn)揚.視頻編碼標準H.264的主要技術(shù)特點及其應用前景[J].微計算機應用，2014，15(7):90-92.

[11]麻曉園，酆勇.H.264視頻編碼標準及其在移動通信中的應用[J].現(xiàn)代電信科技，2015，26(7):50-54.

[12]胡君紅，彭新生.實時傳輸協(xié)議RTP的研究及其應用[J].計算機工程與應用，2015，19(4):77-80.

(責任編輯 鄧 穎)

Design and Realization of Intelligent Video Monitoring System of Mobile Terminal

Chen Kang

(School of Science, Hubei University of Technology, Wuhan, Hubei 430068)

The combination of traditional video surveillance and mobile devices,and the strengthening of the initiative,real-time monitoring and alarm are the main developmental orientation in the future monitoring system.Based on the Android platform,the paper discusses the implementation of the function modules which include the video collection,video coding,video transmission,target recognition and real-time alarm,etc.The focus of the paper is laid on the problem of traffic congestion in the wireless network environment by offering an improved smooth adaptive algorithm in order to improve the integrity and efficiency of the mobile terminal video data transmission.Finally,the paper puts forward the application scenarios of a mobile intelligent video surveillance system and verifies its practicability.

intelligent video monitoring;Android platform;congestion control;smooth adaptive algorithm

2016-10-07

陳 康(1990- )，男，浙江諸暨人，研究方向：計算機軟件及計算機應用.

10.16169/j.issn.1008-293x.k.2016.09.08

TP277.2

A

1008-293X(2016)09-0036-07