晉海軍，李明偉

(大連理工大學(xué) 信息與通信工程學(xué)院，遼寧 大連 116024)

基于Hi3518E的高清網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)

晉海軍，李明偉

(大連理工大學(xué) 信息與通信工程學(xué)院，遼寧 大連 116024)

摘要:采用了海思Hi3518E+OV9712方案，設(shè)計并實現(xiàn)了無線網(wǎng)絡(luò)高清實時監(jiān)控系統(tǒng)?；贐/S架構(gòu)，通過移植輕量級網(wǎng)絡(luò)服務(wù)器Boa，實現(xiàn)了客戶端Web訪問。為了達(dá)到實時監(jiān)控的目的，利用了流媒體技術(shù)，在服務(wù)器端移植了開源RTP庫oRTP，然后利用RTP協(xié)議把攝像頭采集并且經(jīng)過編碼壓縮的H.264碼流通過WiFi模塊傳輸?shù)骄W(wǎng)絡(luò)上，供客戶端實時接收。實驗證明，效果理想可靠，完全達(dá)到了實時高清監(jiān)控的要求，對于無線網(wǎng)絡(luò)監(jiān)控系統(tǒng)設(shè)計具有很大參考價值。

關(guān)鍵詞:Hi3518E；oRTP；Boa網(wǎng)絡(luò)服務(wù)器；高清視頻監(jiān)控；WiFi無線傳輸

隨著通信技術(shù)的發(fā)展，網(wǎng)絡(luò)傳輸速率的加快，使得通過網(wǎng)絡(luò)實時傳輸高清視頻成為可能。視頻監(jiān)控是一個不斷發(fā)展的課題，數(shù)字化、高清化、無線化成為發(fā)展趨勢。以往的通過同軸電纜傳輸模擬信號的監(jiān)控系統(tǒng)，不僅布線復(fù)雜，成本較高，而且維護(hù)麻煩[1]。由于計算機(jī)網(wǎng)絡(luò)的發(fā)展，通過網(wǎng)絡(luò)來傳輸數(shù)字信號不僅方便而且可靠，所以監(jiān)控系統(tǒng)的數(shù)字化成為必然趨勢。無線網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)是集計算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、數(shù)字圖像處理技術(shù)等于一體的數(shù)字化系統(tǒng)。目前在高清網(wǎng)絡(luò)視頻監(jiān)控領(lǐng)域，主要有安霸、TI、海思三種方案，本設(shè)計采用目前國內(nèi)應(yīng)用較多的海思方案，外接Ralink公司的RT3070WiFi模塊，實現(xiàn)了視頻圖像的高清采集，H.264視頻編碼壓縮，網(wǎng)絡(luò)的無線接入，客戶端的實時顯示。

1系統(tǒng)整體設(shè)計

系統(tǒng)采用B/S架構(gòu)，這種架構(gòu)比C/S架構(gòu)的優(yōu)勢在于客戶端不需要復(fù)雜的上位機(jī)軟件，只要通過Web瀏覽器就能顯示服務(wù)器端攝像頭采集的視頻圖像，便于在各種操作系統(tǒng)平臺的實現(xiàn)。本設(shè)計通過在服務(wù)器端移植嵌入式Boa網(wǎng)絡(luò)服務(wù)器，RTP流媒體服務(wù)器，客戶端只要通過IE瀏覽器輸入服務(wù)器端的IP地址，就能對攝像頭采集的視頻圖像進(jìn)行實時播放。

1.1系統(tǒng)結(jié)構(gòu)圖

系統(tǒng)整體結(jié)構(gòu)主要由OV9712傳感器模組，Hi3518E視頻采集編碼模塊，流媒體服務(wù)器，HTTPWeb服務(wù)器，RT3070WiFi無線模塊，客戶端IE瀏覽器組成。流媒體服務(wù)器主要負(fù)責(zé)將視頻編碼生成的H.264碼流通過RTP協(xié)議打包發(fā)送給RT3070WiFi無線模塊進(jìn)而發(fā)送到網(wǎng)絡(luò)上，HTTPWeb服務(wù)器主要負(fù)責(zé)響應(yīng)客戶端的HTTP請求。系統(tǒng)啟動以后，流媒體服務(wù)器，HTTPWeb服務(wù)器都作為后臺進(jìn)程同時啟動，等待客戶端的請求和響應(yīng)消息的接收。Hi3518E芯片內(nèi)置ARM926內(nèi)核、64MDDR2、圖像采集編碼模塊，支持720p/25f/s(幀/秒)實時編碼，整個系統(tǒng)外圍電路非常簡單。系統(tǒng)整體框圖如圖1所示。

圖1　系統(tǒng)總體結(jié)構(gòu)

1.2系統(tǒng)工作流程

1.2.1圖像采集編碼流程

Hi3518E芯片內(nèi)部集成了視頻采集壓縮編碼硬件模塊，大大提升了處理器的處理能力，在開發(fā)過程中只要調(diào)用相應(yīng)的接口就能完成對各個功能模塊的控制，極大地提高了開發(fā)效率。圖像傳送基本流程如圖2所示，OV9712采用低照度CMOS傳感器，這類傳感器芯片集成度很高，將信號放大器、A/D轉(zhuǎn)換電路等集成到一塊芯片上，因此能夠直接與Hi3518E的VI(視頻輸入)模塊對接，外圍電路簡單。VI模塊負(fù)責(zé)視頻圖像的捕獲，并將捕獲到的圖像輸出給VPSS模塊，過程當(dāng)中可以對捕獲到的圖像進(jìn)行一些基本處理，如剪切、縮放、鏡像等。VPSS(視頻前處理單元)模塊負(fù)責(zé)對VI傳送的視頻圖像數(shù)據(jù)進(jìn)行處理，如去噪、增強(qiáng)、銳化等，把VI捕獲的視頻圖像進(jìn)行優(yōu)化然后傳送到VENC(視頻編碼)模塊。VPSS需要通過調(diào)用系統(tǒng)控制模塊的綁定接口，與VI、VENC模塊進(jìn)行綁定。VENC模塊將VPSS處理后的優(yōu)化圖像根據(jù)不同的協(xié)議進(jìn)行編碼壓縮，輸出相應(yīng)碼流。Hi3518E支持兩種視頻編碼壓縮格式H.264和MJPEG，由于同等條件下，H.264壓縮編碼格式能實現(xiàn)更低的碼率[2]，所以本系統(tǒng)采用H.264壓縮編碼格式。

圖2Hi3518E視頻采集編碼流程圖

1.2.2圖像傳輸過程

如圖3所示[3]，H.264碼流將會經(jīng)過RTP協(xié)議打包，然后通過UDP與IP協(xié)議傳送到網(wǎng)絡(luò)上，接收端在接收到數(shù)據(jù)后會經(jīng)過相反的過程，對接收到的數(shù)據(jù)進(jìn)行解碼顯示。在數(shù)據(jù)傳輸前，應(yīng)當(dāng)先創(chuàng)建一個會話和套接字并初始化，然后加載遠(yuǎn)程地址，使服務(wù)器端和客戶端建立起正確的連接。

圖3　圖像傳輸過程

1.3系統(tǒng)軟件設(shè)計

系統(tǒng)的軟件組成包括系統(tǒng)引導(dǎo)程序U-boot、linux-3.0.8內(nèi)核、Squashfs只讀文件系統(tǒng)、媒體軟件處理平臺、設(shè)備驅(qū)動程序、應(yīng)用程序。媒體軟件處理平臺為上層應(yīng)用程序屏蔽了底層的細(xì)節(jié)，用戶只需要調(diào)用API接口就能完成相應(yīng)功能的開發(fā)。應(yīng)用程序包括Web服務(wù)器程序、RTP協(xié)議、圖像采集編碼程序。整體結(jié)構(gòu)如圖4所示。

圖4　系統(tǒng)軟件結(jié)構(gòu)圖

2網(wǎng)絡(luò)協(xié)議結(jié)構(gòu)

1)物理層和鏈路層：物理層規(guī)范了傳輸介質(zhì)的特性標(biāo)準(zhǔn)，鏈路層定義了在單個鏈路上如何傳輸數(shù)據(jù)。

2)網(wǎng)絡(luò)層：網(wǎng)絡(luò)層使用了網(wǎng)絡(luò)協(xié)議IP。TCP/IP協(xié)議定義了一個在因特網(wǎng)上傳輸?shù)臄?shù)據(jù)包，稱為IP數(shù)據(jù)報。通過一些路由算法，IP數(shù)據(jù)報都被作為獨(dú)立的報文從發(fā)送端傳送到了接收端。由于各個數(shù)據(jù)報傳輸?shù)穆窂讲煌?，有利于提高網(wǎng)絡(luò)的安全性和堅固性。

3)傳輸層：傳輸層位于網(wǎng)絡(luò)層之上，主要功能是為上層提供可靠的/不可靠的邏輯通信信道。包括兩個協(xié)議，用戶數(shù)據(jù)報協(xié)議(UDP)和傳輸控制協(xié)議(TCP)[4]。TCP引入了基于重發(fā)和超時的錯誤控制機(jī)制，提供了面向連接的、可靠的字節(jié)流服務(wù)。由于不確定的延時，使得TCP不適合于數(shù)據(jù)的實時傳輸。與TCP相反，UDP提供了簡單的、不可靠的數(shù)據(jù)報傳輸服務(wù)。UDP是一個非連接的協(xié)議，數(shù)據(jù)傳輸之前，發(fā)送端與接收端不需要建立連接，傳輸數(shù)據(jù)的速率僅與應(yīng)用層數(shù)據(jù)的生成速率、計算機(jī)的性能和網(wǎng)絡(luò)帶寬有關(guān)[5]。

4)應(yīng)用層：應(yīng)用層協(xié)議定義了運(yùn)行在不同端系統(tǒng)上的應(yīng)用程序進(jìn)程如何相互傳遞報文。應(yīng)用層的協(xié)議比較多，本設(shè)計僅涉及HTTP協(xié)議與RTP協(xié)議。HTTP是一種請求/響應(yīng)式的協(xié)議。自20世紀(jì)90年代起，就已經(jīng)被廣泛應(yīng)用于WWW全球信息服務(wù)系統(tǒng)。當(dāng)客戶機(jī)與服務(wù)器建立連接后，客戶機(jī)發(fā)送一個請求給服務(wù)器，服務(wù)器接到請求后，給予相應(yīng)的響應(yīng)信息。RTP是由IETF(TheInternetEngineeringTaskForce)于1996年推出的一個標(biāo)準(zhǔn)。RTP(Real-timeTransportProtocol)標(biāo)準(zhǔn)定義了兩個子協(xié)議，RTP和RTCP。RTP數(shù)據(jù)傳輸協(xié)議是用于對Internet上多媒體數(shù)據(jù)流進(jìn)行實時傳輸?shù)囊环N傳輸協(xié)議，是一種提供點(diǎn)對點(diǎn)或點(diǎn)對多點(diǎn)的實時傳輸協(xié)議[6]，通常在UDP上運(yùn)行RTP以便使用其多路結(jié)點(diǎn)和校驗服務(wù)。RTP包含了傳輸媒體的類型、格式、序列號、時間戳以及是否有附加數(shù)據(jù)等信息，為流媒體實時傳輸提供了基礎(chǔ)[6]。RTP控制協(xié)議RTCP，用于服務(wù)質(zhì)量的監(jiān)視與反饋，媒體之間的同步等，在RTP會話期間，各個會話參與者周期性地發(fā)送RTCP包[7]。各協(xié)議層次結(jié)構(gòu)如圖5所示。

圖5　網(wǎng)絡(luò)協(xié)議層次圖

3系統(tǒng)實現(xiàn)

3.1圖像采集編碼程序

step1：初始化系統(tǒng)變量。

memset(&stVbConf，0，sizeof(VB_CONF_S))；

其中，stVbConf為緩存池結(jié)構(gòu)體。

step2：初始化軟件處理平臺。

s32Ret=SAMPLE_COMM_SYS_Init(&stVbConf)；

step3：開啟VI模塊和通道捕獲圖像。

s32Ret=SAMPLE_COMM_VI_StartVi(&stViConfig)；

step4：開啟VPSS模塊，并和VI模塊綁定。

s32Ret=SAMPLE_COMM_VPSS_EnableChn(VpssGrp，VpssChn， &stVpssChnAttr，HI_NULL，HI_NULL)；

step5：開啟VENC模塊并和VPSS模塊綁定。

s32Ret=SAMPLE_COMM_VENC_Start(VencGrp，VencChn，enPayLoad，gs_enNorm，enSize，enRcMode)；

s32Ret=SAMPLE_COMM_VENC_BindVpss(VencGrp，VpssGrp，VpssChn)；

step6：VENC編碼，輸出H.264碼流，并通過RTP協(xié)議傳輸。

s32Ret=SAMPLE_COMM_VENC_StartGetStream(s32ChnNum)；

step7：退出。

SAMPLE_COMM_VENC_StopGetStream()；

3.2圖像傳輸程序

本系統(tǒng)中RTP協(xié)議通過移植oRTP來實現(xiàn)，首先進(jìn)行RTP協(xié)議初始化，建立會話和套接字，得到遠(yuǎn)程地址。

RtpSession*rtpInit(char*ipStr，intport)；

{

ortp_init()；ortp初始化

session=rtp_session_new(RTP_SESSION_SENDONLY)；創(chuàng)建會話。

rtp_session_set_remote_addr(session，ipStr，port)；設(shè)置接收端地址和端口號。

rtp_session_set_payload_type(session，Y_PLOAD_TYPE)；設(shè)置載荷類型，此處Y_PLOAD_TYPE的值為96，代表載荷類型為H.264。

}

其中ipStr為遠(yuǎn)程地址字符串，port為UDP端口號。

初始化完成后發(fā)送RTP數(shù)據(jù)包：

intrtpSend(RtpSession*session，char*buffer，intlen)；

session為會話結(jié)構(gòu)體，buffer為數(shù)據(jù)緩存區(qū)，len為H.264碼流包的長度。

3.3網(wǎng)絡(luò)服務(wù)器實現(xiàn)

嵌入式Web服務(wù)器是指將Web服務(wù)器引入到嵌入式終端，使其具備了以TCP/IP為底層的通信協(xié)議[8]。嵌入式系統(tǒng)由于其自身的特點(diǎn)，各種資源比較有限，而且處理器處理能力受限，所以選擇既能滿足系統(tǒng)要求，又不占用太多資源的網(wǎng)絡(luò)服務(wù)器就非常重要。本系統(tǒng)選擇輕量級的網(wǎng)絡(luò)服務(wù)器Boa，安全高效，編譯生成的可執(zhí)行代碼只有60kbyte多[9]。在本系統(tǒng)中其工作流程如圖6所示[10]。

圖6　Boa網(wǎng)絡(luò)服務(wù)器工作流程圖

3.4HTML腳本與sdp文件的編寫

由于HTML語言的標(biāo)準(zhǔn)統(tǒng)一性，在嵌入式系統(tǒng)中只要存在一個Web服務(wù)器，在上位機(jī)就不需要復(fù)雜的軟件，通過Web瀏覽器就能實現(xiàn)對服務(wù)器端的監(jiān)測與控制[10]。本系統(tǒng)中，客戶端的IE瀏覽器實時播放流媒體的實現(xiàn)是通過在HTML腳本中內(nèi)嵌VLC解碼器插件實現(xiàn)的。腳本的播放源為VLC解碼器能識別的sdp文件。sdp是一種會話描述格式，用來傳輸流媒體信息。這兩種文件都可以用Windows自帶的記事本進(jìn)行編輯，保存文件名分別為index.html和cfg.sdp。

3.5RT3070無線網(wǎng)卡驅(qū)動移植

本系統(tǒng)中使用的無線模塊采用RalinkRT3070芯片方案，兼容IEEE802.11b/g/n三種標(biāo)準(zhǔn)，傳輸速率為150Mbit/s，對海思芯片提供了很好的支持。首先配置Linux內(nèi)核，使其支持無線網(wǎng)絡(luò)以及Ralink的驅(qū)動，然后修改RT3070驅(qū)動源碼中的Makefile文件，更改為海思的交叉編譯工具，選擇目標(biāo)為Linux，使用芯片為RT3070，平臺為5VT，修改config.mk文件以及rtmp_chip.c文件。最后將編譯生成的rt3070sta.ko驅(qū)動程序拷貝到文件系統(tǒng)/ko目錄下，將配置文件RT2870STA.dat拷貝到/etc/Wireless/RT2870STA/目錄下。

4實驗與結(jié)論

本實驗在局域網(wǎng)內(nèi)對監(jiān)控系統(tǒng)進(jìn)行了測試，客戶端與圖像采集終端通過無線路由器組成局域網(wǎng)。首先分別配置兩端的IP地址，網(wǎng)關(guān)，然后進(jìn)行網(wǎng)絡(luò)的測試，如果能互相連通，說明無線鏈路正常工作。實驗結(jié)果如下：

1)視頻實時顯示

為了支持流媒體在客戶端IE瀏覽器的實時播放，需要在IE瀏覽器安裝流媒體播放插件。本實驗在瀏覽器內(nèi)部嵌入了VLC解碼器插件，只要打開IE瀏覽器，地址欄輸入服務(wù)器的IP地址，就能實時看到監(jiān)控視頻，如圖7所示。通過實驗可以觀察到監(jiān)控畫面非常清晰，而且播放非常流暢，完全達(dá)到了實時視頻監(jiān)控的要求。

圖7　視頻實時顯示(截圖)

2)網(wǎng)絡(luò)協(xié)議監(jiān)測

為了監(jiān)測系統(tǒng)的工作過程，利用了抓包工具對數(shù)據(jù)包進(jìn)行獲取分析，如圖8所示。通過分析可以清楚地看到系統(tǒng)的工作流程，首先可以看到系統(tǒng)源地址為192.168.1.10，目標(biāo)地址為192.168.1.6，端口號為8080。系統(tǒng)啟動后，視頻碼流經(jīng)過RTP協(xié)議打包，通過UDP協(xié)議向客戶端發(fā)送。當(dāng)客戶端通過IE瀏覽器向服務(wù)器發(fā)出HTTP請求時，HTTP協(xié)議經(jīng)過TCP協(xié)議與服務(wù)器連接，TCP在連接之前要經(jīng)過三次握手過程，之后如果連接成功則返回一個HTTP響應(yīng)給客戶端。客戶端收到HTTP響應(yīng)后就能顯示服務(wù)器端發(fā)送過來的視頻圖像。

圖8　數(shù)據(jù)包捕獲結(jié)果(截圖)

3)碼率測試

為了進(jìn)一步檢驗系統(tǒng)的性能，對抓取的數(shù)據(jù)包進(jìn)行了統(tǒng)計分析，如圖9所示?？梢钥吹焦沧ト×?2 027個數(shù)據(jù)包，用時44.617s，平均每秒傳送269.558個數(shù)據(jù)包，碼速率為2.108Mbit/s，滿足低碼率的要求。

圖9　數(shù)據(jù)包統(tǒng)計分析(截圖)

參考文獻(xiàn)：

[1]梅大成，楊大千，趙娜. 基于Linux的嵌入式網(wǎng)絡(luò)攝像機(jī)設(shè)計[J].微計算機(jī)信息，2007，23(23)：45-47.

[2]畢厚杰.新一代視頻壓縮標(biāo)準(zhǔn)H.264/AVC[M].北京：人民郵電出版社，2005.

[3]CHENSY，SHIZY.H.264codingstreamtransferbasedonmediastreamframework[C]//SecondInternationalConferenceonMultimediaandinformationTechnology. [S.l.]：IEEEPress，2010，1：262-265.DOI： 10.1109/MMIT.2010.33.

[4]ZHAOHW，CHENX，LIZ，etal.Thedesignofembeddedvideosystembasedboaserver[C]//InternationalConferenceonComputerScienceandServiceSystem. [S.l.]：IEEEPress，2012， 127：483-486.DOI： 10.1109/CSSS.2012.127.

[5]WENGERS.H.264/AVCoverIP[J].IEEEtransactionsoncircuitsandsystemsforvideotechnology，2003，13(7)：645-656.DOI： 10.1109/TCSVT.2003.814966.

[6]操龍敏，蔣建國，齊美彬.RTP協(xié)議在嵌入式網(wǎng)絡(luò)攝像機(jī)中的設(shè)計及實現(xiàn)[J].計算機(jī)技術(shù)與發(fā)展，2008， 18(3)：214-217

[7]楊明極，許雪松，李天池.基于流媒體技術(shù)的移動視頻服務(wù)器的設(shè)計[J].電視技術(shù)，2013，37(17)：167-169.

[8]宋凱，嚴(yán)麗平，甘嵐.嵌入式Web服務(wù)器的設(shè)計與實現(xiàn)[J].計算機(jī)工程與設(shè)計，2009，30(4)：808-810.

[9]高巍，鐘梅，徐松惠.嵌入式Linux下基于BOA的遠(yuǎn)程控制[J].電腦知識與技術(shù)，2009，5(31)：8703-8705.

[10]翁彬彬，徐塞虹.基于boa的嵌入式視頻監(jiān)控系統(tǒng)的研究與實現(xiàn)[J].軟件，2014，35(11)：66-72.DOI： 10.3969/j.issn.1003-6970.2014.11.014.

ImplementationanddesignofhighdefinitionvideomonitoringnetworksystembasedonHi3518E

JINHaijun，LIMingwei

(School of information and Communication Engineering Dalian University of Technology，Liaoning Dalian 116024，China)

Abstract:Hisilicon Hi3518E+OV9712 scheme is adopted， wireless network HD real-time monitoring system is designed and implemented. Based on B/S architecture， the Web client access is achieved by porting the Boa web server. In order to achieve the purpose of real-time monitoring， the streaming media technology is used， the open source RTP library oRTP is transplanted on the server， then the RTP protocol is used to put the stream which is collected by the camera and compressed by H.264 to the network through the WiFi transmission module， for the client to receive. Experiments show that the effect is ideal and reliable and there is a great reference value for design of wireless network monitoring system.

Key words:Hi3518E；oRTP；Boa Web server；high definition video monitoring；WiFi wireless transmission

中圖分類號:TN919.8

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.03.008

作者簡介：

晉海軍(1984— )，碩士研究生，主要研究方向為嵌入式系統(tǒng)與圖像處理；

李明偉(1957— )，教授，碩士生導(dǎo)師，主要研究方向為嵌入式系統(tǒng)、圖像采集、無線網(wǎng)絡(luò)等。

責(zé)任編輯：閆雯雯

收稿日期：2015-11-18

文獻(xiàn)引用格式：晉海軍，李明偉. 基于Hi3518E的高清網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[J].電視技術(shù)，2016，40(3)：34-37.

JINHJ，LIMW.ImplementationanddesignofhighdefinitionvideomonitoringnetworksystembasedonHi3518E[J].Videoengineering，2016，40(3)：34-37.