劉偉杰 李博

摘 要： 針對高清遠程監(jiān)控帶來傳輸帶寬增加的壓力和時延、保存監(jiān)控視頻的周期短的問題，設(shè)計一種基于ARM11的高清網(wǎng)絡(luò)實時監(jiān)控系統(tǒng)。采用USB攝像頭基于V4L2接口采集圖像，結(jié)合H.265視頻編解碼技術(shù)，以RTP協(xié)議打包封裝H.265視頻碼流經(jīng)網(wǎng)絡(luò)傳輸?shù)絎eb服務(wù)器，利用CGI，JavaScript技術(shù)實現(xiàn)多種智能終端登錄瀏覽器顯示監(jiān)控畫面，在此基礎(chǔ)上實現(xiàn)在LCD終端實時顯示監(jiān)控畫面。經(jīng)測試，該監(jiān)控系統(tǒng)畫面清晰無抖動，網(wǎng)絡(luò)延時在500 ms以內(nèi)，視頻壓縮比在130左右，滿足高清視頻監(jiān)控數(shù)據(jù)的存儲。

關(guān)鍵詞： ARM11; V4L2接口; 網(wǎng)絡(luò)實時監(jiān)控; RTP協(xié)議; Web服務(wù)器; LCD終端

中圖分類號： TN949.197?34 文獻標識碼： A 文章編號： 1004?373X（2018）12?0047?05

Abstract： In allusion to the problems of pressure and delay caused by transmission bandwidth increase， and short period of stored monitoring videos in high?definition remote monitoring， a real?time monitoring system for high?definition network based on ARM11 is designed. The USB camera is used to collect images on the basis of V4L2 interface. By combining with the H.265 video codec technology， the H.265 video code streams are packaged and encapsulated by using the RTP protocol， and transmitted to the Web server via network. The CGI and JavaScript technologies are used to realize multiple intelligent terminals′ login onto the browser for the display of monitoring screen， and on the basis of which， the real?time display of monitoring screen on the LCD terminal can be realized. The test results show that the monitoring system has clear images without any jitter， network delay within 500 ms， and video compression ratio of about 130， which can meet the storage requirement of monitoring data for high?definition videos.

Keywords： ARM11; V4L2 interface; network real?time monitoring; RTP protocol; Web server; LCD terminal

隨著安全性意識逐漸提高，安防監(jiān)控在公共安全、交通安全和工業(yè)生產(chǎn)等各個方面起到至關(guān)重要的作用，傳統(tǒng)的本地模擬監(jiān)控已經(jīng)無法滿足重要領(lǐng)域的大范圍、遠距離監(jiān)控的需求，網(wǎng)絡(luò)視頻監(jiān)控以其不受地區(qū)、時間限制，在授權(quán)的情況下可以隨時按需監(jiān)控，實現(xiàn)即插即用即看，使用方式相當便捷，已經(jīng)成為監(jiān)控發(fā)展的新趨勢。目前網(wǎng)絡(luò)監(jiān)控高清已經(jīng)成為主流，視頻編碼方面已經(jīng)由應(yīng)用廣泛H.264標準發(fā)展到最新H.265標準，H.265標準是繼承H.264的架構(gòu)并且采用了多種編碼的新技術(shù)，相比H.264編解碼技術(shù)H.265能夠更好地支持高清視頻;同樣質(zhì)量的圖像，H265比H.264有20%～40%的碼流節(jié)省并且壓縮視頻占用空間是后者的1/3～1/2，而且增加了更多的并行機制和網(wǎng)絡(luò)傳輸機制，為高清視頻實時傳輸和實時瀏覽提供便捷。

伴隨著網(wǎng)絡(luò)監(jiān)控系統(tǒng)的到來，對監(jiān)控系統(tǒng)的要求也不斷提高，要求實時可靠、經(jīng)濟實用、方便靈活。而嵌入式系統(tǒng)的特點恰好滿足以上要求，嵌入式網(wǎng)絡(luò)監(jiān)控系統(tǒng)應(yīng)運而生。本文在嵌入式系統(tǒng)中移植Web boa服務(wù)器，搭建網(wǎng)絡(luò)監(jiān)控系統(tǒng)應(yīng)用平臺，應(yīng)用H.265編碼技術(shù)和RTP網(wǎng)絡(luò)協(xié)議實現(xiàn)視頻的采集、編碼、發(fā)送和實時顯示功能。

1 系統(tǒng)設(shè)計與實現(xiàn)

1.1 硬件系統(tǒng)設(shè)計

本文采用飛凌公司推出的OK6410開發(fā)板作為實時視頻監(jiān)控終端。OK6410開發(fā)板是以三星公司生產(chǎn)的S3C6410微處理器，ARM1176JZF?S為內(nèi)核，主頻533 MHz/667 MHz，具有64/32位的內(nèi)部總線，由AXI/AHB/APB總線構(gòu)成，集成了好多硬件加速器，非常適合音/視頻、2D圖形、顯示運算等運用[1]。S3C6410具有優(yōu)化的外部存儲器接口，256 MB的NOR FLASH，保證程序快速運行，2 GB的NAND FLASH用于啟動代碼、內(nèi)核代碼、根文件系統(tǒng)和用戶程序。開發(fā)板包含多種硬件外設(shè)，包括USB攝像頭接口、24位真彩色LCD控制器、SD卡插座等。硬件系統(tǒng)設(shè)計結(jié)構(gòu)圖如圖1所示。

1.2 軟件系統(tǒng)設(shè)計

OK6410從S3C6410為主控芯片，基于Linux?2.6.30操作系統(tǒng)，系統(tǒng)軟件主要是U?boot，zImage和根文件系統(tǒng)，配置內(nèi)核相關(guān)驅(qū)動和網(wǎng)絡(luò)協(xié)議，移植ARM端X265和Web boa應(yīng)用軟件。應(yīng)用軟件部分采用多線程編程，包括視頻采集線程、LCD終端顯示線程、視頻壓縮存儲線程、網(wǎng)絡(luò)傳輸線程。應(yīng)用軟件結(jié)構(gòu)框圖如圖2所示。

1.2.1 圖像采集線程

V4L2[2]是Linux內(nèi)核中關(guān)于視頻設(shè)備的驅(qū)動模塊，它為針對視頻設(shè)備的應(yīng)用程序提供了一系列的API[3]。V4L2的驅(qū)動程序調(diào)用流程如圖3所示。

在Linux中，視頻設(shè)備是設(shè)備文件，可以像訪問普通文件對其進行讀/寫，驅(qū)動程序在/dev/video*目錄下，關(guān)鍵代碼部分如下[4]。

1） 打開攝像頭設(shè)備，調(diào)用函數(shù)fd=open（"/dev/video0"，O_RDWR）第一個參數(shù)是視頻設(shè)備在/dev/目錄下的設(shè)備名，視頻設(shè)備以非阻塞方式打開。

2） 檢查視頻設(shè)備支持的標準，調(diào)用ioctl（fd，VIDIOC_QUERYSTD，&std）檢測到的視頻設(shè)備支持屬性保存到std結(jié)構(gòu)中[5]。

1.2.4 網(wǎng)絡(luò)傳輸線程

基于視頻監(jiān)控的實時行要求，網(wǎng)絡(luò)傳輸機制選擇實時傳輸協(xié)議RTP/RTCP。RTP協(xié)議負責傳輸具有實時特性的音視頻文件，其是一個應(yīng)用層程序，既可以工作在TCP協(xié)議上又可以工作在UDP協(xié)議上。相對TCP協(xié)議，UDP協(xié)議傳輸時延更低并且具有更小的網(wǎng)絡(luò)開銷，選擇RTP/UDP協(xié)議格式進行視頻碼流傳輸。RTCP協(xié)議是實時傳輸控制協(xié)議，用于實時監(jiān)控傳輸數(shù)據(jù)，為系統(tǒng)提供擁塞和流控制。RTP協(xié)議的組成框架在RFC3550中有詳細介紹，每個RTP數(shù)據(jù)包由固定包頭和荷載兩部分組成。包頭由固定的12個字節(jié)構(gòu)成，荷載就是音視頻流。H.265的基本流結(jié)構(gòu)分為二層，包括視頻編碼層（VCL）和網(wǎng)絡(luò)適配層（NAL）。VCL為被壓縮視頻序列，VCL數(shù)據(jù)要封裝NAL中才能用來傳輸和存儲。H.265標準指出，當數(shù)據(jù)流存儲在介質(zhì)上時，在每個NALU上添加起始碼：0x00000001，用來指示一個NALU的起始結(jié)束。結(jié)合RTP協(xié)議和H.265的基本流結(jié)構(gòu)，RTP傳輸H.265視頻碼流，最新的RF3894提供了傳輸H.265媒體流RTP打包的方法。在H.265視頻碼流中剝離出每個NALU，在每個NALU頭前添加RTP包頭，添加NALU的數(shù)據(jù)包到荷載，通過UDP協(xié)議網(wǎng)絡(luò)傳輸。根據(jù)RF3894標準，本文算法流程見圖5。

2 實驗結(jié)果與測試

2.1 系統(tǒng)測試

Web boa服務(wù)器主要對網(wǎng)上信息瀏覽提供服務(wù)，支持多端訪問。嵌入式boa服務(wù)器支持多HTTP連接，同時能夠進行遠程管理和維護，還能提供公關(guān)網(wǎng)管接口（CGI）?？蛻舳送ㄟ^HTTP協(xié)議遠程訪問boa服務(wù)器;服務(wù)器通過訪問請求判斷后，運行相應(yīng)CGI程序，將數(shù)據(jù)上傳客戶端，方便信息交互。實驗測試平臺采用OK6410開發(fā)板。系統(tǒng)啟動初始化完成，NFS模式啟動內(nèi)核，開啟攝像頭，設(shè)置采集分辨（1 280×720），運行程序?？稍贚CD終端看到監(jiān)控畫面，如圖6所示。同時瀏覽器通過服務(wù)器IP地址訪問服務(wù)器，客戶端通過JavaScript技術(shù)將VLC播放器加載到網(wǎng)頁中，客戶端點擊播放，服務(wù)器根據(jù)客戶端請求運行CGI程序（網(wǎng)絡(luò)傳輸線程），可在VLC播放器看到監(jiān)控畫面，如圖7所示，圖像質(zhì)量清晰，無抖動。

2.2 動態(tài)視頻測試

動態(tài)圖像測試采用手機端精準計時器軟件，啟動攝像頭采集秒表時間，LCD終端顯示圖像如圖8所示，網(wǎng)頁客戶端顯示畫面如圖9所示，可以觀察到監(jiān)控畫面清晰無抖動，對比手機終端計時器時間變化可得到網(wǎng)絡(luò)延遲在500 ms以內(nèi)。

2.3 視頻壓縮比

本次實驗視頻采集的時間為5 min，視頻的輸入格式為PAL，幀率為25 f/s，分辨率為1 280×720。計算后可知：未壓縮的數(shù)據(jù)量為11 203.5 MB。硬盤中壓縮后的文件的大小為86.18 MB，可以計算得出壓縮比為130.4。

3 結(jié) 語

本文涉及以ARM11為處理器，Linux為操作系統(tǒng)的嵌入式實時監(jiān)控系統(tǒng)，重點闡述了V4L2接口，H.265視頻編碼，RTP協(xié)議打包封裝。H.265視頻碼流通過網(wǎng)絡(luò)傳輸Web服務(wù)器在瀏覽器加載VLC播放器，實現(xiàn)了視頻播放，解決了高清網(wǎng)絡(luò)監(jiān)控傳輸帶寬的壓力和網(wǎng)絡(luò)延遲。同時采用LCD終端直接顯示監(jiān)控畫面，降低了應(yīng)用成本。實驗結(jié)論證明，該系統(tǒng)監(jiān)控的實時性良好，畫質(zhì)清晰無抖動，符合設(shè)計的預(yù)期要求，對安防監(jiān)控有一定的借鑒作用。

參考文獻

[1] 成敏，謝杉杉，徐強，等.基于Android的音視頻同步交互系統(tǒng)[J].吉林大學學報，2016，34（4）：507?514.

CHENG Min， XIE Shanshan， XU Qiang， et al. Audio and video synchronous system based on Android [J]. Journal of Jilin University， 2016， 34（4）： 507?514.

[2] 陳曉偉，孟利民.基于B/S架構(gòu)的視頻監(jiān)控音視頻模塊的設(shè)計[J].電聲技術(shù)，2014，38（6）：77?80.

CHEN Xiaowei， MENG Limin. Design of client software of the video monitor based on B/S structure [J]. Audio engineering， 2014， 38（6）： 77?80.

[3] 王莉，周偉.基于ARM的嵌入式Web服務(wù)器設(shè)計[J].計算機工程與應(yīng)用，2012，48（14）：90?93.

WANG Li， ZHOU Wei. Design of embedded Web server based on ARM [J]. Computer engineering and applications， 2012， 48（14）： 90?93.

[4] 許剛.基于ARM11的嵌入式視頻采集監(jiān)控系統(tǒng)設(shè)計[J].測控技術(shù)，2013，32（12）：37?40.

XU Gang. Design of an embedded video capturing system based on ARM11 [J]. Measurement & control technology， 2013， 32（12）： 37?40.

[5] 胡江濤.安防工程中音視頻監(jiān)控系統(tǒng)的優(yōu)勢與應(yīng)用[J].自動化與儀器儀表，2017（8）：131?132.

HU Jiangtao. Advantages and applications of audio and video monitoring system in security engineering [J]. Automation & instrumentation， 2017（8）： 131?132.

[6] 廖志川，俞子榮，陳黎娟.基于ARM的移動視頻監(jiān)控終端設(shè)計與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2012，35（10）：9?11.

LIAO Zhichuan， YU Zirong， CHEN Lijuan. Design of mobile video monitoring terminal based on ARM [J]. Modern electronics technique， 2012， 35（10）： 9?11.

[7] 史凱，雒江濤，張治中.基于RTP的h.264無線視頻傳輸和Qos控制[J].微計算機信息，2009，25（6）：162?164.

SHI Kai， QI Jiangtao， ZHANG Zhizhong. Transmission of H.264 video over wireless networks based on RTP and QoS control [J]. Microcomputer information， 2009， 25（6）： 162?164.

[8] 戎玲，游寒旭.數(shù)字視頻對講系統(tǒng)的全程唇音同步測試方法[J].電視技術(shù)，2017，41（6）：143?146.

RONG Ling， YOU Hanxu. Lip sync test method for IP video intercom system [J]. Video engineering， 2017， 41（6）： 143?146.

[9] 王開宇.基于C#的數(shù)據(jù)與視頻監(jiān)控系統(tǒng)上位機軟件設(shè)計[J].現(xiàn)代電子技術(shù)，2017，40（10）：62?64.

WANG Kaiyu. Design of C#?based PC software for data and video monitoring [J]. Modern electronics technique， 2017， 40（10）： 62?64.

[10] 陳嵐，鮑可進.基于S3C6410和3G的無線視頻傳輸系統(tǒng)的設(shè)計與實現(xiàn)[J].無線通信技術(shù)，2014，23（2）：42?46.

CHEN Lan， BAO Kejin. Design and implementation of wireless video transmission system based on S3C6410 and 3G [J]. Wireless communication technology， 2014， 23（2）： 42?46.