郭翠娟，盛雨晴，武志剛（天津工業(yè)大學電子與信息工程學院，天津　300387）

?

基于DaVinci技術(shù)的嵌入式Web視頻監(jiān)控系統(tǒng)的設計

郭翠娟，盛雨晴，武志剛
（天津工業(yè)大學電子與信息工程學院，天津300387）

摘要：提出一種基于DaVinci技術(shù)的嵌入式Web視頻監(jiān)控系統(tǒng)設計方案，該方案利用TI高速雙核信號處理器TMS320DM6467和嵌入式Linux操作系統(tǒng)為平臺，完成視頻信號的H.264編碼、傳輸和存儲，并在此基礎上搭建嵌入式Web服務器，用戶在瀏覽器中登錄Web服務器后可以進行實時監(jiān)控；還提出一種基于率失真優(yōu)化方法的改進型碼率控制算法，使用該算法可明顯提高視頻流的編碼速率及改善編碼質(zhì)量.實驗結(jié)果表明：使用該算法所得平均碼率誤差比JVT-G012算法低1.2%，而信噪比PSNR提高了1.16 dB.本系統(tǒng)具有很強的實時性、交互性、視頻質(zhì)量高等優(yōu)點，可廣泛應用于遠程視頻監(jiān)控.

關鍵詞：DaVinci技術(shù)；視頻監(jiān)控；嵌入式Web服務器；碼率控制；率失真優(yōu)化

隨著網(wǎng)絡技術(shù)、通信技術(shù)和數(shù)字信息技術(shù)的不斷發(fā)展和進步，視頻監(jiān)控系統(tǒng)的模式也處在快速發(fā)展過程中.視頻監(jiān)控系統(tǒng)經(jīng)歷了本地模擬信號視頻監(jiān)控系統(tǒng)、基于PC的數(shù)字視頻監(jiān)控系統(tǒng)和基于嵌入式系統(tǒng)的網(wǎng)絡視頻監(jiān)控系統(tǒng)等3個發(fā)展階段.嵌入式網(wǎng)絡視頻監(jiān)控系統(tǒng)是以視頻監(jiān)控為核心，以網(wǎng)絡為傳輸媒介，軟硬件可裁剪，適合系統(tǒng)對功能、可靠性、成本、體積等綜合要求的專用計算機系統(tǒng).

由于模擬視頻信號的傳輸距離較近，故傳統(tǒng)模擬視頻監(jiān)控系統(tǒng)[1]通常只適合于小范圍的局部區(qū)域監(jiān)控，無法進行聯(lián)網(wǎng)，布線工程量大.目前，中國數(shù)字化監(jiān)控領域正處于極速發(fā)展階段，但市場上的大部分數(shù)字視頻[2]監(jiān)控設備的實時性較差且視頻編碼質(zhì)量低.

針對以上情況，本文利用TI公司推出的一款音視頻數(shù)字多媒體處理器TMS320DM6467構(gòu)建嵌入式網(wǎng)絡視頻監(jiān)控系統(tǒng)，其處理能力強，實時性好.另外，基于傳統(tǒng)的率失真優(yōu)化算法提出一種改進型碼率控制算法，用來提高視頻編碼效率和編碼質(zhì)量.

1　系統(tǒng)方案設計與實現(xiàn)

1.1系統(tǒng)總體結(jié)構(gòu)

本設計選用達芬奇系列處理器TMS320DM6467，其集成了一個ARM926EJ-S核與600 MHz的C64X+DSP核，ARM負責運行嵌入式操作系統(tǒng)；DSP負責對采集的視頻信號進行壓縮編碼[3]，ARM通過TI提供的Codec Engine（編解碼引擎）機制調(diào)用DSP側(cè)的codec算法.本設計的總體結(jié)構(gòu)如圖1所示.

圖1　系統(tǒng)總體結(jié)構(gòu)圖Fig.1 Overall diagram of monitoring system

圖1中，中心控制端接收攝像頭采集的視頻信號，進行H.264[2]編碼，編碼后的數(shù)據(jù)可以傳輸?shù)絀nternet或?qū)懗晌募鎯Φ接脖P中；客戶端通過登錄Web服務器[3]可接收網(wǎng)絡上的視頻碼流并在瀏覽器上解碼顯示，進行實時監(jiān)控.

1.2系統(tǒng)的硬件設計

系統(tǒng)的硬件組成由監(jiān)控端、中心控制端和客戶端組成，如圖2所示.

圖2　系統(tǒng)硬件框圖Fig.2 Hardware diagram of monitoring system

圖2中，監(jiān)控端主要完成對監(jiān)控現(xiàn)場視頻信號的實時采集，并把采集到的視頻信號傳送到中心控制端；中心控制端基于DM6467雙核處理器和Linux嵌入式操作系統(tǒng)，對采集到的視頻信號進行H.264編碼，并根據(jù)需要將碼流進行存儲或傳送到網(wǎng)絡上；客戶端主要完成視頻信號的接收和顯示.客戶端通過HTTP協(xié)議[4]向中心控制端發(fā)送請求，中心控制端進行相應處理后以HTML文本格式返回應答信息，客戶端再將這些接受到的應答信息解釋為網(wǎng)頁形式并在瀏覽器中顯示.實時傳輸模塊按照RTP（real-time transport protocol）協(xié)議和RTSP（real time streaming protocol）協(xié)議負責將視頻流打包并傳送到客戶端的VLC（video lan client）播放器中進行解碼和顯示.視頻存儲與管理模塊負責將編碼后的碼流寫入到數(shù)據(jù)庫中存儲以備調(diào)用.

1.3系統(tǒng)的軟件設計

系統(tǒng)的軟件設計主要是應用程序的開發(fā)，包括以下5個線程，即主線程、視頻采集線程、視頻編碼線程、傳輸線程和寫線程，線程的關系如圖3所示.圖3中，編碼程序從主線程開始，主線程完成初始化編解碼引擎和DMAI（DaVinci multimedia application interface）設備，再設置codec算法的參數(shù)，然后打開視頻采集線程、視頻編碼線程、傳輸線程或?qū)懢€程.

圖3　系統(tǒng)的線程關系圖Fig.3 Thread diagram of monitoring system

在視頻采集線程中，通過攝像頭采集得到PAL制式的基帶視頻信號[5]經(jīng)過A/V接口傳送到SiI9125CTU芯片的輸入端，該芯片負責將PAL視頻解碼并數(shù)字化后送到DM6467的視頻輸入接口，通過ioctl（）函數(shù)設置圖像采集格式、為設備分配數(shù)據(jù)緩存、實現(xiàn)內(nèi)存地址空間映射，然后開始循環(huán)采集視頻數(shù)據(jù)流[6].視頻編碼線程的主要作用是對視頻數(shù)據(jù)進行H.264編碼，壓縮后的視頻碼流可以通過寫線程保存成文件，也可以通過傳輸線程傳送到Internet上.傳輸線程的主要作用是采用分片封包模式[9]將H.264碼流封裝成RTP數(shù)據(jù)包，由于IP協(xié)議的最大傳輸單元值為1 500，考慮到IP報頭和UDP報頭等所占的字節(jié)，將RTP數(shù)據(jù)包的最大負載值設置為1 450個字節(jié)，對于字節(jié)數(shù)超過1450 的NAL（Network Abstract Layer網(wǎng)絡抽象層）單元分片封裝成多個RTP分組，并采用RTSP協(xié)議實現(xiàn)對視頻數(shù)據(jù)傳輸?shù)目刂?

視頻編碼線程的工作流程圖如圖4所示.首先調(diào)用Engine_open（）函數(shù)創(chuàng)建一個Codec Engine的實例，并返回一個hEngine的句柄供后續(xù)函數(shù)調(diào)用，根據(jù)Venc_getInBufSize（）和Venc_getOutBufSize（）函數(shù)確定輸入數(shù)據(jù)和輸出數(shù)據(jù)所需占用的緩沖區(qū)大小，再利用Buffer_create（）函數(shù)分配內(nèi)存空間；通過調(diào)用編碼算法實例的Venc_control（）、Venc_process（）等API函數(shù)對視頻數(shù)據(jù)進行控制和編碼，并且將編碼后的數(shù)據(jù)流傳送至寫線程寫入到硬盤文件系統(tǒng)，或通過傳輸線程發(fā)送到Internet.

圖4　視頻編碼流程圖Fig.4 Flow chart of video encoding

1.4嵌入式Web服務器

本設計選擇支持CGI（common gateway interface）技術(shù)且非常適用于嵌入式系統(tǒng)的Web服務器Boa，處理客戶端發(fā)送的HTTP請求和應答消息，并以網(wǎng)頁形式顯示在瀏覽器中.CGI程序各功能模塊如圖5所示.

圖5　CGI程序模塊Fig.5 Software module of CGI program

該部分程序運行在服務器端，提供后臺服務器與客戶端HTML頁面的接口，實現(xiàn)用戶登錄、用戶信息管理、系統(tǒng)設備信息管理和視頻監(jiān)控等功能.

Login.html和Login.cgi是用戶進入監(jiān)控系統(tǒng)的第一步，系統(tǒng)通過驗證用戶輸入的用戶名和密碼來判斷是否有登錄權(quán)限，若有權(quán)限，則進入監(jiān)控界面；反之，發(fā)出錯誤提示. UserControl.cgi和DeviceControl.cgi 2個模塊分別對系統(tǒng)用戶信息和監(jiān)控設備資源進行管理和控制，包括監(jiān)控設備的基本屬性、監(jiān)控設備維護信息、攝像頭的IP、子網(wǎng)掩碼、網(wǎng)關和DNS等. Video. html和Video.cgi用于視頻數(shù)據(jù)的實時播放，Video.cgi接受用戶端通過瀏覽器傳來的控制參數(shù)，并啟動相應的視頻數(shù)據(jù)采集模塊、編碼模塊、實時傳輸模塊、存儲與管理模塊，進行視頻數(shù)據(jù)流的傳輸，進而與網(wǎng)絡客戶端的VLC播放器建立連接，實現(xiàn)視頻流在客戶端瀏覽器頁面上的播放.

2　基于率失真優(yōu)化方法的改進型碼率控制算法

傳統(tǒng)的基于率失真優(yōu)化的控制方法，首先要確定碼率模型和率失真模型，再根據(jù)拉格朗日理論公式獲得最優(yōu)的量化參數(shù).然而使用該方法所得到的PSNR值較小，輸出碼率不精確，故本文提出了一種基于率失真優(yōu)化的改進型碼率控制算法.

在編碼當前幀之前，編碼緩沖器中的比特數(shù)需按下式更新：

式中：Bprev為編碼緩沖器中之前的比特總數(shù)；Bactual為已編碼幀實際產(chǎn)生的比特數(shù)；R為信道速率；F為幀率.

由公式（1）可知，在編碼一幀圖像之前緩沖器的比特數(shù)為：上一幀編碼前緩沖器的比特數(shù)加上上一幀實際編碼產(chǎn)生的比特數(shù)，再減去一幀時間間隔內(nèi)信道傳輸?shù)谋忍財?shù).

其次，通過緩沖器的占用情況，按下式分配當前幀一定的目標比特數(shù)：

式中：△B的定義為

式中：Z為常數(shù)，通常設為0.1；M為一個門限值，設為M = R/F.

由式（2）可以看出，△B是來自緩沖器比特數(shù)的一個反饋量，當B超過門限值的一定比例后，目標比特Btarget應減小△B的量.

根據(jù)（4）式計算參數(shù)H：

式中：N為一幀中宏塊的總數(shù)目；λi是權(quán)重因子；βi的定義為：

式中：Nt為一個宏塊中亮度像素的總個數(shù)；Nc為色度像素總的個數(shù)；Pi（n）為像素值；Pa為整個宏塊的像素平均值.

根據(jù)計算所得的H值和（5）式計算第m個宏塊的量化步長

式中：L =εm- 162NmCm；εm表示第m幀的目標比特數(shù)；Nm為第m幀中宏塊的總數(shù)；設初始的K = 0.5，C = 0.

根據(jù)（6）式計算所得的量化步長計算第m個宏塊的QP值，如下所示：

式中：QPmprev為前一個宏塊的QP值.

計算完一個宏塊后再作如下更新：

式中：Bm′表示為宏塊m編碼后產(chǎn)生的比特數(shù).

為了測試基于率失真優(yōu)化方法的改進型碼率控制算法的性能，以H.264/AVC的參考軟件JM11.0作為實驗平臺實現(xiàn)該算法.實驗選擇多個視頻測試序列，從編碼比特率、編碼質(zhì)量等方面給出本文方法與JVT[12]（jiont video team，聯(lián)合視頻編碼組）提案中自適應基本單元級碼率控制算法JVT-G012的比較結(jié)果，編碼比特率用碼率控制誤差來衡量，編碼質(zhì)量用峰值信號與噪聲之比PSNR的值來衡量.

分別測試了Akjyo、Flower、Highway、Waterfall、Foreman和Carphone序列在目標碼率分別為36 kbps、72 kbps和128 kbps條件下所得的平均PSNR和碼率控制誤差，測試結(jié)果如表1所示.由表1計算可得使用JVT-G012算法的平均碼率控制誤差為2.94%，而使用本文算法所得的平均碼率控制誤差僅為1.74%，由此可見誤差大大減??；使用本文算法所得的平均PSNR值為40.71 dB，而使用JVT-G012算法所得值為39.55 dB，由此可得本文算法較JVT-G012算法的PSNR值平均提高了1.16 dB，編碼質(zhì)量明顯提高.

圖6所示為分別使用本文算法和JVT-G012算法對不同視頻序列進行編碼得到的PSNR的碼率關系.

圖6（a）和圖6（b）表示在目標碼率為72 kbps條件下，分別使用本文提出的算法和使用JVT-G012算法對Akjyo序列以及Waterfall序列的PSNR進行測試的結(jié)果；圖6（c）和圖6（d）表示在目標碼率為128 kbps條件下，對Flower序列以及Foreman序列的PSNR進行測試的結(jié)果.由圖可知，使用本文所提出算法所得的PSNR值大于使用JVT-G012算法所得的PSNR值，編碼質(zhì)量大大提高.

圖6（e）和圖6（f）分別測試了Carphone序列和Highway序列的碼率與信噪比的關系曲線，由圖可知，隨著碼率增大，PSNR也提高，但使用本文算法所得到的碼率信噪比曲線明顯高于使用JVT-G012算法的曲線，說明有效性大大提高.

3　結(jié)論

本文基于達芬奇技術(shù)提出了一種嵌入式Web視頻監(jiān)控系統(tǒng)的設計方案，解決了當前視頻監(jiān)控系統(tǒng)中編碼效率低、實時性差等問題.基于率失真優(yōu)化方法，提出一種改進型的碼率控制算法，當目標碼率分別在36kbps、72kbps、128 kbps條件下測試使用JVT-G012算法和本文所提算法所得的平均誤碼率，結(jié)果分別為2.94%和1.74%，即誤碼率降低了1.2%，編碼的可靠性大大提高；另，本文算法較JVT-G012算法的PSNR平均提高了1.16 dB，編碼的有效性大大提高.用戶通過登錄Web服務器可以對監(jiān)控現(xiàn)場進行實時監(jiān)控，具有良好的實時性，可以被廣泛應用于智能樓宇、醫(yī)療等遠程監(jiān)控系統(tǒng)中.

參考文獻：

[1] JIN Xiaocong，HUANG Yiqing，LIU Qin，et al. Fast spatial direct mode decision for B slice based on temporal information in H.264 standard[C]//Intelligent Signal Processing and Communication System，International Symposium on IEEE. [s.l.]：[s.n.]，2009：331-334.

[2]劉富強.數(shù)字視頻監(jiān)控系統(tǒng)開發(fā)及應用[M].北京：機械工業(yè)出版社，2003. LIU F Q. The Development and Application of Digital Monitoring System[M]. Beijing：Machinery Industry Press，2003（in Chinese）.

[3] TANG Chisun，TSAI Chenhan，CHIEN Shaoyi，et al. Algorithm and hardware architecture design for weighted prediction in H.264[C]//IEEE International Symposium on Circuits and Systems. [s.l.]：Iscas，2006：5014-5018.

[4] KARCZEWICZ M，KURCEREN R. The SP- and SI-frames design for H.264/AVC[J]. IEEE Transactions on Circuits & Systems for Video Technology，2003，13（7）：637-644.

[5] STOCKHAMMER T，HANNUKSELA M，WIEGAND T. H.264/AVC in wireless environments [J]. Transactions on Circuits and Systems for Video Technology，2003，13（7）：657-673.

[6]沈沛意，張亮，周夢，等.DAVINCI技術(shù)剖析及實戰(zhàn)應用開發(fā)指南[M].西安：西安電子科技大學出版社，2012. SHEN P Y，ZHANG L，ZHOU M，et al. The Analysis and Practical Application Development Guide of DAVINCI technology [M]. Xi′an：Xi′an Electronic and Science University Press，2012（in Chinese）.

[7]高玉龍，白旭，吳瑋，等.達芬奇技術(shù)開發(fā)基礎、原理與實例[M].北京：電子工業(yè)出版社，2012. GAO Y L，BAI X，WU W，et al. Fundamentals，Principles and Examples of Davinci Technology [M]. Beijing：Electronic Industry Publishing Press，2012（in Chinese）.

[8] GIROD B，F(xiàn)ARBER N. Feedback-based error control for mobile video transmission[J]. Proceedings of the IEEE，1999，87（10）：1707-1723.

[9]吳軍，胡建總，謝斌，等.自適應變長GOP碼率控制算法[J].小型微型計算機系統(tǒng)，2015，36（1）：188-192. WU J，HU J Z，XIE B. Adaptive variable length GOP rate control algorithm[J]. Small and Micro Computer System，2015，36（1）：188-192（in Chinese）.

[10]王帥，員衛(wèi)國.基于DaVinci技術(shù)的視頻監(jiān)控系統(tǒng)設計[J].電腦知識與技術(shù)，2011，7（8）：1897-1899. WANG S，YUAN W G. Design of video surveillance system based on DaVinci technology[J]. Computer Knowledge and Technology，2011，7（8）：1897-1899（in Chinese）.

[11]宋建勛.基于DaVinci技術(shù)的多平臺網(wǎng)絡視頻監(jiān)控系統(tǒng)的設計與實現(xiàn)[D].南京：南京郵電大學，2011. SONG J X. Design and implementation of multi platform network video surveillance system based on DaVinci technology [D]. Nanjing：Nanjing University of Posts and Telecommunications，2011（in Chinese）.

[12]趙振軍，沈禮權(quán)，胡乾乾，等.基于復雜度HEVC碼率控制的算法優(yōu)化[J].光電子激光，2014，25（9）：1715-1720. ZHAO Z J，SHEN L Q，HU Q Q，et al. HEVC rate control algorithm optimization based on complexity [J]. Photoelectron Laser，2014，25（9）：1715-1720（in Chinese）.

[13]朱威，鄭雅羽，陳明，等.低復雜度的多視點視頻編碼宏塊模式?jīng)Q策算法[J].光電子激光，2014，25（5）：988-997. ZHU Wei，ZHENG Y Y，CHEN M，et al. Low complexity multi view video encoding macro block mode decision algorithm[J]. Photoelectron Laser，2014，25（5）：988-977（in Chinese）.

[14] TAKAGI K，TAKISHIMA Y，NAKAJIMA Y. A study on rate distortion optimization scheme for JVT coder [J]. Proceedings of SPIE-The International Society for Optical Engineering，2003，5150：914-923.

[15]熊永華，張因升，陳鑫，等.云視頻監(jiān)控系統(tǒng)的能耗優(yōu)化研究[J].軟件學報，2015，26（3）：680-698. XIONG Y H，ZHANG Y S，CHEN X，et al. Research on energy consumption optimization of cloud video surveillance system[J]. Journal of Software，2015，26（3）：680-698（in Chinese）.

Design of embedded Web video monitoring system based on DaVinci technology

GUO Cui-juan，SHENG Yu-qing，WU Zhi-gang
（School of Electronics and Information Engineering，Tianjin Polytechnic University，Tianjin 300387，China）

Abstract：Based on the newly developed DaVinci technology，a designing scheme of embedded Web video monitoring system is proposed. The scheme combines high-speed and dual-core signal processor（TMS320DM6467）with embedded Linux operating system as the platform to complete the H.264 encoding，transmission and storage of video signal. Building the embedded Web server，user can login into the server and monitor at real -time. According to the method of rate-distortion optimization，an improved rate control algorithm is proposed. The algorithm can significantly improve the coding rate of video stream and the coding quality. It is proved that the average bit rate error of the proposed algorithm is 1.2% lower than that of the JVT-G012 algorithm. Besides，the signal to noise ratio is improved by 1.16 dB. This system has advantages of strong real-time，interactive and high video quality so that it can be used for remote video surveillance.

Key words：DaVinci technology；video monitoring；embedded Web server；rate control；rate-distortion optimization

通信作者：郭翠娟（1975—），女，副教授，碩士生導師，主要研究方向為通信系統(tǒng). E-mail：guocuijuan@typu.edu.cn

基金項目：國家自然科學青年基金項目（61302062）

收稿日期：2015-07-14

DOI：10.3969/j.issn.1671-024x.2016.02.015

中圖分類號：TN919.8

文獻標志碼：A

文章編號：1671－024X（2016）02－0077－06