沈顯慶，張煒瑋，常佳龍

（黑龍江科技大學 電氣與信息工程學院，哈爾濱150027）

引 言

近年來，隨著嵌入式技術(shù)、無線通信技術(shù)和多媒體技術(shù)的快速發(fā)展，視頻監(jiān)控正在向著數(shù)字化、網(wǎng)絡化、無線化方向發(fā)展[1]。由于嵌入式系統(tǒng)具有集成度高、功耗低、體積小等優(yōu)點，再結(jié)合無線網(wǎng)絡組網(wǎng)靈活、可擴展性好的優(yōu)勢，無線視頻監(jiān)控與有線視頻監(jiān)控系統(tǒng)相比，體現(xiàn)出了無法比擬的優(yōu)越性[2]。本系統(tǒng)利用USB攝像頭采集數(shù)據(jù)。由于S3C6410處理器內(nèi)置了（高性能多媒體處理器）硬件編解碼模塊 MFC（Multi-Format Codec），其將采集到的圖像數(shù)據(jù)壓縮為高效的H.264編碼格式，在S3C6410處理器的控制下通過WiFi發(fā)送至無線網(wǎng)絡，這樣用戶可隨時隨地通過Android手機客戶端實現(xiàn)實時的視頻監(jiān)控。

1 系統(tǒng)總體設計

本設計采用服務器/客戶端的架構(gòu)，服務器以S3C6410開發(fā)板為控制板，以Android手機為客戶端，服務器和客戶端通過WiFi進行通信。服務器由嵌入式硬件平臺、嵌入式操作系統(tǒng)和應用程序組成。硬件部分由S3C6410主控制板、USB攝像頭、WiFi組成；操作系統(tǒng)由s3c-Linux-2.6.23內(nèi)核、YAFFS文件系統(tǒng)、攝像頭驅(qū)動程序、MFC驅(qū)動程序、網(wǎng)卡驅(qū)動程序組成；應用程序由視頻采集、視頻壓縮編碼和數(shù)據(jù)發(fā)送程序等組成。采用WiFi無線網(wǎng)絡作為傳輸媒介，通過無線網(wǎng)卡接入到接入點AP?？蛻舳藶锳ndroid手機，利用Android提供的各種API函數(shù)來實現(xiàn)功能要求[3]。USB攝像頭采集視頻數(shù)據(jù)，經(jīng)過內(nèi)置的DSP芯片處理將其轉(zhuǎn)化為YUV格式的圖像，再通過USB接口傳送到主控制板上。主控制板通過內(nèi)置的MFC模塊將YUV格式圖像壓縮為H.264編碼格式，并對視頻數(shù)據(jù)進行處理、存儲，然后利用WiFi將其發(fā)送至無線網(wǎng)絡。Android手機客戶端，通過客戶端軟件可以實時讀取視頻流。服務器和客戶端都采用宿主機和目標機的交叉開發(fā)模式[4]。

本文的研究分以下幾步進行：

①系統(tǒng)環(huán)境的搭建，包括Bootloader、內(nèi)核、根文件系統(tǒng)的移植；

②USB攝像頭驅(qū)動程序、MFC驅(qū)動程序、網(wǎng)卡驅(qū)動程序的移植；

③V4L2的視頻采集和H.264的視頻壓縮編碼；

④RPT協(xié)議的數(shù)據(jù)傳送；

⑤Android手機客戶端的數(shù)據(jù)接收和界面顯示。

2 系統(tǒng)基本網(wǎng)絡拓撲

WiFi是一種成本低、傳輸速率較高、可靠性高、組網(wǎng)靈活、擴展性強的短距離無線通信技術(shù)。WiFi有兩種基本工作模式，Ad hoc自組網(wǎng)絡模式和Infrastrcucture組網(wǎng)模式。本系統(tǒng)采用有線和無線相結(jié)合的開發(fā)模式，WiFi采用Infrastrcucture模式組網(wǎng)，以無線路由作為接入點AP。服務器通過無線網(wǎng)卡與接入點AP相連，接入點AP通過有線鏈路與IP網(wǎng)絡連接，接入到互聯(lián)網(wǎng)。AP將無線鏈路和有線鏈路連接起來，組網(wǎng)方案如圖1所示。視頻流通過無線鏈路發(fā)送到接入點AP，這樣Android手機端可以通過3G或WiFi網(wǎng)絡實現(xiàn)遠程的實時視頻監(jiān)控。

圖1 組網(wǎng)方案

3 系統(tǒng)硬件設計

硬件系統(tǒng)主要由S3C6410微控制器及其外圍電路、USB攝像頭、USB無線網(wǎng)卡、Android手機等組成?？紤]到視頻數(shù)據(jù)的存儲選用1 TB的移動硬盤作為存儲介質(zhì)，硬件組成框圖如圖2所示。

圖2 硬件組成框圖

3.1 S3C6410微控制器及其外圍電路

S3C6410是一款以ARM1176為處理器核，低功耗、高性價比的RSIC微處理器，提供了存儲控制器、USB控制接口以及豐富的外設接口，內(nèi)置了多格式編解碼器MFC。NAND Flash用于存儲系統(tǒng)程序，SDRAM則用于存儲系統(tǒng)運行時的程序，JATG接口用于燒寫程序，RS232接口用于與PC機進行交互[5]。

3.2 攝像頭

由于MFC只能從YUV數(shù)據(jù)轉(zhuǎn)化為H.264格式，所以攝像頭采用輸出格式為YUV的USB攝像頭。此類USB攝像頭由圖像傳感器芯片和DSP芯片兩部分組成。景物的光學圖像照射在圖像傳感器上，產(chǎn)生電信號，經(jīng)A/D轉(zhuǎn)換器轉(zhuǎn)化為數(shù)字信號，經(jīng)DSP芯片處理加工生成YUV格式的圖像，通過USB傳送至主控制板。

3.3 無線網(wǎng)卡

本系統(tǒng)采用USB接口的TP-Link TL-WN322G WiFi無線網(wǎng)卡，傳輸速率為54 Mbps。較高的傳輸速率足以滿足視頻信息的傳輸要求，覆蓋范圍室內(nèi)最遠100 m，室外最遠300 m。在微控制器的控制下，將其連接到無線路由，無線路由與互聯(lián)網(wǎng)連接。

3.4 Android手機客戶端

Android是以Linux為內(nèi)核的手機操作系統(tǒng)，由于其源代碼的開放性和豐富的硬件選擇，促進了Android應用的快速發(fā)展[6]?；贚inux的Android手機可以與各種嵌入式Linux系統(tǒng)進行通信，手機Android成為視頻監(jiān)控系統(tǒng)的主流[7]。

4 系統(tǒng)軟件設計

服務器端視頻采集與編碼分為硬件部分和軟件部分。硬件部分負責視頻數(shù)據(jù)的采集、編碼；軟件部分負責基本系統(tǒng)環(huán)境的建立、視頻流的獲取及發(fā)送?？蛻舳塑浖糠重撠熞曨l數(shù)據(jù)的獲取、解碼及顯示。

4.1 系統(tǒng)環(huán)境和驅(qū)動程序的移植

本系統(tǒng)采用Bootloader引導系統(tǒng)、s3c-Linux-2.6.23內(nèi)核、YAFFS文件系統(tǒng)來構(gòu)建嵌入式系統(tǒng)環(huán)境。Linux操作系統(tǒng)可根據(jù)硬件需求進行軟件裁減，構(gòu)建合適的軟件環(huán)境。

首先，執(zhí)行 make menuconfig，選擇 Multimedia support下的選項支持UVC攝像頭，在USB support、HID Devices、SCSI device support中添加對USB總線驅(qū)動的支持，選擇 USB support、HID Devices、SCSI device support下的選項支持MFC驅(qū)動。然后，執(zhí)行make uImage，編譯生成內(nèi)核。

4.2 V4L2視頻采集程序的設計

視頻采集程序采用V4L2視頻驅(qū)動標準，基本流程是：打開視頻設備→設置格式→處理數(shù)據(jù)→關(guān)閉設備。通過Linux系統(tǒng)提供的open、ioctl函數(shù)來訪問視頻設備。Linux設備用文件表示，視頻設備在/dev/video目錄下，可以像普通文件一樣去讀寫。采集到的圖像信息是YUV420格式的，MFC可以直接對其進行壓縮。具體步驟如下：

①調(diào)用函數(shù)open（“/dev/video0”，O＿RDWR｜O＿NOBLOCK，0），以可讀可寫、非阻塞的方式打開視頻設備。

②設定視頻設備屬性，調(diào)用ioctl（fd，VIDIOC＿S＿FMT，＆fmt）設 置 視 頻 格 式，ioctl（fd，VIDIOC＿REQBUFS，＆req）分配 內(nèi)存空間，mmap（NULL，buf.length，PROT＿READ｜PROT＿WRITE，MAP＿SHARED，fd，buf.m.offset）將物理地址轉(zhuǎn)化為內(nèi)核地址。

③程序采用雙緩存的機制來采集數(shù)據(jù)，ioctl（fd，VIDIOC＿DQBUF，＆buf）將緩沖中的數(shù)據(jù)發(fā)送出去。與此同時，ioctl（fd，VIDIOC＿DQBUF，＆buf）采集一段數(shù)據(jù)放到另一個緩存中。此方法可以提高程序執(zhí)行的效率。

④調(diào)用close（fd）來關(guān)閉視頻設備。

4.3 H.264視頻壓縮程序的設計

USB采集的視頻流數(shù)據(jù)量非常大，若直接傳輸會增加系統(tǒng)負擔，難以滿足實時性要求。在嵌入式系統(tǒng)中大多采用H.264編碼，與其他壓縮標準相比，其壓縮比高、誤碼率低、視頻質(zhì)量高、容錯能力強，特別適合于網(wǎng)絡傳輸[8]。本設計利用 MFC硬件模塊將YUV數(shù)據(jù)轉(zhuǎn)化為H.264視頻流，降低了數(shù)據(jù)流量和網(wǎng)絡帶寬的占用，最大限度地提高了壓縮比和傳輸速度[9]。H.264視頻壓縮具體步驟如下：

①調(diào)用open（MFC＿DEV＿NAME，O＿RDWRW｜O＿NDELAY）打開MFC設備；

②映射空間 mmap（0，BUF＿SIZE，PROT＿RERD｜PROT＿WRITE，MAP＿SHARED，mfc＿fd，0）；

③配置編碼格式ioctl（mfc＿fd，LOCTL＿MFC＿H264＿ENC＿INIT，＆enc＿init）；

④獲取輸入輸出緩沖區(qū)ioctl（mfc＿fd，LOCTL＿MFC＿H264＿ENC＿INIT，＆get＿buf＿addr）；

⑤進行 H.264編碼ioctl（mfc＿fd，LOCTL＿MFC＿H264＿ENC＿EXE，＆enc＿exe）。

4.4 視頻傳輸程序的設計

由于TCP的三次握手連接和錯誤重傳機制，系統(tǒng)開銷較大，不能滿足視頻數(shù)據(jù)的實時傳輸。本設計采用無連接的UDP協(xié)議進行視頻數(shù)據(jù)的傳輸，但是無法保證數(shù)據(jù)的完整性。為了保證視頻流的實時性和同步性，針對UDP的不足，采用RTP通信方式，RTP建立在UDP之上，將數(shù)據(jù)封裝后使用UDP協(xié)議進行數(shù)據(jù)傳輸。由于本設計基于Linux系統(tǒng)，所以RTP程序采用現(xiàn)成的C語言oRTP庫進行開發(fā)。RTP的關(guān)鍵步驟如下：

①調(diào)用orpt＿inin（）、ortp＿scheduler＿init（）完成oRTP庫的基本初始化；

②rtp＿session＿new（）創(chuàng)建rtp對象，接著設置rpt對象的客戶端IP和監(jiān)聽端口；

③發(fā)送數(shù)據(jù)時調(diào)用 rtp＿session＿send＿with＿ts（）庫函數(shù)；

④發(fā)送完畢后調(diào)用rtp＿session＿destroy（）；銷毀RPT對象，ortp＿exit（）關(guān)閉oRTP庫資源。

4.5 Android手機客戶端

Android客戶端采用分層的設計思想，各模塊之間相互獨立工作，降低了系統(tǒng)的復雜程度。整體結(jié)構(gòu)從下到上分別為視頻數(shù)據(jù)獲取、視頻數(shù)據(jù)的解碼、視頻數(shù)據(jù)的顯示以及用戶界面4個功能。首先，客戶端通過3G或WiFi網(wǎng)絡從服務器端進行驗證請求，請求信息包括用戶名、密碼、IP地址和端口號；驗證通過后，接收服務器端發(fā)送的視頻數(shù)據(jù)，并將其放到視頻緩沖區(qū)中。然后將經(jīng)過H.264和RTP編碼過的視頻數(shù)據(jù)去除包頭信息，對無序的數(shù)據(jù)進行組幀，再對其進行解碼。最后，將視頻數(shù)據(jù)在用戶界面上播放。結(jié)構(gòu)模塊圖如圖3所示。

圖3 結(jié)構(gòu)模塊圖

5 系統(tǒng)運行效果測試

測試分兩種方式進行，一種在小米2S手機上，另一種在Nexus 7平板電腦上。在登錄界面上輸入設備名稱、地址、端口號、用戶名和密碼，分別用3G網(wǎng)絡和 WiFi網(wǎng)絡來訪問服務器。選取3個不同的地點進行了12次測試，每次測試1 min，統(tǒng)計客戶端接收到的幀數(shù)。測試結(jié)果表明，客戶端不受地點的限制，每秒能接收約12幀，視頻數(shù)據(jù)流暢，沒有出現(xiàn)失幀現(xiàn)象。

測試結(jié)果如表1所列。測試效果如圖4所示。

表1 測試結(jié)果

圖4 測試效果

結(jié) 語

本系統(tǒng)實現(xiàn)了一種基于嵌入式Linux操作系統(tǒng)和Android手機終端的遠程視頻監(jiān)控系統(tǒng)。利用3G或WiFi進行數(shù)據(jù)通信，用戶能夠隨時隨地地監(jiān)控。與傳統(tǒng)的監(jiān)控系統(tǒng)相比，增強了整個系統(tǒng)的靈活性。由于Linux的可移植性強，客戶端還可移植到Android系統(tǒng)的平板電腦上，用戶通過WiFi接入到互聯(lián)網(wǎng)，即可實現(xiàn)視頻監(jiān)控。在后續(xù)的研究中，可在此基礎上，服務器端增加了多攝像頭監(jiān)控、視頻數(shù)據(jù)的存儲，客戶端增加圖像處理、云臺控制、視屏回放等功能。隨著嵌入式技術(shù)和3G/4G移動通信技術(shù)的不斷成熟，基于Android手機的視頻監(jiān)控系統(tǒng)將具有良好的應用前景。

[1]許雪梅，周文，徐蔚欽.基于ARM9＋Linux的無線視頻監(jiān)控系統(tǒng)的設計[J].計算機測量與控制，2010，18（11）：2475-2477.

[2]馬資道，張正炳.基于ARM-Linux的無線視頻監(jiān)控系統(tǒng)的設計與實現(xiàn)[J].長江大學學報，2010，13（12）：605-607.

[3]謝慧芝，劉曄，彭煜，等.基于Android的嵌入式加密視頻監(jiān)控系統(tǒng)研究應用[J].電視技術(shù)，2014，38（3）.70-72.

[4]張雅楠，楊璐，鄭麗敏，等.基于Android手機的遠程視頻監(jiān)控系統(tǒng)的設計與開發(fā)[J].計算機應用，2013，33（1）：283-286.

[5]Samsung Electronics.S3C6410x 32-bit RISC microprocessor user＇s manual（revision1.2）[EB/OL]，2007[2014-04-15].http：//www.samstmg.com.

[6]楊明極，畢晶.基于Android客戶端的設計[J].電視技術(shù)，2012，36（3）：43-47.

[7]魏崇毓，張菲菲.基于Android平臺的視頻監(jiān)控系統(tǒng)設計[J].計算機工程，2012，38（14）：214-26.

[8]Kostas Pentikousis，Jarno Pinola，Esa Piri，et al.A Measurement Study of Speex VoIP and H.264/AVC Video over IEEE 802.16d and IEEE 802.11g[J].Computers and Communications，2008，6（9）：19-24.

[9]Atul Puri，Chen Xueming，Ajay Luthra.Video coding using the H.264/MPEG-4 AVC compression standard[J].Signal Processing Image Communication，2004，19：793-849.