耿恒山, 曹鵬飛, 范東月, 耿躍華, 富 坤, 王少佐

(河北工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津 300401)

基于移動(dòng)終端的視頻監(jiān)控系統(tǒng)的研究

耿恒山, 曹鵬飛, 范東月, 耿躍華, 富 坤, 王少佐

(河北工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津 300401)

將網(wǎng)絡(luò)視頻服務(wù)器mjpg_streamer運(yùn)用到遠(yuǎn)程視頻監(jiān)控中，通過手機(jī)或平板等移動(dòng)終端對(duì)特定的區(qū)域進(jìn)行實(shí)時(shí)監(jiān)控，并結(jié)合GPRS技術(shù)，短信報(bào)警。移動(dòng)終端可以通過ZigBee網(wǎng)絡(luò)登錄Web服務(wù)器，遠(yuǎn)程控制設(shè)備，采取應(yīng)急措施。系統(tǒng)信息處理中心采用Cortex-A8內(nèi)核，分析并處理由信息采集中心、PC機(jī)和移動(dòng)終端發(fā)送的信息與指令；信息采集中心采用Cortex-M0內(nèi)核，實(shí)現(xiàn)預(yù)警、采集信息和身份驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)靈敏度高，可靠性強(qiáng)，具有良好的市場前景。

網(wǎng)絡(luò)視頻; 遠(yuǎn)程監(jiān)控; 移動(dòng)終端; Web服務(wù)器; ZigBee網(wǎng)絡(luò)

隨著Internet網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，遠(yuǎn)程監(jiān)控技術(shù)被廣泛應(yīng)用于諸多領(lǐng)域。但是傳統(tǒng)的監(jiān)控顯示設(shè)備通常采用PC機(jī)或液晶顯示器，造價(jià)高，監(jiān)控地點(diǎn)還受到限制，必須依靠人工定時(shí)定點(diǎn)監(jiān)控，浪費(fèi)人力資源。并且傳統(tǒng)的視頻監(jiān)控系統(tǒng)不能實(shí)現(xiàn)遠(yuǎn)程控制現(xiàn)場設(shè)備，無法處理緊急事件，不夠智能化。當(dāng)今視頻監(jiān)控系統(tǒng)正向著小型化、智能化、網(wǎng)絡(luò)化的嵌入式系統(tǒng)發(fā)展[1]。針對(duì)這一問題，本系統(tǒng)采用手機(jī)平板等移動(dòng)終端作為監(jiān)控端[2-3]，可以遠(yuǎn)程登錄服務(wù)器觀看現(xiàn)場視頻，并且當(dāng)有非法闖入時(shí)，實(shí)現(xiàn)遠(yuǎn)程控制現(xiàn)場報(bào)警設(shè)備并抓拍入侵者圖片的功能。Cortex-A8是ARM開發(fā)的第一款超變量處理器，并具非常高的功率效率。本文應(yīng)用mjpg_streamer網(wǎng)絡(luò)視頻服務(wù)器、GPRS技術(shù)、Web服務(wù)器、BOA服務(wù)器并結(jié)合Cortex_A8控制器和Cortex_M0監(jiān)控終端，實(shí)現(xiàn)遠(yuǎn)程預(yù)警和實(shí)時(shí)控制。

1 系統(tǒng)構(gòu)成

系統(tǒng)由信息采集終端、信息處理中心、GSM遠(yuǎn)程控制模塊和PC監(jiān)視模塊4部分組成，如圖1所示。

圖1 系統(tǒng)框架圖

信息采集終端以Cortex_M0為核心，采集監(jiān)控現(xiàn)場信息，并產(chǎn)生預(yù)警。信息處理中心以Cortex_A8為核心，處理分析由信息采集終端采集的信息；網(wǎng)絡(luò)視頻服務(wù)器mjpg_streamer運(yùn)行于信息處理中心，為用戶提供實(shí)時(shí)視頻監(jiān)控與圖像抓取服務(wù)。PC監(jiān)視模塊通過Internet網(wǎng)絡(luò)與Cortex_A8相連，通過TCP/IP協(xié)議進(jìn)行數(shù)據(jù)傳輸[4]，實(shí)現(xiàn)實(shí)時(shí)監(jiān)測。手機(jī)通過GMS網(wǎng)絡(luò)發(fā)送命令給信息處理中心，控制警報(bào)器；通過WiFi網(wǎng)絡(luò)登陸B(tài)OA服務(wù)器，再利用網(wǎng)絡(luò)視頻服務(wù)器mjpg_streamer實(shí)現(xiàn)實(shí)時(shí)視頻監(jiān)控。

2 硬件實(shí)現(xiàn)

2.1 信息處理中心設(shè)計(jì)

信息處理中心采用三星公司生產(chǎn)的S5PV210處理器，該處理器與Ipone4的A4處理器(三星制造)擁有相同的架構(gòu)。S5PV210內(nèi)含ARM Cortex-A8內(nèi)核，使用ARMV7指令集，具有2000DMIPS的運(yùn)算能力，支持高速通信口 I2C、SPI、UART，內(nèi)嵌NVIC中斷控制器。

信息處理中心的主要作用是：1)接收/發(fā)送命令，控制Cortex-M0；2)運(yùn)行BOA服務(wù)器和網(wǎng)絡(luò)視頻服務(wù)器mjpg_streamer，實(shí)現(xiàn)手機(jī)登陸與實(shí)時(shí)視頻監(jiān)控；3)通過GSM網(wǎng)絡(luò)接收/發(fā)送短信，控制Cortex-M0，預(yù)警并采取應(yīng)急措施；4)將實(shí)時(shí)監(jiān)控信息傳遞給PC機(jī)或手機(jī)端，見圖2。

圖2 信息處理中心

信息采集終端與信息處理中心的通信采用的是ZigBee通信模塊，它具有優(yōu)良的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，便于組網(wǎng)。ZigBee無線通信設(shè)備[5-7]采用ZICM2410，該模塊提供了多種數(shù)據(jù)接口。本系統(tǒng)采用UART串口與Cortex-A8相連。

攝像頭采用飛凌公司生產(chǎn)ov9650，130萬像素。ov9650通過I2C總線掛載到Cortex-A8處理器上。

2.2 信息采集中心設(shè)計(jì)

信息采集終端由Cortex-M0內(nèi)核、RFID射頻刷卡模塊、三軸加速感應(yīng)器、報(bào)警器等構(gòu)成。信息采集端構(gòu)成如圖3所示。

圖3 信息采集中心

主控制器采用恩智浦公司生產(chǎn)的LPC1114，它是Cortex-M0系列低功耗32位處理器，最高可以工作到50MHz，運(yùn)轉(zhuǎn)速度快，功耗低，抗干擾，能力強(qiáng)；RFID模塊采用采用基于ISO14443標(biāo)準(zhǔn)的非接觸卡讀卡機(jī)專用芯片，支持MIFARE標(biāo)準(zhǔn)的加密算法，RFID讀卡模塊通過SPI0接口與Cortex-M0進(jìn)行連接。

ZigBee與Cortex-M0之間的連接采用的是雙向SPI到UART轉(zhuǎn)換芯片SC16IS752，節(jié)省了片上有限的UART資源。

三軸加速度感應(yīng)器采用飛思卡爾公司的MMA7455L感應(yīng)器?，F(xiàn)場布控多個(gè)三軸加速度感應(yīng)器，當(dāng)有人闖入時(shí)，觸碰三軸重力感應(yīng)器，瞬間感知，同時(shí)Cortex-M0采集數(shù)據(jù)。若闖入防區(qū)的人RFID刷卡身份驗(yàn)證正確，警報(bào)消除，否則發(fā)送報(bào)警信息，攝像頭拍照攝像并保存。

3 軟件設(shè)計(jì)

3.1 服務(wù)器端主程序的設(shè)計(jì)

主程序首先進(jìn)行初始化各個(gè)線程互斥鎖，并創(chuàng)建9個(gè)線程。起主要作用的模塊是接收客戶端請求模塊，傳送命令模塊，拍照模塊，信息接收和發(fā)送模塊和預(yù)警模塊。線程之間的關(guān)系如圖4所示。

圖4 主程序各個(gè)線程之間的關(guān)系

主程序首先初始化各個(gè)線程鎖，創(chuàng)建各個(gè)線程，線程打開設(shè)備后，即進(jìn)入等待態(tài)，等待被喚醒。pthread_transfer線程接收M0傳送過來的數(shù)據(jù)，并進(jìn)行分析。若數(shù)據(jù)超出限制，會(huì)首先發(fā)送短信通知用戶，并打開某些設(shè)備如LED燈、蜂鳴器等，采取應(yīng)急措施。用戶可以登錄到服務(wù)器，查看當(dāng)前實(shí)時(shí)視頻情況，進(jìn)行拍照，并能夠通過GPRS發(fā)送短信，打開或者關(guān)閉某些設(shè)備，以做一些應(yīng)急處理。每個(gè)線程會(huì)一直循環(huán)運(yùn)行，時(shí)刻監(jiān)控環(huán)境信息并處理。圖5表示監(jiān)控系統(tǒng)一次循環(huán)的過程。

圖5 監(jiān)控系統(tǒng)流程圖

3.2 GPRS軟件接收/發(fā)送短信實(shí)現(xiàn)部分

接收/發(fā)送短信的線程首先對(duì)串口進(jìn)行初始化，然后發(fā)送短信線程處于等待態(tài)，接收短信線程則一直處于阻塞狀態(tài)。如果環(huán)境狀況超出限制，會(huì)喚醒發(fā)送短信線程，向用戶發(fā)出預(yù)警。用戶可以通過發(fā)短信的方式，向GPRS發(fā)送短信，GPRS根據(jù)消息內(nèi)容，向請求線程發(fā)送消息隊(duì)列，觸發(fā)某些線程做出應(yīng)急處理。其中在發(fā)送過程中構(gòu)建的消息包括3段：中心號(hào)碼段、收信方號(hào)碼段和信息段。GPRS發(fā)送一次短信的流程圖如圖6所示，接收一次短信的流程圖如圖7所示。

圖6 發(fā)送短信流程

圖7 接收短信流程

3.3 實(shí)時(shí)視頻監(jiān)控部分的實(shí)現(xiàn)

攝像頭正常使用需要攝像頭驅(qū)動(dòng)的支持，并需要移植網(wǎng)絡(luò)視頻服務(wù)器mjpg_streamer和jpeg庫，以實(shí)現(xiàn)視頻流的呈現(xiàn)和現(xiàn)場畫面的抓拍。網(wǎng)絡(luò)視頻服務(wù)器mjpg_streamer是開源工程，能夠?qū)?shù)據(jù)以壓縮形式顯示，降低CPU的使用率，節(jié)省嵌入式資源，適合嵌入式開發(fā)。mjpg_streamer的輸入插件依賴于libjpeg庫，因此，首先移植jpeg庫。jpeg庫的移植過程如下所示：

1)解壓源碼并配置

MYM tar xvf jpegsrc.v8b.tar.gz

MYM ./configure --prefix=/home/linux/project/jpeg --host=arm-none-linux-gnueabi

2)編譯并安裝

MYM make && make install

此時(shí)，jpeg庫編譯生成的文件被安裝在目錄/home/linux/project/jpeg下。

mjpeg_streamer庫的移植如下所示：

1)解壓源碼并配置

MYM tar xvf mjpg-streamer-r63.tar.gz

修改頂層Makefile文件及所有plugins子目錄中的Makefile文件，將CC改成arm-none-linux-gnueabi-gcc。

2)指定libjpeg所在的路徑并編譯

修改plugins/input_uvc/Makfile。

修改 CFLAGS += -O2 -DLINUX -D_GNU_SOURCE -Wall -shared -fPIC為CFLAGS+=-O2 -DLINUX -D_GNU_SOURCE -Wall -shared -fPIC -I/home/linux/jpeg/include。

修改 MYM(CC) MYM(CFLAGS) -ljpeg -o MYM@ input_uvc.c v4l2uvc.lo jpeg_utils.lo dynctrl.lo為 MYM(CC) MYM(CFLAGS) -ljpeg -L/home/linux/jpeg/lib -o MYM@ input_uvc.c v4l2uvc.lo jpeg_utils.lo dynctrl.lo。

執(zhí)行make命令，將編譯生成的可執(zhí)行文件mjpg_streamer拷貝到bin目錄下，將生成的6個(gè)庫文件拷貝到lib文件夾下。網(wǎng)絡(luò)視頻服務(wù)器移植完成。

本文中使用的攝像頭型號(hào)是OV9650，攝像頭模塊掛接于Cortex_A8板的I2C總線，需要編寫基于I2C子系統(tǒng)的攝像頭驅(qū)動(dòng)。網(wǎng)絡(luò)視頻服務(wù)器mjpg_streamer的輸入插件獲取攝像頭設(shè)備的幀數(shù)據(jù)，輸出插件將幀數(shù)據(jù)轉(zhuǎn)換成圖片或視頻流，用戶能夠獲取實(shí)時(shí)圖片和實(shí)時(shí)畫面。用戶能夠通過PC端或者移動(dòng)終端，同時(shí)登錄網(wǎng)絡(luò)視頻服務(wù)器和BOA服務(wù)器，實(shí)現(xiàn)對(duì)現(xiàn)場監(jiān)控；通過HTML網(wǎng)頁，觸發(fā)相應(yīng)的CGI(Common Gateway Interface)程序，向主程序發(fā)送消息隊(duì)列，主程序捕獲消息隊(duì)列，觸發(fā)相應(yīng)線程，控制設(shè)備。信息處理中心處理分析由信息采集端采集的三軸加速度信息，三軸加速度偏移量為x，y，z，設(shè)平均偏移量為Δ，當(dāng)平均偏移量大于等于10g(g為重力加速度)時(shí)表示有人闖入監(jiān)控區(qū)，用戶也可通過mjpg_streamer監(jiān)控是否有人員闖入。用戶通過RFID驗(yàn)證身份后，預(yù)警解除。

3.4 網(wǎng)頁遠(yuǎn)程控制的實(shí)現(xiàn)

用戶能夠通過手機(jī)端或者PC機(jī)端使用瀏覽器登錄服務(wù)器端。為實(shí)現(xiàn)對(duì)于HTML與CGI程序的解析，需要移植Web服務(wù)器，本系統(tǒng)采用輕型、占用資源較少的BOA服務(wù)器[8]。

配置Web服務(wù)器BOA的過程：下載源碼之后首先修改Makefile的編譯工具；修改BOA的配置文件boa.conf；根據(jù)修改好的配置文件，在文件系統(tǒng)創(chuàng)建BOA服務(wù)器的工作目錄/www，CGI文件的存放目錄/www/cgi-bin。將編寫好的index.html文件拷貝到BOA服務(wù)器的工作目錄，測試BOA服務(wù)器能否正常使用。若通過網(wǎng)頁能夠正常顯示文件index.html則表示W(wǎng)eb服務(wù)器BOA配置成功。

移動(dòng)終端通過瀏覽器登錄服務(wù)器IP地址進(jìn)入HTML編寫的網(wǎng)頁監(jiān)控界面。網(wǎng)頁左側(cè)為現(xiàn)場視頻觀測，右側(cè)為Form遠(yuǎn)程控制標(biāo)簽。點(diǎn)擊Form標(biāo)簽后觸發(fā)action事件，生成.cji可執(zhí)行程序。.cji程序發(fā)送消息隊(duì)列給主程序，根據(jù)不同的消息隊(duì)列喚醒關(guān)閉報(bào)警器線程、打開報(bào)警器或現(xiàn)場攝像頭緊急抓拍線程，實(shí)現(xiàn)遠(yuǎn)程WiFi網(wǎng)絡(luò)控制。

4 實(shí)驗(yàn)

在河北工業(yè)大學(xué)計(jì)算機(jī)軟件學(xué)院樓內(nèi)搭建設(shè)備，進(jìn)行現(xiàn)場實(shí)驗(yàn)。登錄界面如圖8a所示，監(jiān)控界面如圖8b所示。

圖8 手機(jī)登錄界面

將數(shù)字電路繼電器接入報(bào)警電路。在設(shè)防區(qū)入口處安裝RFID刷卡裝置，在門上安放3組三軸加速度感應(yīng)器。分別連接在Cortex-M0的SPI0和I2C端口。試驗(yàn)中入侵設(shè)防區(qū)，并未進(jìn)行身份識(shí)別，觸碰門會(huì)引起三軸重力加速度感應(yīng)器產(chǎn)生偏移量，設(shè)偏移量分別為x，y，z。平均偏移量為

當(dāng)Δ≥10g時(shí)，報(bào)警器觸發(fā)，Cortex-A8通過GPRS網(wǎng)絡(luò)發(fā)送報(bào)警短信給移動(dòng)終端。移動(dòng)終端通過瀏覽器輸入服務(wù)器的IP地址，登錄監(jiān)控界面，觀看現(xiàn)場視頻，并通過在網(wǎng)頁上點(diǎn)擊Form標(biāo)簽，遠(yuǎn)程控制警報(bào)器的開關(guān)和現(xiàn)場圖片抓拍。進(jìn)行入侵實(shí)驗(yàn)30次，并成功報(bào)警30次。觀測48h，未出現(xiàn)誤報(bào)。手機(jī)登錄監(jiān)控視頻清晰，遠(yuǎn)程成功控制警報(bào)器開關(guān)和現(xiàn)場攝像頭抓拍。

5 小結(jié)

系統(tǒng)采用手機(jī)作為遠(yuǎn)程監(jiān)控系統(tǒng)顯示器，視頻監(jiān)控不再受地點(diǎn)限制，可隨時(shí)隨地登錄BOA服務(wù)器和mjpg-streamer服務(wù)器查看現(xiàn)場視頻。采用手機(jī)端作為遠(yuǎn)程監(jiān)控控制端，可以通過ZigBee網(wǎng)絡(luò)登錄Web服務(wù)器關(guān)閉報(bào)警，更加智能，降低誤報(bào)率。

當(dāng)有人闖入監(jiān)控區(qū)，三軸加速度感應(yīng)器感知。本系統(tǒng)會(huì)通過GPRS網(wǎng)絡(luò)發(fā)送短信提醒。在沒有人員在場的情況下，監(jiān)控者可以通過手機(jī)第一時(shí)間得到通知。與傳統(tǒng)監(jiān)控系統(tǒng)相比，具有更高的即時(shí)性。

系統(tǒng)還可以增加煙感、溫濕度感應(yīng)器、可燃?xì)怏w感應(yīng)器等感應(yīng)裝置，實(shí)現(xiàn)多功能監(jiān)測。當(dāng)可燃?xì)怏w超標(biāo)，發(fā)生火災(zāi)等特殊情況發(fā)生時(shí)，可以通過手機(jī)遠(yuǎn)程無線視頻監(jiān)控災(zāi)難現(xiàn)場，在信息處理中心報(bào)警，并打開消防設(shè)備。這樣使報(bào)警系統(tǒng)更加智能化，也使本系統(tǒng)更加安全可靠。

[1]張起貴, 張瑞.基于3G的智能視頻監(jiān)控系統(tǒng)的設(shè)計(jì)[J].電視技術(shù), 2013，37(4)：89-95.

[2]鄭海洲.基于Android平臺(tái)的嵌入式視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].自動(dòng)化儀表，2013，34(9)：30-33.

[3]魏崇毓, 張菲菲.基于Android 平臺(tái)的視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)工程，2012，38(14)：214-216.

[4]高西萍, 曾浩, 程瑤.iphone4手機(jī)視頻監(jiān)控系統(tǒng)的設(shè)計(jì)[J].電視技術(shù)，2012，36(3)：48-50.

[5]楊瑋, 呂科, 張棟, 等.基于 ZigBee 技術(shù)的溫室無線智能控制終端開發(fā)[J].農(nóng)業(yè)工程學(xué)報(bào)，2010，26(3)：198-202.

[6]郭文川，程寒杰，李瑞明，等.基于無線傳感器網(wǎng)絡(luò)的溫室環(huán)境信息監(jiān)測系統(tǒng)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(7)：181-185.

[7]張京，楊啟良，戈振揚(yáng)，等.溫室環(huán)境參數(shù)無線傳感器網(wǎng)絡(luò)監(jiān)測系統(tǒng)構(gòu)建與CC2530傳輸特性分析[J].農(nóng)業(yè)工程學(xué)報(bào), 2013, 29 (7) : 139-147.

[8]趙春媛，李萌，韓會(huì)山，等.基于ARM9的無線視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2012，33(2)：529-534.

耿恒山(1952— )，教授，研究生導(dǎo)師，主研嵌入式系統(tǒng)、嵌入式系統(tǒng)結(jié)構(gòu)。

責(zé)任編輯：許 盈

Research of Video Monitoring System Based on Mobile Terminal

GENG Hengshan, CAO Pengfei,FAN Dongyue, GENG Yuehua, FU Kun, WANG Shaozuo

(SchoolofComputerScienceandSoftware,HebeiUniversityofTechnology,Tianjin300401,China)

Network video server mjpg_streamer is used in remote video monitoring，real-time monitoring by mobile phone or pad for a specific area and combine with GPRS technology to implement SMS alarm function。The mobile terminal can log on the Web server to remote control devices to take emergency measures by ZigBee network .System information processing center uses Cortex-A8core analyzer and process the information from the information collection center, PC and mobile terminal.Information collection center uses Cortex-M0core to achieve warning, collect information and authenticating.The experimental results indicate that the system has high sensitivity, high reliability and good market prospects.

network video; remote monitoring; mobile terminal; Web server; ZigBee network

【本文獻(xiàn)信息】耿恒山, 曹鵬飛, 范東月,等.基于移動(dòng)終端的視頻監(jiān)控系統(tǒng)的研究[J].電視技術(shù),2015，39(3).

國家自然科學(xué)基金項(xiàng)目(31100711)；河北省交通運(yùn)輸廳科學(xué)技術(shù)項(xiàng)目(Y2011087)

TP316

A

10.16280/j.videoe.2015.03.018

2014-04-14