，，，

(西南交通大學(xué) 電氣工程學(xué)院, 成都611756)

引　言

近些年來(lái)，隨著社會(huì)的發(fā)展，人們對(duì)自身的安全以及財(cái)產(chǎn)保護(hù)意識(shí)愈發(fā)的凸顯出來(lái)[1]，基于安防的視頻監(jiān)控系統(tǒng)技術(shù)也在不斷地提高。而在智能家居領(lǐng)域，視頻監(jiān)控系統(tǒng)作為其重要的一部分，實(shí)時(shí)地監(jiān)控家居內(nèi)部異常情況對(duì)保護(hù)我們自身的安全以及財(cái)產(chǎn)就顯得非常重要。而傳統(tǒng)的智能家居視頻監(jiān)控系統(tǒng)，需有專門人員集中注意力在客戶端軟件上不間斷地查看監(jiān)控畫面，來(lái)判斷是否有外來(lái)人員以及其它相關(guān)的異常情況發(fā)生。因此，智能家居系統(tǒng)就顯得不那么智能。隨著時(shí)間的發(fā)展，天津理工大學(xué)的屈鵬設(shè)計(jì)了可以檢測(cè)到室內(nèi)物體的移動(dòng)并且利用GPRS模塊給主人發(fā)送短信報(bào)警的系統(tǒng)[2]，而這種系統(tǒng)的缺點(diǎn)就是會(huì)將室內(nèi)的運(yùn)動(dòng)物體全部檢測(cè)出來(lái)。

若家居主人有養(yǎng)著寵物貓或者寵物狗，這些小動(dòng)物的活動(dòng)會(huì)造成系統(tǒng)的錯(cuò)誤報(bào)警，并不是十分符合家居里面的實(shí)際情況。隨著計(jì)算機(jī)視覺的快速發(fā)展，計(jì)算機(jī)視覺技術(shù)也在不斷地融入視頻監(jiān)控中。

目前走在智能視頻監(jiān)控系統(tǒng)前列的為美國(guó)和歐盟，美國(guó)的以Carnegie Mellon University和DAVID SARNOFF公司為主的研究機(jī)構(gòu)的VSAM項(xiàng)目開發(fā)的智能視頻監(jiān)控系統(tǒng)堪稱經(jīng)典，主要用于未來(lái)戰(zhàn)爭(zhēng)中不適宜或者人力無(wú)法監(jiān)控的場(chǎng)合[3]。

而國(guó)內(nèi)智能視頻監(jiān)控處于起步和發(fā)展階段，能夠?qū)ΡO(jiān)控圖像實(shí)現(xiàn)自動(dòng)分析、目標(biāo)識(shí)別、目標(biāo)跟蹤，但目前均是將視頻傳送至PC端后，利用OpenCV技術(shù)完成相應(yīng)的智能檢測(cè)[4]。近十年來(lái)，計(jì)算機(jī)技術(shù)得到了飛速發(fā)展，嵌入式技術(shù)與圖像處理技術(shù)的結(jié)合已經(jīng)成為視頻監(jiān)控的主流研究方向[5]。一種直接在嵌入式系統(tǒng)中融入智能識(shí)別和檢測(cè)的低功耗、成本適中的新型智能家居視頻監(jiān)控系統(tǒng)應(yīng)運(yùn)而生。

1　系統(tǒng)的總體設(shè)計(jì)

根據(jù)智能家居視頻監(jiān)控的需要，綜合成本、實(shí)用性考慮。系統(tǒng)硬件方面采用Cotex-A9架構(gòu)的三星Exynos4412高效、低成本處理器作為本系統(tǒng)的嵌入式系統(tǒng)處理器。選取羅技C170 USB攝像頭直接插在主板上用來(lái)采集視頻數(shù)據(jù)，SIM908芯片功能板內(nèi)嵌的GPRS模塊通過(guò)串口與主板進(jìn)行連接進(jìn)行短信報(bào)警，最后通過(guò)以太網(wǎng)口連接到互聯(lián)網(wǎng)上。硬件實(shí)物圖如圖1所示。

圖1　系統(tǒng)硬件實(shí)物圖

系統(tǒng)軟件方面移植了當(dāng)今嵌入式行業(yè)主流的實(shí)時(shí)性操作系統(tǒng)Linux，以及具有強(qiáng)大的圖像處理能力的OpenCV(計(jì)算機(jī)視覺庫(kù))來(lái)實(shí)時(shí)地處理采集到的視頻圖像數(shù)據(jù)。此外作者還針對(duì)不同平臺(tái)以及不同用戶的需要，在系統(tǒng)的服務(wù)器中融合了B/S架構(gòu)，又融合了傳統(tǒng)的C/S架構(gòu)模式。B/S架構(gòu)使得用戶可以通過(guò)電腦以及手機(jī)連接網(wǎng)絡(luò)，登錄網(wǎng)頁(yè)查看視頻信息，C/S架構(gòu)中開發(fā)了具有豐富的圖形化界面以及移植性強(qiáng)的Qt客戶端。系統(tǒng)的總體結(jié)構(gòu)框圖如圖2所示。

圖2　系統(tǒng)總體結(jié)構(gòu)框圖

2　系統(tǒng)的總體實(shí)現(xiàn)

整個(gè)系統(tǒng)是在嵌入式Linux操作系統(tǒng)下開發(fā)完成的。Linux操作系統(tǒng)具有可靠性高、移植性強(qiáng)、內(nèi)核可裁剪、運(yùn)行速度快、實(shí)時(shí)性好等特點(diǎn)。而Linux系統(tǒng)在ARM中的啟動(dòng)流程一般分為三個(gè)部分，首先板子上電會(huì)啟動(dòng)U-boot完成一些軟硬件的初始化工作，U-boot啟動(dòng)成功之后開始加載內(nèi)核，最后再掛載根文件系統(tǒng)完成整個(gè)操作系統(tǒng)的啟動(dòng)。

系統(tǒng)的整體代碼實(shí)現(xiàn)是在主程序中開啟了三個(gè)子線程，線程之間相互獨(dú)立。其中一個(gè)子線程負(fù)責(zé)圖像的檢測(cè)識(shí)別報(bào)警功能；另兩個(gè)子線程主要負(fù)責(zé)視頻圖像的傳輸功能；主線程負(fù)責(zé)視頻圖像的采集，并將采集到的數(shù)據(jù)存放在一個(gè)全局buffer緩沖區(qū)里面提供給其他線程使用，從而達(dá)到系統(tǒng)的總體要求。開啟線程代碼如下：

pthread_create(&qt_tid,NULL,thread_qt,NULL);

//負(fù)責(zé)Qt端的通信及數(shù)據(jù)的傳輸

pthread_create(&web_tid,NULL,thread_web, NULL);

//負(fù)責(zé)web瀏覽器端的通信及數(shù)據(jù)傳輸

pthread_create(&detect_tid,NULL,thread_detect,NULL);

//負(fù)責(zé)圖像的檢測(cè)和GPRS報(bào)警功能

2.1　視頻圖像的采集

系統(tǒng)視頻圖像的采集是根據(jù)V4L2(Vedio 4 Linux 2)視頻采集程序框架結(jié)構(gòu)實(shí)現(xiàn)的。V4L2是Linux中關(guān)于視頻設(shè)備的內(nèi)核驅(qū)動(dòng)。在Linux中，視頻設(shè)備是設(shè)備文件，可以像訪問普通文件一樣對(duì)其進(jìn)行讀寫，攝像頭在/dev/video0下。所以將USB攝像頭插在移植了Linux操作系統(tǒng)的開發(fā)板上面，只需對(duì)/dev/video0這個(gè)設(shè)備文件進(jìn)行讀寫操作就可以完成整個(gè)視頻圖像的采集。整個(gè)視頻圖像的采集流程圖如圖3所示。

圖3　圖像采集流程圖

2.2　視頻圖像的處理

系統(tǒng)將OpenCV直接移植到ARM上面，使得系統(tǒng)在ARM上可以直接對(duì)采集到的視頻圖像進(jìn)行處理分析，然后報(bào)警。克服了傳統(tǒng)的視頻監(jiān)控需將視頻傳送到PC端后才能進(jìn)行檢測(cè)和分析的問題，同時(shí)利用HOG特征算法以及SVM分類器使得可以檢測(cè)到視頻中是否有人員的入侵。一旦發(fā)現(xiàn)有外人入侵室內(nèi)，系統(tǒng)將會(huì)自動(dòng)啟動(dòng)GPRS模塊發(fā)送短信到用戶的手機(jī)上面進(jìn)行報(bào)警和通知，并且將檢測(cè)到有人圖像的第一幀圖片保存到本地進(jìn)行取證。

2.2.1HOG特征算法

圖4　HOG特征檢測(cè)算法步驟

HOG(Histogram of Oriented Gridients)特征檢測(cè)算法，最先是由法國(guó)的Dala等人在CVPR-2005上提出來(lái)的，是一種解決人體目標(biāo)檢測(cè)的圖像描述法，主要是用來(lái)表征圖像局部梯度方向和梯度強(qiáng)度分布特性的描述符。其算法的主要思想是：在不知道邊緣的具體位置的時(shí)候，邊緣方向的分布同樣也可以很好地表示人體目標(biāo)的外形輪廓。HOG特征檢測(cè)算法的具體步驟如圖4所示。

顏色空間歸一化：由于圖像的采集環(huán)境、裝置等因素，采集到的圖像效果可能不是很好，容易出現(xiàn)誤檢或漏檢的情況，所以需要對(duì)采集到的圖像進(jìn)行預(yù)處理，主要是處理光線太暗或太強(qiáng)的情況。這里有兩次處理：圖像灰度化、Gamma校正。圖像的灰度化是對(duì)于一張彩色的圖片，將其RGB分量轉(zhuǎn)化成灰度圖像，轉(zhuǎn)化公式為：

Gray=0.3×R+0.59×G+0.11×B

Gamma校正：Gamma校正通常是在圖像照度不均勻時(shí)，提高或者降低圖像的整體亮度。目前較用平方根法和對(duì)數(shù)法兩種方式來(lái)進(jìn)行Gamma標(biāo)準(zhǔn)化。本文采用的是兩種方式之一的平方根法，公式如下：

Y(x,y)=I(x,y)γ

(2)

(3)

梯度方向直方圖：通常情況下，我們會(huì)將圖像分劃成若干個(gè)cell(單元)，例如一個(gè)cell的大小為8×8個(gè)像素，相鄰之間的cell不重疊，然后統(tǒng)計(jì)出每個(gè)cell內(nèi)的梯度方向直方圖，再將所有的梯度方向劃分為9個(gè)bin(即9維特征向量)，作為直方圖的橫軸，然后直方圖的縱軸為角度范圍所對(duì)應(yīng)的梯度累加值，每個(gè)bin的角度范圍如圖5所示。

圖5　bin的角度范圍

重疊塊直方圖歸一化：因?yàn)橛兄植抗庹蘸颓熬氨尘皩?duì)比度的變化，這樣就會(huì)造成梯度強(qiáng)度的變化范圍非常之大，由此就必須對(duì)梯度強(qiáng)度做歸一化處理。本文使用的方法是:把各個(gè)單元塊組合成空間上連通的、大的區(qū)間(blocks)。這樣，一個(gè)block內(nèi)所有的cell的特征串聯(lián)起來(lái)便是這個(gè)block的HOG特征。同時(shí)這些blocks是有相互重疊的，這就說(shuō)明：每一個(gè)單元格的特征會(huì)以不同的結(jié)果多次出現(xiàn)在最后的特征向量中，我們將歸一化后的塊描述符(向量)稱作HOG描述符。

HOG特征：最后就是將檢測(cè)窗口里面所有重疊的塊進(jìn)行HOG特征的收集，然后結(jié)合成最終的特征向量來(lái)給分類器使用。

2.2.2SVM分類算法

SVM(Support Vector Machine)指的是支持向量機(jī)，是常見的一種判別方法。在機(jī)器學(xué)習(xí)領(lǐng)域是一個(gè)有監(jiān)督的學(xué)習(xí)模型，通常用來(lái)進(jìn)行模式識(shí)別、分類以及回歸分析。圖6為SVM分類器的計(jì)算方式，一共包含了乘法累加器模塊、訓(xùn)練器模塊、比較器共三個(gè)模塊。首先是由SVM對(duì)訓(xùn)練圖形庫(kù)進(jìn)行訓(xùn)練然后得到一個(gè)系數(shù)wT和閾值φ。然后由乘法累加器模塊將HOG的描述值X與wT相乘然后再進(jìn)行累加。最后，比較器模塊將由累加器模塊得到的結(jié)果與訓(xùn)練模塊得到的閾值φ做對(duì)比，來(lái)判斷是否有人的存在，檢測(cè)結(jié)果如圖7所示。

圖6　SVM分類器計(jì)算流程

圖7　檢測(cè)結(jié)果

2.2.3GPRS報(bào)警模塊

系統(tǒng)選用的是內(nèi)嵌SIM908芯片的功能板。SIM908 是一款集成GPS導(dǎo)航技術(shù)的4頻GSM/GPRS模塊，緊湊的模塊尺寸將GPRS和GPS整合在SMT封裝里。由于系統(tǒng)是基于智能家居視頻監(jiān)控而設(shè)計(jì)的，已經(jīng)知道家居所在位置，所以系統(tǒng)只選取了GPRS模塊進(jìn)行短信報(bào)警通知。

2.3　視頻圖像的傳輸

由于系統(tǒng)為了滿足不同平臺(tái)的需求，所以在服務(wù)器的程序中設(shè)計(jì)了兩種協(xié)議的視頻圖像傳輸功能。使用UDP(用戶數(shù)據(jù)報(bào))協(xié)議來(lái)和Qt客戶端進(jìn)行通信傳輸視頻數(shù)據(jù)，UDP協(xié)議是一種簡(jiǎn)單的無(wú)連接的傳輸層協(xié)議，只需要對(duì)方套接字的地址信息就可以發(fā)送數(shù)據(jù)。使用HTTP(超文本傳輸)協(xié)議來(lái)和瀏覽器進(jìn)行通信，相當(dāng)于在主服務(wù)器程序中融合了一個(gè)小型WEB服務(wù)器。HTTP是一個(gè)屬于應(yīng)用層的面向?qū)ο蟮膮f(xié)議，由于其簡(jiǎn)捷、快速的方式，適用于分布式超媒體信息系統(tǒng)，廣泛應(yīng)用于B/S架構(gòu)中。

2.4　視頻圖像的顯示

視頻圖像的顯示主要是在客戶端以及瀏覽器上面的顯示，本系統(tǒng)的服務(wù)器程序的設(shè)計(jì)既可以滿足C/S架構(gòu)，又可以同時(shí)兼容B/S架構(gòu)。C/S架構(gòu)是以Qt5開發(fā)的客戶端，Qt是一個(gè)多平臺(tái)的C++圖形用戶界面應(yīng)用程序框架[6]。它提供給應(yīng)用程序開發(fā)者建立藝術(shù)級(jí)的圖形用戶界面所需的所有功能[7]。

Qt是完全面向?qū)ο蟮恼Z(yǔ)言，因此很容易擴(kuò)展，并且允許真正的組件編程。自從1996年早些時(shí)候Qt進(jìn)入商業(yè)領(lǐng)域，它已經(jīng)成為全世界范圍內(nèi)數(shù)千種成功的應(yīng)用程序的基礎(chǔ)，Qt不僅是流行的Linux[8]桌面環(huán)境KDE的基礎(chǔ)，而且近年來(lái)越來(lái)越多的智能化儀表[9]、虛擬儀表[10]也開始采用Qt作為基本的圖形化操作界面。

同時(shí)Qt具有強(qiáng)大的可移植性，現(xiàn)已可以移植到Android操作系統(tǒng)中，所以在嵌入式領(lǐng)域中廣受歡迎。圖8便是本系統(tǒng)的Qt客戶端界面，左上方是視頻監(jiān)控畫面，右上方是視頻的截圖顯示區(qū)，同時(shí)提供截圖下載按鈕鍵，一旦發(fā)現(xiàn)可疑目標(biāo)人物，保存截圖至本地留作證據(jù)。

當(dāng)前，在視頻監(jiān)控領(lǐng)域中，B/S架構(gòu)模式因其便利的原因，越來(lái)越多的受到用戶的喜愛。所以系統(tǒng)為滿足需求，在服務(wù)器程序中也融合了B/S架構(gòu)模式，使得用戶可以在任意時(shí)間、地點(diǎn)只需要一部手機(jī)或者一臺(tái)電腦以及任何聯(lián)網(wǎng)的智能終端登錄指定的網(wǎng)頁(yè)，就可以實(shí)時(shí)地查看家庭內(nèi)部的視頻信息，如圖9所示。

圖8　Qt客戶端界面

圖9　瀏覽器登錄

3　系統(tǒng)總體測(cè)試

整個(gè)系統(tǒng)完成設(shè)計(jì)之后，需對(duì)整個(gè)系統(tǒng)進(jìn)行測(cè)試，驗(yàn)證系統(tǒng)是否符合預(yù)期結(jié)果。首先對(duì)視頻的網(wǎng)絡(luò)傳輸部分進(jìn)行測(cè)試。

其次再對(duì)系統(tǒng)中的智能識(shí)別部分進(jìn)行測(cè)試，分別對(duì)圖像中人的正面、側(cè)面、背面進(jìn)行測(cè)試。測(cè)試結(jié)果如圖10所示。

圖10　智能識(shí)別部分測(cè)試

最后對(duì)系統(tǒng)進(jìn)行GPRS報(bào)警模塊以及整個(gè)系統(tǒng)的聯(lián)調(diào)測(cè)試，當(dāng)室內(nèi)有人入侵系統(tǒng)時(shí)將發(fā)送報(bào)警短信至用戶手機(jī)，且檢測(cè)到有人入侵的第一幀圖片會(huì)寫入到SD卡中。如圖11所示。

圖11　系統(tǒng)聯(lián)調(diào)測(cè)試結(jié)果

結(jié)　語(yǔ)

本文以智能家居視頻監(jiān)控系統(tǒng)為研究課題，分析了目前智能家居視頻監(jiān)控的發(fā)展?fàn)顩r，結(jié)合實(shí)際成本和應(yīng)用出發(fā)，依托嵌入式技術(shù)，以整體的系統(tǒng)設(shè)計(jì)為目標(biāo)，設(shè)計(jì)了一套基于視覺的圖像處理技術(shù)與嵌入式技術(shù)相結(jié)合的智能家居視頻監(jiān)控系統(tǒng)。

系統(tǒng)以Samsung公司的Exynos4412作為本次系統(tǒng)的核心控制器，通過(guò)USB攝像頭模塊來(lái)對(duì)視頻圖像數(shù)據(jù)進(jìn)行采集，創(chuàng)新性的在嵌入式系統(tǒng)中引入了HOG特征算法和SVM分類器的機(jī)器學(xué)習(xí)的方法來(lái)對(duì)室內(nèi)外來(lái)人員進(jìn)行檢測(cè)，同時(shí)系統(tǒng)兼容C/S和B/S兩種架構(gòu)，滿足了不同場(chǎng)合、不同用戶的需求。

[1] 李立新，李艷文，蔡剛毅，等.基于物聯(lián)網(wǎng)技術(shù)的智能家居安防系統(tǒng)的研究與開發(fā)[J].控制工程，2015,22(5)：1001-1005.

[2] 屈鵬. 基于 ARM 和 Linux 的嵌入式智能家居網(wǎng)絡(luò)視頻監(jiān)控[D]. 天津：天津理工大學(xué)，2017.

[3] COLLINS R, LIPTON A, KANADE T. A system for video surveillance and monitoring[J]VSAM final report,CMU-RI,2000[S.l.]1-68.

[4] 李丹丹，董靜薇，徐博，等. 嵌入式智能視頻監(jiān)控技術(shù)的研究與 OpenCV 實(shí)現(xiàn)[J]. 電視技術(shù)，2017,41(9).

[5] 劉磊，余淑榮，吳明亮. 用 ARM9 實(shí)現(xiàn)移動(dòng)目標(biāo)跟蹤的視頻監(jiān)控系統(tǒng)[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用,2017(12)：25-27.

[6] 成潔，盧紫毅.Linux窗口程序設(shè)計(jì)：Qt4精彩實(shí)例分析[M].北京：清華大學(xué)出版社，2008.

[7] 劉冬.基于Qt4和OpenCV的嵌入式視頻監(jiān)控系統(tǒng)[J].現(xiàn)代電子技術(shù)，2013,36(8)：105.

[8] 陳莉君.Linux操作系統(tǒng)內(nèi)核分析[M].北京：人民郵電出版社，2000.

[9] 陳卿，戴仙金，唐玉國(guó).基于Qt/Embedded的新生兒監(jiān)護(hù)儀軟件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].微計(jì)算機(jī)信息，2012，28(9)：431- 432.

[10] 王潤(rùn)民，趙祥模，惠飛，等.基于嵌入式Linux與QT的汽車虛擬儀表設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2012，35(6)：1-4.

潘青松、曹永鵬(碩士研究生)、張怡(副教授)，主要研究方向?yàn)榍度胧较到y(tǒng)設(shè)計(jì)與應(yīng)用、物聯(lián)網(wǎng)技術(shù)；辛春輝(碩士研究生)，主要研究方法為虛擬現(xiàn)實(shí)與人群仿真。