江爛達，儲 珺，繆 君

(南昌航空大學(xué) 軟件學(xué)院，江西 南昌 330063)

0 引 言

近年來，視頻監(jiān)控系統(tǒng)被廣泛應(yīng)用于社會生活的各個方面。隨著社會安全意識的不斷加強，越來越多的公共場所和居民住宅都開始配備監(jiān)控設(shè)施，以此保障自身和財物安全[1]。然而現(xiàn)有視頻監(jiān)控系統(tǒng)安裝困難；存儲量大；同時系統(tǒng)缺乏智能因素，不能進行身份識別[2]。在這種情況下，多種智能監(jiān)控系統(tǒng)被研究并開始形成產(chǎn)品應(yīng)用在生活中。其中人臉識別以其自身優(yōu)勢，受到了研究人員廣泛的關(guān)注[3,4]?，F(xiàn)有的研究主要是在PC機上使用靜態(tài)人臉圖像實現(xiàn)人臉識別仿真。文獻[5]基于主成分分析(PCA)和最小協(xié)方差行列式方法提取重要的人臉特征，相比傳統(tǒng)PCA方法，該方法提高了遮擋和噪聲干擾下的人臉圖像識別率。文獻[6]采用一種新的基于鄰域保持的鑒別嵌入準(zhǔn)則，并利用Gabor小波變換減輕人臉在光照和表情變化的影響。文獻[7]設(shè)計的基于ZigBee的人臉識別監(jiān)控系統(tǒng)，只是在前端使用人臉檢測，最終還是將人臉圖像傳回PC機輸出識別結(jié)果。

根據(jù)上述視頻監(jiān)控現(xiàn)狀以及研究背景，本文結(jié)合人臉識別技術(shù)、嵌入式技術(shù)與通信技術(shù)，設(shè)計并實現(xiàn)了一個基于ARM平臺下的人臉識別智能監(jiān)控系統(tǒng)。針對LBP人臉識別算法在保證實時識別前提下，需要縮小圖像而導(dǎo)致分辨率降低，因而不能在ARM開發(fā)板上識別1.5 m以外的人臉的問題。本文首先采用計算量小的ViBe算法提取視頻監(jiān)控區(qū)域內(nèi)的運動目標(biāo)，再對檢測到的運動目標(biāo)區(qū)域完成人臉識別功能。通過改進，系統(tǒng)能夠快速準(zhǔn)確識別較遠(yuǎn)距離的非法闖入者，并給出報警處理，更加滿足現(xiàn)在市場對視頻監(jiān)控系統(tǒng)功能的要求。

1 系統(tǒng)方案論述

本文的研究方案是設(shè)計一款基于ARM平臺下，設(shè)計一款隱蔽性強、經(jīng)濟實用、性能穩(wěn)定和操作簡便的遠(yuǎn)程人臉識別系統(tǒng)。該系統(tǒng)可以對監(jiān)控區(qū)域內(nèi)人員實時進行身份識別，實現(xiàn)智能監(jiān)控的目的。該系統(tǒng)主要具有以下幾種功能：

(1)智能監(jiān)控系統(tǒng)具有運動目標(biāo)檢測功能。一般監(jiān)控場景中攝像頭是固定的，因此可以通過建立背景模型，應(yīng)用背景差分法檢測到是否出現(xiàn)運動目標(biāo)，實現(xiàn)初步預(yù)警。同時也為后續(xù)的目標(biāo)身份識別鎖定處理區(qū)域，提高系統(tǒng)實時性；

(2)智能監(jiān)控系統(tǒng)可以實現(xiàn)人臉識別功能。對出現(xiàn)在監(jiān)控區(qū)域的人員進行身份識別，如果是陌生人闖入，自動提示用戶處理；

(3)智能監(jiān)控系統(tǒng)具有自動報警功能。如果監(jiān)控區(qū)域被非法闖入，系統(tǒng)在自動記錄信息的同時自動啟動報警裝置；

(4)系統(tǒng)基于ARM開發(fā)板作為運行平臺，底板擁有豐富的外圍接口，可擴展功能強。

針對上述研究方案，設(shè)計了如圖1所示系統(tǒng)總體結(jié)構(gòu)，先使用ViBe算法對監(jiān)控區(qū)域?qū)崿F(xiàn)運動目標(biāo)檢測，再對檢測到的運動目標(biāo)進行人臉檢測和識別功能。如果是合法用戶，則不報警。如果非法用戶闖入監(jiān)控區(qū)域，系統(tǒng)將發(fā)出警報聲并通過短信或者電話的方式遠(yuǎn)程提醒使用者發(fā)生異常。同時保存當(dāng)前視頻幀到服務(wù)器內(nèi)，用戶可以通過移動客戶端登錄服務(wù)器，下載并查看保存的圖片，真實了解家庭狀況。

2 系統(tǒng)硬件設(shè)計

系統(tǒng)使用的硬件設(shè)備主要以O(shè)K210為開發(fā)平臺，子模塊主要有電源、USB攝像頭、GPRS通信模塊和LCD顯示屏。OK210開發(fā)板接收攝像頭捕獲的視頻圖像，完成運動目標(biāo)檢測與人臉識別工作。LCD顯示屏顯示識別結(jié)果。監(jiān)控區(qū)域被非法闖入時，蜂鳴器發(fā)出警報聲，同時GPRS模塊撥打電話或者發(fā)送短信給用戶進行報警處理。系統(tǒng)硬件架構(gòu)如圖2所示。

圖1 系統(tǒng)總體結(jié)構(gòu)圖

圖2 系統(tǒng)硬件架構(gòu)

OK210是飛凌公司研發(fā)的高性能ARM嵌入式計算機核心模塊。主處理器是SAMSUNG S5PV210，主頻最高可達1 GHz，作為最流行的ARM處理器之一，SAMSUNG S5PV210是許多視頻圖像處理應(yīng)用的理想選擇。OK210開發(fā)板支持HDMI音視頻同步輸出，擁有豐富的外圍設(shè)備擴展模塊。并通過了CE和FCC認(rèn)證，擁有可靠的保障。針對上述OK210計算性能及其相對低廉的價格，系統(tǒng)采用OK210作為主處理器。OK210核心板框架如圖3所示。

圖3 OK210核心板框架

3 系統(tǒng)軟件設(shè)計

系統(tǒng)主要在Ubuntu15.04上使用QT4.8.6完成程序的編譯和調(diào)試，并最終移植到基于嵌入式Linux系統(tǒng)的ARM開發(fā)板上運行。在系統(tǒng)移植前，需要搭建運行環(huán)境。首先在開發(fā)板上移植vsftpd服務(wù)器，用于保存系統(tǒng)截取的圖片，并提供給用戶下載查看。然后在Ubuntu上交叉編譯OpenCV和QT，以及兩者的相關(guān)依賴庫。最后將交叉編譯生成的文件拷貝到開發(fā)板的相關(guān)目錄，配置好環(huán)境變量[8]，即可執(zhí)行程序運行命令。系統(tǒng)包含5個主要功能模塊：圖像采集、運動目標(biāo)檢測、人臉檢測、人臉識別和Android客戶端實現(xiàn)。

3.1 圖像采集

系統(tǒng)使用V4L2打開USB攝像頭實現(xiàn)視頻圖像采集工作。V4L2是一個在Linux系統(tǒng)下視頻驅(qū)動的API接口，很大程度上簡化了進行視頻系統(tǒng)開發(fā)和維護所需要的工作[9]。V4L2提供內(nèi)存映射和直接讀取兩種圖像采集方式。本系統(tǒng)選擇內(nèi)存映射方式，通過采集視頻信號，并將數(shù)字化的圖像直接保存在內(nèi)存當(dāng)中，防止直接讀取方式可能出現(xiàn)阻塞，而導(dǎo)致系統(tǒng)不穩(wěn)定情況的發(fā)生。

3.2 運動目標(biāo)檢測

系統(tǒng)采用ViBe算法實現(xiàn)對運動目標(biāo)的檢測。ViBe算法是一種基于樣本隨機聚類的背景建模算法[10]。相對于其它前景提取算法，ViBe算法計算量小，內(nèi)存占用較少，在ARM開發(fā)板上能實時且更好的檢測到運動目標(biāo)。ViBe算法分為3個主要內(nèi)容：

(1)建立背景模型：VIBE算法僅僅使用一幀圖像就可以快速實現(xiàn)背景模型的初始化。隨機選擇每個像素點8鄰域內(nèi)的N個像素值，作為其模型的樣本值，這樣就構(gòu)建了每個像素點的背景模型M(x)。

(2)前景檢測：對于待分類像素點x的像素v(x)，計算以v(x)為中心，R為半徑的球體SR(v(x))與M(x)的交集，如果交集數(shù)滿足給定的閾值#min(本文#min值為2)，即若

#{SR(v(x))∩{v1,v2,…,vN}}≥#min

(1)

則判定這個像素點x屬于背景點，否則，判定像素點x為前景點。

(3)更新背景模型：如果某一像素點是前景點，那么它有1/φ的概率更新其所對應(yīng)M(x)中的一個樣本值。同時隨機更新其鄰域中的樣本值。此外，當(dāng)某一像素點被連續(xù)K次檢測為前景時，將其判定為背景，并更新其背景模型。

若有人闖入監(jiān)控區(qū)域，系統(tǒng)將會通過目標(biāo)檢測鎖定該區(qū)域，隨后通過人臉識別技術(shù)實現(xiàn)身份認(rèn)證。很多情況下，系統(tǒng)只會把人身體部分作為最大外接矩形，而把頭部排除在外。這樣將會極大降低人臉識別率，影響系統(tǒng)的實用性。針對這個問題，通過把求得的最大外接矩形位置上移，人臉區(qū)域?qū)⒈话鼑诰匦螀^(qū)域內(nèi)。由于人臉是在身體上部，因此系統(tǒng)只對矩形區(qū)域的上面部分圖像進行人臉識別，進一步縮小了運行時間。通過實驗，本系統(tǒng)將最大外接矩形位置上移其高度的1/2，同時在矩形上方占其高度2/3的圖像區(qū)域內(nèi)進行人臉檢測和識別。圖4(a)所示此時人臉并沒有被包圍在矩形區(qū)域內(nèi)；圖4(b)人臉圖像被包含在上移矩形區(qū)域內(nèi)；圖4(c)通過只處理矩形區(qū)域的上面部分，減少人臉識別所需時間，提高系統(tǒng)實時性。

圖4 外接矩形的選擇實驗

3.3 人臉檢測

針對ARM開發(fā)板硬件資源受到限制的原因，本系統(tǒng)采用較容易實現(xiàn)的AdaBoost人臉檢測算法來檢測人臉。該算法包含3個關(guān)鍵要素：采用積分圖實現(xiàn)特征的快速計算、使用AdaBoost分類學(xué)習(xí)方法以及設(shè)計級聯(lián)結(jié)構(gòu)獲得高效的分類策略。AdaBoost已經(jīng)成為許多人臉識別系統(tǒng)優(yōu)先選擇的人臉檢測算法，因為其不僅可以滿足實時性要求，而且還有很高的檢測率。在開始運行系統(tǒng)實現(xiàn)之前，需要創(chuàng)建用戶數(shù)據(jù)庫。通過人臉檢測模塊為用戶創(chuàng)建人臉庫，并為每張人臉照片匹配對應(yīng)的名字和標(biāo)識ID。人臉庫內(nèi)數(shù)據(jù)代表合法用戶，如果在視頻監(jiān)控中捕獲的人臉數(shù)據(jù)與人臉庫不匹配，表示非法闖入，將觸發(fā)報警機制。

經(jīng)過實驗驗證，AdaBoost算法可以在較為簡單背景下，快速準(zhǔn)確的檢測并標(biāo)識出人臉。但是在監(jiān)控視頻中，AdaBoost對背景變化非常敏感，很容易將類似人臉區(qū)域檢測為人臉，存在誤檢率較高的問題。而本文設(shè)計的只在運動目標(biāo)區(qū)域內(nèi)檢測人臉，可以排除復(fù)雜背景中存在的類似人臉區(qū)域，更好地實時準(zhǔn)確檢測到人臉。

3.4 人臉識別

LBP算法能夠有效度量和提取圖像局部紋理信息，具有旋轉(zhuǎn)不變性和灰度不變性等特性[11]。該算法計算簡便，運算效率高，適合在ARM開發(fā)板上運行。所以，本系統(tǒng)選擇使用LBP算法對檢測到的人臉，實現(xiàn)面部特征的提取和識別。該算法的主要思想是：將窗口中心像素點的灰度值設(shè)為閾值，然后將鄰域像素點的灰度值與該值進行差值比較。得到的值正數(shù)取為1，負(fù)數(shù)取為0。最后將所有數(shù)值串聯(lián)成一個二進制數(shù)，以此表示圖像的局部紋理特征值。LBP人臉識別主要分為以下幾步：

(1)將一張圖片分成若干個圖片子區(qū)域；

(2)對于每個子區(qū)域中的一個像素，計算該像素點的LBP值；

(3)計算每個子區(qū)域的直方圖，然后對該直方圖進行歸一化處理；

(4)將得到的每個子區(qū)域的統(tǒng)計直方圖連接成為一個特征向量，得到了整幅圖的LBP紋理特征向量；將待識別人臉圖像的LBP特征向量，與人臉數(shù)據(jù)庫中各張人臉圖像的LBP特征向量進行相似度計算，最終判定該張人臉是否與人臉庫已注冊的人臉匹配。

3.5 Android客戶端實現(xiàn)

在檢測到有陌生人入侵監(jiān)控區(qū)域時，系統(tǒng)會自動截取圖片保存在FTP服務(wù)端上。用戶可以使用設(shè)計的一款基于Android的FTP客戶端，下載和查看服務(wù)器里的圖片，更加清楚了解家庭狀況。移動客戶端開發(fā)流程如圖5所示。首先客戶端發(fā)送連接請求，如果服務(wù)器偵聽到該連接，會和客戶端建立一個FTP會話。當(dāng)需要進行數(shù)據(jù)傳輸時，客戶端與服務(wù)端會在兩個新建立的端口間進行數(shù)據(jù)操作。操作完成后，斷開與服務(wù)器的連接。

圖5 FTP客戶端流程

4 實驗結(jié)果和分析

為了驗證設(shè)計的這種在檢測到運動目標(biāo)的基礎(chǔ)上，再進行人臉檢測和識別方法的魯棒性和實時性，在不同家庭環(huán)境下，通過同一個USB攝像頭捕獲多段視頻數(shù)據(jù)進行實驗分析。本文上位機測試使用的是聯(lián)想天逸510p臺式機，該機擁有Intel(R) 3.60GHzCPU和4.0GB內(nèi)存，而編程工具主要是VS2010和QT5.10。LBP人臉識別算法中，中心像素點到周圍像素點的距離參數(shù)設(shè)置為3，鄰域像素點個數(shù)為8，圖像的x和y方向各均分為8塊。而LBP特征向量相似度閾值的選擇將會直接影響到人臉識別率，針對家庭情況，本文在距離攝像頭1m到6m的范圍內(nèi)，為5個實驗人員各自創(chuàng)建60張人臉圖像作為人臉庫。在人臉識別算法中，為了達到較高的人臉識別性能，需要平衡誤檢率和漏檢率，本文通過求得人臉庫人臉的類內(nèi)卡方距離與類間卡方距離，得到如圖6所示的卡方距離分布，由圖6中類內(nèi)距離與類間距離曲線的交點可知，98.35為LBP特征向量相似度的最佳閾值，此時人臉識別性能達到最優(yōu)。

圖6 卡方距離分布

如前所述，AdaBoost算法雖然計算速度快，但是在復(fù)雜多變場景下，人臉檢測效果較差，這將不可避免的降低后續(xù)人臉識別率。本文分別用AdaBoost算法和設(shè)計的ViBe+AdaBoost方法，對5個實驗人員在視頻圖像中各自檢測60次人臉。從表1可以看到，AdaBoost算法的誤檢率為24.67%，而設(shè)計的ViBe+AdaBoost算法的誤檢率為9.33%。通過數(shù)據(jù)發(fā)現(xiàn)，在較復(fù)雜背景下，ViBe+AdaBoost算法有效提高了人臉檢測效果。

表1 人臉檢測誤檢率統(tǒng)計

為了驗證系統(tǒng)的人臉識別性能，在保證能實現(xiàn)較遠(yuǎn)距離人臉識別的前提下，將本文設(shè)計的先運動目標(biāo)檢測，再用LBP算法實現(xiàn)人臉識別的方法，與LBP人臉識別和PCA人臉識別算法，在OK210開發(fā)板上進行對比。表2給出了3種方法的識別率和平均識別時間?？梢钥吹?，本文設(shè)計的方法，無論是識別的準(zhǔn)確率還是實時性都要優(yōu)于其余兩種算法。在真實場景中，通過只識別運動目標(biāo)區(qū)域內(nèi)的人臉圖像，可以有效降低人臉識別算法的誤檢率并提高實時性。

表2 人臉識別效果

完整的基于ARM的人臉識別智能監(jiān)控系統(tǒng)實物如圖7所示。LED屏幕上顯示了人機交互界面，界面包含攝像頭實時采集的視頻圖像。用戶可以通過點擊register按鈕建立人臉數(shù)據(jù)庫，點擊recognize按鈕開啟智能監(jiān)控功能。利用數(shù)字鍵盤，用戶可以設(shè)置接收警報的電話號碼。當(dāng)發(fā)生非法入侵時，系統(tǒng)會根據(jù)設(shè)置，通過發(fā)送短信或者撥打電話的方式通知用戶，同時OK210開發(fā)板上的蜂鳴器將會啟動發(fā)出蜂鳴聲，起到一定警示作用。

圖7 系統(tǒng)實物

當(dāng)用戶接收到電話或者短信報警時，可以通過FTP客戶端登錄服務(wù)器，下載并查看具體是誰闖入了家庭，以此采取應(yīng)對措施；圖8(a)為移動客戶端的登陸界面，輸入IP地址，端口和賬號等信息，便可登陸vsftpd服務(wù)器；圖8(b)所示系統(tǒng)所保存的視頻幀文件；圖8(c)所示通過長按每個文件，便可根據(jù)彈出的子對話框，進行相應(yīng)操作；圖8(d)顯示用戶從服務(wù)器上下載到手機本地的圖片文件;圖8(e)顯示其中一張下載的圖像畫面，通過該圖片，用戶可以清楚的了解非法闖入者的相貌特征，掌握到關(guān)鍵證據(jù)。

圖8 Android客戶端操作界面

5 結(jié)束語

本文主要設(shè)計并實現(xiàn)了一種基于ARM平臺下人臉識別智能監(jiān)控系統(tǒng)。詳細(xì)闡述了系統(tǒng)的總體設(shè)計方案，并給出了系統(tǒng)軟硬件平臺的設(shè)計和搭建。本文設(shè)計的先在視頻監(jiān)控中檢測運動目標(biāo)，再進行人臉識別的方法。解決了由于ARM開發(fā)板運算能力不足，無法實現(xiàn)較遠(yuǎn)距離人臉識別功能的問題。同時，通過移動求得最大外接矩形，并只處理矩形的局部區(qū)域提高了系統(tǒng)的識別率與實時性。系統(tǒng)能夠?qū)σ曨l圖像進行采集和分析，自動抓取人臉實時比對，發(fā)現(xiàn)非法目標(biāo)自動報警提示用戶采取應(yīng)對措施。實驗驗證了系統(tǒng)的穩(wěn)定性，為智能視頻監(jiān)控系統(tǒng)的設(shè)計提供了一個完整的解決方案。隨著監(jiān)控行業(yè)的不斷發(fā)展，本文設(shè)計的人臉識別智能監(jiān)控系統(tǒng)將有廣泛的應(yīng)用前景。

[1]ZHANG Bin.The analysis and exploration of intelligent buil-ding security monitoring system[J].China Public Security,2016,13(5):110-113(in Chinese).[張斌.智能樓宇安防監(jiān)控系統(tǒng)建設(shè)的現(xiàn)狀分析和實踐探索[J].中國公共安全,2016,13(5):110-113.]

[2]YUAN Jianfei,YUAN Yuhao,JIAN Dandan.Design and implementation of locomotives video surveillance system based on Hi3521 chip[J].Computer Engineering and Design,2016,37(7):1781-1786(in Chinese).[袁劍飛,袁宇浩,簡丹丹.基于Hi3521的機車視頻監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機工程與設(shè)計,2016,37(7):1781-1786.]

[3]De-la-Torre M,Granger E,Sabourin R,et al.Adaptive skew-sensitive ensembles for face recognition in video surveillance[J].Pattern Recognition,2015,48(11):3385-3406.

[4]An L,Bhanu B,Yang S.Face recognition in multi-camera surveillance videos[C]//21st International Conference on Pattern Recognition.IEEE,2012:2885-2888.

[5]ZHANG Bei,WANG Shunfang.PCA face recognition algorithm based on robust MCD estimator[J].Computer Engineering and Design,2015,36(3):778-782(in Chinese).[張蓓,王順芳.基于MCD穩(wěn)健估計的PCA人臉識別算法[J].計算機工程與設(shè)計,2015,36(3):778-782.]

[6]CHEN Si,ZHAO Huanxi,ZHU Shunzhi.A new kind of zero space face recognition algorithm based on Gabor feature[J].Journal of Xiamen University:Natural Science,2016,55(1):108-113(in Chinese).[陳思,趙歡喜,朱順痣.一種新的基于Gabor特征的零空間人臉識別算法[J].廈門大學(xué)學(xué)報:自然科學(xué)版,2016,55(1):108-113.]

[7]SHANG Ying,HUANG Hejie.Face recognition based on ZigBee smart monitoring system[J].Electronic Test,2013(23):62-63(in Chinese).[商瑩,黃荷潔.基于ZigBee的人臉識別智能監(jiān)控系統(tǒng)[J].電子測試,2013(23):62-63.]

[8]Ru F,Peng X,Hou L,et al.The design of face recognition system based on ARM9 embedded platform[C]//IEEE 11th International Conference on ASIC.IEEE,2015:1-4.

[9]Hui-jun LI.Design and Implementation of mobile video surveillance system based on V4L2[J].International Journal of Signal Processing,Image Processing and Pattern Recognition,2016,9(1):409-416.

[10]YU Ye,CAO Mingwei,YUE Feng.EVibe:An improved vibe algorithm for detecting moving objects[J].Chinese Journal of Scientific Instrument,2014,35(4):924-931(in Chinese).[余燁,曹明偉,岳峰.EVibe:一種改進的Vibe運動目標(biāo)檢測算法[J].儀器儀表學(xué)報,2014,35(4):924-931.]

[11]Kumar VV,Reddy KS,Krishna VV.Face recognition using prominent LBP model[J].International Journal of Applied Engineering Research,2015,10(2):4373-4384.