方 毅， 舒 奎

( 大連工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 遼寧 大連 116034 )

基于ARM的小區(qū)安防人臉識別系統(tǒng)

方 毅， 舒 奎

( 大連工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 遼寧 大連 116034 )

針對小區(qū)安防，利用嵌入式技術(shù)進(jìn)行了基于ARM的人臉識別系統(tǒng)的設(shè)計。系統(tǒng)使用三星S3C2440開發(fā)板，在OpenCV庫的基礎(chǔ)上，使用 Bandelet變換對人臉圖像進(jìn)行預(yù)處理，使用2DPCA算法對變換圖像進(jìn)行主成分分析，并把人臉信息保存至數(shù)據(jù)庫，通過Euclidean算法確認(rèn)人臉是否可識別。嵌入式系統(tǒng)相比較于未經(jīng)過Bandelet變換處理的人臉識別系統(tǒng)在識別率上有了進(jìn)一步提升，可有效地應(yīng)用在小區(qū)安防。

人臉識別；ARM；2DPCA算法；Bandelet變換

0 引 言

當(dāng)前，許多生活小區(qū)的治安任務(wù)由物業(yè)保安人員負(fù)責(zé)完成，保安人員作業(yè)往往造成管理困難、薪酬糾紛不斷等問題。隨著計算機(jī)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，人臉識別技術(shù)在小區(qū)安防上的應(yīng)用有效地改善了這一狀況。人臉識別技術(shù)的研究屬于計算機(jī)科學(xué)與生物科學(xué)的有效結(jié)合，利用人類獨(dú)特的有效生物特征來進(jìn)行識別，經(jīng)過幾十年來的不斷發(fā)展已經(jīng)有了不少的研究成果。人臉識別系統(tǒng)的構(gòu)建涉及一系列的技術(shù)，包括人臉的圖像采集、圖像預(yù)處理、人臉定位、人臉訓(xùn)練、人臉識別以及身份信息查找等。人臉識別系統(tǒng)在小區(qū)安防上具有廣泛的應(yīng)用前景，如圖像檢索、數(shù)字視頻處理和視頻檢測等方面[1-3]。

目前，人臉識別用的主流主成分分析方法為K-L變換，即PCA方法，但光照和人臉姿態(tài)變化等會使該方法受到較大程度的影響。本研究采用Bandelet變換對人臉圖像進(jìn)行預(yù)處理，結(jié)合2DPCA算法可有效地提高人臉正確識別率。

1 系統(tǒng)環(huán)境

所設(shè)計的人臉識別系統(tǒng)是在Linux操作系統(tǒng)下，利用QT開發(fā)工具來進(jìn)行界面設(shè)計，以O(shè)penCV圖像開源庫作為基礎(chǔ)，使用arm-linux-gcc交叉編譯工具，通過攝像頭對圖像幀數(shù)據(jù)進(jìn)行采集預(yù)處理，調(diào)用已訓(xùn)練好的Haar特征級聯(lián)分類器對采集的人臉頭像進(jìn)行模式匹配和人臉檢測，檢測結(jié)果利用2DPCA算法進(jìn)行人臉圖像訓(xùn)練[4-5]，把人臉信息保存至數(shù)據(jù)庫，并通過Euclidean算法來判斷人臉是否可識別，利用個人ID號在數(shù)據(jù)庫中進(jìn)行查找、刪除等操作。

2 Bandelet變換與2DPCA算法

Bandelet變換是一種圖像表示方法，能夠自適應(yīng)地跟蹤圖像的幾何正則方向，由ELe Pennec和Stephane Mallat于2000年提出。這種變換定義了能表示圖像正則方向的幾何矢量線，不斷地對圖像的支撐區(qū)間S進(jìn)行剖分，運(yùn)用公式S=UiΩi計算，直到每一個剖分區(qū)間Ωi中最多只包含一條輪廓。圖像灰度的變化在所有不包含圖像輪廓線的局部區(qū)域Ωi是一致正則的，而且在包含輪廓線的區(qū)域中，幾何正則的方向與輪廓的切線方向一致。在全局最優(yōu)的約束條件下，計算區(qū)域Ωi上矢量場τ(x1,x2)的矢量線，把Ωi內(nèi)的區(qū)間沿矢量線進(jìn)行小波變換生成Bandelet基，這樣所有剖分區(qū)域Ωi上的Bandelet的集合就構(gòu)成了一組L2(S)上的標(biāo)準(zhǔn)正交基，可以充分地利用圖像自身的局部幾何正則性。Bandelet變換的基本算法[6-8]流程和效果如圖1、圖2所示。

圖1 Bandelet變換算法流程

(a) 變換前 (b) 變換后

2DPCA算法不同于PCA算法之處是2DPCA算法用二維圖像矩陣直接構(gòu)造一個協(xié)方差矩陣，用特征值分解法求其特征值和特征向量，而不是以圖像的一維向量作為分析對象。2DPCA算法的核心是選取幾個最大的特征值所對應(yīng)的特征向量作為最佳投影軸，對圖像矩陣進(jìn)行投影后提取主成分分量[9]。所設(shè)計系統(tǒng)基于Bandelet變換，利用所得矩陣進(jìn)行2DPCA主成分分析，從而達(dá)到降維的效果。

3 小區(qū)安防人臉識別系統(tǒng)

3.1 應(yīng)用系統(tǒng)開發(fā)

系統(tǒng)設(shè)計基于三星S3C2440開發(fā)板，在Linux操作系統(tǒng)下，使用USB可旋轉(zhuǎn)攝像頭捕捉圖像，用QT 5.4.0開發(fā)界面，Xvid視頻編解碼器進(jìn)行視頻處理，使用Oracle數(shù)據(jù)庫存儲信息。應(yīng)用系統(tǒng)開發(fā)主要流程如圖3所示。

圖3 系統(tǒng)主流程圖

3.1.1 圖像采集

對于圖像的采集，需要調(diào)用函數(shù)cvCreateCameraCapture(0)來打開攝像頭，同時利用start()開啟QTimer定時器，并設(shè)定每隔33 ms發(fā)送一次信號。 QT的信號和槽機(jī)制會調(diào)用自定義的槽函數(shù)，在槽函數(shù)中通過cvQueryFrame()在攝像頭的視頻流中抓取一幀圖像放入緩存區(qū)，對緩存區(qū)圖像的大小進(jìn)行設(shè)置。在不做其他處理的情況下，通過函數(shù)setPixmap()將所采集的圖像投放在界面之中。

3.1.2 圖像預(yù)處理

首先，對被檢測的圖像進(jìn)行縮放處理，在縮放后的小圖像上檢測可以提高效率。其次，由于人臉檢測的很多算法都對圖像的大小、亮度、色彩等有很大的影響，因此系統(tǒng)設(shè)計使用Bandelet變換對采集圖像進(jìn)行處理和計算。為了使圖片達(dá)到更好的灰度效果，創(chuàng)建了一個8 bit的單通道灰度圖。最后，通過cvEqualizeHist()函數(shù)對圖像直方圖進(jìn)行歸一化處理，這樣可以提高圖像的對比度[10-11]。

3.1.3 臉部檢測

在系統(tǒng)設(shè)計中，首先通過cvLoad()函數(shù)來加載Haar特征的級聯(lián)分類器文件haarcascade_frontalface_alt2.xml。利用cvHaarDetectObjects()對采集到的圖像進(jìn)行臉部的檢測，在預(yù)處理后的圖像中進(jìn)行人臉特征的目標(biāo)確定。如果檢測到多張人臉，則用for循環(huán)對每一張人臉畫矩形圖來進(jìn)行標(biāo)記。如果未檢測到人臉，則讓程序循環(huán)進(jìn)行圖像采集，直到檢測到圖像為止。

3.1.4 臉部識別

人臉的識別是系統(tǒng)設(shè)計的關(guān)鍵，在系統(tǒng)設(shè)計中分為圖像的訓(xùn)練和人臉的識別兩個部分。

3.1.4.1 圖像訓(xùn)練

首先，要采集需要被訓(xùn)練的人臉圖像，訓(xùn)練的圖像越多，系統(tǒng)識別圖像的正確率也就越高。為了提高精度，采集人臉頭像時盡量避免光照、遮擋物等情況。對采集到的圖像通過Bandelet變換進(jìn)行預(yù)處理后，系統(tǒng)會自動新建文件夾來保存訓(xùn)練的圖像集。為了圖像的查找方便，將圖片的存儲路徑保存至文檔train.txt。

其次，用保存好的文檔加載經(jīng)過采樣等處理后的圖像集。采用2DPCA算法對圖像進(jìn)行主成分分析時，系統(tǒng)會分配主特征值、特征向量以及平均圖像的存儲空間。通過OpenCV庫函數(shù)cvCalcEigenObjects()在訓(xùn)練人臉照片集上計算特征臉，即計算特征值、特征向量和平均圖像，保存最大特征值所對應(yīng)的N張圖片[12-13]。

最后，用cvWrite()和cvWriteInt()將訓(xùn)練好的投影矩陣、特征值、特征向量及平均矩陣等訓(xùn)練結(jié)果都存儲在facedata.xml文件中，并且將被采樣人的信息通過制表的形式存入數(shù)據(jù)庫。訓(xùn)練流程如圖4所示。

3.1.4.2 人臉識別

人臉識別階段的流程如圖5所示。首先需要對待測試人員進(jìn)行人臉圖像采集并進(jìn)行預(yù)處理[14]，加載訓(xùn)練階段得到的人臉庫facedata.xml。在訓(xùn)練得到的N個特征臉的基礎(chǔ)上，再把新采集并處理的圖像投影到N個特征臉上，從而得到一個權(quán)重集合。通過計算新的權(quán)重與原來所有個體的權(quán)重的距離，選擇距離最近的個體，此個體就是可以識別的圖像。如果計算出的最近的距離超出了預(yù)定的閥值，則說明這個人臉不可識別。

圖4 訓(xùn)練階段流程

圖5 識別階段流程

在設(shè)計中，通過cvEigenDecomposite()函數(shù)將新圖像投影到子空間。因?yàn)镋uclidean算法比Mahalanobis算法計算距離的效果更好[15]，在定義了最小距離后，采用Euclidean算法來計算新的圖像與每一個訓(xùn)練得到的個體之間的距離，找出的那個距離最小的即為可識別的圖像。最后根據(jù)這些圖像的ID號來查找已訓(xùn)練好的數(shù)據(jù)庫，在窗口中顯示查詢到的此人信息。

3.1.5 視頻錄像

目前有關(guān)安防的系統(tǒng)設(shè)計中，一般都會需要調(diào)用錄像回放來仔細(xì)研究一些視頻中的細(xì)節(jié)問題，識別系統(tǒng)的設(shè)計也考慮到這一環(huán)節(jié)。系統(tǒng)設(shè)計因在QT開發(fā)平臺上操作，所以可以在整個界面中調(diào)用currentDateTime()來顯示事件進(jìn)行的時間。在安裝Xvid的視頻編解碼器后，通過cvCreateVideoWriter()設(shè)置視頻編碼，使用cvWriteFrame()將攝像頭捕捉到的圖片寫入視頻中。系統(tǒng)在開啟攝像頭后會自動啟動一個線程，在線程中完成這些操作，這樣就可以很方便地根據(jù)時間來查看某一時段的視頻錄像。

3.2 系統(tǒng)的移植

考慮到小區(qū)智能檢測技術(shù)的實(shí)際應(yīng)用，通過ssh工具把程序移植到ARM開發(fā)板上。

3.2.1 移植的準(zhǔn)備工作

3.2.1.1 安裝交叉編譯鏈

交叉編譯工具鏈?zhǔn)菫榱嗽谝粋€平臺體系結(jié)構(gòu)下(如X86PC機(jī))能夠編譯、鏈接、處理和調(diào)試另一個平臺體系結(jié)構(gòu)下(如ARM)的應(yīng)用程序,可以使最終編譯生成的可執(zhí)行程序在另一平臺下正常運(yùn)行[16-17]。系統(tǒng)使用的交叉編譯工具版本是arm-linux-gcc 4.3.2，解壓并安裝到目錄/opt/arm-linux/4.3.2，在環(huán)境變量PATH中添加程序的路徑 /opt/arm-linux/4.3.2/bin。

3.2.1.2 編譯生成OpenCV庫

在使用OpenCV庫時，一般使用CMake工具來創(chuàng)建Makefile文件。首先將CMake2.8.2安裝包解壓到目錄/opt/cmake-2.8.2-Linux-i386，然后在環(huán)境變量PATH中添加路徑/opt/cmake-2.8.2-Linux-i386/bin。

在編譯OpenCV庫時，首先創(chuàng)建build目錄，在CMake工具編譯arm時作為工作目錄[18]。其次，在linux環(huán)境下執(zhí)行cmake-gui命令，選擇源代碼所在的目錄，目標(biāo)系統(tǒng)選擇arm-linux，在Compilers中選擇交叉編譯器的gcc和g++，在交叉編譯器的路徑中填寫/opt/arm，點(diǎn)擊Generate生成Makefile文件。最后，打開系統(tǒng)的命令終端，在opencvMinGW目錄下執(zhí)行mingw32-make命令，操作完成后再執(zhí)行mingw32-make install命令。為了使安裝完成后的OpenCV庫可以正常使用，還需要把/arm /opencv /lib下所有的動態(tài)鏈接庫文件拷貝到交叉編譯庫/arm-non-linux-gnueabi/lib中[19]。

3.2.2 Bootloader的移植與配置

Bootloader 是操作系統(tǒng)和硬件之間的橋梁，它的主要工作包括初始化硬件、引導(dǎo)操作系統(tǒng)內(nèi)核、為操作系統(tǒng)內(nèi)核檢測各種參數(shù)。系統(tǒng)使用 U-Boot[20]作為引導(dǎo)程序，版本是U-Boot-2010.03-tekkaman，通過Jtag將U-Boot燒寫到flash中。

3.2.3 文件系統(tǒng)的設(shè)計

嵌入式Linux系統(tǒng)的運(yùn)行需要有文件系統(tǒng)的支持，Cramfs系統(tǒng)由于對文件進(jìn)行高度壓縮，不會影響文件的讀取速度而經(jīng)常被用作嵌入式系統(tǒng)的開發(fā)。系統(tǒng)設(shè)計使用了busybox工具來構(gòu)建Cramfs系統(tǒng)，主要內(nèi)容有：/dev,/bin,/usr,/etc, /proc,/tmp等。

3.2.4 移植到S3C2440開發(fā)板

S3C2440為用戶提供了數(shù)碼相機(jī)接口，此接口支持STN LCD顯示器,外接支持SD/MMC/SDIO,USB設(shè)備,擁有觸摸屏接口等強(qiáng)大的硬件功能[16]。設(shè)計復(fù)制主機(jī)/opt/arm/lib目錄中所有的.so文件到嵌入式Linux根文件系統(tǒng)的/lib/目錄下，然后把編譯過的可執(zhí)行文件拷貝到嵌入式系統(tǒng)的/opt/myworks/目錄下。

4 系統(tǒng)測試

根據(jù)小區(qū)在白天和夜晚受到不同光照等情況的影響，系統(tǒng)在不同光照條件下進(jìn)行了多次的試驗(yàn)。將開發(fā)板固定在小區(qū)入口處，人員進(jìn)入小區(qū)時使用360°可控制旋轉(zhuǎn)攝像頭對人臉進(jìn)行掃描。在光線暗淡的情況下，鷹眼攝像頭可自動調(diào)節(jié)照明燈的亮度，從而減小像素受到光照的影響。小區(qū)安防系統(tǒng)的試驗(yàn)效果如圖6所示，并進(jìn)行了兩類仿真比對試驗(yàn)。

4.1 PC端和嵌入式設(shè)備比對試驗(yàn)

在數(shù)據(jù)庫中采集15人，每人10幅頭像作為訓(xùn)練樣本，分別在PC機(jī)和ARM9上對這15人進(jìn)行人臉識別。兩種系統(tǒng)的一些數(shù)據(jù)對比如表1所示。數(shù)據(jù)顯示，嵌入式系統(tǒng)與PC機(jī)系統(tǒng)在識別率上差別不大，但識別速度上有明顯的優(yōu)越性。

表1 兩種系統(tǒng)的性能比較

4.2 利用標(biāo)準(zhǔn)人臉數(shù)據(jù)庫比對試驗(yàn)

為了驗(yàn)證Bandelet變換和2DPCA算法結(jié)合比PCA算法在人臉的識別過程中有優(yōu)越性，在光照不同和姿態(tài)不同的條件下，在ORL和Yale標(biāo)準(zhǔn)人臉數(shù)據(jù)庫中進(jìn)行試驗(yàn)。在ORL標(biāo)準(zhǔn)人臉數(shù)據(jù)庫中，一共有40人，每人10幅頭像，選取每個人的前5幅圖像作為訓(xùn)練樣本。在Yale標(biāo)準(zhǔn)人臉數(shù)據(jù)庫中，一共有15人，同樣選取每個人的前5幅頭像作為訓(xùn)練樣本。不同人臉數(shù)據(jù)庫的正確識別率如表2所示。

表2 不同人臉數(shù)據(jù)庫識別率

數(shù)據(jù)顯示，采用Bandelet變換對圖像進(jìn)行處理，結(jié)合2DPCA算法主成分分析，無論是對ORL標(biāo)準(zhǔn)人臉庫還是Yale標(biāo)準(zhǔn)人臉庫，都可以減少光照和姿態(tài)變化等的影響，人臉識別的正確識別率均在80%以上。

5 結(jié) 論

所設(shè)計的基于ARM的小區(qū)安防人臉識別系統(tǒng)，以ARM9為硬件核心，以Linux2.16內(nèi)核，Cramfs文件系統(tǒng)為軟件核心，利用busybox構(gòu)建系統(tǒng)應(yīng)用程序，在Bandelet變換和2DPCA算法相結(jié)合的基礎(chǔ)上進(jìn)行了多次人臉識別的試驗(yàn)。試驗(yàn)表明，人臉圖像在經(jīng)過Bandelet變換處理后會有效減少光照和姿態(tài)等對人臉正確識別的影響。嵌入式系統(tǒng)可以有效地在小區(qū)中進(jìn)行人臉識別。

[1] 布拉德斯基,克勒.學(xué)習(xí)OpenCV[M].于仕琪,劉瑞禎,譯.北京:清華大學(xué)出版社,2009.

[2] HARA F, KOBAYASHI H. State of the art in component development for interactive communication with humans[J]. Advanced Robotics, 1996, 11(6): 585-604.

[3] 劉艷麗,趙躍龍.人臉識別技術(shù)研究進(jìn)展[J].計算機(jī)工程,2005,31(3):10-12.

[4] 陶穎軍.基于OpenCV的人臉識別應(yīng)用[J].計算機(jī)系統(tǒng)應(yīng)用,2012,21(3):220-223.

[5] 李建勇.人臉識別技術(shù)在視頻監(jiān)控系統(tǒng)中的應(yīng)用[J].中國安防,2009,2(4):48-50.

[6] 楊思燕.Bandelet變換原理及應(yīng)用研究[J].計算機(jī)技術(shù)與發(fā)展,2013,23(7):234-235.

[7] 龍奕,劉明坤.基于Bandelet變換域的圖像自適應(yīng)增強(qiáng)算法[J].計算機(jī)應(yīng)用,2008,28(5):1222-1223.

[8] 朱衛(wèi)東,李全海.基于二代Bandelet和主成分變換的高光譜遙感圖像融合[J].同濟(jì)大學(xué)學(xué)報,2011,39(7):1068-1069.

[9] YANG J, ZHANG D. Two-dimensional PCA: a new approach to appearance-based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131-137.

[10] 焦斌亮,陳爽.基于PCA算法的人臉識別[J].計算機(jī)工程與應(yīng)用,2011,37(8):201-204.

[11] 李倩.人臉識別技術(shù)及應(yīng)用[J].黑龍江科技信息,2011(1):60.

[12] 孔凡之,張興周,謝耀菊.基于Adaboost的人臉檢測技術(shù)[J].應(yīng)用科學(xué),2005,32(6):7-10.

[13] BURGES C J C. A tutorial on support vector machines for pattern recognition[J]. Data Mining and Knowledge Discovery, 1998, 2(2): 121-176.

[14] 吳玲.人臉識別中的圖像處理技術(shù)[J].科技信息,2010(4):246.

[15] 田家林,陳利學(xué),寇向輝.Linux嵌入式操作系統(tǒng)在ARM上的移植[J].微計算機(jī)信息,2007,23(11):60-61.

[16] 鞠劍平,冉全,黎曦.嵌入式Linux在S3C2440上的移植[J].科技資訊,2010(8):17-18.

[17] 韋東山.嵌入式Linux應(yīng)用開發(fā)完全手冊[M].北京:人民郵電出版社,2008.

[18] 呂志.基于嵌入式Linux的家庭網(wǎng)關(guān)的研究與實(shí)現(xiàn)[D].上海:上海交通大學(xué),2011.

[19] 程躍森,李馳新.基于ARM的目標(biāo)檢測系統(tǒng)設(shè)計[J].蘭州工業(yè)高等?？茖W(xué)校學(xué)報,2010,17(5):29-31.

[20] 寧波.Linux嵌入式系統(tǒng)在工控領(lǐng)域的研究與實(shí)現(xiàn)[D].成都:電子科技大學(xué),2007.

CommunitysecurityfacerecognitionsystembasedonARM

FANGYi,SHUKui

(SchoolofInformationScienceandEngineering,DalianPolytechnicUniversity,Dalian116034,China)

A design of face recognition system based on ARM was presented, which could be used in alarm system for residence district. The face image was preprocessed using Bandelet transform based on the face recognition system of S3C2440 development board and OpenCV library. The principal component for image transform was analyzed using 2DPCA algorithm and the face information would be saved to the database. A new face imagine could be checked out using euclidean algorithm by the system. The recognition accuracy of the recognition system was better than that unused Bandelet transform, which could be applied for alarm system in residence district.

face recognition; ARM; 2DPCA algorithm; Bandelet transform

方毅,舒奎.基于ARM的小區(qū)安防人臉識別系統(tǒng)[J].大連工業(yè)大學(xué)學(xué)報,2017,36(6):464-468.

FANG Yi, SHU Kui. Community security face recognition system based on ARM[J]. Journal of Dalian Polytechnic University, 2017, 36(6): 464-468.

2016-03-15.

方 毅(1992-)，男，碩士研究生；通信作者：舒 奎(1977-)，男，副教授.

TP391.4

A

1674-1404(2017)06-0464-05