龔哲兮，施彥媛

（中國電子科技集團(tuán)公司第三十研究所，四川 成都 610041）

0 引言

隨著人工智能和圖像處理領(lǐng)域技術(shù)的發(fā)展，人臉識(shí)別作為生物識(shí)別技術(shù)的一種，由于具有唯一性、穩(wěn)定性和不易被復(fù)制等良好的特性已經(jīng)廣泛運(yùn)用于人機(jī)交互、金融貿(mào)易、視頻監(jiān)控等各個(gè)領(lǐng)域。同時(shí)，由于近些年計(jì)算機(jī)硬件飛速發(fā)展，嵌入式設(shè)備的處理器的運(yùn)算速度和存儲(chǔ)空間得到了提升，嵌入式設(shè)備上的人臉識(shí)別技術(shù)也愈發(fā)成熟[1]。但是，主流的國外CPU、專用芯片、操作系統(tǒng)等對(duì)我們來說類似黑匣子，其安全性難以保障。為擺脫對(duì)國外技術(shù)的依賴，采用瑞芯微RK3288 芯片架構(gòu)、中興CEGL linux3.10 操作系統(tǒng)，在國產(chǎn)化平臺(tái)下對(duì)人臉識(shí)別系統(tǒng)進(jìn)行研究、設(shè)計(jì)及實(shí)現(xiàn)。

1 總體設(shè)計(jì)

人臉識(shí)別技術(shù)（Face Recognition Technology，F(xiàn)RT）通過計(jì)算機(jī)與各種傳感器和生物統(tǒng)計(jì)學(xué)原理等高科技手段進(jìn)行個(gè)人身份鑒定，其核心技術(shù)是局部特征分析和圖形識(shí)別算法[2]。而在對(duì)人臉識(shí)別前需要對(duì)圖像進(jìn)行一系列處理，包括人臉圖像采集、人臉區(qū)域檢測(cè)以及圖像預(yù)處理等[3]。嵌入式平臺(tái)中通常在非受控的環(huán)境下進(jìn)行人臉采集，為保證能夠穩(wěn)定地提取其特征值，一般要對(duì)采集的原始人臉圖像進(jìn)行灰度化、二值化、濾波等圖像預(yù)處理。然后將人臉數(shù)據(jù)從原始輸入空間映射到新的特征空間以提取人臉特征，最終將其結(jié)果與特征庫進(jìn)行比較，計(jì)算其相似度來確定其身份。為在嵌入式平臺(tái)上實(shí)現(xiàn)人臉識(shí)別的技術(shù)，系統(tǒng)主要包括注冊(cè)階段和識(shí)別階段兩個(gè)階段。整體框架設(shè)計(jì)如圖1 所示。

圖1 人臉識(shí)別系統(tǒng)總體框架

2 系統(tǒng)硬件設(shè)計(jì)

系統(tǒng)的主處理器單元基于瑞芯微RK3288 處理器為核心進(jìn)行設(shè)計(jì)。瑞芯微RK3288 處理器是數(shù)字多媒體處理器芯片，采用四核ARM Cortex-A17 架構(gòu)，最大的特點(diǎn)是與Cortex-A15 一樣采用完全亂序執(zhí)行架構(gòu)，性能提升立竿見影。單核主頻高達(dá)1.8 GHz，集成專用GPU 協(xié)處理器，GPU 采用Mali T76X 系列GPU。Mali T764 核心最大特點(diǎn)是采用第三代Midgard 架構(gòu)，配置豐富的數(shù)據(jù)接口和多媒體接口。主處理器模塊配置2 GB DDR3 內(nèi)存、32 GB Nand Flash、10/100/1 000 Mb/s 以太網(wǎng)接口、MIPI液晶接口、UART 串口以及I2C 等接口。主處理器模塊依據(jù)MXM 標(biāo)準(zhǔn)，尺寸為82 mm×60 mm，采用+5 V 單電源供電。系統(tǒng)硬件設(shè)計(jì)框圖如圖2 所示。

3 系統(tǒng)軟件設(shè)計(jì)

3.1 環(huán)境搭建

U-Boot 主要用來開發(fā)嵌入式系統(tǒng)的bootloader（引導(dǎo)裝載程序）。本系統(tǒng)U-Boot 將從NAND Flash 中加載并啟動(dòng)，把最核心的啟動(dòng)程序放在NAND 閃存的前4K中，并在啟動(dòng)前完成硬件平臺(tái)的核心配置，然后將啟動(dòng)代碼的剩余部分搬到RAM 中運(yùn)行。初始化NAND閃存，并從NAND 閃存中把U-Boot 搬移到SRAM 中，最后需要讓U-Boot 支持NAND 閃存的命令操作。內(nèi)核負(fù)責(zé)管理系統(tǒng)的進(jìn)程、內(nèi)存、設(shè)備驅(qū)動(dòng)程序、文件和網(wǎng)絡(luò)系統(tǒng)，決定著系統(tǒng)的性能和穩(wěn)定性。本系統(tǒng)使用中興提供的CEGL linux3.10 并進(jìn)行相應(yīng)裁剪，內(nèi)核中特定于體系結(jié)構(gòu)的部分首先執(zhí)行，設(shè)置硬件寄存器、配置內(nèi)存映射、執(zhí)行特定于體系結(jié)構(gòu)的初始化，然后將控制轉(zhuǎn)給內(nèi)核中與體系結(jié)構(gòu)無關(guān)的部分。根文件系統(tǒng)是內(nèi)核啟動(dòng)時(shí)所掛載的第一個(gè)文件系統(tǒng)。本系統(tǒng)的根文件系統(tǒng)類型為ext4 格式，同時(shí)包含著系統(tǒng)使用的軟件和庫，以及所有用來為用戶提供支持架構(gòu)和用戶使用的應(yīng)用軟件。最后，將閃存MTD驅(qū)動(dòng)程序、攝像頭、觸摸屏等設(shè)備的驅(qū)動(dòng)程序以及Qt 和opencv，通過交叉編譯后移植到系統(tǒng)中。

圖2 系統(tǒng)硬件設(shè)計(jì)

3.2 人臉識(shí)別系統(tǒng)設(shè)計(jì)

應(yīng)用程序需要實(shí)現(xiàn)人臉識(shí)別功能，主要實(shí)現(xiàn)人臉圖像采集、圖像識(shí)別、信息管理和人機(jī)交互4 個(gè)主要功能?；赨VC 協(xié)議和Video4Linux2 接口，通過USB 攝像頭采集圖像，通過人臉檢測(cè)算法AdaBoost 對(duì)其采集的圖像中對(duì)人臉進(jìn)行定位，并使用LBP 特征提取，結(jié)合SVM 分類器識(shí)別人臉，最后將識(shí)別后的圖像信息進(jìn)行管理并最終反饋給用戶，形成一個(gè)完整的人臉識(shí)別系統(tǒng)。

4 系統(tǒng)算法原理

4.1 AdaBoost 的人臉檢測(cè)

AdaBoost 人臉檢測(cè)是使用Haar-like 特征表示人臉，積分圖實(shí)現(xiàn)特征數(shù)值的快速計(jì)算，并利用AdaBoost 算法選出少部分關(guān)鍵特征，通過訓(xùn)練訓(xùn)練出多個(gè)不同的弱分類器并將其集合成一個(gè)強(qiáng)分類器，即構(gòu)成最終的決策分類器，從而有效提高速度和精度，達(dá)到人臉檢測(cè)的目的[4]。

Haar 特征通常定義為白色矩形灰度和減去黑色矩形的灰度和，對(duì)邊緣、線段比較敏感，從而用來檢測(cè)邊界、線性和對(duì)角特征[5]。積分圖是由于一張圖片的Haar 特征值的計(jì)算量非常大，為了使計(jì)算過程變得簡(jiǎn)單方便而進(jìn)行的快速計(jì)算矩形特征的算法。主要思想是將圖像中各個(gè)點(diǎn)矩形區(qū)域像素之和作為一個(gè)數(shù)字保存在內(nèi)存并作為以后的計(jì)算索引，從而加快計(jì)算速度。每個(gè)Haar 特征都對(duì)應(yīng)一個(gè)弱分類器，m個(gè)特征，n個(gè)訓(xùn)練樣本就會(huì)產(chǎn)生m×n個(gè)弱分類器。為選出最優(yōu)，要確定最優(yōu)閾值θ和偏置p，公式為：

h(x，f，p，θ)為弱分類器的值，x表示一個(gè)檢測(cè)子窗口，f代表第j個(gè)特征在x圖像上的特征值，θ表示閾值p=-1 或p=1 表示不等號(hào)方向。根據(jù)公式判斷是否為人臉。N1和N2為人臉和非人臉數(shù)目，m1和m2分別表示當(dāng)前特征人臉和非人臉的平均特征值。經(jīng)過多次迭代循環(huán)訓(xùn)練出足夠的最佳弱分類器，然后對(duì)訓(xùn)練樣本的權(quán)重重新調(diào)整，循環(huán)迭代最終得到一個(gè)線性組合的弱分類器，再通過加權(quán)合成一個(gè)強(qiáng)分類器。

具體算法如下。

（2）訓(xùn)練弱分類器h(x，f，p，θ)，計(jì)算錯(cuò)誤率εt，并選擇錯(cuò)誤率最小的弱分類器作為最佳，即：

（3）獲得最佳弱分類器，確定對(duì)應(yīng)迭代中的參數(shù)后，更新權(quán)重：

（4）如果ei=0，則表示xi分類正確；ei=1，表示分類失敗。

（5）經(jīng)過T次迭代后，獲得T個(gè)最佳弱分類器，并最終提升為強(qiáng)分類器：

（6）最終分類器由多個(gè)強(qiáng)分類器級(jí)聯(lián)組成形成級(jí)聯(lián)分類器，以提高運(yùn)算速度和檢測(cè)精度。全部通過每一級(jí)分類器檢測(cè)的區(qū)域則表示為人臉區(qū)域。

4.2 LBP 的人臉識(shí)別

局部二值模式（Local Binary Pattern，LBP）是從紋理局部近鄰定義中衍生出來，用來分析圖像紋理特征的一種灰度范圍內(nèi)的紋理度量算子[6]。通過局部區(qū)域中心與周邊像素灰度值的差異，將局部區(qū)域紋理轉(zhuǎn)換為二進(jìn)制編碼。原始的LBP 算子對(duì)于像素點(diǎn)其周圍3×3 鄰域像素點(diǎn)進(jìn)行紋理描述，其LBP 算子公式為：

當(dāng)threshold為0 時(shí)，每個(gè)像素點(diǎn)生成的LBP算子如圖3 所示。

圖3 像素生成LBP 算子圖示

以其灰度作為基準(zhǔn)，與其相鄰8 個(gè)像素點(diǎn)的灰度值比對(duì)。如果相鄰像素點(diǎn)灰度值大于中心點(diǎn)的灰度值，則對(duì)應(yīng)相鄰像素點(diǎn)設(shè)置為1；否則，為0。結(jié)果按一定順序轉(zhuǎn)換成8 位二進(jìn)制和對(duì)應(yīng)十進(jìn)制，則為中心像素點(diǎn)的LBP 值。但是，基本LBP 算子鄰域像素的關(guān)聯(lián)性不夠全面，只覆蓋了8 個(gè)領(lǐng)域像素區(qū)域，所以實(shí)際使用的是基本LBP 算子擴(kuò)展后的圓形LBP。圓形LBP 將3×3 擴(kuò)展到任意鄰域像素?cái)?shù)目，R半徑鄰域中N個(gè)像素個(gè)數(shù)，其圓形LBP 算子的編碼公式為：

gi的坐標(biāo)為：

其中g(shù)i-gc為第i個(gè)鄰域像素值與中心像素值的差。圓形LBP 不但具有灰度不變性和旋轉(zhuǎn)不變性，同時(shí)對(duì)圖像的整體灰度單調(diào)變化具有魯棒性，具有較強(qiáng)的紋理描述和分類能力。

不同尺度的圓形LBP 算子，如圖4 所示。

圖4 不同尺度的圓形LBP 算子

4.3 LBP 與SVM 相結(jié)合的人臉識(shí)別

LBP 在特征提取上是個(gè)有效方法，但在分類性能上存在不足。分類器對(duì)提取的特征向量進(jìn)行分類處理，采用不同的學(xué)習(xí)方法建立模型，所以將LBP與分類器SVM 結(jié)合來提高圖像的識(shí)別率。SVM 構(gòu)造多個(gè)最優(yōu)超平面對(duì)樣本進(jìn)行分類，同時(shí)最大化樣本到超平面的距離。低維空間線性判別函數(shù)形式為g(x)=wTx+b，在線性可分的情況下，通過簡(jiǎn)單的幾何變換得知兩類樣本之間的分類間隔為Margin=2/||w||。容易得知，要使得對(duì)所有樣本能夠正確分類，就是求得分類間隔大小在 滿 足yi(wTxi+b)-1 ≥0，i=1，2，…，n條件下的最小值。通過構(gòu)造一個(gè)Lagrange函數(shù)：

經(jīng)過系列推導(dǎo)可獲得最優(yōu)分類函數(shù)：

sgn()為符號(hào)函數(shù)，非零Lagrange 因子ai對(duì)應(yīng)的樣本向量xi。b*可以根據(jù)任一個(gè)支持向量或兩類中任一對(duì)支持向量取中值求得。根據(jù)支持向量和分類函數(shù)構(gòu)造出最優(yōu)分類面，將訓(xùn)練樣本正確分開，不同訓(xùn)練樣本則得到不同的最優(yōu)分類面和支持向量。如今SVM 已經(jīng)擴(kuò)展到解決非線性可分的多分類問題，將其輸入向量經(jīng)非信息變換映射到另一個(gè)高維空間，變換后尋找最優(yōu)的分類面。

5 人臉識(shí)別系統(tǒng)實(shí)現(xiàn)與測(cè)試

Opencv 是一個(gè)由C/C++編寫并可運(yùn)行在linux/window/mac 等操作系統(tǒng)上開源的計(jì)算機(jī)視覺庫，同時(shí)提供了python、ruby、matlab 等其他語言的接口。Opencv 包含了500 多個(gè)函數(shù)，覆蓋了計(jì)算機(jī)視覺的許多應(yīng)用領(lǐng)域，如工廠產(chǎn)品檢測(cè)、醫(yī)學(xué)成像、攝像機(jī)標(biāo)定、機(jī)器人、信息安全以及用戶界面等。Qt 是一個(gè)開發(fā)的跨平臺(tái)C++圖形用戶界面應(yīng)用程序開發(fā)框架。本系統(tǒng)通過Qt 調(diào)用OpenCV 編程實(shí)現(xiàn)從視頻中采集樣本保存到人臉庫（getSampleFromVideo）、從視頻中識(shí)別人臉（recognizeFromVideo）、獲取樣本身份（getSampleName）等功能。在人臉預(yù)處理模塊中調(diào)用cv：：VideoCapture 采集視頻幀、調(diào)用cv：：cvtColor 實(shí)現(xiàn)灰度轉(zhuǎn)換、調(diào)用cv：：qeualizeHist 實(shí)現(xiàn)直方圖均衡化。在人臉、雙眼檢測(cè)模塊中，分別調(diào)用OpenCV 中的CascadeClassifier 函數(shù)（級(jí)聯(lián)分類器），加載haarcascade_frontalface_alt.xml 和haarcascade_eye_tree_eyeglasses.xml 文件檢測(cè)人臉和雙眼。通過人臉對(duì)其模塊、特征提取模塊后，最終調(diào)用cv：：compareHist 實(shí)現(xiàn)特征匹配模塊。該系統(tǒng)用戶界面如圖5 所示。

圖5 系統(tǒng)界面

分別從ORL、Yale 和FERET 人臉庫中隨機(jī)選取300 個(gè)人的臉部圖像做訓(xùn)練樣本，每人6 張圖片共1 800 張圖片作為圖像訓(xùn)練集，并測(cè)試LBP、PCA、ICA、FIsherface 和文中算法平均識(shí)別率。結(jié)果表明，通過圓形LBP 提取圖像紋理特征，并通過SVM 分類器來識(shí)別人臉的成功率明顯高于直接通過LBP、PCA、FIsherface、ICA 的識(shí)別率高。

表1 人臉識(shí)別測(cè)試結(jié)果

6 結(jié)語

隨著時(shí)代的發(fā)展，計(jì)算機(jī)擬人視覺功能、圖像的處理與識(shí)別將有十分廣闊的發(fā)展前景。本文詳細(xì)分析了人臉識(shí)別的主要流程與算法，編寫LPB 特征提取模塊，并通過Qt 調(diào)用OpenCV 的人臉識(shí)別模塊，使得在基于RK3288 芯片架構(gòu)、中興CEGL linux3.10 操作系統(tǒng)國產(chǎn)化平臺(tái)下實(shí)現(xiàn)了人臉檢測(cè)和人臉識(shí)別等功能。LBP 與SVM 結(jié)合的人臉識(shí)別算法對(duì)周圍環(huán)境的變化具有魯棒性，同時(shí)也能在上述國產(chǎn)化平臺(tái)下快速運(yùn)行，為以后相似設(shè)備的國產(chǎn)化提供一定的參考。