胡沐晗

摘 要： PCA（主成分分析）與SVM（支持向量機(jī)）技術(shù)對(duì)于人臉識(shí)別而言非常重要，文章結(jié)合PCA與SVM來設(shè)計(jì)一個(gè)人臉識(shí)別系統(tǒng)。在MATLAB編譯環(huán)境下，分別探討PCA技術(shù)與SVM技術(shù)，總結(jié)出一種快速PCA算法以及SVM的測(cè)試與訓(xùn)練算法；從orl_faces人臉庫(kù)中選取訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)進(jìn)行訓(xùn)練與測(cè)試，對(duì)其中重要的參數(shù)進(jìn)行調(diào)優(yōu)，最終達(dá)到90%的識(shí)別成功率。再經(jīng)真實(shí)人臉的訓(xùn)練與測(cè)試，達(dá)到了73%的真實(shí)人臉識(shí)別成功率。

關(guān)鍵詞： PCA技術(shù)； SVM技術(shù)； 人臉識(shí)別； 訓(xùn)練數(shù)據(jù)； 測(cè)試數(shù)據(jù)； matlab

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2017）12-60-04

Face recognition system based on PCA and SVM

Hu Muhan

（Department of Information， ZhongBei College of NanJing Normal University， Nanjing， Jiangsu 210046， China）

Abstract： PCA （Primary Component Analysis） and SVM （Support Vector Machine） technologies are very important for face recognition. This paper combines PCA and SVM to design a face recognition system. In the MATLAB compiler environment， the PCA technology and SVM technology are discussed， a fast PCA algorithm is summed up as well as the test and training algorithm for SVM； the training data and test data are selected from the orl_faces database to train and test， the important parameters are optimized， and 90% recognition success rate is ultimately achieved. After the training and testing by real face， the success rate of 73% real face recognition is achieved.

Key words： PCA； SVM； face recognition； training data； testing data； MATLAB

0 引言

人臉識(shí)別是人工智能領(lǐng)域的一個(gè)重要技術(shù)。如今，人臉識(shí)別技術(shù)已經(jīng)在我們的生活中被廣泛應(yīng)用，例如人臉識(shí)別門禁考勤系統(tǒng)，公安部的人臉識(shí)別網(wǎng)絡(luò)等。本研究項(xiàng)目主要立足于PCA（主成分分析方法）以及SVM（支持向量機(jī)）來對(duì)圖像進(jìn)行識(shí)別，PCA與SVM是處理圖像的重要技術(shù)，其中涉及的圖像降維處理，機(jī)器訓(xùn)練對(duì)人像識(shí)別尤其重要。

1 PCA技術(shù)

1.1 PCA技術(shù)原理

PCA技術(shù)是將高維的數(shù)據(jù)通過投影方式，降至低維的平面上[1]，即乘以少于向量本身維數(shù)的基，來達(dá)到降維的效果。具體我們可以通過一個(gè)例子展開，如下列矩陣：

首先將每個(gè)字段內(nèi)所有值減去均值，結(jié)果每個(gè)字段都變?yōu)榫禐?，變換后：

若要將圖1的點(diǎn)降維，則要進(jìn)行投影，即乘以所選方向的基，不過若向X軸投影，那么最左邊的兩個(gè)點(diǎn)將重疊，中間的兩個(gè)點(diǎn)也將重疊，若想要盡量多的保存信息，則要選擇一個(gè)投影平面使得投影值盡量的分散，而在數(shù)學(xué)上，判定一個(gè)數(shù)值分散程度的量是方差，方差即每個(gè)元素與字符段均值的差的平方和的均值，即：

由于上文已將字段均值減為0，所以可表示為：

方差越大，則投影的數(shù)據(jù)越分散，從而數(shù)據(jù)可盡量多的保存。

正如以上所述，PCA技術(shù)原理之一即保證投影降維之后方差盡可能大，從而保留更多的數(shù)據(jù)[2-4]，但除此之外PCA還需要處理另一個(gè)問題，例如對(duì)于三維降到二維的問題來說，需要選擇兩個(gè)投影的方向，我們需要引入另一個(gè)約束條件，即不希望兩個(gè)投影方向之間存在線性相關(guān)性，因?yàn)橄嚓P(guān)性必然意味著存在重復(fù)信息。數(shù)學(xué)上可以用協(xié)方差來表示其相關(guān)性即：

當(dāng)協(xié)方差為0時(shí)，表示兩個(gè)字段完全獨(dú)立，為了讓協(xié)方差為0，我們選擇第二個(gè)基時(shí)只能在第一個(gè)基正交的方向上選擇，因此最終選擇得兩個(gè)方向一定正交。

1.2 PCA的具體操作

1.2.1 快速PCA算法

普通PCA算法存在一個(gè)問題，即對(duì)于協(xié)方差矩陣M而言，M是由ZT*Z得出，而Z是一個(gè)m*n的矩陣，所以ZT*Z是一個(gè)n*n的矩陣，往往在圖像中，n的值遠(yuǎn)遠(yuǎn)大于m，所以對(duì)這樣一個(gè)協(xié)方差矩陣求特征值特征向量開銷會(huì)非常巨大，因此我們需要一種更高效的PCA算法。

對(duì)于M=ZT*Z有M*V=D*V，其中V是M的特征向量，D是M的特征值，因此兩邊乘以得到M*ZT*V= D*ZT*V，所以（ZT*Z）*ZT*V=D*ZT*V，又設(shè)N=Z*ZT，且（ZT*Z）*ZT*V=ZT*（Z*ZT）*V所以ZT*N*V=D*ZT*V=ZT*D*V，所以根據(jù)以上數(shù)學(xué)公式的推導(dǎo)，可以看出M的特征值D和特征向量V可以通過N來獲得，因?yàn)镸如上所述是一個(gè)n*n的矩陣，而N=Z*ZT且Z=m*n，所以N是一個(gè)m*m的矩陣，因n遠(yuǎn)大于m，故通過N求得M的特征值和特征向量將會(huì)減小資源的開銷，提高PCA降維的效率，因此可以得到一個(gè)快速PCA算法，步驟如下。

⑴ 將原始數(shù)據(jù)按列組成一個(gè)m行n列的矩陣Z。

⑵ 將Z的每一行減去零均值化，減去均值。

⑶ 設(shè)矩陣N=Z*ZT。

⑷ 求出N的特征值和特征向量，使用eigs函數(shù)將特征值從大到小排列，取出前K個(gè)特征值對(duì)應(yīng)的特征向量。

⑸ 乘以ZT得到M的沒有單位化的特征向量。

⑹ 對(duì)協(xié)方差矩陣M進(jìn)行單位化。

⑺ 原始矩陣Z乘以特征向量V，得到降至K維的矩陣。

1.2.2 PCA降維

完成PCA算法后，接下來就是使用它對(duì)一組圖片進(jìn)行降維處理，這里我們使用了orl_faces圖片庫(kù)，其中有40個(gè)人，每個(gè)人10張照片，總共400張照片，然后對(duì)所有圖片讀入減去均值到一張平均臉，然后將圖片進(jìn)行PCA降維之后還原得到還原臉。

可以看出，相對(duì)于圖3，圖2保留了大量特征，K值越高，即降的維數(shù)越高，圖像越清晰，保留的特征越多。

兩種PCA算法的比較：

普通PCA算法降至100，200，300，400維的時(shí)間總共為81秒，而快速PCA算法所需時(shí)間僅0.4秒。

2 SVM技術(shù)

2.1 SVM技術(shù)原理

2.1.1 SVM技術(shù)簡(jiǎn)介

SVM技術(shù)可以將一些數(shù)據(jù)點(diǎn)分為兩個(gè)不同的類[5-7]，如圖4所示，現(xiàn)有一個(gè)二維平面，平面上有兩種不同的數(shù)據(jù)，分別用圈和叉表示。由于這些數(shù)據(jù)是線性可分的，所以可以用一條直線將兩類數(shù)據(jù)分開，這條直線相當(dāng)于一個(gè)超平面，超平面一邊的數(shù)據(jù)點(diǎn)對(duì)應(yīng)的Y全是-1。另一邊所對(duì)應(yīng)的Y全是1。

因此，對(duì)于人臉識(shí)別而言，我們可以通過標(biāo)簽來區(qū)分兩個(gè)不同的人臉，即將一組人臉標(biāo)志為1，另一組人臉標(biāo)志為0。然后，如圖4所示這個(gè)超平面可以f（x）=ωTx+b來表示，當(dāng)f（x）等于0時(shí)，x便是位于超平面上的點(diǎn)，當(dāng)f（x）大于0的點(diǎn)對(duì)應(yīng)的y=1的數(shù)據(jù)點(diǎn)，f（x）小于零對(duì)應(yīng)y=-1這個(gè)點(diǎn)，如圖5所示。

以上通過SVM處理的都是線性可分的點(diǎn)，而對(duì)于線性不可分的點(diǎn)而言，要做的是將這些點(diǎn)投放到更高維的空間中進(jìn)行處理，不過對(duì)于機(jī)器而言，投射的維度越高意味著模型的復(fù)雜度越高，處理數(shù)據(jù)的開銷也就越大，從而泛化誤差也就越大，因此為了處理線性不可分的數(shù)據(jù)，我們引入了高斯核函數(shù)，核函數(shù)對(duì)于線性不可分的點(diǎn)不用投放到高維空間進(jìn)行處理，只用在低維空間運(yùn)算就可以計(jì)算高維空間的內(nèi)積。

2.1.2 SVM技術(shù)中的重要參數(shù)

SVM模型中有兩個(gè)非常重要的參數(shù)C和gamma。SVM的目標(biāo)函數(shù)：

其中C代表懲罰因子，即在線性不可分的情況下，對(duì)分類錯(cuò)誤的懲罰程度。C越高往往越不能容忍誤差，因此容易過擬合，C越小，分類器會(huì)越不在乎分類錯(cuò)誤，會(huì)欠擬合。

gamma是選擇RBF函數(shù)作為核函數(shù)后，該函數(shù)自帶的一個(gè)參數(shù)。隱含地決定了數(shù)據(jù)映射到新的特征空間后的分布。RBF核函數(shù)：

其中g(shù)amma=-，對(duì)于gamma的物理意義而言，它影響的是每個(gè)支持向量對(duì)應(yīng)的高斯作用范圍，從而影響泛化性能，gamma越大，σ越小，對(duì)應(yīng)的支持向量也就越少，gamma值越小則支持向量越多。支持向量的個(gè)數(shù)影響訓(xùn)練與預(yù)測(cè)的個(gè)數(shù)。因此c和gamma兩個(gè)參數(shù)的調(diào)優(yōu)對(duì)于后續(xù)的人臉識(shí)別系統(tǒng)的成功率是非常重要的。

2.2 SVM的具體操作

2.2.1 SVM訓(xùn)練函數(shù)

這次我們選取兩組圖片來進(jìn)行SVM處理，其中一組為訓(xùn)練數(shù)據(jù)，一組為測(cè)試數(shù)據(jù)，訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的是0-9共十個(gè)不同數(shù)字，每個(gè)數(shù)字有5張圖片，測(cè)試數(shù)據(jù)也是0-9十個(gè)不同數(shù)字，每個(gè)數(shù)字3張圖片。除了選取數(shù)據(jù)之外，最重要的是編寫SVM訓(xùn)練函數(shù)與SVM測(cè)試函數(shù)。SVM訓(xùn)練函數(shù)步驟如下。

⑴ 將50張圖片數(shù)據(jù)讀入矩陣，每個(gè)數(shù)字對(duì)應(yīng)5張圖片，形成訓(xùn)練數(shù)據(jù)。

⑵ 將前5張打上標(biāo)簽為1，后5張數(shù)字打上標(biāo)簽0。

⑶ 調(diào)用matlab庫(kù)中的SVMtrain函數(shù)，進(jìn)行訓(xùn)練，通過循環(huán)產(chǎn)生45個(gè)分類器。

⑷ 將分類器存入矩陣中。

2.2.2 SVM測(cè)試函數(shù)

SVM訓(xùn)練函數(shù)主要是用來形成分類器，接下來，就要通過這個(gè)分類器來編寫SVM測(cè)試函數(shù)，測(cè)試函數(shù)主要是運(yùn)用了投票的理念，SVM測(cè)試函數(shù)步驟如下：

⑴ 將30張圖片數(shù)據(jù)讀入矩陣，每個(gè)數(shù)字對(duì)應(yīng)3張圖片，形成測(cè)試數(shù)據(jù)。

⑵ 讀入測(cè)試數(shù)據(jù)，獲取測(cè)試數(shù)據(jù)的容量m，以及分類的容量n，形成一個(gè)m*n的voting矩陣。

⑶ 根據(jù)分類器對(duì)測(cè)試數(shù)據(jù)進(jìn)行比對(duì)，通過svmclassify庫(kù)函數(shù)返回標(biāo)簽，如果標(biāo)簽對(duì)應(yīng)的是1，則測(cè)試數(shù)據(jù)在對(duì)應(yīng)數(shù)字?jǐn)?shù)目加一，如果標(biāo)簽對(duì)應(yīng)的是零，則在另一個(gè)數(shù)字?jǐn)?shù)目加一。

⑷ 最后，找到每個(gè)測(cè)試數(shù)據(jù)中對(duì)應(yīng)數(shù)目最多的數(shù)字，這個(gè)數(shù)字即跟這個(gè)測(cè)試數(shù)據(jù)匹配。

設(shè)置c=1，gamma=0.0001，最后經(jīng)過SVM訓(xùn)練和測(cè)試，我們對(duì)測(cè)試數(shù)據(jù)30張數(shù)字圖片的識(shí)別成功率為86.67%。

3 結(jié)合PCA與SVM的人臉識(shí)別系統(tǒng)

這個(gè)人臉識(shí)別系統(tǒng)采用的數(shù)據(jù)主要是orl_faces人臉庫(kù)中的40個(gè)人總共400張人臉，其中前五張作為訓(xùn)練數(shù)據(jù)，后五張作為測(cè)試數(shù)據(jù)，主要流程如下。

⑴ 將40個(gè)人的人臉總共400張圖讀入，其中前五張作為訓(xùn)練數(shù)據(jù)，后五張作為測(cè)試數(shù)據(jù)。

⑵ 將訓(xùn)練數(shù)據(jù)進(jìn)行PCA變換，得到降維后的矩陣，然后用scaling對(duì)數(shù)據(jù)標(biāo)準(zhǔn)化，使其在-1到1的范圍內(nèi)，增加識(shí)別成功率。

⑶ 將訓(xùn)練數(shù)據(jù)放入SVM訓(xùn)練函數(shù)中，產(chǎn)生分類器。

⑷ 將測(cè)試數(shù)據(jù)進(jìn)行PCA降維，然后放入SVM測(cè)試函數(shù)中。

⑸ 將測(cè)試函數(shù)產(chǎn)生的標(biāo)簽與現(xiàn)實(shí)圖片標(biāo)簽進(jìn)行比對(duì)，輸出成功率。

最后，如圖7所示當(dāng)降維數(shù)K=80時(shí)，經(jīng)過對(duì)gamma和C的調(diào)參，當(dāng)C在70到80的范圍內(nèi)，gamma在0.005到0.02的范圍內(nèi)時(shí)，識(shí)別成功率最 高可達(dá)90%。然后，我們將C設(shè)置為70，gamma設(shè)置為0.015，K設(shè)置為80，將小組內(nèi)三個(gè)人共30張照片放入orl_faces人臉庫(kù)進(jìn)行比對(duì)，成功率只有73%。而將30張真實(shí)人臉單獨(dú)進(jìn)行訓(xùn)練，測(cè)試，識(shí)別成功率只有60%。真實(shí)人臉比對(duì)的圖如圖8、圖9、圖10、圖11和圖12所示。

以上可以看出圖8，圖9識(shí)別都正確，而圖10識(shí)別錯(cuò)誤主要是光線問題，圖11，圖12識(shí)別錯(cuò)誤主要是相似特征太多，如黑框眼鏡。

4 結(jié)束語

為了制作一個(gè)人臉識(shí)別系統(tǒng)并且實(shí)現(xiàn)人臉識(shí)別的功能，本文將PCA與SVM技術(shù)結(jié)合，分別用于對(duì)圖片降維提取重要特征以及訓(xùn)練機(jī)器識(shí)別不同的圖片，最終在orl_faces人臉庫(kù)中測(cè)試達(dá)到了90%的識(shí)別成功率，但是如果將真實(shí)人臉圖片進(jìn)行識(shí)別，成功率只有73%。本系統(tǒng)在特定的人臉庫(kù)中證明是可行的，下一步需考慮如何減少像光照，濕度，以及過于相似的特征對(duì)于識(shí)別成功率的影響，從而使本系統(tǒng)更好的識(shí)別真實(shí)人臉。

參考文獻(xiàn)（References）：

[1] 金忠.人臉圖像特征抽取與維數(shù)研究[D].南京理工大學(xué)碩士

學(xué)位論文，1999.

[2] 徐勇，張重陽(yáng)，楊靜宇.基于主分量特征與獨(dú)立分量特征的人

臉識(shí)別實(shí)驗(yàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2005.26（5）：1155-1157

[3] 陳伏兵.人臉識(shí)別中鑒別特征抽取若干方法研究[D].南京理

工大學(xué)，2006.

[4] 張翠平，蘇光大.人臉識(shí)別技術(shù)綜述[J].中國(guó)圖像圖形學(xué)報(bào)，

2000.5（11）：885-894

[5] Javed A. Face Recognition Based on Principal Component

Analysis[J]. International Journal of Image， Graphics and Signal Processing（IJIGSP），2013.5（2）：38

[6] Stan Z.Li Anil K.Jain. Handbook of Face Recognition[M].

New York：Springer，2004.5.

[7] Wayman J L Jain A K Maltoni D et al.Biometric Systems：

Technology， Design and Performance Evaluation[M].London：Springer，2005.