摘要：人臉識(shí)別技術(shù)是計(jì)算機(jī)模式識(shí)別領(lǐng)域非常活躍的研究課題，在法律、商業(yè)等領(lǐng)域有著廣泛的應(yīng)用背景。由于人臉圖像的特殊性，人臉識(shí)別問題也是模式識(shí)別領(lǐng)域一個(gè)相當(dāng)困難的問題，要使這一技術(shù)趨于成熟還有許多工作需要做。

本文闡述了Fisher線性鑒別分析算法及其實(shí)現(xiàn)，同時(shí)針對(duì)其鑒別空間的統(tǒng)計(jì)相關(guān)性，提出改進(jìn)措施。

關(guān)鍵詞：Fisher線性鑒別；特征子空間；正交鑒別分量

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2008)04-11694-05

The Technology of Face Recognition Based on Fisher Linear Discrimination Analysis

LIU Chang-hua

(Anhui Broadcasting Movie and Television College， Hefei 230022， China)

Abstract: The technology of face recognition is an active subject in the area of pattern recognition， which has broad applications in the fields of law， business etc. For the particularity of the face image， face recognition is also a very difficult problem in the field of pattern recognition. To make the technology tend to maturity， there is still much work left to do.

The methods to preprocess Fisher Linear Discrimination Analysis， An improvement measure， which is aimed on the statistical correlation of the discrimination space， is proposed.

Key words: Fisher Linear Discrimination Analysis; Eigen Subspace; orthogonal discrimination vectors

1 引言

線性判別函數(shù)是統(tǒng)計(jì)模式識(shí)別的常用的方法之一。它的基本思想是利用樣本集直接設(shè)計(jì)分類器，它首先假設(shè)判別函數(shù)g(x)是x的線性函數(shù)，即g(x)=wT+w0，對(duì)于C類問題可以定義為C個(gè)判別函數(shù)，gi(x)=wiT+wi0，i=1，2，…，C用樣本去估計(jì)wi和wi0，并把未知樣本歸到具有最大判別函數(shù)的類別中，一個(gè)基本的考慮是針對(duì)不同的情況，提出不同的設(shè)計(jì)要求，是分類器盡可能好地滿足這些需求。當(dāng)然，要求不同，設(shè)計(jì)結(jié)果也將各異。這說明“盡可能好”是相對(duì)于設(shè)計(jì)要求而言的。這種設(shè)計(jì)要求，在數(shù)學(xué)上往往表現(xiàn)為某個(gè)特定的函數(shù)形式，稱之為準(zhǔn)則函數(shù)，“盡可能好”的結(jié)果相應(yīng)與準(zhǔn)則函數(shù)取最優(yōu)值。這實(shí)際上將分類器的設(shè)計(jì)問題轉(zhuǎn)化為求準(zhǔn)則函數(shù)極值問題了。

對(duì)解決人臉識(shí)別問題來說，線性判別分析分類器是一個(gè)很好的選擇。一般所采用的線性判別分析函數(shù)是Fisher線性判別函數(shù)，也稱為FDA (Fisher Discriminant Analysis)。它首先由R.A.Fisher于1936年提出，不過直到近些年才被應(yīng)用到人臉識(shí)別中。在模式識(shí)別領(lǐng)域，F(xiàn)isher線性判別方法有著重大的影響，其基本思想就是在Fisher判別準(zhǔn)則函數(shù)取得極值的條件下，求得一個(gè)最佳判別方向，然后再將模式高維特征向量投影到該最佳判別方向上，構(gòu)成一個(gè)一維的判別特征空間。于是模式識(shí)別可以在一維空間中進(jìn)行。

2 Fisher線性鑒別

2.1 Fisher線性鑒別原理

Fisher線性鑒別考慮把d維空間的樣本投影到一條直線上，即形成一維空間，那么即使樣本在d維空間形成若干緊湊的互相分得開的集群，如果把它投影到一條直線上，就可能使幾類樣本混在一起而無法識(shí)別，在一般情況下，總可以找到某個(gè)方向，使樣本投影到這條直線后分開的最好，尋找這條投影線正是Fisher要解決的問題。

在w1/w2兩類問題中，假設(shè)有N個(gè)訓(xùn)練樣本xi(i=1，2，...，N)，其中N1個(gè)來自于類型w1，N2個(gè)來自類型w2，兩個(gè)類型w1，w2的訓(xùn)練樣本分別構(gòu)成訓(xùn)練樣本的子集X1，X2，令

yi是向量xi通過變換w得到的標(biāo)量。事實(shí)上，對(duì)于給定的w，yi就是判別式的值。由于子集X1，X2的樣本經(jīng)w映射后形成了兩個(gè)子集Y1，Y2。令‖w‖=1，那么yi就是xi在w的方向上的投影，使Y1，Y2最容易分開的w方向就是區(qū)分超平面的法線方向。

下面研究如何得到最佳w方向的解析式。令

（1-2）

為各類在d維特征空間的樣本均值向量。通過變換w映射到一維特征空間后，各類的平均值為

（1-3）

映射后，各類樣本的類內(nèi)離散度矩陣定義為

（1-4）

Fisher思想是映射后兩類的平均值之間的距離越大越好，而各類的離散度越小越好。因此Fisher準(zhǔn)則定義為

（1-5）

JF最大的解析解w*就是最佳解向量，即Fisher的線性判別式。下面求解極大值。先將式（1-4）變?yōu)閣的顯函數(shù)。把（1-1）式和（1-2）式代入式（1-3），有

（1-6）

所以

（1-7）

式中

Sb=(m1-m2)(m1-m2)T （1-8）

Sb是原d維特征空間里的樣本類內(nèi)離散度矩陣，它表示了兩類均值向量之間的離散大小。Sb越大越容易區(qū)分。

將（1-1）式和（1-5）式代入（1-3）式，可得

（1-9）

所以

Si是原d維特征空間樣本類內(nèi)離散度矩陣，而Sw是樣本類內(nèi)總離散度矩陣。類內(nèi)離散度越小越便于分類。

將（1-6）式和（1-10）代入（1-4）式，就是JF(w)的顯函數(shù)

（1-12）

下面求解使JF(w)取最大值時(shí)的w*，可以用Lagrange乘子法求解。令分母等于非零常數(shù)。即

式中λ為L(zhǎng)agrange乘子。對(duì)于上式對(duì)w求偏導(dǎo)數(shù)，得

令偏導(dǎo)數(shù)為零。得到

式中的w*就是JF(w)的極值解，即d維空間到一維空間的最好投影方向。利用w*和式（1-1）可以將d維樣本xi(i=1，2，...，N)投影到一維。上式（1-13）為廣義特征值問題，滿足式（1-13）的解w*會(huì)有多個(gè)。

上述結(jié)論是在兩類問題中的基礎(chǔ)上推導(dǎo)出來的，對(duì)于C類問題，F(xiàn)isher線形判別自然推廣的C-1判別函數(shù)，這樣形成d維空間向C-1維空間的投影。不言而喻，這里假設(shè)d>C，類內(nèi)離散度矩陣的推廣顯然為：

2.2 推廣至c類的Fisher線性鑒別

設(shè)原始圖像x是n維向量。樣本類別有c類（即有c個(gè)人的人臉圖像樣本）w1，w2，...，wC，則樣本的類內(nèi)離散度矩陣Sw，類間散布矩陣Sb和總體散布矩陣St分別為：

（1-16）

（1-17）

（1-18）

其中：P(Wi)為第i類樣本的先驗(yàn)概率，mi=E(x/wi)為第i類樣本的均值向量（i=1，2，...，C），m=(Ex)為總體樣本的均值向量：

（1-19）

設(shè)第i類中含有ni個(gè)樣本，記為xij(j=1，2，...，ni)，則類內(nèi)散布矩陣Sw，類間散布矩陣Sb估計(jì)公式為：

（1-20）

其中xi和x分別為mi和m的估計(jì)：

這里，第i類樣本的先驗(yàn)概率p(wi)一般取為：

Fisher鑒別準(zhǔn)則函數(shù)定義為

使得式（1-25）取極大值的向量W是Fisher最佳鑒別方向，其物理意義是使得樣本集在W方向上的投影使得其具有最小的類內(nèi)散布和最大的類間散布。也就是說，投影后使得同一類的樣本盡可能地靠近，而不同類的樣本盡可能地分開。

下面求解使JF(w)取極大值時(shí)的w*。式（1-25）中的JF(w)是廣義的Rayleigh商，可以用Lagrange乘子法求解，令分母等于非零常數(shù)，即令wTSww=c≠0定義Lagrange函數(shù)為：

L(w，式中λ為L(zhǎng)agrange乘子。對(duì)于上式對(duì)w求偏導(dǎo)數(shù)，得

令偏導(dǎo)數(shù)為零。得到

其中w*就是使式（1-26）取得極大值時(shí)的W的值。在Sw非奇異時(shí)候，式（1-27）兩邊左乘Sw-1，可得：

求解式（1-28）即為求解一般矩陣Sw-1Sb的特征值問題，Sw-1Sb最多有c-1個(gè)非零廣義特征值，c為樣本類別數(shù)。

最優(yōu)LDA的判別函數(shù)為：

2.3 小樣本問題

Fisher線性鑒別在實(shí)際使用時(shí)，存在一些困難需要解決。令先驗(yàn)概率等于類wi的樣本個(gè)數(shù)與總體樣本個(gè)數(shù)的比率，那么類內(nèi)矩陣Sw的秩滿足

其中，d維原始圖像的維數(shù)，n為樣本總個(gè)數(shù)，c為樣本類別數(shù)即人數(shù)。從不等式（1-30）可知，當(dāng)d>n-c即n

目前解決小樣本問題的方法可以分為三類，一是先對(duì)圖像進(jìn)行降維，再采用線性判別方法，二是Fisher 線性鑒別最優(yōu)準(zhǔn)則，三是線性鑒別方法中的類內(nèi)類間散布矩陣進(jìn)行調(diào)整。

（1）降維后使用線性鑒別方法

這類方法在使用線性鑒別方法之前先對(duì)圖像進(jìn)行降維，把樣本的維數(shù)d降到d'(d'

(2) 對(duì)線性鑒別最優(yōu)準(zhǔn)則的修改

我們知道，F(xiàn)isher標(biāo)準(zhǔn)是兩種衡量標(biāo)準(zhǔn)的組合。它一方面要最大化類間離散度，一方面要最小化類內(nèi)離散度，當(dāng)然這兩種散度也可以用其他指標(biāo)來代替。Liu使用總體散布矩陣St來代替類內(nèi)矩陣。由于總體散布矩陣的秩滿足rank(St)≤min(d，n-1)，它仍然有可能是奇異的。因此我們尋求變換矩陣T使得在條件tr(T'StT=0)的限制下，有tr(T'SbT≠0)，其中Sb是類內(nèi)離散度矩陣，St=Sb+Sw。這個(gè)變換T通常并不是唯一的。Chen提出在St的零空間進(jìn)一步最大化tr(WT，SbW)。Yu和Yang則提出直接LDA方法，在Sb的范圍尋找矩陣T。這種方法對(duì)類內(nèi)散布矩陣Sb（或）和Sw進(jìn)行同步對(duì)角化，使式WTSwW=Dw，WTSbW=I或WTStW=I成立。

（3）在LDA算法中調(diào)整類內(nèi)離散度矩陣

Tian使用Sw的擬逆，當(dāng)圖像樣本的數(shù)量增加的時(shí)候，擬逆趨近于它的逆。Hong將Sw調(diào)整為Sw+εI。Yu Bing加入權(quán)函數(shù)重新定義類間散布矩陣。

3 Subspace LDA

Subspace LDA 算法又稱為Fisherface方法，通過特征臉方法將d維人臉圖像空間的維數(shù)先降低到特征子空間的k維；然后，根據(jù)fisher線性鑒別分析，將維數(shù)進(jìn)一步降低到l維。所以Fisher判別的投影矩陣為

W=WpcaWlda

其中，Wpca就是在使用主分量分析法時(shí)所得到的特征子空間，

（1-31）

下面討論使用子空間線性鑒別分析進(jìn)行人臉識(shí)別的具體算法。

（1）計(jì)算每一類的均值mi和總體的均值m。

（2）中心化每一類的圖像數(shù)據(jù)：

（1-32）

（3）中心化每一類的均值：

（4）將所有圖像數(shù)據(jù)組成一個(gè)數(shù)據(jù)矩陣X。

（5）將原始的圖像數(shù)據(jù)X投影到PCA降維形成的特征子空間Wpca

其中Wpca由原始圖像數(shù)據(jù)所對(duì)應(yīng)得血方差矩陣的特征向量組成，即人臉子空間，也就是上一章所求出的特征臉空間。

（6）將中心化后的每一類的均值投影到子空間：

（7）計(jì)算投影后子空間中的類間散布矩陣Sb和類內(nèi)散布矩陣Sw

（8）求解式（1-27）的廣義特征值問題。

（9）保留前面的l個(gè)特征向量。將特征值由高到低排列，保留對(duì)應(yīng)的前面c-1個(gè)特征向量組成Fisher投影空間。

（10）投影分類。最后的投影方向即降維轉(zhuǎn)換矩陣W=WpcaWlda。首先將樣本圖像投影到人臉子空間中，然后將子空間中的低維的圖像再次投影到Fisher投影空間上。在測(cè)試的時(shí)候同樣將測(cè)試圖像投影兩次，選擇合適的分類其進(jìn)行判別分類。

4 改進(jìn)措施——正交分量鑒別分析

以上算法所得到的特征空間的基是非正交基。這樣，識(shí)別結(jié)果容易受到訓(xùn)練集的影響，具有統(tǒng)計(jì)相關(guān)性。為了滿足統(tǒng)計(jì)無關(guān)性，需要使每一個(gè)鑒別向量滿足正交。

Okada提出一種利用Gram-Schmidt正交化求解正交鑒別空間的方法。其基本思想是：取線性鑒別分析中所得到的最大特征值對(duì)應(yīng)的特征向量作為正交化的起始向量（第一個(gè)向量），然后將類內(nèi)散布矩陣和類內(nèi)散布矩陣在與起始向量垂直的方向上作投影變換，得到新的類內(nèi)，類間散布矩陣，求其最大特征值對(duì)應(yīng)的特征向量作為正交化第二個(gè)向量，依次類推。

顯然這樣得到的基的數(shù)目要比LDA得到的多，并且求法相當(dāng)繁瑣。

本文通過修改Fisher最優(yōu)判別準(zhǔn)則，使所得到的鑒別分量既能夠滿足使類內(nèi)離散最小，類間離散最大的要求，又能夠使其滿足統(tǒng)計(jì)無關(guān)性，最終得到一組正交鑒別分量以組成線性鑒別空間。

如前所述，F(xiàn)isher線性鑒別準(zhǔn)則函數(shù)為，最優(yōu)變換。Fisher線性鑒別準(zhǔn)則是根據(jù)最大限度地增大類內(nèi)散布，減小類內(nèi)散布的原則建立的，同樣根據(jù)這個(gè)原則我們可以將Fisher鑒別準(zhǔn)則修改如下：

由行列式的性質(zhì)，

因此準(zhǔn)則函數(shù)可寫成

可得到最優(yōu)變換w是特征向量方程Sw-1SbSw-1w=wΛ的解向量。這些解向量構(gòu)成了式（1-31）中的Wlda 。這些解向量也就是矩陣Sw-1SbSw-1的特征向量。

從式（1-28）可知，原來的Fisher線性鑒別特征空間的向量是矩陣Sw-1Sb的特征向量。由定義可知，類間離散度矩陣Sb和類內(nèi)離散度矩陣Sw都是對(duì)稱矩陣。但是由

(Sw-1Sb)T=SbT(Sw-1)T=SbT(SwT)-1=SbSw-1

可知Sw-1Sb并不一定是實(shí)對(duì)稱矩陣。所以其特征向量并不一定滿足相互正交。這樣就解釋了為什么Fisher線性鑒別方法或子空間線性鑒別方法所得到的鑒別向量是與統(tǒng)計(jì)相關(guān)的，受到訓(xùn)練集的影響。

但是修改后的Fisher線性鑒別準(zhǔn)則（1-37）所得到的鑒別向量是矩陣Sw-1SbSw-1的特征向量。由

(Sw-1SbSw-1)T=(Sw-1)TSbT(Sw-1)T=(SwT)-1SbT(SwT)-1=Sw-1SbSw-1

可知矩陣Sw-1SbSw-1是實(shí)對(duì)稱矩陣。由線性代數(shù)的知識(shí)可知，實(shí)對(duì)稱矩陣對(duì)應(yīng)于不同特征值的特征向量是互相正交的。因此，只要確定矩陣Sw-1SbSw-1的特征值互不相同，我們就可以認(rèn)為所得到的鑒別分量是正交的，從而滿足了統(tǒng)計(jì)無關(guān)性。

我們將修改后的Fishe判別準(zhǔn)則用于Subspace LDA方法，并得到了矩陣Sw-1SbSw-1在不同情況下時(shí)的特征值。我們使用特征臉方法進(jìn)行降維的時(shí)候，取不同數(shù)目的特征向量構(gòu)成特征子空間Wpca，并求出在上述變化下Sw-1SbSw-1的特征值。將這些特征值按從大到小降序排列，與之對(duì)應(yīng)的特征向量隨之排序。我們?cè)噲D在排序后的特征向量中尋找合適數(shù)目的正交鑒別分量以構(gòu)成Wlda，以使其滿足統(tǒng)計(jì)無關(guān)性。這些滿足統(tǒng)計(jì)無關(guān)性的鑒別向量所對(duì)應(yīng)的特征值應(yīng)該互不相等。

5 改進(jìn)算法的識(shí)別性能

下面考察改進(jìn)算法的識(shí)別性能。如前所述，改進(jìn)的算法能夠使得線性鑒別空間滿足統(tǒng)計(jì)無關(guān)性，使其鑒別分量相互正交，從而提高其算法的識(shí)別與分類性能。從圖1看出，雖然Subspace LDA 算法識(shí)別性能低于特征臉?biāo)惴ǎ俏覀兲岢龅母倪M(jìn)算法可以大幅度地提高其識(shí)別率，并且識(shí)別率也普遍超過了特征臉?biāo)惴āＦ湓谧涌臻g維數(shù)達(dá)到60左右的時(shí)候，識(shí)別率達(dá)到最高，為0.91。而特征臉方法的識(shí)別率最高為0.89。

從圖中可以看出，未經(jīng)過小波變換情況下，算法的識(shí)別性能要高于經(jīng)過小波變換的情況。在未經(jīng)過小波變換時(shí)，改進(jìn)算法的識(shí)別性能最高可達(dá)到0.93.可見，小波變換雖然大幅度地降低了識(shí)別時(shí)間和訓(xùn)練時(shí)間，但是對(duì)于線性鑒別分析來說，小波變換削弱了圖像間的差異，丟失了一些分類信息，從而也造成線性鑒別分析的分類性能的下降。

6 小結(jié)

本文基于Fisher線性鑒別分析算法，考察了子空間線性鑒別分析。并且指出子空間線性鑒別分析的缺點(diǎn)，即鑒別空間不滿足統(tǒng)計(jì)無關(guān)性。針對(duì)此缺點(diǎn)，本文提出了使鑒別分量滿足正交的改進(jìn)措施。通過修改Fisher鑒別準(zhǔn)則，使其鑒別空間滿足正交，從而獲得了優(yōu)于子空間線性鑒別的識(shí)別性能。

參考文獻(xiàn)：

[1] 張敏貴. 基于小波和支持向量機(jī)的人臉識(shí)別方法研究[M]. 西北工業(yè)大學(xué)控制理論與控制工程，2003.

[2] 金忠，楊靜宇，陸建峰. 一種具有統(tǒng)計(jì)不相關(guān)性的最佳鑒別矢量集[M]. 計(jì)算機(jī)學(xué)報(bào)，1999， 22(10):1105-11083.

[3] 周激流，張嘩. 人臉識(shí)別理論研究進(jìn)展[M]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖像學(xué)學(xué)報(bào)，1999， 11(2):180-184.

[4] 周杰，盧春雨，張長(zhǎng)水，李衍達(dá). 人臉識(shí)別方法綜述[M]. 電子學(xué)報(bào)，2000， 28(4):102-106.

[5] P. N. Belhumeur， J. P. Hespanha， D. J. Kriegman， Eigenfaces vs fisherfaces Recognition using classs pecific linear projection， IEEE Trans，1997.

[6] L. Chen， H. Liao， M. Ko， J. Lin， and G. Yu. A new lda based face recognition System which can solve the small sample size problem， Pattern Recognition， 2000，33(10):1713-1726.

注：“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。”