林克正,鄧 旭，張玉倫

(哈爾濱理工大學 計算機科學與技術學院,哈爾濱 150080)

1 引 言

面部識別在生物特征識別技術中占有重要的位置，同時，在實際應用中面部識別技術廣泛地應用于交通安全、快捷支付和智能管理等領域內[1,2].然而，面部識別技術仍存在諸多挑戰(zhàn)，如：不同光照、不同角度、變化表情和有無遮擋等.因此，如何更好的提取面部圖像特征來表示圖像成為研究人員研究的熱點.

Liu等人提出了基于幾何特征圖像識別方法[3]，該方法提取面部關鍵器官的位置信息進行識別，如人的眼睛、鼻子等.Gross等人提出基于表象(Appearance-based)的人臉識別方法[4]，該方法將面部圖像看作一個整體并利用面部的全部信息進行面部識別.主成分分析(Principal Component Analysis,PCA)是基于表象的面部識別方法之一[5]，PCA也稱為K-L變換，它的主要思想是將面部圖像矩陣轉換為一維向量.然而，PCA方法可能導致面部圖像部分關鍵特性丟失，并且算法復雜度較高.因此Yang等人提出了二維主成分分析方法(Two-Dimensional Principal Component Analysis,2DPCA)[6].2DPCA方法不需要將圖像矩陣轉換為一維向量，該方法具有計算簡便的顯著特點，其計算代價遠小于PCA方法.由于，通過2DPCA方法構建協(xié)方差矩陣提取的單一特征不能對所得圖像都有較好的魯棒性.因此，本文將通過二維線性鑒別分析方法提取兩類特征，將在第2.1部分詳細介紹.

此外，近年來提出的稀疏表示(Sparse Representation)方法[7]對于面部識別非常有效.該方法實現的主要思想是假設給定一個測試樣本可以由所有類的全體訓練樣本線性組合來近似表示，進而獲取稀疏表示系數，然后計算給定的測試樣本和所有類的訓練樣本之間的殘差，即殘差最小的類別是該測試樣本的類別.Wright等人提出測試樣本可以由其同類訓練樣本線性表示，稀疏表示方法也稱為稀疏表示分類(Sparse Representation based Classification,SRC)[8].SRC方法通過l1范數求得的稀疏解具有較好的稀疏性，然而，該方法具有較高的計算代價.為了解決上述這個問題，Zhang等人通過l2范數求稀疏解，l2范數較l1范數求得的稀疏解具有較弱的稀疏性，但在求解時可以大大降低其計算代價，此方法稱為協(xié)同表示分類(Collaborative Representation based Classification,CRC)[9].本文將利用CRC作為分類器，將在第2.2節(jié)詳細介紹.

Xu等人通常以得分層融合方法、特征層融合方法和決策層融合方法對兩種特征進行融合[10-13].特征層融合方法是將全部生物特征看做一個樣本進行識別，然而不同生物特征存在較大的差異影響其識別性能.決策層融合方法是最簡單的一種融合方法，但是它的融合效果略差于其它兩種融合方法.得分層融合方法[14，15]是將每個特征得出的各自得分(也稱為距離)進行融合.因此，本文采用一種加權得分融合機制將類間虛擬圖像、類內虛擬圖像和原始圖像[16-18]分別在CRC上的獲得得分并進行融合，將在第2.3節(jié)詳細介紹.為了驗證本文方法的識別性能，分別在ORL、AR、GT不同數據庫上進行實驗.

本文的主要貢獻如下：

1)本文首次提出對二維線性鑒別分析的類間散布矩陣和類內散布矩陣進行特征提取，進而得到兩類特征，即類間特征和類內特征.有效緩解了單一特征不能很好地表示圖像的問題.

2)本文所提出的類間特征和類內特征與原始圖像是互補的.

3)本文采用新穎的加權得分融合機制將原始圖像和2)中特征進行融合.

本文其余組織如下：第2部分詳細介紹了提出方法；第3部分展示了提出方法的性能；第4部分提供了實驗結果；第5部分給出了本文的結論.

2 提出的方法

本章涉及的基本符號如表1所示.

表1 符號表

2.1 類間虛擬圖像和類內虛擬圖像

本文通過二維線性鑒別分析構建類間散布矩陣和類內散布矩陣，并且分別進行特征提取.定義類間散布矩陣Sb和類內散布矩陣Sw.分別從Sb中求解最優(yōu)投影向量組u和Sw中求解最優(yōu)投影向量組v，從而將所有面部圖像分別對u和v作投影得到各自的特征向量，具體過程如下：

令樣本類別有M個，第j類樣本有N個圖像：Aj1,Aj2,…,AjN，每幅圖像均為m×n的矩陣.定義準則函數J1(x)=uTSbu，當uTSbu取最大時，圖像矩陣對向量組u作投影獲得特征向量的類別間分散程度最優(yōu).uTSbu最大取值問題可以轉化為求解Sb中最大g個特征值所對應的特征向量問題.類間散布矩陣Sb可以表示為：

(1)

式中P(wj)表示為第j類的先驗概率，一般令P(wj)=1/M.讓j表示為第j(1≤j≤M)類樣本圖像矩陣的均值，表示為所有圖像矩陣的均值，具體表現形式如下：

(2)

(3)

令類間散布矩陣Sb的最大g個特征值對應的特征向量為u(u1,u2,…,ug)，圖像樣本A通過特征提取的方式進行圖像重構，利用前g個特征向量重構出類間虛擬圖像Y1，如公式(4)所示.

Y1=Au=A(u1,u2,…,ug)

(4)

同時，定義準則函數J2(x)=vTSwv，當vTSwv取最大時，圖像矩陣對向量組v作投影獲得特征向量最優(yōu).vTSwv最大取值問題可以轉化為求解Sw中最大g個特征值所對應的特征向量問題.定義類內散布矩陣Sw為：

(5)

Y2=Av=A(v1,v2,…,vg)

(6)

2.2 協(xié)同表示分類

針對于面部識別中小樣本問題，稀疏表示方法是解決這個問題最佳方法之一.稀疏表示方法核心思想是通過給定測試樣本y由所有訓練樣本線性組合表示，并且求出稀疏系數，利用每類訓練樣本和稀疏系數重構后與所有測試樣本進行分類.稀疏表示方法具體過程如下：

假設矩陣Aj表示第j類所有訓練樣本，樣本類別個數為M.記A=[A1,A2,…，AM]，A表示全體訓練樣本組成矩陣.給定一個測試樣本y可用所有訓練樣本線性組合表示，即Aw=y.

一般認為w系數越稀疏，測試樣本y的類別越容易判定.稀疏解可由下面公式得到，即：

(7)

式中‖ ‖1表示為l1范數，雖然通過l1范數求解具有較好的稀疏性，但是具有較高算法復雜度.因此通過l2范數求稀疏解，此方法也稱為協(xié)同稀疏表示分類方法，即：

(8)

(9)

重建誤差的具體表現形式如公式(10)所示：

(10)

式中Rj(y)可以認為是一種距離度量，表示測試樣本y與第j(1≤j≤M)類訓練樣本相似性.求出Rj(y)最小的值即為測試樣本y的類別(j-1)n+i表示Aj的第(j-1)n+i個元素.

2.3 得分融合與圖像分類

根據本文前面介紹的理論，得分融合方法首先獨立對待各生物特征，得出各自識別結果后再進行融合，得分融合方法比其它兩類融合方法往往能取得較優(yōu)鑒別性能.

本文采用一種新的加權得分融合方法，融合原始圖像、類間虛擬圖像和類內虛擬圖像各自的得分，并利用最終得分進行分類，具體為：

S=q1R1+q2R2+q3R3

(11)

式中S表示最終的得分，R1表示原始圖像利用CRC獲取的得分，R2表示類間虛擬圖像利用CRC獲取的得分，R3表示類內虛擬圖像利用CRC獲取的得分.q1為R1的權重系數可以表示為：

(12)

q2為R2的權重系數可以表示為：

(13)

q3為R3的權重系數可以表示為q3=1-(q1+q2)，使得3個權重系數的總和取值為1.

最后通過公式(14)得出的最終得分進行分類，測試樣本y屬于第g個個體的類別，即：

g=argminjSj(y)

(14)

3 算法的步驟及性能展示

3.1 算法步驟

根據第2部分的分析和推導，我們以ORL數據集為例，闡述本文方法的主要操作步驟.

步驟1.將ORL數據庫分為訓練樣本集和測試樣本集，如：每個類別選取前2-5張作為訓練樣本，其余作為測試樣本.并將訓練樣本集和測試樣本集的面部圖像大小統(tǒng)一設置為50*50像素.

步驟2.利用公式(1)-公式(3)構造原始面部圖像訓練樣本集的類間散布矩陣，通過特征提取方式提取相應特征向量，并且利用公式(4)將訓練樣本集和測試樣本集分別向提取出來的特征向量作投影，得到對應訓練樣本的類間虛擬圖像和測試樣本的類間虛擬圖像.

步驟3.利用公式(2)、公式(5)構造原始面部圖像訓練樣本集的類內散布矩陣，通過特征提取方式提取與之對應的特征向量，并利用公式(6)將訓練樣本集和測試樣本集分別向提取的特征向量作投影，獲得對應訓練樣本的類內虛擬圖像和測試樣本的類內虛擬圖像.

步驟4.利用稀疏解具體表現公式w=(ATA+γI)-1ATy和公式(10)分別獲取原始面部圖像中測試樣本y的得分、類間虛擬圖像中測試樣本y的得分和類內虛擬圖像中測試樣本y的得分，其中γ表示一個很小的常量，I表示為單位矩陣.

步驟5.分別獲取權重系數q1、q2和q3，并通過公式(11)融合原始圖像的得分、類間虛擬圖像的得分和類內虛擬圖像的得分.

步驟6.通過公式(14)將融合后最終的得分進行面部圖像識別.

3.2 算法性能展示

為了讓讀者更直觀的了解本文原理，通過圖1展示了本文提出的類間虛擬圖像和類內虛擬圖像示意圖.本文通過2DLDA來提取圖像的類間特征和類內特征，通過特征提取的方式重構類間虛擬圖像和類內虛擬圖像，類間虛擬圖像和類內虛擬圖像與原始圖像是互補的.在圖1中，第1行展示了原始圖像，第2行展示了類間虛擬圖像，第3行展示了類內虛擬圖像.

圖1 在ORL數據集上的原始圖像、類間虛擬圖像和類內虛擬圖像

通過圖2展示了選取不同特征向量個數下對應的識別錯誤率的直觀圖.從圖2中可以看出，本文提出的方法在選取不同特征向量個數下，識別率的總體趨勢是趨于平穩(wěn)的，具有穩(wěn)定性.當特征向量個數選為15時，本文方法面部識別錯誤率最低.

圖2 在ORL數據集上選取不同特征向量個數對應的識別錯誤率

通過圖3展示了不同訓練樣本個數下對應的識別錯誤率.從圖3中可以看出，本文提出的方法有著較低的錯誤識別率，隨著每類訓練樣本個數的增加，其面部識別錯誤率越來越低.

圖3 在ORL數據集上每個類別訓練樣本數目對應的識別錯誤率

4 實驗結果

為了進一步測試本文提出方法的性能，在ORL、AR及GT數據庫上分別設計了實驗.我們設計了協(xié)同表示分類方法、快速迭代算法(Fast Iterative Shrinkage Thresholding Algorithm,FISTA)、同倫法(Homotopy Method)和增廣拉格朗日乘子法(Primal Augmented Lagrange Multiplier,PALM)來分別作為分類算法.

本章采用識別錯誤率來比較算法之間性能的好壞，識別錯誤率越低，算法的性能越好.表2-表4中，“本文方法”表示在ORL、AR和GT面部數據庫上的識別精度，具體為將原始圖像、類間虛擬圖像和類內虛擬圖像分別利用CRC進行得分，利用文中公式(11)所示的加權融合機制進行得分融合，并利用最終得分進行面部識別.“類間虛擬圖像/類內虛擬圖像/原始圖像+CRC/FISTA/HOMOTOPY/PALM”分別表示在不同數據集上類間虛擬圖像/類內虛擬圖像/原始圖像在分類算法為CRC/FISTA/HOMOTOPY/PALM上的識別結果；從表2-表4中可以看出，本文提出的方法對于面部圖像識別具有較低的識別錯誤率.

表4 在GT數據集上的錯誤識別精度

4.1 在ORL面部數據上的實驗

本部分將在ORL人臉數據庫進行實驗.ORL人臉數據庫包含了40個人，每個人10幅圖像，共400幅人臉圖像.每幅人臉圖像均在不同的光照、不同的表情變化、不同的角度條件下獲得.在ORL人臉數據庫中圖像包括表情的變化(笑或不笑，睜眼或閉眼)及面部細節(jié).每幅人臉圖像分辨率均為50像素×50像素，每幅人臉圖像的格式為′.bmp′.圖4顯示ORL人臉數據庫的部分圖像.

圖4 部分ORL數據集的圖像

表2展示了在ORL數據庫的識別錯誤率，每個受試者前2-5幅圖像作為訓練樣本，其余圖像作為測試樣本.從表2中可以看出，本文方法在ORL數據庫上具有較低的錯誤率.例如：當每類訓練樣本個數為2-5時，并且分類器選為CRC時，本文方法的識別錯誤率為14.06%，12.14%，8.33%，8.00%.然而，原始圖像利用CRC進行分類時，它的識別錯誤率為16.25%，14.64%，10.83%，11.00%.由表2可知，當不同訓練樣本個數由2變化到5時，本文提出的方法也比文獻[18]方法(2DPCA+Original images+CRC)、文獻[17]方法(FFT+Original images+CRC)和文獻[15]中的一般融合方法(Gabor+L1LS)效果要好.

表2 在ORL數據集上的錯誤識別精度

4.2 在AR面部數據庫上的實驗

本部分將在AR人臉數據庫進行實驗.AR人臉數據庫中包含了120個人，每個人26幅圖像，共3120幅人臉圖像.圖像在不同光照、不同面部表情、不同角度和有無遮擋物(戴眼鏡或圍巾)條件下獲得.每幅人臉圖像的分辨率均為50像素×40像素，每幅人臉圖像的格式均為′.tif′.圖5顯示AR人臉數據庫的部分圖像.

圖5 部分AR數據集的圖像

每個受試者前9-12幅圖像作為訓練樣本，其余圖像作為測試樣本.例如：分類器選為CRC時，本文提出的方法錯誤率為30.74%，32.76%，23.11%，24.88%.然而，使用FISTA對原始圖像進行分類并且每類訓練樣本個數為9-12時，它的識別錯誤率為44.95%，47.71%，34.33%，35.89%.由表3可知，當每個訓練樣本個數由9變化到12時，本文提出的方法在AR數據庫上的識別錯誤率低于原始圖像使用FISTA的識別錯誤率.

表3 在AR數據集上的錯誤識別精度

4.3 在GT面部數據庫上的實驗

本部分將在GT人臉數據庫進行實驗.GT人臉數據庫中包含了50個人，每個人15幅彩色圖像，共750幅圖像.在GT人臉數據庫中，每個人的面部細節(jié)和面部表情都存在著不同程度的變化.將每幅人臉圖像的壓縮為50像素×50像素，實驗中將這些彩色圖像轉化為灰度圖像.每幅人臉圖像的格式均為′.jpg′.圖6顯示GT人臉數據庫的部分圖像.

圖6 部分GT數據集的圖像

在GT數據庫中，每個受試者的前9-11幅圖像作為訓練樣本，其余圖像作為測試樣本.通過表4的實驗結果可知，當每類訓練樣本個數為9-11時并且分類器選為CRC時，本文提出的面部識別方法錯誤率為28.67%、26.80%、24.00%.文獻[17]方法的識別錯誤率為31.67%、32.00%、27.50%，而文獻[18]方法的識別錯誤率為32.67%、29.60%、29.50%.由表4可知，本文提出的方法與其他經典方法相比具有較低的識別錯誤率.

5 結束語

本文提出了二維線性鑒別分析和協(xié)同表示的面部識別方法.該方法在不同人臉數據庫中可以獲得較好的識別性能.在實際應用中，該方法具有有效性和可行性，不需要手動調整參數并且易于實現.本文方法可以獲取類間虛擬圖像和類內虛擬圖像來表示原始圖像，不僅保留了圖像關鍵特征信息，并且在面部識別方面與原始圖像具有一定的互補性，降低了圖像識別錯誤率.通過實驗表明，在面部識別中將類間虛擬圖像、類內虛擬圖像和原始圖像的分類結果進行融合可以取得較好的識別效果.