尹 茜 劉慶新 陳支澤

(1.常州信息職業(yè)技術學院 江蘇常州 213164； 2.上海諾基亞貝爾有限公司 上海 201600)

基于相關性判別分析的人臉圖像分類算法

尹 茜1劉慶新1陳支澤2

(1.常州信息職業(yè)技術學院 江蘇常州 213164； 2.上海諾基亞貝爾有限公司 上海 201600)

針對目前的判別分類方法不能有效分析數(shù)據(jù)之間相關性的問題，提出新的判別分類算法，并將其應用于人臉圖像識別。首先，將傳統(tǒng)的相關性分析模型拓展成有監(jiān)督的形式，分別設計提取類內和類間相關性特征的目標函數(shù)，尋找投影變換以最大化類內相關性特征并且最小化類間相關性特征；進一步，對樣本數(shù)據(jù)進行判別分析，使得投影之后同類樣本之間散度最小化并且異類樣本之間散度最大化；最后構建約束形式的相關性判別模型進行優(yōu)化求解，并使用最近鄰分類進行分類。實驗結果表明，在AR人臉數(shù)據(jù)集上與對比算法相比能夠將分類識別率提高1.01%～5.58%，在FERET人臉數(shù)據(jù)集上與對比算法相比能夠將分類識別率提高1.87%～5.69%，實驗結果與理論分析數(shù)據(jù)相符合，本算法能夠有效地提高分類精度。

相關性分析； 判別學習； 人臉圖像； 分類； 機器學習

人臉圖像分類及識別是計算機視覺、機器學習和模式識別等領域活躍的話題之一，特別是近些年來，伴隨現(xiàn)代通信及信息技術的蓬勃發(fā)展，人臉識別在很多領域都得到了廣泛的應用?，F(xiàn)代人臉圖像具有形式多樣化、圖像維數(shù)高以及圖像形態(tài)復雜等特點，如何有效地處理這些圖像，不僅是圖像處理領域的一大挑戰(zhàn)，也成為很多相關領域的熱點課題。最近20年，許多研究者圍繞人臉圖像分類展開了廣泛而深入的研究，比如基于統(tǒng)計學的分類方法，如貝葉斯算法[1](Bayesian)、K近鄰算法[2](K-Neighbor Nearest， KNN)、基于案例的推理和回歸分析[3](Regression Analysis)等；基于機器學習的分類方法如決策樹[4](Decision Tree， DT)、支持向量機[5](Support Vector Machine， SVM)等；神經(jīng)網(wǎng)絡方法如BP神經(jīng)網(wǎng)絡[6]、RBF神經(jīng)網(wǎng)絡[7]以及最近10年迅速發(fā)展的深度神經(jīng)網(wǎng)絡[8]等；基于局部圖像描述的分類方法如Gabor小波變換方法[9]、局部二值模式[10](Local Binary Pattern， LBP)等；基于關聯(lián)規(guī)則分類[11]以及其他的分類方法。

盡管目前出現(xiàn)了很多人臉圖像分類方法和應用實例，但是這些方法依然存在其局限性。比如K近鄰算法是一種“懶散”式的學習方法，并且隨著樣本類別及個數(shù)的增加計算量將大大增加；樸素貝葉斯算法要求的理論前提較為苛刻，這種前提條件在現(xiàn)實當中難以滿足；SVM算法沒有通用的方法去處理非線性數(shù)據(jù)，需要謹慎選擇核函數(shù)；神經(jīng)網(wǎng)絡方法需要訓練大量的參數(shù)，因此時間成本較大；決策樹算法則容易出現(xiàn)過擬合的問題，并且忽略了圖像數(shù)據(jù)之間的關聯(lián)信息等。

人臉圖像樣本之間通常存在著一定的相關性(或判別)信息同時摒棄無用的相關(或判別)信息成為分類的關鍵所在，基于此動機，一些經(jīng)典的特征提取方法被用于人臉圖像分類，如主成分分析[12](PCA， Principal Component Analysis， PCA)、線性判別分析[13](Linear Discriminant Analysis， LDA)以及他們的擴展方法等，這些方法通常通過尋找一個投影變換矩陣，將原始樣本投影至低維子空間，不僅可以達到降維的目的，而且使投影后子空間中的新樣本具有特殊的性質。利用分析人臉樣本之間的相關信息，典型相關性分析[14](Canonical Correlation Analysis， CCA)、半監(jiān)督CCA(SCCA， Supervised Canonical Correlation Analysis)[15]以及雙重相關分析(IISCA， Intra-View and Inter-View Supervised Correlation Analysis)[16]也被提出用于改善人臉的分類效果。

本文提出一種基于相關性判別分析的人臉圖像分類方法(CDA， Correlation Discriminant Analysis)，其創(chuàng)新工作如下：其一，能夠同時進行判別分析和相關性分析，進行相關性分析的目的是最大化數(shù)據(jù)集中的類內相關信息，最小化類間相關信息，從而提取有利于分類的有效關聯(lián)信息；其二，在相關性分析的基礎上進行判別分析，進一步達到提高分類精度的目的。

1 典型相關分析

(1)

利用拉格朗日乘子法可以對式(1)中的模型進行求解。

2 本文算法

本文提出的CDA算法可以看成兩個并行進行的部分：相關性分析部分和判別分析部分。對于相關性分析部分，尋求投影向量滿足最大化類內相關特征，同時最小化類間相關特征的原則；對于判別分析部分，利用LDA算法，通過尋求最佳投影向量使模型滿足Fisher判別準則，從而使投影變換之后的同類樣本聚集異類樣本分散。下面給出算法的數(shù)學模型描述以及相關推導過程。

2.1 CDA模型描述

考慮經(jīng)過標準化之后的原始圖像樣本x，相應的樣本集合為X，現(xiàn)在考慮求解投影變換v，使得投影之后的樣本能夠滿足判別分析模型和相關性分析模型：

F(v)=D(v)+αC(v)

(2)

式(2)中F(v)表示CDA的目標函數(shù)，D(v)為判別分析項，C(v)為相關性分析項，α為平衡因子，用于平衡兩項，從模型可以看出兩項分析是同時進行約束的。下面分別對這兩項進行設計。

2.2 相關性分析項

本文對典型相關分析進行改進，設計改進的相關性分析項的目的在于提取有利于分類的相關信息，同時去除不利于分類的相關信息，和典型相關性分析項不同，其分別包含類間、類內相關信息的分析，即通過該項保留圖像之間的同類相關信息，并且去除圖像之間異類的相關信息。因此C(w)項的設計應該包含有兩部分：

C(v)=CW(v)-βCB(v)

(3)

式(3)中CW(v)為類內相關性分析項，CB(v)為類間相關性分析項，參數(shù)β為兩者之間的平衡因子。

2.2.1 類內相關性分析項

對于式(3)中的CW(v)項，其定義了圖像樣本中的類內相關性特征，通過對典型相關分析中的相關系數(shù)進行拓展，考慮類別因素，得到的計算方式如下：

(4)

式(4)中xij表示第i類的第j個樣本，c為樣本類別個數(shù)。此外：

(5)

式(4)經(jīng)過進一步化簡可以表示為：

(6)

式(6)中D是一個對角矩陣，其矩陣的行和列均為nc，令A=XDXT，式(6)進一步變形為：

(7)

2.2.2 類間相關性分析項

類似的，對于CB(w)，其定義了圖像樣本中的類間相關性特征，通過對典型相關分析中的相關系數(shù)進行拓展，考慮類別因素，得到的計算方式如下：

(8)

式(8)中的各項定義為：

(9)

式(8)經(jīng)過進一步化簡可以變形為：

(10)

(11)

2.3 判別項

設計判別項的目的在于尋求最佳投影向量，使得圖像集中的類間散度矩陣的散度和類內散度矩陣的散度的比值最大化，此時可以利用LDA算法進行設計，判別性D(v)可以設計成：

(12)

其中SB和SW分別表示類間散度矩陣和類內散度矩陣，相應的計算方式分別如下：

(13)

(14)

2.4 CDA算法模型優(yōu)化

綜合2.2節(jié)中的相關性分析項和2.3節(jié)中的判別項，同時合并系數(shù)，式(2)可以變形為：

(15)

式(15)僅僅是一個目標方程，為了便于優(yōu)化，給定約束條件vTSWv=1，并且縮放(15)中第二項分母中的因子[17]，可以將其轉化為以下形式的優(yōu)化模型：

(16)

式(16)中的優(yōu)化模型可以使用拉格朗日乘子法進行求解。定義帶有懲罰項的拉格朗日函數(shù)

L(v)=vTSBv+λvTAv-γ(vTSWv-1)

(17)

在式(16)中，對v進行求導，并令其值為0可以得到

2SBv+2λAv-2γSWv=0

(18)

式(17)可以轉化為一般性的特征方程問題：

(SB+λA)v=γSWv

(19)

2.5 分類過程

在上一節(jié)中給出了模型的求解過程，CDA算法的分類步驟如下：

1)原始圖像樣本預處理、標準化，并將數(shù)據(jù)集劃分為訓練集合本和測試集合；

2)計算特征方程(19)的前d個特征向量構成投影變換矩陣；

3)使用2)中的投影矩陣對樣本進行投影變換；

4)對投影之后新的樣本使用最近鄰分類器分類并得到識別率。CDA算法分類過程見圖1。

圖1 CDA分類過程示意圖

2.6 算法分析

從本文算法設計的模型來看，CDA具有其獨特的優(yōu)勢：

1)CDA算法兼具相關性分析和判別分析，在判別分析的基礎上保留有利于分類的相關信息，摒棄不必要的相關信息，因此相比較傳統(tǒng)的LDA分類方法更加有利于分類效果的提升；

2)本文使用的相關性分析是一種有監(jiān)督的分析方法，相比較于CCA算法，其重點在于分析圖像樣本中類內、類間的相關性特征，通過設計“最大化類內相關性并最小化類間相關性”的模型來改善分類效果；

3)從式(15)中的模型可以看出，經(jīng)過化簡的相關性分析項形式較為簡潔，且與判別項類似，而同時優(yōu)化這兩項的優(yōu)化過程也較為簡單，最后可以歸結為求解一般性的特征值與特征向量的問題，整個過程可以獲得解析解，便于計算。

3 實驗分析

本文選擇AR和FERET人臉數(shù)據(jù)集作為實驗數(shù)據(jù)進行實驗，在實驗過程中，選擇PCA算法、LDA算法、CCA算法、SVM算法和IISCA作為對比算法。本文選擇MATLAB R2012a作為實驗工具，實驗所用PC機配置為Intel 酷睿i7 6700 CPU，32 G內存。

3.1 數(shù)據(jù)集介紹

1)AR人臉數(shù)據(jù)集總共包含來自70位男性，56位女性的共3000多張圖像，所有的圖像分兩個階段采集得到，每個階段采集了14張包含不同光照、表情或遮擋的768×576大小的圖像。為了實驗的準確性和效率，本文選擇其中一個子集，該子集共有119個類，每類選取第一階段的14張圖像作為實驗數(shù)據(jù)，并將原始圖像預處理成60×60像素大小，圖2為部分樣本。

2)FERET人臉數(shù)據(jù)集總共包含來自200個人臉的2200張圖像，所有的圖像由不同的光照或者角度采集得到，原始圖像像素大小384×256。由于原始圖像像素較高，本文預先將圖像處理成60×50像素大小，其中圖3為部分樣本。

3.2 實驗設置

對于AR數(shù)據(jù)集，本文實驗中共有119類，共進行20次分類識別率實驗，每次實驗隨機選取每類中的7張作為訓練樣本，剩余的作為測試樣本；類似地，對于FERET，同樣也進行20次分類識別率實驗，每次實驗打亂樣本標簽隨機選取其中的5張作為訓練，其余的作為測試樣本。

在實驗過程中，為了避免算法出現(xiàn)奇異性問題同時縮短實驗時間，除PCA算法本身以外，事先使用PCA算法對原始樣本進行降維預處理，降維的具體維數(shù)可由循環(huán)挑選主元得到；在對比算法中，相關性算法使用監(jiān)督的CCA方法，即式(15)中模型的第二項，對于SVM算法采用徑向基核進行試驗，本文算法中的參數(shù)λ在0.5和1.5之間能得到的分類效果較好，本文實驗過程中通過循環(huán)獲取最好的λ值。

3.3 實驗結果及分析

最終得到兩個數(shù)據(jù)集識別率波動圖分別如圖4、圖5所示。

圖4 AR人臉數(shù)據(jù)集識別率圖

圖5 FERET人臉數(shù)據(jù)集識別率圖

從圖4、圖5可以看出，在AR人臉數(shù)據(jù)集上本文提出的CDA算法最終能夠將識別率提高1.01～5.58%，在FERET人臉數(shù)據(jù)集上能夠提高1.87～5.69%，分類識別率結果也反映了本文提出的CDA算法的有效性。究其主要原因，本文提出的分類模型不僅具有較強的判別能力，而且能夠提取有效的相關信息，去除了不必要的關聯(lián)信息，相比較而言，LDA是一種線性的有監(jiān)督分類方法，并沒有利用圖像之間的關聯(lián)信息；CCA本身如果單獨使用進行分類，并沒有合理地考慮潛藏在圖像中的內部結構信息；對于SVM，雖然擁有較強的泛化能力，但是需要選擇合適的核函數(shù)，而SVM本身也具有多種形式的模型，因此如何選擇合適的參數(shù)也是一個問題，同時SVM也沒有很強的判別分類能力。IISCA作為CCA的一種擴展方法，同時進行了視圖內和外部的相關性分析，但是其并未考慮判別性。

4 結論

1)本文提出的CDA算法著重于提取圖像中的判別相關特征，在改進相關性分析模型的同時提取判別特征，使得模型既能夠提取有利于分類的相關信息，去除不利于分類的關聯(lián)信息，又能增強模型的判別能力，因而能夠從一定程度上改善分類效果。

2)需要指出的是，CDA算法具有一定的可擴展性，借助于核函數(shù)進行高維映射，能夠使其更好地處理非線性問題，從而充分挖掘圖像中的非線性信息。

另外，CDA算法可以作為一種特征融合的方法，使其適用于多特征融合或者多視圖數(shù)據(jù)情況下的分類情形，今后工作將圍繞以上兩點展開。

[1] Williams C K I， Barber D. Bayesian classification with Gaussian processes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1998(12)： 1342-1351.

[2] Weinberger K Q， Saul L K. Distance metric learning for large margin nearest neighbor classification[J]. Journal of Machine Learning Research， 2009(12)： 207-244.

[3] Kurt I， Ture M， Kurum A T. Comparing performances of logistic regression， classification and regression tree， and neural networks for predicting coronary artery disease[J]. Expert Systems with Applications， 2008(1)： 366-374.

[4] Friedl M A， Brodley C E. Decision tree classification of land cover from remotely sensed data[J]. Remote sensing of environment， 1997(3)： 399-409.

[5] Pradhan B. A comparative study on the predictive ability of the decision tree， support vector machine and neuro-fuzzy models in landslide susceptibility mapping using GIS[J]. Computers & Geosciences， 2013，51： 350-365.

[6] Ren C， An N， Wang J， et al. Optimal parameters selection for BP neural network based on particle swarm optimization： A case study of wind speed forecasting[J]. Knowledge-Based Systems， 2014，56： 226-239.

[7] Tsekouras G E， Tsimikas J. On training RBF neural networks using input-output fuzzy clustering and particle swarm optimization[J]. Fuzzy Sets and Systems， 2013，221： 65-89.

[8] Hinton G， Deng L， Yu D， et al. Deep neural networks for acoustic modeling in speech recognition： The shared views of four research groups[J]. IEEE Signal Processing Magazine， 2012(6)： 82-97.

[9] Porter R， Canagarajah N. Robust rotation-invariant texture classification： wavelet， Gabor filter and GMRF based schemes[J]. IEE Proceedings-Vision， Image and Signal Processing， 1997(3)： 180-188.

[10] Zhang B， Gao Y， Zhao S， et al. Local derivative pattern versus local binary pattern： face recognition with high-order local pattern descriptor[J]. IEEE transactions on image processing， 2010(2)： 533-544.

[11] Karabatak M， Ince M C. An expert system for detection of breast cancer based on association rules and neural network[J]. Expert systems with Applications， 2009(2)： 3465-3469.

[12] Candès E J， Li X， Ma Y， et al. Robust principal component analysis[J]. Journal of the ACM (JACM)， 2011(3)： 11.

[13] Bandos T V， Bruzzone L， Camps-Valls G. Classification of hyperspectral images with regularized linear discriminant analysis[J]. IEEE Transactions on Geoscience and Remote Sensing， 2009(3)： 862-873.

[14] Kim T K， Cipolla R. Canonical correlation analysis of video volume tensors for action categorization and detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2009(8)： 1415-1428.

[15] Jing X Y， Hu R， Zhu Y P， et al. Intra-View and Inter-View Supervised Correlation Analysis for Multi-View Feature Learning[C]//AAAI. 2014： 1882-1889.

[16] Shen X B， Sun Q S. A novel semi-supervised canonical correlation analysis and extensions for multi-view dimensionality reduction[J]. Journal of Visual Communication and Image Representation， 2014(8)： 1894-1904.

[17] Yang M， Sun S. Multi-view uncorrelated linear discriminant analysis with applications to handwritten digit recognition[C]//Neural Networks (IJCNN)， 2014 International Joint Conference on. IEEE， 2014： 4175-4181.

[責任編輯：李娟]

Face Image Classification Algorithm Based on Correlation Discriminant Analysis

YIN Qian1LIU Qingxin1CHEN Zhize2

(1. Changzhou College of Information Technology， Changzhou 213164， China； 2. Shanghai Nokia Bell， Shanghai 201600， China)

Aiming at the problem that the existed discriminant classification method could not effectively utilize the correlative information on the data set， this paper proposes the discriminant algorithm in face image recognition. Firstly， it extends the correlation analysis to supervised model， designs the intra class and inter class correlation feature extraction function， and seeks the projection transformation which could maximize the intra class correlation feature and minimize the inter class correlation feature. Furthermore， discriminant analysis is performed， which makes the projected model maximize scatter value between different class samples and minimize scatter value between same class samples. Finally， it constructs constrained correlation discriminant model to solve the optimization and uses the nearest neighbor classifier to classify the samples. Experimental results show that， compared with other algorithm on AR face data set， the proposed algorithm can achieve recognition rate increase of 1.32%～5.58%； and compared with other algorithm on FERET face data set， the proposed algorithm can realize the recognition rate increase of 2.27%～5.69%. The experimental results are in agreement with the theoretical analysis data， and the proposed algorithm can effectively improve the classification accuracy.

correlation analysis； discriminant learning； face image； classification； machine learning

2017-04-30

常州市高技術研究重點實驗室(CM20153001)

尹 茜(1980-)，女，講師，碩士，主要研究方向：機器視覺、智能控制

TP 391.41

A

1672-2434(2017)04-0018-06