李張紅，鄭燕柳，田　涵，楊瑞麗

（河南師范大學(xué)，河南 新鄉(xiāng) 453007）

小波核極限學(xué)習(xí)機(jī)在人臉識(shí)別中的應(yīng)用

李張紅，鄭燕柳，田涵，楊瑞麗

（河南師范大學(xué)，河南 新鄉(xiāng) 453007）

文章提出了一種基于小波核極限學(xué)習(xí)機(jī)（Wavelet Kernel Extreme Learning Machine，WK-ELM）的人臉識(shí)別算法。首先，使用2D蓋博小波變換對人臉圖片進(jìn)行初步的人臉特征提取。為了從所有提取的特征中選擇出與人臉識(shí)別相關(guān)的、必要的特征，使用主成分分析法（Principal Component Analysis，PCA）對經(jīng)過初步處理后的圖像再進(jìn)行進(jìn)一步處理，有效地降低了特征維數(shù)。然后使用小波核極限學(xué)習(xí)機(jī)對提取到的圖像進(jìn)行分類。實(shí)驗(yàn)證明，小波核極限學(xué)習(xí)機(jī)不僅識(shí)別性能高，而且訓(xùn)練速度也優(yōu)于其他算法。

極限學(xué)習(xí)機(jī)；人臉識(shí)別；特征提??；主成分分析；小波核極限學(xué)習(xí)機(jī)

隨著模式識(shí)別、計(jì)算機(jī)視覺以及電子商務(wù)的發(fā)展，人臉識(shí)別技術(shù)已逐漸成為現(xiàn)在生物識(shí)別技術(shù)的重要研究方向。其主要原因有兩個(gè)方面［1］：首先，人臉識(shí)別技術(shù)比其他生物識(shí)別技術(shù)更加友好、人性化、使用方便、不易仿冒，所以它被應(yīng)用于很多領(lǐng)域，尤其是在國家的重要機(jī)構(gòu)以及社會(huì)安全防護(hù)領(lǐng)域都具有不可替代的地位；其次，近年來相關(guān)領(lǐng)域技術(shù)的飛快發(fā)展也為人臉識(shí)別技術(shù)的研究與應(yīng)用奠定了基礎(chǔ)。人臉識(shí)別是指利用計(jì)算機(jī)技術(shù)對收集到的圖像進(jìn)行預(yù)處理并提取人臉的主要特征，最終實(shí)現(xiàn)對人身份的識(shí)別。

近年來學(xué)者們研究發(fā)現(xiàn)，可以用一組二維Gabor小波來模擬大部分視覺皮層簡單細(xì)胞的濾波響應(yīng)［2］。由于人臉圖像的特征容易受到光照、表情、化妝及年齡變化的影響，如果直接采用灰度處理圖像來提取人臉特征往往不能獲得期望的人臉識(shí)別結(jié)果。而使用2D Gabor小波變換可以得到精度較高的結(jié)果。

在經(jīng)過預(yù)處理和Gabor濾波以后得到的人臉向量的維數(shù)較高，有很多不必要的特征，如果直接送入分類器中學(xué)習(xí)必然不能得到預(yù)期的效果。所以在對圖像進(jìn)行Gabor濾波以后，還需要用主成分分析法對所獲得的信息進(jìn)行壓縮降維處理，然后采用小波核極限學(xué)習(xí)機(jī)算法進(jìn)行分類。

1　人臉識(shí)別特征提取方法

不同的人臉圖像可用其特有的向量來表示，這個(gè)向量為特征向量。為了對不同的人臉進(jìn)行區(qū)分，首先需要從人臉圖像中提取最主要的特征。然而人臉圖像中可能會(huì)有大量贅余的特征，如何提取出能夠?qū)θ四樳M(jìn)行準(zhǔn)確表達(dá)的特征對人臉識(shí)別的效果有著重要的影響。人臉特征提取的方法有很多比如基于圖像灰度信息、基于人臉的局部或整體的信息提取、基于人臉幾何特征的信息提取等。本文采用Gabor濾波和主成分分析的方法來進(jìn)行特征提取。

1.1 人臉Gabor濾波

由于人臉圖像的特征容易受到光照、表情、年齡變化及化妝的影響，直接采用灰度圖像處理不能取得預(yù)期的效果。而如果采用2D Gabor小波變換，我們可以得到圖片中相對于空間頻率、空間坐標(biāo)以及方向選擇性的局部結(jié)構(gòu)信息，這些信息能夠較為準(zhǔn)確地描述人臉圖像的特征［3］。一個(gè)2D Gabor濾波器g（x，y）可以用下式來表示：

本文選用5個(gè)中心頻率和8個(gè)方向組成的40個(gè)Gabor濾波器的濾波器組來對圖像進(jìn)行處理。

1.2 主成分分析法（PCA）

經(jīng)過預(yù)處理和Gabor濾波處理后的圖像人臉向量的維數(shù)較高并且有較多贅余特征，所以還要對所獲得的信息進(jìn)行壓縮降維處理，主成分分析法在壓縮降維方面具有較好的性能。PCA是一種基于子空間的特征提取方法，PCA的基本原理是在K-L變換基礎(chǔ)上盡可能減少贅余特征，提取主要人臉圖像主要特征。

PCA具體實(shí)現(xiàn)步驟：

假設(shè)訓(xùn)練集中有N幅人臉圖像，經(jīng)過預(yù)處理后每幅圖像大小為a×b，則每幅圖像構(gòu)成一個(gè)a×b維的矩陣，然后把每一列連在一起構(gòu)成列向量xi。

訓(xùn)練集矩陣可以表示為：

對X取均值

人臉樣本的差異用向量δ表示：

其中λi為特征值，ui為特征向量，Λ=diag［λ1，λ2，…λN］為對角陣，U=［u1，u2，…uN］為奇異矩陣，將特征值λi按從大到小排列，選取λi較大的前p個(gè)特征值對應(yīng)的特征向量構(gòu)成“特征臉”空間P=［u1，u2，…uN］。

即為PCA的人臉表示。

2　基于小波核極限學(xué)習(xí)機(jī)的人臉分類

2.1 極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）［4］是從單隱藏層反饋神經(jīng)網(wǎng)絡(luò)（SLFNs）［5］發(fā)展而來。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)BP梯度學(xué)習(xí)算法存在著訓(xùn)練時(shí)間長、過度擬合訓(xùn)練樣本和易陷入局部最優(yōu)等問題。極限學(xué)習(xí)機(jī)憑借著良好的分類和回歸性能，使得極限學(xué)習(xí)機(jī)和它的變種［6—8］被廣泛應(yīng)用于機(jī)器學(xué)習(xí)中。極限學(xué)習(xí)機(jī)訓(xùn)練和測試速度都比較快，極限學(xué)習(xí)機(jī)在輸入權(quán)重和偏置隨機(jī)生成后，可直接計(jì)算得出輸出權(quán)重，極限學(xué)習(xí)機(jī)訓(xùn)練時(shí)的復(fù)雜度為O（L3，N3），測試復(fù)雜度為O（N），而我們熟悉的支持向量機(jī)（SVM）［9］訓(xùn)練時(shí)的復(fù)雜度為O（N2～N3），測試復(fù)雜度為O（N）。而且極限學(xué)習(xí)機(jī)還擁有較高的準(zhǔn)確率［10］，在處理二分類和回歸問題上ELM擁有和支持向量機(jī)（Support Vector Machine，SVM）相當(dāng)?shù)臏?zhǔn)確度，但在多分類問題上ELM準(zhǔn)確度遠(yuǎn)遠(yuǎn)高于SVM。

2.2 小波核極限學(xué)習(xí)機(jī)

核方法已經(jīng)成為當(dāng)今機(jī)器學(xué)習(xí)中比較熱門的研究方向，在1964年Aizermann 等把核函數(shù)和機(jī)器學(xué)習(xí)結(jié)合在一起使用，但當(dāng)時(shí)并沒有引起學(xué)者們的關(guān)注。直到1992年Vapnik成功地將核函數(shù)與SVM結(jié)合起來使用，把支持向量機(jī)由線性轉(zhuǎn)化為非線性，充分挖掘出核函數(shù)的潛力。基礎(chǔ)的ELM是無核的且只有一個(gè)隱含層，當(dāng)輸入權(quán)值確定以后，這個(gè)隱含層的映射方式為非線性顯式，但是在多分類問題上ELM需要的隱層結(jié)點(diǎn)不止一個(gè)，其基本思想和核函數(shù)一樣，即將樣本映射到高維空間。根據(jù)核函數(shù)內(nèi)積定理可將ELM隱藏結(jié)點(diǎn)的映射由核函數(shù)來代替。實(shí)驗(yàn)證明，將核函數(shù)與ELM結(jié)合起來，大大提高了ELM的非線性逼近能力。

小波理論的優(yōu)良性能被學(xué)者們發(fā)現(xiàn)并應(yīng)用到實(shí)驗(yàn)中，為了提高神經(jīng)網(wǎng)絡(luò)的非線性逼近能力，有學(xué)者將小波理論與神經(jīng)網(wǎng)絡(luò)結(jié)合起來，典型的有小波網(wǎng)絡(luò)［11］（Wavelet Neural Network，WNN）。同樣我們可以構(gòu)造出小波核函數(shù)并與極限學(xué)習(xí)機(jī)結(jié)合起來。

若核函數(shù)不滿足點(diǎn)積形式，可以利用平移不變核的形式：

判斷一個(gè)平移不變核是否為允許的ELM核函數(shù)的充要條件為：

由第一個(gè)公式可構(gòu)造出平移不變的小波核函數(shù)［12］：

其中Ψ（x ）為小波函數(shù)，a為尺度參數(shù)。

為了構(gòu)造出特定的小波核函數(shù)，可以將上式Ψ（x）的替換成具體的小波核函數(shù)，如Morlet小波、Mexico小波等。

Morlet小波的公式：

Mexico小波的公式如下：

本文主要研究由Morlet小波函數(shù)構(gòu)成的小波核函數(shù)。有如下定理：

小波核函數(shù)具有小波分析多尺度逼近的特點(diǎn)，因而在非線性分類平面的逼近上可以取得更好的效果。

3　小波核極限學(xué)習(xí)機(jī)在人臉識(shí)別中的應(yīng)用

實(shí)驗(yàn)數(shù)據(jù)的選擇：本文的實(shí)驗(yàn)分別在ORL人臉庫、YALE人臉庫上以及FERET人臉庫上進(jìn)行。人臉庫中部分圖片分別如圖1—3所示。

首先我們選取ORL人臉庫每人選取前5張圖片一共200張作為訓(xùn)練樣本，剩下的200張作為測試樣本，所有圖片的雙線性插值處理到64*64。YALE人臉庫每人選取后5張圖片一共75張作為訓(xùn)練樣本剩下的90張作為測試，來進(jìn)行實(shí)驗(yàn)，圖片的雙線性插值處理到50*50。FERET人臉庫選取前3張圖片一共150張來訓(xùn)練，剩下的200張作為測試集合，圖片的雙線性插值處理到40*40。

對人臉圖像進(jìn)行特征提取，本文選用Gabor濾波和PCA的方法，首先使用由5個(gè)中心頻率和8個(gè)方向組成的40個(gè)Gabor濾波器處理人臉圖像，然后使用PCA進(jìn)行壓縮降維處理，最后將處理后的特征集合送入到小波核極限學(xué)習(xí)機(jī)算法中訓(xùn)練一個(gè)分類器。得到的分類器可以識(shí)別未知類別的人臉樣本。

圖1 ORL人臉庫部分圖片

圖2 YALE人臉庫部分圖片

圖3 FERET人臉庫部分圖片

4　實(shí)驗(yàn)結(jié)果與分析

對比應(yīng)用于人臉識(shí)別中的小波核ELM分類器與其他分類算法的性能。其中ELM和BP神經(jīng)網(wǎng)絡(luò)的隱層激勵(lì)函數(shù)均為sigmoid函數(shù)。多次實(shí)驗(yàn)取平均值，得到以下實(shí)驗(yàn)結(jié)果，如表1所示。

由表1可以看出小波核ELM和高斯核ELM的性能相當(dāng)，甚至要優(yōu)于高斯核極限學(xué)習(xí)機(jī)，另外可以看出BP神經(jīng)網(wǎng)絡(luò)的性能最差。

表1 5種算法在3種庫上的實(shí)驗(yàn)

為了研究以上幾種算法在小樣本下的分類能力，將人臉庫中每個(gè)人的第一張圖片作為訓(xùn)練數(shù)據(jù)，其余數(shù)據(jù)為測試數(shù)據(jù)，對比幾種算法的性能，實(shí)驗(yàn)結(jié)果如表2所示。

根據(jù)表1—2可以看出SVM和幾種ELM在小樣本下識(shí)別性能較好，其中小波核ELM的效果仍然是最好的，識(shí)別性能最差的為BP神經(jīng)網(wǎng)絡(luò)。

研究證明，核極限學(xué)習(xí)機(jī)在訓(xùn)練速度上也比較快，在小樣本下核極限學(xué)習(xí)機(jī)要快于無核極限學(xué)習(xí)機(jī)，支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度要遠(yuǎn)低于極限學(xué)習(xí)機(jī)。

表2 小樣本下5種算法在4種庫上的實(shí)驗(yàn)

5　結(jié)語

由于人臉圖像容易受到光照、表情、年齡變化及化妝等的影響，使得人臉識(shí)別效率下降。本文在對人臉圖像進(jìn)行預(yù)處理和Gabor濾波處理后，進(jìn)一步對所獲得的信息進(jìn)行壓縮降維處理，即采用主成分分析的方法。然后采用小波核極限學(xué)習(xí)機(jī)進(jìn)行分類實(shí)驗(yàn)，經(jīng)驗(yàn)證小波核極限學(xué)習(xí)機(jī)在人臉識(shí)別中具有較好的性能。

［1］RABIA J，HAMID R A. A survey of face recognition techniques［J］.Information Processing Systems，2009（2）：41-68.

［2］姜琳.光照變化條件下的人臉識(shí)別研究［D］.重慶：重慶大學(xué)，2009.

［3］章毓晉.基于子空間的人臉識(shí)別［M］.北京：清華大學(xué)出版社，2009.

［4］HUANG G B，ZHU Q Y，CHEW C K. Extreme learning machine： theory and applications［J］. Neurocomputing，2006（1）：489-501.［5］HORNIK K，STINCHCOMBE M，WHITE H. Multilayer feedforward networks are universal approximators［J］. Neural Networks，1989（5）：359-366.

［6］NIAN R，HE B，ZHENG B，et al. Extreme learning machine towards dynamic model hypothesis in fish ethology research［J］. Neurocomputing，2013（20）：1020-1022.

［7］LU H J，AN C L，ZHENG E H，et al. Dissimilarity based ensemble of extreme learning machine for gene expression data classifcation ［J］.Neurocomputing，2013（18）：10-12.

［8］MAO W，WANG Y，CAO X，et al. Mixture regression estimation based on extreme learning machine［J］. Computers，2013（11）：2925-2933，.

［9］CHANG C C，LIN C J. Libsvm： a library for support vector machines［ J］.Intelligent Systems and Technology （TIST），2011（3）：27.

［10］HUANG G B，ZHOU H，DING X，et al.Extreme learning machine for regression and multiclass classification systems［J］. Cybernetics，2012（2）：513-529.

［11］ZHANG Q，BEN V A.WaVelet Network［J］.Normal Networks，1992（9）：889-898.

［12］董紹江，湯寶平，宋濤.改進(jìn)投票策略的Morlet小波核支持向量機(jī)及應(yīng)用［J］.震動(dòng)、測試與診斷，2011（3）：314-317.

Application of wavelet kernel extreme learning machine in face recognition

Li Zhanghong， Zheng Yanliu， Tian Han， Yang Ruili
（Henan Normal University， Xinxiang 453007， China）

In the paper， a new approach based on WK-ELM（Wavelet Kernel Extreme Learning Machine）was proposed for face recognition. Firstly， using 2D Gabor wavelet transform for primary facial feature extraction. To select the necessary features for face recognition， using principal component analysis（PCA）for dealing with the initial image for further processing， reducing the feature dimension effectively. Secondly， ELM is adopted for classifcation. Finally， the experiment results show that WK-ELM is not only having high recognition performance， but also superior to other algorithm in the training speed.

extreme learning machine； face recognition； feature extraction； principal component analysis； wavelet kernel extreme learning machine

2015年河南師范大學(xué)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃校級(jí)重點(diǎn)項(xiàng)目；項(xiàng)目編號(hào)：20150012。

李張紅（1995— ），女，河南濮陽。