袁寶華，王 歡，任明武

1.南京理工大學(xué) 泰州科技學(xué)院 計算機系，江蘇 泰州 225300 2.南京理工大學(xué) 計算機系，南京 210094

LBP與LNMF特征融合的人臉識別

袁寶華1，王 歡2，任明武2

1.南京理工大學(xué) 泰州科技學(xué)院 計算機系，江蘇 泰州 225300 2.南京理工大學(xué) 計算機系，南京 210094

1 引言

人臉識別是基于生物特征識別技術(shù)的身份認(rèn)證中最主要的方法之一。對人臉識別方法的研究已成為當(dāng)前模式識別和人工智能領(lǐng)域的一個研究熱點[1]。人臉識別技術(shù)從最初的非自動識別階段，已經(jīng)發(fā)展到了現(xiàn)在的自動識別階段，但是由于受光照、表情、年齡等條件變化影響，人臉識別系統(tǒng)只能用于某些識別準(zhǔn)確率要求不高的場合。

由于人臉圖像的復(fù)雜性，即表面光滑且具有一定的紋理信息，局部像素間又具有很強的相關(guān)性，而利用顯示的描述人臉特征的方法進行識別具有一定的困難，利用統(tǒng)計信息進行識別的方法逐漸受到重視。Lee[2]等人提出一種非負(fù)矩陣分解（Non-negative Matrix Factorization，NMF）算法，通過對矩陣引入非負(fù)性約束，使重建圖像由基圖像非減的疊加組合而成，更符合人類思維中“局部構(gòu)成整體”的概念。2002年Li等人在標(biāo)準(zhǔn)的NMF目標(biāo)函數(shù)的基礎(chǔ)上增加了局部特征分析（LFA）的限制形成了LNMF[3-4]，該方法更好地實現(xiàn)人臉庫的局部分量或部件的提取。

1999年Ojala等人引入了局部二值模式（Local Binary Pattern，LBP）作為紋理算子來分析圖像紋理特征，利用結(jié)構(gòu)法思想分析固定窗口特征，再利用統(tǒng)計法作整體的特征提取。Timo Ahonen[5]等人將LBP引入人臉識別，將其用于描述人臉圖像的特征，采用 χ2統(tǒng)計作為不相似度量，取得了較好的識別效果。

本文提出一種結(jié)合LBP和NMF的人臉識別方法，將人臉圖像進行分塊，然后采用LBP算子提取分塊的直方圖，將每個分塊的直方圖串接成直方圖序列，構(gòu)成新的人臉特征，因為該特征具有人臉的紋理特征。對此人臉特征，采用局部非負(fù)矩陣分解，提取非負(fù)子空間和系數(shù)矩陣，對于新的人臉特征提取出訓(xùn)練樣本庫和測試樣本庫，將測試樣本向非負(fù)子空間投影，得到一組系數(shù)矩陣，對兩組系數(shù)矩陣，根據(jù)最近鄰距離進行分類，實驗結(jié)果表明該方法具有很好的識別效果。

2 相關(guān)知識

2.1 LBP

LBP算子用于描述圖像中每個像素值和其領(lǐng)域像素值的關(guān)系。在灰度圖像中，像素值為像素的灰度?；镜腖BP算子[6-7]作用于一個大小固定為3×3的矩形塊，如圖1所示。

圖1 基本的LBP算子

對3×3的矩形塊，按照一定的順序，周圍的8個像素點依次與中心像素點做比較，如果大于或等于中心像素值，則此像素賦值為1；反之則賦值為0，這樣就將原先的像素值轉(zhuǎn)化為二進制代碼。然后按照此順序可以得到一個二進制數(shù)字以及其對應(yīng)的十進制數(shù)值。最后以直方圖的形式統(tǒng)計出整個掃描區(qū)域中的每個值的數(shù)量，由此作為對掃描區(qū)域中紋理特征的描述。

為了改善原始的LBP算子存在的無法提取大尺寸結(jié)構(gòu)的紋理特征的局限，處理各種不同的紋理，形成擴展LBP算子，該算子使用不同數(shù)量的鄰近子塊以及不同尺寸的矩形塊，用尺度(P，R)來表示到中間像素點半徑為R的P個采樣點，即

圖2 擴展的LBP算子

由于LBP算法中，對LBPP，R而言，共有2p種0和1組合的可能性，其中一定可以找到一種組合確切地表示圖像的局部特征，因此提出一種均勻模式LBPuP，R，LBP算子的二進制特征值被視為首尾鏈接的環(huán)形時，至多存在兩位由0到1或是1到0的轉(zhuǎn)換。例如，00000110和01111000包含了2個從0到1的轉(zhuǎn)換。LBPu2P，R表示一種均勻模式的LBP算子，u2表示均勻模式。

對于圖像 f(x，y)的直方圖可定義如下：

其中，n是LBP算子產(chǎn)生的不同二值模式。

2.2 LNMF

非負(fù)矩陣分解[3-4]是在矩陣中所有元素均為非負(fù)數(shù)約束條件下的矩陣分解方法，矩陣分解形式如下所示：

其中，X是n×m的矩陣，X=(x1，x2，…，xm)，分解為基矩陣Wn×r和系數(shù)矩陣Hr×m的乘積。

LNMF[5]在NMF的基礎(chǔ)上增加了三點限制：（1）使權(quán)重系數(shù)矩陣H盡可能稀疏；（2）使不同基之間的冗余性最小，即盡可能正交；（3）僅僅保留含有最重要信息的基，其目標(biāo)函數(shù)定義如下所示：

其中，a，b是常量，P=(pi，j)=WTW，Q=(qi，j)=HHT

相應(yīng)的迭代規(guī)則如下所示：

3 LBP與LNMF特征融合的人臉識別算法

因為人臉每個部分對于識別的貢獻度是不一樣的，所以定義帶有一個權(quán)重的人臉圖[3]，得到帶有權(quán)重的二維矩陣，如圖3所示。

圖3 帶有權(quán)重的人臉圖

提取人臉每個分塊LBPu2P，R算子直方圖特征后，根據(jù)分塊所在位置，將該分塊的直方圖乘上相應(yīng)的權(quán)重，然后將所有直方圖串接為一個序列ψ作為最終人臉的表示，稱之為LBPHS。

式中W為權(quán)重的二維數(shù)組。

此過程能夠提取出訓(xùn)練集有效的人臉紋理信息，而且大幅度減少訓(xùn)練數(shù)據(jù)量。每個圖像的ψ維數(shù)只與分塊的個數(shù)和采用的LBP算子有關(guān)，而與圖像實際大小無關(guān)，然后利用LNMF算法對每個人臉Weight LBPHS進一步降維。由于利用訓(xùn)練集的紋理信息增加了LNMF特征子空間的類間特征，并且訓(xùn)練數(shù)據(jù)量的大幅減少，改善了LNMF迭代速度慢，訓(xùn)練時間長的問題，因此，這種LBP和LNMF相結(jié)合的人臉識別算法不僅有效地提高了人臉識別率，并且在相同識別率下大大提高了訓(xùn)練速度。

融合LBP與LNMF算法步驟如下：

（1）利用LBP算法，計算訓(xùn)練集中m張人臉圖像的Weight LBPHS，構(gòu)成人臉圖像直方圖序列矩陣 X=[ψ1，ψ2，…，ψm]。

（2）根據(jù)LNMF分解算法，將矩陣X分解為W和H，其中，W=[w1，w2，…，wr]為基圖像，即特征空間，H=[h1，h2，…，hm]為權(quán)重系數(shù)。

（3）利用LBP算法，計算測試圖像的權(quán)重直方圖序列ψT，然后將其投影到特征空間W，得到權(quán)重系數(shù)hT：

（4）利用距離度量hT和H中每列向量hi之間的誤差，根據(jù)最近鄰準(zhǔn)則進行分類。

4 實驗結(jié)果

為了驗證算法的有效性，采用ORL人臉庫和YALE人臉庫進行人臉識別仿真實驗。設(shè)原始人臉圖像的大小為M×N，分塊數(shù)目為 p×q，則把圖像分成 p×q塊，每個子圖像的大小為(M/p)×(N/q)。實驗中方法使用參數(shù)如表1所示，權(quán)重矩陣如圖4所示，運行環(huán)境為Pentium D 3.20 GHz，1 GB內(nèi)存，Matlab7.0。

表1 處理方法的參數(shù)設(shè)置表

圖4 分塊人臉的權(quán)重矩陣

實驗中首先對人臉圖像進行分塊，采用LBPu21，8算法計算每個分塊圖像權(quán)重直方圖序列，然后隨機選取每個人的5幅圖像進行訓(xùn)練，其余圖像進行測試。在本文中，采用LBP+NMF、LBP+LNMF及Weight LBP+LNMF方法，進行人臉識別仿真實驗，并重復(fù)實驗50次，取50次識別率的平均值作為最終結(jié)果。

4.1 ORL人臉庫實驗

ORL人臉庫包括40個人，每個人10幅人臉圖像，共400幅，具有不同的光照、表情、發(fā)型和有無眼鏡等特征，并且人臉有一定的側(cè)轉(zhuǎn)角度，每幅圖像均為92×112的灰度圖像，ORL人臉庫部分圖像如圖5所示。

圖5 ORL人臉庫部分圖像

將人臉圖像分成4×4，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空間維數(shù)的識別率，如圖6所示。

圖6 人臉分塊數(shù)4×4下不同方法的識別率曲線（ORL）

將人臉圖像分成2×2，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空間維數(shù)的識別率，如圖7所示。

圖7 人臉分塊數(shù)2×2下三種方法的識別率曲線（ORL）

4.2 YALE人臉庫實驗

Yale人臉數(shù)據(jù)庫包含了15個人的165幅的灰度圖像，每個人具有11幅不同的圖像，這11幅圖像具有多種姿態(tài)、多光照的特點。實驗中對每幅圖像進行旋轉(zhuǎn)、剪裁，得到100×100統(tǒng)一大小的校準(zhǔn)圖像。

將人臉圖像分成4×4，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空間維數(shù)的識別率，如圖8所示。

圖8 人臉分塊數(shù)4×4下三種方法的識別率曲線（YALE）

將人臉圖像分成2×2，采用LBP+NMF、LBP+LNMF 及Weight LBP+LNMF的不同特征空間維數(shù)的識別率，如圖9所示。

圖9 人臉分塊數(shù)2×2下三種方法的識別率曲線（YALE）

從實驗中發(fā)現(xiàn)，對一個圖像的分塊多少會影響到識別率。由于要使得一個分塊既能較好地表達局部細節(jié)，又能較好地表達整體特征，是比較困難的，本實驗中采用4×4分塊識別率要高于2×2分塊。

最終實驗結(jié)果如表2所示，表中列出了在人臉分塊數(shù)為4×4、權(quán)重矩陣采用圖4中的矩陣、訓(xùn)練樣本數(shù)為5的情況下，NMF、LBP+NMF、LBP+LNMF及Weight LBP+LNMF算法的比較結(jié)果。由于LNMF在NMF基礎(chǔ)上增加了局部特征分析，采用WLBP+LNMF的方法的結(jié)果要好于其余幾種方法。

表2 不同識別方法的識別率 （%）

5 結(jié)束語

本文在LBP紋理提取的基礎(chǔ)上，對人臉進行分塊，根據(jù)分塊部分對識別率的重要性給予相應(yīng)的權(quán)值，將每塊的LBPHS串接起來形成人臉特征，能夠增加了LNMF特征子空間的類間特征，然后采用LNMF對特征進行特征提取，實驗結(jié)果驗證了該方法的有效性和正確性。

[1]Zhao W，Chellappa R，Philips P J，et al.Face recognition：a literature survey[J].ACM Computing Surveys，2003，35（4）：399-458.

[2]Ana S，Yoob J，Choi S.Manifold-respecting discriminant nonnegative matrix factorization[J].Pattern Recognition Letters，2011，32（6）：832-837.

[3]Liang Z，Li Y，Zhao T.Projected gradient method for kernel discriminant nonnegative matrix factorization and the applications[J].Signal Processing，2010，90（7）：2150-2163.

[4]Zhi Ruicong，F(xiàn)lierl M，Ruan Q，et al.Graph-preserving sparse nonnegative matrix factorization with application to facial expression recognition[J].IEEE Transactions on Systems，Man，and Cybernetics，PartB：Cybernetics，2011，41（1）：38-52.

[5]Ahonen T，Hadid A.Face description with local binary patterns：application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（12）.

[6]Zhang Baochang，Gao Yongsheng.Local derivative pattern versus local binary pattern：face recognition with high-order local pattern descriptor[J].IEEE Transactions on Image Processing，2010，19（2）：533-544.

[7]Choi J Y，Plataniotis K N，Ro Y M.Using colour local binary pattern features for face recognition[C]//Proceedings of 2010 IEEE 17th International Conference on Image Processing. Hong Kong：[s.n.]，2010.

[8]Jabid T，Kabir M H，Chae O.Facial expression recognition using local directional pattern[C]//Proceedings of 2010 IEEE 17th InternationalConference on Image Processing.Hong Kong：[s.n.]，2010.

[9]Tan Xiaoyang，Triggs B.Enhanced local texture feature sets forface recognition underdifficultlighting conditions[J]. IEEE Transactionson ImageProcessing，2010，19（6）：1635-1650.

YUAN Baohua1,WANG Huan2,REN Mingwu2

1.Department of Computer Science&Technology,Taizhou Institute of Science&Technology,Nanjing University of Science and Technology,Taizhou,Jiangsu 225300,China
2.School of Computer Science&Technology,Nanjing University of Science and Technology,Nanjing 210094,China

A method of face recognition based on Local Binary Pattern（LBP）and Local Non-negative Matrix Factorization （LNMF）is proposed.LBP operator is used to extract the LBP Histogram Sequence（LBPHS）from block face images.According to the contribution of each face block,weight LBP Histogram Sequence（Weight LBPHS）is obtained.LNMF is applied to weight LBPHS for extracting non-negative subspace and the corresponding coefficient matrices.Nearest neighbor principle is utilized in face recognition.The simulation experiments illustrate that this method has better recognition rate on the ORL and YALE face database.

local binary pattern;local non-negative matrix factorization;face recognition

提出一種融合局部二值模式（LBP）和局部非負(fù)矩陣分解（LNMF）進行人臉識別的方法，采用LBP算子提取分塊人臉圖像的LBP直方圖序列（LBPHS），根據(jù)每塊的貢獻度，得到權(quán)重的直方圖序列（Weight LBPHS），采用LNMF方法提取其非負(fù)子空間及其系數(shù)矩陣，根據(jù)最近鄰原則進行識別。在ORL和YALE標(biāo)準(zhǔn)人臉數(shù)據(jù)庫上的實驗表明，該方法具有較高的識別率。

局部二值模式；局部非負(fù)矩陣分解；人臉識別

A

TP391

10.3778/j.issn.1002-8331.1107-0249

YUAN Baohua,WANG Huan,REN Mingwu.Fusing local binary pattern and LNMF of face recognition.Computer Engineering and Applications,2013,49（5）：166-169.

國家自然科學(xué)基金（No.60875010）。

袁寶華（1980—），男，講師，主要研究方向：智能控制、圖像處理；王歡（1982—），男，講師，研究方向為計算機視覺、圖像分析與理解、模式識別；任明武（1969—），男，教授，博導(dǎo)，研究方向為圖像分析與理解、模式識別、智能機器人。E-mail：yuanbaohua@sina.com

2011-07-12

2011-08-29

1002-8331（2013）05-0166-04

CNKI出版日期：2011-11-14 http://www.cnki.net/kcms/detail/11.2127.TP.20111114.0950.071.html