劉曉尚 吳薇 田雄

摘 要：在少量樣本情況下，為了解決傳統(tǒng)LBP算法對人臉特征提取分類魯棒性不強問題，提高人臉特征選取的泛化能力，提出一種在人臉面部區(qū)域基于SIFT特征點檢測的MTLBP人臉識別算法。從人臉五官區(qū)域選取尺度不變的關(guān)鍵點，并在其鄰域選取MTLBP紋理特征，結(jié)合SIFT描述算子和MTLBP特征直方圖形成一系列特征，對該人臉特征空間向量進行分類識別。在相同的少量訓練樣本下，該算法與原始LBP算法及其它改進型LBP算法相比，識別率提高了20%左右。

關(guān)鍵詞：區(qū)域塊;SIFT關(guān)鍵點檢測;MTLBP紋理特征;小樣本;人臉識別

DOI：10. 11907/rjdk. 182096

中圖分類號：TP301文獻標識碼：A文章編號：1672-7800（2019）004-0009-04

0 引言

人臉識別一直是計算機視覺和模式識別研究的熱門領(lǐng)域。近年來，局部二值模式（Local Binary Patterns，LBP）紋理特征提取算法被廣泛應用于人臉識別。LBP算法最初由Ojala等[1]提出，用于圖像紋理分類，Timo等[2]將該算法應用于描述人臉特征，并采用x2統(tǒng)計作為不相似度量，取得了很好的識別效果。隨后，人們又對LBP算法在人臉識別上進行了各種改進，局部三元模式（LTP）和中心對稱（CS-LBP）模式被用于人臉特征提取[3-4]。Guo等[5]使用LBP方差（LBPV）進行全局匹配的旋轉(zhuǎn)不變紋理分類，基于低分辨率的多閾值局部二值模式和自適應閾值二值模式也成功用于人臉識別[6-8]。但是，基于單一特征的人臉描述忽略了人臉其它特征的表達，特別是在少量樣本情況下，人臉尺度變化和圖像角度旋轉(zhuǎn)時，局部二值模式特征提取對同一人臉進行識別不具備很好的魯棒性。大多文獻為了提高人臉識別率，往往訓練大量樣本盡可能代表人臉在各個姿態(tài)下的特征，然而該傳統(tǒng)做法不僅無法提高識別率，還會不利于類間分類。多特征提取融合的人臉表示方法走進了人們的視線，在此基礎(chǔ)上，基于SIFT特征和旋轉(zhuǎn)不變LBP特征相結(jié)合的圖像匹配算法得到發(fā)展[9-10]。因此，為了與人臉尺度不變特征相結(jié)合，突出表現(xiàn)人臉局部紋理特征，在文獻[7]和文獻[10]啟發(fā)下，本文提出一種在人臉面部五官上選取尺度不變特征（Scale-invariant feature transform，SIFT）和多閾值紋理特征相結(jié)合的人臉識別方法，最后采用最近鄰分類器進行分類識別。實驗表明，相對傳統(tǒng)LBP算法，本文算法融合方式在少量樣本下即可明顯提高識別率。

1 相關(guān)算法理論

1.1 人臉區(qū)域選定

當圖像被劃分成區(qū)域時，可以預期某些區(qū)域比其它區(qū)域包含更多有用信息[11]。由于人臉五官上的紋理信息最為豐富，眼睛、鼻子、嘴巴特征也是識別一個人的重要特征，利用圖像分割算法將面部五官從人臉圖像上分割出來分步識別，會對人臉識別起到積極作用[12]。實驗表明：①人臉紋理特征最為豐富的地方在人臉整體輪廓和面部五官上，有效分割人臉面部五官區(qū)域，可將一些對人臉面部識別區(qū)分度不大，但在紋理特征中占比較大的區(qū)域劃分出去，如背景、頭發(fā)、臉頰等;②SIFT關(guān)鍵點的檢測并不都集中在人臉五官區(qū)域，將人臉五官區(qū)域分割出來再檢測SIFT關(guān)鍵點，可將人臉五官紋理特征很好地結(jié)合起來。

1.2 SIFT特征關(guān)鍵點檢測

SIFT即尺度不變特征變換，由Lowe[13]于1999年提出，2004年加以完善。SIFT特征對旋轉(zhuǎn)、尺度縮放等保持不變性，可以很方便地與其它形式特征向量進行融合。SIFT特征關(guān)鍵點檢測是基于圖像尺度空間理論的方法，主要步驟如下：

（1）尺度空間極值點檢測。尺度空間構(gòu)建使用高斯金字塔表示，利用不同尺度的高斯差分核與圖像卷積生成。為了尋找尺度空間極值點，在尺度空間中，每一個采樣點要與其所有相鄰點比較，即同尺度的8個相鄰點與上下相鄰尺度對應的2×9個點比較。如果該采樣點是26個鄰域中的最大值或最小值時，即為圖像在該尺度下的特征點。尺度空間采樣點及其鄰域空間分布如圖1所示。

（3）SIFT特征描述子。以關(guān)鍵點為中心區(qū)域，將該區(qū)域分為4×4個子區(qū)域，對每個區(qū)域建立8個方向的梯度方向直方圖，從而形成128維向量。

1.3 多閾值LBP紋理特征提取

LBP算子最初定義在像素為3×3的矩形鄰域內(nèi)，以矩形中心像素為閾值，若周圍像素大于中心像素，則該位置被標記為1，否則被標記為0。經(jīng)比較后，3×3鄰域內(nèi)可產(chǎn)生8位依次排列的二進制數(shù)，此即為該中心像素的LBP值[14]。

原始圖像和在不同閾值下經(jīng)過LBP編碼后的圖像如圖2所示，可以看出，當閾值由0到4時，人臉圖像輪廓更加清楚，人臉面部主要紋理特征被突出，不利于類間分類的大量紋理信息被弱化或剔除。

2 基于區(qū)域塊SIFT-MTLBP的人臉描述

本文基于小樣本情況，最大化描述人臉局部面部特征，不僅在提取人臉面部特征時采用多閾值局部二值模式突出五官特征，還考慮到同類樣本在尺度和角度旋轉(zhuǎn)變化時面部特征之間存在的轉(zhuǎn)化聯(lián)系[15]。通俗地講，即考慮到同一個人的人臉面部局部特征，從人臉正面到側(cè)面過程中基于尺度空間不變點和其周圍紋理特征存在的聯(lián)系。

人臉識別過程中的關(guān)鍵步驟在于特征點或特征區(qū)域選取，只有選定特征區(qū)域能夠很好地表達人臉身份信息，提取到合適的特征向量，才能更精確地進行分類。以O(shè)RL人臉庫為例，文中基于區(qū)域塊SIFT-MTLBP的特征提取步驟如下：

（1）利用樣本的Haar特征[16-17]進行分類器訓練，得到級聯(lián)boosted[18]分類器，可以檢測圖片中的眼睛、鼻子和嘴巴區(qū)域。該步驟通過改進OpenCV自帶級聯(lián)分類器實現(xiàn)。

3 實驗與分析

3.1 訓練集與測試集

為了充分驗證本文方法的有效性，采用英國劍橋大學Olivetti研究所的ORL人臉庫和韓國浦項科技大學PF01人臉庫的POSE子集庫進行實驗。使用ORL人臉庫進行實驗說明，圖4為ORL人臉庫部分樣本。實驗將人臉庫中每個人臉樣本分為訓練集Mi和測試集Nj，[i，j∈（1，2？？？10）]分別代表訓練集和測試集中包含的樣本數(shù)。在訓練樣本為3的情況下，抽取同一人臉圖片的特定組合集進行訓練。例如選取圖4中第5-7幅圖片進行訓練，分別記為I5、I6、I7，組成訓練集合為{I5，I6，I7}，其它圖片作為測試集;選取第3、8、9幅圖片進行訓練，分別記為I3、I8、I9，組成訓練集合為{I3，I8，I9}，其它圖片作為測試集等;訓練集和測試集一一對應，分別保存在訓練序列和測試序列中。訓練樣本為4及以上時，在每個樣本中選擇[Ci10，i∈（1，10）]的任意排列組合作為訓練集，每種組合之外的圖片作為測試集。

3.2 閾值與權(quán)重

在多閾值LBP特征與SIFT特征融合情況下，無法知道閾值與權(quán)重的不同組合會對識別率有何種程度影響。為了確定最理想的閾值和權(quán)重組合，本文在實驗中選取從? 0～4的閾值與權(quán)重比在0～1的不同組合中進行實驗。在ORL人臉庫和PF01人臉庫的pose子集上，每張人臉每次選取7個訓練樣本進行訓練，其余樣本作為測試不參與訓練過程，由此得到不同閾值與不同權(quán)重比組合下的平均識別率，實驗結(jié)果如表1所示。由表1可知，選取閾值為2，權(quán)重為0.6的識別率最為理想。

其中，[Si]、[Mi]分別為實驗樣本得到正確匹配的樣本數(shù)和期望樣本數(shù)。

引入?yún)⒖嘉墨I中的3種算法與本文進行對比：文獻[2]采用采樣半徑為2、采樣點為8不加權(quán)重的LBP特征提取方式，文獻[7]采用低分辨率下多閾值LBP方法，文獻[4]基于Gabor變換使用中心對稱LBP的方法。特別說明的是，文獻[3]中采用圖像部分子塊，尤其是在眼角部分加權(quán)后的實驗與本文有較大可比性，實驗所用到的訓練集和測試集均與本文一致。ORL人臉庫與FP01人臉庫POSE子集的對比實驗結(jié)果如圖5、圖6所示。

由實驗結(jié)果對比可知：①本文方法在樣本較少情況下，相比傳統(tǒng)LBP算法和MTLBP算法具有更高識別率，特別是在POSE子集上，識別率在樣本數(shù)為3時提高了20%以上，達到85%左右，考慮到樣本中姿態(tài)和表情等因素影響，該結(jié)果已經(jīng)相當理想;②本文方法在樣本數(shù)增加時，識別率受到限制，只達到了近99%，特別是在樣本數(shù)大于7時，較文獻[2]中方法并沒有產(chǎn)生較大優(yōu)勢。

因此，本文方法在FP01人臉庫pose子集上識別效果優(yōu)于在ORL人臉庫上，因為在pose子集上人臉圖像僅是人臉姿態(tài)、角度的改變。該結(jié)果也表明在SIFT特征下采取人臉圖像局部的紋理信息，更適合人臉姿態(tài)變化時的人臉表達，實驗結(jié)果符合預期。當然，本文方法也有其局限性，在訓練樣本達到7張圖片以上時，沒有融合全局特征的平均識別率很難再有所提高，所以本文方法更適合小部分樣本人臉圖像訓練和識別。

4 結(jié)語

本文提出一種將尺度不變特征轉(zhuǎn)換（SIFT）與MTLBP相結(jié)合的人臉識別方法，該方法利用SIFT算法檢測出同一人臉在旋轉(zhuǎn)尺度變化時保持的不變點，在該不變點上提取豐富的紋理特征，同SIFT特征向量一起作為人臉識別依據(jù)。實驗表明，本文方法能夠較好地提高人臉特征泛化能力，在識別率稍有下降的情況下，有效減少了訓練樣本數(shù)。不足之處是沒有考慮到人臉的全局特征，當樣本數(shù)提高到一定程度時，本文方法在識別率上受到了限制。因此，怎樣融合全局特征突破局限，將是今后努力的方向。

參考文獻：

[1] OJALA T，PIETIK？INEN M，M？ENP？？ T. Multiresolution gray- scale and rotation invariant texture classification with local binary patterns[C]. European Conference on Computer Vision，2000：404-420.

[2] AHONEN T，HADID A，PIETIK？INEN M. Face recognition with local binary patterns[C]. European Conference on Computer Vision， 2004：469-481.

[3] 李偉生，王立逗，周麗芳. 一種基于LTP自適應閾值的人臉識別方法[J]. 小型微型計算機系統(tǒng)，2014，35（9）：2099-2103.

[4] NIKAN S，AHMADI M. Partial GMP-CS-LBP face recognition using image subblocks[C]. Barcelona：The Tenth International Conference on Systems， 2015.

[5] GUO Z， ZHANG L， ZHANG D. Rotation invariant texture classification using LBP variance （LBPV） with global matching[J]. Pattern Recognition， 2010， 43（3）：706-719.

[6] 周凱，楊路明，宋虹，等. 基于多閾值局部二值模式的人臉識別方法[J]. 計算機工程，2009， 35（17）：167-169.

[7] ZHAO H，CHEN X， LONG M， et al. Human face recognition based on low resolution muti-threshold local binary pattern[C]. International Conference on Electronics， Communications and Control， 2012：1865-1868.

[8] 張潔玉， 趙鴻萍， 陳曙. 自適應閾值及加權(quán)局部二值模式的人臉識別[J]. 電子與信息學報， 2014， 36（6）：1327-1333.

[9] 董振鑫， 廖仕榮， 程慧，等. 基于多特征融合的圖像匹配算法[J]. 軟件導刊， 2017， 16（7）：44-47.

[10] 鄭永斌， 黃新生， 豐松江. SIFT和旋轉(zhuǎn)不變LBP相結(jié)合的圖像匹配算法[J]. 計算機輔助設(shè)計與圖形學學報，2010， 22（2）：286-292.

[11] LIAO S， JAIN A K. Partial face recognition： an alignment free approach[C]. International Joint Conference on Biometrics，2011：1-8.

[12] 嚴云洋. 圖像的特征抽取方法及其應用研究[D].南京：南京理工大學， 2008.

[13] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）：91-110.

[14] 康健.? 基于多閾值多尺度LBP的人臉識別研究[D]. 北京：北京郵電大學，2013.

[15] SWAPNA K，ARPANA B. Feature extraction from face images using SIFT and MLBP algorithm[C]. Imperial Journal of Interdisciplinary Research （IJIR），2017：2454-1362.

[16] 侯小紅， 郭敏. 一種基于Harris-SIFT特征點檢測的LBP人臉表情識別算法[J]. 西北大學學報：自然科學版，2017，47（2）：209-214.

[17] 甘玲，朱江，苗東. 擴展Haar特征檢測人眼的方法[J]. 電子科技大學學報，2010， 39（2）：247-250.

[18] VIOLA P，JONES M. Rapid object detection using a boosted cascade of simple features[C]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2001：511-518.

[19] 林曉帆，丁曉青，吳佑壽. 最近鄰分類器置信度估計的理論分析[J]. 科學通報，1998， 43（3）：322-325.

[20] 馬圓，田思佳，馮巍，等. 基于肺部PET/CT圖像不同紋理特征的K最近鄰分類器[J]. 北京生物醫(yī)學工程， 2018（1）：57-61.

（責任編輯：何 麗）