姚騁天,夏哲雷

(中國(guó)計(jì)量學(xué)院 信息工程學(xué)院,浙江 杭州 310018)

?

一種改進(jìn)的局部三值模式的人臉識(shí)別方法

姚騁天,夏哲雷

(中國(guó)計(jì)量學(xué)院 信息工程學(xué)院,浙江 杭州 310018)

【摘要】為了更好的描述人臉特征,提出了一種基于不同尺度像素塊及自適應(yīng)閾值的局部三值(LTP)模式方法.該方法首先將圖像分為若干個(gè)子區(qū)域,采用自適應(yīng)閾值并基于不同尺度的像素塊提取每個(gè)子區(qū)域的LTP紋理直方圖,然后將得到的每個(gè)子區(qū)域的直方圖連在一起并經(jīng)過(guò)主成分分析(PCA)降維處理得到特征向量.在人臉數(shù)據(jù)庫(kù)上進(jìn)行的實(shí)驗(yàn)證明,應(yīng)用該方法進(jìn)行人臉特征提取并結(jié)合最近鄰分類法得到了較高的識(shí)別率.

【關(guān)鍵詞】人臉特征；局部三值模式；自適應(yīng)閾值；主成分分析

PCA人臉圖像識(shí)別是機(jī)器視覺(jué)、模式識(shí)別領(lǐng)域內(nèi)一個(gè)研究熱點(diǎn),其中圖像特征提取是人臉識(shí)別的關(guān)鍵環(huán)節(jié)之一.圖像特征提取不但影響分類器的分類識(shí)別精度,而且關(guān)系到分類識(shí)別系統(tǒng)是否可行.目前產(chǎn)生了許多從局部來(lái)描述人臉的方法，常見(jiàn)的局部特征提取方法有局部二值模式(LBP)[1]和Gabor小波[2]等.其中局部二值模式最早由Ojala等[3]提出作為對(duì)圖像局部鄰近區(qū)域紋理信息的描述符.人臉圖像常常會(huì)受到光照因素影響而產(chǎn)生灰度變化.但在一個(gè)局部區(qū)域內(nèi),這種變化常常被視為單調(diào)的.由于LBP對(duì)圖像局部紋理特征的卓越描繪能力且具有較高的計(jì)算效率等特點(diǎn)而廣泛用于描述人臉和紋理的特征.不過(guò)LBP算子是采用像素間灰度值比較的方式確定其二值關(guān)系,且沒(méi)由考慮到對(duì)比度的信息.所以最終得到的二進(jìn)制模式的特征表示會(huì)丟失局部的差異信息和容易受到噪聲的影.為提高LBP描述符對(duì)局部的差異信息描述能力與抗噪聲干擾的能力,Tan等提出的局部三值模式(LTP)[4]描述符,通過(guò)用戶自定義閾值增加一個(gè)編碼模式,用三值對(duì)像素點(diǎn)之間的差值進(jìn)行編碼,在平坦區(qū)域比LBP具有更強(qiáng)的判別能力.LTP方法在人臉識(shí)別領(lǐng)域的應(yīng)用已經(jīng)得到了較好的效果；然而該方法的閾值不能自動(dòng)選取,對(duì)于不同情況往往要做大量實(shí)驗(yàn)確定最合適的閾值,且魯棒性較差.而且傳統(tǒng)著局部三值模式著眼于局部像素,不能有效的進(jìn)行人臉的大尺度紋理描述.

本文提出了一種基于多尺度像素塊的自適應(yīng)閾值選取的局部三值模式方法.該方法能夠根據(jù)圖像的自身情況,自適應(yīng)選取合適的閾值并能由粗到細(xì)更全面的描述人臉紋理特征.其主要思想是對(duì)不同尺度像素塊,自適應(yīng)的計(jì)算LTP閾值,結(jié)合該自適應(yīng)閾值,提取每個(gè)子區(qū)域的LTP紋理直方圖,然后將各子區(qū)域的紋理直方圖連接在一起得到混合直方圖特征.最后將紋理特征輸入分類器進(jìn)行人臉識(shí)別.應(yīng)用該方法在人臉數(shù)據(jù)庫(kù)中進(jìn)行實(shí)驗(yàn),結(jié)果表明改進(jìn)的方法有效地提高了人臉的識(shí)別率.

1LBP與LTP算子

1.1LBP算子

LBP是作為描述圖像紋理特征的算子,其基本思想是通過(guò)統(tǒng)計(jì)局部結(jié)構(gòu)出現(xiàn)的頻次來(lái)描述圖像的特性.該方法以中心像素的灰度值gc為閾值,分別與該像素相鄰的P個(gè)像素的灰度值g0,g1,……gP-1灰度值做二值化處理.然后根據(jù)相鄰像素的不同位置進(jìn)行加權(quán)求和得到當(dāng)前像素gc的LBP值.計(jì)算公式為:

(1)

(2)

LBP算子以中心像素點(diǎn)的灰度值作為閾值進(jìn)行閾值化而忽略了像素間的對(duì)比度值,最終可能導(dǎo)致部分重要的紋理特征被丟棄.并且當(dāng)鄰域與中心過(guò)度相似時(shí),容易受到噪聲、光照等外界因素影響.

1.2LTP算子

LTP算子是對(duì)LBP算子的一種泛化.它定義一個(gè)長(zhǎng)度為2t的開(kāi)區(qū)間[-t,t].若鄰域像素點(diǎn)灰度值gi與中心像素點(diǎn)灰度值gc差值在該區(qū)間右邊,則輸入值編碼為1;若差值在該區(qū)間左邊,則輸入值編碼為-1;若差值在該區(qū)間之中,則輸入值編碼為0.可對(duì)光照變化和噪聲更加魯棒,增強(qiáng)了局部紋理特征的分類性能為三值編碼形式.計(jì)算公式如下:

(3)

(4)

將原二進(jìn)制編碼中除1以外值的標(biāo)記為0后得到的編碼,定義為上模式[5].將原編碼中除-1以外的值標(biāo)記為0后并且用1取代原來(lái)的-1,得到的編碼定義為下模式,如圖1所示.最后得到LTP特征統(tǒng)計(jì)直方圖用于分類.

LTP算子在一定程度上抵抗了噪聲的影響并能增強(qiáng)對(duì)紋理的描述.但由于t為用戶自定義閾值,需要做大量的實(shí)驗(yàn)來(lái)驗(yàn)證,而且無(wú)法確定該閾值適用于所有樣本,所以需要找到一種自適應(yīng)確定該閾值的方法.

圖1　LTP算子編碼Figure 1　LTP operator coding

2改進(jìn)LTP的提取特征

2.1選取自適應(yīng)閾值

本文提出了一種基于LTP的自適應(yīng)閾值,閾值T根據(jù)圖像自身情況自適應(yīng)選取.方法為計(jì)算出中心像素鄰域內(nèi)所有像素點(diǎn)與該中心像素差的平方的和為A,將A的乘以系數(shù)k作為閾值T,每個(gè)鄰域編碼值計(jì)算公式如下：

(5)

(6)

該LTP方法以動(dòng)態(tài)閾值替代統(tǒng)一閾值,對(duì)圖像局部特征具有自適應(yīng)性,更適用于解決圖像的差異變化,更好的描述圖像對(duì)比度信息,以提高識(shí)別精度.

2.2基于多尺度像素塊的特征提取

本文提出基于多分塊加權(quán)的特征提取方法.傳統(tǒng)LTP算子像素值之間的比較被像素塊之間的平均灰度的比較所代替,該方法不再基于單個(gè)像素,而是將特征計(jì)算擴(kuò)展到任意大小的像素塊,即用像素塊內(nèi)像素的平均值代表該像素塊的值,在計(jì)算LTP特征.可以選取不同大小的像素塊尺度,得到不同尺度的LTP特征圖像(如圖2(b)(c)(d)).

圖2　原圖像與LTP圖像Figure 2　Original image and LTP image

然后分別統(tǒng)計(jì)每個(gè)特征圖像以得到直方圖向量,并通過(guò)公式(7)(8)將所有直方圖向量加權(quán)連接在一起作為人臉描述向量進(jìn)行人臉識(shí)別.

H=(w1·H1,…,wj·Hj);

(7)

(8)

其中Hj為基于sj×tj像素塊下得到的直方圖向量,wj為其權(quán)值.最后分別將基于不同像素塊尺度得到直方圖向量連接成整個(gè)人臉圖像的直方圖向量.在任意尺度像素塊上提取LTP特征,能有效把握?qǐng)D像紋理信息的粗細(xì)度,有利于人臉圖像的正確識(shí)別.

2.3改進(jìn)的LTP的提取特征方法應(yīng)用于人臉識(shí)別

本文方法先將圖像分為M×N個(gè)子區(qū)域,在基于不同尺度像素塊下,結(jié)合自適應(yīng)確定LTP閾值的方法,分別提取每個(gè)子區(qū)域的特征,統(tǒng)計(jì)各子區(qū)域LTP特征.得到不同尺度像素塊下的子區(qū)域的直方圖向量并將其加權(quán)連接,再將所有子區(qū)域直方圖特征連接.針對(duì)特征維數(shù)過(guò)高的問(wèn)題,采用主成分分析法(PCA)[6]對(duì)LTP直方圖特征進(jìn)行降維,得到最終的特征向量.最后將紋理特征輸入分類器進(jìn)行人臉識(shí)別.流程如圖3.

圖3　基于改進(jìn)LTP方法的人臉識(shí)別流程圖Figure 3　Face recognition flow chart based on the improved LTP algorithm

3實(shí)驗(yàn)分析

本文實(shí)驗(yàn)采用YALE人臉庫(kù)和ORL人臉庫(kù),結(jié)合提出的自適應(yīng)LTP特征算子進(jìn)行人臉識(shí)別.YALE人臉庫(kù)包括15個(gè)人共165幅圖像,每人11幅圖像,每幅圖像大小為100×100.ORL人臉庫(kù)包含400幅人臉圖像,共40人,每人10幅圖像,每幅圖像大小為112×92.由于上述人臉庫(kù)圖像在光照,以及關(guān)鍵點(diǎn)如眼睛嘴巴比較規(guī)范,實(shí)驗(yàn)可以在該圖片集上直接進(jìn)行,省去了歸一化和校準(zhǔn)等步驟.本實(shí)驗(yàn)將LBP與LTP作為對(duì)比方法,在YALE庫(kù)上每人隨機(jī)選擇2至6張圖像作為訓(xùn)練樣本,再每人隨機(jī)選取5張圖像測(cè)試樣本.在ORL庫(kù)上每人隨機(jī)選擇2至6張圖像作為訓(xùn)練樣本,再每人隨機(jī)選取4張圖像測(cè)試樣本.最后使用最近鄰分類法分別對(duì)兩個(gè)人臉庫(kù)進(jìn)行分類.

在提取LTP特征時(shí),結(jié)合(5)(6)式,為了能夠合適地取到閾值中的系數(shù)k,本文將k取為0～0.02(步長(zhǎng)為0.002)中的值并得到對(duì)應(yīng)的正確識(shí)別率的變化情況.由圖4可以看出：在YALE和ORL人臉庫(kù)中,在改進(jìn)的LTP算子中人臉識(shí)別率隨著k值的變化,當(dāng)k為0.004時(shí),基本可以使得曲線接近或達(dá)到峰值.因而,自適應(yīng)閾值T選擇為

T=0.004A.

(9)

圖4　不同自適應(yīng)系數(shù)k對(duì)應(yīng)的識(shí)別率Figure 4　Recognition rate of different　adaptive coefficients

在確定自適應(yīng)閾值系數(shù)k為0.004后,在1×1與3×3像素塊的尺度下并應(yīng)用自適應(yīng)閾值方法,提取LTP特征,結(jié)合最近鄰分類法得到的人臉識(shí)別結(jié)果與傳統(tǒng)的LBP和LTP算子得到的人臉識(shí)別結(jié)果如表1、表2.

表1　ORL數(shù)據(jù)庫(kù)上不同方法的識(shí)別率

表2　YALE數(shù)據(jù)庫(kù)上不同方法的識(shí)別率

通過(guò)比較表1中各方法得到的識(shí)別率可知,本文提出的改進(jìn)的LTP方法識(shí)別率高于LBP和LTP方法,可以看出本文在提取LTP特征時(shí)采用的自適應(yīng)閾值并基于多像素塊的特征提取方案方法提高了人臉識(shí)別率.

4結(jié)語(yǔ)

本文在LTP方法的基礎(chǔ)上,提出了多像素塊的自適應(yīng)閾值三值模式紋理特征提取方法.該方法不僅能更全面的描述紋理特征的粗細(xì)度,又解決尋找最佳閾值的問(wèn)題.在YALE和ORL人臉庫(kù)上進(jìn)行實(shí)驗(yàn)表明該方法的人臉識(shí)別率高于原LTP方法.然而對(duì)于不同的應(yīng)用場(chǎng)景,本文提出的人臉特征提取方法仍然存在諸多問(wèn)題有待解決.下一步研究將確定不同圖像最佳像素尺度的LTP提取方法并根據(jù)圖像重要程度不同的區(qū)域提取的特征向量,分配不同的權(quán)值.

【參考文獻(xiàn)】

[1]王憲,張彥,慕鑫,等.基于改進(jìn)的LBP人臉識(shí)別算法[J].光電工程,2012,39(7):109-114.

WANG Xian,ZHANG Yan,MU Xin,et al.The face reco-gnition algorithm based on improved LBP[J].Opto-Electronic Engineering,2012,39(7):109-114.

[2]孔銳,韓佶軒.基于Gabor濾波器的快速人臉識(shí)別方法[J]. 計(jì)算機(jī)應(yīng)用,2012,32(4):1130-1132,1136.

KONG Rui,HAN Jixuan.New fast face recognition algorithm based on Gabor filter[J].Journal of Computer Applications,2012,32(4):1130-1132,1136.

[3]OJALA T,PIETIKAINEN M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[4]TAN Xiaoyang,TRIGGS B.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].IEEE Transactions on Image Processing,2010,19(6):1635-1650.

[5]郝?tīng)N,朱信忠,趙建民,等.基于改進(jìn)型LBP特征運(yùn)動(dòng)陰影去除方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2010,19(5):80-83.

HAO Can,ZHU Jianxin,ZHAO Jianmin,et al.Shadow removal algorithm based on improved LBP features of sports[J].Commputer Systems and Applications,2010,19(5):80-83.

[6]TURK M,PENTLAND A.Eigenfaces for recognition[J].Journal of Cognitive Neuroscience,1991,3(1):71-86.

[7]張潔玉,趙鴻萍,陳曙.自適應(yīng)閾值及加權(quán)局部二值模式的人臉識(shí)別[J].電子與信息學(xué)報(bào),2014,36(6):1327-1333.

ZHANG Jieyu,ZHAO Hongping,CHEN Shu.Face recogn-ition based on weighted local binary pattern with adaptive threshold[J].Journal of Electronics and Information Technology,2014,36(6):1327-1333.

[8]宋克臣,顏云輝,陳文輝,等.局部二值模式方研究與展望[J].自動(dòng)化學(xué)報(bào),2013,39(6):730-744.

SONG Kechen,YAN Yunhui,CHEN Wenhui,et al.Resea-rch and perspective on local binary pattern[J].Journal of Automatica Sinica,2013,39(6):730-744.

[9]梅支禮,陶海軍,王加強(qiáng).Gabor濾波器的掌紋特征提取研究[J].中國(guó)計(jì)量學(xué)院學(xué)報(bào),2015,26(3):347-352.

MEI Zhili, TAO Haijun,WANG Jiaqiang.Study of Gabor filters on palmprint feature extraction[J].Journal of China University of Metrology,2015,26(3):347-352.

[10]王小玉,張亞洲,陳德運(yùn).基于多塊局部二值模式特征和人眼定位的人臉檢測(cè)[J].儀器儀表學(xué)報(bào),2014,35(12):2739-2745.

WANG Xiaoyu,ZHANG Yazhou,CHEN Deyun.Face detection based on MB-LBP and eye tracking[J].Journal of Computer Applications,2014,35(12):2739-2745.

Face recognition based on improved local ternary patterns

YAO Chengtian,XIA Zhelei

(College of Information Engineering, China Jiliang University, Hangzhou 310018,China)

Abstract:In order to describe the facial feature, a local ternary patterns (LTP) method based on different scale pixel blocks and adaptive thresholds was proposed. Firstly, the image was divided into several sub regions. The LTP texture histogram of each sub region was extracted by using the adaptive threshold based on pixel blocks with different scales. Then the histogram of each sub region was connected to obtain the final feature vector by the principal component analysis (PCA). Through experiments on the face database, a higher recognition rate was obtained.

Key words:face feature; local ternary patterns; adaptive threshold; PCA

【文章編號(hào)】1004-1540(2015)01-0068-05

DOI:10.3969/j.issn.1004-1540.2016.01.013

【收稿日期】2015-09-24《中國(guó)計(jì)量學(xué)院學(xué)報(bào)》網(wǎng)址：http://zgjl.cbpt.cnki.net

【基金項(xiàng)目】浙江省自然科學(xué)基金資助項(xiàng)目(No.LY12F1011).

【作者簡(jiǎn)介】姚騁天(1991- )，男，浙江省湖州人，碩士研究生，主要研究方向?yàn)閿?shù)字圖像處理等.E-mail:420595421@qq.com

【中圖分類號(hào)】TP391.4

【文獻(xiàn)標(biāo)志碼】A

通信聯(lián)系人：夏哲雷，男，教授.E-mail:xia663618@com