耿淵哲

（南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210094）

1 引言

經(jīng)過(guò)近40年的發(fā)展，人臉識(shí)別技術(shù)已經(jīng)成為一個(gè)比較成熟的研究課題，并廣泛應(yīng)用于社會(huì)生活的方方面面。一般來(lái)說(shuō)，人臉識(shí)別主要分為四個(gè)階段：人臉檢測(cè)，人臉對(duì)齊，人臉表示以及人臉匹配。現(xiàn)實(shí)世界的人臉圖像會(huì)被姿態(tài)、表情、光照遮擋、分辨率和背景等因素所影響，導(dǎo)致同一個(gè)人的圖像差異可能比不同人的更大，因此，一個(gè)對(duì)環(huán)境魯棒、判別性強(qiáng)的人臉表示至關(guān)重要［1］。

局部人臉特征由于其對(duì)遮擋、光照以及姿態(tài)等變化的魯棒性得到了研究人員的廣泛關(guān)注。局部二值模式（Local Binary Patterns，LBP）是一種有效的局部紋理描述符，具有灰度不變性和計(jì)算簡(jiǎn)易性等特點(diǎn)［2］，由 Ahonen［3］引入人臉識(shí)別，并獲得巨大成功。隨后大量的LBP改進(jìn)算法被提出，例如ELBP［4］、LGBP［5］、DLBP［6］以及 LQP［7］等。

原始LBP以及大多數(shù)LBP改進(jìn)算法的采樣模式，普遍采用人工設(shè)計(jì)，無(wú)法有效利用訓(xùn)練樣本的信息，也難以適用于各種不同的人臉數(shù)據(jù)庫(kù)。因此，本文提出了一種監(jiān)督學(xué)習(xí)的方法，對(duì)LBP的采樣模式進(jìn)行學(xué)習(xí)。該方法基于Fisher判別準(zhǔn)則［8］，在中心點(diǎn)一定范圍內(nèi)尋找最優(yōu)的采樣點(diǎn)，使同一個(gè)人的LBP特征差異更小，不同人的LBP特征差異更大，由此得到更具判別性的人臉特征。最后在FE?RET人臉庫(kù)［9］上進(jìn)行實(shí)驗(yàn)，并與傳統(tǒng)方法進(jìn)行對(duì)比和分析。

2 局部二值模式

LBP是一種有效的紋理描述符，它的算法思想是利用局部的結(jié)構(gòu)提取窗口特征，利用統(tǒng)計(jì)思想提取最終的整體特征。如圖1所示，基本LBP算子定義在一個(gè)3×3的窗口中，以中心像素的灰度值為閾值，與相鄰的8個(gè)像素進(jìn)行比較，得到像素差異向量（Pixel Difference Vector，PDV）。然后把PDV轉(zhuǎn)化為一個(gè)8-bit的無(wú)符號(hào)二進(jìn)制數(shù)，這個(gè)二進(jìn)制對(duì)應(yīng)的十進(jìn)制數(shù)就是中心像素點(diǎn)的LBP值，它包含了這個(gè)位置的紋理信息。

圖1 基本LBP算子示例

通過(guò)對(duì)整個(gè)圖像進(jìn)行掃描變換后，可以將原始圖像轉(zhuǎn)化為L(zhǎng)BP圖像，然后統(tǒng)計(jì)得到整個(gè)圖像的LBP直方圖，作為該圖像的紋理特征。因?yàn)榛綥BP算子有8個(gè)鄰域點(diǎn)，對(duì)應(yīng)8-bit的二進(jìn)制數(shù)，因此直方圖的維度是256，圖2顯示了一張人臉經(jīng)過(guò)LBP變換以及直方圖統(tǒng)計(jì)后的結(jié)果。

圖2 人臉圖像、對(duì)應(yīng)的LBP圖像和LBP統(tǒng)計(jì)直方圖

3 基于學(xué)習(xí)的LBP采樣模式

3.1 模型概述

傳統(tǒng)的LBP算子，直接選取中心像素周?chē)?個(gè)像素點(diǎn)作為采樣點(diǎn)，并與中心像素比較得到二進(jìn)制碼。后來(lái)研究人員又提出了多種LBP改進(jìn)算子，例如，Ojala等［10］提出了圓形采樣 LBPP，R，在半徑為R的圓周上均勻選取P個(gè)采樣點(diǎn)，Liao等［4］提出的ELBP使用了橢圓形采樣，文獻(xiàn)［11］提出了雙環(huán)形的采樣模式。然而，這些采樣方法都是人工設(shè)計(jì)的，需要大量先驗(yàn)知識(shí)，也難以適應(yīng)各種人臉數(shù)據(jù)集的變化，因此本文提出了一種新的LBP人臉描述符，基于判別學(xué)習(xí)的思想，從中心點(diǎn)距離為r的鄰域內(nèi)選取出最具判別性的n個(gè)采樣點(diǎn)，圖3展示了r=2，n=8時(shí)的示例。

圖3 r=2，n=8時(shí)本文方法的示例

對(duì)于圖像I中的一點(diǎn)p，gp表示位置p處的灰度值，{p1，p2，…，pS}表示p的鄰域，S為鄰域的像素?cái)?shù)目。鄰域像素與中心像素比較得到位置p處的PDV，表示為d(I)p=我們引入一個(gè)0-1采樣矩陣M：

其中M∈RS×n，S為鄰域像素個(gè)數(shù)，n為采樣數(shù)目，我們得到采樣后的PDV：

與文獻(xiàn)［12］類(lèi)似，我們用PDV的差別來(lái)度量?jī)蓮垐D片的距離，因此采樣后的類(lèi)內(nèi)距和類(lèi)間距可以表示為

該模型的目標(biāo)函數(shù)是尋找一個(gè)0-1矩陣M，使得類(lèi)間距與類(lèi)內(nèi)距的比值SbSw最大化。約束條件有三條：

約束條件（a）表示矩陣M是一個(gè)0-1矩陣，0表示“不采樣”，1表示“采樣”。

約束條件（b）表示矩陣M每一列的和為1，即每一列都有且只有一項(xiàng)為1，其他均為0。矩陣M每一列對(duì)應(yīng)一次采樣，并且只對(duì)鄰域內(nèi)的一個(gè)點(diǎn)進(jìn)行采樣。

約束條件（c）表示矩陣M每一行的和小于等于1，即一個(gè)鄰域點(diǎn)最多被采樣一次。這個(gè)約束條件限制了對(duì)同一個(gè)點(diǎn)進(jìn)行重復(fù)采樣。

3.2 模型求解

其中符號(hào)?為阿達(dá)馬乘積，或稱(chēng)作分素乘積（Entrywise Product），表示兩個(gè)矩陣對(duì)應(yīng)元素相乘（這里是兩個(gè)向量）。u是一個(gè)0-1列向量，長(zhǎng)度為S，即鄰域點(diǎn)數(shù)，1的數(shù)量為采樣點(diǎn)數(shù)n。u中第幾個(gè)元素為1，表示對(duì)第幾個(gè)鄰域點(diǎn)進(jìn)行采樣，換句話(huà)說(shuō)，u在這里起到了采樣矩陣M的作用，并且與M一一對(duì)應(yīng)，因此我們稱(chēng)u為采樣向量。

通過(guò)這個(gè)變換，采樣模型（4）可以寫(xiě)成以下形式：

該模型的目標(biāo)是找到最優(yōu)的采樣向量u，使得類(lèi)間距與類(lèi)內(nèi)距的比值最大。約束條件（a）表示u是一個(gè)長(zhǎng)度為S的0-1列向量。約束條件（b）確保u中1的數(shù)量為n個(gè)，即采樣數(shù)為n。

下面給出求解最優(yōu)采樣點(diǎn)算法的偽代碼：

判別采樣模式學(xué)習(xí)算法

輸出：最優(yōu)采樣向量u∈RS×1

算法流程：

2）求解0-1規(guī)劃問(wèn)題，得到最優(yōu)采樣向量u

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證算法的識(shí)別能力，我們?cè)贔ERET人臉庫(kù)上對(duì)本文算法以及其他LBP改進(jìn)算法進(jìn)行實(shí)驗(yàn)。通用的FERET庫(kù)主要分為訓(xùn)練集和測(cè)試集，訓(xùn)練集用于訓(xùn)練模型，它包含429個(gè)人，每個(gè)人有多張圖像，總共1002張圖像，全部是正面圖像。測(cè)試集分為5個(gè)子集：fa、fb、fc、dup I和dup II。其中，fa包含1196個(gè)人，每個(gè)人一幅正面的正常表情正常光照下的圖像。fb包含1195個(gè)人，每個(gè)人一幅與fa中不同表情的圖像。fc包含194個(gè)人，每個(gè)人一幅與fa中不同光照的圖像。dup I包含243個(gè)人的722張圖像，與fa中的圖像拍攝時(shí)間間隔在1年之內(nèi)。dup II包含75個(gè)人的234張圖像，與fa中圖像拍攝時(shí)間間隔在1年以上。圖4展示了不同圖像集的人臉示例。

圖4 FERET人臉庫(kù)不同圖像集示例

我們按照文獻(xiàn)［9］的方法，以1002張圖片為訓(xùn)練集，fa為gallery，fb，fc，dup I，dup II為probe，測(cè)試了本文所提出算法的識(shí)別性能，如表1所示。

表1 不同算法在FERET人臉庫(kù)上的識(shí)別率

從實(shí)驗(yàn)結(jié)果可以看出，本文所提出的方法優(yōu)于大多數(shù)現(xiàn)存的LBP改進(jìn)算法，尤其對(duì)于dup I和dup II兩個(gè)測(cè)試集，本文方法有較大的提升。另外注意到DLBP算法與本文的識(shí)別性能相近，但DLBP無(wú)法直接求解，只能使用啟發(fā)式算法，具有較大的計(jì)算復(fù)雜度，因此可以認(rèn)為本文的方法是優(yōu)于DLBP的。

5 結(jié)語(yǔ)

本文提出了一種基于學(xué)習(xí)的LBP采樣模式，與傳統(tǒng)人工設(shè)計(jì)的采樣模式不同，該方法利用Fisher判別思想，用PDV來(lái)度量?jī)蓮垐D片的距離，從中心點(diǎn)的鄰域范圍內(nèi)選取最具判別性的采樣點(diǎn)，并用于后續(xù)LBP特征的提取。通過(guò)在人臉庫(kù)FERET上的大量實(shí)驗(yàn)表明，該方法優(yōu)于大多數(shù)LBP改進(jìn)算法，具有更高的識(shí)別能力。

［1］Lu J，Liong V E，Zhou X，et al.Learning compact binary face descriptor for face recognition［J］.IEEE transactions on pattern analysis and machine intelligence，2015，37（10）：2041-2056.

［2］Ojala T，Pietik?inen M，Harwood D.A comparative study of texture measures with classification based on featured distributions［J］.Pattern recognition，1996，29（1）：51-59.

［3］Ahonen T，Hadid A，Pietikainen M.Face description with local binary patterns：application to face recognition［J］.IEEE transactions on pattern analysis and machine intelli?gence，2006，28（12）：2037-2041.

［4］Liao S，Chung A C S.Face recognition by using elongated local binary patterns with average maximum distance gra?dient magnitude［C］//Tokyo，Japan：Asian conference on computer vision，2007：672-679.

［5］Zhang W，Shan S，Gao W，et al.Local Gabor binary pat?tern histogram sequence（LGBPHS）：a novel non-statisti?cal model for face representation and recognition［C］//Bei?jing，China：Tenth IEEE International Conference on Computer Vision，2005.786-791.

［6］Maturana D，Mery D，Soto A.Learning discriminative lo?cal binary patterns for face recognition［C］//Santa Barba?ra，CA，USA：Ninth IEEE international conference on au?tomatic face and gesture recognition，2011.470-475.

［7］Hussain S U，Napoléon T，Jurie F.Face recognition using local quantized patterns［C］//Guildford，British：British machine vision conference，2012.1-11.

［8］Duda R O，Hart P E，Stork D G.Pattern classification［M］.New York，American：John Wiley&Sons，2012.

［9］Phillips P J，Wechsler H，Huang J，et al.The FERET da?tabase and evaluation procedure for face-recognition algo?rithms［J］.Image and vision computing，1998，16（5）：295-306.

［10］ Ojala T，Pietikainen M，Maenpaa T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns［J］.IEEE transactions on pat?tern analysis and machine intelligence，2002，24（7）：971-987.

［11］Wolf L，Hassner T，Taigman Y.Descriptor based meth?ods in the wild［C］//Marseille，F(xiàn)rance：Workshop on fac?es in real life images detection alignment and recogni?tion，2008.1-14.

［12］Lei Z，Pietik?inen M，Li S Z.Learning discriminant face descriptor［J］.IEEE transactions on pattern analysis and machine intelligence，2014，36（2）：289-302.

［13］Liao S，Zhu X，Lei Z，et al.Learning multi-scale block local binary patterns for face recognition［C］//Washing?ton，American：International conference on biometrics，2007.828-837.