萬源 李歡歡 童恒慶 吳克風(fēng)

（武漢理工大學(xué)理學(xué)院 武漢 430070）

0 引 言

特征提取是人臉識別中的核心問題.近年來，局部特征的人臉識別技術(shù)備受學(xué)者的關(guān)注，局部二值模式（local binary pattern，LBP）［1］與局部三值模式（local ternary pattern，LTP）［2］、梯度方向直方圖（histogram of oriented gradient，HOG）［3］等特征是人臉識別中常用的局部特征提取的方法.LBP特征由于其分類能力強，對單調(diào)的灰度變化具有不變性，且能結(jié)合圖像的整體特征，因此于2004年被Timo Ahonen等［4］成功地應(yīng)用于人臉識別中，成為人臉識別的重要方法.雖然LBP和LTP能很好地描述紋理特征，但對噪聲卻非常敏感，中心對稱局部二值模式CS-LBP（center symmetric local binary pattern）特征是LBP特征的進一步改進，降低了特征維數(shù)，減小了時間復(fù)雜度.HOG 特征最初是Dalal等于2005 年提出的一種行人檢測方法，后來被Déniz等［5］應(yīng)用于人臉識別中.HOG 特征在一個大小統(tǒng)一、網(wǎng)格密集的細胞單元上進行計算，利用相互重疊的局部對比度歸一化技術(shù)，是描述邊緣和形狀信息的最好的特征之一.HOG 特征邊緣描述能力強，且對光照和小量的偏移具有魯棒性，但其提取的特征向量維數(shù)較大且提取時間較長，當圖像比較復(fù)雜時，HOG 效果會變差且提取的特征不完整［6-7］.

1 相關(guān)特征介紹

1.1 CS-LBP特征

LBP特征只考慮鄰域像素與中心像素的灰度關(guān)系并不能完全有效的反映局部紋理特征，另一方面，以8鄰域像素來描述圖像的局部紋理特征，則LBP 的紋理直方圖為256維，即所得到的特征維數(shù)相對較高，若用來描述圖像的局部特征，將導(dǎo)致維數(shù)快速增長，而且鄰域越大特征維數(shù)越高［8］.

Heikkil?等［9］提出了中心對稱的局部二值模式（CS-LBP）紋理譜描述符，通過比較關(guān)于中心對稱的4對像素之間的灰度值變化來描述局部紋理模式，即具體的CS-LBP算子計算公式為

式中：gi，gi+N／2是關(guān)于中心像素對稱的像素對，閾值T是用于判定局部紋理區(qū)域的平坦性，Heikkil?等驗證了閾值T取灰度范圍的1%.

CS-LBP特征減小了計算復(fù)雜度且大大降低了特征表示的維數(shù)，由于其考慮了像素對的灰度差值，因此其與梯度算子密切相關(guān)，具體的LBP算子和CS-LBP算子的區(qū)別見圖1.

圖1 LBP與CS-LBP對比結(jié)果

1.2 HOG 特征

HOG 特征表示的是邊緣的結(jié)構(gòu)信息，可以描述局部的形狀變化，其中位置和方向的量化在一定程度上抑制了平移和旋轉(zhuǎn)帶來的影響，分塊分單元處理使得圖像局部像素點之間的關(guān)系可以得到很好的表示.

HOG 特征提取的具體過程［10-11］為：（1）為了消除光照的影響，對彩色圖像進行歸一化；（2）將樣本圖像分割為若干個小塊（block），每塊由相鄰的4個單元（cell）組成，每個單元由8×8像素組成，塊與塊之間采用重疊兩個單元的形式進行滑動.每塊的梯度方向平均劃分為16個無向的直方圖通道（bin），統(tǒng)計所有像素點各個方向的直方圖特征，從而得到每個單元的直方圖特征，進一步得到每塊的直方圖，再對每塊內(nèi)的直方圖進行歸一化，消除光照和陰影的影響；（3）最后得到每個單元的16維的特征向量，從而得到每塊（4個單元）的64維的特征向量，將整幅圖像所有塊的特征串聯(lián)得到圖像的整體HOG 特征.

2 本文特征融合方法

CS-LBP算子是目前人臉識別局部特征提取的廣泛使用方法，是一種簡單且準確率較高的局部紋理特征描述子，但是其單獨使用提取的特征不完整，且對于復(fù)雜圖像提取的準確率較低.HOG 特征描述的是圖像局部形狀變化，其利用局部區(qū)域的梯度強度和方向直方圖來構(gòu)造圖像特征，對光照變化和小量的偏移具有魯棒性，且能很好地描述圖像的邊緣信息.基于此，提出了新的特征融合方法，即分層CS-LBP 和分層HOG 進行特征融合方法.

2.1 分層特征

由于一幅灰度圖像分別經(jīng)過CS-LBP算子和HOG 算子提取特征之后仍然得到一幅具有灰度大小的圖像，因此為了提取圖像更多更豐富的紋理特征，間接得到原始圖像的灰度變化情況，可以對圖像進行多次特征的提取.一幅人臉圖像進行分層CS-LBP和分層HOG 特征提取結(jié)果見圖2.

圖2 三層CS-LBP和三層HOG 特征提取圖像

由圖2 可知，CS-LBP 特征的紋理結(jié)構(gòu)非常清晰，而HOG 特征能提取明顯的輪廓.圖2a）能夠清晰地表示整個人臉的紋理結(jié)構(gòu)，具有較強的紋理信息，圖2b）的紋理信息也比較清晰，圖2c）信息較弱，但是其依然包含有用的紋理特征；圖2a1）可以清晰的表示人臉的結(jié)構(gòu)信息，圖2b1），c1）也能清晰的看到人臉的外形、眼睛和鼻子的信息，即包含了對人臉分類有用的信息.因此分層特征的融合能夠提取到更完整的信息.

融合步驟中的CS-LBP（n），n=1，2，3表示3幅CS-LBP的特征提取圖像，CS-LBPi（i=1，2，3）特征表示得到的3 層CS-LBP 的分層特征；HOG（n），n=1，2，3表示3 幅HOG 的特征提取圖像，HOGi（i=1，2，3）特征表示得到的3層HOG的分層特征.

2.2 分層CS-LBP和分層HOG 特征的融合步驟

基本思想是對圖像分別提取分層CS-LBP特征和分層HOG 特征，然后將2種特征進行融合，形成圖像的最終特征.算法具體步驟如下.

1）對預(yù)處理后的圖像分別進行3次CS-LBP特征的提取，得到CS-LBP（n），n=1，2，3，將CSLBP（n）圖像劃分成大小相等、互不重疊的均勻子塊圖像.

2）統(tǒng)計每幅CS-LBP（n）圖像的所有子塊圖像的CS-LBP特征，將所有塊的直方圖特征順序級聯(lián)成CS-LBP（n）圖像的第一個特征向量，即得到分層特征CS-LBPi（i=1，2，3）.

3）再對預(yù)處理后的圖像分別進行三次HOG特征的提取，得到不同的三幅HOG（n），n=1，2，3特征提取圖像，進行與（1）相同的分塊.

4）統(tǒng)計每幅HOG（n）特征提取圖像的所有子塊圖像的HOG 特征，將所有塊的HOG 直方圖特征順序級聯(lián)成每幅特征圖像的第二個特征向量，即得到分層HOGi（i=1，2，3）特征.

5）將CS-LBP（n），n=1，2，3 圖像和HOG（n），n=1，2，3圖像對應(yīng)的兩個特征向量進行串連級聯(lián)，形成每幅圖像的融合特征表示，即得到分層CS-LBP 與分層HOG 特征的融合特征［CS-LBPiHOGi］，i=1，2，3.

6）將3幅特征提取圖像的所有特征進行順序級聯(lián)，得到圖像的完整特征，即

3 仿真實驗與實驗分析

3.1 實驗環(huán)境及預(yù)處理

為了證實提出算法的可行性，在ORL 人臉和GT 人臉庫上進行仿真實驗.實驗步驟如下.

步驟1 對人臉圖像進行預(yù)處理，利用雙線性插值將人臉圖像進行歸一化，統(tǒng)一為64×64像素.

步驟2 利用提出的方法進行人臉特征提取，與單一的分層方法進行比較，分塊大小為8×8，且比較了歐氏距離和卡方距離之下的識別率.

步驟3 最后利用最近鄰分類器進行分類.

3.2 相似性度量

實驗分析比較了不同算法的兩種相似性度量方法在不同人臉庫中的識別率，從而驗證了提出方法的有效性.第一種是最常用的歐式距離，其公式為

第二種是χ2距離，通常利用χ2距離度量直方圖之間的相似性，其公式為

其中圖像所分的子塊個數(shù)為s，子塊圖像直方圖的個數(shù)為m，訓(xùn)練樣本的一維直方圖特征向量為H1，測試樣本的一維直方圖特征向量為H2.

3.3 特征融合算法比較

本文分別比較了CS-LBP算子的4類，每類3種共12種特征提取方法的識別性能，包括單獨分層特征和多種分層特征的融合方法.

第一類特征是單獨的分層CS-LBP 特征，即分別對人臉圖像進行1，2，3 次CS-LBP 特征提取，得到的特征CS-LBP1，CS-LBP2，CS-LBP3.

第二類特征是單獨的分層HOG 特征，即分別對人臉圖像進行1，2，3次HOG 特征提取，得到的特征HOG1，HOG2，HOG3.

第三類特征是分層CS-LBP 特征與原始HOG 特征融合的特征CS-LBPHOG（1，0），CSLBPHOG（2，0），CS-LBPHOG（3，0）.

第四類特征是分層CS-LBP 特征和分層HOG 特征融合的特征CS-LBPHOG（1，1）、CSLBPHOG（2，2）、CS-LBPHOG（3，3）.

其中，CS-LBPHOG（n，0），n=1，2，3 表示n層CS-LBP 特征與原始HOG 特征的融合，CSLBPHOG（n，n），n=1，2，3表 示n層CS-LBP 特征與n層HOG 特征的融合.

3.4 ORL人臉庫實驗結(jié)果分析

ORL人臉數(shù)據(jù)庫是1992 到1994 年間英國劍橋大學(xué)在實驗室采集到的人臉圖像數(shù)據(jù)庫，包含40個人，每人10幅，共400幅圖像，每幅圖像的分辨率為112×92（10304），包括表情、微小姿態(tài)和20%以內(nèi)的尺度變化.選擇每類圖像的5幅訓(xùn)練，5幅測試.ORL人臉庫部分人臉圖見圖3.

圖3 ORL人臉庫部分人臉圖

12種算子在歐氏距離和卡方距離下的識別率結(jié)果見表1.由表1可見，利用卡方距離得到的識別率絕大部分高于歐式距離的識別率，且相對而言識別率較高，說明ORL 人臉庫中直方圖特征的相似性度量利用卡方距離效果更好.

ORL人臉庫中的圖像只包括表情和微小尺度的變化，其紋理特征相對較清晰.分析12種特征提取方法可知，單獨的分層CS-LBP 特征的識別率整體高于分層HOG 特征的識別率，即證明了CS-LBP特征在ORL人臉庫中提取效果較好.

分層CS-LBP特征與分層HOG 特征的融合方法的識別率高于單獨分層和分層特征與原始的HOG 特征融 合方法 的識別 率，且CS-LBPHOG（2，2）的識別率高達98%，從而證明了分層融合方法的有效性，優(yōu)于單一特征提取，且其提高了人臉的分類識別率.

表1 算法在ORL人臉庫上的識別率（歐氏距離／卡方距離） %

3.5 GT人臉庫實驗結(jié)果分析

GT（georgia tech face database）人臉庫由每人15幅，50個人共750幅人臉圖像組成，每幅圖像的分辨率是640×480（307200），包括表情、姿態(tài)、光照、采集時間不同等變化，背景有些復(fù)雜，因此與真實環(huán)境更接近，是一個相對復(fù)雜的人臉庫.選擇每類的8 幅圖像作訓(xùn)練，其余圖像作測試.GT 人臉庫部分人臉圖見圖4.

圖4 GT 人臉庫部分人臉圖

12種算子在歐氏距離和卡方距離下的識別率結(jié)果見表2，整體看來，利用卡方距離得到的識別率絕大部分高于歐式距離的識別率，說明在GT 人臉庫中利用卡方距離計算相似性更準確.

表2 算法在GT 人臉庫上的識別率（歐氏距離／卡方距離） %

由于GT 人臉庫圖像包含更豐富的光照、表情、邊緣和輪廓信息，且CS-LBP特征能提取豐富的紋理信息，HOG 特征對光照和小量的偏移具有魯棒性，因此融合方法對于GT 人臉庫的識別更有效，且分層CS-LBP 和分層HOG 特征融合與分層CS-LBP和原始HOG 特征融合方法識別率均能達到99.5%.GT 人臉庫中人臉圖像的背景比較復(fù)雜，且服裝、姿勢變化明顯，CS-LBP 的分層融合方法的識別率達到了99.5%，更加證實了融合方法的可行性.

3.6 時間復(fù)雜度分析

在測試圖像N中，針對每幅圖像分別統(tǒng)計12種算子特征提取的平均響應(yīng)時間，最后統(tǒng)計12種算子的時間值并計算N次的平均值作為每種算子的平均響應(yīng)時間T（s）.

12種算子的平均響應(yīng)時間見表3，其中CSLBP（n，0），n=1，2，3 與CS-LBPn，n=1，2，3 的維數(shù)相差1024維，在ORL人臉庫中的平均提取時間相差不到0.04s，而識別率卻高出4%；在GT 人臉庫中的平均提取時間相差不到0.01s，而識別率卻高5.5%，說明融合方法比單一的CSLBP特征更有效.

CS-LBP（n，n），n=1，2，3與CS-LBP（n，0），n=1，2，3的維數(shù)相差3000維，但在ORL 人臉庫中平均提取時間相差不到0.02s，而識別率卻高1.75%；在GT 人臉庫中平均提取時間相差不到0.07s，而識別率卻高2%，進一步驗證了CSLBP（n，n），n=1，2，3融合方法的穩(wěn)定性和可行性.

表3 算法時間復(fù)雜度分析、特征提取時間

4 結(jié)束語

考慮到全局和局部特征的融合，筆者提出了新的特征融合方法和表示模型，即分層CS-LBP與分層HOG 的特征融合方法，不僅考慮了人臉的紋理特征，而且考慮了輪廓邊緣特征，從而提取了更完整的信息，改進了傳統(tǒng)的單一特征的提取方法.融合方法的計算復(fù)雜度也相對較小，實驗表明分層CS-LBP特征與分層HOG 特征之間有相互補充的作用，增強了表示圖像特征的能力，顯著提高了分類識別率.

［1］OJALA T，PIETIKAINEN M，HARWOOD D.A comparative study of texture measures with classification based on feature distributions ［J］.Pattern Recognition，1996，29（1）：51-59.

［2］TAN X Y，BILL T.Enhanced local texture feature sets for face recognition under difficult lighting conditions［J］.IEEE Transactions on Image Processing，2010，19（6）：1635-1650.

［3］DALAL N，TRIGGS B.Histograms of oriented gradients for human detection［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Diego，CA：IEEE Computer Society，2005：886-893.

［4］AHONEN T，ABDEOUR H，MATTI P.Face recognition with local binary patterns［C］∥Proceedings of the 8th European Conference on Computer Vision（ECCV’2004），Prague：Czech Republic，2004：469-481.

［5］DENIZ O，BUENO G，SALITO J，et al.Face Recognition Using Histograms of Oriented Gradients［J］.Pattern Recognition Letters，2011，32（12）：1598-1603.

［6］瞿 中，孔令軍，馮 欣.典型相關(guān)分析融合LBP 和HOG 特征的人臉年齡估計［J］.重慶大學(xué)學(xué)報，2014，37（4）：52-57.

［7］黃 炎，范賜恩，朱秋平，等.聯(lián)合梯度直方圖和局部二值模式特征的人體檢測［J］.光學(xué)精密工程，2013，21（4）：1047-1052.

［8］毋小省.改進的旋轉(zhuǎn)不變區(qū)域紋理譜描述符［J］.光電子·激光，2011，22（5）：783-787.

［9］HEIKKILA M，PIETIKAINEN M，SCHMID C.Description of interest regions with local binary patterns［J］.Pattern Recognition，2009，42（3）：425-436.

［10］陳 銳，彭啟民.基于穩(wěn)定區(qū)域梯度方向直方圖的行人檢測方法［J］.計算機輔助設(shè)計與圖形學(xué)學(xué)報，2012，24（3）：372-377.

［11］向 征，譚恒良，馬爭鳴.改進的HOG 和Gabor，LBP性能比較［J］.計算機輔助設(shè)計與圖形學(xué)學(xué)報，2012，24（6）：787-792.