劉翠響，李敏，張鳳林

(河北工業(yè)大學 電子信息工程學院，天津市 300401)

基于詞包模型和SURF局部特征的人臉識別

劉翠響，李敏，張鳳林

(河北工業(yè)大學 電子信息工程學院，天津市 300401)

針對傳統(tǒng)人臉識別方法實時性差的缺點，提出了一種加速魯棒性特征(SURF，speed up robust features)和詞包模型(BOW，bag-of-word)相結合的人臉識別方法.圖像經過預處理后，使用SURF算法自動提取圖像的關鍵點和相應的特征描述符，再進一步用BOW方法將其編成視覺單詞作為人臉的局部特征.最后，采用K最鄰近結點算法進行分類識別.使用了2個數(shù)據(jù)集驗證了提出的方法——標準CMU-PIE(卡內基梅隆大學——姿勢、光照、表情人臉數(shù)據(jù)庫)人臉庫和采集的數(shù)據(jù)庫，分別達到了97.5%和99.3%的識別率，而且特征提取的時間少于0.108 s，識別的時間少于0.017 s.結果表明，本文提出的算法不僅精確而且快速，具有更好的穩(wěn)定性和有效性.

人臉識別；詞包模型；SURF；局部特征；K-NN

由于人臉會受到姿勢、面部表情或者光照等的影響，所以人臉識別是一項非常具有挑戰(zhàn)性的技術.除此之外，人臉表示經常要求多個維度，這就更加加劇了人臉識別的艱巨性[1].

傳統(tǒng)的人臉識別方法對表情、光照和尺度的變化非常敏感，當人臉圖像發(fā)生較大改變(比如旋轉)后，識別率就會急劇下降.近幾年，研究者介紹了很多應用在人臉識別領域的局部特征提取算法，例如，尺度不變特征變換(SIFT，scale invariant feature transform)就曾得到廣泛應用[2].尺度不變特征變換[3]作為一種局部特征描述算法，計算簡單，識別有效，且具有尺度和旋轉不變性.2006年后，SIFT算法被用于人臉識別領域[3-5]；然而這種算法計算復雜度高，不能在實時系統(tǒng)中得到更廣泛的應用，且非常容易受光照變化的影響[6].為此研究者提出了很多基于SIFT算法的改進算法，以便于該算法更能適用于實時系統(tǒng).比如，kd樹被應用在尋找K最近鄰的領域，指出PCA可以減少SIFT算法提取特征的維數(shù)[7].但是，由于人臉的特殊位置尤其是人臉邊緣的關鍵點很難被找到，從而得不到較高的識別率，所以這類方法仍然達不到實時系統(tǒng)的要求.為了解決SIFT算法計算復雜度高的問題，2006年，Bay等[8]提出了SURF算法，并將其用于圖像匹配領域.該算法不僅在尺度、光照和旋轉方面具有較強的魯棒性，而且在速度上遠遠超出了SIFT算法.在對室外自然圖像的匹配結果表明，SURF算法的運算速度比SIFT算法快將近3倍，并且整體性能有著SIFT算法不可比擬的優(yōu)越性[9-10].2009年，Du等[5]首次將SURF算法應用在人臉識別領域，提出基于SURF算法的人臉特征方法.2010年，Kang等[10]利用SURF算法的旋轉不變性，將待測試的人臉圖像經過旋轉處理后，形成了新的測試樣本，使得人臉識別的效果得到有效提高，但這僅是對SURF算法的簡單利用.總體來說，上述基于SURF提取人臉圖像特征的方法，雖然都在一定程度上提高了人臉的識別率，但提取的人臉特征關鍵點分布不均，并且對光照變化魯棒性較差.

詞包模型(BOW)是最近幾年常用的圖像特征分析方法之一，最開始被應用在處理自然語言或者檢索無序的詞語歸類以及詞序的信息[11]中.最近，詞包模型在計算機視覺中得到有效利用，比如目標識別、圖像分類和圖像檢索[12-13].在詞包模型中，用有序的視覺單詞表來表示圖像特征，實驗檢驗證明，詞包模型可以很好地應用在圖像分類中.但是詞包模型往往容易忽略圖像的整體信息，以至于會對其分類的正確率造成影響，所以要想提高詞包模型的準確率和魯棒性，需要找到一個更好的特征提取方法.

基于此，本文提出了一種準確快速的人臉識別方法——基于SURF局部特征和BOW算法的人臉自動化識別研究.在對人臉圖像預處理后，將人臉圖像統(tǒng)一尺寸，用SURF提取局部特征.然后，將SURF算法提取的關鍵點和描述符用BOW重新編碼作為局部特征.最后，在識別人臉類別時，將SURF和BOW提取的局部特征放入K-NN算法中，將K個最近鄰構建新的判決空間，識別人臉的類別.在CMU PIE(卡內基梅隆大學)標準人臉數(shù)據(jù)庫及在實驗室采集的真實身份人臉庫上分別進行了實驗.結果表明，本文采用的SURF和BOW結合的方法不僅在特征提取時速度快，而且在匹配識別時也很迅速.在CMU PIE標準人臉庫和采集的人臉庫上分別達到了97.5%和99.3%的準確率，特征提取的平均時間為0.108 s，識別的平均時間為0.017 s，識別一幅圖片的平均時間僅為15 ms, 滿足實時系統(tǒng)的快速準確的要求.

1 基于SURF的人臉特征提取算法

1.1 SURF特征點檢測

SURF是一種旋轉和尺度都不變的局部特征檢測子，由于引入了積分圖像，大大提高了圖像的特征提取速度.對于一幅二維圖像，通過高斯核卷積來構造不同的尺度空間：

(1)

SURF特征點的提取使用的是精確高的Fast-Hessian檢測子，在確定特征點的位置和選擇尺度時，本文選擇了相同的尺度.在圖像中的點X處，尺度為σ的Hessian矩陣為

(2)

但SURF在計算H矩陣時，用箱式濾波器代替了高斯二階導數(shù)，這樣SURF算法在計算卷積時就可以使用積分圖像，加快了計算速度.

對于積分圖像中某點X(x,y)，可以用圖像中原點與點X形成的矩形區(qū)域內所有像素值之和來表示積分面積I∑(X)，如式(3)所示.

(3)

在如圖1所示的積分圖像中，用3個加減運算即可求得矩形區(qū)域G的灰度值之和，即G=D-B-C+A，與矩形G的面積無關.

為了更加準確地逼近高斯核函數(shù)，Bay等提出以盒子濾波來近似高斯的二階微分.9×9的箱式濾波器如圖2所示.

圖1 積分圖像Fig.1 Integral image

圖2 y方向的箱式濾波器(灰色部分等于0)Fig.2 y direction box-type filter(the pessimistic part is equal to 0)

用它來代替σ=1.2的高斯二階導數(shù)，這是SURF的最小尺度和最高的空間分辨率.用Dxx,Dyy,Dxy近似表示圖像和高斯二階導數(shù)的卷積Lxx，Lyy，Lxy.在計算H矩陣的行列式值時，為了提高計算效率選擇了一個權值

(4)

|X|F表示F范數(shù).于是得到了H矩陣的行列式值的近似表達

(5)

為了確定圖像關鍵點的具體位置，在一個3×3×3大小的近鄰區(qū)域采取非最大值抑制的原則，選擇Hessian矩陣行列式的最大值所在的圖像和尺度空間的位置作為特征點的位置.在尋找特征點的位置時，為了增加關鍵點的抗噪聲能力，需要舍棄對比度較低的極值點或者邊緣不穩(wěn)定的相應點，然后就能得到相對穩(wěn)定的特征點位置.

1.2 SURF特征點描述和計算

SURF算法在提取了特征點后，結合特征點周圍的一個圓形區(qū)域內的信息，給特征點添加一個方向，然后根據(jù)該方向創(chuàng)建一個方形區(qū)域，在該區(qū)域提取SURF描述符.

為了保證SURF算法的旋轉不變性，首先以特征點為中心，在半徑為6s(s是特征點所在的尺度空間的尺度值)的圓形區(qū)域內計算各點在x、y方向的Haar小波響應.在計算時，同樣使用積分圖像來加快計算的速度.小波變換計算出來后，用σ=2.5s的高斯函數(shù)進行加權，使得離特征點近的響應貢獻大.最終小波響應被表示成一個向量，該向量包括小波響應的水平信息和垂直信息.主方向通過計算一個角度為π/3的滑動窗口內的小波響應的和得到.這時同樣需要分別計算水平和垂直方向的響應，這就產生一個新向量，最長向量的方向即為特征點的主方向.對每個特征點逐個進行計算，就能得到所有特征點的主方向.

為了得到SURF描述符，首先在提取的特征點附近建立一個20s的方形區(qū)域，將前一步計算的主方向作為其方向.建立的方形區(qū)域被劃分為4×4的子區(qū)域，對于每一個子區(qū)域，計算5t×5t(采樣步長取t)范圍內的小波響應.為了簡化描述，將Harr在水平方向的響應記為dx，在垂直方向的響應稱為dy，這里“水平”、“垂直”都是相對于特征點的方向來說的.為了提高描述符對于幾何變換的魯棒性，首先賦予dx和dy以權值系數(shù)，然后將每一個子區(qū)域內的dx、dy相加，形成子區(qū)域特征向量的前2個組成部分.為了使特征描述符具有強度變化的極性信息，將dx和dy的絕對值也加入了特征描述符.因此，每一個子區(qū)域的底部，形成了一個四維分量的矢量v，v=(∑dx，∑dy，∑|dx|，∑|dy|).因此，所有的4×4個子區(qū)域的描述符，合起來形成4×(4×4)=64維的描述向量，因此，最終的SURF描述符是一個64維的向量.

1.3 SURF提取的人臉特征描述符計算

首先，將人臉圖像經過歸一化處理后，將圖像變成同樣的尺寸.然后利用SURF算法提取人臉的關鍵特征點，計算該點的64維特征描述符.

圖3是一幅人臉圖像經過預處理后得到的SURF局部特征描述符.

圖3 人臉的局部特征描述符

Fig.3 SURF partial characteristic description symbol

2 Bag-of-word(BOW)算法的局部特征計算

本文應用經典的Bag-of-word(BOW)算法[14]將SURF算法提取的關鍵點和描述符重新編碼作為局部特征.得到所有特征點的特征向量后，需要對特征點進行分類.縱觀最佳的分類方法，K-means[15]算法在眾多研究領域得到廣泛應用.該算法不僅擁有更好的分類效果，而且計算速度非?？?因此本文采用的分類方法是K-means聚類算法.K-means算法可以有效處理大型數(shù)據(jù)集，是硬聚類算法，終止于局部最優(yōu).K-means算法是一種基于點對稱的非數(shù)字距離測量方法，優(yōu)化目標函數(shù)是數(shù)據(jù)點到原點的距離.它將觀察值劃分成K類，擁有相似特征的觀察值屬于同一類.在本文中，采用歐氏距離來表示相似度，也就是說，聚類準則函數(shù)的表達采用誤差平方和.

建立BOW模型主要分為2個步驟：第1步，將提取的所有訓練圖片的SURF描述符和相應的關鍵點，利用K-means方法聚類.用漢明距離作為度量標準估計2個SURF描述符之間的距離.在K-means方法中，計算每一個聚類中心和描述符之間的距離.在BOW模型中，每一個聚類中心都代表一個bin，稱這些bin為視覺詞匯.因此，第1步的目的就是構建視覺詞匯.得到的一系列視覺詞匯，用W={w1,w2,w3…}作為目標表示.BOW模型就由這些視覺詞匯構建而成.

由K-means聚類得到的這些視覺詞匯，在第2步中，輸入的SURF描述符可以由相應的視覺詞匯描繪出來.在所有的視覺詞匯中有一個最小漢明距離，如式(6).

(6)

公式(6)中的t表示SURF算法提取到的特征，通過將所有計算得到的SURF描述符繪制成相應的視覺詞匯，最終可以得到不同的視覺詞匯直方圖.

(7)

其中，Di是視覺詞匯的頻率.由于圖像之間提取的SURF特征點的數(shù)量不同，所以由公式(7)得到的視覺詞匯直方圖標準化為

(8)

BOW詞典構建的M個視覺詞匯用L=[b1b2…bM]來表示.因為BOW模型基于提取的SURF局部特征，所以在本文中被稱為人臉局部特征.在K-means算法中，質心初始值的選取十分關鍵.質心初始值如果改變，聚類準確率也會隨之改變.在本次研究中，初始值的位置通過多次實驗來獲得.如果在實驗中能得到很好的聚類效果，就記錄下這個初始值的位置.那么在下次實驗時，就可以直接使用這個初始值.利用K-means算法分類所有的特征點，然后用直方圖來表示圖像的詞包模型.每一類都會存在質心，則詞包模型每一類的特征就用這個質心的特征向量來表示，那么這些特征向量就構成了需要的詞包模型的字典.結果，一個單位直方圖代表一幅人臉圖像，

如圖4所示，即為得到的2組不同類型的測試人臉的BOW表示.

圖4 2組不同類型的測試人臉的BOW表示Fig.4 Two different person face type of BOW indicated

3 人臉分類識別算法K-NN

在識別人臉時，使用K-NN算法.K-NN如圖5所示.圖5描述了在SURF局部空間使用K-NN判斷一幅圖片(圓形)為正方形或者三角形的過程：1)圓形在SURF局部空間采用K-NN計算K(K=2,2個三角形)個最近鄰；2)這K個最近鄰形成的判決空間中，全部為三角形，因此判定圓形所屬類型為三角形.在選擇K的具體值時，需要反復測試選擇出最佳值，使得最終判決的準確率最高.

在人臉識別時，提取輸入人臉圖像的SURF局部特征，使用K-NN從SURF局部空間計算K個最近鄰，在形成的判決空間中，使用K-NN根據(jù)距離的遠近判斷輸入人臉圖像的類別.

本文算法的整體流程圖如圖6所示.

圖5 K-NN識別Fig.5 K-NN recognition

圖6 人臉識別流程Fig.6 Face recognition flowchart

4 實驗結果及分析

在CMU PIE標準人臉數(shù)據(jù)庫及本研究室的真實身份證人臉圖像上進行實驗，并與經典的SIFT、傳統(tǒng)的SURF進行比較.實驗首先對輸入的每一幅人臉圖像，用SURF和BOW算法提取局部特征，并用K-NN算法進行識別.

4.1 人臉圖像庫描述

CMU PIE庫：該人臉庫內含68位志愿者的人臉圖像，總共41 368張，來自不同姿態(tài)、光照和表情.所有人臉圖像的面部關鍵特征都比較規(guī)范，為標準的人臉庫.從CMU-PIE人臉數(shù)據(jù)庫中選擇了50個人(共1 500幅圖像)，這些人臉圖像的光照、姿態(tài)、表情各不相同.在選擇的1 500幅圖像中1 000幅用于訓練，500幅用于測試.圖7為CMU PIE人臉圖像庫部分樣本.

真實身份證人臉庫：訓練集為本實驗室成員的真實身份證人臉圖像，共15人，圖像大小為150×200；測試集為無約束環(huán)境條件下采集的每人10幅相應的人臉圖像.圖8為真實身份證人臉庫部分樣本.

圖7 CMU PIE人臉圖像庫部分樣本Fig.7 Partial samples of CMU PIE human face image storehouse

圖8 真實身份證人臉庫部分樣本Fig.8 Partial samples of real status witness face storehouse

4.2 實驗及參數(shù)設置

在K-NN分類時，K值的大小需要仔細選擇，由于沒有嚴格的理論依據(jù)，通過重復實驗的方式進行參數(shù)設置，見表1.

表1 標準測試集不同K值的識別結果

經不斷實驗，選定K=2，此時使用K-NN的準確率最高.最后共K=2個最近鄰放入K-NN進行最后的分類，確定人臉的類型.由實驗的結果判斷，提出的方法每幅圖片提取特征的平均時間為108 ms，識別的平均時間為17 ms，特征提取時間和分類所需的全部時間少于130 ms，實驗結果表明本文提出的方法可以用于實時人臉的識別.

4.3 實驗結果及分析

實驗1： 在CMU PIE標準人臉庫下的實驗.

對SIFT、ORB、傳統(tǒng)的SURF和本文算法分別進行測試，實驗結果見表2所示.通過比較時間和識別率可知，本文算法明顯由于其他算法.

表2 在標準人臉庫上的性能

實驗2：真實身份證人臉庫下的實驗.

選擇身份證人臉圖像作為訓練樣本，實際采集的人臉圖像作為測試樣本.將采集的人臉圖像在經灰度化處理后，轉化為200×150的圖像，然后用SURF和BOW算法提取局部特征，并用K-NN算法進行識別.同樣，經過測試，選定在SURF局部空間計算K=2個最近鄰，最終這2個最近鄰由K-NN做最后的判斷，判斷輸入人臉屬于哪一類.

實驗結果見表3.

表3 真實人臉身份證庫下的識別結果對比

從表3可以看出，本文算法相比其他算法，優(yōu)勢明顯，識別率最高.

實驗3：為了更好地判斷算法的性能，在MATLAB上進行了仿真實驗，分別對SIFT、ORB、傳統(tǒng)的SURF與本文算法進行了性能測試，進一步驗證了本文算法的優(yōu)越性.仿真結果如圖9-11所示.

圖9 高斯模糊性能比較Fig.9 Comparison of gauss fuzzy performance

圖10 壓縮性能比較Fig.10 Comparison of compression performance

圖11 抗噪性能比較Fig.11 Comparison of anti-chirp performance

該仿真實驗是將6幅圖片進行模糊處理、壓縮處理、噪聲處理后，再利用這4種算法分別進行分類識別，得到相應的識別率.由MATLAB仿真結果可知，本文算法在對圖像的模糊性、壓縮性和抗噪性能上，都具有很好的優(yōu)越性.

5 結束語

本文提出了一種SURF算法和詞包模型相結合的人臉識別方法.首先提取人臉的SURF和BOW局部特征，然后運用K-NN算法識別人臉類別.從實驗結果可以看出，無論對于標準的人臉數(shù)據(jù)庫還是自己采集的真實身份證人臉數(shù)據(jù)庫，均能取得較好的測試效果.通過實驗可以證明新的詞包模型有較好的性能，圖像分類準確率比原有模型要好.該方法不僅繼承了SURF 算法的實時性和魯棒性，而且還提高了SURF的效率，為今后在其他更加復雜的場景中利用BOW算法進行特定的人臉識別奠定了基礎.

[1] SOLDERA J, CARLOS A R B, SCHARCANSKI J.Customized orthogonal locality preserving projections with soft Margin maximization for face recognition[J].IEEE Transactions on Instrumentation & Measurement, 2015, 64(9):2417-2426.DOI:10.1109/TIM.2015.2415012.

[2] ZHANG W Y, HUA L L, DU H R, et al. SIFT: predicting amino acid changes that affect protein function[Z]. International Symposium on Computer Network and Multimedia Technology, Wuhan, 2009.

[3] LOWE D G.Object recognition from local scale-invariant features [J].Computer Vision, 1999, 2(9):1150-1157.DOI:10.1109/ICCV.1999.790410.

[4] LIU C, YUEN J, TORRALBA A.SIFT flow: Dense correspondence across scenes and its applications[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(5):978-994.DOI：10.1109/TPAMI.2010.147.

[5] GENG C, JIANG X D.Face recognition based on the multi-scale local image structures[J].Pattern Recognition, 2011, 44(10):2565-2575.DOI：10.1016/j.patcog.2011.03.011.

[6] 李偉紅, 陳龍, 龔衛(wèi)國.單樣本快速人臉不變特征提取方法[J].光電子·激光, 2014(3):558-564. LI W H, CHEN L, GONG W G.Fast facial descriptor extraction for single image based face recognition[J].Journal of Optoelectronics·Laser,2014(3):558-564.

[7] DU G, SU F, CAI A.Face recognition using SURF features[J].Pattern Recognition,2009,7496(28):131-137.DOI：10.1117/12.832636.

[8] BAY H, ESS A, TUYTELAARS T, et al.Speeded-up robust features (SURF)[J].Computer Vision and Image Understanding, 2008, 110(3):346-359.DOI：10.1016/j.cviu.2007.09.014.

[9] DING N N, LIU Y Y, ZHANG Y, et al.Fast image registration based on SURF-DAISY algorithm and randomized kd trees[J].Journal of Optoelectronics Laser, 2012, 23(7):1395-1402.

[10] KANG M, CHOO W, MOON S. Improved face recognition algorithm employing SURF descrpitors[Z]. Society of Instrument and Control Engineers Annual Conference, Japan,2010.

[11] LEWIS D D.Naive (Bayes) at forty: The independence assumption in information retrieval[J].European Heart Journal, 1998, 21(15):1204-6.

[12] LI F F, PERONA P. A Bayesian hierarchical model for learning natural scene categories[Z]. Computer Society Conference on Computer Vision & Pattern Recognition, America, 2005.

[13] YANG J, JIANG Y G, HAUPTMANN A G, et al. Evaluating bag-of-isua-words representations in scene classification[Z].International Workshop on Workshop on Multimedia Information Retrieval, ACM, 2007. DOI：10.1145/1290082.1290111

[14] CHU W T, HUANG C C, CHENG W F. News story clustering from both what and how aspects: using bag of word model and affinity propagation[Z]. The 2011 ACM International Workshop on Automated Media Analysis and Production for Novel TV Services, ACM, 2011.

[15] FENG J, JIAO L C, ZHANG X, et al.Bag-of-Visual-Words based on clonal selection algorithm for SAR image cassification[J].Geoscience & Remote Sensing Letters IEEE, 2011, 8(4):691-695.DOI:10.1109/LGRS.2010.2100363.

(責任編輯：孟素蘭)

Face recognition based on BOW and SURF local features

LIU Cuixiang, LI Min, ZHANG Fenglin

(School of Electronics Information Engineering，Hebei University of Technology,Tianjin 300401，China)

To overcome the limitations of traditional face recognition methods for real-time, a face recognition method which based on speed up robust features and bag-of-word model was proposed.Image after preprocessing, we used SURF to extract key points of images and corresponding feature descriptors automatically.Further, bag-of word model was used to code the descriptors into visual words as local features of the face.Finally,K-Nearest Neighbor algorithm was adopted to recognize the human faces.The proposed method is validated with both CMU-PIE dataset and dataset collected in the laboratory.It can achieve 97.5% and 99.3% recognition rates on these two datasets, respectively.In average, it took less than 0.108 s for feature extraction and less than 0.017 s for matching.The results indicate that the proposed method not only precise moreover fast, and had better stability and effectiveness.

face recognition; bag-of-word model; SURF; local features;K-NN

10.3969/j.issn.1000-1565.2017.04.013

2016-09-29

國家自然科學基金資助項目(61203245)

劉翠響(1973—)，女，河北辛集人，河北工業(yè)大學副教授，博士，主要從事信號處理與模式識別研究. E-mail：liucuix@126.com

李敏(1990—)，女，山東德州人，河北工業(yè)大學碩士研究生.主要從事圖像處理與模式識別研究. E-mail：1607708753@qq.com

TP391

A

1000-1565(2017)04-0411-08