魏 瑋，張芯月，朱 葉

河北工業(yè)大學 人工智能與數(shù)據(jù)科學學院，天津300401

1 引言

人臉特征提取與匹配在人臉圖像信息研究領域是相當重要的一個分支，它是人臉識別[1]、三維重建[2]和人臉替換[3]等當下熱點研究領域的基礎。人臉圖像匹配在人臉研究領域具有廣泛應用[4]。人臉匹配的實質是為了得到同一個體在不同時間、視角以及不同傳感器條件下的多幅圖像的相似程度。傳統(tǒng)的圖像匹配技術多適用于剛性物體，而人臉五官分布具有復雜性，同時由于人臉的五官可以根據(jù)表情改變而發(fā)生動態(tài)變化，這給人臉圖像的匹配帶來了很大的挑戰(zhàn)。

人臉領域常用的圖像匹配算法基本分兩種，利用灰度進行人臉匹配和利用特征進行人臉匹配。利用灰度進行人臉匹配可以取得較高的匹配率，但計算復雜度也較高，且對圖像的灰度變化敏感，在光照變化較大的場景下匹配效率低。此外，利用灰度的匹配方法對人臉的偏轉和形變也比較敏感。而當人的表情變化時，人臉就會發(fā)生一定的形變。利用特征的匹配方法對光照變化不是很敏感，匹配速度更快，性能也相對穩(wěn)定。因此，人臉匹配多使用基于特征的匹配方法[5]。近年來廣泛應用的就是由Lowe 提出的SIFT 算法[6]。SIFT 將梯度方向描述符和尺度不變特征結合在一起，以提供對光線、噪聲和輕微角度變化的高容差。但是算法存在一些問題，SIFT 算子為128 維高階向量，不能滿足實時的人臉識別和三維重建等領域的要求[7]。后來Ke 等人[8]將主成分分析與SIFT 算法結合起來運用到圖像匹配中，通過PCA 的方法降低原始SIFT 算法的維數(shù)，進而降低計算復雜度縮短了人臉圖像匹配的時間，但該方法的匹配精度較差。近幾年針對SIFT 維數(shù)較高，運算效率低的問題，人們開始利用CNN對其進行改進[9]。也有人通過類似FPGA的硬件設備實現(xiàn)算法來加快速度[10]。國內的馮文斌等人[11]在關鍵點鄰域劃分時采用了新的劃分方法——分級的放射狀分區(qū)，構造出了新的特征描述符，提高了匹配率，但所得到的匹配集中存在誤匹配點。

本文針對上述SIFT 算法中計算復雜度高和人臉匹配多存在誤匹配點的問題，提出了一種改進的SIFT 結合余弦相似度的人臉匹配算法。本文算法將SIFT 原始的矩形特征描述區(qū)域改為四個同心圓的描述區(qū)域。同時采用了正反雙向匹配，并利用匹配點對集之間近似滿足余弦相似性來進行誤匹配點的剔除，提高了匹配效率。

2 SIFT算法原理與改進

SIFT，即尺度不變特征變換，是用于圖像處理領域的基于局部特征描述的算子。Lowe在1999年提出SIFT算法，于2004 年進行了改進與完善[12]。Mikolajczyk[13]在十種常用的局部描述符中進行了對比實驗，實驗證明SIFT 算子在同類描述符中魯棒性最強。該算法的核心思想是在尺度空間中檢測極值點，同時將不穩(wěn)定的極值點過濾，提取穩(wěn)定的特征點并在其附近提取圖像的局部特性，形成局部描述符用于圖像匹配中。SIFT 算法的實現(xiàn)過程主要包括四部分：

（1）空間極值點檢測；

（2）關鍵點的定位；

（3）關鍵點方向的確定；

（4）描述符的生成。

2.1 空間極值點檢測

Koenderink 等人[14]研究證明，高斯核是唯一可以產(chǎn)生多尺度空間的核。一幅二維圖像I(x,y)的尺度空間L(x,y,σ)是通過將不同尺度的高斯函數(shù)G(x,y,σ)與原始圖像卷積來獲得的，其可以表示為：

其中，σ 是空間尺度因子，G(x,y,σ)為高斯核函數(shù)，它可以表示為：

通過使用一組連續(xù)高斯卷積核與原圖像進行卷積來生成高斯金字塔，由相鄰尺度的圖像作差得到高斯差分金字塔DOG（Different-Of-Gaussian）。為了檢測到具有穩(wěn)定性的關鍵點，Lowe 使用了DOG 算子近似代替尺度歸一化的高斯-拉普拉斯算子。

其中，k 為閾值。在DOG 尺度空間中，為了確保在尺度空間和圖像空間中都可以檢測到局部極值點，可以將每個點與相鄰的26個點進行比較。

2.2 關鍵點的定位

為了提高關鍵點的穩(wěn)定性，需要精確確定關鍵點的位置和尺度。根據(jù)DOG 函數(shù)在尺度空間的泰勒展開式求極值，并將對比度低的極值點過濾掉，然后根據(jù)計算得到的主曲率來確定閾值，去除不穩(wěn)定的邊緣響應點。

2.3 關鍵點方向的確定

利用關鍵點鄰域像素的梯度方向分布特性，為每個關鍵點指定主方向，使其具有旋轉不變性。各像素梯度的模和方向的計算公式為：

以關鍵點為圓心，劃定一個鄰域，通過計算關鍵點的梯度來建立方向直方圖。方向直方圖的最大值表示關鍵點的鄰域梯度方向。此時，包含位置、尺度和方向的被檢測到的關鍵點是圖像的SIFT特征點。

2.4 描述符的生成

關鍵點描述符是一種對局部圖像信息抽象化處理的表示，是具有獨特性的向量，這種抽象表示也為后續(xù)的圖像匹配提供了依據(jù)。Lowe選取了一個以關鍵點為中心大小為16×16的窗口，并將其分為4×4個子區(qū)域，對每個區(qū)域8 個方向的梯度值累加來計算梯度直方圖，每個梯度方向的累加值可以形成一個種子點。而一個關鍵點則由16 個種子點組成，這樣就形成了一個4×4×8=128維的SIFT特征向量。

如圖1（a）中，取以關鍵點為中心的8×8 鄰域，其中箭頭方向代表像素梯度方向，箭頭長度代表該像素的模值。取4×4 大小為一個種子點，然后累加8 個方向的梯度值來計算方向直方圖，每個梯度方向的累加可形成一個種子點，圖1（b）為由4個種子點組成的特征點。

2.5 SIFT算法的改進

圖1 特征描述符的生成

SIFT 算法中的特征點描述符為128 維的向量，當向量維度過高時，不僅生成特征點向量需要的時間會增加，而且會使后面的圖像匹配過程效率降低。這樣的匹配效率如果要得到最終的人臉匹配結果需要10 s 甚至更多的時間。這對于實時性要求較高的情況并不適用。為了提高時間效率，本文提出的改進算法在SIFT 特征描述符的基礎上進行了降維。由于距離關鍵點越近的像素對關鍵點特征描述符的影響越大，考慮到像素的這種距離影響，因此對每個區(qū)域與關鍵點的距離進行了加權。同時因為在進行人臉匹配時，圖像可能會發(fā)生旋轉，而圓具有很好的旋轉不變性，所以采用圓來代替矩形[15]。

在本文中，采用以特征點為中心，直徑為16 的圓形區(qū)域作為關鍵點區(qū)域。以兩個像素為單位，半徑依次遞減，最終劃分為4個同心圓區(qū)域，如圖2（a）所示。

圖中中心點為特征點，將特征點表示為M(p1,p2)，半徑最大為8，圓形區(qū)域可表示為：

改進的特征描述符的方向采用了0°～360°均勻分布的12個方向。先對每個同心圓區(qū)域分別計算其12個方向的梯度累加值，距離越近權重越大，同心圓的半徑從內到外依次為2、4、6、8，因此對梯度累加值依次進行權重為0.4、0.3、0.2、0.1 的加權處理。圖2（b）為由圓環(huán)生成的12 個方向的特征向量。然后由內向外，取最內側圓環(huán)的12 維向量作為描述符的前12 個元素，將第二個圓環(huán)的12 維向量作為描述符的第13 至24 個元素，以此類推。最終關鍵點的特征描述符即為4×12共48維的特征向量。新的特征描述符對不同的圓環(huán)進行了加權計算，使得關鍵點的特征表達的更具體，而且最終得到的特征向量與SIFT 特征描述符相比，降低了計算復雜度，節(jié)約了運算時間。為使改進的特征描述符同樣具有旋轉不變性，本文對特征向量實施了排序操作，將最內側圓環(huán)的最大值循環(huán)左移到第一個元素的位置，其他同心圓也按照第一個圓環(huán)的轉動角度進行轉動。這樣使得四個圓環(huán)旋轉了相同的角度，相當于SIFT 算法中鄰域旋轉的操作，保證了改進描述符同樣具有旋轉不變性。為了減少光照的影響，盡可能保證人臉匹配的準確率，本文對生成的48 維特征描述符進行歸一化處理。設A′是特征點描述符，且，則歸一化公式為：

圖2 新的特征描述符

3 余弦相似度剔除人臉特征誤匹配

3.1 人臉特征點匹配

在生成人臉圖像的特征向量之后，將特征向量的曼哈頓距離用作兩個圖像特征點的相似性度量以進行人臉特征匹配[16]。兩個特征向量相似度越高，它們的曼哈頓距離就會越小。特征向量間的曼哈頓距離定義為：

在本文中，采用最近鄰距離算法（NN）進行匹配，即比較樣本點最近鄰距離與次近鄰距離的比值，若小于設定閾值，則認為特征點匹配正確。經(jīng)過實驗測試，閾值設置得越小越穩(wěn)定，但匹配的數(shù)量也會減少。由于單向匹配的誤匹配率較高，因此本文進行了雙向匹配。

3.2 余弦相似度消除誤匹配

圖像在進行匹配時通常有誤匹配現(xiàn)象。本文提出了一種利用余弦相似度進行誤匹配消除的方法。一般在衡量兩個向量間相似程度時可以采用相似性函數(shù)，函數(shù)值越小，向量差異更大，相似度更小。利用向量夾角的余弦值來度量其相似性就是余弦相似度測量。余弦值越大，兩個向量的夾角越小，向量間的相似度越高。通過歐幾里德點積和量級公式可以推導出兩個向量間的余弦值：

鑒于兩個向量的性質，A和B的余弦相似度sim的大小可以用一個點積形式來表示。

在人臉圖像匹配過程中，選定水平軸為基準向量，兩個匹配點所構成的向量為匹配向量，兩個匹配點之間的曼哈頓距離作為向量的模值，根據(jù)余弦相似度的定義，所有的匹配向量與基準向量間夾角的余弦值都應該是相似的。因此本文將余弦相似度作為約束條件進行曼哈頓距離測度，同時進行閾值設置，以此來減少誤匹配點對的數(shù)量。圖3（a）為在進行人臉圖像匹配過程中含有誤匹配的人臉圖像，圖3（b）為正確匹配的人臉圖像。

圖3 人臉圖像匹配

4 實驗結果與分析

為使實驗結果更具有說服力，并驗證本文算法的有效性，選用了FEI 巴西人臉數(shù)據(jù)庫進行實驗。FEI 數(shù)據(jù)庫中包含200 個人，其中男女各100 人，每人有14 幅圖像，共有2 800 幅人臉圖像，每個圖像的原始大小是640×480 像素。由于FEI 數(shù)據(jù)庫中每個人的14 幅圖像均包含有不同角度、不同表情和不同光照三種變化的人臉圖像。因此本文分別對三種情況進行了實驗驗證。本文選取了FEI數(shù)據(jù)庫中50個人的圖像作為測試集，來驗證改進算法的有效性，實驗對象是選取的50 人的不同角度、不同表情、不同光照下的人臉圖像。實驗的設備為一臺Win7 64 位系統(tǒng)，處理器為AMDA6-4400M CPU 2.7 GHz，4 GB內存的筆記本電腦，算法通過VS2013和OpenCV3.0.0平臺實現(xiàn)。

4.1 圖像特征匹配實驗

分別隨機選擇具有不同角度、不同光照及不同表情的多組人臉圖像進行實驗。設定閾值t 為特征點是否正確匹配的判定條件，當d1/d2＜t 時為正確匹配，否則為誤匹配。

在對人臉進行特征提取時，為了排除影響人臉特征提取的因素如背景、肩膀和頸部等，需要對圖像進行人臉檢測，然后在檢測到的人臉上完成特征提取、圖像匹配。在人臉檢測部分，本文采用SeetaFace 人臉檢測模塊，相較于傳統(tǒng)的人臉檢測算法，SeetaFace 在人臉偏轉較大時可以準確檢測識別[17]。SIFT、SIFT+RANSAC 和本文的ISIFT+CS 算法在角度、光照和表情變化下的匹配效果如圖4～6 所示。根據(jù)效果圖和數(shù)據(jù)分析，在三種不同情況下的人臉圖像匹配過程中，本文算法均能以最小的時間代價得到最好匹配效果。

將正確率作為算法的評價標準之一，表1 中的正確率的計算公式為：

其中，r 為正確率，n為正確匹配數(shù)量，q為誤匹配數(shù)量特指在進行人臉匹配后仍存在的誤匹配點數(shù)，表1 中的剔除數(shù)為人臉匹配過程中采用最近鄰匹配雙向匹配時剔除的匹配點數(shù)，剔除數(shù)不計入正確率公式。

從表1 中可以看出，本文改進的算法在時間效率上比傳統(tǒng)的SIFT 或者SIFT+RANSAC 算法高出一倍甚至多倍，說明了本文所采用的ISIFT+CS 算法比傳統(tǒng)算法的時間效率更高。從剔除數(shù)和正確率以及正確匹配點數(shù)三種性能方面看出，基于余弦相似度進行誤匹配消除能保留大量正確的匹配。

4.2 不同閾值下的匹配效果

為選取出最佳閾值t，本文進行了實驗驗證了當閾值分別取0.6、0.7、0.8和0.9時的正確匹配數(shù)量以及匹配的正確率。圖7～9 分別表示三種算法在不同表情、不同角度和不同光照的人臉圖像在各個閾值下的正確匹配點對數(shù)和正確率的曲線圖。

圖4 不同角度人臉匹配

圖5 不同光照人臉匹配

圖6 不同表情人臉匹配

表1 多種算法的匹配結果比較

圖7 不同表情

圖8 不同角度

圖9 不同光照

從曲線圖中可以看出，本文算法在閾值t 分別取0.6、0.7、0.8 和0.9 四種情況下，正確匹配數(shù)目都僅次于SIFT 而正確率又基本高于其他兩種算法。由于本文中改進的SIFT算法將原始的SIFT矩形特征區(qū)域改為了四個同心圓區(qū)域，使其在空間結構上發(fā)生了變化，導致部分邊緣區(qū)域的特征點無法提取，致使改進的SIFT 算法在進行人臉特征提取時，提取到的特征點數(shù)量會略低于原始SIFT 算法提取到的特征點數(shù)目，最終造成正確匹配數(shù)量會略低于SIFT匹配數(shù)量的結果。雖然SIFT算法在邊緣區(qū)域提取到了較多的特征點，但由于處于邊緣區(qū)域，提取到的特征信息可能并不完善，使得后面在完成圖像匹配后仍存在較多誤匹配點，導致了其正確率的降低。從表1 中可以看出本文算法的時間效率高于傳統(tǒng)的SIFT 和SIFT+RANSAC 算法，充分說明了本文算法具有有效性和可行性。但正確率有時會低于SIFT+RANSAC算法，原因是此時SIFT+RANSAC算法的匹配點對數(shù)量太少，即使正確率較高也不能保證良好的匹配效果。

5 結束語

人臉匹配廣泛應用于安防等領域，基于特征點的匹配方法已經(jīng)在很多文獻中得到很好的驗證，本文在深入比較現(xiàn)有人臉匹配技術的基礎上，提出了改進的SIFT結合余弦相似度的人臉匹配算法。通過人臉區(qū)域檢測對FEI 人臉數(shù)據(jù)庫中的人臉圖像進行預處理。特征提取與匹配過程提出改進的SIFT 結合余弦相似度的人臉匹配算法，先將SIFT 算法的特征描述符由矩形區(qū)域改進為4 個同心圓區(qū)域，實現(xiàn)了對SIFT 特征向量的降維，再利用基于曼哈頓距離測度雙向匹配方法進行人臉匹配。為了減少誤匹配點對，提高人臉匹配的準確率，根據(jù)各匹配點對之間近似滿足余弦相似的原則，采用余弦相似度來消除無匹配。在FEI 巴西人臉數(shù)據(jù)庫進行實驗并與傳統(tǒng)算法進行對比，實驗表明，改進的SIFT 結合余弦相似度的人臉匹配算法在保證了準確率的前提下，時間效率平均提高了2～2.5倍，匹配效果良好，與傳統(tǒng)算法相比更好地符合了實時性的要求。但該改進算法在實際應用時也有不足之處，對于含有豐富表情人臉的視頻序列進行人臉匹配時如何盡可能增加匹配點的數(shù)量，還需進一步研究。