孫晨暉

摘要 生成虛擬人臉樣本是提高小樣本人臉識(shí)別性能的一個(gè)重要方式。但是虛擬人臉樣本可能存在的失真、降低識(shí)別精度。為了克服這一缺點(diǎn)，本文提出了一種局部近似對(duì)稱人臉圖像生成方法。我們用虛擬的半邊臉以取代原始的半邊臉，合成一張人臉。該方法既利用虛擬人臉，又利用原始人臉生成基于對(duì)稱性的合成人臉。因此，合成的面部接近于原來的面部。實(shí)驗(yàn)結(jié)果表明，該方法提高了人臉識(shí)別的準(zhǔn)確率。

[關(guān)鍵詞]虛擬樣本 人臉識(shí)別 半邊臉 合成人臉

在小樣本人臉識(shí)別領(lǐng)域，困難主要來自人臉樣本不足，并且人臉姿勢(shì)不同，面部表情的差異和光照的不均衡，這些都會(huì)導(dǎo)致識(shí)別率的降低。為了克服這些困難，獲得更多的虛擬人臉樣本是提高人臉識(shí)別率的重要途徑。近年來，研究者發(fā)現(xiàn)，例如，對(duì)稱的人臉圖像有利于克服光照問題和人臉姿勢(shì)不同導(dǎo)致的影響。還發(fā)現(xiàn)，一些生成虛擬人臉樣本的簡(jiǎn)單方法也可以提高人臉識(shí)別精度。例如，兩個(gè)原始人臉圖像的平均值可以用作虛擬面部樣本。由于人臉近似對(duì)稱，所以用半邊臉來生成整個(gè)虛擬人臉也是可行的。

人臉是近似對(duì)稱的結(jié)構(gòu)。這啟發(fā)我們提出一種構(gòu)造近似對(duì)稱人臉的新方法。采用人臉對(duì)稱結(jié)構(gòu)，己被證明是在人臉檢測(cè)的一種有效方法。面部的對(duì)稱性也適用于其他問題，如陰影分析。對(duì)于人臉識(shí)別，如果人臉圖像完全是軸對(duì)稱圖像，則只需要人臉的一半進(jìn)行人臉分類。但人臉圖像是不完全對(duì)稱的，所以我們的方法也借鑒了論文中的方法來提高人臉的對(duì)稱性。

由于最近鄰分類器對(duì)模式分類有很好的精度，本文將其用于人臉識(shí)別。我們知道，最近鄰分類器的性能較好，可以使我們獲得令人滿意的性能，并且它是非常簡(jiǎn)單和容易實(shí)現(xiàn)。在本文中，我們?cè)噲D產(chǎn)生和利用合理的虛擬訓(xùn)練樣本，以更準(zhǔn)確地識(shí)別人臉。合理的虛擬樣本不僅能正確地模擬人臉的姿態(tài)、表情等變化，而且有助于提高識(shí)別精度。

1 局部近似對(duì)稱人臉圖像生成方法

為了方便描述，我們用b1，1，b1，2，b2，1和b2，2分別表示原始圖像的左上角、左下角、右上角和右下角部分。所有這些都被重新排列為列向量。獲得四個(gè)向量的步驟如下。

讓T代表一個(gè)原始的人臉圖像。圖像1有j列。讓Tu，j（j=1，2，…，J）和Td，j（j=1，2，…，J）分別表示圖像T的上部和下部。假設(shè)J是一個(gè)偶數(shù)，我們有如下公式：

為了便于理解該方法，圖1給出了實(shí)現(xiàn)上述過程的一個(gè)簡(jiǎn)單示例。我們將人臉圖像分成四個(gè)塊，每個(gè)塊用一列向量表示。

利用梯度下降算法，使左右臉進(jìn)行迭代，使b1，1，b2，1近似相等，b1，2，b2，2近似相等。迭代函數(shù)g（m）如下定義：mn+1=mn-pVg（mn） （2）

這里p是學(xué)習(xí)率，mn+l，mn分別是m在n+l次迭代和n次迭代中的值。梯度下降算法可以快速獲得函數(shù)g（m）的最小值和相應(yīng)的最優(yōu)m值。

首先，基于b1，1、b2，1，我們定義了一個(gè)目標(biāo)函數(shù)如下：

B是一個(gè)正的常數(shù)，n是迭代次數(shù)。p隨著n的增大減小。這個(gè)解容易收斂。

獲取b1，1和b2，1向量后，合成臉的半邊臉是通過b1，1和b2，1拼接起來的。同樣的，我們獲得b1，2，b2，2。方法的步驟如下：

第一步：將原始人臉圖像分割成左上、左下、右上、右下臉圖像，并反轉(zhuǎn)右上臉和右下臉，如圖2所示，我們得到b1，1，b1，2，b2，1，b2，2。的初始值。

第二步：我們通過方程式（4）提出的梯度下降算法，迭代更新b1，1和b2，1。迭代終止需要滿足兩個(gè)條件之一：（i）迭代次數(shù)大于預(yù)定義值;表示b1，1經(jīng)過n次迭代的值。￡是一個(gè)小的正常數(shù)。b1，l和b2，1迭代的流程如圖3。

第三步：我們用類似的方式獲得b1，2，b2，2。然后我們能得到用b1，1和b1，2合成的左半邊臉圖像。用b2，1和b2，2得到合成的右半邊臉圖像。

第四步：利用合成的左臉和右臉原來獲得的虛擬人臉圖像還是原來的左臉和右臉合成得到的虛擬人臉圖像。

第五步：我們使用一個(gè)算法來證明我們的方法的優(yōu)點(diǎn)。

本文利用最近鄰分類器，證明該方法在人臉識(shí)別中的優(yōu)越性。

2 分析提出的方法

這一節(jié)，我們描述方法優(yōu)點(diǎn)。首先，它很容易從原始人臉圖像中生成對(duì)稱的虛擬人臉圖像。這不僅可以減少人臉不同姿態(tài)和光照對(duì)人臉識(shí)別的影響，且可以使人臉圖像的幾何形狀與真實(shí)人臉更一致。其次，該方法簡(jiǎn)單。它以較低的計(jì)算成本產(chǎn)生近似對(duì)稱的人臉圖像。第三，最重要的步驟是使用虛擬人臉和原始人臉，合成的人臉更接近原始人臉。圖4中的兩組面孔給我們一個(gè)清晰的對(duì)比。左邊的列是原始圖像，右邊的列是合成圖像。

我們用的原始人臉圖像是從YaleB人臉數(shù)據(jù)庫中選取。從圖中，我們看到，我們的方法可以很好的緩解光照失衡產(chǎn)生的負(fù)面效應(yīng)，獲得良好光線的虛擬人臉圖像。

3 實(shí)驗(yàn)

為了驗(yàn)證我們的方法，我們?cè)贏R和NIR人臉數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)。 （i） AR人臉數(shù)據(jù)庫包含126人，超過4000張彩色圖像。在文中，我們選擇AR人臉數(shù)據(jù)庫中的120人，并從每人中選出26幅圖像，共3120幅圖像。人臉圖像有不同的姿勢(shì)、光照和表情。（ii） NIR人臉數(shù)據(jù)庫有400幅100個(gè)人的圖像，每個(gè)人在不同的照明條件和各種面部表情下提供4幅不同的圖像。（iii）從YaleB人臉數(shù)據(jù)庫中選取15人，每人32張人臉圖像，共480張人臉圖像。由于我們的方法使用了虛擬人臉和原始人臉，合成的人臉非常接近原始人臉。實(shí)驗(yàn)如下。

3.1 實(shí)驗(yàn)1

在AR和NIR人臉數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中，合成的人臉由原始人臉的右臉和虛擬人臉的的左臉組成。在AR數(shù)據(jù)庫中，分別選取每個(gè)人的1，2，3，4，5個(gè)原始人臉圖像作為分別作為原始訓(xùn)練樣本，其他是測(cè)試樣本。在NIR數(shù)據(jù)庫中，分別選取每人2個(gè)和3個(gè)原始人臉圖像，作為原始訓(xùn)練樣本，其余為測(cè)試樣本。表1和2分別顯示了在AR數(shù)據(jù)庫和NIR數(shù)據(jù)庫的實(shí)驗(yàn)結(jié)果。

通過觀察，我們的方法比論文[14]中的方法有更高的識(shí)別率。將兩種方法做對(duì)比，在AR數(shù)據(jù)庫中，當(dāng)訓(xùn)練樣本數(shù)為4時(shí)，最低精度分別為54.02%和50.95%。在NIR數(shù)據(jù)庫中，訓(xùn)練樣本數(shù)為3時(shí)，我們方法的最高準(zhǔn)確率是91%，而原論文是87%。實(shí)驗(yàn)表明，我們的方法更優(yōu)。因?yàn)槲覀兊姆椒ㄓ商摂M半邊人臉和原始半邊人臉合成人臉，這樣使拼接的人臉更接近于原始人臉，且用到了虛擬人臉消除光照等影響的優(yōu)勢(shì)。

3.2 實(shí)驗(yàn)2

與上述實(shí)驗(yàn)相類似，我們利用原始人臉的左臉和虛擬人臉的右臉合成人臉圖像。實(shí)驗(yàn)是在AR數(shù)據(jù)庫和YaleB人臉數(shù)據(jù)庫進(jìn)行。實(shí)驗(yàn)結(jié)果如表3和表4所示。

4 結(jié)語

本文提出的方法既利用虛擬生成的人臉圖像，又利用原始的人臉圖像，來生成基于對(duì)稱性的人臉。因此，合成的面部接近于原來的面部。同時(shí)，該方法可以減少光照對(duì)人臉識(shí)別的負(fù)面影響。實(shí)驗(yàn)表明，該方法能提高人臉識(shí)別的準(zhǔn)確率。