張洋洋，張會林，陳茉莉

(上海理工大學光電信息與計算機學院，上海 200093)

目前我國已基本實現(xiàn)二代身份證的普及，二代身份證是個人身份信息證明的重要保障。二代證采用非接觸式IC卡技術(shù)，具備視讀和機讀兩種功能，具有較強的防偽性［1］。其最大的優(yōu)點是實現(xiàn)了持證人信息和照片的數(shù)字化存儲。由于二代證的實名性及廣泛性，因此使用二代身份證進行人臉識別具有很高的實用價值［2］。

二代身份證照的人臉識別是典型的單樣本識別問題，單樣本在證件照識別問題中應(yīng)用普遍。早期單樣本識別主要集中在特征提取和識別算法的研究中。文獻［3］提出了一種利用重構(gòu)積分圖來增加細長邊緣的特征點數(shù)來快速描述人臉特征，使識別率得到了提升。劉永俊等［4］人提出了位平面方法與2DMSLDA相結(jié)合的單樣本識別方法。Deng等［5］在分析單樣本PCA投影算法的本質(zhì)后提出一種一致尋蹤搜索方法，實驗表明該方法對相似人臉的區(qū)分效果較好。近年來，越來越多的研究者開始把注意力投向了由單樣本生成虛擬樣本的研究中。其中，較為典型的樣本擴充方法有:陳才扣等［6］提出的窗口滑動方法，王曉潔等［7］提出樣本分塊方法以達到樣本擴充的目的，然后再利用模糊理論的知識計算隸屬度進行識別。文獻［8］提出一種通過低采樣、微量旋轉(zhuǎn)、微量縮放生成多張樣本。雖以上單樣本生成多樣本方法簡單，但由于與原樣本高度相關(guān)、類內(nèi)距離小，使得識別效果提高較低，這就需要考慮如何生成一些高質(zhì)量、有一定類內(nèi)差距的圖像。文獻［2］在分析現(xiàn)有生成方法的優(yōu)缺點上，提出模擬人臉三維空間內(nèi)姿態(tài)變化，通過建模和計算實現(xiàn)了三維空間到平面范圍內(nèi)的多姿態(tài)虛擬樣本生成，該方法在現(xiàn)有樣本生成方法基礎(chǔ)上將算法識別率又進一步提高。但方法中對模型的近似過于簡化，使得生成的虛擬樣本畸變明顯、真實感欠缺。本文在對上述方法進行了改進，依據(jù)人臉結(jié)構(gòu)對投影模型進行近似，提出了一種異步旋轉(zhuǎn)映射方法，同時對映射過程出現(xiàn)的位移和畸變問題進行了分析和解決，使得能生成真實感更強烈的樣本。在自建二代身份證人臉庫和庫上進行試驗來驗證提出方法的有效性。

1 多姿態(tài)虛擬樣本生成方法

1.1 平面簡單方法虛擬圖像生成

(1)垂直鏡像。該操作對圖像進行對稱翻轉(zhuǎn)，對減少頭部旋轉(zhuǎn)產(chǎn)生的影響具有一定的作用。由于本文樣本是標準二代身份證照，所以圖像是中心對稱的，垂直鏡像操作可簡化繞Y軸翻轉(zhuǎn)操作。

(2)圖像旋轉(zhuǎn)。將圖像繞幾何中心整體順時針、逆時針旋轉(zhuǎn)微量角度，模擬現(xiàn)實取樣中人臉的傾斜、偏動。對于超出部分和空出部分進行裁剪和補白操作，同時將尺寸變換和圖像旋轉(zhuǎn)相結(jié)合可以使得生成的樣本更具魯棒性。

(3)對稱變換。將原圖像沿中軸分成兩部分，圖像左(右)半部分保持不變，右(左)半部分為左(右)半部分的鏡像。這樣生成的圖像既較好地保持了類內(nèi)距離，又充分利用了人臉面光照不均，因此該方法對光照改變具有很好的魯棒性。

(4)透視變換。文中添加了另一種方法來生成簡單虛擬樣本。透視變換是非線性變換，可投影出任意形狀、角度的視圖。通過定義4個二維控點計算出一個3×3的映射矩陣，然后與原圖相乘再加一個向量就實現(xiàn)了透視映射。

圖1是簡單方法生成的虛擬圖像，從左到右依次是原圖像、垂直鏡像、右傾斜5°、左傾斜5°、放大1.2倍且右旋轉(zhuǎn)2°、放大1.2倍且左旋轉(zhuǎn)2°、右對稱變換、左對稱變換、透視變換1、透視變換2。

圖1 平面范圍內(nèi)簡單方法生成虛擬圖像

1.2 改進型異步旋轉(zhuǎn)虛擬圖像生成

文獻中提出將照片中的人臉定義在三維坐標系中，原點選取人臉的物理幾何中心。假設(shè)人頭在XO'Y平面形成旋轉(zhuǎn)，將人臉投影到XO'Y平面內(nèi)，投影形狀近似成一個圓。那么人臉上A點在投影平面就近似為A1投影點，定義O'A1與X軸夾角為α。假設(shè)頭像旋轉(zhuǎn)角度為θ，則旋轉(zhuǎn)后的點A'1與A1的夾角∠A1O'A1，A'1與X軸的夾角為∠XO'A'1=α－β旋轉(zhuǎn)示意圖如圖2所示。

圖2 人臉旋轉(zhuǎn)位置變換示意圖

根據(jù)已知條件，A1點像素的坐標(X，Y')是已知的，給定旋轉(zhuǎn)角度θ，根據(jù)旋轉(zhuǎn)不變性便可列出兩個方程組，可解得兩個未知量α，消去未知量，就得到了X'值的計算公式。

經(jīng)化簡，消去α便可得出頭像在XOY平面內(nèi)轉(zhuǎn)動的坐標變換，新位置如下

定義新位置的像素值為原像素的灰度值，旋轉(zhuǎn)映射過程中出現(xiàn)像素點的不連續(xù)問題用近鄰插值的方法進行插值補齊。該方法具有操作簡單，生成多姿態(tài)圖像速度快等優(yōu)點，生成的圖像具有一定的姿態(tài)旋轉(zhuǎn)效果，但從直觀上來看，生成的效果并不理想，尤其是旋轉(zhuǎn)角度較大時圖像失真和畸變比較明顯。文獻中只將人臉圖像的投影圓直徑簡單的定義為圖像的水平尺寸，這將導(dǎo)致實際旋轉(zhuǎn)幅度偏大，且體現(xiàn)不了人臉各個部位實際轉(zhuǎn)動中線速度的不一致問題，所以導(dǎo)致旋轉(zhuǎn)合成出來的圖像的立體旋轉(zhuǎn)感不強，而且大部分作用力使得圖像整體位置偏移圖片幾何中心。因此本文在該文獻的基礎(chǔ)上進行研究，對該方法提出了改進，提出了一種改進型的異步旋轉(zhuǎn)坐標變換，且針對不同方向的姿態(tài)旋轉(zhuǎn)采用不同像素掃描順序。首先對圖像進行行掃描，統(tǒng)計出每行上非背景顏色的像素數(shù)，作為該行的人臉的投影圓直徑，保存在以行地址索引的數(shù)組中。在接下來的位置投影中，對每一行的目標像素進行變線速度的投影變換，這樣人臉上不同直徑圓上的點就能以不同的線速度旋轉(zhuǎn)，模擬了真實人臉旋轉(zhuǎn)中的多峰性旋轉(zhuǎn)。同時為了消除旋轉(zhuǎn)的中存在一部分旋轉(zhuǎn)力轉(zhuǎn)化為像素平移力的現(xiàn)象以及旋轉(zhuǎn)角度固定導(dǎo)致圖像生成之后人臉沿中軸線發(fā)生扭曲，因此本文根據(jù)旋轉(zhuǎn)方向的不同分別對左右半面每個像素點乘以不同的旋轉(zhuǎn)因子，取值根據(jù)旋轉(zhuǎn)角度和每行人臉直徑?jīng)Q定。具體用旋轉(zhuǎn)角度和人臉行直徑的比值作為步長對左半面進行遞增，到達中軸線再依次遞減，分別對像素點乘以對應(yīng)因子，實驗表明步進值取在范圍［0.01，0.03］之間效果較好。圖像垂直方向變換同理，不過為了突出低頭和抬頭的姿勢增加了積分變換，結(jié)果令人意外的是同時獲得了輕微表情，使得抬頭時人臉產(chǎn)生難過、抑郁的表情，低頭時有微笑、喜悅之神，這將使得訓練結(jié)果對部分表情也有一定的魯棒性，最后同時結(jié)合以上兩中情況生成復(fù)雜姿態(tài)變化的圖像，生成的虛擬圖像效果如圖3所示。

圖3 改進型異步旋轉(zhuǎn)虛擬多姿態(tài)圖像生成

圖3生成圖像從左到右依次是左旋轉(zhuǎn)5°、右旋轉(zhuǎn)7°、上仰 8°、下俯 8°、左旋轉(zhuǎn) 7°并上仰 6°、右旋轉(zhuǎn) 5°并低頭5°。從直觀上可看出，生成的虛擬圖像真實感較好，且保持了一定的姿態(tài)旋轉(zhuǎn)，人臉整體仍處于居中位置。為了測試本文提出方法的人臉識別效果，本文選擇2DPCA方法提取特征訓練樣本的特征值，用最近鄰分類法進行分類識別。

2 特征提取與分類

在子空間方法中基于主成分分析(PCA)的方法較為常用，該方法的基本思想就是用正交變換將圖像轉(zhuǎn)換為一維向量，這樣得到的向量維度非常高，計算量大，而且丟失部分結(jié)構(gòu)信息［9］。而二維主成分分析(2DPCA)的方法，是對圖像矩陣直接進行協(xié)方差矩陣的計算，無需將圖像轉(zhuǎn)化為一維向量［10］。因此本文選擇2DPCA提取特征。

設(shè)輸入圖像A為M×N矩陣，X表示N維的單位列向量，那么將A投影到X向量的線性變換如下所示

得到一個M維的投影向量Y，稱為A的投影特征向量。投影特征向量的總體散布矩陣刻畫了投影向量X的分類能力。因此，為使總體散布矩陣最大化，等價于找到使投影特征向量的協(xié)方差矩陣的跡最大化的投影向量X，這個X稱為最優(yōu)投影軸。標準函數(shù)如下

式中，Sx表示Y的協(xié)方差矩陣;tr(Sx)表示Sx的跡，用J(x)表示。則Sx表示為

即

定義圖像散布矩陣G

假設(shè)有M個人臉訓練圖像，第j個訓練圖像定義為矩陣Aj，所有圖像的均值為，則G可由下式計算得出

則式(4)就變?yōu)?/p>

最大化該標準函數(shù)得到的投影特征向量X就是最優(yōu)投影軸，而X就是散布矩陣G的最大特征值對應(yīng)的特征向量，通常一個投影方向是不夠的，文中取前d個使J(X)最大化的特征值對應(yīng)的標準正交化特征向量{X1，X2，…，Xd}，d 滿足以下條件

其中，λi是G的特征值，通常θ≥0.9。經(jīng)以上的計算就得到Y(jié)=［Y1，Y2，…，Yd］稱為最優(yōu)投影軸。最后，2DPCA的特征提取過程是

分類方法本文選擇了最經(jīng)典的最近鄰分類法，最近鄰分類器計算待分類的樣本到各個已知類別的中心的距離，將訓練集中的每一個樣本作為判別依據(jù)，尋找距離待分類樣本最近的訓練集中的樣本，以此為依據(jù)來分類。

假設(shè)有N個訓練樣本{X1，X2，…，X3}分別屬于M個模式類，定義待分類的第i個樣本Xi到訓練樣本Xj的歐式距離為

若存在

且Xk∈ωt，則最近鄰分類器的分類決策為Xk∈ωt?？勺C明最近鄰分類器的分類錯誤率為

其中，P*是最小貝葉斯錯誤率分類器;C是模式類別數(shù)。

3 實驗分析

為驗證本文所提方法的有效性，分別在自建二代身份證照庫和YALE人臉庫中進行試驗。本文從每個人中挑選正面標準照作為輸入樣本，用本文中的方法共生成15張?zhí)摂M圖像，加上原樣本一共16張作為訓練樣本，然后再用2DPCA進行特征提取，用最近鄰分類器進行分類識別。實驗中分別對單樣本、簡單方法生成樣本、文獻虛擬樣本生成、本文改進方法生成圖像進行單獨實驗，從而來對實驗方法進行充分的比較。

自建身份證照庫通過二代身份證讀卡器得到36張不同人的身份證照，分別進行相應(yīng)的預(yù)處理和歸一化，通過虛擬圖像生成技術(shù)共得到576張作為訓練樣本。同時拍攝每個人不同光照、姿態(tài)、表情的圖像8張用作測試樣本。實驗結(jié)果如表1所示。

YALE人臉數(shù)據(jù)庫是由耶魯大學計算機視覺與控制中心建立的［11］，包含15個人的165張不同姿態(tài)、光照、表情的人臉圖像，是人臉識別研究領(lǐng)域中中常用的標準人臉數(shù)據(jù)庫。其中，每個人有11張照片，選擇其中一張用于訓練樣本，其余10張用作測試樣本。該方法的實驗數(shù)據(jù)如表2所示。

表1 二代身份證照自建庫人臉識別結(jié)果

表2 YALE人臉數(shù)據(jù)庫人臉識別結(jié)果

實驗結(jié)果表明，本文提出的方法較原方法人臉識別率得到了有效提高，尤其是正面證件照，識別效果最佳，對于有光照和姿態(tài)變化的人臉識別率也得到了明顯提升，但對于帶表情的樣本識別率不是很高，這主要是由于生成虛擬圖像時沒有對表情的虛擬，這也是下一步的工作重點?？傊?，綜合識別率較單樣本、簡單方法、原方法都得到了明顯提高。

4 結(jié)束語

對于單樣本識別問題，本文從訓練樣本集出發(fā)通過各種方法來生成多姿態(tài)虛擬樣本，將特殊單樣本問題轉(zhuǎn)化為一般模式識別問題。在文獻［2］的基礎(chǔ)上的對空間人臉姿態(tài)旋轉(zhuǎn)問題進行研究，分析了原方法中的不足和存在的問題，提出的一種改進型異步旋轉(zhuǎn)人臉映射方法，針對人臉不同位置進行不同的線速度旋轉(zhuǎn)，變速依據(jù)人臉行直徑統(tǒng)計值，同時為了消除旋轉(zhuǎn)力一部分轉(zhuǎn)化為位移力，在變換中引入旋轉(zhuǎn)因子，旋轉(zhuǎn)因子與旋轉(zhuǎn)角度和行直徑值有關(guān)，因此因人而異。最后，通過在不同數(shù)據(jù)庫上進行試驗，可以看出改進型方法識別率比原方法提高不少，對帶有輕微光照、表情、姿態(tài)變化的圖像具有較好的魯棒性。接下來進一步的研究將考慮如何增加類間虛擬圖像。

［1］百度百科.第二代身份［EB/OL］.(2014－11－11)［2014－11 －27］http://baike.baidu.com/view/71555.htm.

［2］衛(wèi)保國，胡清華.二代證人臉識別的多姿態(tài)虛擬樣本生成方法［J］.電子設(shè)計技術(shù)，2012，20(5):138 －141.

［3］李偉紅，陳龍，龔衛(wèi)國.單樣本快速人臉不變特征提取方法［J］.光電子·激光，2014，25(3):558 －563.

［4］劉永俊，常晉義，陳才扣，等.基于位平面圖像與2DMSLDA的單樣本人臉識別［J］.計算機工程與應(yīng)用，2010，46(15):172 －175.

［5］Deng W，Hu J，Guo J，et al.Robust，accurate and efficient face recognition from a single training image:a uniform pursuit approach ［J］.Pattern Recognition，2010，43(2):1748－1762.

［6］陳才扣，黃建平，劉永俊.基于泛滑動窗與2DLDA的單樣本人臉識別［J］.計算機應(yīng)用，2007，27(11):2793 －2796.

［7］王曉潔，李曉東.基于模糊決策和MSD的單樣本人臉識別算法［J］.計算機工程與應(yīng)用，2011，47(19):200 －202.

［8］杜春華，楊杰.人臉特征點定位及識別的研究［D］.上海:上海交通大學，2008.

［9］孫士明，王芹芹，紀友芳.單樣本人臉識別中的虛擬樣本擴展方法研究［J］.微計算機應(yīng)用，2010，31(9):6 －10.

［10］Zhang T，Li X F，Guo R Z.Producing virtual face images for single sample face recognitionoptik ［J］.IEEE Transactions on Computer，2014(125):5017 －5024.

［11］Georghiades A S，Belhumeur PN，Kriegman D J.From few to many:illumination cone models for face recognition under variable lighting and pose［J］.IEEE Transactions on Pettern Anal.Mach.Intell，2001(23):643 －660.