鄭冬冬,張凱兵

(西安工程大學(xué) 電子信息學(xué)院,陜西 西安 710048)

0 引 言

人臉識(shí)別是計(jì)算機(jī)視覺領(lǐng)域最重要的研究課題之一[1-2]。目前,在受控條件下的高分辨 (HR,high-resolution)人臉識(shí)別方法已趨于成熟,在很多生產(chǎn)實(shí)踐中開始大范圍推廣應(yīng)用。然而,在實(shí)際的非受控條件下,受姿態(tài)、光照、表情、遮擋和分辨率等不利因素的影響, 人臉識(shí)別系統(tǒng)的性能急劇下降, 無(wú)法滿足實(shí)際應(yīng)用要求。因此,研究低分辨率(LR,low-resolution)人臉的識(shí)別技術(shù)受到研究者的廣泛關(guān)注。

在過(guò)去幾十年,人們提出了許多不同的低分辨人臉識(shí)別方法。根據(jù)識(shí)別原理的不同,大體可以分為3種類型:基于重構(gòu)超分辨(SR,super-resolution)圖像的LR人臉識(shí)別方法、基于公共特征子空間的LR人臉識(shí)別方法和基于深度學(xué)習(xí)的LR人臉識(shí)別方法。

基于重構(gòu)SR圖像的LR人臉識(shí)別方法[3-5]發(fā)展迅速,該類方法主要利用圖像SR重建技術(shù),獲得視覺效果較好的HR人臉圖像實(shí)現(xiàn)人臉的相似性匹配。盡管基于圖像SR的方法能夠獲得視覺效果較好的HR人臉圖像,但容易在人臉關(guān)鍵特征點(diǎn)處引入偽像,嚴(yán)重影響識(shí)別性能,而且,隨著監(jiān)控網(wǎng)絡(luò)的大面積覆蓋,該類方法的計(jì)算復(fù)雜度較高,難以滿足實(shí)際應(yīng)用要求。

近年來(lái),基于公共特征子空間的LR人臉識(shí)別方法由于其算法相對(duì)簡(jiǎn)單,耗時(shí)少等優(yōu)點(diǎn),成為一條解決HR-LR人臉圖像特征維度不匹配問(wèn)題的有效途徑。此類方法通過(guò)學(xué)習(xí)HR-LR人臉的耦合映射,將不同維數(shù)的HR-LR人臉圖像先映射到一個(gè)公共特征子空間,然后在維數(shù)相同的特征子空間中完成HR-LR人臉圖像的相似性匹配。目前針對(duì)公共特征子空間的LR人臉識(shí)別問(wèn)題主要有2種常見的解決方法:第1種是基于字典學(xué)習(xí)和稀疏表示的LR人臉識(shí)別方法[6-9],該方法主要通過(guò)字典學(xué)習(xí)和稀疏表示對(duì)人臉的局部結(jié)構(gòu)特征進(jìn)行稀疏編碼后變換到低維特征空間，實(shí)現(xiàn)LR人臉的匹配;第2種是基于耦合映射的LR人臉識(shí)別方法,一般有3種映射方式,分別為HR人臉特征到LR人臉特征空間的映射[10-11],LR人臉特征到HR人臉特征空間的映射[12]和HR-LR人臉特征到公共特征子空間的映射[13-14]。其中同時(shí)將HR-LR人臉特征映射到公共特征子空間進(jìn)行匹配的映射方式最為有效,該方法利用HR-LR人臉圖像對(duì)學(xué)習(xí)HR-LR耦合映射矩陣,然后利用得到的HR-LR耦合映射矩陣將HR人臉圖像特征和LR人臉圖像特征變換到維數(shù)相同的公共特征子空間,實(shí)現(xiàn)HR人臉圖像與LR人臉圖像的相似性匹配。

隨著深度學(xué)習(xí)的迅速發(fā)展,基于深度學(xué)習(xí)的LR人臉識(shí)別方法[15-20]受到了研究者的廣泛關(guān)注。相比傳統(tǒng)機(jī)器學(xué)習(xí)算法,深度學(xué)習(xí)在處理大量訓(xùn)練樣本時(shí)更具有優(yōu)勢(shì)。其主要通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取人臉特征,采用有效的激活函數(shù)和損失函數(shù)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化,實(shí)現(xiàn)端到端HR-LR人臉的識(shí)別。

耦合局部保留映射方法[21](CLPMs,coupled locality preserving mappings method)是一種具有代表性的耦合映射的LR人臉識(shí)別方法。該方法在學(xué)習(xí)HR-LR耦合映射以構(gòu)建公共特征子空間過(guò)程中,僅考慮了樣本的局部幾何結(jié)構(gòu)信息,而忽略了樣本的判別信息和標(biāo)簽信息,導(dǎo)致獲得的對(duì)偶映射判別能力和可分性不足。為解決上述問(wèn)題,本文充分考慮了樣本的判別信息和標(biāo)簽信息,利用HR-LR人臉圖像的局部流形幾何結(jié)構(gòu)信息與標(biāo)簽信息,使得相同類別的HR-LR人臉圖像在獲得的公共特征子空間中的距離應(yīng)盡可能接近,而不同類別的HR-LR人臉圖像在公共特征子空間中的距離應(yīng)盡可能疏遠(yuǎn),從而增強(qiáng)耦合映射關(guān)系矩陣的判別能力和可分性,提高LR人臉的識(shí)別性能。

1 理論基礎(chǔ)

1.1 問(wèn)題描述

LR人臉識(shí)別本質(zhì)上屬于分類問(wèn)題,核心在于人臉特征的選擇與提取,而分類問(wèn)題可以通過(guò)找到一種合適且有效的度量學(xué)習(xí)方法實(shí)現(xiàn)?；隈詈嫌成涞腖R人臉識(shí)別方法的關(guān)鍵在于如何學(xué)習(xí)將HR-LR訓(xùn)練人臉圖像特征變換到公共特征子空間的兩種耦合映射[21],即fL:Rm→Rd與fH:RM→Rd。其中,d表示公共特征子空間的特征維度。理想而言,在公共特征子空間內(nèi),同類HR-LR人臉圖像特征之間的距離應(yīng)盡可能接近,反之亦然。耦合映射學(xué)習(xí)用數(shù)學(xué)公式表述為

(1)

(2)

通過(guò)最小化上述目標(biāo)函數(shù)求解兩個(gè)耦合映射矩陣PH∈RM×d,PL∈Rm×d。

1.2 多流形耦合映射

與CLPMs方法不同,本文方法不僅考慮了訓(xùn)練人臉圖像樣本的局部幾何結(jié)構(gòu)信息,同時(shí)考慮了樣本的判別信息和標(biāo)簽信息。用數(shù)學(xué)公式描述為

(3)

(4)

(5)

(6)

式中kw,kb分別表示HR訓(xùn)練人臉圖像類內(nèi)和類間的鄰域樣本數(shù)目。

(7)

則式(7)可簡(jiǎn)化為

J(PH,PL)=tr(PTYGYTP)

(8)

通過(guò)施加約束實(shí)現(xiàn)尺度和旋轉(zhuǎn)不變特性,最小化目標(biāo)函數(shù)解決如下優(yōu)化問(wèn)題:

J(PH,PL)s.t.PTYYTP=I,PTYI*=0

(9)

式中:I是大小為d×d的單位陣;I*=[1,1,…,1]T是2Nt項(xiàng)向量。設(shè)E=YGYT和F=YYT,優(yōu)化問(wèn)題的解p可通過(guò)求解P的第2到(d+1)個(gè)廣義特征向量Ep=λFp得到。注意,矩陣YYT并不總是可逆,故需要施加正則項(xiàng)參數(shù),即YYT+τI。式中的τ是一個(gè)小的正整數(shù)(本文設(shè)置為τ=10-5)。具體求解過(guò)程見文獻(xiàn)[21]。

本文提出的方法包括2個(gè)階段,即訓(xùn)練階段和測(cè)試階段。算法流程如下:

2 結(jié)果比較與分析

本文使用3個(gè)標(biāo)準(zhǔn)人臉庫(kù) FERET[22]、YaleB[23]和 CMU PIE[24]驗(yàn)證提出方法的有效性, 并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行比較與分析。在所有的實(shí)驗(yàn)中, HR 人臉圖像均經(jīng)過(guò)手工裁剪和對(duì)齊, LR人臉圖像由 HR 人臉圖像先經(jīng)過(guò)高斯平滑, 然后再通過(guò)采樣得到。

2.1 人臉庫(kù)設(shè)置

FERET人臉庫(kù)包含429個(gè)不同表情、姿態(tài)和光照的人臉圖像,其中1 002幅正面人臉圖像作為訓(xùn)練集,1 196幅人臉圖像作為參考集,1 195幅人臉圖像作為測(cè)試集,HR人臉圖像分辨率為72×72,LR人臉圖像分辨率分別為8×8和18×18。YaleB人臉庫(kù)包含38個(gè)不同光照、姿態(tài)和表情的人臉圖像,其中2 414幅人臉圖像作為參考集;CMU PIE人臉庫(kù)包含68個(gè)不同姿態(tài)、光照和表情的人臉圖像,其中3 329幅人臉圖像作為參考集。YaleB和CMU PIE人臉庫(kù),均隨機(jī)選取每個(gè)人的50%人臉圖像作為訓(xùn)練集,剩余的人臉圖像作為測(cè)試集,其中HR人臉圖像分辨率為32×28,LR人臉圖像分辨率分別為8×7和16×14。本文方法在3個(gè)標(biāo)準(zhǔn)人臉庫(kù)上與一些使用主成分分析(PCA,principal component analysis)和線性判別分析(LDA,linear discriminant analysis)提取人臉特征的基準(zhǔn)方法,如HR-PCA(直接對(duì)HR人臉圖像使用PCA提取特征),HR-LDA(直接對(duì)HR人臉圖像使用LDA提取特征),Cubic-PCA(對(duì)LR人臉圖像進(jìn)行Cubic插值并用PCA提取特征),Cubic-LDA(對(duì)LR人臉圖像進(jìn)行Cubic插值并用LDA提取特征)和CLPMs方法進(jìn)行比較。

2.2 特征維度比較與分析

本文在3個(gè)標(biāo)準(zhǔn)人臉庫(kù)上均使用50%的樣本作為訓(xùn)練集,利用Rank-1和分辨率為8×8(FERET人臉庫(kù))、8×7(YaleB和CMU PIE人臉庫(kù))進(jìn)行實(shí)驗(yàn),分析特征維度對(duì)識(shí)別效果的影響。如圖1所示,本文方法在3個(gè)標(biāo)準(zhǔn)人臉庫(kù)上的識(shí)別效果接近或超過(guò)HR-LDA基準(zhǔn)方法,與CLPMs方法相比,識(shí)別率分別提升了3.7%(FERET人臉庫(kù)),2.5%(YaleB人臉庫(kù))和6.5%(CMU PIE人臉庫(kù))。對(duì)YaleB人臉庫(kù),由于人臉圖像之間的光照變化差異較大,本文方法的性能提升不太明顯,但仍然優(yōu)于其他方法,且都分布在特征維度較低的維數(shù)段。這是因?yàn)楸疚姆椒ú粌H考慮了樣本的局部幾何結(jié)構(gòu)信息,同時(shí)考慮了樣本的類內(nèi)與類間判別信息,從而使學(xué)習(xí)獲得的對(duì)偶映射能有效提高樣本的判別性和可分性。

(a)FERET

(b)YaleB

(c)CMU PIE

2.3 Rank比較與分析

Rank-n是模式識(shí)別中用于評(píng)價(jià)識(shí)別算法性能的一項(xiàng)重要指標(biāo),它用于計(jì)算匹配結(jié)果中最靠前的N張人臉圖像中包含正確匹配的概率。當(dāng)匹配的人臉在候選集中按照相似性由大到小排序后,正確匹配的人臉排序越靠前,則算法的效果越好。本部分實(shí)驗(yàn)采用Rank-n來(lái)評(píng)價(jià)本文方法的性能,實(shí)驗(yàn)設(shè)置同上。如圖2是不同Rank下算法的識(shí)別性能。以FERET人臉庫(kù)的Rank-1為例,本文方法在N個(gè)(N=1,2,…,10)最相似人臉中第一次匹配到目標(biāo)人臉的概率達(dá)到94%左右。而且,在3個(gè)標(biāo)準(zhǔn)人臉庫(kù)上,本文方法的最高識(shí)別率在不同rank下均明顯優(yōu)于其他方法,識(shí)別率隨著rank的逐漸增加而緩慢上升,最終趨于平緩。該實(shí)驗(yàn)充分表明了本文方法具有較好的穩(wěn)定性。

(a)FERET

(b)YaleB

(c)CMU PIE

2.4 分辨率比較與分析

本實(shí)驗(yàn)分別對(duì)每個(gè)標(biāo)準(zhǔn)人臉庫(kù)設(shè)置了兩種分辨率來(lái)評(píng)估本文方法的識(shí)別性能,分析分辨率對(duì)識(shí)別效果的影響,其中FERET人臉庫(kù)的分辨率分別為8×8和18×18,YaleB和CMU PIE人臉庫(kù)分辨率分別為8×7和16×14。如圖3所示,本文方法在3個(gè)標(biāo)準(zhǔn)人臉庫(kù)上的識(shí)別效果都要優(yōu)于其他方法,不會(huì)受分辨率的影響而導(dǎo)致識(shí)別效果差于其他方法,充分說(shuō)明了本文方法對(duì)人臉圖像的分辨率具有良好的魯棒性。

(a)FERET

(b)YaleB

(c)CMU PIE

2.5 參數(shù)設(shè)置對(duì)識(shí)別效果的影響分析

本文以 FERET 人臉庫(kù)為基準(zhǔn)數(shù)據(jù)庫(kù),在實(shí)驗(yàn)參數(shù)設(shè)置c=24,n=kw=2和kb=10 條件下,分析類內(nèi)判別項(xiàng)與類間判別項(xiàng)的權(quán)重因子a,b對(duì)識(shí)別效果的影響。如圖4所示,隨著類內(nèi)判別項(xiàng)權(quán)重因子a的緩慢增加, 識(shí)別率迅速上升直至最大值,而后又緩慢下降最終趨于平穩(wěn)。而隨著類間判別項(xiàng)權(quán)重因子b的緩慢增加, 識(shí)別率在a較小時(shí)逐漸下降, 隨后識(shí)別率基本保持平穩(wěn)。由此可見, 類內(nèi)判別項(xiàng)對(duì)識(shí)別效果有著較大的影響, 充分說(shuō)明利用訓(xùn)練樣本的類別信息構(gòu)造對(duì)偶映射對(duì)分類性能的重要性。

圖4 參數(shù)設(shè)置對(duì)識(shí)別效果的影響

3 結(jié) 語(yǔ)

針對(duì)低分辨人臉識(shí)別中基于耦合映射學(xué)習(xí)方法的關(guān)鍵問(wèn)題,提出了一種基于多流形耦合映射的低分辨人臉識(shí)別方法。該方法在學(xué)習(xí)高低分辨率人臉特征間的耦合映射時(shí)充分考慮了訓(xùn)練人臉樣本的局部幾何結(jié)構(gòu)信息和標(biāo)簽信息,同時(shí)將樣本的類內(nèi)與類間判別信息加入到目標(biāo)函數(shù)中優(yōu)化求解對(duì)偶映射關(guān)系,以進(jìn)一步提升低分辨人臉的識(shí)別性能。通過(guò)使用3個(gè)標(biāo)準(zhǔn)人臉庫(kù)進(jìn)行實(shí)驗(yàn),驗(yàn)證了該方法的有效性。不過(guò),對(duì)于光照變化差異比較大的人臉圖像,本文方法的識(shí)別效果還存在明顯的不足,研究提升本文方法對(duì)光照變化差異較大的人臉圖像的魯棒性,將是下一步研究工作的重點(diǎn)。