王國琿，吳二星，王立平

(西安工業(yè)大學(xué) 光電工程學(xué)院，陜西 西安 710021)

近年來，利用人臉識別的身份認(rèn)證技術(shù)(又稱“刷臉認(rèn)證”)已成為門禁系統(tǒng)、賬號登錄、支付驗(yàn)證等常用的身份認(rèn)證手段。然而，當(dāng)前的人臉識別技術(shù)幾乎都是基于人臉的2D圖像，若光照度及人臉姿態(tài)、表情變化較大時(shí)，識別準(zhǔn)確率較低；另外，還可能受到假人臉的欺騙，如用人臉照片冒充活體人臉，造成安全性下降。因此，融合人臉3D形貌的識別技術(shù)是未來人臉識別發(fā)展的趨勢，它能夠有效地避免光照度、人臉姿態(tài)、假人臉等因素的影響，從而可以提高安全性和識別率。

對于人臉3D形貌信息的獲取一般有主動式和被動式兩種手段。主動式方法是使用特殊的光源裝置提供目標(biāo)人臉的照明，由相應(yīng)探測器接收到人臉表面反射的光線的信息，利用幾何關(guān)系計(jì)算出人臉表面的3D形貌。典型的有飛行時(shí)間法和結(jié)構(gòu)光法：飛行時(shí)間法采集速度較快，但是形貌信息精度較低、分辨率不高；結(jié)構(gòu)光法雖可以獲取較高的精度和分辨率，但測量時(shí)間較長，還可能造成對被采集者的干擾或侵犯。被動式方法不需要特殊的光源裝置，直接由自然光或普通光源對目標(biāo)人臉進(jìn)行照明，從一個(gè)或多個(gè)相機(jī)獲取的2D圖像中提取3D形貌信息。代表性的有立體視覺法和Shape from X方法。立體視覺法測量精度較高，對環(huán)境無特殊要求，但需要對每臺相機(jī)進(jìn)行標(biāo)定，標(biāo)定過程繁瑣，且圖像中特征點(diǎn)匹配算法也較為復(fù)雜。Shape from X方法基本上是利用圖像的灰度信息來獲取目標(biāo)的形貌信息。其中，從明暗恢復(fù)形狀(Shape from Shading，SFS)是一種典型的被動非侵犯式3D形貌獲取手段[1]，它能夠快速、有效地提取目標(biāo)表面的幾何形貌信息，其分辨率高、適用性強(qiáng)，廣泛應(yīng)用于工農(nóng)業(yè)產(chǎn)品檢測[2]、醫(yī)學(xué)圖像分析與重構(gòu)[3]、掃描電鏡圖像3D重構(gòu)[4]、月面與火星表面形貌測量[5]以及人臉3D形貌重構(gòu)[1,6]等領(lǐng)域。

文獻(xiàn)[1]與文獻(xiàn)[6]等基于SFS的人臉3D形貌重構(gòu)系統(tǒng)中，在建立人臉表面的偏微分輻照度方程時(shí)，通常采用朗伯光照明模型來描述人臉皮膚的光學(xué)屬性。然而文獻(xiàn)[7-9]證實(shí)了對于實(shí)際的人臉皮膚，不論是在可見光照明還是在近紅外光源照明下，使用朗伯光照明模型來描述其光學(xué)屬性是不精確的，而使用Oren-Nayar光照明模型[10]可以取得較好的效果。基于上述結(jié)論，本文設(shè)計(jì)了一種基于Oren-Nayar光照明模型的人臉3D形貌重構(gòu)系統(tǒng)。根據(jù)文獻(xiàn)[7-9]的建議，系統(tǒng)采用了近紅外光源照明，這是因?yàn)樵诮t外光源下人臉皮膚對入射能量(輻照度)的反射特性(輻射亮度)更適合Oren-Nayar光照明模型；同時(shí)，近紅外光源照明還可以避免對被采集者的干擾或侵犯。此外，相機(jī)的成像過程接近透視幾何變換，因此系統(tǒng)采用了基于透視變換的SFS(Perspective SFS，PSFS)方法。

1 近紅外人臉3D形貌重構(gòu)系統(tǒng)

如圖1所示的基于PSFS的近紅外人臉3D形貌重構(gòu)系統(tǒng)，由被采集的人臉表面、近紅外光源、相機(jī)(含鏡頭和近紅外濾光片)以及上位計(jì)算機(jī)等部分構(gòu)成。

圖1 基于PSFS的近紅外人臉3D形貌重構(gòu)系統(tǒng)示意圖

系統(tǒng)中，近紅外光源采用Osram公司的LED光源，型號為SFH 4235，其中心波長約為850 nm，半強(qiáng)度寬度約為30 nm。由于LED光源發(fā)光面尺寸較小，遠(yuǎn)小于光源到人臉表面的距離，因此可認(rèn)為LED光源為點(diǎn)光源，此時(shí)近紅外點(diǎn)光源(輻射強(qiáng)度為I0)發(fā)出的輻射能量在人臉3D形貌微面元dA上形成的輻照度近似正比于N·S，式中N為人臉3D形貌微面元dA的法向量，S為微面元dA到點(diǎn)光源的方向向量。

人臉皮膚接收到LED光源的輻射能量(輻照度)，對其進(jìn)行反射(輻射亮度)，反射的能量被鏡頭會聚后進(jìn)入相機(jī)。為了節(jié)省系統(tǒng)成本，系統(tǒng)中沒有直接采用近紅外相機(jī)，而是基于“普通相機(jī)+近紅外濾光片”的模式，采用Basler公司的ace相機(jī)，型號為acA640-100gm，其光譜響應(yīng)曲線如圖2所示。

圖2 acA640-100gm相機(jī)的光譜響應(yīng)曲線

由圖2可見，該相機(jī)在LED光源中心波長850 nm處的相對光譜靈敏度約為45%，因此配合810nm的近紅外濾光片可以取得較好的近紅外成像效果。相機(jī)獲取到的2D圖像信息(圖像灰度)與成像時(shí)人臉表面3D形貌造成的反射光強(qiáng)弱密切相關(guān)。圖像灰度信息由相機(jī)的數(shù)據(jù)輸出接口——網(wǎng)口送入上位計(jì)算機(jī)。上位機(jī)系統(tǒng)軟件求解圖像灰度信息與人臉3D形貌相對應(yīng)的偏微分輻照度方程，最終可以獲得人臉的3D形貌。

2 近紅外人臉3D形貌重構(gòu)系統(tǒng)軟件設(shè)計(jì)

本文的工作重心為近紅外人臉3D形貌重構(gòu)系統(tǒng)軟件的設(shè)計(jì)與實(shí)現(xiàn)，其核心任務(wù)就是求解圖像灰度信息與人臉3D形貌相對應(yīng)的偏微分輻照度方程，涉及的內(nèi)容包括：系統(tǒng)坐標(biāo)系的建立、近紅外成像條件下人臉皮膚光學(xué)屬性的描述、人臉表面偏微分輻照度方程的構(gòu)建、偏微分輻照度方程求解算法的設(shè)計(jì)與實(shí)現(xiàn)。

2.1 近紅外人臉表面偏微分輻照度方程

2.1.1 近紅外人臉3D形貌重構(gòu)系統(tǒng)坐標(biāo)系

以相機(jī)(鏡頭)的透視中心建立如圖3所示的3D笛卡爾坐標(biāo)系o-xyz：透視中心o為重構(gòu)系統(tǒng)坐標(biāo)系的原點(diǎn)，鏡頭的光軸為z軸，坐標(biāo)系的x軸、y軸分別與相機(jī)成像平面中u軸、v軸平行；相機(jī)的成像平面u-v位于z=-f處，f>0為鏡頭的焦距。

圖3 近紅外人臉3D形貌重構(gòu)系統(tǒng)坐標(biāo)系

由于相機(jī)的成像過程接近透視幾何變換，在上述坐標(biāo)系下，人臉3D形貌某一點(diǎn)(x,y,z(x,y))在成像平面u-v上的幾何投影為(u,v)，投影光線方向向量記為C，并有

(1)

(2)

2.1.2 近紅外成像條件下人臉皮膚光學(xué)屬性

根據(jù)文獻(xiàn)[7-9]的研究成果：對于實(shí)際的人臉皮膚，不論是在可見光照明還是在近紅外光源照明下，使用朗伯光照明模型來描述其光學(xué)屬性是不精確的，而使用Oren-Nayar光照明模型[10]可以取得較好的效果；尤其是在近紅外光源照明下，人臉皮膚對入射能量的反射特性(輻射亮度)更適合Oren-Nayar光照明模型?；贠ren-Nayar光照明模型，人臉3D形貌微面元dA的輻射亮度為

(3)

式中：ρ為人臉皮膚的反射率，本文中假定ρ為恒定值；A=1-0.5σ2/(σ2+0.33)，B=0.45σ2/(σ2+0.09)，σ代表了人臉皮膚的粗糙度；α=max[θi,θr]，β=min[θi,θr]，θi,φi和θr,φr分別為入射光線方向向量S、投影光線方向向量C相對于人臉3D形貌微面元dA的法向量N的天頂角和方位角。

重構(gòu)系統(tǒng)在設(shè)計(jì)時(shí)，使得近紅外點(diǎn)光源位于相機(jī)的透視中心o附近，此時(shí)近似有

α=β=θi=θr;φr=φi

(4)

在上述條件下，人臉3D形貌微面元dA的輻射亮度為

(5)

2.1.3 人臉表面偏微分輻照度方程

由相機(jī)采集到的圖像信息與近紅外點(diǎn)光源輻射強(qiáng)度、人臉表面的輻射亮度之間的關(guān)系[5,11]可得到

I(u,v)=Acosθi+Bsin2θi

(6)

式中：I(u,v)為相機(jī)獲取的圖像灰度，它的明暗變化與成像時(shí)人臉表面3D形貌造成的反射光強(qiáng)弱密切相關(guān)。

由人臉3D形貌微面元dA到近紅外點(diǎn)光源的入射光線的單位方向向量S為

(7)

利用微分幾何可求得微面元dA的法向量N為

(8)

由于θi為S與N之間的夾角，由式(7)和(8)可得

(9)

(10)

其中：R(u,v)=

2.2 偏微分輻照度方程求解數(shù)值算法

對于人臉表面偏微分輻照度方程(10)，可視為R(u,v)的方程：

[I(u,v)-B]R2(u,v)-AQ(u,v)R(u,v)+BQ2(u,v)=0

(11)

顯然，式(11)是關(guān)于R(u,v)的一元二次方程。求解方程(11)，且滿足R(u,v)≥0，可得

(12)

又由于R(u,v)=

(13)

顯然，方程(13)是一個(gè)H-J類的偏微分方程，可應(yīng)用本文作者在文獻(xiàn)[12]中提出的求解數(shù)值算法逼近上述H-J類方程的解，其詳細(xì)過程如圖4所示。

圖4 偏微分輻照度方程求解數(shù)值算法逼近過程

3 實(shí)驗(yàn)

分別通過系統(tǒng)合成的(已知3D形貌)和實(shí)際拍攝的人臉2D圖像進(jìn)行實(shí)驗(yàn)，驗(yàn)證近紅外人臉3D形貌重構(gòu)系統(tǒng)的有效性，結(jié)果如圖5、圖6和圖7所示。

圖5 已知3D形貌的人臉重構(gòu)結(jié)果

圖6 人臉3D形貌的中心橫截面

圖7 實(shí)際拍攝的人臉重構(gòu)結(jié)果

圖5a是一幅已知3D形貌的人臉2D圖像，由系統(tǒng)通過算法合成得到，圖像的灰度級為256級，圖像的分辨率為200×150；圖5b是圖5a對應(yīng)的真實(shí)3D形貌，單位為像素；圖5c為使用本系統(tǒng)重構(gòu)的人臉3D形貌；圖5d是圖5b與圖5c之間的3D形貌誤差圖。為了定量地評定重構(gòu)結(jié)果，使用平均絕對誤差(mean absolute error，MAE)(14)和均方根誤差(root mean square error，RMSE)(15)對重構(gòu)結(jié)果進(jìn)行了評價(jià)。

(14)

(15)

圖6是人臉3D形貌真實(shí)值(圖5b)、本系統(tǒng)重構(gòu)值(圖5c)的中心橫截面的比較結(jié)果，從圖6中可以看出本系統(tǒng)重構(gòu)的人臉3D形貌非常接近真實(shí)的人臉3D形貌，大部分區(qū)域真實(shí)值與系統(tǒng)重構(gòu)值基本上保持一致，誤差較大的區(qū)域主要集中在邊緣部位，這也是本系統(tǒng)算法的限制所在。

圖7a是本系統(tǒng)拍攝的人臉2D圖像，圖像的分辨率為494×659；圖7b為使用本系統(tǒng)重構(gòu)的人臉3D形貌。由圖7a可以看出，在近紅外光源照明下，圖像的明暗變化較為平滑，因此更適合Oren-Nayar光照明模型。由圖7b可以看出，本系統(tǒng)重構(gòu)的3D形貌甚為逼真，3D形貌的變化趨勢與2D圖像明暗的變化基本保持一致；在額頭、下巴及鼻子、腮部等處效果較好，而在眉毛、眼睛處效果稍差，這是因?yàn)槊济?、眼睛處的反射率與皮膚的反射率不一致，而本系統(tǒng)假定整個(gè)人臉反射率恒定所造成的。

綜上，由圖5、圖6和圖7所示的人臉3D形貌重構(gòu)結(jié)果以及計(jì)算得到的MAE、RMSE值可以看出，本重構(gòu)系統(tǒng)能夠獲得較高的重構(gòu)精度。

4 小結(jié)

本文設(shè)計(jì)了一種基于PSFS的近紅外人臉3D形貌重構(gòu)系統(tǒng)。在分析了人臉皮膚在近紅外成像條件下光學(xué)屬性的基礎(chǔ)上，利用Oren-Nayar光照明模型結(jié)合以相機(jī)透視中心為原點(diǎn)建立的重構(gòu)系統(tǒng)的坐標(biāo)系，構(gòu)建了人臉2D圖像明暗變化與3D形貌相對應(yīng)的偏微分輻照度方程，該方程實(shí)質(zhì)上是人臉3D形貌梯度函數(shù)的二次方程，求解此方程可以得到H-J類的偏微分方程，利用求解數(shù)值算法逼近H-J類方程的解，最終獲得人臉的3D形貌。系統(tǒng)合成的和實(shí)際拍攝的人臉2D圖像實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠有效地實(shí)現(xiàn)人臉3D形貌重構(gòu)，并可獲得較高的重構(gòu)精度。