李 騫 史岳鵬 彭 勃
(河南牧業(yè)經(jīng)濟(jì)學(xué)院能源與智能工程學(xué)院,河南 鄭州 450008)
人臉特征定位可以分為二維(2D)和三維(3D)兩種類型,面部特征點(diǎn)指在人體測(cè)量數(shù)據(jù)中用于確定面部特征的一些關(guān)鍵點(diǎn)[1]。二維人臉的生物特征數(shù)據(jù)包括寬度和高度,是人臉識(shí)別研究的基礎(chǔ)。但是二維人臉識(shí)別在不同的表情識(shí)別、姿勢(shì)識(shí)別和識(shí)別光照等方面受到許多限制。與二維面部識(shí)別不同,三維的數(shù)據(jù)具有來自多個(gè)維度深度值的視角[2],包括鼻尖、嘴角、下巴、眼角。面部特征定位的準(zhǔn)確性是由方位、紋理圖和姿態(tài)決定的。在特征定位和配準(zhǔn)[3]之前需要將三維面部網(wǎng)格合成表面[4],而三維人臉圖像處理和分析的精度很大程度取決于輸入圖像分割時(shí)的精度。因此,三維圖像的表面分割至關(guān)重要。
自動(dòng)面部檢測(cè)系統(tǒng)是結(jié)合了二維和三維兩種方法的生物特征性能創(chuàng)建出的一種多維檢測(cè)系統(tǒng),可以最大限度地減少在不同面部表情下測(cè)量生物特征數(shù)據(jù)帶來的系統(tǒng)限制。本文的主要目標(biāo)是提出一種新的三維人臉特征自動(dòng)檢測(cè)方法。該方法包括三個(gè)階段:第一,重建丟失的三維圖像信息;第二,分割若干面部圖像;第三,定位面部特征,為三維系統(tǒng)模型中的自動(dòng)正面面部檢測(cè)提供足夠的生物特征信息。
本文以FRGC(Face Recognition Grand Challenge,人臉識(shí)別大賽)為訓(xùn)練數(shù)據(jù)庫,對(duì)點(diǎn)分布模型(Point Distribution Model,PDM)中的關(guān)鍵點(diǎn)與點(diǎn)云的關(guān)系進(jìn)行建模[5]。技術(shù)難點(diǎn)在于丟失數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)和噪聲。因此,有必要通過將記錄的最佳匹配特征的三維數(shù)據(jù)與FRGC中的最佳匹配實(shí)際數(shù)據(jù)進(jìn)行比較,從而改進(jìn)特征關(guān)鍵點(diǎn)定位。所提出的方法是首先提取輸入三維圖像中包含單個(gè)主題的面部區(qū)域,如圖1所示。
圖1 缺少數(shù)據(jù)的三維模塊示例
本文提出基于三維離散余弦變換(three-dimensional discrete cosine transform,3D DCT)和懲罰最小二乘回歸(penalized least square,PLS)[6]的 方 法(簡(jiǎn) 稱“3D DCTPLS”),進(jìn)行三維圖像數(shù)據(jù)空白的填補(bǔ),可以有效提高面部特征點(diǎn)定位的準(zhǔn)確性。
假設(shè)為一個(gè)有間隙的時(shí)空三維數(shù)據(jù)集,而是一個(gè)具有類似大小的二進(jìn)制數(shù)組,用于表示任何缺失的值。3D DCT-PLS方法的目的是找到最小化:
輸入范圍圖像中人臉提取的圖像分割方法遵循了韓玉峰等[7](2012)的研究中設(shè)置的約束條件,算法包括3個(gè)主要階段。
(1)定位出與鼻子相對(duì)應(yīng)的面部最高部分。
(2)人臉分割:繪制中心位于鼻尖的三維橢圓,此三維橢圓半徑為r,是鼻子長(zhǎng)度l的既定函數(shù)(見圖8)。(3)人臉提?。禾蕹姓既S圖像大小0.5%以下區(qū)域。本文生成了面部分割圖像如圖3所示。人臉區(qū)域識(shí)別范圍參照Liang等(2013)在分割模型指出正面分割時(shí)的方法。面部可劃分為4個(gè)分區(qū):四分之一達(dá)到發(fā)際線;從發(fā)際線向下到眼睛之間的頭部中心;鼻子、耳朵和顴骨;鼻子末端、嘴和下巴延伸。
圖2 3D DCT-PLS方法填補(bǔ)舉例
圖3 面部分割模型
在定位面部特征點(diǎn)時(shí),可以在三維矢量表示中建立一個(gè)形狀空間(Shape Space)[DM98,SG02,CT01],刪除圖像中不需要的數(shù)據(jù)點(diǎn)。本文提取到局部平面距離(distance to local plane,DLP)的最大點(diǎn)值作為FRGC v2.0數(shù)據(jù)庫中的鼻尖。圖4為帶噪聲的面部示意圖。
圖4 噪聲點(diǎn)圖像舉例
首.先,假設(shè)分辨率為rG(=0.6),圖像的自動(dòng)閾值
三維圖像中的所有點(diǎn)坐標(biāo)定位可以用k=n×d矢量來確定。三維形狀的矢量(d=3)表示為其中表示n個(gè)特征點(diǎn),是作為最優(yōu)選擇的最佳點(diǎn),中心為
利用普氏分析法(procrustes analysis)對(duì)所有三維面輸入形狀對(duì)齊的公共坐標(biāo)進(jìn)行檢測(cè),需要將輸入形狀的旋轉(zhuǎn)和位移過濾掉,可以將普氏距離最小化其中xi表示輸入的每個(gè)形狀,xm表示平均形狀。這一階段,可以構(gòu)建出三維圖像數(shù)據(jù)的重心建模,將轉(zhuǎn)換三維面形狀的質(zhì)心。
最后,尋找均勻點(diǎn)。要從輸入圖像的深度集中均勻點(diǎn),必須對(duì)區(qū)域和邊緣檢測(cè)信息進(jìn)行聚類。為了降低噪聲,對(duì)深度信息進(jìn)行了兩次5×5中值濾波。并使用k-均值聚類算法,將深度數(shù)據(jù)分為兩個(gè)焦點(diǎn)區(qū)域(k=2),用于圖像深度的處理。
本文提出確定屬于三維面的均勻區(qū)域,忽略低于圖像大小0.5%的區(qū)域。此百分比閾值是由Liang等[9](2013)根據(jù)經(jīng)驗(yàn)定義的。隨后根據(jù)三維圖像的重心點(diǎn)調(diào)整橢圓。將橢圓方程的長(zhǎng)軸和短軸與笛卡爾軸重合,目的是將該橢圓轉(zhuǎn)換回其原點(diǎn),由此從x和y軸減去偏移量,從而得出橢圓方程:
橢[圓的調(diào)節(jié)公式如下:]
式中,θ為一個(gè)獨(dú)立參數(shù),從0到2π??啥x:a作為沿x軸的半徑,a=Max[diff(Xzmax)];b作為沿y軸的半徑,b=Max[diff(Yzmax) ]。h、k是橢圓中心的x、y軸坐標(biāo)。用(X)表示的差分計(jì)算x的相鄰元素在第一個(gè)數(shù)組維度上的差異。圖5、圖6、圖7分別給出標(biāo)準(zhǔn)化和最終分割后的二進(jìn)制圖像表示示例。
圖5 三維關(guān)鍵點(diǎn)定位
圖6 關(guān)鍵點(diǎn)拉伸圖
圖7 橢圓二值圖像
所提出模型通過探測(cè)橢圓形狀區(qū)域來定位輸入范圍圖像中的面部區(qū)域,橢圓形狀區(qū)域被認(rèn)為類似于幾何形狀到面部邊緣邊界。這是通過沿標(biāo)記面區(qū)域的邊界執(zhí)行距離變換來完成的,如圖8所示。
圖8 人臉定位的檢測(cè)橢圓區(qū)域(a、b、c)和使用胡須邊緣的面部分割(d)
利用分割模型對(duì)人臉標(biāo)志點(diǎn)的自動(dòng)識(shí)別進(jìn)行了研究,并將距離-局部平面法應(yīng)用于曲線數(shù)據(jù)中提取最佳點(diǎn)。因此,本文執(zhí)行面部配準(zhǔn)[8]、面部姿勢(shì)估計(jì)[9]和面部區(qū)域的標(biāo)志性位置[10]。這些標(biāo)志點(diǎn)能夠精確地定位鼻子和前額等面部區(qū)域的標(biāo)志物,并且具有很高的準(zhǔn)確性。為了定位面部區(qū)域,結(jié)合面部浮雕曲線的分段模型,并通過二維表面曲率分析獲得最終圖像的深度數(shù)據(jù)輪廓。圖9是二維特征點(diǎn)探測(cè)方法示意圖。
用于定位鼻尖的基本方法集中于檢測(cè)輪廓曲線中的最高點(diǎn)。本文采用二維分段輪廓來構(gòu)成一種新的三維技術(shù)來識(shí)別鼻尖和鼻角[11]。利用鼻尖的x、y坐標(biāo),然后將兩個(gè)坐標(biāo)結(jié)果插入到圖9所示的剖面曲線中,也稱作中間曲線。在進(jìn)行眼睛角定位的過程中,對(duì)于輸入圖像范圍內(nèi)的目標(biāo)對(duì)象因姿態(tài)變化而變化的情況,采用x坐標(biāo)法獲得眼角的x坐標(biāo)。首先計(jì)算圖像曲率的x投影,以及沿眼睛的y坐標(biāo)為中心的一組相鄰行中每列的凹點(diǎn)曲率百分比。沿x坐標(biāo)的左眼角表示沿x投影的第一個(gè)峰值的起點(diǎn),而沿x坐標(biāo)的右眼角表示沿相同投影的第二個(gè)峰值的終點(diǎn)。圖10所示為鼻角投影。
圖9 鼻尖Y坐標(biāo)示例
圖10 鼻角檢測(cè)示例
面部自動(dòng)檢測(cè)的信息來自三維成像的表面曲率分析,且輸入圖像對(duì)象的表面曲率不受面部表情的影響。也就是說,為了計(jì)算輸入圖像中沿點(diǎn)區(qū)域的曲率類型,可以隔離出一個(gè)n×n(n=7)的小區(qū)域中的局部曲面。然后,使用最小二乘擬合技術(shù)來計(jì)算用于進(jìn)行二次曲面近似的系數(shù),以及高斯曲率(gaussian curvature,K)和平均曲率(mean curvature,H)。根據(jù)變量的偏導(dǎo)數(shù)[1],使用K和H值按照表1對(duì)表面曲率進(jìn)行分類。深坑表示眼角和鼻子底部的表面類型,而鼻尖是峰值類型,見圖11。
圖11中,圖像(a)(b)和(c)顯示面部分割不受表情影響;(d)(e)和(f)顯示深坑(白色)和峰值(淺灰色)。
利用所提出的方法對(duì)FRGC v1.0和FRGC v2.0數(shù)據(jù)庫中的圖像進(jìn)行實(shí)驗(yàn)。共使用了兩個(gè)數(shù)據(jù)庫中來自557名受試者的4 950個(gè)圖像樣本,所有圖像樣本都以不同的面部表情、大小、形狀和其他隨個(gè)人而異的集體特征進(jìn)行采集,測(cè)量尺寸為640×480像素。圖像樣本中只有大約1.2%是不可識(shí)別或與實(shí)驗(yàn)不相關(guān)的,說明該方法具有較高的可靠性。通過分析發(fā)現(xiàn),三維人臉掃描中不需要的部分不會(huì)影響識(shí)別過程。該方法性能優(yōu)越,準(zhǔn)確性高于99%,錯(cuò)誤接受率(FAR)為0%。
表1 表面類型分類
圖11 同一個(gè)人的表面曲率分類
圖12
所提出的面部分割方法可以較好地提取三維圖像的整個(gè)面域,對(duì)于來自FRGC v1.0數(shù)據(jù)庫的圖像樣本,提取比例為99.3%(943個(gè)中的936個(gè));而對(duì)于來自FRGC v2.0數(shù)據(jù)庫的圖像樣本,提取比例為99.7%(4 007個(gè)中的3 993個(gè))。圖12是檢測(cè)到的橢圓人臉區(qū)域,去除掉不需要的背景后的人臉分割強(qiáng)度圖像示例。從表2分析結(jié)果中可發(fā)現(xiàn),在樣本的兩張圖像中錯(cuò)誤地檢測(cè)到了鼻尖,主要因?yàn)檫@兩張圖像都缺少鼻部附近的信息??傮w來說,鼻尖檢測(cè)的準(zhǔn)確率仍然達(dá)到99.95%。如圖12所示,雖然面部發(fā)生姿勢(shì)變化(y軸和z軸傾斜>15°,但是鼻子角和左/右眼角的檢測(cè)分別達(dá)到99.79%和99.83%。其中,若沒有記錄峰值的表面曲率信息,會(huì)影響曲線的識(shí)別。此外,在所用數(shù)據(jù)庫中存在一幅圖像鼻側(cè)兩端數(shù)據(jù)有誤,事實(shí)證明,所使用方法仍可以檢測(cè)鼻部深坑的曲率。
表2 每個(gè)面部特征的正確檢測(cè)率
本文提出了一種改進(jìn)三維人臉識(shí)別的新方法3D DLSPLS,能夠從正面圖像中檢測(cè)到面部三維數(shù)據(jù)。實(shí)驗(yàn)結(jié)果顯示,新方法對(duì)于FRGC v1.0和FRGC v2.0數(shù)據(jù)庫中的圖像檢測(cè)具有顯著的成功率。三維人臉匹配方法在人臉檢測(cè)、人臉提取和迭代最近點(diǎn)特征定位中得到了成功的應(yīng)用。該混合方法成功地將多維分割方法融合到了所研究的三維人臉分割中,并正確識(shí)別了99%的已驗(yàn)證圖像中的人臉特征。