李維清，陳鍛生

(華僑大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，福建 廈門 361021)

頭部姿態(tài)估計是計算機(jī)視覺和圖像模式識別領(lǐng)域中的一個重要研究課題，近年來受到了越來越多的關(guān)注[1]。在人臉識別中，如果得到的人臉圖像是非正面的，識別的效果會大大降低，而如果預(yù)先估計人臉姿態(tài)后選擇合適的視角模型進(jìn)行識別，將會提高非正面人臉的識別率[2]。由于通過人臉的姿態(tài)可以得知人注視的方向，所以姿態(tài)估計在理解人的注意力等方面有很高的研究價值。

對于頭部姿態(tài)估計問題，現(xiàn)有的方法大致可分為基于表觀的方法和基于模型的方法兩大類[3]?；诒憩F(xiàn)的方法是通過對含有各種姿態(tài)的人臉圖像進(jìn)行學(xué)習(xí)，建立一個能夠估計姿態(tài)的分類器。這種方法對圖像的分辨率要求不高，并且不需要或者需要較少的面部特征點，能夠估計角度較大范圍的姿態(tài)。基于模型的方法是利用某種幾何模型來表示人臉的結(jié)構(gòu)和形狀，并通過提取某些特征，在模型和圖像之間建立起對應(yīng)關(guān)系。這種方法嚴(yán)重地依賴于特征點的定位結(jié)果，當(dāng)圖像旋轉(zhuǎn)較大角度時，部分面部特征將丟失，無法進(jìn)行估計，所以估計的姿態(tài)范圍較小。

1 基于流形學(xué)習(xí)的頭部姿態(tài)估計

基于流形學(xué)習(xí)的頭部姿態(tài)估計屬于表觀類方法，它的基本思想是考慮每個高維頭姿態(tài)圖像都處于一個有姿態(tài)變化的連續(xù)流形中。目前已經(jīng)吸引了一些學(xué)者對它進(jìn)行研究，例如HU N等人[4]提出了通過對特定人的姿態(tài)流形的學(xué)習(xí)，在假定姿態(tài)流形不變的情況下，利用預(yù)測網(wǎng)絡(luò)來估計其他人的圖像的姿態(tài)的方法；FU Y[5]等使用了圖嵌入GE(Graph Embedding)[6]結(jié)合流形學(xué)習(xí)算法進(jìn)行人臉的姿態(tài)估計研究。

流形學(xué)習(xí)LLE[7](Locall Linear Embedding)算法是通過建立局部鄰域權(quán)重圖將數(shù)據(jù)由高維降至低維，但其鄰域均采集自同一流形，對于姿態(tài)估計，這將導(dǎo)致姿態(tài)估計與人有關(guān)。FU Y[5]等人提出了一種改進(jìn)的LLE即LEA(Locall Embed Analysis)：利用數(shù)據(jù)集的已知類別信息選擇局部鄰域時，只考慮屬于同一類(即同一姿態(tài))的數(shù)據(jù)點，并結(jié)合圖嵌入理論，使改進(jìn)后的LLE近似線性。這樣對于姿態(tài)估計將大大提高姿態(tài)估計的身份無關(guān)性。但這又帶來一個新的問題：屬于同一類的數(shù)據(jù)集映射到低維空間中后，退化成為一點，失去了幾何拓?fù)湫畔?，并且所有鄰域均為同類樣?即不同人的相同姿態(tài))，這使得降維后的流形失去了其相鄰姿態(tài)間的平滑性。

本文對FU Y等人提出的LEA方法做了進(jìn)一步的改進(jìn)：由于鄰域的選擇是流形學(xué)習(xí)算法至關(guān)重要的第一步，關(guān)系到鄰域樣本權(quán)值的計算及最后的降維結(jié)果。因此，本文在構(gòu)造鄰域時通過改進(jìn)鄰域距離表示方法，更好地選擇鄰域，使樣本的鄰域更好地重構(gòu)樣本本身，以解決LEA降維后的流形不能很好地保持高維時所具有的幾何拓?fù)浣Y(jié)構(gòu)的不足，并使訓(xùn)練流形和測試流形更加靠近，減少姿態(tài)估計誤差。

2 LLE算法[7]

給定數(shù)據(jù)集 X，xi∈RM，i=1，…，N，N 為樣本總數(shù)，M為原始空間維數(shù)。

(1)鄰域選擇：定義點 xi的 k 鄰域為 χi={xi_1，xi_2，xi_k}，xi_j∈X，1≤j≤k。LLE需要計算點 xi和鄰域點之間的重構(gòu)權(quán)wi_j，重構(gòu)權(quán)wi_j的選取通過極小化重構(gòu)誤差來實現(xiàn)：

其中，權(quán)wi_j表示樣本xi_j對樣本xi的重構(gòu)的貢獻(xiàn)。為了計算權(quán)值，引入約束條件：對于所有的樣本點xi，且當(dāng) xi_j?χi時，wi_j=0，此時通過 arg min(εM)求解權(quán)值。

(2)低維嵌入：將低維數(shù)據(jù)集表示為：Y={y1，y2，…，yN}，yi是 xi的低維表示，且 yi∈Rm(m

利用式(1)計算出的權(quán)值組成一個 k×N的矩陣W，并將其代入式(2)，則 εm可表示為：εm=Tr(Y(I-W)T(IW))，令 Φ=(I-W)T(I-W)，則低維數(shù)據(jù)集 Y是 Φ 最小的第2個到第m+1個特征向量。

3 LEA算法對LLE的改進(jìn)

為計算出由高維到低維的線性映射矩陣P，需要重新計算權(quán)重矩陣W。點xi定義k×k的局部圖矩陣Gi為：Gi[j，l]=(xi-xi_j)T(xi-xi_j)，Gi=(xi1T-χi)T(xi1T-χi)，1T是 由 1組成的 k×1的列向量。Xi是 M×k的矩陣，包括 xi的 k最近鄰樣本點。列向量 wi=(wi_1，wi_2，…，wi_k)T，則式(1)可表示為解最小二值問題并取得：

定義 n×n 稀疏權(quán)值矩陣 W，W[i，i_j]=wi(j)=wi_j，矩陣W的其他值為0。

LEA將圖嵌入的思想用于LLE中、計算出樣本的局部鄰域后，在用LLE算法計算數(shù)據(jù)集X的低維投影時，考慮低維數(shù)據(jù)集Y=PTX，計算出投影矩陣P，繼而用公式Y(jié)=PT-X計算Y，而不是直接用LLE算法計算出Y，這樣就將LLE算法改進(jìn)為近似線性的LEA方法。

4 改進(jìn)的算法

(1)鄰域選擇

LEA在對點xi選取鄰域點時，將不同人的相同姿態(tài)點作為其鄰域點，是為了滿足監(jiān)督圖嵌入的要求。這樣在理論上滿足不同對象的相同姿態(tài)靠近，但是會使得降維后的同類間樣本點基本重合在一起，退化為一點，失去了原有的幾何拓?fù)湫畔?，在計算時沒有考慮相鄰姿態(tài)之間的影響，失去了相鄰姿態(tài)間的平滑性。本文考慮在計算鄰域時加入姿態(tài)信息，使得在計算投影矩陣時，既考慮相同姿態(tài)間的影響，也考慮相鄰姿態(tài)間的影響。樣本點距離計算如下：

其中，(i，j)為兩姿態(tài)間的姿態(tài)差值，Amax為姿態(tài)之間的最大差值，d為樣本點之間的歐式距離，這樣使同類姿態(tài)之間的距離變小，不同類姿態(tài)間距離隨著姿態(tài)差值的增大而增大，符合高維空間中樣本之間的幾何結(jié)構(gòu)，且通過此距離公式計算樣本的鄰域，即能全部包括同類姿態(tài)樣本，并且可以包括部分相鄰姿態(tài)樣本。LEA算法中只將相同類姿態(tài)作為樣本的鄰域，這樣僅能保證相同類樣本靠近，而不能保證不同類樣本之間距離因姿態(tài)差值的變化而變化，并且忽視了相鄰姿態(tài)對樣本重構(gòu)的貢獻(xiàn)。

利用式(4)選擇鄰域，并用式(3)計算權(quán)值矩陣W后，可考慮將樣本集X嵌入到低維。

(2)M到m的嵌入

嵌入的問題是如何將M維空間映射到m維子空間。為了得到線性映射矩陣P，應(yīng)用LEA[5]算法對LLE[7]的近似線性化思想，將Y=PTX代入式(2)得：

其中Λ是拉格朗日乘數(shù)對角矩陣。列P是矩陣(XXT)-1X(I-W)T(I-W)XT去掉底部特征向量PTX之后的最小的m個特征向量。

對于頭部姿態(tài)估計問題，本文提出算法的流程為：(1)訓(xùn)練姿態(tài)流形

①裁剪圖片，使圖片僅包含頭部姿態(tài)部分，并對圖片預(yù)處理、歸一化，使所有圖片有相同大小。

②提取特征作為訓(xùn)練特征(也可以不提取，直接用圖片像素作為特征)，并將特征用一個列向量來表示。

③根據(jù)式(6)計算樣本點之間的距離，求出鄰域矩陣，接著求解式(3)，計算權(quán)值矩陣，然后求解式(5)計算投影矩陣P。

④應(yīng)用Y=PTX，計算低維映射Y。

(2)測試樣本姿態(tài)估計

①同訓(xùn)練步驟①，對測試圖片進(jìn)行裁剪、預(yù)處理、歸一化等操作。

②應(yīng)用投影矩陣P計算出測試樣本的低維表示。③應(yīng)用KNN分類器估計測試樣本姿態(tài)。

5 實驗

5.1 人臉庫

為了驗證算法的有效性，本文在FacePix人臉姿態(tài)數(shù)據(jù)庫上進(jìn)行了實驗。FacePix人臉庫是2005年由CUbiC(theCenterforCognitiveUbiquitousComputing)、Arizona State University提供，該人臉庫包含了不同姿態(tài)、不同光照的人臉，本文只介紹不同姿態(tài)的圖片：具體為30人，每人181張不同姿態(tài)的人臉圖像，姿態(tài)范圍為水平方向上從-90°～90°(負(fù)的表示向左旋轉(zhuǎn))， 間隔為1°，共計 5 430張分辨率為128×128的彩色人臉圖像。本文將圖片裁剪為32×32(人臉庫中的第 16、21、27三人由于圖像采集不好，未被納入實驗中)大小的圖片。人臉庫樣例及低維可視化流形如圖1所示。

5.2 實驗結(jié)果及分析

(1)低維可視化效果

圖1(a)是FacePix人臉庫經(jīng)裁剪后的部分樣例圖，按照每行為同一人，每列為同一姿態(tài)排列，姿態(tài)從左到右分別為-90°、-60°、-30°、0°、30°、60°、90°；圖 1(b)是FacePix人臉庫中第一個人的181張姿態(tài)圖像經(jīng)本文改進(jìn)的LEA算法降維后的三維嵌入流形，嵌入流形的圖片姿態(tài)按照-90°、-60°、-30°、0°、30°、60°、90°排列，鄰域K=80，特征為裁剪并處理后的灰度圖。由圖1(b)可以看出，不同姿態(tài)處在低維不同位置，且按照姿態(tài)順序呈流形分布。

(2)頭部姿態(tài)實驗

訓(xùn)練及測試樣本三維流形如圖2所示，圖2實驗選取的特征均為裁剪并處理后的灰度圖。圖2(a)為LEA算法的低維嵌入圖，鄰域k=8，圖中顏色較深的線為人臉庫中前9個人的流形，為訓(xùn)練流形；顏色較淺的線為中間9個人應(yīng)用訓(xùn)練出的投影矩陣P投影后的結(jié)果，為測試流形。圖2(b)為本文改進(jìn)后的算法的嵌入圖，鄰域k=13，圖中不同顏色的含義同圖2(a)。通過圖中效果比對可以看出，改進(jìn)后的算法更能使測試樣本和訓(xùn)練樣本的相同姿態(tài)靠近，利于分類誤差的降低。

圖1 人臉庫樣例及低維可視化流形

圖2 訓(xùn)練及測試樣本三維流形

對LEA算法和改進(jìn)后的算法做相同條件下的對比試驗。分別選取FacePix人臉庫中前9人、前12人、前15人、前18人做訓(xùn)練樣本，對應(yīng)的后18人、后15人、后12人、后9人做測試樣本，每人181張圖片。由于改進(jìn)后的算法仍是基于LLE算法的，所以鄰域、嵌入維數(shù)以及參與訓(xùn)練的圖片數(shù)對實驗效果均有一定影響。實驗中的特征均為裁剪并處理后的灰度圖。表1為實驗的姿態(tài)估計平均誤差表。

圖3中實驗為：低維維度m=14，訓(xùn)練樣本為9個人1 629張圖片，測試樣本為18個人3 258張圖片，LEA算法鄰域取k=8，改進(jìn)算法鄰域取k=10。圖中實線為LEA算法姿態(tài)估計誤差，其平均誤差為3.44°；虛線為改進(jìn)算法姿態(tài)估計誤差，其平均誤差為2.99°(如表1所示)。

表1 FacePix人臉庫頭部姿態(tài)估計平均誤差(度)

圖3 改進(jìn)算法與LEA算法姿態(tài)估計誤差對比

從表1及圖3可以看出，改進(jìn)后的算法與原來的算法相比，其誤差降低不少。主要原因：如圖2所示，由于LEA算法的鄰域取自同姿態(tài)樣本，其缺點是降維后同類樣本重合在一起，理論上是類間距離越小越好。但是由于人的差異性，同樣的姿態(tài)不同的人會有差距，所以導(dǎo)致訓(xùn)練出的流形與測試樣本的流形有很大差距。改進(jìn)算法由于適當(dāng)擴(kuò)大鄰域，既包括同類樣本又包括姿態(tài)相近的樣本，這樣訓(xùn)練流形與測試流形的差距就會縮小。

本文提出了一種對局部嵌入分析(LEA)算法改進(jìn)的頭部姿態(tài)估計方法(即一種新的鄰域選擇方法)，在鄰域選擇時充分利用先驗姿態(tài)信息，使降維后流形更加符合高維時的姿態(tài)間的幾何關(guān)系，降低姿態(tài)估計誤差。由實驗可知，本文對LEA算法改進(jìn)的有效性。然而由于流形學(xué)習(xí)算法的實驗結(jié)果與參數(shù)(如鄰域k、降維維度m等)有很大有關(guān)，并且數(shù)據(jù)庫由于圖像裁剪不同，實驗效果也不盡相同，因此算法還有待進(jìn)一步的研究與探討。

[1]CHUTORIAN E M，TRIVEDI M M.Head pose estimation in computer vision：a survey[J]. IEEE transactions on Pattern Analysis and Machine Intelligence， 2009，31(4)：607-626.

[2]LI S Z，F(xiàn)U Q D.Kernal machine based learning for multiview face detection and pose estimation[C].Proceedings of 8th IEEE InternationalConference on ComputerVision.Vancouver， Canada： 2001.

[3]馬丙鵬.基于表觀的人臉姿態(tài)估計問題研究[M].北京：中國科學(xué)院，2009.

[4]HU N，HUANG W，RANGANATH S.Head pose estimation by non-linear embedding and mapping[C].Proceeding.IEEE International Conference on Image Processing.2005.

[5]FU Y，HUANG T S.Graph embedded analysis for head pose estimation[C].Proceeding.IEEE International Conference on Automatic Face and Gesture Recognition.2006.

[6]YAN S， XU D， ZHANG B， et al.Graph embedding： a general framework fordimensionality reduction [C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2005.

[7]ROWEIS S，SAUL L.Nonlinear dimensionality reduction by locally linear embedding[J].Science， 2000，290：2323-2326.