韓 毅王旭彬王偉*

(1.華中科技大學(xué)機械科學(xué)與工程學(xué)院,湖北 武漢 430000；2.安陽工學(xué)院計算機科學(xué)與信息工程學(xué)院,河南 安陽 455000)

面部特征點檢測與頭部姿態(tài)估計是計算機視覺與深度學(xué)習(xí)中較為常見的研究任務(wù),但無論是使用計算機視覺方法還是深度學(xué)習(xí)方法,目前的許多檢測方法都以單一檢測任務(wù)為目的進行,沒有充分利用兩個任務(wù)間的關(guān)聯(lián)特性以將兩個任務(wù)高效地結(jié)合起來。而使用多任務(wù)學(xué)習(xí)(Multi Task Learning,MTL)可充分利用隱含在多個相關(guān)訓(xùn)練任務(wù)中的特定信息,相比于單任務(wù)學(xué)習(xí)(Single Task Learning,STL),多任務(wù)學(xué)習(xí)可以獲得適用不同任務(wù)的特征,共享不同任務(wù)之間的內(nèi)在聯(lián)系以及復(fù)雜的非線性映射關(guān)系,且有效地增加用于訓(xùn)練模型的樣本大小。

目前多數(shù)使用級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)進行面部特征點檢測的方法效果較好,如文獻[1]使用三層級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)進行人臉關(guān)鍵點檢測,將多個網(wǎng)絡(luò)的輸出融合在一起進行估計,其深層的卷積網(wǎng)絡(luò)結(jié)構(gòu)可于初始化階段就在整個面部區(qū)域提取全局高級特征,級聯(lián)網(wǎng)絡(luò)的設(shè)計為其提供了較高的可靠性；文獻[3]基于級聯(lián)網(wǎng)絡(luò)和殘差特征,使用一種結(jié)合殘差特征的沙漏網(wǎng)絡(luò)結(jié)構(gòu)進行面部特征點檢測,組合了不同的優(yōu)化準則,實驗得出二級級聯(lián)結(jié)構(gòu)的特征點定位精度與四級棧式結(jié)構(gòu)相當。

對于頭部姿態(tài)估計的方法,可使用計算機視覺方法,如文獻[6]提出了一種分層的圖形模型,通過利用幀上的現(xiàn)有姿勢信息從實際視頻中概率估計連續(xù)的頭部姿勢角度；也可使用點云來進行估計,如文獻[10]提出一種以點云數(shù)據(jù)為輸入的HPENet,采用多層感知器和最大池化層實現(xiàn)點云的特征提取,提取的特征通過全連接層輸出預(yù)測的頭部姿態(tài)；或是基于面部特征點對頭部姿態(tài)進行估計,如文獻[7]將圖像中人臉五官特征點使用修正牛頓法與模型對齊以確定人臉姿態(tài),文獻[8]使用人眼和鼻孔的位置信息,將眼睛、鼻子定位結(jié)果與正臉頭部姿態(tài)中的眼睛、鼻子進行對比,從而對不同的頭部姿態(tài)進行粗估計；或者使用卷積神經(jīng)網(wǎng)路,如文獻[9]通過訓(xùn)練一個多損失的卷積神經(jīng)網(wǎng)絡(luò),使用RGB 圖像結(jié)合分類和回歸損失的方法來預(yù)測歐拉角。

在人臉識別方面,使用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的方法相較于同類型的單任務(wù)方法有著更優(yōu)秀的效果,如文獻[5]提出了一個高效的深度級聯(lián)的多任務(wù)網(wǎng)絡(luò)框架,它利用了檢測和對齊之間的內(nèi)在聯(lián)系來提高整體網(wǎng)絡(luò)的性能,通過三個階段深度卷積網(wǎng)絡(luò)預(yù)測人臉位置以及面部特征點位置,使得特征點的定位更加準確。

文中首先設(shè)計了相關(guān)性實驗以挑選出與頭部姿態(tài)變化相關(guān)性較強的面部特征點,進而設(shè)計了一種基于多任務(wù)學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(Multi-task Learning Convolutional Neural Network,MTL-CNN),將特定面部特征點檢測和頭部姿態(tài)估計這兩個相關(guān)性較強的任務(wù)聯(lián)合,充分利用兩者之間的內(nèi)在聯(lián)系,建立兩任務(wù)間復(fù)雜的映射關(guān)系,共享核心卷積神經(jīng)網(wǎng)絡(luò)提取到的特征,后使用不同的分類器同時進行預(yù)測,精心設(shè)計的損失函數(shù)去差異化策略解決了尺度差異,有效提高了兩任務(wù)的檢測精度。

1 面部特征點與人臉姿態(tài)

1.1 準備工作

頭部姿態(tài)的變化與面部特征點有著緊密的聯(lián)系,在頭部進行動作時,面部特征點位于頭部前方觀測方向上的投影會隨著頭部動作進行變化。而面部特征點的變化具有選擇性,并非所有特征點都對頭部動作有著明顯的響應(yīng)；且某些特征點具有代表性,例如眼睛瞳孔的位置可良好地表達眼部整體的位置。因此若將全部面部特征點用于頭部姿態(tài)估計則會加重神經(jīng)網(wǎng)絡(luò)的任務(wù),過多的噪聲特征點也會影響識別精度。

為探究面部特征點與頭部姿態(tài)同時變化時的相關(guān)性,尋找隨頭部姿態(tài)變化較為明顯的面部特征點以設(shè)計多任務(wù)神經(jīng)網(wǎng)絡(luò),排除無關(guān)特征點的干擾,本章基于相關(guān)性分析設(shè)計實驗,對面部特征點與人臉姿態(tài)的關(guān)系進行探究。

1.2 相關(guān)性實驗

實驗基于AFLW 數(shù)據(jù)集,隨機挑選出2 000 張覆蓋各種頭部姿態(tài)的圖片,其中每張圖像經(jīng)處理裁切為450×450 pixel,對應(yīng)3 個頭部姿態(tài)參數(shù)yaw、pitch 以及roll,如圖1 所示,以及21 個二維面部特征點坐標,如圖2 所示。

圖1 3 個頭部姿態(tài)參數(shù)

圖2 面部特征點轉(zhuǎn)化為歐氏距離的示例

由于面部特征點坐標位置無法直接與三個頭部姿態(tài)參數(shù)進行對比,因此對二者進行轉(zhuǎn)化處理。首先建立二維坐標系,對于數(shù)據(jù)集中的共21 個面部特征點,使用該特征點與原點的歐氏距離d(式(1))來表達面部特征點的位置,其中(xi,yi)代表第i個特征點在該坐標系下的坐標,(x0,y0)則代表該坐標系的原點。轉(zhuǎn)換后的特征點數(shù)據(jù)可視化如圖2 所示；后基于三個用于描述頭部姿態(tài)的歐拉角ψ(yaw,偏航)、θ(pitch,俯仰)以及φ(roll,桶滾),求得旋轉(zhuǎn)矩陣R(式(2))以表達頭部姿態(tài)。

部分通過式(1)計算出的歐氏距離數(shù)據(jù)分布如圖3 所示。KS 檢驗(Kolmogorov-Smirnov test)是比較一個頻率分布f(x)與理論分布g(x)或者兩個觀測值分布的檢驗方法。實驗使用KS 檢驗方法檢驗數(shù)據(jù)是否符合正態(tài)分布,部分顯著性檢驗值p-value如表1 所示,結(jié)果顯示求得的歐氏距離數(shù)據(jù)并非呈正態(tài)分布。

圖3 鼻子和嘴巴中點數(shù)據(jù)分布

表1 K-S 檢驗結(jié)果

使用復(fù)相關(guān)分析的方法研究面部特征點與頭部姿態(tài)的聯(lián)系。由于特征點為手動標注,且被遮擋的、不可見的特征沒有對應(yīng)坐標,因此對空值做剔除處理。以清洗后數(shù)據(jù)求得的歐氏距離d作為自變量,將通過三個歐拉角求得的旋轉(zhuǎn)矩陣R設(shè)置為因變量,基于數(shù)據(jù)并非呈正態(tài)分布且存在異常值的特點,選擇spearman 相關(guān)系數(shù)探究面部特征點與頭部姿態(tài)同時變化時的相關(guān)性,計算結(jié)果的熱力圖如圖4所示,部分特征與頭部姿態(tài)的spearman 相關(guān)系數(shù)絕對值如表2 所示。

圖4 spearman 相關(guān)系數(shù)計算結(jié)果

表2 部分spearman 系數(shù)結(jié)果

實驗結(jié)果表明眼部、嘴部以及鼻子部位的特征點變化對于頭部姿態(tài)變化的響應(yīng)較為明顯,達到了強相關(guān)。故選取與頭部姿態(tài)相關(guān)性較高且具有位置代表性的雙眼瞳孔、鼻尖以及兩嘴角共五個面部特征點作為目標特征點。使用相關(guān)性較高的特征點不僅能使多任務(wù)學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)快速準確地標注面部特征點,也使其更精準地預(yù)測頭部姿態(tài)。

2 基于多任務(wù)學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)MTL-CNN

普通學(xué)習(xí)器一般可以學(xué)習(xí)到輸入中大量且普遍存在的特征,卻忽視掉少量不常見但對模型有用的特征,而多任務(wù)學(xué)習(xí)則可避免這樣的情況發(fā)生,兩任務(wù)相互促進,不同任務(wù)的信息有助于共享的隱藏層學(xué)習(xí)到更好的內(nèi)部表示,有效增加了樣本大小,且能使兩任務(wù)的泛化能力大大提高。

經(jīng)相關(guān)性實驗表明,特定面部特征點與頭部姿態(tài)的變化呈強相關(guān)性,進而本章基于多任務(wù)學(xué)習(xí)設(shè)計了一種多任務(wù)學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)MTL-CNN,可同時進行特定面部特征點檢測與頭部姿態(tài)估計。

2.1 MTL-CNN 整體框架

MTL-CNN 采用的是多任務(wù)學(xué)習(xí)中的硬參數(shù)共享策略,應(yīng)用到所有任務(wù)的所有隱藏層上而保留任務(wù)相關(guān)的輸出層,其結(jié)構(gòu)如圖5 所示,包含核心網(wǎng)絡(luò)(Backbone)與兩個子網(wǎng)絡(luò)(Task1 與Task2),即面部特征點檢測與頭部姿態(tài)估計。兩個子網(wǎng)絡(luò)共享一個由卷積神經(jīng)網(wǎng)絡(luò)組成的核心網(wǎng)絡(luò),共享兩任務(wù)間的內(nèi)在聯(lián)系以及復(fù)雜的非線性映射關(guān)系。

圖5 MTL-CNN 結(jié)構(gòu)

核心網(wǎng)絡(luò)包含8 個卷積層,4 個池化層,1 個全連接層,使用ReLU 作為激活函數(shù),通過添加較多的卷積層以穩(wěn)定地增加網(wǎng)絡(luò)深度,在所有層中卷積濾波器被設(shè)置為3×3 大小,有效地減小參數(shù),可更好地提取深層特征。連接核心網(wǎng)絡(luò)的兩個子網(wǎng)絡(luò)如圖5 中Task1 與Task2 所示,共含有5 個全連接層,Task1 中的2 個全連接層連接核心網(wǎng)絡(luò)輸出5 個面部特征點的位置；Task2 中的3 個全連接層連接核心網(wǎng)絡(luò)輸出3 個頭部姿態(tài)參數(shù)。

2.2 MTL-CNN 工作流程

Dlib 開源庫[29]是一個優(yōu)秀的機器學(xué)習(xí)庫,可廣泛應(yīng)用至許多場景,MTL-CNN 的輸入圖像使用Dlib中的人臉定位并添加寬容度策略,如算法1 所示,使裁剪區(qū)域變大,確保裁剪出的人臉圖像完整,后將將圖片重新調(diào)整至128×128(即圖像存儲在128×128的矩陣中)以送入MTL-CNN。

算法1 寬容度策略

MTL-CNN 以經(jīng)過算法1 處理的存儲在128×128×3 三維矩陣中的二維彩色人臉圖像為輸入,首先經(jīng)過核心網(wǎng)絡(luò)以提取特征。圖像通過核心網(wǎng)絡(luò)的處理被映射至1×1 024 矩陣中的特征圖以進行后續(xù)處理。輸出的特征圖將被分別送至兩子網(wǎng)絡(luò)處理,子網(wǎng)絡(luò)基于總特征圖各取所需,選取適用于目標任務(wù)的特征作為輸入進行處理。

2.3 MTL-CNN 的訓(xùn)練

核心神經(jīng)網(wǎng)絡(luò)在5 個面部特征點位置和3 個頭部姿態(tài)參數(shù)的監(jiān)督下學(xué)習(xí)人臉圖像的深層特征,后經(jīng)過兩個子網(wǎng)絡(luò)輸出預(yù)測的1×10 的面部特征點和1×3 的用于表達頭部姿態(tài)的歐拉角。

對于子網(wǎng)絡(luò)Task1,其輸出為1×10 的五個面部特征點,分別為雙眼瞳孔、鼻尖以及嘴角兩側(cè),將其視為回歸問題,對于每個特征點數(shù)據(jù)與預(yù)測數(shù)據(jù)計算歐氏距離作為網(wǎng)絡(luò)的損失函數(shù),即L2 范數(shù)損失函數(shù)(式(3)),其中∈R10,為預(yù)測的面部坐標,為該樣本的真實坐標。

子網(wǎng)絡(luò)Task2 的任務(wù)為估計頭部姿態(tài),輸出為1×3的三個歐拉角yaw、pitch 以及roll。與Task1 一樣將其視為回歸問題,對于每個樣本,采用L2 范數(shù)損失函數(shù)(式(4)),其中∈R3,代表預(yù)測的歐拉角值,為真實歐拉角值。

由于Task1 與Task2 采用了不同的損失函數(shù),不同任務(wù)的損失尺度差異對MTL-CNN 的影響較大,且使用加權(quán)求和時模型性能受權(quán)值影響,對此MTL-CNN 基于文獻[12]提出的使用任務(wù)間的同方差不確定性給損失函數(shù)賦權(quán),通過神經(jīng)網(wǎng)絡(luò)的輸出來平衡兩個損失函數(shù),如式(5)所示。其中為網(wǎng)絡(luò)輸出,式中右側(cè)前兩項與后一項存在抑制關(guān)系,解決了尺度差異以及兩值相差過大的問題。

3 MTL-CNN 測試實驗

為探究MTL-CNN 的實際表現(xiàn),本章將基于不同數(shù)據(jù)集設(shè)計多種實驗以測試MTL-CNN 的性能。本次實驗在配備Intel Xeon E-2224G 處理器及Nvidia RTX 2080ti 工作站上進行,實驗環(huán)境配置為CUDA10.0,tensorflow1.14.0,首先測試MTL-CNN 的整體性能,后進行兩個任務(wù)的分離實驗。

3.1 實驗數(shù)據(jù)集

實驗共選取AFLW[15]、AFW、CMU Multi-PIE[20]以及BIWI[27]共4 個相關(guān)數(shù)據(jù)集。

(1)AFLW 數(shù)據(jù)集是一個包括多姿態(tài)、多視角的大規(guī)模人臉數(shù)據(jù)庫,圖像來自于flickr,共有21 997張圖像,2 593 張面孔,59%為女性,41%為男性。每張圖像中標注了21 個關(guān)鍵點,大部分圖像為彩色圖。AFLW 在多角度人臉檢測、關(guān)鍵點定位以及頭部姿態(tài)估計領(lǐng)域是非常重要的一個數(shù)據(jù)集。

(2)AFW 中有473 張標記的人臉圖像,每一張人臉圖像都提供了方形邊界框,含有6 個關(guān)鍵點和3 個頭部姿態(tài)參數(shù)。

(3)CMU Multi-PIE 由美國卡耐基梅隆大學(xué)建立,包含337 位志愿者的75 000 張多姿態(tài)面部圖像,每位志愿者的多視角圖像由15 個圍繞在該志愿者周圍的攝像機同時拍攝,如圖6 所示。

圖6 CMU Multi-PIE 數(shù)據(jù)集

(4)BIWI 數(shù)據(jù)集包含1 000 個高質(zhì)量的3D 掃描儀和專業(yè)麥克風采集的3D 數(shù)據(jù),其中有14 個人,6 個男性與8 個女性,以25 幀/s 的速度獲取密集的動態(tài)面部掃描,如圖7 所示。

圖7 BIWI 數(shù)據(jù)集

3.2 訓(xùn)練實驗

MTL-CNN 以處理過后的AFLW 數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)。訓(xùn)練流程如圖8 所示。

圖8 MTL-CNN 訓(xùn)練流程

由于AFLW 中的圖片大都包含人臉以外的區(qū)域,因此首先使用2.2 節(jié)中的方法對其進行裁切以排除無關(guān)區(qū)域,并確保裁剪出的人臉包含目標面部特征點,如算法1 所示,后根據(jù)裁剪尺寸對面部特征點的位置進行縮放調(diào)整,提取出雙眼瞳孔、鼻尖和嘴角兩側(cè)的特征點數(shù)據(jù)以及yaw、pitch 和roll 三個頭部姿態(tài)數(shù)據(jù),通過對圖像數(shù)據(jù)進行隨機平移、旋轉(zhuǎn)變換等數(shù)據(jù)增強操作將訓(xùn)練數(shù)據(jù)擴充至原訓(xùn)練數(shù)據(jù)的30 倍,得到完整的訓(xùn)練數(shù)據(jù)。

采用Adam 優(yōu)化算法[28]進行訓(xùn)練時,基于訓(xùn)練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)模型的權(quán)重,初始學(xué)習(xí)率設(shè)定為0.001,dropout 設(shè)定為0.5,訓(xùn)練結(jié)果如圖9 所示,橫坐標表示訓(xùn)練次數(shù),從訓(xùn)練結(jié)果來看,MTL-CNN 對于兩個任務(wù)都有較好的表現(xiàn)。

圖9 MTL-CNN 訓(xùn)練結(jié)果

MTL-CNN 于劃分的測試集進行驗證,Task1 的平均準確率為97.75%,Task2 的平均準確率為98.21%,平均準確率為97.98%。為進一步探究MTL-CNN 中兩個任務(wù)的精準度,采用不同的數(shù)據(jù)集分別對面部特征點檢測與頭部姿態(tài)估計進行測試。

3.3 Task1 與Task2 的分離測試實驗

對于Task1,面部特征點檢測任務(wù),MTL-CNN 基于AFLW[15]、AFW 數(shù)據(jù)集進行測試。以MTL-CNN 標定的各點與原數(shù)據(jù)集中標定各點的偏移為度量,MTL-CNN 的表現(xiàn)如表3 所示,平均準確率為97.30%。

對于頭部姿態(tài)估計任務(wù),將MTL-CNN 用于CMU Multi-PIE 數(shù)據(jù)集[20]進行測試。以MTL-CNN 預(yù)測的三個頭部姿態(tài)值與原數(shù)據(jù)集中頭部姿態(tài)的三個值的誤差為度量,MTL-CNN 的表現(xiàn)如表3 所示,平均準確率為98.10%。

表3 MTL-CNN 在AFW、AFLW 和CMU Multi-PIE數(shù)據(jù)集上的測試結(jié)果

為進一步探究多任務(wù)方法相較于單任務(wù)方法的優(yōu)點,對于面部特征點檢測任務(wù),實驗首先對AFLW中的測試集與AFW 數(shù)據(jù)集進行預(yù)處理,并整理至一起,后選取不同的特征點定位方法包括ESR[19]、TSPM[16]、RCPR[18]、TCDCN[23]、SDM[24]、TCNN[25]、CDM[26]與MTL-CNN 進行對比,結(jié)果如圖10 所示,實驗表明多任務(wù)的處理方法有著更穩(wěn)定的表現(xiàn)和更好的魯棒性。

圖10 MTL-CNN 在面部特征點檢測上與其他單任務(wù)方法對比

對于頭部姿態(tài)估計任務(wù),實驗選取CMU Multi-PIE 與BIWI 中的數(shù)據(jù)并進行預(yù)處理,使用文獻[7]、文獻[9]、文獻[17]中的單任務(wù)方法與MTLCNN 進行對比,結(jié)果如圖11 所示。

圖11 MTL-CNN 在頭部姿態(tài)估計上與其他單任務(wù)方法對比

從檢測精度來看,基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的MTL-CNN 有著良好的效果,相比于單任務(wù)方法有著更為出色的表現(xiàn)。MTL-CNN 充分利用了面部特征點與頭部姿態(tài)變化的內(nèi)在聯(lián)系,使其在許多環(huán)境因素的影響下,比如光照弱等,表現(xiàn)出了比單任務(wù)方法更高的魯棒性。

同時,在相同平臺上,MTL-CNN 的性能與以上單任務(wù)方法的對比如表5 所示。由于兩個任務(wù)共享核心卷積神經(jīng)網(wǎng)絡(luò)以提取特征,在與單任務(wù)方法處理時間相當?shù)臈l件下可同時進行面部特征點與頭部姿態(tài)兩個檢測任務(wù)。

表5 MTL-CNN 與單任務(wù)方法的性能對比 單位:ms

3.4 MTL-CNN 的應(yīng)用測試

MTL-CNN 的應(yīng)用測試如圖12 所示,從綜合兩個任務(wù)進行的測試以及分任務(wù)進行的測試來看,MTL-CNN 的準確性高,在受到不同光照等外界因素影響時也能擁有良好的表現(xiàn),魯棒性較好,在頭部動作大導(dǎo)致的人臉大面積遮擋時也能準確的檢測到可見特征點、估計出頭部姿態(tài),且有著不輸于單任務(wù)方法的性能,不失為一種良好的面部特征點檢測以及頭部姿態(tài)估計方法。

圖12 MTL-CNN 的應(yīng)用測試

為探究模型在難度較高的檢測場景下的表現(xiàn),實驗將原測試集人臉圖像由0.1 至1 區(qū)間內(nèi)放縮以進行測試,測試樣例如圖13(a)所示。對于Task1,以預(yù)測的各特征點與原數(shù)據(jù)集中標定各點的偏移為度量,對于Task2,以預(yù)測的三個頭部姿態(tài)值與原數(shù)據(jù)集中頭部姿態(tài)的三個值的誤差為度量,模型精度如圖13(b)所示。

圖13 不同比率人臉圖像測試樣例和測試結(jié)果

4 結(jié)束語

文中設(shè)計的相關(guān)性實驗證明了頭部姿態(tài)與面部特征點的強相關(guān)性,提出的基于多任務(wù)學(xué)習(xí)設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)(MTL-CNN)通過將面部特征點檢測和頭部姿態(tài)估計這兩個強相關(guān)任務(wù)聯(lián)合起來的方式,深度挖掘兩者之間的映射關(guān)系,使其共享硬參數(shù),并通過精心設(shè)計的損失函數(shù)去差異化策略,使得MTL-CNN 可同時以高準確率進行這兩個任務(wù),在智能化系統(tǒng)飛速發(fā)展的時代,為面部特征點檢測與頭部姿態(tài)估計提出了新的方法。下一步的工作則是深度挖掘面部特征點與其他面部、頭部特征的關(guān)系,研究加入更多相關(guān)任務(wù)的方法,并進一步擴大數(shù)據(jù)集并根據(jù)數(shù)據(jù)特點對MTL-CNN 進行調(diào)優(yōu),使其擁有更好的性能。