肖仕華，桑 楠，王旭鵬

（電子科技大學(xué)信息與軟件工程學(xué)院，成都610000）

（?通信作者電子郵箱xsh115@qq.com）

0 引言

頭部姿態(tài)信息是研究人類行為和注意力的重要指標(biāo)。在人際交往中，人們通過(guò)改變頭部姿態(tài)傳達(dá)信息，例如同意、理解、反對(duì)、迷惑等。頭部姿態(tài)估計(jì)可以為許多人臉相關(guān)任務(wù)提供關(guān)鍵信息，比如人臉識(shí)別、面部表情識(shí)別、駕駛姿勢(shì)預(yù)測(cè)等，因此，頭部姿態(tài)估計(jì)成為了計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域的一個(gè)熱門(mén)的研究方向［1-4］。

在計(jì)算機(jī)視覺(jué)領(lǐng)域，頭部姿態(tài)估計(jì)［5］是指計(jì)算機(jī)通過(guò)算法對(duì)輸入圖片或者視頻進(jìn)行分析和預(yù)測(cè)，從而確定人物的頭部在三維空間中的姿態(tài)信息，即俯仰角（pitch）、側(cè)傾角（roll）和偏航角（yaw）?？煽康念^部姿態(tài)估計(jì)算法具有以下特點(diǎn):對(duì)大尺度的姿態(tài)變化保持魯棒，能夠有效地處理遮擋，實(shí)時(shí)性較高，資源消耗低等［6］。

現(xiàn)有算法主要采用RGB 圖像進(jìn)行頭部姿態(tài)估計(jì)。其中，Hsu 等［1］提出采用RGB 作為輸入的深度網(wǎng)絡(luò)，網(wǎng)絡(luò)針對(duì)四元素和歐拉角的不同輸出方式給出了聯(lián)合的多元回歸損失函數(shù)。Patacchiola 等［2］研究了自適應(yīng)梯度法和Droupout 法相結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型，該模型直接為輸入頭部RGB 圖像建立姿態(tài)估計(jì)回歸模型。Ruiz 等［3］把回歸問(wèn)題轉(zhuǎn)化為分類與回歸相結(jié)合的問(wèn)題處理，訓(xùn)練了一個(gè)深度CNN 直接從圖像強(qiáng)度預(yù)測(cè)頭部姿態(tài)。他們首先用分類的結(jié)果去映射一個(gè)可以回歸的區(qū)間范圍，再利用multi-loss 來(lái)進(jìn)行回歸預(yù)測(cè)。Ahn 等［7］提出了一種利用RGB 估計(jì)頭部姿態(tài)的高效CNN 模型，并采用基于粒子濾波的后處理方法提高了模型在視頻應(yīng)用中的穩(wěn)定性。Drouard 等［8］提出了方向梯度直方圖（Histogram of Oriented Gradients，HOG）特征和高斯局部線性映射模型相結(jié)合的方法來(lái)進(jìn)行頭部姿態(tài)估計(jì)，將人臉描述符映射到頭部姿態(tài)空間，從而預(yù)測(cè)頭部旋轉(zhuǎn)角度。然而，這類估計(jì)方法往往會(huì)受到光照變化的影響，很難適用于夜間光線較差或白天光照持續(xù)變化等環(huán)境［9］。

為此，基于點(diǎn)云數(shù)據(jù)描述的方法被提出。點(diǎn)云數(shù)據(jù)描述的是場(chǎng)景的三維幾何結(jié)構(gòu)信息，不受光照變化的影響，能夠有效地應(yīng)對(duì)RGB 彩色圖像存在的問(wèn)題。Fanelli等［6］考慮到隨機(jī)回歸森林處理大型訓(xùn)練數(shù)據(jù)的能力，通過(guò)該方法來(lái)估計(jì)鼻尖的三維坐標(biāo)和頭部距離圖像的旋轉(zhuǎn)角度，從而實(shí)現(xiàn)姿態(tài)預(yù)測(cè)。Padeleris 等［10］根據(jù)相機(jī)獲取的深度圖重建頭部的三維幾何模型，然后使用粒子群優(yōu)化算法進(jìn)行頭部姿態(tài)估計(jì)。Papazov等［11］引入了一種新的三角曲面描述符來(lái)編碼三維曲面的形狀，訓(xùn)練階段合成頭部模型，通過(guò)對(duì)比輸入深度圖與頭部模型的描述符進(jìn)行頭部姿態(tài)估計(jì)。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得巨大的成功，研究人員開(kāi)始采用基于深度學(xué)習(xí)的方法解決頭部姿態(tài)估計(jì)問(wèn)題。Venturelli 等［12］采用深度圖作為輸入，將CNN 用于頭部姿態(tài)估計(jì)。Chen 等［13］提出CNN 與隨機(jī)森林相結(jié)合的方式，采用CNN 來(lái)獲取關(guān)節(jié)信息，再通過(guò)隨機(jī)森林將之細(xì)化，進(jìn)而實(shí)現(xiàn)姿態(tài)估計(jì)。但是，傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)只能處理高度規(guī)則的數(shù)據(jù)格式，比如二維圖片或三維網(wǎng)格，而點(diǎn)云數(shù)據(jù)是點(diǎn)的集合，通常被轉(zhuǎn)化為多視角下的深度圖或三維網(wǎng)格，這導(dǎo)致了數(shù)據(jù)的冗余，計(jì)算復(fù)雜度高，無(wú)法滿足實(shí)時(shí)性的要求［14-15］。

針對(duì)上述問(wèn)題，本文直接采用點(diǎn)云數(shù)據(jù)作為輸入來(lái)進(jìn)行頭部姿態(tài)估計(jì)，提出了一種新的深度學(xué)習(xí)框架——HPENet。主要思想是，將頭部姿態(tài)估計(jì)抽象為回歸問(wèn)題，對(duì)于輸入的無(wú)序排列和非均勻分布的點(diǎn)云，通過(guò)深度網(wǎng)絡(luò)提取魯棒的頭部特征，用于頭部姿態(tài)的估計(jì)。為了解決點(diǎn)云數(shù)據(jù)存在的非均勻采樣和無(wú)序排列問(wèn)題，HPENet分別引入了分組采樣層和特征提取層，從而提高三維頭部姿態(tài)估計(jì)特征提取的準(zhǔn)確性。HPENet能夠直接處理點(diǎn)云數(shù)據(jù)，結(jié)構(gòu)簡(jiǎn)單，準(zhǔn)確度高，更能適用于快速、可靠的人臉?lè)治鋈蝿?wù)。

1 基于點(diǎn)云的深度學(xué)習(xí)

點(diǎn)云數(shù)據(jù)是三維幾何信息的一種表示方式，是由一系列的點(diǎn)組成的集合{ pi=(xi，yi，zi)|i = 1，2，…，N }。其中:pi代表點(diǎn)云中的元素；(xi，yi，zi)為其三維空間坐標(biāo)；N 表示點(diǎn)的數(shù)目。此外，點(diǎn)云也可以用一個(gè)N × 3 維的矩陣來(lái)表示。與三維網(wǎng)格（mesh）相比，點(diǎn)云數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單，對(duì)幾何信息的表示統(tǒng)一，更適用于深度網(wǎng)絡(luò)的學(xué)習(xí)［14-15］。

傳統(tǒng)的深度學(xué)習(xí)以規(guī)則的數(shù)據(jù)為輸入，比如二維圖像網(wǎng)格或三維體素，能夠?qū)崿F(xiàn)網(wǎng)絡(luò)權(quán)重共享，進(jìn)行卷積操作。卷積神經(jīng)網(wǎng)絡(luò)在各種任務(wù)中成功的關(guān)鍵在于，卷積算子能夠有效地利用規(guī)則數(shù)據(jù)的空間局部相關(guān)性［16］。

而點(diǎn)云數(shù)據(jù)是一系列無(wú)序點(diǎn)的集合（見(jiàn)1.1 節(jié)），無(wú)法直接應(yīng)用卷積操作；同時(shí)，點(diǎn)云采樣密度不均勻（見(jiàn)1.2 節(jié)）增加了將深度學(xué)習(xí)應(yīng)用于點(diǎn)云數(shù)據(jù)的難度。因此，需要解決將深度學(xué)習(xí)應(yīng)用于點(diǎn)云存在的問(wèn)題，以提高頭部姿態(tài)估計(jì)的準(zhǔn)確性。

1.1 點(diǎn)云無(wú)序性

點(diǎn)的順序不會(huì)影響點(diǎn)云在空間中的整體幾何表示，相同的點(diǎn)云可以由兩個(gè)不同的矩陣表示，如圖1（a）所示。因此，深度網(wǎng)絡(luò)架構(gòu)提取的特征需要對(duì)點(diǎn)云的無(wú)序性保持魯棒，即對(duì)于點(diǎn)云的不同矩陣表示A 和B，在特征提取時(shí)需保證提取的特征是相同的，如圖1（b）所示。

圖1 點(diǎn)云的無(wú)序性Fig. 1 Randomness of point cloud

1.2 在非均勻采樣密度下的魯棒性

點(diǎn)云非均勻采樣密度是指在數(shù)據(jù)采集過(guò)程中，由透視變換、徑向密度變化、目標(biāo)運(yùn)動(dòng)等引起的點(diǎn)云數(shù)據(jù)的不規(guī)則分布。在這種非均勻的采樣密度下，很難保證點(diǎn)集特征學(xué)習(xí)的魯棒性。例如，針對(duì)稀疏點(diǎn)云區(qū)域訓(xùn)練的模型可能無(wú)法識(shí)別到密集區(qū)域更加細(xì)微的特征。

因此，本文方法應(yīng)該能適用于不同密度下的特征提取，即對(duì)點(diǎn)云密集區(qū)域進(jìn)行特征提取時(shí)，網(wǎng)絡(luò)應(yīng)該盡可能小范圍地檢查點(diǎn)集，以捕獲密集采樣區(qū)域中最細(xì)微的特征。然而，對(duì)于稀疏區(qū)域應(yīng)該禁止這種檢查，因?yàn)榇藭r(shí)區(qū)域內(nèi)的點(diǎn)數(shù)過(guò)少，容易導(dǎo)致采樣不足，此時(shí)，應(yīng)該在更大的區(qū)域內(nèi)尋找更大的尺度提取特征。

2 頭部姿態(tài)估計(jì)

本文提出了一種新的基于深度學(xué)習(xí)的三維點(diǎn)云頭部姿態(tài)估計(jì)算法——HPENet。HPENet 以點(diǎn)云數(shù)據(jù)為輸入，輸出頭部的姿態(tài)，用歐拉角（Euler angles）表示，包括俯仰角、側(cè)傾角和偏航角。

2.1 整體結(jié)構(gòu)說(shuō)明

如圖2 所示，方法的整體結(jié)構(gòu)由數(shù)據(jù)預(yù)處理和HPENet 網(wǎng)絡(luò)構(gòu)成。數(shù)據(jù)預(yù)處理給出了頭部三維點(diǎn)云數(shù)據(jù)的生成方法（見(jiàn)2.2 節(jié)）。HPENet 網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)頭部點(diǎn)云數(shù)據(jù)的姿態(tài)估計(jì)，其中特征提取模塊采用PointNet++［15］網(wǎng)絡(luò)模型。PointNet++直接處理點(diǎn)云數(shù)據(jù)，并被成功應(yīng)用于目標(biāo)分類、檢測(cè)和場(chǎng)景分割。

HPENet 網(wǎng)絡(luò)直接以點(diǎn)云數(shù)據(jù)作為輸入，其維度為B ×N × C，其中，B 是輸入batch 的大小，N 為輸入點(diǎn)云的點(diǎn)數(shù)，C為點(diǎn)云的通道數(shù)。本文只采用點(diǎn)云的三維空間坐標(biāo)作為輸入，即C 的值為3。網(wǎng)絡(luò)輸出的是預(yù)測(cè)的頭部姿態(tài)角度，其維度為B × 3。

HPENet 網(wǎng)絡(luò)主要由分組采樣層（見(jiàn)2.3 節(jié)）、特征提取層（見(jiàn)2.4節(jié)）和全連接層三部分組成。

分組采樣層主要實(shí)現(xiàn)對(duì)點(diǎn)集進(jìn)行特征點(diǎn)采樣和分組，兩個(gè)分組采樣層的特征點(diǎn)數(shù)目選取分別為512和128，區(qū)域半徑分別為0.2 和0.4。特征提取層主要實(shí)現(xiàn)對(duì)分組后的點(diǎn)云進(jìn)行特征提取。該層依賴于特征提取對(duì)稱函數(shù)，該函數(shù)由3 個(gè)核為1× 1 的卷積層和一個(gè)最大池化層組成。PHENet 遞歸調(diào)用了三次該特征提取對(duì)稱函數(shù)，每次卷積層輸出通道數(shù)分別為（64，64，128）、（128，128，256）和（256，512，1 024）。全連接層主要實(shí)現(xiàn)對(duì)輸出的特征向量進(jìn)一步處理，以預(yù)測(cè)頭部姿態(tài)。其維度分別為512、256 和3。同時(shí)，為了防止過(guò)擬合，加入了Dropout操作（σ=0.5）。

由于頭部姿態(tài)估計(jì)可看作一個(gè)多元回歸問(wèn)題，因此網(wǎng)絡(luò)損失函數(shù)采用均方誤差（Mean Square Error，MSE）:

圖2 頭部姿態(tài)估計(jì)整體框架Fig. 2 Overall framework of head pose estimation

2.2 數(shù)據(jù)預(yù)處理

深度傳感器采集的是場(chǎng)景在某一視角下的三維幾何信息，以深度圖的形式保存。因此，需要對(duì)傳感器采集的數(shù)據(jù)進(jìn)行處理，以獲得三維點(diǎn)云數(shù)據(jù)［17］。

本文遵從文獻(xiàn)［9］的做法，假定經(jīng)過(guò)人臉檢測(cè)已經(jīng)獲取到頭部中心點(diǎn)(xH，yH)，則頭部的深度圖片可由中心點(diǎn)為(xH，yH)、寬和高分別為w、h 的矩形框提取。w、h 的計(jì)算公式如下:

其中:fx、fy是傳感器的內(nèi)部參數(shù)，分別為水平和垂直焦距；Rx、Ry表示人臉的平均寬度和高度（其值均設(shè)為300 mm）；D為頭部中心(xH，yH)的深度值。

由頭部的深度圖片生成相應(yīng)的三維點(diǎn)云結(jié)構(gòu)，就是將圖像中的任意一點(diǎn)(u，v)從圖像坐標(biāo)系映射到世界坐標(biāo)系，如下所示:

其中:(x，y，z)表示世界坐標(biāo)系下的坐標(biāo)值；(u0，v0)是傳感器的內(nèi)部參數(shù)，分別表示圖像坐標(biāo)系在x和y方向相對(duì)于世界坐標(biāo)系的偏移量；d為點(diǎn)(u，v)處的深度值。

此外，神經(jīng)網(wǎng)絡(luò)要求輸入數(shù)據(jù)的維度保持一致，為了將生成的頭部三維點(diǎn)云數(shù)據(jù)用于深度網(wǎng)絡(luò)架構(gòu)，本文采用最遠(yuǎn)點(diǎn)采樣算法處理生成的三維點(diǎn)云，使得采樣后的點(diǎn)數(shù)相同。同時(shí)，為了加快網(wǎng)絡(luò)訓(xùn)練的收斂、減少運(yùn)算時(shí)間，分別對(duì)點(diǎn)云數(shù)據(jù)的三個(gè)通道進(jìn)行標(biāo)準(zhǔn)化，使得數(shù)據(jù)的均值為0、方差為1。

數(shù)據(jù)采用SPSS 22.0軟件進(jìn)行統(tǒng)計(jì)處理。首先進(jìn)行正態(tài)分布檢驗(yàn)，符合正態(tài)分布的計(jì)量資料以x±s表示，多組間比較采用方差分析，兩組間比較采用t檢驗(yàn)。P＜0.05為差異有統(tǒng)計(jì)學(xué)意義。

2.3 下采樣和分組

如1.2 節(jié)所述，在對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取時(shí)，網(wǎng)絡(luò)需要有效地處理非均勻采樣密度的問(wèn)題，以提高網(wǎng)絡(luò)學(xué)習(xí)的特征的鑒別力。本文在HPENet深度網(wǎng)絡(luò)中引入分組采樣層，將點(diǎn)云數(shù)據(jù)進(jìn)行分層表示，用于后續(xù)點(diǎn)云由整體到局部的特征描述。

分組采樣層由下采樣和分組操作組成，下采樣提取點(diǎn)云數(shù)據(jù)中的特征點(diǎn)，分組操作借助關(guān)鍵點(diǎn)將點(diǎn)云數(shù)據(jù)進(jìn)行分組表示。HPENet通過(guò)遞歸調(diào)用分組采樣層，實(shí)現(xiàn)了點(diǎn)云數(shù)據(jù)的分層表示。

下采樣采用最遠(yuǎn)點(diǎn)采樣算法［18］。對(duì)于一個(gè)給定的點(diǎn)集{ p1，p2，…，pn}，從中隨機(jī)選取一點(diǎn)pi，找到距離該點(diǎn)最遠(yuǎn)的一個(gè)點(diǎn)pij放入新的集合。迭代上述過(guò)程，便能獲指定數(shù)目的采樣點(diǎn)集{ pi1，pi2，…，pij}，并將該點(diǎn)集中的點(diǎn)作為當(dāng)前點(diǎn)云數(shù)據(jù)的特征點(diǎn)。與隨機(jī)采樣相比，最遠(yuǎn)點(diǎn)采樣算法獲得的點(diǎn)能夠更好地覆蓋整個(gè)點(diǎn)集［15］。

分組操作以提取的特征點(diǎn){ pi1，pi2，…，pij}為球心、按照特定的半徑將不同區(qū)域的點(diǎn)進(jìn)行分組，獲得一個(gè)新的分組集合{g1，g2，…，gj}，gj表示由pij為球心特定半徑內(nèi)的所有點(diǎn)的集合，將該集合用于后續(xù)特征提?。ㄒ?jiàn)2.4節(jié)）。

迭代上述下采樣與分組操作，實(shí)現(xiàn)了點(diǎn)云的分層表示，如圖3 所示。分組采樣層能夠有效地解決點(diǎn)云數(shù)據(jù)存在的非均勻采樣問(wèn)題，使得網(wǎng)絡(luò)能夠?qū)W習(xí)到點(diǎn)云整體到局部的特征。

2.4 點(diǎn)云特征提取

本節(jié)首先給出了特征提取對(duì)稱函數(shù)的公式及定理描述，通過(guò)該對(duì)稱函數(shù)解決點(diǎn)云數(shù)據(jù)存在的無(wú)序性問(wèn)題（見(jiàn)1.1節(jié)）。然后，對(duì)于2.3 節(jié)提出的分組采樣，后續(xù)給出了詳細(xì)的分層特征提取說(shuō)明。

定義離散空間χ =(P，d)∈?N，其中點(diǎn)集P ??N，d 是距離度量。對(duì)于給定一個(gè)無(wú)序點(diǎn)集{ pi∈?N|i = 1，2，…，n }，通過(guò)分組采樣獲得新的分組集合{g1，g2，…，gj}，定義一組函數(shù)f:χ →?將一組點(diǎn)映射到向量:

定 理1 假 定f:χ →? 是 一 個(gè) 對(duì) 于Hausdorff 距離dH(?，?)的連續(xù)函數(shù)，?ε ＞0，存在一個(gè)連續(xù)μ和一個(gè)對(duì)稱函數(shù)υ °max，使得?P ∈χ都有:

其中:x1，x2，…，xn是任意順序點(diǎn)集P 的完整點(diǎn)云序列；υ 是一個(gè)連續(xù)函數(shù)；max 是一個(gè)向量最大值操作，即輸入n 個(gè)向量并返回一個(gè)元素最大值的新向量；符號(hào)“°”是映射乘法，也就是應(yīng)用了映射max后，再應(yīng)用映射υ。

上述定理1 表明，如果最大池層有足夠多的神經(jīng)元，f 可以被該網(wǎng)絡(luò)任意近似，即式（4）中M 足夠大。通過(guò)這種近似，無(wú)序的點(diǎn)云能夠被一個(gè)一般函數(shù)表示，從而解決點(diǎn)集的無(wú)序性問(wèn)題。

此外，承接2.3 節(jié)提到特征分層提取。對(duì)分組后的點(diǎn)云數(shù)據(jù)，本文通過(guò)對(duì)稱函數(shù)中的多層感知機(jī)進(jìn)行特征提取，提取示意圖如圖3 所示。點(diǎn)集的特征由兩個(gè)特征向量組成:特征向量a 由Li層所有點(diǎn)特征提取匯總而成，該層所有點(diǎn)特征由Li-1層中每個(gè)分組特征獲得；特征向量b是直接處理Li-1層區(qū)域內(nèi)所有原始點(diǎn)而獲得的特征。對(duì)于點(diǎn)集稀疏區(qū)域，每個(gè)分組內(nèi)包含較少的點(diǎn)，容易導(dǎo)致采樣不足，使得第一個(gè)向量不如第二個(gè)向量可靠。因此，在訓(xùn)練時(shí)第二個(gè)向量學(xué)習(xí)到的權(quán)重會(huì)更高。另一方面，當(dāng)對(duì)點(diǎn)集密集區(qū)域提取特征時(shí)，在分組內(nèi)提取特征具有更高的檢測(cè)分辨率，能夠獲取到點(diǎn)云更精細(xì)的特征信息，所以在這種情況下，第二向量學(xué)習(xí)到的權(quán)重會(huì)更高。訓(xùn)練時(shí)，網(wǎng)絡(luò)按上述方式不斷學(xué)習(xí)、調(diào)節(jié)權(quán)重，找到適合不同點(diǎn)云密度下提取特征的最優(yōu)權(quán)重，從而有效地解決在非均勻密度下采樣的問(wèn)題。

圖3 分層特征提取示意圖Fig. 3 Schematic diagram of feature extraction of different layers

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文提出的三維點(diǎn)云頭部姿態(tài)估計(jì)網(wǎng)絡(luò)HPENet的有效性，進(jìn)行了一系列的實(shí)驗(yàn)。本章首先介紹了用于實(shí)驗(yàn)的公共數(shù)據(jù)集Biwi Kinect Head Pose［6］（見(jiàn)3.1 節(jié)）；然后，測(cè)試了HPENet 在頭部姿態(tài)估計(jì)上的準(zhǔn)確性，驗(yàn)證了不同密度下的點(diǎn)云輸入對(duì)姿態(tài)預(yù)測(cè)魯棒性的影響，還測(cè)試了方法的時(shí)間消耗（見(jiàn)3.2節(jié)）。

為了定量地評(píng)價(jià)頭部姿態(tài)估計(jì)的準(zhǔn)確性，本文遵循文獻(xiàn)［9］的做法，采用評(píng)價(jià)指標(biāo)S如下:

其中:α 為所有真實(shí)值與預(yù)測(cè)值之差的絕對(duì)值的均值；β 為所有真實(shí)值與預(yù)測(cè)值之差的絕對(duì)值的標(biāo)準(zhǔn)差。

在超參數(shù)的選取上，batch 的大小為32，輸入點(diǎn)云的點(diǎn)數(shù)為4 096，學(xué)習(xí)率為0.001，衰減率為0.9，衰減步長(zhǎng)為20 000。實(shí)驗(yàn)在Ubuntu16.04 操作系統(tǒng)下運(yùn)行，CPU 為Intel Core-i7（3.40 GHz），內(nèi) 存 為16 GB，顯 卡 為NVIDIA GTX1080TI 11 GB。

3.1 數(shù)據(jù)集

Biwi Kinect Head Pose 數(shù)據(jù)集［6］采用Kinect 傳感器采集，具有15 000 多張頭部姿態(tài)圖像，包括深度圖和相應(yīng)的RGB圖，分辨率均為640×480。數(shù)據(jù)集記錄了20 個(gè)不同人物（6 名女性和14 名男性）的24 個(gè)序列，其中一些人被記錄了兩次。因?yàn)樯疃葓D像的質(zhì)量較低，頭發(fā)、眼鏡等對(duì)數(shù)據(jù)造成了一定干擾，使之成為一個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集。數(shù)據(jù)集給出了頭部姿態(tài)的真實(shí)值，并提供了人物的頭部中心位置和傳感器的內(nèi)置參數(shù)。為了與其他優(yōu)秀算法作對(duì)比，并保證對(duì)比結(jié)果的有效性，本文實(shí)驗(yàn)遵循文獻(xiàn)［9］的做法，將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集。其中:測(cè)試集包括序列11 和12，約1 000 張圖片；訓(xùn)練集包含剩余的22個(gè)序列，約14 000張圖片。

3.2 結(jié)果分析

從圖4 所示的損失函數(shù)訓(xùn)練變化曲線可看出:在訓(xùn)練開(kāi)始階段損失值下降幅度很大，說(shuō)明學(xué)習(xí)率合適梯度下降過(guò)程；在學(xué)習(xí)到一定階段后，損失曲線逐漸趨于平穩(wěn)，說(shuō)明網(wǎng)絡(luò)逐漸收斂。

圖4 損失函數(shù)訓(xùn)練變化曲線Fig. 4 Curve of loss function

圖5 給出了本文方法在測(cè)試時(shí)，每幀圖片的俯仰角、側(cè)傾角和偏航角的真實(shí)值和預(yù)測(cè)值的變化曲線。從圖5 可以看出，預(yù)測(cè)的頭部姿態(tài)角度和數(shù)據(jù)集提供的真實(shí)值極其接近，即本文方法能夠精確預(yù)測(cè)頭部姿態(tài)角度。此外，當(dāng)曲線中的角度值增大時(shí)（如圖5（a）角度大于40°），預(yù)測(cè)的誤差略有增加。這是因?yàn)楫?dāng)頭部偏轉(zhuǎn)或俯仰角度增大時(shí)，所遮擋的頭部區(qū)域變大，該區(qū)域具有的特征變少，從而使得預(yù)測(cè)更加困難。

表1 列出了本文方法和其他優(yōu)秀算法在公共數(shù)據(jù)集Biwi Kinect Head Pose 上實(shí)驗(yàn)的結(jié)果對(duì)比。表1中給出了方法的數(shù)據(jù)類型、俯仰角、側(cè)傾角和偏航角的性能指標(biāo)以及平均性能，其中部分方法只提供了三個(gè)角度的誤差的均值。從表1 可以看出，與其他方法相比，本文方法具有更小的誤差，俯仰角、側(cè)傾角和偏航角的誤差均值分別為2.3°、1.5°、2.4°。同時(shí)，HPENet 的平均標(biāo)準(zhǔn)差為1.6°，小于其他方法，說(shuō)明該方法預(yù)測(cè)結(jié)果趨于準(zhǔn)確值且波動(dòng)更小。

表2 列出了在1 024、2 048 和4 096 三種不同輸入點(diǎn)數(shù)下進(jìn)行頭部姿態(tài)估計(jì)的實(shí)驗(yàn)結(jié)果。從平均值來(lái)看，三種輸入點(diǎn)數(shù)，平均的誤差值分別為2.4°、2.2°、2.1°，三者差異極小，即輸入點(diǎn)的數(shù)目變化對(duì)本文方法在頭部姿態(tài)估計(jì)上的結(jié)果影響不大。點(diǎn)數(shù)越多所包含幾何信息更多，點(diǎn)云分布更稠密。這也說(shuō)明了本文方法在非均勻采樣密度下進(jìn)行特征提取，具有較好的魯棒性。

圖5 姿態(tài)角度預(yù)測(cè)示意圖Fig. 5 Schematic diagram of prediction of pose angles

表1 不同方法在Biwi數(shù)據(jù)集上的誤差比較 單位：（°）Tab. 1 Comparison of errors achieved by different methods on Biwi dataset unit:（°）

表2 HPENet在Biwi數(shù)據(jù)集上輸入點(diǎn)數(shù)對(duì)誤差的影響單位：（°）Tab. 2 Influence of different number of input points on errors achieved by HPENet on Biwi dataset unit:（°）

為了更加直觀地體現(xiàn)本文方法的性能，給出了測(cè)試中兩個(gè)姿態(tài)角度較大的姿態(tài)預(yù)測(cè)示例，如圖6 所示。圖6（a）是測(cè)試輸入的截取后的頭部深度圖片，圖6（b）是頭部點(diǎn)云真實(shí)姿態(tài)圖，圖6（c）是頭部點(diǎn)云預(yù)測(cè)姿態(tài)圖。為了便于觀察姿態(tài)角度，圖6（b）、（c）中在鼻尖用圓柱體標(biāo)出。由于角度較大，面部遮擋更加嚴(yán)重，使得預(yù)測(cè)更加困難。但從圖6 中可以看出真實(shí)姿態(tài)角度和網(wǎng)絡(luò)預(yù)測(cè)的姿態(tài)角度差距不大，說(shuō)明HPENet對(duì)遮擋、姿態(tài)角度較大的圖片依然具有魯棒性。

圖6 姿態(tài)預(yù)測(cè)示例Fig. 6 Examples of head pose prediction

表3 列出了幾種方法在時(shí)間消耗上的比較。從表3 中可以看出，在同種數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境下，本文方法的時(shí)間消耗為8 ms/frame，遠(yuǎn)低于其他對(duì)比方法。這是由于本文提出的網(wǎng)絡(luò)結(jié)構(gòu)相比于其他采用RGB 或深度圖作為輸入數(shù)據(jù)的網(wǎng)絡(luò)更加簡(jiǎn)單；同時(shí)，本文方法直接處理點(diǎn)云數(shù)據(jù)，避免了將點(diǎn)云轉(zhuǎn)化為多視角下的深度圖或三維網(wǎng)格所帶來(lái)的數(shù)據(jù)冗余和計(jì)算復(fù)雜度高的問(wèn)題。

表3 時(shí)間消耗比較 單位：msTab. 3 Comparison of time cost unit:ms

4 結(jié)語(yǔ)

為了解決頭部姿態(tài)估計(jì)問(wèn)題，本文提出了一種新的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)HPENet，能夠直接處理點(diǎn)云數(shù)據(jù)。在公共數(shù)據(jù)集Biwi Kinect Head Pose 上的實(shí)驗(yàn)結(jié)果表明，相對(duì)于目前大多采用傳統(tǒng)RGB 圖和深度圖片的方法，HPENet 具有更高的準(zhǔn)確性。同時(shí)，本文方法結(jié)構(gòu)簡(jiǎn)單、時(shí)間消耗低，能夠應(yīng)用在許多人臉相關(guān)任務(wù)中。后期我們將對(duì)網(wǎng)絡(luò)進(jìn)一步優(yōu)化，以獲得更好的效果，并應(yīng)用于三維人臉檢測(cè)、識(shí)別等任務(wù)中。