王海榮

摘要：文章對面部表情追蹤技術(shù)在VR設(shè)備中的發(fā)展趨勢進行了研究，首先對面部表情追蹤的原理加以說明，分析了以接觸式傳感器和非接觸式傳感器為基礎(chǔ)的兩種面部表情追蹤技術(shù)。并通過對虛擬現(xiàn)實設(shè)備發(fā)展概況的介紹，著重闡述了VR設(shè)備中面部表情追蹤技術(shù)硬件系統(tǒng)實現(xiàn)的三種主流類型，并對這三種類型的性能進行了分析比較。探討了以主流的VR頭戴式顯示設(shè)備為開發(fā)平臺的面部表情追蹤技術(shù)在各領(lǐng)域內(nèi)的應(yīng)用，并對面部表情追蹤技術(shù)的應(yīng)用前景進行了總結(jié)和展望。

關(guān)鍵詞：面部表情追蹤;VR設(shè)備;接觸式傳感器;非接觸式傳感器;VR頭戴式顯示設(shè)備

中圖分類號：TP37 文獻標(biāo)識碼：A

文章編號：1009-3044（2019）32-0232-04

人的面部表情是人體行為信息的主要體現(xiàn)，在人與人的交流過程中，除了聲音外，面部表情也是至關(guān)重要的通信方式，據(jù)統(tǒng)計，人類在社交中的信息傳達只有30%是通過語言來實現(xiàn)的，剩余70%是通過表情和肢體動作來實現(xiàn)。面部表情傳遞著情感線索，也是人類生理特征的評價因素，而表情識別是綜合了心理學(xué)、生理學(xué)、計算機視覺、模式識別的交叉課題，對面部表情的追蹤研究是人工智能的基礎(chǔ)，是未來VR（虛擬現(xiàn)實）的一個重要部分。

虛擬現(xiàn)實技術(shù)作為下一代的信息平臺，將面部表情追蹤技術(shù)應(yīng)用到VR設(shè)備中，讓VR用戶產(chǎn)生身臨其境的感覺，不僅使人在虛擬的交流平臺上更具沉浸感，也可以通過VR設(shè)備來傳遞人類情緒信息，通過對傳遞情緒信息的分析，來判斷人類心理和生理特征，這無論是在通信領(lǐng)域還是在醫(yī)學(xué)領(lǐng)域都將具備極大的應(yīng)用前景。近年來，VR設(shè)備的發(fā)展也為面部表情追蹤提供了良好的平臺，Veeso、Emteq、HTCVivePre、Oculus Rift等一些世界領(lǐng)先的VR頭盔顯示器亮相市場，在業(yè)界推動下，滲入到多領(lǐng)域的應(yīng)用中去。

目前在VR設(shè)備中進行面部表情追蹤時還存在很多阻礙，當(dāng)用戶使用VR頭戴式顯示設(shè)備時，面部60%的區(qū)域被遮擋㈣，不能實現(xiàn)準(zhǔn)確的面部表情識別，很難恢復(fù)完整的面部運動。對于這個問題，國內(nèi)外研究者也給出了不同的解決方案。

1面部表情追蹤原理與實現(xiàn)技術(shù)

1.1面部表情追蹤原理

面部表情的實時追蹤在視頻監(jiān)控和人機交互領(lǐng)域有著廣泛的應(yīng)用，面部表情追蹤不是簡單的表情識別，面部表情識別是對靜止圖像中的相關(guān)特征進行處理并識別，而面部表情追蹤則是研究在連續(xù)的圖像幀中定位面部的運動情況，獲取基于位置、速度、形狀、紋理、色彩等有關(guān)特征量與面部表情的匹配問題。

1.2VR面部表情追蹤技術(shù)

面部表情追蹤即尋找面部特征變化，根據(jù)面部各器官的變化來判斷人的情感狀態(tài)。目前面部表情追蹤技術(shù)都是以硬件為基礎(chǔ)來獲取面部特征，從而還原面部運動。以硬件為基礎(chǔ)的面部表情追蹤技術(shù)的基本原理是利用傳感器來檢測面部關(guān)鍵器官的運動，借助VR設(shè)備來采集相關(guān)信息，然后對采集到的信息進行處理。這里將VR設(shè)備上面部運動檢測傳感器分為兩種類型，即接觸式與非接觸式形式。

1）接觸式傳感器面部表情追蹤。在VR頭盔內(nèi)安裝一些接觸式傳感器，緊貼臉部不同的部位，獲取不同器官的運動信息，這對用戶的干擾比較大，面部表情追蹤的準(zhǔn)確度也會受到很大的影響。Babiloni F等人通過對腦電信號（EEG）的獲取來追蹤人的面部表情;Gruebler A等人通過電極在人臉側(cè)面進行表面肌電信號（EMG）的采集，Nakayama Y等人通過肌電信號的檢測來識別微笑;Roias J、Rantanen v、1wasaki M等人針對人臉能夠體現(xiàn)人類情感的關(guān)鍵器官如眼睛、眉毛、嘴巴等的運動檢測。刪來進行面部表情追蹤。

2）非接觸式傳感器面部表情追蹤。目前面部表情的追蹤多采用在VR設(shè)備上安裝攝像頭，先利用攝像機獲取人眼、嘴或臉部圖像，然后用軟件來實現(xiàn)人臉或臉部各器官的定位和跟蹤，從而來計算、識別面部表情。攝像設(shè)備與用戶非接觸，對用戶的干擾較小，用戶的面部表情能比較準(zhǔn)確的體現(xiàn)心理情感。B.Romera-Paredes等人提出了在VR頭戴式顯示設(shè)備內(nèi)置攝像頭，使用戶在遠程端采用動畫的化身來參加會議或聚會，由于相機非常貼近臉部，很難全方位的觀察人臉，而B.Romera-Paredes使用的Kinect深度傳感器很好解決了相機視角有限的問題;K.Bhat等人通過拍攝到的視頻流結(jié)合眼瞼和內(nèi)嘴的輪廓來重建動畫原型;Yanchao Dong等人使用單目攝像機實現(xiàn)實時三維面部運動跟蹤，如眼瞼運動和口腔運動，實現(xiàn)對表隋的分析和心理推斷。

2VR設(shè)備面部表情追蹤技術(shù)的硬件實現(xiàn)

目前在VR頭戴式顯示設(shè)備中引入了面部表情追蹤技術(shù)，獲取面部表情的主流方法有三種，一種是相關(guān)傳感器的形式，一種是使用攝像頭的形式，還有一種是傳感器+攝像頭的形式。Wolfprint 3D公司利用3D掃描技術(shù)為用戶拍出一個高分辨率的3D面部模型，從而通過電腦技術(shù)實現(xiàn)數(shù)字化重建;Emteq公司通過Emteq面部活動遠程監(jiān)視眼鏡追蹤用戶的面部表情，并把表情實時顯示到emoji表情中;BinaryVR公司通過3D攝像頭追蹤用戶的嘴巴、下巴和面頰運動，該攝像頭可以識別20種不同的面部表情;High Fidelity使用3D掃描儀和深度傳感攝像頭，結(jié)合高端的PC虛擬現(xiàn)實頭顯來進行真實感圖像渲染。

2.1 VR設(shè)備面部表情追蹤硬件實現(xiàn)系統(tǒng)類型

VR中面部表隋追蹤技術(shù)的三種主流系統(tǒng)：

1）傳感器。這種系統(tǒng)的主流開發(fā)團隊是Emteq公司，Em-teq公司的Faceteq臉部追蹤技術(shù)即通過應(yīng)用多種生物傳感器，如肌電圖、心電圖、心率等技術(shù)，將其植入VR頭顯中，當(dāng)臉部肌肉運動時，會通過傳感器追蹤到電流，從而讀取用戶臉部的運動情況。

2）攝像頭。Veeso團隊開發(fā)了世界首個公開的可支持面部追蹤的VR頭顯，設(shè)備中的一個攝像頭會追蹤用戶的口部、嘴唇和下巴，另一個攝像頭追蹤眼皮、眉毛以及瞳孔，追蹤到的所有數(shù)據(jù)可實時映射到3D虛擬化身中，實現(xiàn)表情同步。Olszews-kiK在Veeso團隊的基礎(chǔ)上做了進一步的研究，改進的原型如圖1所示：

實現(xiàn)了面部表情跟蹤重建、音頻對齊和頭部運動檢測的功能，而面部表情的跟蹤和重建主要是實現(xiàn)了眼部區(qū)域和嘴部區(qū)域的跟蹤重建，在面部表情跟蹤重建上，具體硬件系統(tǒng)的實現(xiàn)如圖2所示，2個IR攝像機跟蹤眼部區(qū)域的運動，6個IRLED燈安裝在眼睛周圍，便于在光線暗淡的情況下觀察眼部區(qū)域的運動;而RGB攝像機則跟蹤嘴部區(qū)域的運動。

3）傳感器+攝像頭。Olszewski K團隊則在Emteq公司的基礎(chǔ)上融合傳感器和攝像頭技術(shù)，主要功能是實現(xiàn)了面部表情的追蹤和重建。集成原型如圖3所示：

VR設(shè)備采用的是Oculus Rift DK2的頭顯設(shè)備，與附加的8個應(yīng)變傳感器實現(xiàn)無縫銜接，應(yīng)變傳感器用來實現(xiàn)對眼部區(qū)域的運動檢測，外掛一個RGB-D攝像頭，用來實現(xiàn)對嘴部動作的檢測，將傳感器與攝像頭分別檢測到的信號進行融合，最后來實現(xiàn)對面部表隋的追蹤和重建。

2.2VR設(shè)備面部表情追蹤性能分析比較

VR設(shè)備面部表情追蹤應(yīng)該具備以下性能：首先是面部表情識別的準(zhǔn)確性，由于多數(shù)VR頭顯設(shè)備都會由于設(shè)備本身而遮擋住臉部的大部分區(qū)域，識別遮擋區(qū)域的表情信息是關(guān)鍵，這直接影響著數(shù)據(jù)重建的準(zhǔn)確性;其次是VR設(shè)備本身的重量問題，所使用的頭顯設(shè)備需按照工效學(xué)的設(shè)計原理，輕便耐用，所添加的傳感器或其他設(shè)備不會影響其重量，不會對人類情緒造成外部干擾，能做到無約束;要求實時性，數(shù)據(jù)采集的實時性，具有實時反饋功能，在表情追蹤和重建上同步性能要好。

以上團隊所使用的VR設(shè)備面部表情追蹤硬件系統(tǒng)有著各自的優(yōu)勢和缺點，Emteq團隊由于只使用傳感器來進行面部表情追蹤，受外部干擾大，準(zhǔn)確性欠佳，而Veeso則僅用攝像頭來進行表情追蹤，被遮擋區(qū)域的識別效果將受到影響，影響準(zhǔn)確性;而Olszewski K團隊在Veeso的基礎(chǔ)上添加了IRLED燈，使光線暗淡處都能被準(zhǔn)確地識別，其準(zhǔn)確性相對Veeso有所提高，而增加的IRLED燈重量較小，也不會影響整個VR設(shè)備的重量;Olszewski K團隊在Emteq團隊的基礎(chǔ)上添加追蹤嘴部區(qū)域的攝像頭，準(zhǔn)確性、實時性都有所提高，但給整個VR設(shè)備增加了重量。將以上性能進行等級劃分，相對情況如表1所示：

3VR設(shè)備中面部表情追蹤技術(shù)的相關(guān)應(yīng)用研究

VR技術(shù)自誕生就備受矚目，現(xiàn)已經(jīng)在航空航天、軍事模擬、科學(xué)計算、游戲影視、醫(yī)學(xué)教育等領(lǐng)域得到了非常有價值的應(yīng)用，很多國家已經(jīng)將VR技術(shù)的研究應(yīng)用提升到戰(zhàn)略地位。隨著VR硬件設(shè)備的發(fā)展和升級，基于VR設(shè)備的應(yīng)用研究也有了更好的平臺，尤其是VR頭戴式顯示器的活躍發(fā)展，VR頭戴式顯示器中面部表情追蹤技術(shù)變得更有意義。本節(jié)著重介紹VR頭顯設(shè)備中面部表情追蹤技術(shù)的應(yīng)用研究，這些應(yīng)用將對VR面部表情追蹤技術(shù)的研究具有借鑒意義。

3.1游戲影視業(yè)的應(yīng)用

無疑目前VR頭戴式顯示設(shè)備已成為娛樂界的寵兒，它在游戲界、影視界掀起了不小的浪潮。以三大主流頭戴式顯示器Oculus Rift、HTC Vive、PlayStation VR為平臺的游戲產(chǎn)品已有不少，更多的游戲開發(fā)者把眼光投向VR平臺。英國新興VR公司Emteq開發(fā)的一項新技術(shù)——臉部追蹤技術(shù)Faceteq，在游戲玩家通過頭戴VR顯示設(shè)備，能夠身臨其境，通過對玩家面部表情的追蹤以數(shù)字的化身投入到迷人的虛擬世界中去，能豐富角色扮演游戲的角色情感，又能追蹤表情識別疲勞，實時的提醒玩家休息。2009年由詹姆斯·卡梅隆執(zhí)導(dǎo)的一部科幻電影《阿凡達》的成功上映，引發(fā)了全世界對3D電影制作的熱潮，觀眾在頭戴式VR顯示設(shè)備的觀看模式下，有最好的沉浸式體驗。同樣處于世界各地的你在虛擬的平臺上進行遠程交流，在不方便采用真實圖像的情況下，使用虛擬的數(shù)字化身進行身臨其境的包含感情的面對面交流將是最好的方式。

3.2醫(yī)療行業(yè)中的應(yīng)用

將新技術(shù)引人醫(yī)療一直是人們關(guān)注的話題，人工智能和VR技術(shù)的介入都將對醫(yī)療行業(yè)起到巨大的作用。例如，VR頭戴設(shè)備應(yīng)用于對自閉癥兒童的治療中，Newbutt N等人使用新設(shè)計的頭盔顯示器Oculus rift對自閉癥參與者進行測試，通過VR設(shè)備研究測試者的意愿、存在感和沉浸感，據(jù)悉，斯坦福大學(xué)正在開發(fā)能夠識別人情緒的軟件，并希望能夠在GoogleProject Glass（谷歌眼鏡）中安裝該應(yīng)用程序，能透過眼鏡對佩戴者情緒進行識別，這種技術(shù)一方面能幫助醫(yī)生判斷患者的心理狀況，另一方面也能幫助自閉癥患兒識別并理解他人的面部表情和不同情緒。

3.3旅游業(yè)中的應(yīng)用

VR給用戶帶來“睜著眼睛做夢”的感覺，2015年的F8開發(fā)者大會上，扎克伯格為希望去意大利小鎮(zhèn)的觀光者展示了一段VR旅游視頻，觀光者以虛擬方式“實地”考察，如在市場或城市廣場上閑庭信步。如今海灘、叢林、瀑布、金字塔和世界其他奇觀都可以通過VR系統(tǒng)來“實地”體驗。WenlongZhang等人對水下虛擬現(xiàn)實體驗的低成本的頭戴式顯示設(shè)備進行了研究，潛水活動需要專業(yè)的訓(xùn)練，即使有了適當(dāng)?shù)挠?xùn)練和經(jīng)驗，潛水活動仍然是一項危險且昂貴的活動，有些人也由于先天的生理不足而不能體驗這項刺激的活動，利用低成本的VR頭戴式顯示設(shè)備實現(xiàn)逼真的水下體驗，讓任何人都能身臨其境來體驗這種刺激。

4總結(jié)和展望

近年來，面部表情追蹤技術(shù)取得了顯著的技術(shù)進步，許多國家都在積極研究其在虛擬現(xiàn)實中的應(yīng)用，尤其是在主流的VR頭戴式顯示設(shè)備亮相市場以來，基于此平臺的科研成果已迅速轉(zhuǎn)化為各領(lǐng)域的實用技術(shù)。本文在總結(jié)了各類文獻的基礎(chǔ)上對面部表情追蹤原理進行了說明，并分析了以接觸式傳感器和非接觸式傳感器為基礎(chǔ)的兩種追蹤技術(shù)。通過對VR設(shè)備發(fā)展?fàn)顩r的介紹，闡述和分析了VR設(shè)備中面部表情追蹤硬件實現(xiàn)系統(tǒng)的三種主流類型，并對其性能進行了比較分析，以及基于VR頭戴式顯示設(shè)備的面部表情追蹤技術(shù)在各個領(lǐng)域的應(yīng)用研究。

以VR頭戴式顯示設(shè)備為平臺的面部表情追蹤技術(shù)已經(jīng)得到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注，無論是在硬件裝置、識別精度、應(yīng)用開發(fā)等方面都得到了快速的發(fā)展和提高。雖然VR頭戴式顯示器開發(fā)的主流都是國外的團隊，但國內(nèi)的發(fā)展和應(yīng)用研究也在不斷進步，2017年7月在中國蘇州召開的“虛擬現(xiàn)實/增強現(xiàn)實技術(shù)應(yīng)用與標(biāo)準(zhǔn)化論壇”上，中國電子技術(shù)標(biāo)準(zhǔn)化研究院副院長孫文龍在論壇上正式發(fā)布了《虛擬現(xiàn)實頭戴式顯示設(shè)備通用規(guī)范》英文版團體標(biāo)準(zhǔn)，這是中國在虛擬現(xiàn)實領(lǐng)域首個自主制定的標(biāo)準(zhǔn)，同時也是虛擬現(xiàn)實領(lǐng)域內(nèi)第一個英文版的標(biāo)準(zhǔn)。國內(nèi)外的研究已取得了一定的成績，但基于VR頭顯設(shè)備面部表情追蹤技術(shù)的應(yīng)用研究有待開發(fā)更廣泛的應(yīng)用領(lǐng)域，另外在面部表情追蹤的實現(xiàn)方法和數(shù)據(jù)處理上，還有很多工作可做，相信隨著計算機技術(shù)和高性能傳感器、攝像頭的出現(xiàn)，面部表情追蹤將朝著高準(zhǔn)確度、高實用性、實時性和低成本的方向發(fā)展。