唐詩揚(yáng)，朱江平，張建偉,

基于紅外結(jié)構(gòu)光的三維人臉建模

唐詩揚(yáng)1，朱江平2，張建偉1,2

（1. 四川大學(xué) 視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室，四川 成都 610065；2. 四川大學(xué) 計(jì)算機(jī)學(xué)院，四川 成都 610065）

在基于結(jié)構(gòu)光的雙目三維人臉重建中，容易丟失細(xì)節(jié)處數(shù)據(jù)和建模精度較低，導(dǎo)致三維人臉數(shù)據(jù)完整度不高，對三維人臉識別較差。本文研究了基于紅外條紋的雙目三維照相機(jī)系統(tǒng)，通過投射紅外條紋結(jié)構(gòu)光，根據(jù)相移法將生成包裹相位，利用三頻法得到絕對相位，生成視差圖，得到三維人臉模型。實(shí)驗(yàn)表明，基于紅外的啞鈴規(guī)球心測距誤差在0.1%以內(nèi)，人臉精度在0.1mm內(nèi)。在眼睛，眉毛等弱紋理區(qū)數(shù)據(jù)缺失較少，優(yōu)于基于可見光的三維建模，并且人臉模型更平滑更能反映人臉的真實(shí)三維形狀。通過對比投射紅外與可見光的性能，為三維人臉重建未來研究分析提供技術(shù)和算法上的參考。

紅外條紋；結(jié)構(gòu)光；雙目視覺；三維人臉建模；

0 引言

近年來三維人臉技術(shù)在計(jì)算機(jī)視覺中扮演著重要角色，可識別不同性別、年齡的面部細(xì)節(jié)，因此在生物識別領(lǐng)域也有著廣泛的應(yīng)用[1-2]。目前常見的三維人臉重建方法主要有飛行時(shí)間、立體視覺和結(jié)構(gòu)光掃描3種，而結(jié)構(gòu)光具有侵入性與外部刺激性更小、更隱蔽的優(yōu)點(diǎn)。結(jié)構(gòu)光可將編碼的圖案投影到被測物體的表面上形成一系列編碼的特征點(diǎn)，然后用相機(jī)捕獲編碼圖案信息覆蓋的表面圖像。所述編碼圖案通過對所述對象的表面形狀進(jìn)行調(diào)制而變形。編碼圖像可根據(jù)標(biāo)定參數(shù)解碼得到三維物體的表面信息，無需通過幾何約束條件就能得到三維點(diǎn)云，從而實(shí)現(xiàn)三維重建[3]。立體視覺三維重建方法對于平滑、特別是缺少特征的區(qū)域容易產(chǎn)生孔洞，而結(jié)構(gòu)光可重建均勻的點(diǎn)云，因此越來越多研究開始采用結(jié)構(gòu)光進(jìn)行三維重建[4]。根據(jù)結(jié)構(gòu)光重建的原理，惠宏超等人[5]提出一種基于數(shù)字光柵的三維測量系統(tǒng)，通過采集不同頻率的變形相移條紋圖，利用相移法和多頻外差法得到絕對相位，結(jié)合相位匹配重建出復(fù)雜異構(gòu)鑄件的三維模型。

為研究散斑結(jié)構(gòu)光和條紋結(jié)構(gòu)光對三維人臉模型的完整性和光滑度影響，本文通過使用一種基于結(jié)構(gòu)光和雙目相機(jī)的三維人臉重建系統(tǒng)，即利用雙目相機(jī)系統(tǒng)中的投影儀投射出結(jié)構(gòu)光[6-7]，并采集每種結(jié)構(gòu)光圖像打在人臉的圖片。通過計(jì)算對雙目體系中的左右相位圖進(jìn)行三維重建[8]，得到深度圖。最后轉(zhuǎn)換為點(diǎn)云數(shù)據(jù)，生成三維人臉模型。

1 本文方法

1.1 雙目條紋結(jié)構(gòu)光建模

本文算法流程如圖1所示。投影機(jī)在物體表面投射條紋光柵，左右紅外相機(jī)同時(shí)抓拍儲存帶有變形光柵的人臉圖片。采集到的圖片經(jīng)過計(jì)算條紋被物體高度調(diào)制以及四步移相法得到該處的包裹相位值。之后使用三頻外差法求解出絕對相位。將其輸入進(jìn)立體匹配中計(jì)算視差圖，求出深度圖，最后轉(zhuǎn)為點(diǎn)云圖獲取平滑的人臉三維數(shù)據(jù)。

圖1 建模流程圖

1.2 相移法

使用投影儀投射條紋圖在物體上時(shí)，相機(jī)可以采集到物體三維漫反射表面，之后使用正弦最小二乘擬合。在理想狀態(tài)下，條紋可由下式表示：

式中：(,)是條紋圖像的背景灰度值，取決于物體表面各向異性的折射率。(,)為調(diào)制強(qiáng)度，即光強(qiáng)差，取決于投影儀投射的條紋圖像亮度差。(,)是條紋變形的相位函數(shù)，包含了物體的表面三維信息。由于以上3個(gè)變量都是未知量，雖然當(dāng)≥3的時(shí)候理論上可解，但為使精度得到保證，一般采取≥4，將方程組轉(zhuǎn)換為超定方程組。通過三角函數(shù)展開，待求方程組可轉(zhuǎn)化為如下的矩陣：

通過最小二次乘法求解超定方程組可得方程最優(yōu)解可由下式表示：

對應(yīng)的條紋相位值可由下式得到：

通過公式(3)，(4)，(5)可以求得各種相移法，根據(jù)相應(yīng)的使用場景選用不同的方法。本文選用的是四步相移法如圖2所示。由于發(fā)射的條紋相位不同，會有四幅不同陰影的人臉圖像用于計(jì)算相位值。在不損失重建速度的情況下依舊能保證良好的精度。

由于之前根據(jù)相移法求出的相位差具有非周期性，所以需要使用解包裹來建立具有周期性、連續(xù)性的相位圖。一般使用空間相位展開或時(shí)間相位展開?？臻g相位展開即當(dāng)移動到新的周期時(shí)，通過比較像素點(diǎn)的截?cái)嘞辔恢?，對下一周期的相位進(jìn)行補(bǔ)償，使之前跳躍的周期變?yōu)檫B續(xù)的周期。但該方法精度不高，容易產(chǎn)生誤差。時(shí)間相位展開可以通過投射不同的條紋圖在輔助定位，從原理上避免了誤差傳播，其優(yōu)越的精確性得到了更多人的認(rèn)可。常用的時(shí)間相位展開方法有格雷編碼法[9]和多頻法[10]。由于格雷編碼法在較大場景應(yīng)用時(shí)需增加格雷編碼的位數(shù)，即增加采集成本。所以本文采用三頻法，通過投射3種頻率的條紋圖，利用之前的相移法求解出相位值，然后計(jì)算出絕對相位值。

1.3 三頻外差法

三頻外差法就是使用兩次雙頻外差法推導(dǎo)出相應(yīng)的絕對相位。而雙頻外差法根據(jù)外差原理疊加兩種不同頻率的相位函數(shù)，得到一個(gè)頻率相對更低的相位函數(shù)，如圖3所示。根據(jù)上文介紹的四步相移法得到的相位值1，2以及對應(yīng)的波長1，2。

相位值為：

圖3 外差法

波長（相位差周期）為：

絕對相位為：

根據(jù)公式(3)推出1,2，2,3再次利用雙頻外差法計(jì)算出最終的絕對相位值1,2,3。

1.4 三維重建

三維重建可以分為兩步：第一步找出兩幅圖像的對應(yīng)點(diǎn)；第二步根據(jù)對應(yīng)點(diǎn)的絕對相位值和標(biāo)定參數(shù)計(jì)算得到該點(diǎn)深度值建立視差圖。而雙目立體視覺方法通過模擬人眼建立模型，從左右眼球接收空間點(diǎn)上同一位置，在視網(wǎng)膜上成像出不同的位置，再根據(jù)人腦對圖像進(jìn)行融合重建得到深度感知。第一步的對應(yīng)點(diǎn)可以利用左右相機(jī)得到的條紋圖像生成相位圖得到絕對相位，然后使用極線約束原則計(jì)算出視差圖完成第二步，如圖4所示。

由于相機(jī)的外部參數(shù)即公式(9)，(10)中的相機(jī)焦距，物距，平移參數(shù)，旋轉(zhuǎn)平移矩陣已知?？筛鶕?jù)標(biāo)定[11]輕松得到相機(jī)的幾何關(guān)系。

(10)

2 實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)平臺

本文實(shí)驗(yàn)算法實(shí)現(xiàn)基于C＋＋語言與Visual Studio 2013。硬件使用分辨率為1280×1024（像元4.8mm）；靶面為1/2in；焦距為＝8mm；單幀曝光時(shí)間為2ms；頻率為60fps的2個(gè)紅外相機(jī)，照明波長為730nm；條紋模板切換時(shí)間為10ms的2個(gè)彩色光機(jī)作為兩套系統(tǒng)的雙目采集相機(jī)。具體系統(tǒng)參數(shù)有基線距離100mm，視場范圍384mm×307mm，人臉區(qū)域像素470×650（約30.5萬）。彩色光機(jī)作為系統(tǒng)的紋理光機(jī)用于投射條紋。捕獲結(jié)構(gòu)光條紋幀數(shù)為12幀，其中紅外系統(tǒng)投射紅外條紋，可見光系統(tǒng)投射可見光條紋。在進(jìn)行實(shí)驗(yàn)前通過相機(jī)標(biāo)定法對雙目相機(jī)進(jìn)行標(biāo)定，從而獲取圖像的校正參數(shù)如圖5所示。

2.2 實(shí)驗(yàn)結(jié)果與討論

首先使用啞鈴規(guī)作為測試標(biāo)件對其半徑及球心距（左右球直徑分別為50.783mm和50.776mm，球心距為100.005mm）進(jìn)行三維測量，通過對啞鈴規(guī)表面球體的點(diǎn)云數(shù)據(jù)進(jìn)行最小二乘球面擬合，得到各個(gè)球的半徑，之后再利用球心坐標(biāo)計(jì)算得到標(biāo)準(zhǔn)啞鈴規(guī)的球心距。比較擬合后的雙球啞鈴規(guī)的A球直徑、B球直徑、A-B球心距與實(shí)物的差值，評價(jià)測量精度。從表1中可以看出球心距誤差在0.1%以內(nèi)。

圖5 紅外設(shè)備系統(tǒng)圖

表1 條紋測量結(jié)果

之后進(jìn)一步地，選擇一個(gè)人臉模型（精度0.001mm）作為測量物體進(jìn)行測量。圖6展示了人臉模型以及使用了Geomagic Studio軟件重建得到的三維人臉模型。對人臉模型圖像重建模型的點(diǎn)云數(shù)據(jù)與用groudtrudh（超高精度設(shè)備）重建的三維標(biāo)準(zhǔn)數(shù)據(jù)進(jìn)行對比分析，利用Geomagic Studio軟件求得各點(diǎn)測量值與真實(shí)值相減得到的絕對誤差值后再求平均值得到平均絕對誤差，結(jié)果如表2所示。

此外，圖7還展示了分別使用兩種方法對真實(shí)人臉重建的結(jié)果。其中可見光重建人臉的眼睛、鼻翼、眉毛處存在比較嚴(yán)重的空洞，其表面較為粗糙。而條紋重建的人臉模型具有較強(qiáng)真實(shí)感，平滑度較高，空洞相對較小。

圖6 人臉模型對比

3 結(jié)語

本文通過投射紅外條紋，利用四步相移法計(jì)算出包裹相位，然后使用三頻外差法解包裹相位，同時(shí)用雙目視覺計(jì)算視差圖，最終得到高精度的三維人臉模型。根據(jù)實(shí)驗(yàn)結(jié)果證明：紅外條紋結(jié)構(gòu)光對三維物體的測量誤差在0.1%以內(nèi)，人臉精度在0.1mm內(nèi)，在眉毛、眼珠、頭發(fā)處等弱紋理區(qū)數(shù)據(jù)缺失相比可見結(jié)構(gòu)光較少。可以看出三維人臉模型面部真實(shí)感較強(qiáng)，平滑度較高，但在環(huán)境光照多變的場合下，容易造成人臉數(shù)據(jù)的缺失。此外，在采集圖像時(shí)，人臉一旦出現(xiàn)一些動態(tài)變化，也會對三維數(shù)據(jù)精度產(chǎn)生較大影響。這也是本文之后的研究方向。

表2 人臉模型測量結(jié)果

圖7 真實(shí)人臉重建對比

[1] Sahil Sharma, Vijay Kumar. Voxel-based 3D face reconstruction and its application to face recognition using sequential deep learning[J]., 2020, 79(25-26):17303-17330.

[2] WANG Zhenzhou. Robust three-dimensional face reconstruction by one-shot structured light line pattern[J]., 2020, 124: 105798.

[3] CHEN Hui, CUI Wen. A comparative analysis between active structured light and multi-view stereo vision technique for 3D reconstruction of face model surface[J]., 2020, 206: 164190.

[4] 何文杰, 賀賽先.雙目線結(jié)構(gòu)光測量系統(tǒng)三維數(shù)據(jù)融合研究[J].激光雜志, 2020, 41(6): 10-16. HE Wenjie, HE Saixian. Research on 3D data fusion of binocular structured light measurement system[J]., 2020, 41(6): 10-16.

[5] 惠宏超, 嚴(yán)小軍, 羅凱元, 等. 基于三頻外差法的異構(gòu)鑄件三維測量系統(tǒng)[J]. 導(dǎo)航與控制, 2019, 18(6): 114-120. HUI Hongchao, YAN Xiaojun, LUO Kaiyuan, et al. Three-dimensional heterogeneous castings measurement system based on tri-frequency heterodyne principle[J]., 2019, 18(6): 114-120.

[6] Turski Jacek. On binocular vision: the geometric horopter and cyclopean eye[J]., 2016, 119: 73-81.

[7] ZHOU P, ZHU J, SU X, et al. Experimental study of temporal-spatial binary pattern projection for 3D shape acquisition[J]., 2017, 56(11): 2995.

[8] JIE Z, WANG P, LING Y, et al. Left-right comparative recurrent model for stereo matching[C]//2018, 2018: 3838-3846, Doi: 10.1109/CVPR. 2018.00404.

[9] 張啟燦, 吳周杰. 基于格雷碼圖案投影的結(jié)構(gòu)光三維成像技術(shù)[J]. 紅外與激光工程, 2020, 49(3): 70-82. ZHANG Qican, WU Zhoujie. Three-dimensional imaging technique based on Gray-coded structured illumination[J]., 2020, 49(3): 70-82

[10] Fan R, Ai X, Dahnoun N. Road surface 3D reconstruction based on dense subpixel disparity map estimation[J]., 2018, 27(6):1-1.

[11] CHEN Y C, LIU B Q, HUANG F Y. Ultra-wide field infrared binocular vision epipolar constraint and spatial positioning[J]., 2019, 48(2): 211003.

Infrared Structured Light for 3D Face Reconstruction

TANG Shiyang1，ZHU Jiangping2，ZHANG Jianwei1,2

(1. National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu 610065, China;2. School of Computer Science, Sichuan University, Chengdu 610065, China)

In structured-light 3D face reconstruction, it is easy to lose detailed data and obtain reduced modeling accuracy, which leads to low integrity and poor recognition of 3D faces. In this study, a binocular three-dimensional camera system based on an infrared fringe is developed. The wrapped phase is generated using the phase-shift method by projecting infrared fringe-structured light. The absolute phase is obtained using the three-frequency method, and a parallax diagram is generated to obtain a three-dimensional face model. Experiments reveal that measurement errors for the distance of sphere centers are less than 0.1% when measuring standard spheres, and face accuracy is within 0.1 mm. For the eyes, eyebrows, and other areas with weak texture, data loss is reduced, which is better than visible light. The face model varies more smoothly and is more consistent with the real face. This preliminary analysis of the performances of the two proposed techniques can be used as a reference for further comparisons in the analysis of various techniques and algorithms.

infrared fringe, structed-light, binocular vision, 3D face modeling

TP391.41

A

1001-8891(2022)01-0028-05

2020-11-17；

2021-01-25.

唐詩揚(yáng)（1997-），男，貴州省貴陽市人，碩士研究生，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)視覺。

朱江平（1984-），男，四川省成都市人，博士，副教授，碩士生導(dǎo)師，主要研究領(lǐng)域?yàn)榛谏疃葘W(xué)習(xí)的光學(xué)圖像處理方法、計(jì)算機(jī)視覺3D顯微在線檢測、光學(xué)三維無損檢測、光學(xué)三維成像裝置與儀器開發(fā)。E-mail: 1149780222@qq.com。

國家自然科學(xué)基金（61901287）；四川省重點(diǎn)研發(fā)專項(xiàng)（20ZDYF0306，20ZDYF0112）；四川省重大科技專項(xiàng)（2019ZDZX0039，2018GZDZX0029）。