侯增選，李巖翔，楊 武，趙有航，王軍驊

智能配鏡三維特征參數(shù)提取方法研究

侯增選1，李巖翔1，楊 武2，趙有航1，王軍驊1

(1. 大連理工大學機械工程學院，遼寧 大連 116024；2. 眼藝生活電子商務有限公司，廣東 深圳 518000)

針對智能配鏡中三維面部特征點提取算法復雜度較高的問題，提出一種將三維點云轉換為映射圖像定位特征點的方法。采用Voronoi方法計算面部三角網(wǎng)格各頂點處的高斯曲率、平均曲率。選取鼻尖、眼角等曲率特征明顯的區(qū)域估計面部點云姿態(tài)。根據(jù)曲率旋轉不變性，使用初選的點云方向向量簡化旋轉矩陣的計算，使面部點云正面朝向視點。將點云映射轉換為圖像，三維網(wǎng)格模型中三角面片一對一映射到圖像中的三角形。搭建卷積神經(jīng)網(wǎng)絡，使用Texas 3DFRD數(shù)據(jù)集進行模型訓練。進行人臉對齊，預測所得各面部特征點分別限制在圖像某三角形中。根據(jù)圖像中三角形映射查找三維網(wǎng)格模型中對應三角面片，通過三角面片頂點坐標計算配鏡所需的面部特征點位置坐標，實現(xiàn)配鏡特征參數(shù)的提取。

點云；人臉對齊；映射；特征提??；配鏡

隨著社會信息化、網(wǎng)絡化程度的提高，線上配鏡作為新零售方式方興未艾，人們迫切需要一種快速、有效的自動人臉參數(shù)獲取技術。面部特征點的定位為人臉識別、姿態(tài)估計與表情識別、面部特征提取與三維面部重建等后續(xù)領域的研究提供基礎數(shù)據(jù)。使用幾何面部歸一化的人臉界標定位已經(jīng)有了良好的效果，明顯改善了識別結果[1]。

近年來，人臉特征點定位技術發(fā)展迅猛，KOWALSKI等[2]提出一種基于關鍵點熱圖的深度對齊網(wǎng)絡(deep alignment network, DAN)，網(wǎng)絡輸入整張面部圖像，并引入關鍵點熱圖作為補充，級聯(lián)檢測關鍵點。此后，KUMAR和CHELLAPPA[3]在熱圖基礎上，提出單一的樹突狀卷積神經(jīng)網(wǎng)絡(convolutional neural network, CNN)，可以提高面部姿態(tài)估計與面部特征點對齊精度。DENG等[4]提出一種級聯(lián)多視圖沙漏模型，可以從二維圖像估計三維的面部標定點。RANJAN等[5]采用多任務學習的方法，實現(xiàn)了利用多任務卷積神經(jīng)網(wǎng)絡(multi-task cascaded convolutional network，MTCNN)同時做人臉檢測、關鍵點定位、姿態(tài)估計與性別判斷。HONARI等[6]提出一種半監(jiān)督學習改善關鍵點定位的方法，提高了關鍵點定位精度。WU等[7]使用面部邊緣信息輔助關鍵點回歸的方法，能夠在室外環(huán)境、面部遮擋、夸張表情等情況下仍能保持較高的正確率。

上述方法均采用二維的RGB色彩信息或灰度信息進行特征點的定位，光照、面部姿態(tài)等條件對二維關鍵點的定位算法的魯棒性影響較大。三維的點云含有比二維圖像更豐富的信息，因此可以克服以上的缺陷。目前照相式掃描儀、三維激光掃描儀、深度傳感器等相關設備技術已日趨成熟，三維的人臉對齊與人臉關鍵點檢測的研究剛剛起步。GUO等[8]提出一種基于關鍵點和局部特征的三維人臉識別算法，根據(jù)有價值輪廓線和平均曲率檢測關鍵點，但有價值輪廓線選取較為復雜、算法效率較低。馮超和陳清江[9]提出一種多特征相結合的三維人臉關鍵點檢測方法，使用曲率與測地距離直接對三維點云上的特征點進行標記并訓練模型，但該方法誤差較大。MARCOLIN和VEZZETTI[10]運用三維人臉分析了105個描述符，并將其映射到面部深度圖像，以此進行特征點的定位。胡陽明等[11]根據(jù)三維人臉柱面展開的二維紋理圖進行自動特征定位并分片，以實現(xiàn)三維面部特征點對齊。該方法準確性好，但有賴于三維模型色彩信息貼圖，不適用于三維激光掃描生成的點云。PAPAZOV等[12]提出通過深度圖像計算三角面片描述符，實時獲得頭部姿勢以及面部標定點的方法。

為了能夠快速并且準確地獲取與配鏡有關的面部關鍵點位置，本文提出一種將點云姿態(tài)快速校正，并降維為映射圖像的面部特征點定位方法。首先將點云姿態(tài)進行校正，隨后獲取校正姿態(tài)后的面部深度圖像，訓練深度圖像的特征點定位模型，最終獲得配鏡有關面部參數(shù)。

1 離散點云曲率計算

對于任一點云而言，如果將相機、掃描儀等主軸方向設為軸，圖像的橫向與縱向分別為軸與軸，則點云構造的曲面為

其中，深度為坐標與的函數(shù)。由微分幾何學[12]可知，對于嵌入歐氏空間的二維曲面其曲率包括高斯曲率與平均曲率，即

其中，1與2分別為曲率最大及最小值，稱為主曲率，并稱2個曲率極值所處的方向為主方向。且

其中，detI與det II為曲面第一、二基本形式的行列式；，，是第一基本形式的系數(shù)；，，為第二基本形式的系數(shù)。

然而對于含有拓撲信息結構的點云，曲率計算需要構造離散點三角曲面[13]。對于任意點V,j，其臨近三面片集合為{f,j}0，鄰域內頂點集合為{V,j}1，臨近三角形面片的法向量為{,j}0。點云三角網(wǎng)格化之后任意頂點V,j臨近點的拓撲結構采用平面擬合如圖1所示。

圖1 頂點Vi,j與其鄰域局部結構

各三角面片f,j中的法向量,j為

頂點V,j的法向量,j定義為環(huán)鄰域三角面片的法向量加權和，定義|F|為V,j鄰域三角面片個數(shù)，則V,j法向量為

根據(jù)文獻[14-15]的方法，將光滑曲面看作是一簇三角網(wǎng)格的線性或極限逼近，則由拉普拉斯算子的性質可得平均曲率為

由Gauss-Bonnet定理可得高斯曲率為

其中，A為頂點V,j在擬合曲面的鄰域三角面片為銳角或鈍角三角形的混合面積，即

對于頂點為V,j，頂點相鄰點V1,j與V1組成的三角面片來說，若此三角形為銳角三角形，則

若此三角形中為鈍角，此時

由以上公式可計算面部離散點云的與等參數(shù)值。點云各曲率如圖2所示。

與可以在一定程度上反映曲面的不平坦程度，但其分別是曲率的內在與外在度量，因此有一定的局限性。例如其中一個主曲率為0時高斯曲率為0；而2個主曲率為相反數(shù)時，平均曲率為0，但不代表曲面某點在當前情況下完全平坦，對于曲面上的脊、谷、鞍形谷或是極小曲面來說，都有可能出現(xiàn)或為0的情況。所以還應當關注2個正交且共軛的最大、最小主曲率max與min。

(a) 高斯曲率K(b) 平均曲率H

由于與具有旋轉不變性與平移不變性，可以分析出當前點的鄰域曲面的結構，和的符號可以判斷臨近曲面的大致形狀(表1)。

表1 平均曲率H、高斯曲率K的符號與對應曲面類型

考慮到人體面部眼角位置局部為凹，而鼻尖區(qū)域局部為凸，通過選取曲率較顯著的3個點可確定面部點云朝向的基準平面。然后求得當前三維網(wǎng)格模型各頂點處的曲率，即可對點云姿態(tài)進行調整。

2 點云姿態(tài)校正

采集面部的特征參數(shù)，除了需要對點云進行預處理外，還需對面部模型進行姿態(tài)的矯正，以獲得面部點云正視圖投影信息。頭部可以近似看作為剛體，假設任意姿態(tài)下的頭部點云為1，面部朝向正前方的模板點云為0，1可以圍繞，，3個坐標軸進行旋轉，達到近似于模板點云0的姿態(tài)。

計算面部點云各處的曲率，其中面部曲率最為特殊的區(qū)域為：鼻尖與2個眼角點。其中，鼻尖處曲面為峰，其與均為正值且在某點達到極大值；而對于局部呈阱曲面的兩眼角位置和來說，其高斯曲率為正值，平均曲率為負值。由此3個點可確定一個平面，其法向量方向即為當前點云方向。而對于正視前方的模板點云而言，同樣由其2個眼角0和0與鼻尖0確定模板朝向0，則可以計算出2個法向量的夾角。由于已經(jīng)得到目標方向矢量與當前面部點云的方向矢量，便可求出旋轉矩陣，完成當前面部點云姿態(tài)旋轉。對于2個空間向量、0，其夾角為

其沿，，軸的夾角分別為2個空間向量在，，平面的投影向量的夾角，則相對于軸的旋轉夾角，即

同理可求出相對于，軸的旋轉夾角和。

因此，，，軸的旋轉矩陣，，可表示為

則總的旋轉矩陣為

進行坐標旋轉之后，原點云轉換為點云T，即

各朝向點云與模板點云如圖3所示。

(a) 偏左側(b) 偏上方(c) 偏右側

3 特征點定位

將面部點云姿態(tài)矯正為正視前方的角度后，為獲得面部配鏡所需的各參數(shù)，需要對面部的關鍵點進行標定，即進行人臉對齊(face alignment)。目前在二維的圖像領域，通過神經(jīng)網(wǎng)絡進行深度學習等方法預測圖像中面部的特征點已經(jīng)非常的快捷和準確，所以本文采取將點云映射至正視的深度圖后再進行關鍵點位置的獲取。深度圖(depth map)包含了場景對象的表面到視點的距離信息，通常至少為8位，即最少有256個灰度，每個像素都記錄了從視點(viewpoint)到遮擋物表面的距離，8位深度圖可以滿足特征點識別的精度。

利用Texas3DFR數(shù)據(jù)庫[16]作為數(shù)據(jù)集，標定面部配鏡相關特征點，包括眼眶、眉毛、鼻梁、臉頰等位置。通過多任務卷積神經(jīng)網(wǎng)絡(multi-task cascaded convolutional network, MTCNN)尋找人臉邊界并提取出面部圖像，將面部紋理圖像與深度圖像歸一化像素為150×150的圖像。本文紋理-深度 (RGB-Depth, RGB-D)神經(jīng)網(wǎng)絡結構為(圖4)：輸入層為2個3通道3×150×150；緊接著2個卷積結構單元，每個單元都在卷積計算之后采用ReLU層作為激活函數(shù)提高網(wǎng)絡非線性擬合能力；并在每個結構單元的最后采用池化層以簡化網(wǎng)絡計算復雜度，并提取主要特征。其中，第1個單元卷積層conv1卷積核大小為5×5，池化層pool1大小為3×3；第2個單元卷積層conv2卷積核大小為3×3，池化層pool2大小為3×3。此后進行2個子網(wǎng)絡的特征融合，輸入第3個卷積層，第3單元卷積層conv_3卷積核大小為3×3，池化層pool3大小為3×3；第4個單元卷積層conv4卷積核大小為3×3，池化層大小為3×3。之后通過全連接層提取與綜合之前計算出的特征向量，第1個全連接層含有1 536個節(jié)點，第2個全連接層含有500個節(jié)點，最后輸出神經(jīng)網(wǎng)絡預測的特征點坐標。

圖4 RGB-D神經(jīng)網(wǎng)絡結構圖

4 實例驗證與分析

為驗證本文提出的自動配鏡點云面部關鍵點定位方法的有效性，特開發(fā)了三維點云姿態(tài)估計與校正系統(tǒng)，并通過矯正之后的點云生成正視的深度圖像與紋理圖像。基于TensorFlow平臺訓練CNN模型，在映射圖像上預測人體面部關鍵點的位置。本文通過三維激光掃描儀獲取人體面部點云，在Intel i5 7500 CPU上處理點云并獲取關鍵點坐標，以圖5點云為例，共獲取左、右側眉毛特征點坐標各5個，鼻梁特征點坐標4個，左、右眼圈坐標各6個，臉頰坐標17個。

圖5 深度圖像面部特征點定位效果

對于三維網(wǎng)格模型，其表面由若干三角面片拼接而成。若將三維網(wǎng)格模型映射至平面，則其表面的空間三角形也將對應地映射為平面三角形，如圖6(a)所示。

本文將以三角面片為單位，進行紋理信息的映射，效果如圖6(c)所示。在投影的過程中，實際世界坐標系與坐標按照系數(shù)映射為圖像像素坐標系中的位置。由此，投影生成的圖像類似于一個映射表，通過圖像中的像素坐標，可知該坐標位置所在的三角面片以及紋理和位置信息。

(a) 三角網(wǎng)格映射(b) 深度映射(c) 紋理信息映射

將映射成的紋理圖像與深度圖像輸入神經(jīng)網(wǎng)絡，可以得到預測的特征點集，并且各特征點均散布在某個三角面片的映射三角形之內，如圖7所示。由于面部三角網(wǎng)格模型在預處理時將點云進行降采樣，其頂點個數(shù)的數(shù)量級在104~105，并且根據(jù)Delaunay三角剖分原理，三角面片的數(shù)量約為頂點數(shù)量的2~3倍。因此，使用三角面片頂點數(shù)據(jù)估計其包含的特征點位置滿足配鏡精度要求。

圖7 面部特征點定位在三角網(wǎng)格之內

本文通過預測的特征點在世界坐標系中的幾何坐標，求得配鏡相關參數(shù)；并對14名被試者的面部參數(shù)使用游標卡尺進行手工測量，測量相對誤差結果見表2。由表2可知本文提出的自動測量方法的大多數(shù)參數(shù)測量誤差均在可接受范圍內。

表2 平均測量值誤差分析

進行特征參數(shù)提取后，進行眼鏡架模型的參數(shù)化設計等后續(xù)配鏡工作。本課題在UG二次開發(fā)基礎上，利用Open Inventor三維圖形軟件開發(fā)包開發(fā)了智能配鏡系統(tǒng)。智能配鏡效果如圖8所示。

圖8 眼藝生活公司智能配鏡效果圖

5 結束語

綜上，本文針對智能配鏡中三維面部特征點提取算法復雜度較高的問題，提出一種將三維點云映射為圖像，進行特征點定位的方法。計算面部三角網(wǎng)格模型各頂點處的高斯曲率、平均曲率。選取鼻尖、眼角等曲率特征明顯區(qū)域估計面部姿態(tài)。使用面部姿態(tài)方向向量簡化旋轉矩陣的計算，使面部點云正面朝向視點，將點云映射轉換為映射圖像。搭建CNN，使用Texas 3DFRD數(shù)據(jù)集進行模型訓練，進行人臉對齊，最終得到配鏡所需的相關面部參數(shù)。并通過具體例證，對掃描的面部點云進行智能配鏡面部參數(shù)的提取。結果表明，本文的面部參數(shù)提取方法可以達到智能配鏡目的。

[1] BULAT A, TZIMIROPOULOS G. How far are we from solving the 2D & 3D face alignment problem? (and a dataset of 230,000 3Dfacial landmarks) [C]//2017 IEEE International Conference on Computer Vision (ICCV).New York: IEEE Press, 2017: 1021-1030.

[2] KOWALSKI M, NARUNIEC J, TRZCINSKI T. Deep alignment network: A convolutional neural network for robust face alignment [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 88-97.

[3] KUMAR A, CHELLAPPA R. Disentangling 3Dpose in a dendritic CNN for unconstrained 2D face alignment [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2018: 430-439.

[4] DENG J K, ZHOU Y X, CHENG S Y, et al. Cascade multi-view hourglass model for robust 3D face alignment [C]//2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018). New York: IEEE Press, 2018: 399-403.

[5] RANJAN R, PATEL V M, CHELLAPPA R. HyperFace: A deep multi-task learning framework for face detection, landmark localization, Pose estimation, and gender recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(1): 121-135.

[6] HONARI S, MOLCHANOV P, TYREE S, et al. Improving landmark localization with semi-supervised learning [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).New York: IEEE Press, 2018: 1546-1555.

[7] WU W Y, QIAN C, YANG S, et al. Look at boundary: A boundary-aware face alignment algorithm [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2018: 2129-2138.

[8] GUO M L, DA F P, DENG X, et al. 3D face recognition based on keypoints and local feature [J]. Journal of ZheJiang University (Engineering Science), 2017, 51(3): 584-589.

[9] 馮超, 陳清江.一種多特征相結合的三維人臉關鍵點檢測方法[J]. 液晶與顯示，2018, 33(4): 306-316.

[10] MARCOLIN F, VEZZETTI E. Novel descriptors for geometrical 3D face analysis [J]. Multimedia Tools and Applications, 2017, 76(12): 13805-13834.

[11] 胡陽明, 周大可, 鹿樂, 等.基于改進ASM的三維人臉自動對齊算法[J]. 計算機工程, 2013, 39(3): 250-253.

[12] PAPAZOV C, MARKS T K, JONES M. Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2015: 4722-4730.

[13] Li Z Y, Bors A G. 3D mesh steganalysis using local shape features [C]//2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New York: IEEE Press, 2016: 2144-2148.

[14] DE GOES F, DESBRUN M, MEYER M, et al. Subdivision exterior calculus for geometry processing [J]. ACM Transactions on Graphics, 2016, 35(4): 1-11.

[15] SU T Y, WANG W, LV Z, et al. Rapid delaunay triangulation for randomly distributed point cloud data using adaptive Hilbert curve[J]. Computers and Graphics, 2016, 54: 65-74.

[16] GUPTA S, CASTLEMAN K R, MARKEY M K, et al. Texas 3D face recognition database [C]//2010 IEEE Southwest Symposium on Image Analysis and Interpretation (SSIAI). New York: IEEE Press, 2010: 97-100.

Feature Extraction of Facial Point Cloud Data for Intelligent Spectacle Frame Fitting

HOU Zeng-xuan1, LI Yan-xiang1, YANG Wu2, ZHAO You-hang1, WANG Jun-hua1

(1. School of Mechanical Engineering, Dalian University of Technology, Dalian Liaoning 116024, China; 2. Eye Art Life E-commerce Co. Ltd, Shenzhen Guangdong 518000, China)

In order to extract the 3D facial point cloud in the intelligent spectacle frame fitting, a method of converting triangulated 3D point cloud into a mapped image is proposed to locate feature points. Firstly, the Gaussian curvature and mean curvature of each vertex of the face triangular mesh are calculated by Voronoi method. Secondly, nasal tip and canthus regions with obvious curvature features are used to estimate the facial point cloud orientation. According to the rotation invariance of surface curvature, the calculation of rotation matrix is simplified by using the point cloud orientation vector, so that the face point cloud faces the viewpoint. Then, the point cloud is transformed into an image by mapping, and the triangular faces in the 3D mesh model are mapped to the biunique triangles. The convolutional neural network is built and the Texas 3D Face Recognition Database is used for model training. Finally, face alignment is carried out and the predicted facial feature points are limited to a certain triangle of the image. According to the triangle mapping in the image, the corresponding triangular faces in the 3D mesh model can be found, and the coordinates of the facial feature points required by the spectacle frame fitting are calculated through the vertex coordinates of the triangular faces. Through the above steps, the feature extraction of spectacle frame fitting parameter is implemented.

point cloud; face alignment; mapping; feature extraction; spectacle frame fitting

TP 391

10.11996/JG.j.2095-302X.2019040665

A

2095-302X(2019)04-0665-06

2019-02-26；

定稿日期：2019-04-21

侯增選(1964-)，男，陜西岐山人，教授，博士，博士生導師。主要研究方向為計算機輔助設計技術、虛擬產品開發(fā)技術、產品創(chuàng)新設計理論與方法研究等。E-mail：hou@dlut.edu.cn