李建鋒，梅楚璇，廖勝輝

一種自動3D面部區(qū)域分割方法

李建鋒1，梅楚璇2，廖勝輝2

(1. 吉首大學信息科學與工程學院，湖南吉首，416000；2. 中南大學信息科學與工程學院，湖南長沙，410083)

提出一種用于美容整形的三維人臉模型自動分區(qū)方法。通過不同分辨率模型、主成分分析數(shù)據(jù)、鼻尖特征和相交曲線形狀等進行組合分析，生成標準的正面朝向的三維人臉模型，然后，自動渲染生成二維圖像并用可靠的二維人臉特征檢測方法生成二維標志點，逆向生成三維人臉標志點。最后，基于對應的三維標志點，將標準制作的解剖學分區(qū)模板與輸入模型進行自動擬合，自動生成17個區(qū)域，用于不同類型的美容整形手術(shù)。在實際三維人臉模型分割實驗中擬合基元的分層聚類算法、基于“形狀直徑函數(shù)”(SDF)的算法以及SNAKE方法等對比方法。研究結(jié)果表明：本文方法所得實際分割效果比對比算法好，在相同實驗環(huán)境下，本文方法比這3種對比方法分別快10，70和50 s。

3D網(wǎng)格分割；整容手術(shù)；人臉分區(qū)模板

三維網(wǎng)格分割是將三維網(wǎng)格劃分為多個分區(qū)域網(wǎng)格的分割方法[1]，目前在基于成分的形狀合成[2]、樣式轉(zhuǎn)換[3]、實例建模[4]、互換部分建模[5]、三維場景分 析[6]、基于區(qū)域的識別[7]、視頻壓縮[8]、三維目標識 別[9?10]等方面應用廣泛。三維網(wǎng)格分割與三維面部識別也密切相關(guān)，相關(guān)的研究大致分為空間匹配方法和特征匹配方法[11]2類。空間匹配方法通過比較三維表面相似性包括Hausdorff距離[12]、迭代最近點(ICP)及其擴展[13]等進行直接匹配，其主要問題是計算成本高，并且初始特征點和標記初始配準的選取對分割效果影響較大?；谔卣鞯钠ヅ浞椒ㄍǔＳ枚鄠€二維特征表示三維模型[14]，常見的二維特征包括原始深度圖像和圖像表面屬性(如梯度和曲率)[11, 15]，然而，離散表面特性值需要從三維模型中得到，并且這行特征值在采集過程中容易受噪聲影響，使得表面特性難以利用。為此，本文作者提出一種特殊的三維面部網(wǎng)格分割方法，用于醫(yī)學領(lǐng)域整容手術(shù)模擬，以幫助醫(yī)生進行術(shù)前規(guī)劃，提升他們在操作過程中的決策力和熟練程度。

1 方法設(shè)計

傳統(tǒng)人臉面部分割僅包含眼睛區(qū)域、鼻子區(qū)域和嘴區(qū)域。本文探討一種將三維面部網(wǎng)格劃分為17個區(qū)域的特殊分割方法，其基本思想是基于一系列智能檢測技術(shù)依次固定三維人臉模型的空間方向，然后根據(jù)受控二維檢測技術(shù)反向修正三維人臉模型上的指標點的位置。同時，制作1個整形手術(shù)定向二次曲線分割掩模，并且基于三維索引點自動將掩模與個性化面部模型匹配，最后根據(jù)掩模的邊線自動分割面部區(qū)域。使用的模型包括各種彩色激光掃描儀采集的帶紋理3D表面網(wǎng)格模型，如圖1所示。

(a) 樣例一；(b) 樣例二；(c) 樣例三

1.1 三維面部姿勢校正

在三維面部姿勢校正中，為了避免輸入的三維面部模型初始方向不定，必須固定模型的正面。對于該問題，目前一般使用姿態(tài)不變表面特征來檢測眼角和鼻尖的關(guān)鍵點，但計算量較大。三維模型背面缺失數(shù)據(jù)，正面和側(cè)面形成半個橢圓體，正面向側(cè)面突出，這些特征可以用于計算三維模型正面的基本方向。其步驟和方法如下。

1) 計算人臉網(wǎng)格模型的平均中心點：

式中：表示人臉網(wǎng)格模型的1個頂點；為頂點序號；為頂點總個數(shù)。

2)將平均中心點與網(wǎng)格化人臉正面中心點的矢量作為人臉正面的基本方向。在具體實踐中，若按照原始的三維面部模型進行計算，則可能會因模型邊界及正面中心點情況復雜導致計算結(jié)果不穩(wěn)定。針對該問題，通過設(shè)置粗分辨率級別予以解決。用特定的三角邊長對人臉表面進行再次網(wǎng)格化處理，去除尖銳邊緣等幾何特征。根據(jù)人臉尺寸和實驗，最終確定三角形邊長為90 mm，如圖2(c)所示。同時，為了獲得穩(wěn)定的再網(wǎng)格化結(jié)果，先用45 mm邊長進行中等粗糙的再網(wǎng)格化，具體如圖2(b)所示。通過上述處理可以有效地計算模型邊界的幾何中心，也很容易找到鼻和嘴等網(wǎng)格化區(qū)域的中心點，計算頭部的內(nèi)側(cè)和臉部正面的方向矢量，給出“前”軸的第1估值。

(a) 原始模型；(b) 中等分辨率的Remesh模型；(c) 粗分辨率的Remesh模型

3) 采用主成分分析法(principal component analysis，PCA)確定三維面部模型的“垂直”軸和“水平”軸。通過對三維面部模型表面頂點坐標進行分析，提取頂點分布3個最大范圍的主要方向[16]。考慮到PCA方法對原始面部模型的異常值十分敏感，使用中度粗糙人臉模型進行計算。在已經(jīng)確定“正面”軸的情況下，中度粗糙三維人臉模型中的所有頂點被變換，使得“正面”方向成為軸。從平均中心位置減去所有的二維頂點(僅和成分)生成協(xié)方差矩陣：

式中：為協(xié)方差矩陣；為人臉網(wǎng)格模型的平均中心點；為人臉網(wǎng)格模型的1個頂點；為頂點序號；為頂點的總個數(shù)。提取較長的主軸為“垂直”軸，較短的主軸為“水平”軸。

4) 通過鼻子區(qū)域的鼻尖確定“上”軸。鼻尖是面部上的突出部分，若人臉呈正面、近垂直狀，則鼻尖就可假定為距觀看者最近的人臉表面上的那個點，或者是深度掃描的臉部像素最高的那個點[17]。多數(shù)現(xiàn)有方法的三維面部鼻尖檢測主要通過前額姿態(tài)或者接近正面姿態(tài)，并嵌入在2.5D范圍掃描中的三維形狀信息獲取[18]，對于面部非正面姿態(tài)，文獻[16, 19]采用姿態(tài)不變差分表面特征的方法來解決該問題。本文中，原始三維臉部表面被轉(zhuǎn)換到新的以“正面”軸為軸、“橫”軸為軸、“縱”軸為軸的坐標系上，則從觀察者角度看到的最小Δ坐標分量的頂點被視為鼻尖。垂直穿越臉部中心區(qū)域的交叉點構(gòu)成的曲線，包含鼻和嘴的特性，具有明顯的區(qū)別度，可以幫助確定三維面部模型的“上”軸。圖3中箭頭顯示已檢測到的鼻尖局部水平面用于切分人臉曲面生成1個截面等高線，然后，將該局部橫平面上移4次，每次移動5 mm，得到一組4條等高線。同理，將該水平面下移4次，得到另一組4條等高線。將2組等高線與鼻尖中間點的等高線通過下式計算差異度并進行比較：

式中：為每組等高線的數(shù)量；p為該組每條等高線峰值；為界面等高線峰值。根據(jù)臉型分布的生理學知識可知，與界面等高線差異度大的那一組等高線靠近嘴部區(qū)域，而與其差異度小的那組則位于鼻腔區(qū)域，至此完成“上”軸的確定。

1.2 三維面部標志性檢測

二維面部圖像對齊，或口、鼻、眼、眉、下巴等語義上的面部標記定位，是計算機視覺和計算機圖形學中的難題，目前基于級聯(lián)回歸的方法[20?21]性能優(yōu)異。給定人臉二維圖像和初始人臉形狀0，則迭代第次后的人臉形狀S為

式中：階段回歸函數(shù)R在階段根據(jù)當前形狀S?1和人臉特征得到新的形狀S。選擇特征點構(gòu)建初始人臉形狀后計算形狀增量，不斷迭代更新人臉形狀，最終在三維面部模型自動生成的二維面部圖像定位出1組(68個)面部標識點，輸入的三維面部模型被轉(zhuǎn)成受控設(shè)置的視窗，視窗中生成的二維圖像連同窗口尺寸、相機位置及方向等渲染參數(shù)一起保存。1張三維面部模型的標準正面垂直位置偵測68個標識點的二維面部圖像見圖4(a)。人臉圖像中心區(qū)域的二維標識點可以通過受控視窗保存的渲染參數(shù)，通過影射反向計算獲得可靠的三維面部幾何點坐標。然而，基于圖像邊界的二維標識點反向計算三維面部模型的幾何點坐標可能并不準確，為解決這一問題，以正面二維圖像為基礎(chǔ)向左和向右旋轉(zhuǎn)30°進行渲染，生成2張側(cè)面的二維圖像，如圖4(b)和圖4(c)所示。結(jié)合旋轉(zhuǎn)矩陣使用最小二乘法計算三維面部模型的幾何點坐標。

需要說明的是：在計算三維標識點時不必計算所有對應的二維標識點，僅需選擇一些關(guān)鍵解剖學標識點。3D人臉正面和側(cè)面的27個三維標識點分別如圖5(a)和圖5(b)所示。

1.3 三維面部分割

本文根據(jù)各種美容手術(shù)的解剖區(qū)域構(gòu)建標準解剖分割模板。將三維面部網(wǎng)格劃分為17個區(qū)域，包括前額、左右眉毛、左右眼鏡腿、左眼和右眼、鼻子、左右臉頰、左右眼圖案(鼻唇溝)、上唇、下唇、顎的左右角和下顎，解剖模板由一組關(guān)鍵點和曲線定義(如圖6中的曲線所示)。在具體分割任務中，解剖學模板對每個輸入的面部模型進行自動擬合，用檢測到的三維面部標識點來引導配準，其中一些標識點連接到模板中的關(guān)鍵點，一些標識點連接模板的子區(qū)域。同時，為了獲得更好的擬合結(jié)果，采用下式進行局部適應性調(diào)整：

(a) 標準正面姿勢；(b) 向左側(cè)旋轉(zhuǎn)30°；(c) 向右側(cè)旋轉(zhuǎn)30°

(a) 正面姿勢面部標記；(b) 側(cè)面姿勢面部標記

式中：和分別為第次的旋轉(zhuǎn)矩陣和平移矢量；為基準模型特征量；為待配準模型特征量。將解剖學分區(qū)模板擬合到1個輸入人臉模型，見圖6。

對輸入的三維正面和側(cè)面的面部模型進行17個區(qū)域的解剖學分區(qū)，見圖7，每個區(qū)域?qū)环N整容整形手術(shù)類型。

(a) 掩蓋在正面姿勢面部模型上的解剖分割模塊；(b) 掩蓋在側(cè)面姿勢面部模型上的解剖分割模塊

(a) 正面三維面部模型解剖分割成17個區(qū)域；(b) 側(cè)面三維面部模型解剖分割成17個區(qū)域

2 實驗結(jié)果與分析

實驗包括40個人的面部數(shù)據(jù)庫，對比算法為：擬合基元的分層聚類算法(EfPiSoft)[22]、基于“形狀直徑函數(shù)”(SDF)的算法[23]、SNAKE方法[24]。實驗在PC計算機(Intel core 2 Duo 2.30 GHz CPU，4 GB RAM，Windows 7操作系統(tǒng))上進行。

2.1 算法分割效果

圖8所示為本文算法對其他面部模型的三維分割實驗結(jié)果。從圖8可以看出：算法將三維正面和側(cè)面模型準確分割成如圖6所示的17個解剖學分區(qū)，對樣例一和二的分區(qū)結(jié)果穩(wěn)定，且邊界清晰。

(a) 樣例一臉部正面姿勢分割效果；(b) 樣例一臉部側(cè)面姿勢分割效果；(c) 樣例二臉部正面姿勢分割效果；(d) 樣例二臉部側(cè)面姿勢分割效果

圖9所示為該算法的分割效果[22]，可以看出該方法不太適合人臉分割，邊界鋸齒較多，對照圖6所示的解剖學模板，有錯分割和過分割的情況。

采用SDF算法進行臉部圖像分割時，首先測量物體表面某一點附近體積的直徑，計算每個面的形心，然后分2步進行分區(qū)：首先，用高斯混合模型將高斯擬合到含所有直徑形狀函數(shù)值的直方圖，得出每個面的長度矢量，確定其被分配到每個SDF群的概率；其次，用擴展圖分割算法精細化分區(qū)，對上一步得出的概率矢量進行邊界平滑和曲率處理，使其能量函數(shù)最小化。圖10所示為該算法的分割結(jié)果，可以看出同樣有錯分割和誤分割的現(xiàn)象，也不適合人臉分割。

(a) 樣例一；(b) 樣例二；(c) 樣例三

SNAKE方法在分割任務中，首先，用面部器官分布的生理知識劃定初始加工區(qū)域；其次，用彎曲能量和拉伸能量組成內(nèi)部能量，用頂點特征的總能量組成外部能量，并用頂點所包含的面積作為約束，建立能量變化方程式；最后，進行迭代方程的運算，得到方程值最小時的分區(qū)結(jié)果。圖11所示為該方法的人臉模型分割結(jié)果[24]，結(jié)果表明該方法可以生成人臉模型左眼、右眼、鼻子和嘴唇共4個區(qū)域。但該方法初始處理時需手動交互，且眼睛區(qū)域不能用于整形手術(shù)。

2.2 算法效率

表1所示為本文方法和其他3種方法在相同條件下對同一面部模型分割的時間對比。對1個含約150 000個三角形單元格的面部模型進行分割，本文方法以及EfPiSoft，SDF和SNAKE分別耗時10，20，80和60 s。

(a) 樣例一；(b) 樣例二；(c) 樣例三

(a) 樣例一；(b) 樣例二；(c) 樣例三

2.3 討論

算法需要設(shè)計特別的方法或先驗知識來指導分割操作，加大了任務處理的難度，所得結(jié)果也很難與實際結(jié)果相符。SNAKE方法雖然適用于面部模型分割，但算法提取的區(qū)域數(shù)量有限，其中一些不能用于整形手術(shù)。此外，上述方法都存在計算效率低的問題。而采用本文提出的方法不僅能得到穩(wěn)定、可靠的分割效果，而且時間復雜度較低，實用價值高。

表1 本文方法與對比方法時間比較

3 結(jié)論

1) 所提出的三維面部美容整形手術(shù)仿真網(wǎng)格分割法解決了以往三維面部網(wǎng)格分割方法需要手工交互、操作難度大、分區(qū)方法受域限制明顯、提取區(qū)域數(shù)量有限、不適合面部分區(qū)等問題。

2) 本文方法以面部解剖學特征和實際操作需要為基礎(chǔ)，具體過程包括：輸入模型可以是任意初始姿態(tài)、任何類型的三維紋理面部網(wǎng)格；通過對不同分辨率模型、主成分分析數(shù)據(jù)、鼻尖特征和相交曲線形狀等進行簡單組合，生成標準的正面垂直人臉模型；利用最先進的二維面部對齊技術(shù)渲染生成圖像，有效地測出一組三維面部標記；最后，將標準的解剖學分區(qū)模板與輸入模型進行自動擬合，生成與真實美容手術(shù)的解剖區(qū)域相對應的17個分割區(qū)域。

[1] THEOLOGOU P, PRATIKAKIS I, THEOHARIS T. A comprehensive overview of methodologies and performance evaluation frameworks in 3D mesh segmentation[J]. Computer Vision & Image Understanding, 2015, 135(C): 49?82.

[2] KALOGERAKIS E, CHAUDHURI S, KOLLER D, et al. A probabilistic model for component-based shape synthesis[J]. Acm Transactions on Graphics, 2012, 31(4): 1?5.

[3] XU Kai, LI Honghua, ZHANG Hao, et al. Style-content separation by anisotropic part scale[J]. Acm Transactions on Graphics, 2010, 29(6): 184?194.

[4] FUNKHOUSER T, KAZHDAN M, SHILANE P, et al. Modeling by example[J]. Acm Transactions on Graphics, 2004, 23(3): 652?663.

[5] KREAVOY V, DAN J, SHEFFER A. Model composition from interchangeable components[J]. Proc Pacific Graphics, 2007, 39(10): 129?138.

[6] SILBERMAN N, FERGUS R. Indoor scene segmentation using a structured light sensor[C]// The IEEE International Conference on Computer Vision Workshops (ICCV Workshops). Barcelona, Spain, 2011: 601?608.

[7] HUBER D, KAPURIA A, DONAMUKKALA R, et al. Parts-based 3D object classification[J]. Computer Vision and Pattern Recognition, 2004, 2(2): 82?89.

[8] LENGYEL J E. Compression of time-dependent geometry[C]// Proceedings of the 1999 Symposium on Interactive 3D Graphics, SI3D’99. Atlanta, 1999: 89?95.

[9] THEOLOGOU P, PRATIKAKIS I, THEOHARIS T. A review on 3D object retrieval methodologies using a part-based representation[J]. Computer-Aided Design and Applications, 2014, 11(6): 670?684.

[10] SAVELONAS M A, PRATIKAKIS I, SFIKAS K. An overview of partial 3D object retrieval methodologies[J]. Multimedia Tools and Applications, 2015, 74(24): 11783?11808.

[11] MIAN A, PEARS N. 3D face recognition. in: 3D imaging, analysis and applications[M]. London: Springer, 2012: 311?366.

[12] SANGINETO E. Pose and expression independent facial landmark localization using dense-SURF and the hausdorff distance[J]. IEEE Transactions on Pattern Recognition Machine Intelligence, 2013, 35(3): 624?638.

[13] MOHAMMADZADE H, HATZINAKOS D. Iterative closest normal point for 3D face recognition[J]. IEEE Transactions on Pattern Recognition Machine Intelligence, 2013, 35(2): 381?397.

[14] GUO Y, BENNAMOUN M, SOHEL F, et al. An integrated framework for 3-D modeling,object detection, and pose estimation from point-clouds[J]. IEEE Transactions on Instrumentation & Measurement, 2015, 64(3): 683?693.

[15] COLOMBO A, CUSANO C, SCHETTINI R. 3D face detection using curvature analysis[J]. Pattern Recognition, 2006, 39(3): 444?455.

[16] LI Y, WANG Y H, WANG B B, et al. Nose tip detection on three-dimensional faces using pose-invariant differential surface features[J]. IET Computer Vision, 2014, 9(1): 75?84.

[17] LIU H, YAN J, ZHANG D. What is wrong with mesh PCA in coordinate direction normalization[J]. Pattern Recognition, 2006, 39(11): 2244?2247.

[18] MAJEED R, ZOU B, HATEM H. Nose tip detection in 3D face image based on maximum intensity algorithm[J]. International Journal of Multimedia & Ubiquitous Engineering, 2015, 10(5): 373?382.

[19] MUKHERJEE D, BHATTACHARJEE D, NASIPURI M. Curvature based localization of nose tip point for processing 3D-face from range images[C]// International Conference on Communications & Signal Processing. Nanjing, China, 2014: 46?50.

[20] CAO Xudong, WEI Yichen, WEN Fang, et al. Face alignment by explicit shape regression[J]. International Journal of Computer Vision, 2014, 107(2): 2887?2894.

[21] SHENG Kekai, DONG Weiming, KONG Yan, et al. Evaluating the quality of face alignment without ground truth[J]. Computer Graphics Forum, 2015, 34(7): 213?223.

[22] ATTENE M, FALCIDIENO B, SPAGNUOLO M. Hierarchical mesh segmentation based on fitting primitives[J]. The Visual Computer, 2006, 22(3): 181?193.

[23] SHAPIRA L, SHAMIR A, COHEN-OR D. Consistent mesh partitioning and skeletonisation using the shape diameter function[J]. The Visual Computer, 2008, 24(4): 249?259.

[24] LIN Zenggang, GUO Zhe, LIANG Jun. An effective 3D facial segmentation algorithm based on SNAKE model[C]// Proceedings of the Second Sino-Foreign-Interchange Conference on Intelligent Science and Intelligent Data Engineering. Nanjing, China: IScIDE, 2012: 554?561.

[25] CHEN X, GOLOVINSKIY A, FUNKHOUSER T. A benchmark for 3D mesh segmentation[J]. Acm Transactions on Graphics, 2009, 28(3): 1?12.

(編輯 陳燦華)

An automatic 3D face segmentation method

LI Jianfeng1, MEI Chuxuan2, LIAO Shenghui2

(1. School of Information Science and Engineering, Jishou University, Jishou 416000, China;2. School of Information Science and Engineering, Central South University, Changsha 410083, China)

A 3D face model automatic segmentation method for cosmetic surgery was proposed.Combined with multi-resolution models, principal component analysis, nose tip characteristics and intersection curve shapes, a standard frontal and upright position was formed. Then, a group of 3D facial landmarks were detected effectively by use of 2D face alignment technology on 2D image generated by automatical rendering. Finally, a standard anatomical segmentation template designed for different types of cosmetic surgery was automatically fitted on the input model based on corresponding 3D landmarks, and 17 regions were automatically generated. 3D face segmentation method was compared to the common curve-fitting hierarchical clustering algorithm, the shape diameter number (SDF) algorithm and SNAKE algorithm. The results show that 3D face model segmentation has better performance than the contrasted algorithms, and under the same experimental conditions, 3D face model segmentation is 10, 70 and 50 s faster respectively than the three contrasted kinds of algorithms.

3D mesh segmentation; cosmetic surgery; facial segmentation template

10.11817/j.issn.1672-7207.2017.07.016

TP391

A

1672?7207(2017)07?1797?06

2017?01?10；

2017?03?22

國家自然科學基金資助項目(61262032, 61562029, 61363073)；湖南省自然科學基金資助項目(2015JJ3100) (Projects(61262032, 61562029, 61363073) supported by the National Natural Science Foundation of China; Project(2015JJ3100) supported by the Natural Science Foundation of Hunan Province)

李建鋒，博士，副教授，從事醫(yī)學圖像處理研究；E-mail: ljf_zy@163.com