羅岱，陶洋，楊剛

北京林業(yè)大學(xué)，北京100083

基于面部特征約束的人臉紋理映射及變形

羅岱，陶洋，楊剛

北京林業(yè)大學(xué)，北京100083

CNKI網(wǎng)絡(luò)出版：2017-05-23,http://kns.cnki.net/kcms/detail/11.2127.TP.20170523.1843.018.html

1 引言

隨著當(dāng)前新媒體娛樂(lè)的飛速發(fā)展，對(duì)人臉照片進(jìn)行處理，生成各種風(fēng)格化的效果成為一個(gè)有趣的研究與應(yīng)用問(wèn)題。微軟曾推出了商業(yè)軟件Cartoon Maker用來(lái)生成人臉的漫畫風(fēng)格圖像，其主要基于人臉特征的自動(dòng)檢測(cè)和風(fēng)格化繪制技術(shù)；騰訊QQ最初也推出了人臉風(fēng)格化生成的功能，其采用了用戶交互式的人臉器官替換。近年來(lái)，隨著移動(dòng)平臺(tái)應(yīng)用的發(fā)展，在移動(dòng)端出現(xiàn)了大量以人臉圖像美化為目的應(yīng)用，如美圖秀秀、天天P圖等，這些應(yīng)用是在人臉器官識(shí)別的基礎(chǔ)上進(jìn)行圖像特效的處理從而達(dá)到美化人臉照片的目的。另一款很有代表性的移動(dòng)端APP“魔漫相機(jī)”則可以將人臉變成素描風(fēng)格，其原理還是在五官識(shí)別的基礎(chǔ)上進(jìn)行紋理簡(jiǎn)化、色調(diào)風(fēng)格化等圖像處理操作。近年來(lái)，一些研究者針對(duì)人臉化妝效果的應(yīng)用需求還提出了一些人臉上妝效果遷移的方法，如Liu等[1]提出采用深度學(xué)習(xí)的方法來(lái)實(shí)現(xiàn)眼影、唇膏等器官上妝效果的遷移，取得了很好的模擬效果。雖然其在眼影效果遷移中不僅考慮了色彩的遷移，還考慮了目標(biāo)圖與參考圖間器官形狀的差異，但其主要是對(duì)眼影區(qū)域進(jìn)行了自適應(yīng)的變化，而并未對(duì)器官形狀進(jìn)行幾何形變。與這些方法或應(yīng)用不同，本文則力圖從紋理約束性映射的角度出發(fā)來(lái)完成人臉圖像變形與風(fēng)格化處理的問(wèn)題：給定一幅源人臉圖像和一幅目標(biāo)人臉圖像，將源圖像映射到目標(biāo)人臉上，使得合成的人臉具有目標(biāo)人臉的五官形狀，但卻具有源人臉的紋理效果。

此中最關(guān)鍵的問(wèn)題是要建立源人臉和目標(biāo)人臉的特征對(duì)應(yīng)關(guān)系，并在這種特征約束之下完成紋理映射。實(shí)現(xiàn)這種帶約束的人臉圖像映射的方式有兩種，一是將人臉區(qū)域作為一個(gè)整體，該方法將整個(gè)源人臉區(qū)域的紋理一次映射到目標(biāo)人臉區(qū)域；二是根據(jù)提取的人臉特征點(diǎn)對(duì)目標(biāo)人臉區(qū)域建模生成三角網(wǎng)格，再對(duì)每一個(gè)網(wǎng)格進(jìn)行映射處理。第一種方法將人臉區(qū)域作為一個(gè)整體進(jìn)行處理，映射過(guò)程中產(chǎn)生的能量函數(shù)的能量值較大，最終得到的人臉圖像在細(xì)節(jié)較多處的扭曲形變比較嚴(yán)重。而第二種方式將整個(gè)區(qū)域轉(zhuǎn)化為了小塊的三角形區(qū)域，使得映射過(guò)程中產(chǎn)生的能量較小且被分散，有利于得到良好的人臉圖像。本文即采用了第二種方式。具體而言，采用人臉特征檢測(cè)的方式標(biāo)記人臉特征點(diǎn)并構(gòu)建兩張人臉間的特征對(duì)應(yīng)關(guān)系；采用了Delaunay三角化的方式來(lái)對(duì)目標(biāo)人臉區(qū)域進(jìn)行網(wǎng)格化生成；在特征點(diǎn)紋理坐標(biāo)的約束下，采用了調(diào)和映射的方法來(lái)生成目標(biāo)人臉?biāo)芯W(wǎng)格點(diǎn)的紋理坐標(biāo)。

基于本文方法，可以實(shí)現(xiàn)許多有趣的“變臉”效果，例如可以將別人的臉映射成自己的臉的形狀輪廓；如果源圖像是藝術(shù)化風(fēng)格的人臉，那么就可以實(shí)現(xiàn)目標(biāo)人臉的藝術(shù)化風(fēng)格轉(zhuǎn)換；甚至可以將自己的臉通過(guò)自映射實(shí)現(xiàn)表情的交互式調(diào)整。

本文是對(duì)紋理映射、Delaunay三角化、調(diào)和映射等技術(shù)在人臉變形上的一個(gè)研究與應(yīng)用實(shí)踐，具有一定研究意義；同時(shí)，本文方法也是從另一個(gè)角度對(duì)人臉風(fēng)格化處理這一熱點(diǎn)問(wèn)題的探索，在人臉變形、人臉風(fēng)格轉(zhuǎn)化、人臉表情調(diào)整等方面的應(yīng)用中具有很好的實(shí)用價(jià)值。

本文在第2章首先對(duì)方法流程進(jìn)行一個(gè)總體介紹，然后在第3章對(duì)方法流程中的四個(gè)關(guān)鍵技術(shù)步驟：人臉特征點(diǎn)提取、人臉區(qū)域三角化、基于調(diào)和映射的紋理坐標(biāo)計(jì)算、映射與融合進(jìn)行具體介紹；之后在第4章給出實(shí)驗(yàn)結(jié)果，最后進(jìn)行總結(jié)與展望。

2 方法總覽

本文方法流程如圖1所示。

由圖可見，方法流程主要包括四個(gè)技術(shù)步驟：

（1）人臉特征點(diǎn)提取。本文采用Stasm庫(kù)[2]進(jìn)行人臉特征點(diǎn)的自動(dòng)提取，在自動(dòng)提取的基礎(chǔ)上，配合一定的人機(jī)交互來(lái)調(diào)整特征點(diǎn)位置、增加額頭部特征點(diǎn)，并指定特征點(diǎn)間的對(duì)應(yīng)關(guān)系。

（2）目標(biāo)人臉三角網(wǎng)格化?；谏弦徊降玫降奶卣鼽c(diǎn)，采用Delaunay三角化技術(shù)將目標(biāo)人臉區(qū)域轉(zhuǎn)化為三角網(wǎng)格。在三角化之前，采用自動(dòng)或交互方式在人臉區(qū)域增加一系列采樣點(diǎn)，目的是使三角網(wǎng)格更均勻、密集。

（3）網(wǎng)格點(diǎn)紋理坐標(biāo)的獲取。網(wǎng)格點(diǎn)分為兩類：特征點(diǎn)和非特征點(diǎn)。特征點(diǎn)的紋理坐標(biāo)已經(jīng)確定；在特征點(diǎn)紋理坐標(biāo)約束之下，采取調(diào)和映射的方式來(lái)迭代求取非特征點(diǎn)的紋理坐標(biāo)。

（4）紋理映射與邊界融合?；贕PU的紋理映射機(jī)制，源人臉圖像可以快速映射到目標(biāo)人臉的三角網(wǎng)格區(qū)域。為使得映射過(guò)來(lái)的圖像與目標(biāo)人臉頭發(fā)、耳朵等周邊區(qū)域更好地融合，還采用了邊界融合策略進(jìn)行效果優(yōu)化。

下面，對(duì)這四個(gè)技術(shù)步驟進(jìn)行詳細(xì)介紹。

圖1 方法流程

3 關(guān)鍵技術(shù)

3.1 人臉特征點(diǎn)提取

采取了以自動(dòng)檢測(cè)為主，配合局部區(qū)域特征點(diǎn)手動(dòng)調(diào)整的策略來(lái)完成特征點(diǎn)提取工作。

3.1.1 人臉特征點(diǎn)自動(dòng)檢測(cè)

目前人臉特征點(diǎn)提取技術(shù)可以分為三類：基于統(tǒng)計(jì)學(xué)的方法[3-4]、基于圖像信息的方法[5-6]和基于幾何形狀的方法[7-9]。其中基于幾何形狀的方法近年來(lái)獲得了很大發(fā)展，并出現(xiàn)了很多成熟的類庫(kù)，如Stasm[2]、Face++（http：//www.faceplusplus.com.cn/）等。本文即采用Stasm開源庫(kù)完成人臉特征點(diǎn)的檢測(cè)，獲取人臉的63個(gè)特征點(diǎn)。如圖2所示即為對(duì)輸入的源人臉照片和目標(biāo)人臉照片進(jìn)行人臉特征點(diǎn)自動(dòng)檢測(cè)的結(jié)果。

3.1.2 額頭特征點(diǎn)的標(biāo)記及特征點(diǎn)調(diào)整

人臉的額頭區(qū)域占據(jù)很大面積，對(duì)于人臉區(qū)域的映射至關(guān)重要。但目前的人臉檢測(cè)類庫(kù)都沒(méi)有提供額頭區(qū)域特征點(diǎn)的檢測(cè)。這是由于人臉額頭部分經(jīng)常被頭發(fā)遮擋，造成不同人臉圖像額頭部分特征點(diǎn)無(wú)規(guī)律，難以通過(guò)訓(xùn)練的方法來(lái)提取人臉額頭部分的特征點(diǎn)。

為此，本文通過(guò)人工方式手動(dòng)標(biāo)記人臉額頭部分的特征點(diǎn)。由于不同的人臉圖像被頭發(fā)遮擋的部分各不相同，故對(duì)該區(qū)域的特征點(diǎn)個(gè)數(shù)并沒(méi)有明確指定，可以視人臉圖像而定。但源人臉圖像與目標(biāo)人臉圖像中該區(qū)域的特征點(diǎn)個(gè)數(shù)需要相同且一一對(duì)應(yīng)。如圖3所示即為對(duì)輸入的兩張人臉照片進(jìn)行人工方式標(biāo)記人臉額頭特征點(diǎn)后的結(jié)果。

圖2 人臉特征點(diǎn)自動(dòng)檢測(cè)

圖3 人工方式標(biāo)記額頭特征點(diǎn)

此外，通過(guò)現(xiàn)有的人臉特征點(diǎn)提取方法自動(dòng)檢測(cè)出的人臉特征點(diǎn)并非完全準(zhǔn)確，往往存在個(gè)別特征點(diǎn)的位置偏差。本文提供了人機(jī)交互方式，允許用戶手動(dòng)調(diào)整這些特征點(diǎn)以達(dá)到修正的目的。

從上面論述可知，采用上述方法所獲取的源人臉和目標(biāo)人臉特征點(diǎn)數(shù)量相同，并一一對(duì)應(yīng)。

3.2 目標(biāo)人臉區(qū)域三角化

前文提到過(guò)，如果將人臉區(qū)域進(jìn)行整體的約束映射，將使得映射過(guò)程中產(chǎn)生的能量函數(shù)值較大，往往使得人臉圖像在細(xì)節(jié)較多處的扭曲形變嚴(yán)重。為此，本文采取的方法是：將目標(biāo)人臉區(qū)域網(wǎng)格化為小塊區(qū)域，分別映射每個(gè)小塊區(qū)域。小塊區(qū)域內(nèi)人臉特征的變化較小，可以采用二次函數(shù)進(jìn)行很好地?cái)M合。這種網(wǎng)格化方式相當(dāng)于分散了能量函數(shù)誤差，可以達(dá)到良好的映射效果。

在3.1節(jié)中，通過(guò)人臉特征提取得到的特征點(diǎn)集是一個(gè)平面散點(diǎn)集，因此可以采用三角剖分平面散點(diǎn)集的方法處理人臉區(qū)域得到網(wǎng)格。在三角剖分算法中，Delaunay三角化（Delaunay Triangulation，DT）[10-12]無(wú)疑是其中最經(jīng)典的方法之一。本文即采用了遞歸生長(zhǎng)法來(lái)實(shí)現(xiàn)目標(biāo)人臉區(qū)域的Delaunay三角剖分。

但3.1節(jié)得到的人臉特征點(diǎn)主要集中在五官部位，在臉頰部位、額頭部位和下巴部位并無(wú)特征點(diǎn)，這使得在這些部位的三角化區(qū)域會(huì)很大，可能造成映射時(shí)的扭曲形變。為此，在三角化之前，在上述三個(gè)區(qū)域增加一系列采樣點(diǎn)；三角剖分時(shí)，將根據(jù)特征點(diǎn)和采樣點(diǎn)來(lái)共同完成三角網(wǎng)格的生成，由此得到更為均勻和密集的三角網(wǎng)格。如圖4所示即為即為增加采樣點(diǎn)，并進(jìn)行Delaunay三角化后的結(jié)果，紅色點(diǎn)為增加的采樣點(diǎn)。

圖4 目標(biāo)人臉區(qū)域Delaunay三角化

3.3 基于調(diào)和映射的網(wǎng)格點(diǎn)紋理坐標(biāo)生成

基于3.2節(jié)方法得到的網(wǎng)格點(diǎn)可以分為兩類：特征點(diǎn)與非特征點(diǎn)。非特征點(diǎn)就是后來(lái)增加的采樣點(diǎn)。特征點(diǎn)的紋理坐標(biāo)已經(jīng)確定，需要在特征點(diǎn)紋理坐標(biāo)的約束下求得所有非特征點(diǎn)的紋理坐標(biāo)。本文將這個(gè)問(wèn)題轉(zhuǎn)化為一個(gè)二維調(diào)和映射的問(wèn)題。

3.3.1 調(diào)和映射

調(diào)和映射是兩個(gè)流形之間的能量最小化映射，它是幾何分析中一類重要的研究對(duì)象，其最大的優(yōu)點(diǎn)是能夠保證映射過(guò)程所產(chǎn)生的形變最小[13]。試圖建立參數(shù)化的平面網(wǎng)格（目標(biāo)人臉）和紋理平面（源人臉圖像）之間的映射關(guān)系，而這種映射關(guān)系需要保證紋理空間的形變最小，這可以轉(zhuǎn)化為一個(gè)二維調(diào)和映射問(wèn)題。

文獻(xiàn)[14]提出了一種調(diào)和映射的有限元方法。該方法的具體思想如下：

假設(shè)Φ是兩個(gè)光滑流形(M,g)和(N,h)之間的一個(gè)光滑映射，記為：

假設(shè)三角網(wǎng)格模型D與平面鄰域P都同胚于圓盤，?D和?P分別表示D、P的邊界，vi()i=1,2,…,n是三角網(wǎng)格模型的內(nèi)部點(diǎn)；表示連接vi和vj生成的邊，長(zhǎng)度用vij表示；對(duì)以vi,vj,vk為頂點(diǎn)的三角形表示其面積。記與邊連接的兩個(gè)三角形分別是和首先定義邊界映射，那么存在調(diào)和映射?映射到P的內(nèi)部。調(diào)和映射?是通過(guò)計(jì)算公式（2）的最小值得到的。

其中

3.3.2 基于調(diào)和映射的非特征點(diǎn)紋理坐標(biāo)生成

設(shè)D為網(wǎng)格模型，vi(i=1,2,…,n)為模型的頂點(diǎn)，P為紋理空間，(i=1,2,…,n)對(duì)應(yīng)vi(i=1,2,…,n)在P上的紋理坐標(biāo)。只需要在紋理圖像與模型上指定一些一一對(duì)應(yīng)的特征點(diǎn)代入公式（2），那么其他非約束點(diǎn)的紋理坐標(biāo)就可以通過(guò)求解公式（2）的極小值來(lái)得到。公式（2）的極小值可以使用迭代的方法或者共軛梯度法求解一個(gè)稀疏的正定線性方程組來(lái)獲得。通過(guò)對(duì)上述調(diào)和映射的有限元模型進(jìn)行分析可知，該模型本質(zhì)上是一種加權(quán)平均的方法。為此，使用了一種迭代的方式進(jìn)行求解。首先，給每一個(gè)非特征點(diǎn)的紋理坐標(biāo)設(shè)定一個(gè)初值；然后，基于公式（3），并根據(jù)三角網(wǎng)格上的非特征點(diǎn)與該點(diǎn)在源圖像上的對(duì)應(yīng)點(diǎn)有相同的拓?fù)溥B接關(guān)系這一特性，對(duì)每一個(gè)非特征點(diǎn)的紋理坐標(biāo)進(jìn)行多次迭代計(jì)算來(lái)求出所有非特征點(diǎn)的紋理坐標(biāo)。具體算法如下：

若迭代的次數(shù)為m，非特征點(diǎn)的個(gè)數(shù)為n，則該算法的時(shí)間復(fù)雜度為O(m×n)。

3.4 紋理映射與邊界融合處理

在獲得所有網(wǎng)格點(diǎn)的紋理坐標(biāo)后，就可以對(duì)目標(biāo)區(qū)域網(wǎng)格內(nèi)的每一個(gè)像素運(yùn)用雙線性插值的方式來(lái)計(jì)算得到其在源圖像中的紋理坐標(biāo)，從而完成目標(biāo)圖像的顏色賦值。顯然，這個(gè)過(guò)程正好就是典型的紋理映射過(guò)程，完全可以借助于OpenGL等圖形庫(kù)，采用圖形繪制流程來(lái)完成。圖形繪制流程利用了GPU的運(yùn)算能力，可大大加快這個(gè)映射的過(guò)程。

但在實(shí)現(xiàn)過(guò)程中，發(fā)現(xiàn)由于源圖像與目標(biāo)圖像在亮度、色彩等方面存在差異，如果直接將源圖像“貼”到目標(biāo)區(qū)域，容易與目標(biāo)區(qū)域周邊的圖像形成銳利的邊界。如圖5（a）可見，在人臉的額頭處有明顯的折線的感覺(jué)，效果不自然。為此，采用了高斯模糊的方法對(duì)邊界區(qū)域進(jìn)行融合處理。

首先，根據(jù)所提取的特征點(diǎn)來(lái)確定人臉的外部輪廓折線，然后，沿外部輪廓折線對(duì)源圖像像素和目標(biāo)圖像像素進(jìn)行高斯核的加權(quán)平均，從而實(shí)現(xiàn)了邊界的漸入漸出融合效果。如圖5（b）所示即為生成的圖像通過(guò)邊界融合處理后的結(jié)果。可以看出處理后的人臉輪廓區(qū)域過(guò)渡的比較平滑、自然。

圖5 邊界融合處理效果

4 實(shí)驗(yàn)結(jié)果

4.1 人臉合成結(jié)果

圖6顯示了多組合成效果，從圖中可以看出，本文方法能夠?qū)⒃慈四槇D像很好地映射到目標(biāo)人臉區(qū)域中，使得源人臉圖像與目標(biāo)人臉的幾何特征進(jìn)行無(wú)縫融合，取得滿意的“變臉”效果。

圖6 人臉合成結(jié)果

此外，本文方法不僅可用于人臉之間的變換，還可以實(shí)現(xiàn)非人臉到人臉的變換或人臉的卡通化風(fēng)格變換。如圖7上排所示，實(shí)現(xiàn)了老虎到人臉的映射，而圖7下排則展示了人臉的卡通化風(fēng)格變換。

圖7 其他風(fēng)格變換圖

4.2 交互式人臉表情調(diào)整

上面實(shí)驗(yàn)中表現(xiàn)的都是對(duì)兩張不同的臉進(jìn)行映射變形，事實(shí)上，如果源圖像和目標(biāo)圖像都取相同的人臉，而對(duì)目標(biāo)人臉的五官特征點(diǎn)位置進(jìn)行調(diào)整后再進(jìn)行映射，就可以實(shí)現(xiàn)人臉的交互式表情調(diào)整。

系統(tǒng)中提供了人機(jī)交互的工具，允許用戶對(duì)目標(biāo)人臉的表情特征點(diǎn)進(jìn)行調(diào)整。如圖8所示，調(diào)整了右邊目標(biāo)人臉嘴巴區(qū)域的特征點(diǎn)，將嘴部區(qū)域的15個(gè)特征點(diǎn)調(diào)整到噘嘴的位置，就實(shí)現(xiàn)了噘嘴的表情效果。從生成的結(jié)果圖來(lái)看，并沒(méi)有發(fā)生嚴(yán)重的扭曲形變現(xiàn)象，證明本文的方法對(duì)于人臉表情調(diào)整是行之有效的。圖9則展示了眉毛調(diào)整的效果。

圖8 人臉嘴部表情調(diào)整效果

圖9 調(diào)整眉毛特征點(diǎn)得到皺眉效果

5 總結(jié)

本文提出了一種實(shí)現(xiàn)“變臉”效果的技術(shù)方法，該方法通過(guò)人臉的特征點(diǎn)識(shí)別、目標(biāo)人臉的三角網(wǎng)格化構(gòu)建以及基于調(diào)和映射的紋理坐標(biāo)生成，實(shí)現(xiàn)了源人臉紋理到目標(biāo)人臉區(qū)域的約束性映射。該方法可將源人臉的紋理特征與目標(biāo)人臉的幾何特征進(jìn)行無(wú)縫融合，可以有效實(shí)現(xiàn)人臉變形、人臉風(fēng)格化繪制、人臉表情調(diào)整等多種應(yīng)用效果的模擬，具有很好的實(shí)用價(jià)值。

本文方法在以下方面還可進(jìn)一步改進(jìn)或延伸：

（1）雖然采用了邊界融合的措施，但是在額頭區(qū)域，源人臉區(qū)域和目標(biāo)人臉的發(fā)跡部分依然可能產(chǎn)生明顯的邊界感。如何有效地對(duì)發(fā)跡部分進(jìn)行自動(dòng)檢測(cè)和融合處理，將是下一步的研究重點(diǎn)。

（2）與發(fā)跡區(qū)域類似，耳朵區(qū)域也存在融合調(diào)整的問(wèn)題。在本系統(tǒng)中，耳朵區(qū)域是目標(biāo)人臉的，而人臉區(qū)域是源人臉的，如果源人臉和目標(biāo)人臉在膚色上有明顯差異，將使得變臉后的耳朵與人臉出現(xiàn)明顯的不協(xié)調(diào)。這方面可考慮對(duì)人耳區(qū)域進(jìn)行色彩調(diào)整進(jìn)行改進(jìn)。

（3）目前本文系統(tǒng)是用于PC平臺(tái)的，而從實(shí)用角度而言，系統(tǒng)在智能移動(dòng)終端上將更具有應(yīng)用潛力。用戶可以本地選擇源圖像，而調(diào)用攝像頭立即拍照來(lái)提供目標(biāo)圖像，從而實(shí)現(xiàn)當(dāng)前人臉的各種風(fēng)格化變換。這可作為本文工作在應(yīng)用方面的下一步嘗試。

[1] Liu S，Ou X，Qian R，et al.Makeup like a superstar：Deep localized makeup transfer network[C]//Proceedings of the International Joint Conference on Artificial Intelligence，New York City，NY，USA，2016：2568-2575.

[2] Milborrow S，Nicolls F.Locating facial features with an extended active shape model[C]//Proceedings of ECCV，2008：504-513.

[3] Cootes T F.Statistical models of appearance for computer vision[D].University of Manchester，2000.

[4] Lee Y，Terzopoulos D，Waters K.Realistic modeling for facial animation[C]//Proeeedings of 22nd Conference onComputerGraphicsandInteractivTechniques（SIGGRAPH’95），New York，NY，USA，1995：55-62.

[5] Zhang B，Ruan Q.Facial feature extraction using improved deformable templates[C]//Proceedings of 8th International Conference on Signal Processing，2006，4：345-353.

[6] Pighin F，Hecker J，Lischinnski D，et al.Synthesizing realistic facial expressions from photograph[C]//Proeeedings of the SIGGRAPH’98，1998：75-84.

[7] Kass M，Witkin A，Terzopoulos D.Snakes：Active contour models[J].International Journal of Computer Vision，1988，1（4）：321-331.

[8] Matthews I，Baker S.Active appearance models revisited[J].International Journal of Computer Vision，2004，60（2）：135-164.

[9] Seo H，Cordier F.Constrained texture mapping using image warping[J].Computer Graphics Forum，2010，29（1）：160-174.

[10] 李偉青，彭群生.一個(gè)通用的快速三角化算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2001，13（9）：769-773.

[11] 徐永安，譚建榮，楊欽，等.二維任意域約束Delaunay三角化的實(shí)現(xiàn)[J].工程圖學(xué)學(xué)報(bào)，1999（1）：51-55.

[12] 曾薇，孟祥旭，楊承磊，等.平面多邊形域的快速約束Delaunay三角化[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2005，17（9）：1933-1940.

[13] 周昆，潘志庚，馬小虎，等.調(diào)和映射的構(gòu)造及其在圖形學(xué)中的應(yīng)用[J].中國(guó)圖象圖形學(xué)報(bào)，1998，3（7）：578-582.

[14] 郭延文，潘永娟，崔秀芬，等.基于調(diào)和映射的約束紋理映射方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2005，17（7）：1457-1462.

LUO Dai,TAO Yang,YANG Gang.Face texture mapping and deformation with constrains of facial feature.Computer Engineering andApplications,2018,54（6）：188-192.

LUO Dai,TAO Yang,YANG Gang

Beijing Forestry University,Beijing 100083,China

The research object of this paper is to map a face image（called the source image）to another face image（called the target image）,so as to realize the deformation of the face images and achieve some special effects.In the process,one of the most critical problems is to maintain the constrained mapping of organ features in two human faces.This paper puts forward a technical strategy,which can effectively achieve this object.Firstly,the feature points of the source face and the target face are detected with the face feature detection algorithm.Then,based on the feature points,the Delaunay triangulation method is used to transform the target face into a triangular mesh.After that,the corresponding coordinates of all grid points are calculated in the source face image by using harmonic mapping.After obtaining the texture coordinates of the mesh point,the mapping of the source face to the target face can be realized.Experimental results show that,the proposed method can realize the mapping between arbitrary faces,and the mapping relationships of facial features can be maintained very well.

texture mapping;harmonic mapping;Delaunay triangulation;ASM algorithm

將一幅人臉圖像（稱為源圖像）映射到另一幅人臉圖像（稱為目標(biāo)圖像）上，從而實(shí)現(xiàn)人臉圖像的變形并達(dá)到某種特殊效果的表現(xiàn)要求。其中，一個(gè)最關(guān)鍵的問(wèn)題是保持兩幅人臉中器官特征的約束映射。提出一種技術(shù)策略，可以有效實(shí)現(xiàn)這種映射效果。利用人臉特征檢測(cè)算法檢測(cè)出源人臉和目標(biāo)人臉的特征點(diǎn)；基于特征點(diǎn)，利用Delaunay三角剖分的方法將目標(biāo)人臉轉(zhuǎn)化為三角網(wǎng)格；采用調(diào)和映射的方法計(jì)算得出所有網(wǎng)格點(diǎn)在源人臉圖像中的對(duì)應(yīng)坐標(biāo)；在獲得網(wǎng)格點(diǎn)紋理坐標(biāo)后，就可以實(shí)現(xiàn)源人臉到目標(biāo)人臉的映射。實(shí)驗(yàn)表明，該方法可以實(shí)現(xiàn)任意人臉間的映射，并能較好地保持人臉五官間的映射關(guān)系。

紋理映射；調(diào)和映射；Delaunay三角化；ASM算法

2016-11-08

2017-02-24

1002-8331（2018）06-0188-05

A

TN911.9

10.3778/j.issn.1002-8331.1611-0133

國(guó)家科技支撐計(jì)劃課題（No.2015BAH52F03）。

羅岱（1973—），男，博士，副教授，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)圖形學(xué)；陶洋（1991—），男，碩士研究生，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)圖形學(xué)；楊剛（1977—），通訊作者，男，博士，副教授，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)圖形學(xué)，E-mail：yanggang@bjfu.edu.cn。