陽(yáng) 策，李 重，任 義，劉 恒

1(浙江理工大學(xué) 信息學(xué)院，杭州 310018)

2(浙江理工大學(xué) 理學(xué)院，杭州 310018)

近年來(lái)，人臉圖像紋理合成和三維人臉重建已成為圖形圖像處理、計(jì)算機(jī)視覺(jué)、人工智能與模式識(shí)別等領(lǐng)域的研究熱點(diǎn)內(nèi)容.基于圖像的三維人臉重建[1]由于能提升用戶的體驗(yàn)感，在三維動(dòng)畫、計(jì)算機(jī)游戲、虛擬服裝試衣等領(lǐng)域有著廣泛的應(yīng)用價(jià)值.

目前，基于圖像的三維人臉重建可分為基于深度圖像的重建[2]、基于多圖像序列的重建[3]與基于單圖像的重建[4]等方式.基于單張圖像的三維人臉重建因使用人臉照片較少，操作實(shí)現(xiàn)方便，已成為人臉重建中的熱點(diǎn)研究方向.基于單張圖像的重建流程包括人臉圖像特征點(diǎn)提取、膚色校正、人臉圖像融合、人臉紋理圖合成以及三維紋理映射等操作.現(xiàn)有的重建算法在人臉紋理合成時(shí)沒(méi)有考慮光照不佳，眉毛遮擋等因素的影響，使得重建結(jié)果不夠美觀.因此，本文重點(diǎn)在膚色校正、人臉無(wú)縫融合以及眉毛重建等方面進(jìn)行優(yōu)化，充分利用單張圖像上的信息生成具有真實(shí)感及美感的人臉紋理圖.

在人臉特征點(diǎn)提取上，主動(dòng)形狀模型(Active Shape Model)[5，6]和主動(dòng)表觀模型(Active Appearance Model)[7]是兩個(gè)最為經(jīng)典的方法，開(kāi)創(chuàng)了解決此類問(wèn)題的兩類經(jīng)典架構(gòu)；深度學(xué)習(xí)技術(shù)是近年來(lái)出現(xiàn)在機(jī)器學(xué)習(xí)領(lǐng)域的一種突出的信息分析建模技術(shù)，該技術(shù)基于多層神經(jīng)網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)對(duì)復(fù)雜模型的模擬和逼近，具有突出的揭示數(shù)據(jù)內(nèi)在聯(lián)系和結(jié)構(gòu)的能力，有效推進(jìn)了人臉特征點(diǎn)提取技術(shù)的發(fā)展.在膚色校正上，邱佳梁等人[8]提出膚色美白算法，能夠較好地對(duì)光照不足的人臉進(jìn)行提亮，但該算法無(wú)法對(duì)膚色偏差實(shí)現(xiàn)校正；Reinhard 等人[9]提出了經(jīng)典的顏色轉(zhuǎn)換算法，該算法對(duì)于圖像全局的色調(diào)改變有一定的效果，但在局部顏色轉(zhuǎn)換上存在問(wèn)題；Chen 等人[10]使用基于局部線性嵌入算法的編輯傳播，該方法要求用戶手動(dòng)選取需要被轉(zhuǎn)換的區(qū)域以及不被轉(zhuǎn)換的區(qū)域，沒(méi)有實(shí)現(xiàn)完全自動(dòng)化.在圖像無(wú)縫融合上，常用的方法有加權(quán)平均法、高斯濾波法、多分辨率法、基于梯度域的融合法等.其中，加權(quán)平均法簡(jiǎn)單、計(jì)算速度快，但融合效果差，很難消除運(yùn)動(dòng)目標(biāo)所形成的模糊陰影；高斯濾波法利用高斯核函數(shù)對(duì)圖像重疊區(qū)域進(jìn)行平滑處理，易造成局部模糊；多分辨率法將圖像分解在不同頻帶，以實(shí)現(xiàn)整個(gè)圖像的融合過(guò)渡，但需多次濾波，且計(jì)算量大，易造成信號(hào)減弱，導(dǎo)致圖像模糊；基于梯度域的方法在梯度域?qū)崿F(xiàn)圖像的合成，利用已知圖像的梯度信息引導(dǎo)插值融合，不會(huì)出現(xiàn)模糊現(xiàn)象，融合效果好.在輪廓提取上，Li 等人[11]提出不需要初始化的水平集模型，解決了傳統(tǒng)的水平集模型重新初始化的問(wèn)題，提高了輪廓擬合速度.

本文工作將對(duì)一張人臉圖像采用基于局部線性嵌入算法的編輯傳播來(lái)實(shí)現(xiàn)膚色的校正，對(duì)于需要轉(zhuǎn)換的膚色區(qū)域，利用ASM 算法提取的特征點(diǎn)實(shí)現(xiàn)自動(dòng)選取；采用泊松編輯方法將人臉五官區(qū)域與標(biāo)準(zhǔn)膚色圖融合；同時(shí)，對(duì)于眉毛遮擋，本文提出一種結(jié)合Li模型與角點(diǎn)檢測(cè)的方法重建眉毛輪廓；最后將生成的人臉紋理圖映射到三維人臉模型上.

1 概述及流程圖

本文提出一個(gè)算法框架，對(duì)用戶輸入的人臉圖像結(jié)合標(biāo)準(zhǔn)膚色進(jìn)行美化處理，生成紋理圖，實(shí)現(xiàn)三維人臉重建.首先，采用ASM 算法提取人臉特征點(diǎn)，用于區(qū)域約束和紋理映射；其次，采用基于局部線性嵌入算法的編輯傳播來(lái)實(shí)現(xiàn)對(duì)人臉膚色的顏色轉(zhuǎn)換；隨后，通過(guò)泊松融合實(shí)現(xiàn)人臉區(qū)域與標(biāo)準(zhǔn)膚色圖像的無(wú)縫融合，同時(shí)，分情況對(duì)遮擋眉毛進(jìn)行還原重建.經(jīng)過(guò)這一系列處理，得到美化后的人臉紋理圖，將其映射到三維人臉模型上，得到重建人臉.算法流程圖如圖1所示.

2 人臉特征點(diǎn)提取

本文采用ASM 算法提取人臉特征點(diǎn).ASM 算法通過(guò)模型訓(xùn)練與模型搜索兩個(gè)步驟實(shí)現(xiàn)特征點(diǎn)提取.在模型訓(xùn)練階段，訓(xùn)練樣本集建立主動(dòng)形狀模型與局部灰度模型；在模型搜索階段，將第一步得到的初始形狀對(duì)目標(biāo)圖像進(jìn)行匹配，然后根據(jù)局部灰度模型調(diào)整參數(shù)，直至收斂.這樣即得到最終的人臉特征點(diǎn)定位，實(shí)驗(yàn)結(jié)果如圖2所示.

3 顏色轉(zhuǎn)換

為實(shí)現(xiàn)人臉膚色的美白或修正由光照等外界因素造成的膚色偏差，我們采用顏色轉(zhuǎn)換將原膚色轉(zhuǎn)換為指定的膚色.自動(dòng)顏色轉(zhuǎn)換算法由Reinhard 等人首次提出.該算法統(tǒng)計(jì)原圖像與目標(biāo)圖像在Lαβ顏色空間中像素的均值與標(biāo)準(zhǔn)差，通過(guò)如下色彩轉(zhuǎn)換公式使原圖像的色調(diào)與目標(biāo)圖像的色調(diào)保持一致.

圖1 算法流程圖

圖2 人臉特征點(diǎn)提取

式中，c∈(r,g,b)，Ir表示轉(zhuǎn)換后的像素值，Is表示原圖像像素值，means，meant分別表示原圖像與目標(biāo)圖像的像素均值，devs，devt分別表示原圖像與目標(biāo)圖像的像素標(biāo)準(zhǔn)差.

該算法對(duì)于圖像全局的色調(diào)改變有一定的效果，但在局部顏色轉(zhuǎn)換上存在問(wèn)題，比如人臉的顏色轉(zhuǎn)換.本文采用基于局部線性嵌入算法的編輯傳播方法實(shí)現(xiàn)人臉的顏色轉(zhuǎn)換.通過(guò)顏色轉(zhuǎn)換，我們便排除了人臉照片拍攝時(shí)過(guò)亮、過(guò)暗等環(huán)境造成的不良影響.

(1)局部線性嵌入(LLE)算法

在顏色轉(zhuǎn)換之時(shí)保持五官及皮膚的原有紋理，即保持?jǐn)?shù)據(jù)的流形結(jié)構(gòu)不變.局部線性嵌入(Locally Linear Embedding)算法在將數(shù)據(jù)從高維映射到低維的同時(shí)，保持?jǐn)?shù)據(jù)流形結(jié)構(gòu)不變，使得每個(gè)樣本能夠表示為其鄰域的線性組合.我們用向量xi來(lái)表示在某個(gè)特征空間中一個(gè)像素點(diǎn)i.給定一個(gè)數(shù)據(jù)集x1,···,xN，對(duì)于每一個(gè)像素點(diǎn)xi，我們選取它的k個(gè)最近鄰域，表示為xi1,···,xik，我們將計(jì)算出一組權(quán)重?ij使得該k個(gè)鄰域能夠最好的重建像素點(diǎn)xi，LLE 算法通過(guò)最小化如下能量函數(shù)計(jì)算?ij:

約束條件∑j∈N?ij=1=1.求得?ij后，與xi的鄰域線性組合即可重建xi.

(2)編輯傳播

接下來(lái)，我們將使用編輯傳播的方法來(lái)實(shí)現(xiàn)顏色的轉(zhuǎn)換.傳統(tǒng)的編輯傳播思想考慮兩個(gè)條件:被傳播的像素結(jié)果與用戶輸入(如指定顏色)接近；相似的像素經(jīng)傳播后具有相似的結(jié)果.基于LLE的編輯傳播同樣考慮第一點(diǎn)，不同的是第二點(diǎn)考慮在某個(gè)顏色空間中，由所有像素組成的數(shù)據(jù)流形結(jié)構(gòu)保持不變.

給定原圖像與目標(biāo)圖像，我們可以通過(guò)最小化如下能量函數(shù)來(lái)傳遞顏色:

其中，si是在像素點(diǎn)i處編輯后的結(jié)果，ti(i∈R)是指定的標(biāo)準(zhǔn)膚色.第一項(xiàng)維持在指定特征空間中數(shù)據(jù)流形結(jié)構(gòu)的不變性，第二項(xiàng)保證最終結(jié)果與指定顏色接近，R是需要轉(zhuǎn)換的區(qū)域.

該能量函數(shù)能夠進(jìn)一步地寫成矩陣形式:

S是第i個(gè)元素為si的向量，I是單位矩陣，Λ是對(duì)角線元素為 λ的對(duì)角矩陣，T是第i個(gè)元素為ti的向量，W是元素為 ?i j的矩陣.于是上面最小化能量函數(shù)的問(wèn)題等價(jià)于求解如下稀疏線性方程:

本文采用三維人臉模型的標(biāo)準(zhǔn)膚色作為輸入顏色，通過(guò)顏色轉(zhuǎn)換，將原圖像的膚色色調(diào)調(diào)整為與三維人臉模型一致.顏色轉(zhuǎn)換結(jié)果如圖3所示.

圖3 顏色轉(zhuǎn)換效果比較

4 人臉無(wú)縫融合和眉毛修復(fù)處理

本文通過(guò)泊松融合對(duì)人臉圖像和標(biāo)準(zhǔn)膚色圖實(shí)現(xiàn)無(wú)縫融合.泊松融合又叫泊松圖像編輯[12]，實(shí)質(zhì)為在某個(gè)梯度向量場(chǎng)的引導(dǎo)下的圖像插值，其基本原理如下:

設(shè)圖像S上有一個(gè)閉合子區(qū)域 Ω，其邊界為? Ω，V為原圖像中待融合區(qū)域的梯度向量場(chǎng)，f為定義在S上的標(biāo)量函數(shù)，已知f在? Ω上的取值為f?，則f在 Ω內(nèi)取V引導(dǎo)下的插值函數(shù)，即求解極值問(wèn)題:

式中，?f為f的梯度.因?yàn)樵搯?wèn)題的解構(gòu)成泊松方程，所以該方法被稱為泊松融合.

圖4 泊松融合示意圖

本文通過(guò)ASM 算法檢測(cè)得到的特征點(diǎn)自動(dòng)選取出眉毛、眼睛、鼻子、嘴巴構(gòu)成的區(qū)域作為待融合區(qū)域，這樣初步排除了頭發(fā)遮擋的問(wèn)題.目標(biāo)圖像為一張標(biāo)準(zhǔn)膚色圖，設(shè)定融合中心位于膚色圖中心，使融合的人臉區(qū)域處于膚色圖中間，這樣得到一張無(wú)縫的人臉紋理圖，用于三維人臉重建.由于標(biāo)準(zhǔn)膚色圖的顏色是根據(jù)三維模型的顏色選取，紋理圖的臉頰邊緣顏色與三維模型的顏色一致，所以能夠有效地解決邊緣融合問(wèn)題.

另外我們考慮眉毛被遮擋的情況，通過(guò)判斷眉毛外側(cè)角點(diǎn)鄰域內(nèi)的灰度值，檢測(cè)得到眉毛被遮擋的不同情況.當(dāng)出現(xiàn)眉毛遮擋時(shí)，泊松融合分兩個(gè)區(qū)域進(jìn)行，一部分為眼睛、鼻子、嘴巴組成的區(qū)域，另一部分眉毛區(qū)域則單獨(dú)處理，可分三種情況:

(1)若一側(cè)眉毛完整，另一側(cè)眉毛被完全遮擋，利用人臉對(duì)稱性，將完整的眉毛水平鏡像映射到另一側(cè)，如圖5所示.

圖5 眉毛鏡像融合(一側(cè)眉毛完整時(shí))

(2)當(dāng)兩側(cè)眉毛均被遮擋時(shí)，選取一對(duì)眉毛模板，將其融入兩側(cè)眉毛區(qū)域，如圖6所示.

圖6 眉毛模板融合(兩側(cè)眉毛不完整時(shí))

(3)當(dāng)一側(cè)眉毛完整，另一側(cè)眉毛僅部分被遮擋時(shí)，我們利用完整眉毛輪廓，同時(shí)結(jié)合另一側(cè)未被遮擋的部分眉毛輪廓，來(lái)重建該側(cè)眉毛，以達(dá)到更接近真實(shí)眉毛的效果.我們采用Li模型結(jié)合角點(diǎn)檢測(cè)來(lái)修復(fù)該種情況的眉毛遮擋.首先，我們采用Canny 算子檢測(cè)得到完整一側(cè)的眉毛輪廓，然后將該輪廓線水平翻轉(zhuǎn)，作為另一側(cè)被遮擋眉毛的初始輪廓線.同時(shí)在被遮擋眉毛區(qū)域?qū)ふ抑虚g角點(diǎn)，這樣以角點(diǎn)為分界得到未被遮擋的部分，以此作為對(duì)Li模型演化的約束，演化得到最終的眉毛輪廓.如圖7所示，圖7(a)是完整眉毛區(qū)域，對(duì)其采用Canny 算子檢測(cè)得到輪廓圖7(b)，將其水平翻轉(zhuǎn)為圖7(c).然后在有部分遮擋的眉毛區(qū)域?qū)ふ医屈c(diǎn)如圖7(d)，隨后將圖7(c)的輪廓以眉毛端點(diǎn)為基準(zhǔn)貼合于該區(qū)域如圖7(e)，最后以角點(diǎn)為分界，在未被遮擋的眉毛區(qū)域通過(guò)Li模型演化得到最終的重建眉毛輪廓.得到重建眉毛輪廓后，將原圖兩側(cè)眉毛以角點(diǎn)為分界進(jìn)行融合.如圖8所示，圖8(a)選取未被遮擋的區(qū)域，圖8(b)選取完整眉毛翻轉(zhuǎn)后的外側(cè)區(qū)域，將這兩個(gè)區(qū)域融合得到重建后的眉毛，見(jiàn)圖8(c)，該重建眉毛利用了半遮擋眉毛的部分信息，更貼近于真實(shí)的眉毛.

圖7 重建眉毛輪廓過(guò)程

圖8 重建眉毛效果圖

5 三維人臉重建

最終，我們將由上述算法得到的人臉紋理圖映射到三維模型上.人臉紋理映射[13]可將二維圖像上通過(guò)ASM 算法提取的特征點(diǎn)坐標(biāo)與三維模型上對(duì)應(yīng)的特征點(diǎn)坐標(biāo)對(duì)應(yīng)起來(lái)，最終可歸結(jié)為一個(gè)最小二乘問(wèn)題進(jìn)行求解.本文利用OpenGL 提供的函數(shù)庫(kù)來(lái)完成三維人臉模型的紋理映射.

6 實(shí)驗(yàn)結(jié)果

該實(shí)驗(yàn)選取100 幅特定照片作為測(cè)試集，服務(wù)器端圖像處理算法電腦CPU 為Intel 酷睿4 核4.20 GHz，內(nèi)存為16 GB，在MyEclipse 運(yùn)行環(huán)境中，通過(guò)Java 程序?qū)Υ郎y(cè)人臉圖像進(jìn)行特征點(diǎn)提取、顏色轉(zhuǎn)換、泊松融合以及眉毛修復(fù)等一系列操作.

為了驗(yàn)證本文算法對(duì)環(huán)境有較好的抗性，我們對(duì)不同光照背景下的人臉圖像進(jìn)行實(shí)驗(yàn)，可以看到，對(duì)于光線過(guò)暗的環(huán)境，算法能夠較好地美白膚色，對(duì)于膚色偏差的情況，也能實(shí)現(xiàn)良好的膚色校正效果，實(shí)驗(yàn)結(jié)果如圖10所示.

圖9 三維人臉紋理映射

圖10 人臉重建效果圖(非正常膚色情況)

為了驗(yàn)證本文算法對(duì)眉毛遮擋的修復(fù)效果，我們對(duì)不同發(fā)型的人臉圖像進(jìn)行了實(shí)驗(yàn)，可以看到，算法能夠較好地還原眉毛，實(shí)驗(yàn)結(jié)果如圖11所示.

本文還與FaceGen 軟件、深度學(xué)習(xí)方法[14]進(jìn)行了比較，并記錄重建完成所需要的時(shí)間(表1)，實(shí)驗(yàn)結(jié)果表明，本文算法在時(shí)間上具有明顯優(yōu)勢(shì)，有利于實(shí)時(shí)應(yīng)用推廣.本文結(jié)果在保持人臉相似度的同時(shí)，對(duì)人臉還進(jìn)行了美化處理，并對(duì)頭發(fā)進(jìn)行了去除，眉毛進(jìn)行了重建，使用戶可以更換其他發(fā)型.FaceGen 在眉毛重建時(shí)眉梢會(huì)出現(xiàn)拉伸變形，在劉海去除上未能達(dá)到完全去除的效果；深度學(xué)習(xí)方法未實(shí)現(xiàn)對(duì)劉海的去除和眉毛重建.實(shí)驗(yàn)結(jié)果如圖12所示:第一列為原圖，第二列為本文方法結(jié)果，第三列為FaceGen 結(jié)果，第四列為深度學(xué)習(xí)方法結(jié)果.

圖11 人臉重建效果圖(眉毛被遮擋情況)

表1 本文方法與其他方法時(shí)間對(duì)比

圖12 不同方法的三維重建效果比較

7 總結(jié)與展望

本文對(duì)人臉圖像基于標(biāo)準(zhǔn)膚色進(jìn)行美化處理，生成人臉紋理圖，將其應(yīng)用于三維人臉重建，得到個(gè)性化三維人臉模型.由于現(xiàn)實(shí)生活中拍攝的人臉圖像可能存在頭發(fā)遮擋，光照條件不佳等情況，對(duì)人臉圖像的三維重建往往無(wú)法得到美觀的效果，為此本文提出一個(gè)算法框架，能夠?qū)θ四槍?shí)現(xiàn)自動(dòng)檢測(cè)及美化，從而得到較好的人臉重建結(jié)果.實(shí)驗(yàn)結(jié)果表明本文算法能夠得到令人滿意的重建效果，包括能夠重建被遮擋的眉毛區(qū)域，并且較其他方法具有優(yōu)越的運(yùn)算效率，能夠達(dá)到實(shí)時(shí)性.

本文在人臉紋理圖生成時(shí)，要求輸入圖像為正面人臉圖像，如何通過(guò)視頻獲取更多角度的人臉圖像信息進(jìn)行人臉紋理生成，以及考慮人臉偏轉(zhuǎn)實(shí)現(xiàn)姿勢(shì)矯正等，達(dá)到精度更高的重建效果將是我們今后的工作.同時(shí)，人臉上的裝飾物(如眼鏡)會(huì)影響紋理圖的生成效果，如何去除裝飾物影響也是我們的一項(xiàng)重要工作.另外，現(xiàn)有工作是通過(guò)標(biāo)準(zhǔn)紋理映射算法將人臉圖像映射到三維人臉模型上，如何構(gòu)造更加準(zhǔn)確的紋理映射算法生成高質(zhì)量三維重建人臉，也是今后的主要工作.