黃曉瑜

摘? 要： 針對(duì)現(xiàn)有人臉卡通動(dòng)畫(huà)設(shè)計(jì)系統(tǒng)實(shí)現(xiàn)復(fù)雜度高、圖像還原不精確的問(wèn)題，文中設(shè)計(jì)基于彈性形變?cè)淼娜四樋ㄍ▌?dòng)畫(huà)系統(tǒng)。利用Candide?3建模平臺(tái)對(duì)采集到的原始人臉圖像進(jìn)行建模，并根據(jù)提取到的人臉特征進(jìn)行匹配，以獲取相應(yīng)的器官模型。在該模型的基礎(chǔ)上，基于彈性形變?cè)韺?shí)現(xiàn)人臉卡通圖像的生成以及表情的變化。測(cè)試和實(shí)現(xiàn)結(jié)果表明，文中所設(shè)計(jì)的系統(tǒng)利用OpenGL平臺(tái)對(duì)人臉圖像進(jìn)行圖像渲染，生成具有高還原度的人臉卡通動(dòng)畫(huà)，且系統(tǒng)對(duì)硬件要求較低，適用于大多數(shù)應(yīng)用場(chǎng)景。

關(guān)鍵詞： 人臉卡通動(dòng)畫(huà)系統(tǒng); 彈性形變; 人臉圖像建模; Candide?3建模平臺(tái); 特征匹配; 系統(tǒng)測(cè)試

中圖分類號(hào)： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）08?0128?04

Design of face cartoon animation system based on elastic deformation principle

HUANG Xiaoyu

（College of Information Science and Technology， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： A face cartoon animation system based on elastic deformation principle is designed to solve the problem of high complexity and image restoration that the existing face cartoon animation design system cannot deal with. In the designed system， the candide?3 modeling platform is used to modeling the acquired original face images， and match the extracted face features， so as to obtain the corresponding organ modelsing. The generation and expression changes of face cartoon image are realized based on this model and the principle of elastic deformation. The testing and implementation results show that the proposed system renders face images by the OpenGL platform， and generates face cartoon animation with high degree of reduction. The system has low hardware requirements and is suitable for most application scenarios.

Keywords： face cartoon animation system; elastic deformation; facial image modeling; Candide?3 modeling platform; feature matching; system test

0? 引? 言

人臉卡通動(dòng)畫(huà)技術(shù)在虛擬現(xiàn)實(shí)技術(shù)、刑事案件追蹤、醫(yī)學(xué)輔助治療等方面均具有重要的意義[1?2]，因此近年來(lái)得到了廣泛的應(yīng)用。人臉卡通動(dòng)畫(huà)技術(shù)主要涉及兩方面，即人臉建模和模擬人臉動(dòng)畫(huà)。人臉建模要考慮人臉各個(gè)器官的形狀和搭配，而模擬人臉動(dòng)畫(huà)更要結(jié)合人臉的動(dòng)作表情，難度較大。因此，成為研究的熱點(diǎn)[3?4]。

在現(xiàn)有的人臉建模研究成果中，基于幾何建模和圖像處理的方法得到了廣泛的研究。基于幾何建模的方法主要是為了對(duì)人臉進(jìn)行建模[5?6]。利用參數(shù)化的人臉建模方法，可以實(shí)現(xiàn)人臉的二維以及三維建模處理，常用的人臉建模模型主要是Candide人臉模型[7]。在人臉建模的基礎(chǔ)上，可以集合線性形變方法實(shí)現(xiàn)人臉表情的變換，從而獲得更為精確的人臉模型[8]。基于圖像學(xué)的方法主要利用參數(shù)化方法，通過(guò)表情匹配、顏色選擇、圖像渲染等方法實(shí)現(xiàn)人臉圖像到卡通動(dòng)畫(huà)的轉(zhuǎn)變。常用的人臉圖像處理方法有：Morphing方法、表情編碼方法等[9]。結(jié)合幾何建模以及圖像處理方法，可以有效實(shí)現(xiàn)人臉卡通動(dòng)畫(huà)的設(shè)計(jì)。

考慮到人臉卡通動(dòng)畫(huà)設(shè)計(jì)的實(shí)際需求，本文設(shè)計(jì)了基于彈性形變?cè)淼娜四樋ㄍ▌?dòng)畫(huà)設(shè)計(jì)系統(tǒng)。利用Candide?3模型對(duì)人臉進(jìn)行建模，通過(guò)圖像采集和特征提取，將人臉數(shù)據(jù)庫(kù)與形變模型進(jìn)行匹配以生成卡通人臉。結(jié)合彈性形變?cè)砼c圖像處理技術(shù)，對(duì)卡通人臉進(jìn)行表情變換和圖像渲染，可以得到較高真實(shí)度的人臉卡通動(dòng)畫(huà)，可以有效應(yīng)用于各個(gè)領(lǐng)域，所設(shè)計(jì)系統(tǒng)實(shí)現(xiàn)簡(jiǎn)單，具有一定的工程應(yīng)用價(jià)值。

1? 技術(shù)基礎(chǔ)

1.1? 系統(tǒng)原理

人臉卡通動(dòng)畫(huà)系統(tǒng)原理結(jié)構(gòu)如圖1所示。將人臉采集數(shù)據(jù)進(jìn)行特征檢測(cè)和特征提取，并在人臉圖像庫(kù)中進(jìn)行匹配，獲得相應(yīng)的人臉器官數(shù)據(jù)，生成初始的卡通人臉[10]。在此基礎(chǔ)上，將彈性形變模型與人臉圖像庫(kù)進(jìn)行匹配，以對(duì)生成的卡通人臉進(jìn)行變形處理，并經(jīng)過(guò)圖像處理模型，生成最終的人臉卡通動(dòng)畫(huà)。

根據(jù)人臉圖像特征提取結(jié)果進(jìn)行匹配，選擇相應(yīng)的卡通器官數(shù)據(jù)并進(jìn)行組合?？ㄍㄈ四樐Ｐ椭饕^型和人臉兩個(gè)部分，其中人臉又可細(xì)分為眉毛、眼睛、鼻子、嘴巴以及臉型等部分，每一個(gè)部分又包含若干細(xì)節(jié)。定義人臉動(dòng)畫(huà)參數(shù)單位 （Facial Animation Parameter Units，F(xiàn)APU），則人臉器官包含的動(dòng)畫(huà)參數(shù)如表1所示。

1.2? 人臉圖像彈性形變?cè)?/p>

對(duì)人臉圖像進(jìn)行變形，以生成各種卡通表情。本文采用彈性形變方法對(duì)人臉數(shù)據(jù)進(jìn)行處理，利用BFM人臉庫(kù)可以生成新的人臉表情向量，如下：

式中：[Xid]是人臉訓(xùn)練結(jié)果;[αid]是彈性形變系數(shù)。利用彈性形變方法，構(gòu)建的人臉模型偏移量的主成分可以表示為：

式中：[Xexp]是帶表情的人臉模型偏移量;[αexp]是人臉表情偏移系數(shù)。將式（1）和式（2）合并，可以獲得基于彈性形變模型的人臉卡通模型，如下：

利用彈性形變方法可以實(shí)現(xiàn)無(wú)約束條件下的人臉表情變化，生成更為精確的人臉模型。此外，還可以對(duì)表情進(jìn)行定量控制。

根據(jù)彈性形變方法生成人臉模型，需要計(jì)算相應(yīng)的形變系數(shù)。而模型匹配就是求解系數(shù)的過(guò)程，可以利用人臉圖像與二維圖像對(duì)象的顏色信息誤差來(lái)進(jìn)行模型匹配，最優(yōu)化模型可以表示為：

通過(guò)最小化式（4）中的優(yōu)化模型，可以實(shí)現(xiàn)模型匹配，確定人臉卡通模型中的彈性形變系數(shù)與人臉表情偏移系數(shù)，生成人臉卡通圖像數(shù)據(jù)。

2? 系統(tǒng)總體架構(gòu)及模塊設(shè)計(jì)

2.1? 系統(tǒng)架構(gòu)

本文所設(shè)計(jì)的基于彈性形變?cè)淼娜四樋ㄍ▌?dòng)畫(huà)設(shè)計(jì)系統(tǒng)，主要分為3個(gè)部分：人臉采集、形變模型處理以及圖像處理，具體如圖2所示。

1） 人臉采集。人臉采集模塊主要負(fù)責(zé)原始人臉數(shù)據(jù)的收集及預(yù)處理，包括圖像采集和特征點(diǎn)檢測(cè)。通過(guò)對(duì)采集的原始人臉數(shù)據(jù)的特征定位，實(shí)現(xiàn)人臉器官的識(shí)別與匹配，根據(jù)需要生成二維或三維的人臉圖像數(shù)據(jù)。

2） 形變模型處理。形變模型處理模塊包括形變模型和模型匹配兩部分，基于彈性形變?cè)韺?duì)人臉圖像數(shù)據(jù)進(jìn)行形變處理，生成卡通表情，將根據(jù)形變模型與人臉圖像數(shù)據(jù)進(jìn)行模型匹配。

3） 圖像處理。圖像處理模塊包括動(dòng)畫(huà)設(shè)計(jì)和圖像渲染，主要負(fù)責(zé)實(shí)現(xiàn)人臉圖像數(shù)據(jù)到卡通動(dòng)畫(huà)數(shù)據(jù)的轉(zhuǎn)變。并對(duì)動(dòng)畫(huà)進(jìn)行圖像渲染，增強(qiáng)圖像效果。

2.2? 卡通動(dòng)畫(huà)處理

在彈性形變生成人臉模型之后，需要利用圖像處理技術(shù)生成動(dòng)畫(huà)，具體過(guò)程如圖3所示。

圖像載入模塊利用攝像頭拍攝或者從本地圖片導(dǎo)入獲得原始的人臉圖像數(shù)據(jù)，并利用Candide?3對(duì)圖像數(shù)據(jù)進(jìn)行建模，將建模后的圖像進(jìn)行圖像渲染出來(lái)。圖像渲染利用OpenGL平臺(tái)實(shí)現(xiàn)，并將渲染后的圖像經(jīng)過(guò)I/O處理傳遞給動(dòng)畫(huà)生成模塊。根據(jù)前期提取的人臉特征，匹配相應(yīng)的表情動(dòng)畫(huà)庫(kù)，并利用FreeImage平臺(tái)實(shí)現(xiàn)關(guān)鍵幀的插入。最后，將生成的人臉動(dòng)畫(huà)以工程文件或者GIF動(dòng)畫(huà)的形式進(jìn)行存儲(chǔ)。

在圖3中的圖像渲染部分，利用OpenGL平臺(tái)實(shí)現(xiàn)，其具體的模型如圖4所示。

圖像渲染主要是對(duì)圖像的配色進(jìn)行處理，首先對(duì)載入的原始人臉圖像數(shù)據(jù)進(jìn)行顏色匹配，確定初始顏色。在初始配色后，利用圖像回旋技術(shù)，實(shí)現(xiàn)顏色第一次重構(gòu)處理。并對(duì)顏色矩陣進(jìn)行操作，查找相應(yīng)的顏色，實(shí)現(xiàn)有顏色的第二次調(diào)整。在顏色選擇結(jié)束后，通過(guò)柱狀圖計(jì)算以及最大最小計(jì)算方法，實(shí)現(xiàn)顏色邊界的處理，從而實(shí)現(xiàn)最終的人臉圖像渲染。

3? 系統(tǒng)實(shí)現(xiàn)

人臉卡通動(dòng)畫(huà)設(shè)計(jì)系統(tǒng)主要采用Visual 2010和Matlab 2015b工具以及OpenGL進(jìn)行開(kāi)發(fā)，對(duì)軟硬件沒(méi)有特殊的要求。由于OpenGL可以跨平臺(tái)提供程序圖像接口，因此具有較好的可移植性，且支持多種語(yǔ)言。系統(tǒng)實(shí)現(xiàn)界面如圖5所示。

在將人臉圖像數(shù)據(jù)加入系統(tǒng)后，需要進(jìn)行人臉特征檢測(cè)。并將檢測(cè)后的結(jié)果展示在界面中，以便于更直觀地檢查特征檢測(cè)結(jié)果，圖6為人臉特征檢測(cè)系統(tǒng)界面。

4? 系統(tǒng)測(cè)試與數(shù)據(jù)分析

圖7為人臉數(shù)據(jù)原圖，在對(duì)其進(jìn)行人臉特征檢測(cè)之后，通過(guò)彈性形變?cè)磉M(jìn)行變形處理，生成的人臉動(dòng)畫(huà)表情如圖8所示，可以明顯改變?nèi)四樀谋砬椤?/p>

在產(chǎn)生人臉數(shù)據(jù)形變圖后，可以利用人像投影技術(shù)進(jìn)一步生成卡通人臉數(shù)據(jù)。利用本系統(tǒng)生成的人臉卡通數(shù)據(jù)的投影誤差如表2所示。

由表2中可以看出，本文所設(shè)計(jì)系統(tǒng)生成的人臉數(shù)據(jù)投影誤差比現(xiàn)有算法要低，且針對(duì)不同人臉數(shù)據(jù)均有較好的適用性。通過(guò)人臉表情形變處理結(jié)果和人臉卡通投影測(cè)試的結(jié)果，證明了本文所設(shè)計(jì)系統(tǒng)的有效性。

5? 結(jié)? 語(yǔ)

為滿足人臉卡通動(dòng)畫(huà)設(shè)計(jì)系統(tǒng)的研究需求，本文設(shè)計(jì)了基于彈性形變?cè)淼娜四樋ㄍ▌?dòng)畫(huà)設(shè)計(jì)系統(tǒng)。整個(gè)系統(tǒng)劃分為3個(gè)模塊，分別從人臉數(shù)據(jù)采集、彈性形變算法設(shè)計(jì)和卡通動(dòng)畫(huà)圖像處理3個(gè)方面對(duì)系統(tǒng)進(jìn)行設(shè)計(jì)。利用Candide?3模型對(duì)人臉進(jìn)行建模，獲取原始的人臉采集數(shù)據(jù)，并基于彈性形變?cè)韺?duì)人臉采集數(shù)據(jù)進(jìn)行變形，得到卡通人臉圖像，最終利用OpenGL平臺(tái)實(shí)現(xiàn)圖像渲染，生成人臉卡通動(dòng)畫(huà)。本文所設(shè)計(jì)的人臉卡通動(dòng)畫(huà)設(shè)計(jì)系統(tǒng)可以得到較高還原度的人臉卡通動(dòng)畫(huà)，且對(duì)硬件支持要求較低，具有良好的工程應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] KIM M， PONS?MOLL G， PUJADES S， et al. Data?driven physics for human soft tissue animation [J]. ACM transactions on graphics， 2017， 36（4）： 1?12.

[2] ZHOU J R， CAMPEN M， ZORIN D， et al. Quadrangulation of non?rigid objects using deformation metrics [J]. Computer aided geometric design， 2018（7）： 339?352.

[3] VOUGA E， SMITH B， KAUFMAN D M， et al. All's well that ends well： guaranteed resolution of simultaneous rigid body impact [J]. ACM transactions on graphics， 2017， 36（4）： 1?19.

[4] 靳宏偉.基于形變模型的多視圖人臉圖像的三維重建[D].西安：西北大學(xué)，2018.

[5] 伍菲.結(jié)合人臉表情和變形技術(shù)的人臉卡通動(dòng)畫(huà)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2018，41（12）：64?66.

[6] 王娟.基于形變模型的人臉三維重構(gòu)與表情傳遞的研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2018.

[7] 雷騰，侯進(jìn)，王獻(xiàn).基于改進(jìn) Candide?3模型的眼部動(dòng)畫(huà)建模[J].哈爾濱工程大學(xué)學(xué)報(bào)，2015（4）：581?586.

[8] MARAMI B， SIROUSPOUR S， GHOUL S， et al. Elastic registration of prostate MR images based on estimation of deformation states [J]. Medical image analysis， 2015， 21（1）： 87?103.

[9] LI Q D， HUA G M， HAO L， et al. Understanding the effect of plastic deformation on elastic modulus of metals based on a percolation model with electron work function [J]. JOM， 2018（7）： 1?6.

[10] 李君涵.針對(duì)視頻的人臉卡通化方法研究[D].成都：電子科技大學(xué)，2016.

[11] 王麗娜.實(shí)時(shí)分布式三維卡通動(dòng)畫(huà)智能播放控制研究[J].自動(dòng)化與儀器儀表，2018（8）：14?16.