王海君，楊士穎，王雁飛

(上海大學(xué) 影視藝術(shù)技術(shù)學(xué)院，上海200072)

責(zé)任編輯:任健男

1 肖像漫畫簡介

肖像漫畫是以人物為描繪對象，通過以形寫神、聯(lián)想等創(chuàng)作方法，著重刻劃人物本身特定的外形特征和內(nèi)在神韻，獲得形神兼?zhèn)涞男Ч?。隨著數(shù)字媒體技術(shù)的飛速發(fā)展，對于繪制肖像畫這種具有藝術(shù)性質(zhì)的計(jì)算機(jī)仿真技術(shù)的研究，具有很大的意義。

文獻(xiàn)[1]提出基于模板的肖像漫畫夸張方法，但這種方法對樣本要求比較高，而且夸張得不夠明顯。文獻(xiàn)[2]提出將人臉數(shù)據(jù)與漫畫數(shù)據(jù)分別利用PCA降維并通過SVM方法進(jìn)行統(tǒng)計(jì)學(xué)習(xí)，這種方法忽略了人臉數(shù)據(jù)與漫畫數(shù)據(jù)之間的相關(guān)性，最終生成的肖像漫畫過度變形且不夠協(xié)調(diào)。文獻(xiàn)[3]提出可以將特征向量的變換用旋轉(zhuǎn)、縮放和平移來表示，但是很難學(xué)習(xí)到肖像漫畫的實(shí)際夸張?zhí)攸c(diǎn)。

肖像漫畫的繪制過程主要包括形狀夸張和上色，本文主要研究如何改善形狀的夸張。將人臉的特征點(diǎn)記作Si，漫畫的特征點(diǎn)記作Si'，本文的目標(biāo)就是確定它們之間的相關(guān)性:Si'=f(Si)，基于統(tǒng)計(jì)學(xué)習(xí)的方法可以用來確定這個關(guān)系式。

針對上述問題，本文提出了一種基于NMF和LSSVM的肖像漫畫生成算法，實(shí)驗(yàn)證明，該方法有效地學(xué)習(xí)到了肖像漫畫的夸張變形特征，能夠在夸張肖像主要特征的同時避免出現(xiàn)過度變形。同時，允許用戶調(diào)節(jié)夸張參數(shù)的數(shù)值大小來調(diào)整生成的漫畫效果。

2 非負(fù)矩陣分解(NMF)

NMF是一種新的矩陣分解算法[3]，該算法能夠找到一個基矩陣U和一個系數(shù)矩陣V，從而將一個非負(fù)的矩陣分解為兩個非負(fù)矩陣的乘積。相比傳統(tǒng)的PCA和ICA，基于基矩陣組合的表示形式能夠反映人類思維中“局部構(gòu)成整體”的特點(diǎn)。NMF算法的基本思想如下:

給定非負(fù)矩陣A∈Rn×m，求解非負(fù)矩陣U∈Rn×r和V∈Rr×m，滿足A=UV，其中U為基矩陣，V為系數(shù)矩陣。對于U和V，采用迭代算法獲取，以歐式距離平方作為分解誤差的約束測度函數(shù)，公式為

可以任意初始化U和V，通過以下迭代過程使得誤差減小到穩(wěn)定值

3 偏最小二乘支持向量機(jī)(LS-SVM)

LS-SVM發(fā)展自支持向量機(jī)(SVM)，訓(xùn)練數(shù)據(jù)的樣本記為(xi，yi)，xi是輸入向量，yi是目標(biāo)值，目標(biāo)函數(shù)在特征空間中被描述為

約束條件:yi=φ(xi)×ω+b+ξi，i=1，2，...，l。其中，φ(·)是核函數(shù)，矢量ω為權(quán)值矢量，ξi為誤差變量，γ是懲罰因子，b是偏差。引入拉格朗日法解決核函數(shù)的優(yōu)化問題，公式為

式中:ai，i=1，2，...，l是拉格朗日乘數(shù)。根據(jù)下列條件

可得

圖1 算法流程圖

式中:x=[x1，x2，...，xl]，y=[y1，y2，...，yl]，a=[a1，a2，...，al]，對稱函數(shù)K(xk，xl)=φ(xk)Tφ(xl)，滿足Mercer條件。

最小二乘支持向量機(jī)函數(shù)回歸估計(jì)為

其中，a，b由式(7)求解出。

本文中核函數(shù)為徑向基函數(shù)

4 基于NMF和LS-SVM的肖像漫畫生成算法

4.1 算法流程

本文提出的算法主要包括訓(xùn)練階段和應(yīng)用階段，如圖1所示。在訓(xùn)練階段，首先對樣本手工標(biāo)記特征點(diǎn)并歸一化，然后通過NMF對夸張矩陣降維，利用LS-SVM統(tǒng)計(jì)學(xué)習(xí)夸張矩陣與人臉特征之間的關(guān)系，建立形狀夸張模型。在應(yīng)用階段，利用AAM[4]提取輸入肖像照片的特征點(diǎn)，根據(jù)之前已建立的形狀夸張模型，得到對應(yīng)的漫畫特征點(diǎn)。應(yīng)用薄板樣條圖像變形算法[5]對原始肖像變形并風(fēng)格化，就生成最終的肖像漫畫效果。

4.2 實(shí)驗(yàn)樣本的選取及預(yù)處理

本實(shí)驗(yàn)所需要的數(shù)據(jù)庫包括50個樣本對，每個樣本對包括一張正面肖像圖像與對應(yīng)的一張漫畫圖像。為了保證實(shí)驗(yàn)樣本的統(tǒng)一性，只收集了某一位特定的漫畫家的作品。然后對所有樣本手工標(biāo)記特征點(diǎn)，如圖2所示。

針對此課題，在MPEG-4中標(biāo)準(zhǔn)人臉定義的基礎(chǔ)上，為了降低計(jì)算量的同時保留漫畫的夸張信息，在每個樣本圖片上標(biāo)記了54個特征點(diǎn)。對眼睛、鼻子以及嘴巴采集了37個特征點(diǎn)，因?yàn)檫@些區(qū)域最能代表漫畫的夸張細(xì)節(jié)，對臉的輪廓采集了17個特征點(diǎn)，對不能明顯體現(xiàn)漫畫夸張的區(qū)域，例如眉毛，沒有采集特征點(diǎn)。

圖2 夸張系數(shù)對肖像漫畫夸張效果的影響

4.3 形狀夸張模型的建立

對于一組樣本{Si，S'i}，Si和S'i分別代表第i張肖像照片及對應(yīng)的第i張夸張漫畫的特征點(diǎn)，并將它們之間的差異向量記作ΔSi=Si-S'i，這里的ΔSi就是漫畫家對人臉五官輪廓的夸張變形。

假設(shè)存在參數(shù)向量b使得ΔS=M(b)，那么可以通過改變參數(shù)向量b的數(shù)值來控制肖像漫畫的夸張變形。為了解決這個問題，首先應(yīng)用NMF方法來處理所有樣本的差異向量ΔS?？紤]到夸張向量ΔS會出現(xiàn)負(fù)值，將ΔS分成兩部分:ΔS=ΔS+-ΔS-，其中和均為非負(fù)矩陣。這樣任意樣本數(shù)據(jù)ΔSi可以表達(dá)為

對式(7)非負(fù)分解可得

漫畫與人臉之間的關(guān)系可以表述為

4.4 夸張系數(shù)對肖像漫畫夸張效果的影響

在實(shí)驗(yàn)中，利用NMF算法將50個樣本的差異矩陣ΔS降維得到5維的系數(shù)矩陣和以及相應(yīng)的基矩陣和。通過改變和的不同數(shù)值，就可以得到不同的漫畫夸張效果。圖2中的第一行對應(yīng)著5維夸張系數(shù)向量里單獨(dú)的每一維，為了跟樣本里的夸張效果保持一致，每維系數(shù)取值為3.0。同樣的，第二行對應(yīng)著夸張系數(shù)向量里單獨(dú)的每一維，每維系數(shù)取值為3.0。

通過圖2可以看出，將夸張矩陣分為正負(fù)兩個部分后，最終非負(fù)分解得到的系數(shù)矩陣具有對稱性。例如，當(dāng)b-=(3，0，0，0，0)時，臉的下半部被縮小并上移，當(dāng)b+=(3，0，0，0，0)時，臉的下半部被夸大并下移?？梢詮膱D2看出，漫畫家也正是基于這幾種夸張思路來畫的肖像漫畫。

4.5 夸張系數(shù)與人臉特征點(diǎn)之間的相關(guān)性

漫畫家在畫漫畫時，針對不同的人臉會有不同的夸張變化，這在數(shù)學(xué)上就表現(xiàn)為不同的夸張系數(shù)數(shù)值。所以人臉特征點(diǎn)Si和夸張參數(shù)b+/-i 之間有很大的相關(guān)性。

由于漫畫與人臉之間的關(guān)系可以表述為

如果統(tǒng)計(jì)出人臉特征點(diǎn)與夸張參數(shù)之間的關(guān)系為

就可以對任意一張輸入的正面人臉Snew輸出漫畫特征點(diǎn)，即

同樣，對人臉特征數(shù)據(jù)也利用NMF降維，那么對于任意輸入的一張人臉，可得到

式中:Y為人臉數(shù)據(jù)的基矩陣，c為對應(yīng)的系數(shù)矩陣。那么式(12)可寫成

式中:g+/-(cnew)=f+/-(Ycnew)。

5 算法實(shí)現(xiàn)及結(jié)果分析

5.1 應(yīng)用LS-SVM統(tǒng)計(jì)夸張參數(shù)與人臉特征點(diǎn)之間的相關(guān)性

為了驗(yàn)證算法的有效性，本文以Windows7為系統(tǒng)平臺，通過MATLAB7.8.0(R2009a)進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)中利用NMF將人臉特征點(diǎn)數(shù)據(jù)由104維降低到10維，夸張矩陣由104維降低到5維，按照圖1的流程采用LS-SVM算法來統(tǒng)計(jì)學(xué)習(xí)式(14)，以便根據(jù)人臉特征點(diǎn)Snew來求得對應(yīng)的肖像漫畫的特征點(diǎn)Snew'，實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 本文算法與其他算法的結(jié)果對比

5.2 算法實(shí)現(xiàn)結(jié)果及分析

對于本文算法，將人臉照片(如圖3a)輸入到形狀夸張模型中，默認(rèn)得到夸張系數(shù)的數(shù)值為下:b+=(2.2，0.3，0.1，3.1，0.4)，b-=(0.2，5.2，1.3，0.1，1.2)。根據(jù)式(10)可以求出相應(yīng)漫畫人臉的特征點(diǎn)，經(jīng)過薄板樣條算法變形并風(fēng)格化后的圖片如圖3d所示。作為效果對比，圖3b為文獻(xiàn)[2]中的夸張方法得到的結(jié)果，圖3c為文獻(xiàn)[7]中的方法處理得到的結(jié)果，可以看出，這兩種算法雖然可以將人臉形狀進(jìn)行夸張，但是會出現(xiàn)夸張過度的情況，夸張結(jié)果不協(xié)調(diào)。本文算法卻能夠在合理地夸張主要特征的同時有效避免出現(xiàn)過度變形。說明相比文獻(xiàn)[2]中利用PCA降維數(shù)據(jù)，NMF算法具有更好的效果。

相比于其他算法，本算法還具有的優(yōu)勢是用戶可以通過調(diào)整夸張系數(shù)的數(shù)值來調(diào)整最終的漫畫效果，如圖4所示。在本實(shí)驗(yàn)中，通過調(diào)整夸張系數(shù)數(shù)值，來得到不同的夸張效果。圖4中第二行為夸張系數(shù)b-的取值，第三行為夸張系數(shù)b+的取值，圖3a為原圖，圖3b、圖3c、圖3d為以不同的夸張系數(shù)的取值最終生成的效果圖。

6 結(jié)束語

本文提出了基于NMF和LS-SVM的肖像漫畫夸張算法，該算法可以合理地夸張主要特征并避免出現(xiàn)夸張不協(xié)調(diào)的情況。在未來的工作中，研究重點(diǎn)包括改進(jìn)夸張系數(shù)與人臉特征點(diǎn)之間的統(tǒng)計(jì)模型，研究漫畫風(fēng)格與夸張系數(shù)之間的關(guān)系，即用戶可以通過選擇預(yù)設(shè)定的多組夸張參數(shù)來得到滿意的夸張效果。

圖4 不同夸張系數(shù)數(shù)值的夸張結(jié)果

[1]LIANG Lin，CHEN Hong，XU Yingqing，et al.Example-based caricature generation with exaggeration[C]//Proc.the 10th Pacific Conference on Computer Graphics and Applications.[S.l.]:IEEE Press，2002:386.

[2]LIU J，CHEN Y.Mapping learning in eigenspace for harmonious caricature generation[C]//Proc.14th ACM International Conference on Multimedia.Santa Barbara:IEEE Press，2006:683-686.

[3]LEE D D，SEUNG H S.Learning the parts of objects with nonnegative matrix factorization[J].Nature，1999(401):788-791.

[4]COOTES T F，EDWARDS G J，TAYLOR C J.Active appearance models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(6):681-685.

[5]BOOKSTEIN F L.Principal warps:thin-plate splines and the decomposition of deformations[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11(6):567-585.

[6]LIU J，CHEN Y，XIE J，et al.Semi-supervised learning of caricature pattern from manifold regularization[EB/OL].[2012-12-20].http://link.springer.com/chapter/10.1007%2F978-3-540-92892-8-42 page-1.