董肖莉, 李衛(wèi)軍, 寧欣, 張麗萍, 路亞旋

(1.中國科學(xué)院半導(dǎo)體研究所, 100083, 北京; 2.中國科學(xué)院大學(xué)微電子學(xué)院, 100029, 北京; 3.威富集團認知計算技術(shù)威富聯(lián)合實驗室, 100083, 北京)

肖像繪制是一種非常流行的藝術(shù)表現(xiàn)形式,隨著機器視覺相關(guān)技術(shù)的不斷發(fā)展,肖像繪制在虛擬現(xiàn)實、增強現(xiàn)實以及機器人肖像繪制系統(tǒng)等多媒體、個性化娛樂以及互聯(lián)網(wǎng)等有廣泛應(yīng)用。為了增強肖像的藝術(shù)表現(xiàn)力,基于不同的藝術(shù)特性角度產(chǎn)生了多種類型的藝術(shù)化肖像,例如素描、卡通、漫畫等,漫畫作為一種常見的藝術(shù)形式得到了許多學(xué)者的關(guān)注與研究。Liang等通過訓(xùn)練人臉圖像和手繪漫畫圖像對來建立形狀夸張模型[1],對輸入人臉判定夸張原型并夸張生成漫畫;Zhang等提出了一種自動化的漫畫生成方法[2],通過拆分人臉特征實現(xiàn)對人臉不同構(gòu)件的夸張從而生成漫畫;Yang等提出了一種基于樣本的夸張人臉構(gòu)件形狀和空間位置關(guān)系的漫畫生成方法[3],但漫畫圖像與原始肖像差別較大;陳文娟等提出了一種利用人臉特征及其關(guān)系的漫畫合成方法[4],需搜集訓(xùn)練數(shù)據(jù),人工標注人臉83個特征點;杜曉榮等提出了一種變形規(guī)則套用方法來夸張卡通人物造型[5],但并沒有突出個性特征;蘇延輝等提出了一種參數(shù)化的肖像漫畫生成算法[6],通過調(diào)整參數(shù)可生成不同的漫畫效果,但是變形隨意,很難從漫畫中識別原始肖像。

現(xiàn)有肖像漫畫化處理方法中存在的依賴訓(xùn)練樣本以及大量計算導(dǎo)致算法復(fù)雜度高等問題,限制了算法在準實時系統(tǒng)中的應(yīng)用。本文從圖像變形角度出發(fā)提出了一種基于三角形坐標系[7]的風(fēng)格化肖像生成算法,無需訓(xùn)練樣本,僅需要一張參考人臉圖像,通過簡單計算即可快速生成風(fēng)格化肖像。

1　算法框架

對參考人臉和實驗人臉圖像進行預(yù)處理,包括人臉檢測與特征點定位、對齊、線條肖像畫生成[8]等,S、Sref、SC分別表示實驗人臉、參考人臉、風(fēng)格化肖像的特征點集,TS、TC分別表示基于S和SC所建立的三角形坐標系?；谌切巫鴺讼档娘L(fēng)格化肖像生成算法的框架如圖1所示。

圖1　風(fēng)格化肖像生成算法框架圖

2　三角形坐標系

王守覺院士為解決圖像變形問題提出三角形坐標系,通過在圖像對上標定一一對應(yīng)的特征點來建立映射關(guān)系,并以這些特征點為原點建立三角形坐標系;然后通過把一幅圖像的特征點逐漸移動到另一幅圖像對應(yīng)特征點的位置,且保持圖像像素點的三角形坐標值不變,反算出像素點的新的笛卡爾坐標;再通過像素點位置和顏色的插值來生成變形后圖像。

基于三角形坐標系的圖像變形算法計算簡單、變形直觀、快速,僅需事先獲取圖像的特征點集,通過將特征點集沿不同方向移動形成不同的目標特征點集,從而產(chǎn)生不同的變形效果。人臉特征點標注已有很多成熟的算法,且定位準確、快速,基于此可自動建立三角形坐標系,將點集中任一點跟集合中其他點相連,如果新連接線段與已有線段相交,則刪除;對點集中任一點遍歷點集,找出同時與它相連的所有點對,如果它與點對所組成的三角形內(nèi)部沒有其他點,則加入三角形集合。

由于S和SC中的點一一對應(yīng),將S中點與點之間的連接關(guān)系直接映射到SC中建立TC,則TS與TC中的三角形也一一對應(yīng),可保證二者之間的一致性。但由于SC相對于S有位置偏移,可能會導(dǎo)致TC中不同三角形之間不獨立,出現(xiàn)邊與邊的交叉。

如果三角形之間有交叉,經(jīng)圖像變形后會出現(xiàn)變形“黑洞”。針對該問題根據(jù)人臉先驗幾何特征設(shè)置變形約束準則:以S為基礎(chǔ)移動形成SC時,需保持人臉不同特征之間的相對位置不變,如眼睛總在眉毛下方。在準則的約束下才能生成結(jié)構(gòu)合理的風(fēng)格化肖像。

3　風(fēng)格化肖像生成算法

為計算實驗人臉的個性特征,需要將其特征與參考人臉特征進行比較。參考圖像為通過搜集中國大陸男性和女性各超過2 000張照片并將這些照片經(jīng)過預(yù)處理進行疊加得到的平均臉圖像。風(fēng)格化肖像生成算法步驟如下。

步驟1已知參考人臉特征點集Sref={Sref(i)|i=1,2,…,n}和實驗人臉特征點集S={S(i)|i=1,2,…,n},其中n為特征點數(shù),Sref(i)的笛卡爾坐標為(Sref(i)x,Sref(i)y),S(i)的笛卡爾坐標為(S(i)x,S(i)y),S(i)對應(yīng)的特征點為Sref(i)。

步驟2計算由Sref移動到S的偏移向量VD={VD(i)|i=1,2,…,n}和偏移程度集合MD={MD(i)|i=1,2,…,n}

(1)

(2)

步驟3計算實驗人臉的個性特征向量VP={VP(i)|i=1,2,…,n}

(3)

式中:TP為閾值,衡量實驗人臉特征點與參考人臉特征點相比的變化程度,并由此來確定實驗人臉的個性特征。

步驟4設(shè)置夸張程度WC={ωi|i=1,2,…,n}以夸張個性特征,并計算風(fēng)格化變形向量VC={VC(i)|i=1,2,…,n}

(4)

式中:ωi一般范圍為0.0～2.0,ωi越大,個性特征越夸張。

步驟5在變形約束準則下將S沿著VC移動,得到風(fēng)格化肖像特征點集SC={SC(i)|i=1,2,…,n}

(5)

步驟6以S為原點建立三角形坐標系TS,并將S中點與點之間的連接關(guān)系映射到SC中建立三角形坐標系TC。對于實驗人臉圖像中的每一個像素點P,根據(jù)TS計算P的三角形坐標(xpa,xpb),并根據(jù)TC及(xpa,xpb)來反算變形后圖像的笛卡爾坐標,最終插值得到風(fēng)格化肖像。

以一張實驗人臉為例,與參考人臉特征比較,如圖2所示。圖2中黑色點為實驗人臉特征點,灰色點為參考人臉特征點,圖中箭頭表示由灰色點移動到黑色點的方向。以圖2中標注序號特征點為例來計算實驗人臉的個性特征,計算過程見表1。

圖2　實驗人臉與參考人臉特征點分布

根據(jù)圖2中10個示例特征點和表1可知,與⑥～⑩號特征點相比,①～⑤號特征點與參考人臉差異較大,不同特征點會呈現(xiàn)出不同程度的個性特征,從特征點分布來說,可明顯地觀察到實驗人臉比參考人臉臉型更瘦。當設(shè)置TP=6時,⑥～⑨號特征點不參與圖像變形,這在一定程度上遵循了藝術(shù)家的夸張規(guī)則,即優(yōu)先夸張較為明顯的特征,忽略不明顯的特征。

圖3　不同夸張程度對應(yīng)的形狀特征及風(fēng)格化肖像

一旦計算得到了個性特征,可通過設(shè)置不同夸張程度實現(xiàn)對個性特征不同程度的夸張,生成不同的風(fēng)格化肖像。

圖3顯示了對實驗人臉設(shè)置不同夸張程度對應(yīng)生成的風(fēng)格化肖像。為了便于觀察肖像的形狀特征,將特征點集之間進行了部分連接。由圖3可以看出,實驗人臉帶有微笑表情,且臉小、眼睛較大。經(jīng)夸張之后,微笑表情更加明顯、眼睛更大、臉更小,從對應(yīng)特征點的連接形狀上可直觀觀察出來。

表1　實驗人臉示例點個性特征計算

4　實驗結(jié)果與分析

實驗所用計算機處理器為Intel(R) Core (TM) i5-4460 CPU 3.20 GHz,內(nèi)存為12 GB。采用本文算法對多張實驗人臉進行風(fēng)格化處理,并從風(fēng)格化肖像的視覺效果以及算法的執(zhí)行效率2個方面對算法的性能進行評價。

4.1　視覺效果分析

圖4顯示了對不同實驗人臉應(yīng)用不同WC所對應(yīng)生成的風(fēng)格化肖像結(jié)果。由圖4可見,隨WC增大,不同實驗人臉的個性特征都更加夸張,但是當個性特征本身就很顯著時,夸張效果會更加明顯。例如圖4a與圖4f的眼睛都較大,經(jīng)過同樣的夸張程度變形后,圖4h、圖4i、圖4j的夸張效果分別比圖4c、圖4d、圖4e的夸張效果更加明顯。本實驗設(shè)置夸張程度為統(tǒng)一值,實際應(yīng)用中可根據(jù)需求設(shè)置不同人臉特征點的不同夸張程度。

(a)實驗人臉1 (b)線條肖像1(c)　　　風(fēng)格化肖像1 (d)　　　風(fēng)格化肖像1 (e)　　　風(fēng)格化肖像1WC={0.5}　　　WC={1.0}　　　WC={1.3}

(f)實驗人臉2 (g)線條肖像2(h)　　　風(fēng)格化肖像2 (i)　　　風(fēng)格化肖像2 (j)　　　風(fēng)格化肖像2WC={0.5}　　　WC={1.0}　　　WC={1.3}

(k)實驗人臉3 (l)線條肖像3 (m)　　　風(fēng)格化肖像3 (n)　　　風(fēng)格化肖像3 (o)　　　風(fēng)格化肖像3WC={0.5}　　　WC={1.0}　　　WC={1.3}圖4　不同實驗人臉不同夸張程度生成的風(fēng)格化肖像

為將本文算法與其他算法比較,設(shè)計了2組對比實驗,實驗結(jié)果分別如圖5、圖6所示。

(a)原始線條人臉圖像

(b)文獻[1]算法

(c)PICASSO系統(tǒng)

(d)本文算法圖5　算法對比實驗1

利用文獻[1]中的線條人臉圖像為實驗對象,將本文算法與文獻[1]算法和PICASSO系統(tǒng)[9]進行比較。由圖5可以看出:PICASSO系統(tǒng)所生成的漫畫雖然在一定程度上夸張了個性特征,但是嘴巴、鼻子等部分變形嚴重,影響了漫畫整體效果;文獻[1]算法對2張實例圖像的漫畫處理效果類似,都對臉型進行了瘦長夸張?zhí)幚?但是并沒有很明顯地突出不同人的個性特征,且忽略了眉毛、姿態(tài)等細節(jié)特征。本文算法不僅突出了不同人的主要個性特征,對于姿態(tài)、眉毛等細節(jié)個性特征也得到了夸張。

利用文獻[2]中的實驗圖像,將本文算法與文獻[2]算法進行比較。由圖6可以看出,本文算法對于表達不同實驗人臉的臉型、眼睛、嘴巴等個性特征優(yōu)勢更明顯,整體效果生動形象。文獻[2]算法雖然也在一定程度上夸張了部分個性特征,但是臉型特征夸張并不明顯,且漫畫與原始人臉相似性不高,不同漫畫之間的區(qū)分度也不高。

(a)原始圖像

(b)文獻[2]算法

(c)本文算法圖6　算法對比實驗2

4.2　本文算法執(zhí)行效率分析

實驗中所用原始圖像大小不等,所生成的風(fēng)格化肖像大都在300像素×350像素～300像素×450像素之間。從對原始圖像進行人臉檢測到風(fēng)格化肖像生成整個流程,耗時情況分析見表2。從輸入原始圖像到風(fēng)格化肖像生成,整個算法全自動運行,算法整體耗時在0.5 s以內(nèi),可見本文算法執(zhí)行效率較高。

表2　本文算法執(zhí)行耗時分析

文獻[1]算法框架包括線條畫生成、識別夸張原型、漫畫夸張等操作,算法復(fù)雜度較高,對于普通分辨率(512像素×512像素)的輸入圖像,其執(zhí)行時間大約需要幾十秒時間。文獻[2]算法需要拆分人臉不同特征,用6個SVM分類器判斷個性特征并執(zhí)行夸張操作,在判定和生成頭發(fā)區(qū)域時需要求解圖的優(yōu)化問題和執(zhí)行深度優(yōu)先搜索算法,總體算法復(fù)雜度高。本文算法在執(zhí)行效率上優(yōu)于其他2種算法,尤其在VR、AR及肖像繪制機器人等準實時的系統(tǒng)應(yīng)用中具有顯著優(yōu)勢。

5　結(jié)　論

本文提出了一種基于三角形坐標系的風(fēng)格化肖像生成算法,該算法計算簡單、快速、全自動、變形空間大且靈活,無需訓(xùn)練樣本,僅需參考圖像即可生成生動的風(fēng)格化肖像,而且可完全脫離對參考圖像的依賴,可主觀自由移動特征點生成任意的風(fēng)格變形模板。本文算法的應(yīng)用更為靈活和廣泛,在VR、AR以及機器人繪制系統(tǒng)等準實時應(yīng)用中,本文算法體現(xiàn)了明顯優(yōu)勢。未來工作主要包括如何實現(xiàn)實驗人臉較參考人臉有較大姿態(tài)偏轉(zhuǎn)及睜閉眼、張合嘴等不同狀態(tài)的風(fēng)格化變形。

參考文獻:

[1]LIANG Lin, CHEN Hong, XU Yingqing, et al. Example-based caricature generation with exaggeration [C]∥Proceedings of the Conference on Computer Graphics and Applications. Piscataway, NJ, USA: IEEE, 2002: 386-393.

[2]ZHANG Wenli, XIAO Shuangjiu, LI Yinglin, et al. Automatic face caricatures synthesis and exaggeration [C]∥Proceedings of the 14th ACM SIGGRAPH International Conference on Virtual Reality Continuum and Its Applications in Industry. New York, USA: ACM, 2015: 77-84.

[3]YANG Wei, TOYOURA M, XU Jiayi, et al. Example-based caricature generation with exaggeration control [J]. Visual Computer International Journal of Computer Graphics, 2016, 32(3): 383-392.

[4]陳文娟, 石民勇, 孫慶杰. 利用人臉特征及其關(guān)系的漫畫夸張與合成 [J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2010, 22(1): 121-128.

CHEN Wenjuan, SHI Minyong, SUN Qingjie. Caricature synthesis and exaggeration based on facial features and their relationship [J]. Journal of Computer-Aided Design and Computer Graphics, 2010, 22(1): 121-128.

[5]杜曉榮, 張雷, 張永. 卡通角色藝術(shù)風(fēng)格化變形方法 [J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2016, 28(2): 363-370.

DU Xiaorong, ZHANG Lei, ZHANG Yong. Artistic style deformation for cartoon character [J]. Journal of Computer-Aided Design and Computer Graphics, 2016, 28(2): 363-370.

[6]蘇延輝, 李帥, 湛永松. 參數(shù)化的肖像漫畫生成算法 [J]. 計算機應(yīng)用研究, 2014, 31(5): 1562-1565.

SU Yanhui, LI Shuai, ZHAN Yongsong. Generation algorithm of parameterized caricature [J]. Application Research of Computers, 2014, 31(5): 1562-1565.

[7]王守覺, 梁先揚. 圖像變形計算方法及其應(yīng)用 [J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2011, 23(8): 1304-1310.

WANG Shoujue, LIANG Xianyang. Calculation method of image morphing and its applications [J]. Journal of Computer-Aided Design and Computer Graphics, 2011, 23(8): 1304-1310.

[8]KANG H, LEE S, CHUI C K. Coherent line drawing [C]∥Proceedings of the International Symposium on Non-Photorealistic Animation and Rendering. New York, USA: ACM, 2007: 43-50.

[9]MASAFUMI T, SEI F, KAZUHITO M, et al. Facial caricaturing with motion caricaturing in PICASSO system [C]∥Proceedings of the IEEE/ASME International Conference on Advanced Intelligent Mechatronics. Piscataway, NJ, USA: IEEE, 1997: 30.

[本刊相關(guān)文獻鏈接]

陳波,張英杰,張佳瑞,等.結(jié)構(gòu)光中心提取中的條紋灰度退化調(diào)整.2018,52(2):30-36.[doi:10.7652/xjtuxb201802005]

白治寧,周景軍,蔡衛(wèi)軍,等.火箭助飛魚雷分離艙張開特性試驗與數(shù)值研究.2018,52(1):136-142.[doi:10.7652/xjtuxb201801020]

楊靜,尚夏,榮海軍,等.采用仿射迭代最近點的晶圓分割方法.2017,51(12):56-61.[doi:10.7652/xjtuxb201712009]

鄧燕子,盧朝陽,李靜,等.采用多層圖模型推理的道路場景分割算法.2017,51(12):62-67.[doi:10.7652/xjtuxb201712 010]

朱愛斌,何仁杰,吳玥璇,等.考慮變換域融合方法的刀具磨損區(qū)域三維重構(gòu).2017,51(12):76-83.[doi:10.7652/xjtuxb 201712012]