錢文華， 徐　丹， 普?qǐng)@媛， 徐　瑾， 何　磊， 廖東偉

(1. 云南大學(xué)計(jì)算機(jī)科學(xué)與工程系，云南 昆明 650091；2. 云南大學(xué)研究生院，云南 昆明 650091)

非真實(shí)感繪制漫畫藝術(shù)效果的研究與實(shí)現(xiàn)

錢文華1， 徐丹1， 普?qǐng)@媛1， 徐瑾2， 何磊2， 廖東偉1

(1. 云南大學(xué)計(jì)算機(jī)科學(xué)與工程系，云南 昆明 650091；2. 云南大學(xué)研究生院，云南 昆明 650091)

提出了一種基于非真實(shí)感繪制的漫畫藝術(shù)效果繪制算法。算法首先將輸入圖像從RGB色彩空間轉(zhuǎn)換為L(zhǎng)AB色彩空間，通過雙邊濾波及色彩量化的方法對(duì)輸入圖像進(jìn)行處理，獲得連續(xù)的、局部區(qū)域色彩一致的結(jié)果圖像，可通過權(quán)值等參數(shù)對(duì)濾波及量化程度進(jìn)行控制。其次，采用DOG濾波器和閾值處理求取輸入圖像的邊緣信息，獲得連續(xù)的、清晰的邊緣。最后將邊緣圖像融合到量化結(jié)果圖像中，獲得最終的漫畫藝術(shù)效果。從最終的漫畫藝術(shù)繪制效果看出，該算法簡(jiǎn)單、易于實(shí)現(xiàn)。

非真實(shí)感繪制；漫畫；雙邊濾波；量化；DOG濾波

非真實(shí)感繪制(non-photorealistic rendering, NPR)是計(jì)算機(jī)圖形學(xué)中的一個(gè)研究熱點(diǎn)，通過使用計(jì)算機(jī)生成不具有照片的真實(shí)感，而具有手繪風(fēng)格的圖形技術(shù)是 NPR研究的內(nèi)容，其可方便地繪制出富有藝術(shù)表現(xiàn)力的圖像，受到文化產(chǎn)業(yè)、旅游業(yè)等各方面的關(guān)注。隨著技術(shù)不斷的成熟，NPR可以運(yùn)用到各個(gè)領(lǐng)域，如圖像美化、動(dòng)畫制作、景區(qū)風(fēng)景宣傳、商業(yè)娛樂欣賞等。

“漫畫”(cartoon)一詞由英文音譯而來，隨著時(shí)代的發(fā)展，漫畫的風(fēng)格也不斷發(fā)生改變，一般通過歸納、夸張、變形的手法來塑造各種形象，且符合NPR的特點(diǎn)，并可以利用其技術(shù)繪制圖像，產(chǎn)生漫畫藝術(shù)效果。此外，漫畫常用于動(dòng)畫領(lǐng)域，如轉(zhuǎn)描機(jī)技術(shù)逐幀追蹤真實(shí)運(yùn)動(dòng)物體，直接轉(zhuǎn)換為漫畫的動(dòng)畫場(chǎng)景，圖1顯示了轉(zhuǎn)描機(jī)技術(shù)產(chǎn)生漫畫藝術(shù)效果的過程[1]。

圖1 《惡之華》轉(zhuǎn)描機(jī)技術(shù)生成漫畫效果[1]

圖像分割技術(shù)有利于產(chǎn)生非連續(xù)的著色區(qū)域，常被用來產(chǎn)生漫畫效果。DeCarlo和Santella[2]基于mean-shift圖像分割方法，實(shí)現(xiàn)了圖像多層次抽象繪制，將圖像轉(zhuǎn)換為漫畫風(fēng)格；David等[3]基于mean-shift濾波和特征最小化方法對(duì)輸入圖像進(jìn)行處理，產(chǎn)生區(qū)域簡(jiǎn)化的漫畫風(fēng)格化效果，有利于圖像壓縮。然而圖像分割后的每一個(gè)分割區(qū)域形成一個(gè)閉合邊緣，邊緣線條化過程使處理速度變慢，不適應(yīng)實(shí)時(shí)繪制。此外，通過濾波方法能產(chǎn)生類似漫畫的效果，如Kyprianidis等[4]采用雙邊濾波平滑局部區(qū)域，對(duì)靜態(tài)和視頻圖像進(jìn)行抽象繪制；Obrenovic和Martens[5]基于圖像特征產(chǎn)生的矢量場(chǎng)進(jìn)行各向異性濾波，并通過交互方式獲得類似漫畫藝術(shù)效果；文獻(xiàn)[6]提出了L0濾波方法對(duì)輸入圖像進(jìn)行抽象化，保留了較高對(duì)比度區(qū)域的細(xì)節(jié)；文獻(xiàn)[7]采用雙邊濾波算法，對(duì)單幅圖像進(jìn)行圖像增強(qiáng)；Song等[8]采用數(shù)據(jù)驅(qū)動(dòng)的方法對(duì)人臉圖案進(jìn)行了漫畫效果處理；文獻(xiàn)[9]通過差分濾波對(duì)圖像邊緣的細(xì)節(jié)信息進(jìn)行編輯。通過濾波方法提高了處理速度，但邊緣在抽象藝術(shù)效果中具有重要的作用，需要對(duì)輪廓細(xì)節(jié)進(jìn)行增強(qiáng)，本文通過高斯差分(difference of Gaussian, DOG)方法與濾波結(jié)果的融合，提升輪廓細(xì)節(jié)信息。Collomosse和Hall[10]使用遺傳算法在輸入圖像中搜尋有意義的繪畫區(qū)域，因此接近理想藝術(shù)效果的顯著細(xì)節(jié)被保留下來，而沒有顯著細(xì)節(jié)的區(qū)域被弱化，同樣存在繪制速度慢的問題。

綜上所述，漫畫風(fēng)格以其夸張、變形的藝術(shù)表現(xiàn)風(fēng)格，對(duì)人們具有極大的吸引力，也豐富了藝術(shù)表現(xiàn)形式，在影視作品等領(lǐng)域有較大的應(yīng)用價(jià)值。本文基于人的視覺對(duì)亮度、顏色、邊緣等信息影響最大的特點(diǎn)，基于雙邊濾波和DOG濾波，提出了自動(dòng)的漫畫藝術(shù)效果繪制模型。

1　漫畫藝術(shù)繪制流程

漫畫藝術(shù)風(fēng)格化的特點(diǎn)主要表現(xiàn)是：①高度的概括，細(xì)節(jié)的減少突顯了特殊部分，更加具有視覺吸引力；②顏色的泛用，圖像顏色較為鮮明，局部區(qū)域的顏色相似，沒有細(xì)小的色塊；③邊緣的強(qiáng)化，通過對(duì)邊緣信息的增強(qiáng)突出邊緣細(xì)節(jié)；④變形夸張，漫畫效果通過對(duì)主體的變形，產(chǎn)生不同于真實(shí)場(chǎng)景的效果，增強(qiáng)吸引力。

基于以上漫畫風(fēng)格特點(diǎn)，設(shè)計(jì)了繪制流程圖來實(shí)現(xiàn)漫畫效果，如圖 2所示，主要包括以下幾個(gè)步驟：

(1) 將輸入圖像轉(zhuǎn)換為L(zhǎng)AB色彩空間，對(duì)亮度信息進(jìn)行雙邊濾波，該過程可以根據(jù)需要進(jìn)行重復(fù)迭代；

(2) 對(duì)雙邊濾波的結(jié)果圖像進(jìn)行色彩量化處理，獲得統(tǒng)一和連續(xù)的局部區(qū)域色彩；

(3) 采用DOG濾波檢測(cè)邊緣信息，并通過閾值處理獲得連續(xù)的、清晰的邊緣圖像；

(4) 將邊緣圖像融合到色彩量化結(jié)果圖像中，并將色彩空間轉(zhuǎn)換為 RGB，獲得最終的漫畫藝術(shù)效果。

圖2　漫畫效果繪制流程圖

2　漫畫藝術(shù)效果繪制算法

漫畫藝術(shù)效果的繪制算法需考慮以下問題：①漫畫效果中的亮度和色彩信息是需要重點(diǎn)考慮的特征；②邊緣信息需要被保留下來；③漫畫效果的部分細(xì)節(jié)丟失，需對(duì)色彩進(jìn)行局部的概括。具體實(shí)現(xiàn)過程中，通過雙邊濾波和量化獲得漫畫效果的色彩。

2.1圖像的雙邊濾波

雙邊濾波器(bilateral filter)是使圖像平滑化的非線性濾波器，基于高斯濾波方法提出[11]。主要通過對(duì)高斯濾波中高斯權(quán)系數(shù)與輸入圖像亮度進(jìn)行卷積運(yùn)算獲得濾波結(jié)果，即空間距離中的高斯函數(shù)與灰度圖像距離函數(shù)的乘積。與傳統(tǒng)的均值濾波、中值濾波相比，雙邊濾波器除了使用像素之間幾何上的距離之外，還考慮了像素之間的光度、色彩的差異，因此能夠有效地去除圖像上的噪聲，并保存圖像上的邊緣信息。

零均值噪聲圖像模型如下：

其中，f表示無噪聲圖像，n表示服從零均值高斯分布的噪聲，g為噪聲圖像；濾波時(shí)需要濾除噪聲圖像g中的噪聲n，重建無噪聲圖像f。雙邊濾波器采用局部加權(quán)平均的方法獲取復(fù)原圖像的像素值：

其中，S表示鄰域大小，w表示權(quán)重函數(shù)；鄰域內(nèi)的每一個(gè)像素點(diǎn) g(i, j)由空間距離值和灰度距離值兩部分的和組成。

空間距離是當(dāng)前目標(biāo)點(diǎn)與中心點(diǎn)的歐式距離，其高斯函數(shù)的數(shù)學(xué)形式為：

其中，(i, j)為當(dāng)前像素點(diǎn)的位置，(ic, jc)為中心點(diǎn)的位置，σ是空間域標(biāo)準(zhǔn)差。

灰度距離是當(dāng)前目標(biāo)點(diǎn)灰度與中心點(diǎn)灰度差的絕對(duì)值，其數(shù)學(xué)表達(dá)式為：

其中，gray(i, j)為當(dāng)前點(diǎn)灰度值，gray(ic, jc)為中心點(diǎn)的灰度值，σ為值域標(biāo)準(zhǔn)差。

雙邊濾波中加入了對(duì)像素點(diǎn)灰度信息的權(quán)重，鄰域內(nèi)越接近中心像素點(diǎn)，其權(quán)重越大。標(biāo)準(zhǔn)差σ越大，邊緣越模糊，當(dāng)標(biāo)準(zhǔn)差無窮大時(shí)，近似于高斯濾波；而標(biāo)準(zhǔn)差σ越小，邊緣越清晰，當(dāng)標(biāo)準(zhǔn)差無窮小時(shí)，濾波后的結(jié)果接近與輸入圖像。濾波時(shí)，首先將輸入圖像從RGB色彩空間轉(zhuǎn)換為L(zhǎng)AB色彩空間[12]，對(duì)亮度L層進(jìn)行雙邊濾波，在最終效果中加入色彩信息獲得彩色的結(jié)果圖像。

圖3顯示了實(shí)驗(yàn)中得到的雙邊濾波結(jié)果。隨著σ值的增大，眉毛等細(xì)節(jié)信息越來越模糊，但邊緣信息能被保留。

圖3　雙邊濾波結(jié)果

2.2色彩的量化

漫畫效果的特點(diǎn)是忽略了原始輸入圖像中的很多顏色細(xì)節(jié)信息，大塊區(qū)域的顏色比較接近或均勻，因此對(duì)圖像進(jìn)行雙邊濾波后，可通過量化的過程實(shí)現(xiàn)色彩的重建。顏色量化主要通過對(duì)色彩選擇形成新的調(diào)色板，是對(duì)圖像局部色彩接近的區(qū)域重新分配顏色的過程實(shí)現(xiàn)。在 LAB色彩空間中，通過式(5)對(duì)色彩進(jìn)行量化處理：

其中，qedge表示邊緣信息，f(x, y)表示輸入圖像，即雙邊濾波后的結(jié)果圖像，參數(shù)w表示量化過程中的顏色區(qū)間寬度，參數(shù)φ為色彩的補(bǔ)償函數(shù)，tanh表示雙曲正切函數(shù)，如圖4所示，雙曲正切函數(shù)具有雙端抑制，中間過渡平滑的特征，能減少量化過程中的人造痕跡。

圖4　雙曲正切函數(shù)曲線

圖5為經(jīng)色彩量化后的結(jié)果圖像，可以看出，其實(shí)現(xiàn)了對(duì)局部色彩的均勻和擴(kuò)散處理，并且隨著量化過程中區(qū)間寬度w的增加，局部區(qū)域的色彩趨于一致。

圖5　量化結(jié)果

2.3圖像的邊緣檢測(cè)

真實(shí)漫畫效果中，藝術(shù)家經(jīng)常通過簡(jiǎn)單的線條來產(chǎn)生藝術(shù)效果，因此，輪廓信息在漫畫效果中具有重要的作用。邊緣檢測(cè)是在鄰域計(jì)算的基礎(chǔ)上實(shí)現(xiàn)的，可通過不同的邊緣檢測(cè)算子檢測(cè)邊緣，如Roberts、Sobel、Laplacian等，然而邊緣檢測(cè)算子使用增強(qiáng)高頻信號(hào)的方法獲得邊緣時(shí)，也增強(qiáng)了噪聲。本文對(duì)邊緣的提取采用各項(xiàng)異性的DOG濾波器進(jìn)行提取，該濾波器穩(wěn)定性較高，能較好地抑制噪聲的產(chǎn)生，提取出的邊緣更加連貫、平滑[5]。

DOG濾波器通過對(duì)掩模的卷積操作得到高斯的二階導(dǎo)數(shù)▽2G，采用兩個(gè)具有不同標(biāo)準(zhǔn)差σ的高斯平滑掩模的差值作為掩模，假設(shè)Gσ(x,y)為最終的濾波結(jié)果，DOG濾波器可以表示為[13]：

式(6)在實(shí)際計(jì)算過程中可以離散化計(jì)算：

對(duì)圖像用DOG算子進(jìn)行濾波即是求兩次高斯濾波后的結(jié)果差，式(7)通過改變標(biāo)準(zhǔn)差σ1、σ2和參數(shù) t，得到不同的輪廓圖，輪廓中邊緣的粗細(xì)程度也可通過標(biāo)準(zhǔn)差σ1、σ2進(jìn)行調(diào)節(jié)。得到濾波結(jié)果E(x, y)后，通過二值化處理可得到最終的邊緣效果。

圖6用DOG算子進(jìn)行邊緣檢測(cè)得到的結(jié)果圖像。圖6(a)為輸入圖像，圖6(b)為通過DOG算子計(jì)算后得到的結(jié)果圖像，可看出圖像的邊緣較為平滑，手指等細(xì)節(jié)信息也被保留下來，由于原始圖像的灰度差異，提取出的邊緣亮度并不一致，形成了一些弱邊緣。為了獲得清晰可見的邊緣，需要統(tǒng)一邊緣的亮度。因此，采用閾值處理的方法對(duì)邊緣圖像進(jìn)行處理。通過設(shè)置閾值，對(duì)邊緣進(jìn)行二值化處理，達(dá)到邊緣增強(qiáng)、濾除細(xì)小邊緣的效果。圖6(c)顯示了閾值處理之后獲得了亮度一致的邊緣圖像。

圖6　邊緣獲取

獲得邊緣圖像之后，將邊緣信息加入到量化之后的結(jié)果圖中，可獲得最終的漫畫藝術(shù)效果圖像。在邊緣圖像與量化圖像的融合過程中，首先將量化結(jié)果圖像從LAB色彩空間轉(zhuǎn)換為RGB色彩空間，并通過α融合算法將對(duì)應(yīng)色彩通道進(jìn)行融合，獲得結(jié)果圖像(0＜α＜1)。

3　實(shí)驗(yàn)結(jié)果與分析

為了測(cè)試本文所提出方法的可行性和有效性，基于本文描述算法，對(duì)不同輸入圖像進(jìn)行處理，實(shí)現(xiàn)了非真實(shí)感漫畫風(fēng)格化的藝術(shù)效果。本實(shí)驗(yàn)在Windows XP操作系統(tǒng)中進(jìn)行，基于3.2 GHz Intel CPU，2 GHz內(nèi)存的硬件環(huán)境，并采用Matlab2012a軟件編程實(shí)驗(yàn)，實(shí)驗(yàn)圖片來自網(wǎng)絡(luò)，下文給出具體的實(shí)驗(yàn)結(jié)果。

圖7通過本文方法獲得的結(jié)果圖像可看出，邊緣圖像很好地融入到結(jié)果圖像中，圖像的色彩被保留，形成了局部區(qū)域的色彩量化，輪廓等細(xì)節(jié)信息清晰可見，獲得了較好的漫畫效果。

圖8為本文的結(jié)果圖像與文獻(xiàn)[14]的結(jié)果圖像，文獻(xiàn)[14]中采用拉普拉斯算子獲得邊緣信息，圖像邊緣不連貫，雜散點(diǎn)較多。本文采用DOG濾波器對(duì)圖像進(jìn)行濾波后，采用閾值處理增強(qiáng)了邊緣，去除了較小的雜散點(diǎn)，因此最終漫畫效果中邊緣連續(xù)，更加接近真實(shí)的漫畫效果。

圖9為本文的結(jié)果圖像與通過轉(zhuǎn)描機(jī)技術(shù)獲得的結(jié)果圖像，轉(zhuǎn)描機(jī)技術(shù)通過畫家來處理，細(xì)節(jié)描繪十分準(zhǔn)確，人物表情等細(xì)節(jié)非常清晰，但面部額頭和嘴唇的色彩量化有些僵硬，本文獲得的結(jié)果圖像與轉(zhuǎn)描機(jī)獲得了類似的結(jié)果，在面部額頭和嘴唇等區(qū)域獲得了較好的結(jié)果，然而在手指、背景等細(xì)節(jié)的處理上還需要進(jìn)一步完善。

圖7　漫畫藝術(shù)效果圖像

圖8　漫畫藝術(shù)效果圖像

圖9　漫畫藝術(shù)效果圖像

4　總結(jié)與展望

本文研究了NPR中的漫畫藝術(shù)風(fēng)格模擬問題，算法通過對(duì)輸入圖像進(jìn)行色彩空間變換、雙邊濾波及量化過程，獲得了具有漫畫色彩的藝術(shù)效果。同時(shí)，基于DOG濾波器邊緣提取算法將邊緣信息加入到最終結(jié)果圖中，獲得最終漫畫藝術(shù)效果圖像。在將來的工作中，將擴(kuò)展相關(guān)算法到三維和視頻抽象領(lǐng)域，并采用硬件加速進(jìn)一步提高算法處理和繪制效率，實(shí)現(xiàn)圖像和視頻的實(shí)時(shí)漫畫風(fēng)格化效果。

[1] Marco R, Della C. Through a ‘scanner’ dazzlingly: sci-fi brought to graphic life USA today [EB/OL]. [2006-08-01] http://usatoday30.usatoday.com/life/movies/news/2006-08 -01-rotoscoping_x.htm.

[2] DeCarlo D, Santella A. Stylization and abstraction of photographs [C]//Annual Conference on Computer Graphics and Interactive Techniques. New York: CAM Press, 2002: 769-776.

[3] David G, Hiroki T, Suguru S, et al. Sketch based fine-tuning of image segmentation methods [C]// Proceedings of the International Workshop on Advanced Image Technology (IWAIT). New York: ACM Press, 2006: 393-398.

[4] Kyprianidis J E, Collomosse J, Wang T,et al. State of the ‘a(chǎn)rt’: a taxonomy of artistic stylization techniques for images and video [J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(5): 866-885.

[5] Obrenovic Z, Martens J B. Sketching interactive systems with sketchily [J]. ACM Transactions on Computer Human Interaction, 2011, 18(1): 172-180.

[6] 丁志鵬, 張少雄, 陳佳舟, 等. L_0梯度極小化耦合梯度保真的保結(jié)構(gòu)圖像平滑[J]. 中國(guó)科學(xué): 信息科學(xué), 2014, 11(11): 1370-1384.

[7] 胡韋偉, 汪榮貴, 方帥, 等. 基于雙邊濾波的Retinex圖像增強(qiáng)算法[J]. 圖學(xué)學(xué)報(bào), 2010, 31(2): 104-109.

[8] Song Y B, Bao L C, Yang Q X, et al. Real-time exemplar-based face sketch synthesis [C]//Computer Vision ECCV 2014. Switzerland: Springer International Publishing, 2014: 800-813.

[9] Wang H, Cao J J, Liu X P, et al. Mesh detail editing by filtering differential edge coordinates [J]. Computer Aided Drafting Design and Manufacturing, 2014, 24(4): 1-6.

[10] Collomosse J P, Hall P M. Salience-adaptive painterly rendering using genetic search [J]. Artificial Intelligence Tools, 2006, 15(4): 551-575.

[11] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 12(7): 629-640.

[12] Reinhard E. Color transfer between images [J]. IEEE Computer Graphics and Applications, 2001, 21(5): 34-40.

[13] Kang H, Lee S, Chui C. Coherent line drawing [C]// Proceedings of the ACM Symposium on Non-photorealistic Animation and Rendering. New York: ACM Press, 2007: 43-50.

[14] Daniel L B, Shervin E, David M E. Mastering OpenCV with practical computer vision projects [M]. New York: Packt Publishing, 2012.

Realization of Cartoon Effects Based on Non-Photorealistic Rendering

Qian Wenhua1,Xu Dan1,Pu Yuanyuan1,Xu Jin2,He Lei2,Liao Dongwei1

(1. School of Information Science and Engineering, Yunnan University, Kunming Yunnan 650091, China; 2. Graduate School, Yunnan University, Kunming Yunnan 650091, China)

An effective method for non-photorealistic rendering for computer generated images with cartoon artistic works from 2D images is provided in this paper. The proposed methods is inspired by bilateral filter and DOG filter. The color space of source image is transferred from RGB to LAB, and bilateral filter can be used to reduce contrast in low contrast regions, and increase contrast in high contrast regions. Further, the color can be abstracted by soft color quantization to create cartoon-like effects. In addition, DOG filter and threshold are applied to obtain continuous and clear edge image, and this edge information can be merged to the cartoon-like effects finally. Experimental results show that our proposed method is simple and effective.

non-photorealistic rendering; cartoon; bilateral filter; quantization; DOG filter

TP 391

10.11996/JG.j.2095-302X.2016020218

A

2095-302X(2016)02-0218-06

2015-09-24；定稿日期：2015-10-01

國(guó)家自然科學(xué)基金項(xiàng)目(61462093, 61163019, 61063009)；教育部博士點(diǎn)基金新教師類項(xiàng)目(20125301120008)；云南省應(yīng)用基礎(chǔ)研究計(jì)劃項(xiàng)目(2014FA021, 2014FB113)；云南省教育廳重點(diǎn)項(xiàng)目(2015Z012)

錢文華(1980–)，男，云南曲靖人，副教授，博士。主要研究方向?yàn)閳D像處理、計(jì)算機(jī)非真實(shí)感等。E-mail：qwhua003@sina.com

徐丹(1968–)，女，江蘇無錫人，教授，博士，博士生導(dǎo)師。主要研究方向?yàn)榛趫D像的建模與繪制、虛擬現(xiàn)實(shí)等。

E-mail：danxu@ynu.edu.cn