趙春暉,高 冰

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001)

?

一種基于小波變換的多尺度鉛筆畫生成算法

趙春暉,高 冰

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001)

近年來，非真實感繪制技術(shù)(non-photorealistic rendering，即NPR)在娛樂視頻、醫(yī)學(xué)等方面都有廣泛的應(yīng)用。現(xiàn)存的許多自然圖像鉛筆畫生成算法，效果都不太理想，存在如鉛筆畫邊緣線條粗重或者層次不夠突出、缺少細節(jié)等一系列問題。在分析了傳統(tǒng)的鉛筆畫生成算法的基礎(chǔ)上，提出了一種改進的自然圖像的鉛筆畫生成算法。該算法仿照藝術(shù)家手工繪制鉛筆畫的過程，使用小波變換的多尺度方法生成鉛筆線條輪廓圖，使得到的線條輪廓圖保留了更多的細節(jié)信息且邊緣線條不會十分粗重；再利用直方圖匹配的方法得到與藝術(shù)家手工繪制鉛筆畫相同的色調(diào)，并使用一個優(yōu)化將色調(diào)與鉛筆畫的紋理圖結(jié)合從而得到色調(diào)紋理圖；最后將線條輪廓圖與色調(diào)紋理圖合并得到效果良好的鉛筆畫。通過將該算法應(yīng)用在各類圖像上，發(fā)現(xiàn)由該算法得到的鉛筆畫效果與現(xiàn)存鉛筆畫生成算法相比，不僅保留了更多的細節(jié)，而且更加接近藝術(shù)家手工繪制的鉛筆畫。

自然圖像; 鉛筆畫; 小波變換; 多尺度

隨著生產(chǎn)生活的改善，以及圖像采集設(shè)備的不斷普及與使用，使得大眾在生活上有了更多藝術(shù)上的追求，為了滿足大眾的喜好，學(xué)者們致力于將照片處理成鉛筆畫、漫畫和油畫等，久而久之這種藝術(shù)風(fēng)格便逐漸成為一種娛樂方式。尤其是在使用非真實感繪制(NPR)技術(shù)[1]模擬繪制鉛筆畫時，通過使用明暗效果不同的線條以及各種色調(diào)，從而形成一種簡單的、自然的效果，這種效果頓時吸引了大眾和學(xué)者的目光。因此基于自然圖像的鉛筆畫模擬繪制技術(shù)早已成為一個研究熱點。

目前，鉛筆畫的仿真繪制技術(shù)分為基于三維空間和基于圖像空間?；谌S空間的目的在于將其處理為風(fēng)格化的場景或者模型。其中比較有代表性的是Sousa等提出的通過對紋理的合成、作畫方法和繪制步驟的模擬來實現(xiàn)一種基于模型的三維鉛筆畫繪制方法[2]；基于圖像空間的鉛筆畫繪制技術(shù)隨著數(shù)碼相機的普及，使其得到高清圖片比構(gòu)建場景的三維模型更容易，因此廣大學(xué)者更加傾向于研究基于二維模型的鉛筆畫仿真技術(shù)。

迄今為止，基于自然圖像的計算機模擬繪制鉛筆畫的生成算法已經(jīng)提出了好多。文獻[3]和文獻[4]中提出的PencilSketch2D 繪圖系統(tǒng)，是人機交互式的模擬繪制鉛筆畫的技術(shù)，此方法需要大量的人力，因此應(yīng)用范圍不廣。2012年，Lu等[5]在NPAR會議上發(fā)表了英文論文《Combing Sketch and Tone for PencilDrawing Production》，提出了一種模仿藝術(shù)家創(chuàng)作鉛筆畫的流程算法，從而對傳統(tǒng)的模擬繪制鉛筆畫生成方法進行了改進。而本文算法的思想是建立在Lu等人的算法基礎(chǔ)上，在產(chǎn)生線條的步驟上使用了小波多尺度分析方法，從而使最終鉛筆畫結(jié)果保留了更多的畫面細節(jié)，更加貼近藝術(shù)家創(chuàng)作過程，也更加符合人眼的審美。

Mao X.等[6]在2001年發(fā)表了有關(guān)鉛筆畫繪制方法的論文，其主要方法是利用線積分卷積(LIC)提供流場的紋理方向的特點，將白噪聲圖像和向量場作為輸入進行卷積運算，從而生成了具有鉛筆畫風(fēng)格的紋理圖像。2003年，李重等[7]提出了基于傅里葉變換的圖像素描效果生成算法，其主要通過將灰度圖像分別進行傅里葉正和逆變換，然后將每點的灰度值倒置求反，最后對圖像進行銳化和平滑等處理從而實現(xiàn)圖像的鉛筆畫效果。孫碩等[8]提出的一種有效的基于區(qū)域的鉛筆畫方法是一種新的基于線性卷積積分(LIC)的自動鉛筆畫生成方法，首先對圖像進行圖像分割，然后提出一種新的基于區(qū)域的白噪聲和紋理方向的生成方法。同年，何偉強[9]提出將圖像進行梯度和反相處理，然后再將圖像灰度化，最后產(chǎn)生一個畫面細膩的鉛筆畫生成算法。謝黨恩等[10]提出一種鉛筆濾鏡生成算法及其在GPU上的實現(xiàn)，該算法通過分析真實的鉛筆紋理的結(jié)構(gòu)特征，抽象出鉛筆筆畫的簡單數(shù)學(xué)模型，并根據(jù)該模型確定其對應(yīng)的筆刷模板，進行獲得鉛筆畫的紋理。這是一種借助于圖形處理單元(GPU)實現(xiàn)的鉛筆畫算法。桑桑等[11]突破了傳統(tǒng)的鉛筆畫生成算法中圖像分割的限制，提出了一種基于紋理和邊緣輪廓的鉛筆畫自動生成算法。程佳等[12]利用線性卷積(LIC)方法，自適應(yīng)地處理圖像，將繪制結(jié)果和通過霓虹處理得到的輪廓效果想結(jié)合得到效果較好的鉛筆畫。

隨著學(xué)者對鉛筆畫生成算法的進一步研究，使得鉛筆畫的生成算法也日漸趨于成熟，但是這些方法往往只關(guān)注了畫面整體的藝術(shù)風(fēng)格，忽略了畫面中的細節(jié)與層次信息，存在如鉛筆畫邊緣線條粗重使其看起來像漫畫或者層次不夠突出、缺少細節(jié)等一系列問題，因此效果都差強人意。本文分析研究了Lu等人的算法框架，并且根據(jù)Lu等人的算法框架為基礎(chǔ)提出了基于小波變換的多尺度線條輪廓提取方法，從而得到了多尺度的線條輪廓的生成過程，并使最終生成的線條輪廓圖不僅包含不同層次的輪廓信息，還包含了畫面中的重要細節(jié)信息[13]。

1 自然圖像的鉛筆畫生成過程

圖1 算法框圖Fig.1 Algorithm block diagram

本文算法是建立在Lu等人算法基礎(chǔ)上提出多尺度的線條輪廓生成過程，使得最終生成的線條輪廓圖保留了更多的細節(jié)，從而能夠更加準確的傳達圖像的思想。Lu等人的鉛筆畫生成算法不同于傳統(tǒng)的鉛筆畫生成算法，它是完全仿照藝術(shù)家繪制藝術(shù)作品時的流程從而生成的算法，其算法框圖見圖1，主要分為3步：①Line Drawing Strokes 得到一幅線條輪廓圖S;②Tone Mapping 得到一幅色調(diào)紋理圖T;③將S和T合并得到最終結(jié)果，即R=S+T。

鉛筆畫線條的生成和底紋色調(diào)的生成同樣重要，因為它們兩者的效果相得益彰。其鉛筆畫效果圖見圖2,Lu等人算法生成的鉛筆畫不僅有鉛筆畫的整體線條輪廓，而且和藝術(shù)家手工繪制時使用的色調(diào)紋理圖十分相似，大致符合人眼的視覺審美。但是該算法在提取線條時沒有考慮到不同尺度的細節(jié)信息與層次性，因此本文提出基于小波變換的多尺度鉛筆畫線條生成算法，從而得到不同尺度的線條輪廓，使得最終鉛筆畫能夠保留更多的細節(jié)。本文重點敘述小波變換的多尺度線條輪廓圖生成算法，不再贅述色調(diào)紋理圖的生成。

圖2 Lu等人的鉛筆畫算法生成結(jié)果圖Fig.2 Result of Lu′s penciled drawing generation algorithm

2 鉛筆畫線條輪廓生成算法

2.1 Lu等人的鉛筆畫線條生成算法

本文的鉛筆畫算法是在Lu等人的鉛筆畫算法框架的基礎(chǔ)上提出的。Lu等人為了得到良好的鉛筆畫線條輪廓圖，對梯度圖進行了兩次8個方向的卷積。

將輸入的圖像轉(zhuǎn)變成灰度圖像，然后計算這個灰度圖像的梯度。首先計算幅度，公式如下：

(1)

其中G是灰度圖像。?x是水平方向的梯度，?y是豎直方向的梯度。但是使用這個公式得到的結(jié)果里面含有太多的噪聲并且邊緣部分的線條有很多不連續(xù)的。為了得到更加穩(wěn)定的效果，Lu等人采用以下方法。

這里采用22.5°旋轉(zhuǎn)的方法選取8個方向，每個方向表示為φi，i∈{1…8}。對于每個確定方向的響應(yīng)，計算如下：

Gi=φi*G

(2)

其中φi是第i個方向的線段，它被認為是一個卷積核，即φi為第i個方向的濾波核。卷積核的長度在Lu等的算法中設(shè)置成了圖像長度或者寬度的1/30，顏色梯度沿著方向i形成濾波器響應(yīng)圖Gi。

得到各個方向的卷積結(jié)果后，對每一個像素點，具有最大卷積值的那一個方向的響應(yīng)設(shè)置為G，其他方向設(shè)置為0，表示為：

(3)

其中p表示像素位置，Ci表示方向i的結(jié)果線條圖。

取出8個方向的最大值再次進行濾波從而得到平滑的效果，然后將8個方向的結(jié)果合起來便會得到鉛筆線條的結(jié)果：

(4)

合并得到的鉛筆線條是在黑色背景上的白色線條圖。通過對白色線條S′逐像素值取反，從而得到在白色背景上的黑色線條圖S，為了得到組合成鉛筆畫效果圖的線條圖將其規(guī)范化到[0,1]。

2.2 基于小波變換的多尺度鉛筆畫線條輪廓生成算法

本文提出的基于小波變換的算法主要利用提升小波變換，從而提取不同尺度的輪廓與細節(jié)信息并合并最為線條輪廓圖。提升小波變換過程可以分為分裂、預(yù)測、更新、重構(gòu)4個步驟[14]。

首先，初始信號設(shè)為λ0,k,其分裂后的兩個互不相交的奇數(shù)子集和偶數(shù)子集表達式如下：

λ-1,k=λ0.2,l,γ-1,k=λ0.2l+1

(5)

然后假設(shè)預(yù)測算子為p，則有

γ-1.k=P(λ-1,k)

(6)

預(yù)測算子p反映數(shù)據(jù)之間的關(guān)系，一般指分裂步驟之后的某一個像素與周圍像素之間的波動情況。

經(jīng)過分裂和預(yù)測可以得到圖像的高頻部分，即細節(jié)部分，但是要注意低頻數(shù)據(jù)會發(fā)生改變，也就意味著和原始數(shù)據(jù)不一致，因此需更新從而避免低頻數(shù)據(jù)產(chǎn)生差別而出錯。更新過程的表達式如下：

λ-1,k=U(γ-1,k)

(7)

最后的重構(gòu)就是將分解過程中的預(yù)測算子和更新算子中的“+”或“-”符號改成相反符號即可。

把圖像的每一行(每一列)分別看作是一維信號，均對其進行一維提升變換，從而得到了相應(yīng)的高頻子帶和低頻子帶。其中的高頻子帶的水平、豎直和對角的細節(jié)圖像利用圖像融合得到尺度1上的細節(jié)線條圖；低頻子帶為尺度1上的輪廓圖。若想對圖像繼續(xù)進行下一尺度的分解或者任意尺度的分解，可以對一級小波分解得到的低頻子帶繼續(xù)做相同的操作[15-16]。在提升變換時，本文選擇D5/3小波作為小波基。

D5/3小波又叫CDF(2,2)小波，只有一次提升的過程，其變換公式如下：

(8)

提升小波變換有許多不同的組合方法，本文進行了許多驗證，最終選取效果較好的兩種方法進行具體說明，并給出了兩者的對比效果圖。

2.2.1 小波變換的組合方法一

圖3 方法一框圖Fig.3 Block diagram of the first method

組合方法一對輸入的灰度圖像只進行一級小波分解，得到高頻子帶和低頻子帶，將低頻子帶的數(shù)據(jù)信息置為0，然后將高頻子帶中的水平、豎直和對角方向的子圖像還原，將其與原圖像提取的線條輪廓圖進行合并，最后得到具有交叉感的鉛筆畫效果(圖3)。通過組合方法一得到的尺度1上的鉛筆畫效果圖見圖4，圖4(a)是原圖，圖4(b)是尺度1上的細節(jié)筆畫，圖4(c)是黑色背景下的白色線條圖，圖4(d)是白色背景下的黑色線條圖。

這里需要注意的是所要合并的圖像必須要大小一樣。

圖4 尺度1上的筆畫效果，以及其合并后的效果圖Fig.4 Impression drawings of scale 1 and combinating

2.2.2 小波變換的組合方法二

圖5 算法二框圖Fig.5 Block diagram of the second method

組合方法二將輸入的灰度圖像進行二級小波變換。首先使用一級小波變換，將得到的低頻子帶的數(shù)據(jù)信息置為0，高頻子帶的水平、豎直和對角的子圖像進行還原，然后提取圖像線條輪廓圖；在進行二級小波變換，對低頻和高頻子帶的處理方法同上，然后進行二次還原。最后將這兩者合并在一起得到最后的線條輪廓圖(圖5)。通過組合方法二得到的尺度2上的鉛筆畫效果圖見圖6，原圖見圖6(a)，一級小波分解的線條輪廓圖見圖6(b)，一級小波分解的線條輪廓圖見圖6(c)，合并后的筆畫效果圖見圖6(d)。

在組合方法一和方法二中本文將低頻子帶的數(shù)據(jù)信息置為0，因此在圖中不需要顯示。

圖6 尺度2上的筆畫效果，以及其合并后的效果圖Fig.6 Impression drawing of scale 2 and combination

3 仿真實驗與分析

本文簡要介紹了幾種現(xiàn)有的鉛筆畫生成算法，重點研究了基于小波變換的多尺度分析算法的理論精髓，以實現(xiàn)對自然鉛筆畫算法的改進以及創(chuàng)新，將本文算法應(yīng)用在各類圖像上也都能得到良好的效果。

基于小波變換的多尺度鉛筆畫生成算法是在Lu等人的鉛筆畫的算法基礎(chǔ)上實現(xiàn)的，應(yīng)用在人物圖像上的鉛筆畫效果圖見圖7。原圖見圖7(a)，本文方法一和方法二的鉛筆畫效果圖見圖7(b)和圖7(c)，文獻[9]中算法的鉛筆畫效果圖見圖7(d)?？梢园l(fā)現(xiàn)本文提出的兩種方法都可以得到具有交叉感的線條，在最終的鉛筆畫效果圖中，方法一可以保留更多原圖的筆畫細節(jié)，方法二能夠更好的處理圖像邊緣。文獻[9]中算法也能得到鉛筆畫效果的圖像，但是畫面細節(jié)信息丟失的比較嚴重，同時線條輪廓也不夠清晰。

應(yīng)用在植物圖像上的鉛筆畫效果圖見圖8。原圖見圖8(a)，文獻[5]中算法的鉛筆畫效果圖見圖8(b)，本文方法一和方法二的鉛筆畫效果圖見圖8(c)和圖8(d)。3種方法都能夠得到良好的鉛筆畫效果圖，但是小波變換的算法采用了多尺度生成線條，因此得到更多的細節(jié)，尤其是通過方法一得到的鉛筆畫，花朵的邊緣輪廓信息十分明顯。

圖7 小波變換的鉛筆畫線條輪廓圖Fig.7 The pencil sharpener drawing line contour map of wavelet transform

圖8 小波變換算法與文獻[5]算法的鉛筆畫效果圖Fig.8 Impression drawing of wavelet transform algorithm and Lu′s algorithm

應(yīng)用在建筑物圖像上的鉛筆畫效果圖見圖9。原圖見圖9(a)，本文方法一和方法二的鉛筆畫效果圖見圖9(b)和圖9(c)，文獻[7]中算法的鉛筆畫效果圖見圖9(d)。本文提出的小波變換組合方法一以及組合方法二都能夠較好的傳遞出原圖的場景信息，并且得到效果良好的鉛筆畫效果圖像，而文獻[7]等人算法的鉛筆畫效果圖勾勒出了原圖的輪廓，但是線條不夠清晰，同時缺少了對于細節(jié)信息的處理導(dǎo)致細節(jié)信息比較模糊。

圖9 文獻[7]算法和小波變換的算法的鉛筆畫效果圖Fig.9 Impression drawings of Li Zhong′s algorithm[7] and wavelet transfony algorithm

4 結(jié) 論

在對Lu等人模擬繪制鉛筆畫生成算法的學(xué)習(xí)、分析過程中，發(fā)現(xiàn)其在提取線條輪廓圖時沒有考慮多尺度的線條信息從而造成圖像一些細節(jié)的丟失。本文依據(jù)其生成鉛筆畫算法的框架，重點學(xué)習(xí)基于小波變換的多尺度分析算法的理論精髓，通過使用小波提升變換公式對自然圖像進行多尺度提取線條輪廓信息，得到多尺度的鉛筆畫線條輪廓圖，使得最終的鉛筆畫保留了更多的細節(jié)信息，并且實現(xiàn)對原有算法的改進。

[1] Winkenbach G,Salesin D H.Computer-generated pen-and-ink illusration[C]//Proceedings of the 21stAnnual Conference on Computer Graphics and Interactive Techniques.New York:ACM Press,1994:91-100.

[2] Sousa M C,Buchanan J W.Computer generated graphite pencil rendering of 3D polygonal models[J].Computer Graphics Forum,1999,18(3):195-208.

[3] Vermeulen A H,Tanner P P.PencilSketch-a pencil-based paint system[C]//Proceedings of Graphics Interface’89 Conference,1989.

[4] Sousa M C,Buchanan J W.Observational model of blenders and erasers in computer-generated pencil rendering[C]//Proceedings Conference on Graphics Interface ’99,1999:157-166.

[5] Lu C W,Li X,Jia J Y.Combining sketch and tone for pencil drawing production [C]//Proceedings of Symposium on Non-Photorealistic Animation and Rendering.Aire-Ia-Ville,Switzer-land: Eurographics Association,2012:65-73.

[6] Mao X,Nagasaka Y,Imamiya A.Automatic Generation of Pencil DrawinG from 2D Images Using Line Integral Convolution[C]//Proceedings of the 7thInternational Conference on Computer Aided Design and Computer Graphics (CAD/GRAPHICS’ 01).2001,1(3):147-159.

[7] 李重，黃教，吳庋標.基于傅里葉變換的圖像素描效果生成算法[J].計算機應(yīng)用研究，2003,5:21-22.

[8] 孫碩,黃東衛(wèi).一種有效的基于區(qū)域的鉛筆畫方法[J].計算機工程與應(yīng)用,2007,43(14):34-37.

[9] 何偉強.一種改進的圖像素描生成算法[J].電腦與電信,2009(6):43-44.

[10] 謝黨恩,趙楊,徐丹.一種鉛筆濾鏡生成算法及其在GPU上的實現(xiàn)[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2008,20(1):26-31

[11] 桑桑,郝鵬翼,丁友東,等.基于紋理和輪廓的鉛筆素描畫生成方法[J].上海大學(xué)學(xué)報:自然科學(xué)版,2010,16(3)：312-317

[12] 程佳,康棣.鉛筆畫的自適應(yīng)LIC繪制方法[J].計算機工程與應(yīng)用,2011,47(16):198-203

[13] 黃志勇,姚遠,張晶晶,等.改進的自然圖像鉛筆畫效果生成[J].中國圖像學(xué)報，2015(227)：0437-0444.

[14] 王楠.遙感圖像融合算法研究[D].北京：北京化工大學(xué)，2004：11-24.

[15] 邵國峰.基于多分辨率分析的圖像融合技術(shù)研究[D].哈爾濱：哈爾濱工程大學(xué)，2013.

[16] 宋清昆，馬麗，曹建坤，等.基于小波變換和均值濾波的圖像去噪[J].黑龍江大學(xué)自然科學(xué)學(xué)報，2016，33(4):555-560.

An pencil drawing generation algorithm based on wavelet transform multiscale

ZHAO Chun-Hui,GAO Bing

(Collegeofinformationandcommunicationengineering,HarbinEngineeringUniversity,Harbin150001)

In recent years,non-photorealistic rendering(NPR)technology is widely used in the entertainment video,medicine,etc.The generation algorithm of pencil drawing results of many natural image are not satisfactory,and a series of problems exist,for example,the pencil edge lines are so coarse,the painting level is not prominent or the details are not enough.We mainly study the improved pencil drawing generation algorithm.This paper analyzes the traditional pencil drawing generation algorithm,and compare it with some pencil drawing generation algorithm,on this basis,an improved pencil drawing generation algorithm of the natural image is put forward.This algorithm is generated by modeling after the artist's hand drawn pencil drawing process,the line profile map is extracted based on wavelet transform multiscale method to make the line profile map retain more details and the edge lines will not be very coarse; then,using the histogram matching method to obtain the tone which is the same as the tone of artist manual pencil drawing,and the color texture map is obtained using optimization method by combining the tone and pencil texture map; finally,combining the line profile map and the tone texture map to obtain a pencil drawing with good result.Applying the algorithm in this article on all kinds of images,the results show that this algorithm retain more details and the results are more similar to those of the artist’s hand drawn pencil drawing compared with the existing pencil drawing generation algorithm.

natural image; pencil drawing; wavelet transform; multiscale

10.13524/j.2095-008x.2016.04.060

2016-09-12

國家自然科學(xué)基金資助項目(61405041,61571145)

趙春暉(1965-),男,黑龍江湯原人，教授,博士，博士研究生導(dǎo)師,研究方向：圖像處理與模式識別,E-mail:zhaochunhui@hrbeu.edu.cn。

TN911

A

2095-008X(2016)04-0068-07