趙海峰,高梓玉,張 燕,高順祥

(1.金陵科技學(xué)院軟件工程學(xué)院,江蘇 南京 211169;2.江蘇潤(rùn)和軟件股份有限公司,江蘇 南京 210012;3.江蘇省信息分析工程研究中心,江蘇 南京 211169;4.南京師范大學(xué)計(jì)算機(jī)與電子信息學(xué)院,江蘇 南京 210023)

動(dòng)漫以動(dòng)畫(huà)、漫畫(huà)為主要表現(xiàn)形式,是文化創(chuàng)意產(chǎn)業(yè)的主要組成部分,在人們的生活中扮演著重要角色。在動(dòng)漫創(chuàng)作過(guò)程中,動(dòng)漫設(shè)計(jì)人員首先根據(jù)劇本繪制出較為抽象的動(dòng)漫草圖,即動(dòng)漫清稿。然后在此基礎(chǔ)上繪制細(xì)節(jié),形成線條草圖,即動(dòng)漫精稿。接著,進(jìn)行草圖著色和后期處理,最終形成一套完整的動(dòng)漫故事。整個(gè)動(dòng)漫創(chuàng)作過(guò)程由多人協(xié)作完成,需要花費(fèi)大量的時(shí)間和精力。隨著人工智能技術(shù)的不斷發(fā)展,利用人工智能輔助加快動(dòng)漫制作過(guò)程成為動(dòng)漫領(lǐng)域的重要需求,也是計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域的研究熱點(diǎn),這涉及抽象的動(dòng)漫草圖與彩色的動(dòng)漫圖像之間的相互轉(zhuǎn)換問(wèn)題。

在當(dāng)前互聯(lián)網(wǎng)上,存在大量已經(jīng)制作好的動(dòng)漫資源,包括動(dòng)漫圖像和視頻。對(duì)這些已經(jīng)制作完成的動(dòng)漫資源進(jìn)行處理,還原其制作過(guò)程,對(duì)支撐動(dòng)漫的自動(dòng)化制作有重要意義。具體來(lái)說(shuō),就是根據(jù)已經(jīng)制作完成的彩色動(dòng)漫圖像,還原出原始的線條草圖,從而建立兩者之間的對(duì)應(yīng)關(guān)系,為后續(xù)從線條草圖自動(dòng)生成彩色動(dòng)漫圖像建立預(yù)處理數(shù)據(jù)集。從彩色動(dòng)漫圖像提取出線稿動(dòng)漫草圖,主要是要保留原始藝術(shù)風(fēng)格和提高準(zhǔn)確性。傳統(tǒng)的圖像邊緣提取算法容易受到噪聲的干擾,無(wú)法準(zhǔn)確反映出草圖的結(jié)構(gòu)信息和語(yǔ)義信息,同時(shí)缺乏直接對(duì)顏色信息的建模。

針對(duì)以上問(wèn)題,本文提出了基于U-Net網(wǎng)絡(luò)[1]的草圖提取方法,通過(guò)引入殘差塊,提取彩色動(dòng)漫圖像中的結(jié)構(gòu)信息與顏色信息,還原出原始的線條草圖。通過(guò)建立線稿形式的動(dòng)漫草圖與彩色動(dòng)漫圖像之間的對(duì)應(yīng)關(guān)系,構(gòu)建成對(duì)的動(dòng)漫草圖與彩色動(dòng)漫圖像訓(xùn)練數(shù)據(jù)集,對(duì)于動(dòng)漫制作中的動(dòng)漫草圖著色具有重要意義。通過(guò)設(shè)計(jì)與不同算子的邊緣提取算法的對(duì)比實(shí)驗(yàn)與用戶調(diào)研實(shí)驗(yàn),驗(yàn)證本文方法的可行性。

1 相關(guān)工作

根據(jù)生成對(duì)象類型不同,草圖生成可以分為從草圖生成圖像、從草圖生成三維形狀、從圖像生成草圖以及從三維形狀生成草圖等。

當(dāng)草圖生成的對(duì)象為圖像時(shí),早期的方法包括Sketch2Photo[2]和PhotoSketcher[3],主要使用圖像匹配和圖像合成的思路進(jìn)行生成。隨著深度學(xué)習(xí)[4]的快速發(fā)展,研究人員提出了基于生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)(GAN)的草圖生成模型[5]。Chen等[6]提出了SketchyGAN方法,該方法利用數(shù)據(jù)增強(qiáng)技術(shù)來(lái)增強(qiáng)訓(xùn)練數(shù)據(jù),通過(guò)引入新的生成式對(duì)抗網(wǎng)絡(luò)模塊來(lái)提升圖像合成的質(zhì)量,從而得到更加真實(shí)的圖像。ContextualGAN[7]則利用聯(lián)合圖像學(xué)習(xí)草圖與圖像的聯(lián)合分布,將草圖作為弱監(jiān)督信息,實(shí)現(xiàn)無(wú)需草圖與圖像對(duì)齊的生成結(jié)果。Sarvadevabhatla等[8]使用草圖解譯的方式來(lái)分析草圖,將對(duì)象姿態(tài)預(yù)測(cè)作為一種草圖分析的輔助任務(wù),提高草圖生成的整體性能。

除了一些特定用于草圖生成的網(wǎng)絡(luò)結(jié)構(gòu),還有類似Pix2Pix[9]的適用于許多場(chǎng)景的解決方案,同樣可以用于解決草圖到圖像的生成問(wèn)題。SketchyCOCO[10]實(shí)現(xiàn)了從場(chǎng)景級(jí)手繪草圖到場(chǎng)景級(jí)圖像的生成,將場(chǎng)景級(jí)草圖分為前景和背景兩個(gè)部分,通過(guò)生成前景物體,再以前景物體為導(dǎo)向輔助生成背景的方式生成草圖。Lei等[11]結(jié)合多尺度卷積神經(jīng)網(wǎng)絡(luò)和注意機(jī)制的優(yōu)點(diǎn),實(shí)現(xiàn)人臉的草圖到圖像的轉(zhuǎn)化。

在圖像生成草圖方面,CLIPasso[12]將草圖看作是多個(gè)B樣條曲線的組合,利用CLIP的能力提取圖像語(yǔ)義來(lái)生成對(duì)應(yīng)的草圖。CLIPascene[13]通過(guò)對(duì)草圖進(jìn)行不同精準(zhǔn)度的刻畫(huà),從場(chǎng)景級(jí)的圖像中生成不同類型和不同抽象尺度的草圖。

與二維草圖的生成研究不同,關(guān)于草圖直接生成三維形狀的研究相對(duì)較少。一種典型的方法是將二維形狀作為中間過(guò)程來(lái)生成三維模型[14],另一類方法是將生成的過(guò)程進(jìn)行分解,逐步形成可用的三維形狀[15-16]。通過(guò)添加文本引導(dǎo),Wu等[17]使用了擴(kuò)散模型生成三維形狀。此外,在三維形狀生成對(duì)應(yīng)的二維草圖方面,Ye等[18]采用訓(xùn)練生成式對(duì)抗網(wǎng)絡(luò),僅使用解碼器來(lái)生成二維草圖。

與之前基于GAN方法生成草圖不同,本文基于U-Net方法根據(jù)原始圖像直接生成草圖。2015年,Ronneberger 等[1]提出一種網(wǎng)絡(luò)結(jié)構(gòu)左右對(duì)稱、形狀類似于U形的新型卷積神經(jīng)網(wǎng)絡(luò),即U-Net。從網(wǎng)絡(luò)結(jié)構(gòu)上來(lái)看,U-Net網(wǎng)絡(luò)包含左側(cè)的特征提取網(wǎng)絡(luò)和右側(cè)的特征融合網(wǎng)絡(luò),網(wǎng)絡(luò)整體上與自動(dòng)編碼器類似,都擁有編碼部分和解碼部分。不同的是U-Net網(wǎng)絡(luò)將編碼與解碼嚴(yán)格對(duì)應(yīng)起來(lái),特征提取網(wǎng)絡(luò)每一步得到的特征圖都有與之對(duì)應(yīng)的上采樣特征圖,更多地保留了輸入端的圖像特征信息。本文通過(guò)添加殘差塊,更好地提取了圖像的結(jié)構(gòu)信息,取得了較好的草圖生成效果。

2 方法框架

2.1 模型整體結(jié)構(gòu)

本文模型的整體結(jié)構(gòu)基于U-Net網(wǎng)絡(luò),在網(wǎng)絡(luò)中引入殘差塊。殘差塊是殘差網(wǎng)絡(luò)ResNet的組成元素,有效地解決了深度神經(jīng)網(wǎng)絡(luò)的退化問(wèn)題。殘差塊將深度神經(jīng)網(wǎng)絡(luò)原本X→Y的學(xué)習(xí)變成了X→Y→X的學(xué)習(xí),從而阻止了網(wǎng)絡(luò)對(duì)簡(jiǎn)單“圖像搬運(yùn)”的學(xué)習(xí),轉(zhuǎn)而學(xué)習(xí)輸入與輸出之間的區(qū)別,達(dá)到更優(yōu)的效果。殘差塊結(jié)構(gòu)可以充分利用網(wǎng)絡(luò)的深度,使網(wǎng)絡(luò)能夠?qū)W習(xí)到更加復(fù)雜和深層次的特征。由于殘差塊的設(shè)計(jì),網(wǎng)絡(luò)在訓(xùn)練過(guò)程中可以更好地保留原始輸入信息的細(xì)節(jié)和結(jié)構(gòu),從而提高了特征的表示能力。圖1為殘差塊示意圖。

圖1 殘差塊示意圖

由于保留了原始的輸入信息,因此隨著深度的增加,可以獲取更高的精度,較淺的網(wǎng)絡(luò)因具有更多的特征信息而獲得更好的效果。在本文任務(wù)中,需要模型學(xué)習(xí)IRGB→Isketch的變化。從本質(zhì)上來(lái)說(shuō),RGB圖像與其對(duì)應(yīng)的草圖之間具有如下關(guān)系:

Isketch=IRGB-Icolor

(1)

變換可得:

IRGB=Isketch+Icolor

(2)

可以通過(guò)殘差塊使模型學(xué)習(xí)到IRGB→Isketch(→Icolor)的變化,即獲得RGB圖像的多余顏色信息,進(jìn)而通過(guò)數(shù)值計(jì)算去除多余的顏色信息,得到想要的漫畫(huà)草圖。

圖2為本文模型的具體結(jié)構(gòu),該結(jié)構(gòu)總體基于U-Net,淺灰色方塊為下采樣殘差塊,深灰色方塊為上采樣殘差塊。輸入為M×N的RGB圖像,經(jīng)過(guò)一次下采樣殘差塊,即使用3×3的卷積層進(jìn)行卷積計(jì)算,增加通道數(shù),減少圖像尺寸。以中間的六層殘差塊為軸,下采樣階段與上采樣階段分別包含兩組殘差塊以及輸入層與輸出層。每一個(gè)殘差塊內(nèi)部網(wǎng)絡(luò)如圖3所示。

圖2 漫畫(huà)草圖提取方法的整體網(wǎng)絡(luò)結(jié)構(gòu)

圖3 殘差塊內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2.2 損失函數(shù)

(3)

式中,E是期望函數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)準(zhǔn)備與預(yù)處理

3.1.1 數(shù)據(jù)集

本文的數(shù)據(jù)集以Danbooru2019[19]數(shù)據(jù)集為基礎(chǔ)。首先,通過(guò)聯(lián)合標(biāo)簽“1girl 1boy”從整個(gè)數(shù)據(jù)集中隨機(jī)選取約500張動(dòng)漫人物RGB圖像。然后,進(jìn)行人工篩選,篩選標(biāo)準(zhǔn)包括:圖像內(nèi)容干凈,無(wú)多余噪點(diǎn)和色塊;圖像以人物為主,背景不過(guò)于復(fù)雜;內(nèi)容和諧,沒(méi)有不良信息。最終,經(jīng)篩選得到200張可用于實(shí)驗(yàn)的動(dòng)漫人物RGB圖像。圖4為部分使用數(shù)據(jù)的展示。

圖4 數(shù)據(jù)集部分使用的數(shù)據(jù)

3.1.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)在安裝了64位Ubuntu 16.04系統(tǒng)的服務(wù)器上運(yùn)行,服務(wù)器裝有2塊NVIDIA Tesla V100顯卡,每張內(nèi)存為32 G,采用CUDA 11.0庫(kù)進(jìn)行加速。實(shí)驗(yàn)使用深度學(xué)習(xí)框架PyTorch實(shí)現(xiàn)。

所有的實(shí)驗(yàn)采用Adam優(yōu)化器進(jìn)行訓(xùn)練,實(shí)驗(yàn)的批大小(batch size)為24,共訓(xùn)練15個(gè)epoch。初始學(xué)習(xí)率設(shè)為0.000 2,隨后采用PyTorch官方學(xué)習(xí)率衰減策略,在每一個(gè)epoch結(jié)束后對(duì)學(xué)習(xí)率進(jìn)行衰減。

3.2 結(jié)果與分析

3.2.1 效果展示

隨機(jī)選取100張RGB圖像,使用訓(xùn)練好的模型進(jìn)行草圖提取實(shí)驗(yàn),最終驗(yàn)證結(jié)果如圖5所示,每組圖的左邊為RGB原始圖像,右邊為經(jīng)過(guò)模型計(jì)算得到的草圖提取圖?？梢钥闯?本文提出的網(wǎng)絡(luò)模型基本能夠滿足草圖提取的要求,整體效果保持較好,并且與人工繪制的草圖風(fēng)格接近。對(duì)于復(fù)雜線條的圖像,本文方法能夠較好地適應(yīng),并且不會(huì)產(chǎn)生影響畫(huà)面的噪點(diǎn)。

圖5 漫畫(huà)草圖提取效果展示

3.2.2 定性對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文算法的有效性,實(shí)驗(yàn)對(duì)比了常用的經(jīng)典邊緣提取方法,結(jié)果如圖6所示。從圖6可以看出,Sobel算子與Prewitt算子對(duì)邊緣的提取更注重對(duì)象的外輪廓,對(duì)明顯的線條邊界更加敏感,這使得對(duì)象最外的邊緣輪廓粗而內(nèi)部的線條淺。Laplacian算子與Canny算子得到的邊緣圖都存在較多的噪聲點(diǎn)。Laplacian算子在人物臉部的噪聲點(diǎn)較多,可能是與該部分線條密集有關(guān);Canny算子提取的線條信息相對(duì)完整,但同樣在線條密集的地方存在不必要的噪聲點(diǎn)。相對(duì)來(lái)說(shuō),Roberts算子得到的邊緣圖線條之間強(qiáng)度相差不大,更接近人工繪制的草圖結(jié)構(gòu),但線條整體強(qiáng)度較弱。將Roberts算子的邊緣圖進(jìn)行線條強(qiáng)化處理,效果如圖7所示,強(qiáng)化后效果變好。

圖6 不同邊緣提取算法的效果對(duì)比

圖7 基于Roberts算子的邊緣圖線條強(qiáng)化處理效果

3.2.3 定量對(duì)比實(shí)驗(yàn)

本文方法生成的漫畫(huà)草圖,其本質(zhì)可以看作只包含結(jié)構(gòu)不包含風(fēng)格內(nèi)容的結(jié)構(gòu)化圖像,因此可以使用FID(fréchet inception distance)作為生成效果的度量。FID值用于衡量生成圖像與真實(shí)圖像分布之間的距離。FID值越低,表明兩組圖像的相似度越高。表1為不同方法的FID值對(duì)比?？梢钥闯?本文方法的FID值比其他方法至少低40%,對(duì)草圖提取有更優(yōu)的效果,能夠得到清晰、合理、保留大部分底層信息的漫畫(huà)草圖。

表1 不同方法FID值對(duì)比

值得一提的是,從表1可以看出,使用Canny算子進(jìn)行草圖提取時(shí),上下限的影響較大。雖然可以通過(guò)調(diào)整Canny算子的參數(shù)得到較好的FID值,但是在相同條件下,本文提出的方法仍然更加高效。

3.2.4 用戶評(píng)估實(shí)驗(yàn)

為了評(píng)估本文方法和其他方法各方面的效果,邀請(qǐng)了20名參與者來(lái)評(píng)價(jià)不同方法生成圖的效果。評(píng)價(jià)指標(biāo)包括完整度、清晰度、精細(xì)度、結(jié)構(gòu)合理性以及視覺(jué)美感5個(gè)維度。完整度表示生成的線條是否包括實(shí)際的線條,清晰度表示生成的線條整體是否清晰,精細(xì)度表示生成圖是否包括了應(yīng)有的細(xì)節(jié),結(jié)構(gòu)合理性表示是否在宏觀和細(xì)節(jié)部分分配合理,視覺(jué)美感表示生成的線條整體是否較為舒服。針對(duì)某種方法,用戶首先對(duì)其每個(gè)維度從1星到5星給出評(píng)分,1星為最差,5星為最好。然后,對(duì)評(píng)分的平均值進(jìn)行歸一化操作,將其歸一化到[0,1]。式(4)是維度j的評(píng)分計(jì)算公式。

(4)

式中,n為參與者人數(shù);Xi,j為針對(duì)維度j在[1,5]范圍的評(píng)分;Smax,j為評(píng)分上邊界,即5;Smin,j為評(píng)分下邊界,即1。

圖8為Canny、Laplacian、Prewitt、Roberts、Sobel和本文方法的用戶評(píng)估圖?？梢钥闯?本文方法在完整度、清晰度、視覺(jué)美感3個(gè)維度上超過(guò)了所有方法,表明本文方法能夠提取更多的草圖線條信息;在結(jié)構(gòu)合理性與精細(xì)度兩個(gè)維度比Sobel算子略低,但高于其他4種方法。綜合來(lái)看本文提出的方法相較其他方法效果更好。

圖8 用戶評(píng)估圖

3.2.5 訓(xùn)練損失分析

圖9展示的是本文模型的L1損失圖。可以看出L1損失在訓(xùn)練過(guò)程中并非持續(xù)下降,而是在不斷振蕩中下降。本文實(shí)驗(yàn)中,在每個(gè)epoch結(jié)束后都對(duì)學(xué)習(xí)率進(jìn)行一次調(diào)整,確保損失函數(shù)逐漸逼近全局最優(yōu)解。在經(jīng)過(guò)2 000次迭代后,最終損失值在0.08～0.10范圍內(nèi)波動(dòng)。

圖9 訓(xùn)練過(guò)程中的L1損失變化

4 結(jié) 語(yǔ)

本文提出了一種基于U-Net網(wǎng)絡(luò)的漫畫(huà)草圖提取方法,通過(guò)在U-Net結(jié)構(gòu)中引入殘差塊,增加了網(wǎng)絡(luò)的結(jié)構(gòu)信息提取能力。通過(guò)與不同邊緣算法進(jìn)行對(duì)比,本文方法的FID值比其他算法至少低40%,驗(yàn)證了本文方法的有效性。本文方法可以用于從動(dòng)漫RGB圖像中提取動(dòng)漫線稿草圖,作為后續(xù)動(dòng)漫圖像的預(yù)處理。本文提出的模型雖然在實(shí)驗(yàn)中得到了較好的結(jié)果,但仍有改進(jìn)的空間。除了殘差塊之外,注意機(jī)制也具有較強(qiáng)的信息提取能力,特別在線條高度相似和背景復(fù)雜的情況下,采用基于注意機(jī)制的Transformer等技術(shù)有助于進(jìn)一步改進(jìn)本文的方法。