郭 燕，吳志強(qiáng)，何彥輝

1(中國(guó)科學(xué)技術(shù)大學(xué) 蘇州研究院，江蘇 蘇州 215123) 2(中國(guó)科學(xué)技術(shù)大學(xué) 軟件學(xué)院，江蘇 蘇州 215123)

1 引 言

在漫畫(huà)的創(chuàng)作過(guò)程中，著色是非常重要的步驟，對(duì)漫畫(huà)著色不僅需要較好的繪畫(huà)技術(shù)，而且非常耗時(shí).因此一種對(duì)漫畫(huà)進(jìn)行自動(dòng)著色的系統(tǒng)將非常實(shí)用，可以滿足很多用戶的繪畫(huà)需求并大大提高工作效率.本文提出了基于對(duì)抗生成網(wǎng)絡(luò)[1]的分階段漫畫(huà)著色模型，對(duì)漫畫(huà)線稿進(jìn)行自動(dòng)著色，并可以得到滿意的著色結(jié)果.

漫畫(huà)從線稿到著色的過(guò)程可以看作是圖像生成任務(wù)[2].早期的很多圖像生成任務(wù)基于非參數(shù)模型實(shí)現(xiàn)[3]，隨著深度學(xué)習(xí)的出現(xiàn)，提出了很多基于深度學(xué)習(xí)的圖像生成模型[4].這些基于深度學(xué)習(xí)的圖像生成模型當(dāng)前主要用于真實(shí)照片的生成任務(wù)，例如語(yǔ)義分割[5]、黑白照片著色[6]等.

已有的漫畫(huà)著色模型[7]在很大程度上借鑒了黑白照片著色模型的思想.黑白照片著色模型使用編碼器解碼器結(jié)構(gòu)實(shí)現(xiàn)，模型對(duì)輸入的黑白照片進(jìn)行一系列下采樣來(lái)獲得特征信息，然后對(duì)獲得的特征信息進(jìn)行反卷積[8]操作，上采樣得到著色結(jié)果.雖然這種方式可以完成黑白照片的著色，但直接的反卷積操作會(huì)對(duì)漫畫(huà)著色產(chǎn)生負(fù)面影響.相比于真實(shí)照片，漫畫(huà)的線稿沒(méi)有豐富的圖像紋理、陰影等信息.如在測(cè)試部分所看到的，特別是由于紋理信息的缺失，如果直接將這些方法遷移至漫畫(huà)著色任務(wù)，會(huì)存在很多問(wèn)題.譬如生成的著色結(jié)果會(huì)出現(xiàn)大量棋盤(pán)狀，嚴(yán)重影響美觀.同時(shí)直接編碼解碼會(huì)丟失很多底層信息，在解碼器進(jìn)行漫畫(huà)著色的時(shí)候會(huì)由于底層信息丟失，著色位置出現(xiàn)偏差.本文第5部分進(jìn)行了對(duì)比實(shí)驗(yàn)，驗(yàn)證了反卷積在漫畫(huà)著色的場(chǎng)景中存在的缺陷.

為了解決這個(gè)問(wèn)題，本文提出了一個(gè)分階段的漫畫(huà)著色模型.在第1階段，使用基于U-net[9]的條件生成網(wǎng)絡(luò)[10]，同時(shí)為了保留更多的底層漫畫(huà)信息，在生成器的設(shè)計(jì)中引入了inception[11]和resnet[12]結(jié)構(gòu).第1階段的主要作用是在對(duì)線稿進(jìn)行大體著色的基礎(chǔ)上，豐富漫畫(huà)的紋理，為第2階段的任務(wù)提供更多顏色和紋理信息.第1階段可以生成主要的顏色、

圖1 原稿-線稿-提示色-著色Fig.1 From sketch to colored comic

紋理信息，但存在較多的噪聲信息.第2階段使用第1階段的生成結(jié)果作為第2階段的模型輸入，并使用迭代反射網(wǎng)絡(luò)[13]來(lái)處理噪聲信息問(wèn)題.通過(guò)迭代，糾正第1階段的著色錯(cuò)誤信息，以達(dá)到理想的著色效果.圖1示出了漫畫(huà)著色的整個(gè)過(guò)程，從左上到右下依次是漫畫(huà)的原稿、線稿、提示顏色、模型著色最終效果.

2 相關(guān)工作和本文貢獻(xiàn)

2.1 對(duì)抗生成網(wǎng)絡(luò)

自2014年提出對(duì)抗生成網(wǎng)絡(luò)(GAN)后，GAN就被廣泛用于各個(gè)領(lǐng)域.對(duì)抗生成網(wǎng)絡(luò)包括生成器和判別器兩個(gè)部分，生成器從先驗(yàn)分布的隨機(jī)信號(hào)中生成模擬樣本，判別器則接受生成器生成的樣本或接受真實(shí)的樣本，以此判別其來(lái)源，兩個(gè)部分進(jìn)行對(duì)抗訓(xùn)練來(lái)達(dá)到平衡.普通的生成網(wǎng)絡(luò)從隨機(jī)信號(hào)開(kāi)始學(xué)習(xí)，而條件生成網(wǎng)絡(luò)則需要依靠先驗(yàn)的條件信息進(jìn)行生成，這樣增大了條件生成網(wǎng)絡(luò)的靈活性，可以通過(guò)條件控制生成結(jié)果.條件生成網(wǎng)絡(luò)的先驗(yàn)信息可以是文本、圖像、顏色等，因此本文利用條件生成網(wǎng)絡(luò)這一特性來(lái)對(duì)漫畫(huà)進(jìn)行著色.

2.2 pix2pix

Pix2pix模型[14]的提出是為了解決圖像翻譯問(wèn)題，其模型的主體框架由一個(gè)生成網(wǎng)絡(luò)構(gòu)成.對(duì)于圖像翻譯問(wèn)題，模型輸入和輸出的外在表現(xiàn)形式雖然是不同的，但是它們之間卻有相同的潛在底層信息.Pix2pix模型為了保留這些底層信息，其生成器被設(shè)計(jì)為U-net結(jié)構(gòu)，同時(shí)在生成器的編碼解碼階段應(yīng)用了跨連接的結(jié)構(gòu).Pix2pix的作者將其應(yīng)用在了很多不同的圖像翻譯任務(wù)中，都達(dá)到了比較好的效果.就漫畫(huà)著色的本質(zhì)而言，也是一種圖像翻譯的任務(wù).

2.3 U-net

U-net網(wǎng)絡(luò)是基于CNN的圖像分割網(wǎng)絡(luò)，主要用于醫(yī)學(xué)圖像分割.這一網(wǎng)絡(luò)分為下采樣和上采樣兩個(gè)階段，下采樣通過(guò)卷積計(jì)算得到圖像的隱層特征，上采樣將隱層特征復(fù)原得到目標(biāo)圖像.網(wǎng)絡(luò)結(jié)構(gòu)中只有卷積層和池化層，沒(méi)有全連接層.在網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建中，較淺的層用來(lái)獲得高分辨率的特征解決像素定位的問(wèn)題，較深的層用來(lái)獲得低分辨率的特征解決像素分類(lèi)的問(wèn)題，從而實(shí)現(xiàn)圖像語(yǔ)義級(jí)別的分割.與全連接神經(jīng)網(wǎng)絡(luò)[5]不同的是，U-net的上采樣階段與下采樣階段中的卷積操作是一一對(duì)應(yīng)的，同時(shí)在這兩個(gè)階段中對(duì)應(yīng)層使用了跨連接結(jié)構(gòu)將其相連，使得下采樣層提取的特征可以直接傳遞到上采樣層，這使得U-net網(wǎng)絡(luò)的像素定位更加準(zhǔn)確，分割精度更高.

2.4 迭代反射網(wǎng)絡(luò)

迭代反射網(wǎng)絡(luò)(Deep Back-projection network)的提出主要是用于圖片超分辨率[15].在DBPN網(wǎng)絡(luò)出現(xiàn)之前，基于深度學(xué)習(xí)的圖片超分辨率主要分為兩個(gè)步驟，首先通過(guò)卷積運(yùn)算從低分辨的圖片中學(xué)習(xí)到特征信息，然后將這些特征信息映射到高分辨率的圖片結(jié)果中.對(duì)比其它網(wǎng)絡(luò)，DBPN網(wǎng)絡(luò)中迭代的錯(cuò)誤糾正機(jī)制能夠?qū)W習(xí)低分辨率圖片和高分辨率圖片之間的對(duì)應(yīng)關(guān)系，并達(dá)成滿意的超分辨率效果.在漫畫(huà)著色的第2階段中引入了DBPN網(wǎng)絡(luò)的思想，通過(guò)對(duì)第1階段的顏色錯(cuò)誤信息進(jìn)行糾正來(lái)達(dá)到理想的著色結(jié)果.

2.5 本文貢獻(xiàn)

本文針對(duì)漫畫(huà)著色問(wèn)題，提出了一個(gè)兩階段著色模型.該模型能根據(jù)漫畫(huà)線稿和相應(yīng)顏色提示信息，對(duì)漫畫(huà)線稿進(jìn)行自動(dòng)著色.兩階段具體描述如下：

第1階段.第1階段模型主要根據(jù)漫畫(huà)線稿和相應(yīng)顏色提示，繪出漫畫(huà)主體顏色并勾勒出漫畫(huà)紋理.雖然這一階段可以達(dá)到基本著色要求，但因?yàn)槿鄙偻晟频穆?huà)具體細(xì)節(jié)，會(huì)出現(xiàn)較多的雜亂顏色.該階段的主要目的是為第2階段提供更多的顏色紋理信息.

第2階段.第2階段模型的目的是對(duì)第1階段著色結(jié)果的錯(cuò)誤顏色信息進(jìn)行糾正.該階段模型的輸入是第1階段模型產(chǎn)生的漫畫(huà)著色結(jié)果，通過(guò)迭代地糾正顏色錯(cuò)誤信息來(lái)改善漫畫(huà)著色結(jié)果，最終產(chǎn)生理想的著色效果.

3 模型結(jié)構(gòu)

3.1 預(yù)備工作

生成對(duì)抗網(wǎng)絡(luò)由兩個(gè)相關(guān)的網(wǎng)絡(luò)模塊組成，也即生成器模塊和判別器模塊，生成器主要是用來(lái)得到真實(shí)數(shù)據(jù)的分布，判別器則通過(guò)對(duì)樣本進(jìn)行評(píng)估，判斷樣本是來(lái)自于生成器還是真實(shí)樣本，并對(duì)生成器模型進(jìn)行優(yōu)化.訓(xùn)練過(guò)程中這兩個(gè)部分交替進(jìn)行訓(xùn)練.模型中的生成器和判別器都使用深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn).理想情況下模型的訓(xùn)練會(huì)達(dá)到納什均衡.為了模型訓(xùn)練的穩(wěn)定，文中用Wasserstein距離[16]進(jìn)行訓(xùn)練，算法的公式如式(1)所示：

(1)

其中，x是來(lái)自于真實(shí)的樣本數(shù)據(jù)分布pdata，z是來(lái)自于先驗(yàn)分布pz的隨機(jī)噪音(例如，均勻分布和高斯分布).條件生成網(wǎng)絡(luò)是對(duì)生成對(duì)抗網(wǎng)絡(luò)的擴(kuò)展，在條件生成網(wǎng)路中生成器和判別器都接受額外的條件變量c，相應(yīng)對(duì)應(yīng)著G(xmc)和D(x,c).

3.2 第1階段

為解決使用反卷積操作導(dǎo)致的棋盤(pán)狀問(wèn)題，文中采用亞像素卷積(sub-pixel convolution)[17]的方式對(duì)生成的特征空間進(jìn)行卷積操作.亞像素卷積可以生成出相應(yīng)倍數(shù)的特征圖，對(duì)特征圖進(jìn)行重新組合成最后的結(jié)果.通過(guò)這樣的卷積操作方式成功解決了用反卷積出現(xiàn)的問(wèn)題，實(shí)驗(yàn)也證明了在漫畫(huà)著色問(wèn)題中亞像素卷積相對(duì)于反卷積的更適宜性.另一方面，第1階段著色模型中存在的另一主要問(wèn)題是生成器所需的先驗(yàn)信息相對(duì)較少，頻繁的下采樣會(huì)丟失大量的底層信息，為了保留這些底層信息，在編碼解碼過(guò)程中采用了跨連接的結(jié)構(gòu)，同時(shí)為了獲得不同尺度的底層信息，模型在編碼的過(guò)程中使用了res-inception的結(jié)構(gòu)來(lái)實(shí)現(xiàn).通過(guò)以上方式，生成器在解碼操作過(guò)程中生成的圖像可以更加貼近實(shí)際，不會(huì)出現(xiàn)顏色崩壞現(xiàn)象.在實(shí)驗(yàn)部分驗(yàn)證了該模型的有效性.

第1階段的網(wǎng)絡(luò)模型如圖2所示，網(wǎng)絡(luò)中生成器的輸入是漫畫(huà)的線稿和與之對(duì)應(yīng)的顏色的提示，條件生成網(wǎng)絡(luò)的判別器除了接受生成的著色結(jié)果外，還接受相應(yīng)的條件信息和漫畫(huà)的線稿信息.第1階段的模型會(huì)根據(jù)線稿和顏色提示信息來(lái)對(duì)漫畫(huà)進(jìn)行著色，生成初步的著色結(jié)果，第1階段的模型的輸出是yi.

圖2 第1階段的模型結(jié)構(gòu)Fig.2 Network architecture of Stage-I

第1階段模型通過(guò)最小化式(2)的目標(biāo)函數(shù)來(lái)訓(xùn)練.

(2)

式(2)中x是輸入的漫畫(huà)線稿，y是漫畫(huà)真實(shí)的著色的照片，u是提示顏色，G(x,u)是生成的漫畫(huà)著色的照片.判別器D的輸出結(jié)果是對(duì)漫畫(huà)的評(píng)分，評(píng)分結(jié)果用來(lái)判斷漫畫(huà)是來(lái)自于真實(shí)的樣本空間還是生成的樣本空間中的.

生成器的目標(biāo)是最小化如式(3)所示的生成損失.

LG=x,y～pdata(x,y),u～pdata(u)[log(1-D(x,G(x,u)))]

(3)

同時(shí)，加入了L1距離來(lái)控制生成漫畫(huà)和真實(shí)漫畫(huà)之間像素級(jí)別的相似性，并引入α進(jìn)行損失函數(shù)的權(quán)重控制，最終的損失函數(shù)如式(4)所示：

L1=x,y～pdata(x,y),u～pdata(u)[‖y-G(x,u)‖1]

(4)

最終的目標(biāo)函數(shù)定義為如式(5)所示：

L=LG+αL1

(5)

3.3 第2階段

第1階段只是對(duì)漫畫(huà)的整體進(jìn)行著色，而漫畫(huà)著色任務(wù)中所涉及的細(xì)節(jié)較多，會(huì)出現(xiàn)譬如顏色位置混亂、細(xì)節(jié)出現(xiàn)雜色等的問(wèn)題，第2階段的主要任務(wù)是針對(duì)這些問(wèn)題進(jìn)行修正，以完善第1部分的著色結(jié)果.

為了解決第1階段的著色問(wèn)題，第2階段構(gòu)建了迭代反射網(wǎng)絡(luò)，其主要是使用迭代的上采樣和下采樣單元，通過(guò)學(xué)習(xí)錯(cuò)誤的殘差來(lái)達(dá)到糾正的目的.第2階段的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示，第2階段模型的輸入是第1階段的漫畫(huà)著色結(jié)果，模型的最后輸出是最終的著色結(jié)果.網(wǎng)絡(luò)結(jié)構(gòu)包含兩種結(jié)構(gòu)單元，一種是從低分辨率到高分辨率的映射(up-projection)，另一種是從高分辨率到低分辨率的映射(down-projection).其中上采樣單元由式(6)定義.

圖3 第2階段的模型結(jié)構(gòu)Fig.3 Network architecture of the second stage

(6)

同時(shí)為了提升模型修正的效果，在第2階段的模型中加入了卷積注意力機(jī)制[18]，注意力機(jī)制用于特征提取的預(yù)處理，通過(guò)訓(xùn)練對(duì)不同的部分得出不同的參數(shù)，使得模型對(duì)于不同的部分有著不同程度的強(qiáng)調(diào).注意力機(jī)制在特征圖通道和空間兩個(gè)方面上進(jìn)行計(jì)算，公式如式(7)所示：

MC(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))=

W0∈C/r×CW1∈C×C/r

(7)

其中，F(xiàn)是輸入的特征圖，AvgPool和MaxPool分別表示平均池化和最大池化，在通道機(jī)制中平均池化和最大池化是相對(duì)于特征圖的，所以得到大小為1×c(表示通道數(shù))的特征向量.MLP表示多層感知機(jī)模型，W0和W1表示全連接層中的權(quán)重，r表示中間特征的縮放率.這個(gè)層是兩個(gè)網(wǎng)絡(luò)共享的，將經(jīng)過(guò)MLP層的兩個(gè)結(jié)果進(jìn)行相加通過(guò)σ函數(shù)得到最后的通道注意力的特征圖，最后與輸入的特征進(jìn)行元素級(jí)的相乘得到的通道注意力的結(jié)果.

空間注意力機(jī)制的實(shí)現(xiàn)公式如式(8)所示：

Ms(F)=σ(f3×3([AvgPool(F);MaxPool(F)]))=

(8)

與通道注意力的計(jì)算不同，公式(8)中平均池化和最大池化是相對(duì)于通道的，所以得到的是與特征圖F相同維度的注意力特征圖.首先對(duì)平均池化和最大池化特征進(jìn)行連接操作，然后將特征圖用3×3卷積核進(jìn)行特征融合得到最后的空間注意力特征圖.該空間注意力特征圖與原特征進(jìn)行元素級(jí)別的乘法得到最后的特征圖.通過(guò)注意力機(jī)制可以得到更好的提取特征，從而可以得到更好的修正結(jié)果.

第2階段的網(wǎng)絡(luò)模型通過(guò)對(duì)第1階段的結(jié)果進(jìn)行迭代修正來(lái)得到著色結(jié)果.第2階段的目標(biāo)函數(shù)如式(9)所示：

L=

(9)

4 實(shí) 現(xiàn)

第1階段的生成器使用了5對(duì)編碼器解碼器的卷積神經(jīng)網(wǎng)絡(luò).在編碼的過(guò)程中為了獲得不同尺度的特征信息加入了res-inception的結(jié)構(gòu)，res-inception的結(jié)構(gòu)如圖4所示，其中inception的結(jié)構(gòu)是為了獲得不同尺度的語(yǔ)義信息，resnet的結(jié)構(gòu)是為了保留編碼過(guò)程中的底層信息.網(wǎng)絡(luò)中所用到的卷積大部分是用3×3或1×1者的卷積核.除了最后一層是Tanh激活函數(shù)，其他的層都是LeakyRelu激活函數(shù)來(lái)實(shí)現(xiàn)的.在兩個(gè)階段的網(wǎng)絡(luò)構(gòu)造中卷積層和激活層之間都加入了BatchNorm層.

其中，res-inception結(jié)構(gòu)中的當(dāng)前層獲得的是前一層網(wǎng)絡(luò)的特征信息，然后通過(guò)不同大小的卷積核和池化層來(lái)獲得不同尺度的特征信息，兩組相鄰的inception結(jié)構(gòu)構(gòu)成一個(gè)整體，殘差結(jié)構(gòu)用來(lái)獲得底層信息.這樣既可以保留底層信息也可以得到高層的語(yǔ)義特征，對(duì)于漫畫(huà)著色有著顯著的提升.網(wǎng)絡(luò)在在構(gòu)建中借鑒了語(yǔ)義分割網(wǎng)絡(luò)的思想，在成對(duì)的編碼解碼過(guò)程中保留了跨連接的層，這與U-net的結(jié)構(gòu)是相同的.實(shí)驗(yàn)證明了文中所加入的res-inception結(jié)構(gòu)對(duì)于信息保留的有效性.在解碼的過(guò)程中采用的是亞像素卷積，采用亞像素卷積的方式可以克服反卷積的操作導(dǎo)致的著色結(jié)果中生成的很多棋盤(pán)狀的方格等問(wèn)題，同時(shí)也可以有效的對(duì)第1階段的漫畫(huà)進(jìn)行糾正.

圖4 Res-inception結(jié)構(gòu)Fig.4 Network architecture of the Res-inception

默認(rèn)情況下，在第1階段中各個(gè)層的基數(shù)是Ng=64和Nd=64，所以生成器和判別器的層數(shù)都是64的倍數(shù).生成器的輸入是256×256×6的特征圖，包括256×256×3大小的漫畫(huà)線稿和與之對(duì)應(yīng)的相同大小顏色提示信息.網(wǎng)絡(luò)的輸出是256×256×3的漫畫(huà)著色的結(jié)果.在判別器中網(wǎng)絡(luò)的輸入大小是256×256×9的特征圖，也即，除了生成器的輸入外，還包括生成器著色后的輸出.判別器的輸出是32×32×1大小的特征圖，輸出的方式借鑒了patchGAN[19]的思想，在下采樣的過(guò)程中通過(guò)網(wǎng)絡(luò)的輸出大小來(lái)控制輸入空間的特征圖大小，間接的可以控制生成器生成的著色結(jié)果的局部效果.

在第2階段的模型構(gòu)建中，因?yàn)轱@存的限制，不能同時(shí)將兩部分結(jié)合在一起進(jìn)行訓(xùn)練.模型訓(xùn)練中，先迭代的訓(xùn)練第1階段的判別器和生成器20輪，然后再訓(xùn)練第2個(gè)階段.在兩個(gè)階段的訓(xùn)練中都使用了Adam優(yōu)化器，在訓(xùn)練過(guò)程中都使用batch大小為4的數(shù)據(jù)集.初始化的學(xué)習(xí)率是0.02，學(xué)習(xí)率每5輪會(huì)進(jìn)行一次衰減.

5 實(shí) 驗(yàn)

5.1 數(shù)據(jù)集

為了訓(xùn)練文中提出的漫畫(huà)著色神經(jīng)網(wǎng)絡(luò)，從公開(kāi)的動(dòng)漫網(wǎng)站(1)http://safebooru.org/上獲取大約28000多張卡通圖片.因?yàn)槟Ｐ驮谟?xùn)練過(guò)程中需要用到漫畫(huà)原稿和與之對(duì)應(yīng)的漫畫(huà)線稿，但是配對(duì)的數(shù)據(jù)集相對(duì)較少不能夠滿足訓(xùn)練需求.為了訓(xùn)練模型，使用Styel2Paints[20]中提取線稿的方法從原始的漫畫(huà)照片中提取出與之對(duì)應(yīng)的漫畫(huà)線稿，從而可以得到充足的配對(duì)數(shù)據(jù)集.然后.同時(shí)為了便于后面模型的訓(xùn)練，將得到的漫畫(huà)照片都切割成了512×512大小.

第1階段的模型生成整體的漫畫(huà)顏色，為了控制生成，第1階段中使用的是經(jīng)過(guò)縮放的大小的輸入輸出，第1階段的結(jié)果作為第2階段的輸入，第2階段生成最后的結(jié)果512×512大小的輸出.第1階段的顏色提示信息從原始的照片中隨機(jī)選取，隨機(jī)選取30個(gè)正方形色素塊作為輸入，正方形大小隨機(jī)從3，4，5，6，7，8中選擇.

測(cè)試集是另外獲取的2000張圖片，這2000張數(shù)據(jù)集在訓(xùn)練的數(shù)據(jù)集中沒(méi)有出現(xiàn)過(guò)，同時(shí)人物形象也并不相似，以更好驗(yàn)證算法的有效性.

5.2 評(píng)價(jià)指標(biāo)

圖5 各個(gè)模型的對(duì)比Fig.5 Comparison of different models

對(duì)于圖像生成的任務(wù)很難用一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)來(lái)進(jìn)行衡量，現(xiàn)有工作中的大部分著色模型，都是通過(guò)人為的主觀意識(shí)來(lái)進(jìn)行打分評(píng)判.如果用戶提示顏色與漫畫(huà)原稿中的顏色存在很大差異，會(huì)使漫畫(huà)的著色結(jié)果與原來(lái)的顏色存在著很大的不同，在測(cè)試階段便只能從視覺(jué)的滿意程度上來(lái)對(duì)其進(jìn)行評(píng)判.為了避免上述問(wèn)題，在測(cè)試階段，同樣可以從測(cè)試的原稿中提出提示顏色來(lái)進(jìn)行著色測(cè)試，這樣生成的著色結(jié)果與原稿理論上不會(huì)存在著很大的不同.所以在本文進(jìn)行測(cè)試實(shí)驗(yàn)的時(shí)候，提示色信息從原稿中進(jìn)行提取，這樣可通過(guò)比較生成結(jié)果與原稿的PSNR[21]值來(lái)對(duì)模型進(jìn)行評(píng)定.PSNR即峰值信噪比，是一種評(píng)價(jià)圖像的客觀標(biāo)準(zhǔn)，其中PSNR值的數(shù)學(xué)定義如式(10)所示：

(10)

(11)

5.3 結(jié)果分析

在這一部分將對(duì)漫畫(huà)著色模型的結(jié)果進(jìn)行分析，對(duì)提出的模型的各個(gè)部分在數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，同時(shí)與基準(zhǔn)的模型pix2pix進(jìn)行了對(duì)比驗(yàn)證.

表1示出了針對(duì)測(cè)試數(shù)據(jù)集的2000張照片，計(jì)算平均值得到對(duì)于各個(gè)模型的PSNR值的結(jié)果，表1對(duì)應(yīng)于圖5各個(gè)模型的結(jié)果圖.第1階段的模型由前面的3部分組成，表中對(duì)各個(gè)部分進(jìn)行了對(duì)比實(shí)驗(yàn)，通過(guò)與baseline的模型pix2pix進(jìn)行對(duì)比，驗(yàn)證了各個(gè)部分的有效性.表中的PSNR的值也可以得到每一部分相對(duì)于基準(zhǔn)模型的提升.所有的模型都使用相同的數(shù)據(jù)集訓(xùn)練，同時(shí)測(cè)試數(shù)據(jù)集也使用相同的測(cè)試照片.雖然PSNR值只是反映了著色結(jié)果在質(zhì)量上的接受程度，但從圖5可以看出，不同模型有著明顯的質(zhì)量?jī)?yōu)劣的差異.本文的第2階段著色的漫畫(huà)人物的表情和形象都更細(xì)膩，著色的結(jié)果更符合漫畫(huà)著色的結(jié)果.第2階段成功的改善了第1階段著色結(jié)果從在的缺陷，極大的提升了漫畫(huà)著色的質(zhì)量.通過(guò)以上的對(duì)比試驗(yàn)，驗(yàn)證了我們所提出的分階段漫畫(huà)著色模型的有效性.

表1 不同模型的PSND值Table 1 PSNR on different models

6 總 結(jié)

本文提出了一種分階段的漫畫(huà)著色模型，通過(guò)將著色任務(wù)分解成兩個(gè)子任務(wù)來(lái)實(shí)現(xiàn)，明顯提升了漫畫(huà)著色結(jié)果的質(zhì)量.在第1階段中，算法用條件生成網(wǎng)絡(luò)來(lái)對(duì)漫畫(huà)主體顏色進(jìn)行填充，這一階段的著色結(jié)果存在很多的錯(cuò)誤和雜色等問(wèn)題，但是相對(duì)于漫畫(huà)的原始線稿，也豐富了漫畫(huà)信息，這些信息為第2階段的著色提供了很大的幫助.在第2階段中，通過(guò)注意力迭代糾正的機(jī)制對(duì)第1階段中出現(xiàn)的問(wèn)題進(jìn)行了改善，最后生成理想的著色結(jié)果.實(shí)驗(yàn)已經(jīng)驗(yàn)證了此著色模型對(duì)于漫畫(huà)著色問(wèn)題的有效性，從數(shù)據(jù)上、實(shí)驗(yàn)結(jié)果的視覺(jué)感官體驗(yàn)上皆可感受到較好的漫畫(huà)著色效果.算法從圖像生成任務(wù)出發(fā)，成功構(gòu)建出一個(gè)專(zhuān)門(mén)針對(duì)漫畫(huà)著色的模型.實(shí)驗(yàn)中顏色提示信息都是從漫畫(huà)原稿中提取的，然而在實(shí)際的著色任務(wù)中顏色會(huì)更加復(fù)雜多變，因此，后續(xù)的工作將會(huì)構(gòu)建一個(gè)支持著色模型的前端框架，用戶可以自己挑選顏色提示信息，以提升漫畫(huà)著色的靈活性，方便用戶的使用.