姚琳涵, 張 穎, 姚 嵐, 鄭曉萍, 魏文達(dá), 劉成霞,4,5

(1. 浙江理工大學(xué) 服裝學(xué)院, 浙江 杭州 310018; 2. 中國(guó)紡織工程學(xué)會(huì), 北京 100025; 3. 中國(guó)紡織建設(shè)規(guī)劃院,北京 100125; 4. 絲綢文化傳承與產(chǎn)品設(shè)計(jì)數(shù)字化技術(shù)文化和旅游部重點(diǎn)實(shí)驗(yàn)室, 浙江 杭州 310018;5. 服裝數(shù)字化技術(shù)浙江省工程實(shí)驗(yàn)室, 浙江 杭州 310018)

刺繡是第一批被列入國(guó)家非物質(zhì)文化遺產(chǎn),也是我國(guó)源遠(yuǎn)流長(zhǎng)的傳統(tǒng)手工藝術(shù),不但有很強(qiáng)的裝飾性,還具有較高的藝術(shù)價(jià)值,但刺繡工序復(fù)雜且對(duì)創(chuàng)作者有較高要求,制作一件做工精良的刺繡作品,需要花費(fèi)較多的時(shí)間和人力,一定程度上影響繡品的生產(chǎn)效率。近年來(lái)神經(jīng)風(fēng)格遷移技術(shù)[1]的快速發(fā)展為解決這一問(wèn)題提供了可能,利用該技術(shù)可直接生成具有真實(shí)感的刺繡風(fēng)格圖案,提高生產(chǎn)效率的同時(shí),無(wú)需要求創(chuàng)作者有技能和經(jīng)驗(yàn)。目前國(guó)內(nèi)外許多學(xué)者已用其模擬了油畫(huà)[2]、動(dòng)漫[3]、素描[3]、水墨畫(huà)[4]等藝術(shù)品,創(chuàng)作出不少優(yōu)秀的作品,未來(lái)該技術(shù)很可能會(huì)顛覆傳統(tǒng)的藝術(shù)生成方式。

迄今也有學(xué)者針對(duì)刺繡藝術(shù)作品風(fēng)格轉(zhuǎn)換算法展開(kāi)研究,如鄭銳等[6]提出了基于VGG19網(wǎng)絡(luò)模型的刺繡風(fēng)格遷移模型。Qian等[7]提出了使用條件隨機(jī)場(chǎng)(CRF)的刺繡風(fēng)格遷移方法。Beg等[8]對(duì)經(jīng)典模型CycleGAN[9]做出改進(jìn),提出了Embroidery GAN模型。Guan等[10]引入了刺繡紋理自動(dòng)合成框架,可接受多種輸入圖像,并以交互方式在數(shù)字服裝上預(yù)覽合成的刺繡圖案。

但是現(xiàn)有的刺繡圖像生成算法還存在不少問(wèn)題,如生成圖像的風(fēng)格單一、特征粗糙、偽影較多等。針對(duì)這一現(xiàn)狀,本文擬通過(guò)改進(jìn)現(xiàn)有風(fēng)格遷移算法,創(chuàng)建出具有更高感知質(zhì)量的刺繡風(fēng)格圖像模型,研究結(jié)果可提高刺繡產(chǎn)品的外觀紋飾設(shè)計(jì)水平,促進(jìn)刺繡技藝的發(fā)展及創(chuàng)新。

1 多尺度紋理合成刺繡風(fēng)格遷移模型

1.1 風(fēng)格遷移的刺繡模型

本文提出的基于多尺度紋理合成的刺繡風(fēng)格遷移模型(MTE-NST)如圖1所示,該模型主要由生成網(wǎng)絡(luò)和損失網(wǎng)絡(luò)組成,其中生成網(wǎng)絡(luò)包含內(nèi)容匹配模塊(CMM)、結(jié)構(gòu)增強(qiáng)模塊(SEM)和紋理細(xì)化模塊(TRM)。每個(gè)模塊都遵循固定的雙線性上采樣/下采樣層,其中不同的子網(wǎng)使用不同風(fēng)格的圖像進(jìn)行訓(xùn)練,以學(xué)習(xí)不同層次的紋理特征。這種設(shè)計(jì)能使測(cè)試圖像在增加分辨率的情況下用不同級(jí)別的風(fēng)格進(jìn)行轉(zhuǎn)換。此外,由于所有模塊都被合并到一個(gè)網(wǎng)絡(luò)中進(jìn)行分層訓(xùn)練,后一個(gè)模塊也能增強(qiáng)和細(xì)化前一個(gè)模塊的結(jié)果,從而使網(wǎng)絡(luò)訓(xùn)練的效率和魯棒性得到提高。

1.2 多程式化損失函數(shù)

在訓(xùn)練過(guò)程中使用多程式化損失函數(shù)進(jìn)行迭代,即在內(nèi)容損失和風(fēng)格損失的基礎(chǔ)上,引入拉普拉斯損失獲取圖像邊緣信息,使用直方圖損失來(lái)增強(qiáng)圖像紋理細(xì)節(jié)。

1.2.1 內(nèi)容損失和風(fēng)格損失

給定內(nèi)容圖像xc和風(fēng)格圖像xs,其l層處的卷積圖像特征分別為Flxc和Flxs,濾波器個(gè)數(shù)為Ml,其中Ml(x)=Hl(x)×Wl(x),Hl(x)和Wl(x)分別是每個(gè)特征圖像的高度和寬度。濾波器輸出的特征圖尺寸為Nl,Fl(x)∈RMl×Nl,是Ml行Nl列的矩陣,l是卷積層的層數(shù),x表示特征變量。

(1)

式中,i、j是第i層和第j層特征圖之間的相關(guān)性,即第i層和第j層濾波器在小圖像塊上同時(shí)激活的頻率。

(2)

Gram矩陣可以看做特征之間的偏心協(xié)方差矩陣,在特征映射中,每個(gè)數(shù)字都來(lái)自于一個(gè)特定濾波器在特定位置的卷積,代表特征強(qiáng)度,而Gram矩陣計(jì)算的是特征兩兩之間的相關(guān)性。

LGram=αLcontent+βLstyle

(3)

式中:α、β分別是生成風(fēng)格化圖像的過(guò)程中目標(biāo)內(nèi)容圖像和風(fēng)格圖像損失的權(quán)重。

1.2.2 拉普拉斯損失

由于傳統(tǒng)的神經(jīng)風(fēng)格遷移算法在獲得內(nèi)容圖像的紋理、結(jié)構(gòu)等高層特征時(shí),會(huì)損失一些如針腳細(xì)節(jié)、圖像邊緣等低層特征,從而導(dǎo)致結(jié)果圖像出現(xiàn)不規(guī)則的扭曲、形變及偽影。為使風(fēng)格化圖像減少匹配錯(cuò)誤,更好地保留內(nèi)容圖像的細(xì)節(jié)信息,本文引入拉普拉斯[11]損失項(xiàng)。

拉普拉斯算子Δf是所有非混合函數(shù)二階偏導(dǎo)數(shù)的和,如式(4)所示。

(4)

計(jì)算二維圖像像素的拉普拉斯算子Δf,可以得出每個(gè)非混合函數(shù)二階偏導(dǎo)數(shù)的常數(shù)系數(shù),將其寫(xiě)出離散近似值的矩陣,如D所示。

圖像x的拉普拉斯矩陣通過(guò)輸入圖像與矩陣D卷積得到,用D(x)表示。在相鄰像素值發(fā)生劇烈變化的區(qū)域,無(wú)論變化方向如何,卷積都將產(chǎn)生高幅度的響應(yīng),在變化平緩的區(qū)域,響應(yīng)為零。

(5)

Ls=αLcontent+βLstyle+γLlap

(6)

式中:γ是拉普拉斯損失的權(quán)重,提高γ可以改善圖像風(fēng)格化中輸出圖像的失真現(xiàn)象。

1.2.3 直方圖損失

圖2 具有不同均值和方差的圖像Fig. 2 Images with completely different mean and variance. (a) Uniformly distributed gray image; (b) Nonuniformly distributed image

圖3示出3組不同統(tǒng)計(jì)數(shù)據(jù)的紋理合成效果[12]。可看出,顯示直方圖損失的效果優(yōu)于平均激活,其圖像強(qiáng)度更穩(wěn)定,但會(huì)破壞一些小結(jié)構(gòu)。而利用Gram矩陣生成的風(fēng)格圖片由于無(wú)法保留紋理的均值或方差,會(huì)導(dǎo)致訓(xùn)練不穩(wěn)定,因此本文選擇合成圖像效果最佳的直方圖+Gram的聯(lián)合損失。

圖3 不同統(tǒng)計(jì)數(shù)據(jù)的紋理合成效果Fig. 3 Texture synthesis effect of different statistical data. (a) Input picture; (b) Average activation; (c) Histogram loss; (d) Gram loss; (e) Joint loss

即在式(6)中的結(jié)構(gòu)損失函數(shù)Ls基礎(chǔ)上引入直方圖損失來(lái)增加紋理特征,并對(duì)合成圖像的分層特征進(jìn)行變換,使其直方圖與輸入圖像的紋理相匹配。對(duì)于反向傳播過(guò)程中的每個(gè)直方圖損失,都執(zhí)行1次匹配,每個(gè)特征映射1個(gè)直方圖損失,直方圖損失函數(shù)如式(7)所示。

(7)

式中:Oi是風(fēng)格圖像的激活層;R(Oi)是增加直方圖損失后的激活層;γl是權(quán)重系數(shù)。

則總損失函數(shù)如(8)所示:

Ltotal=αLcontent+βLstyle+γLlap+Lhistogram

(8)

2 實(shí)驗(yàn)過(guò)程

2.1 實(shí)驗(yàn)環(huán)境

核處理器為Intel i711700F 3.6GHz8,顯卡為NVIDA RTX3070 (16GB),開(kāi)發(fā)環(huán)境為Windows10系統(tǒng),開(kāi)發(fā)工具為Pycharm,深度學(xué)習(xí)框架采用GPU版本的PyTorch1.8.1,使用CUDA 10.1進(jìn)行加速,測(cè)試圖像統(tǒng)一設(shè)置為256像素×256像素。

當(dāng)各項(xiàng)損失權(quán)重及參數(shù)如表1所示時(shí),網(wǎng)絡(luò)的生成結(jié)果達(dá)到最佳,因此將其確定為訓(xùn)練參數(shù)。

表1 訓(xùn)練參數(shù)定義Tab. 1 Definition of training parameters

優(yōu)化器在訓(xùn)練時(shí)可以自動(dòng)調(diào)節(jié)參數(shù),在梯度下降時(shí)引領(lǐng)各參數(shù)趨于合適的值,使目標(biāo)損失函數(shù)達(dá)到最小。目前主流的優(yōu)化器有AdaGrad、RMSProp、SGDNesterov、AdaDelta、Adam等,Adam優(yōu)化器實(shí)現(xiàn)簡(jiǎn)單,計(jì)算高效,對(duì)內(nèi)存需求少,因此本文選用其進(jìn)行迭代自動(dòng)調(diào)節(jié)參數(shù)。

2.2 實(shí)驗(yàn)數(shù)據(jù)集與數(shù)據(jù)處理

訓(xùn)練圖像集包含輸入圖像(內(nèi)容圖像)和刺繡圖像(風(fēng)格圖像),測(cè)試圖像集僅包含輸入圖像。輸入圖像來(lái)自Flickr 網(wǎng)站下載的6 000張圖片,其中5 000張用于訓(xùn)練,1 000張用于測(cè)試。刺繡圖像集中的1 000張來(lái)自Fabric 3D掃描儀(凌迪科技),5 000張來(lái)自網(wǎng)絡(luò)。數(shù)據(jù)集中的圖像形狀和大小不同,輸入到訓(xùn)練網(wǎng)絡(luò)前將圖像標(biāo)準(zhǔn)化,并將圖像的任意部分隨機(jī)裁剪成256像素×256像素,以增加訓(xùn)練數(shù)據(jù)的多樣性,避免過(guò)度擬合。

2.3 具體實(shí)現(xiàn)步驟

1)內(nèi)容匹配。為更好地保存小而復(fù)雜的紋理,對(duì)內(nèi)容圖像和風(fēng)格圖像的亮度和顏色聯(lián)合訓(xùn)練,將亮度通道從RGB彩色圖像中分離出來(lái),并分別使用2個(gè)獨(dú)立的分支(RGB空間和Lab空間)進(jìn)行學(xué)習(xí)。然后將從2個(gè)分支計(jì)算出的特征映射沿深度連接在一起,由隨后的Conv塊做進(jìn)一步處理,并確定最小化損失函數(shù),如式(3)。

RGB空間包括3個(gè)跨步卷積層(9×9,3×3,3×3,第1個(gè)用于上采樣,后2個(gè)用于下采樣)和3個(gè)剩余塊,Lab空間包括3個(gè)剩余塊,其中2個(gè)調(diào)整大小的卷積層用于上采樣,1個(gè)3×3卷積層用于RGB圖像(實(shí)驗(yàn)使用電子屏幕,需要使用RGB)輸出。

2)結(jié)構(gòu)增強(qiáng)。對(duì)內(nèi)容匹配的輸出圖像執(zhí)行紋理映射,保留結(jié)構(gòu)內(nèi)容,增加拉普拉斯損失項(xiàng),訓(xùn)練具有較大紋理權(quán)重的結(jié)構(gòu)增強(qiáng)模塊,以進(jìn)一步提高風(fēng)格化程度,如式(6)所示。結(jié)構(gòu)增強(qiáng)模塊采用與內(nèi)容匹配模塊類似的結(jié)構(gòu)。唯一的區(qū)別是增強(qiáng)模塊有一個(gè)用于下采樣的卷積層和一個(gè)用于上采樣的調(diào)整卷積層,可擴(kuò)大感受野的大小,使結(jié)構(gòu)增強(qiáng)模塊比內(nèi)容匹配模塊的輸入增加2倍。

3)紋理精細(xì)。把結(jié)構(gòu)增強(qiáng)后的內(nèi)容圖像和初始化的風(fēng)格圖像輸入到紋理精細(xì)模塊,并增加直方圖損失項(xiàng),如式(7)所示。紋理精細(xì)模塊由3個(gè)卷積層、3個(gè)剩余塊、2個(gè)調(diào)整卷積層和1個(gè)卷積層組成,比內(nèi)容匹配模塊和結(jié)構(gòu)增強(qiáng)模塊淺得多,因?yàn)榍耙粋€(gè)模塊可促進(jìn)后一個(gè)模塊的學(xué)習(xí),縮短網(wǎng)絡(luò)層可顯著降低內(nèi)存和計(jì)算復(fù)雜性。

4)總損失函數(shù)構(gòu)造。如式(8),在CNN中利用梯度下降法進(jìn)行迭代,輸出風(fēng)格化結(jié)果。在風(fēng)格遷移過(guò)程中,各損失項(xiàng)的計(jì)算同時(shí)進(jìn)行。

2.4 結(jié)果與分析

2.4.1 邊緣檢測(cè)

將內(nèi)容圖像傳到損失網(wǎng)絡(luò),使內(nèi)容層和風(fēng)格層提取的邊緣特征圖損失與直方圖損失和拉普拉斯損失混合,每層輸出的圖像均為256像素×256像素,并對(duì)合成的通道圖進(jìn)行卷積計(jì)算,得到256像素×256像素的邊緣檢測(cè)圖像,流程如圖4所示。

圖4 圖像邊緣生成流程Fig. 4 Generation process of image edge

用多程式化損失函數(shù)提取內(nèi)容圖像和風(fēng)格圖像的邊緣信息和細(xì)部結(jié)構(gòu),將其與僅用內(nèi)容損失和風(fēng)格損失生成的遷移圖像效果進(jìn)行對(duì)比,結(jié)果如圖5所示。

圖5 2組樣本風(fēng)格遷移圖像和邊緣檢測(cè)圖像的對(duì)比Fig. 5 Comparison of two groups of transfer result images and edge detection images. (a) Sample 1; (b) Sample 2

由圖5標(biāo)出的方框可看出,多程式損失函數(shù)能提取更多刺繡圖像的細(xì)小邊緣紋理。樣本1顯示,引入多程式損失函數(shù)后,在圖像色彩區(qū)域較為復(fù)雜的地方提取到了更多特征,使遷移結(jié)果更真實(shí)生動(dòng),而內(nèi)容損失和風(fēng)格損失只能檢測(cè)到粗糙的輪廓。樣本2同樣顯示,內(nèi)容損失和風(fēng)格損失不能識(shí)別葉子、花蕊等細(xì)小的邊緣特征,遷移效果模糊。實(shí)驗(yàn)結(jié)果表明,引入多程式損失函數(shù)可以更好地檢測(cè)圖像邊緣,生成紋理清晰的刺繡遷移圖像。

2.4.2 模擬效果

為驗(yàn)證模型的有效性,對(duì)本文提出的MTE-NST模型和文獻(xiàn)[13]、文獻(xiàn)[14]、文獻(xiàn)[15]3種基準(zhǔn)模型進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果如圖6所示。

圖6 不同模型實(shí)驗(yàn)結(jié)果對(duì)比Fig. 6 Comparison of experimental results of different models

從圖6可看出,Gatys的模型在圖像線條密集處轉(zhuǎn)換過(guò)程中出現(xiàn)較多偽影和變形,Johnson的模型[14]比Gatys[13]擬合效果好,但在羽毛的細(xì)節(jié)部位轉(zhuǎn)換中仍出現(xiàn)偽影和轉(zhuǎn)換錯(cuò)誤。Li和Wand的模型[15]幾乎沒(méi)出現(xiàn)偽影,但缺乏針腳、紋理變化等刺繡細(xì)節(jié)。而本文提出的MTE-NST很好地遷移了風(fēng)格圖細(xì)部結(jié)構(gòu),更接近真實(shí)刺繡作品,無(wú)論風(fēng)格還是細(xì)節(jié)均優(yōu)于前3種模型。

此外,為定量評(píng)價(jià)不同模型生成的刺繡圖片質(zhì)量、遷移效果和學(xué)習(xí)速率差異,選用MSE(均方誤差)、LPIPS(圖像感知相似度),以及測(cè)試時(shí)間和占用內(nèi)存作為評(píng)價(jià)指標(biāo),結(jié)果如表2所示。

表2 用于256像素×256像素圖像的比較結(jié)果Tab. 2 Comparison results of each model applied to 256 pixel×256 pixel image

LPIPS值越高表示2張對(duì)比圖片的差異越大,反之2張對(duì)比圖片更相似。LPIPS用d(x,y) 來(lái)表示:

(9)

MSE是均方誤差,即估計(jì)值(預(yù)測(cè)值)和實(shí)際值(基本事實(shí))之間的平均方差)可以捕捉圖片中的噪聲、亮度、對(duì)比度、色調(diào)和飽和度的變化,MSE用S(i,j) 表示:

(10)

由表2可知,MTE-NST的MSE最小(即風(fēng)格損失最小),LPIPS最小(即圖像感知相似度最高),即圖像質(zhì)量和遷移效果都較好。且MTE-NST測(cè)試時(shí)間和占用內(nèi)存僅次于Johnson,分別為0.58、3 900 MB,進(jìn)一步驗(yàn)證了MTE-NST能以較少的占用內(nèi)存和更短的時(shí)間生成更真實(shí)的刺繡風(fēng)格圖像。

3 結(jié) 論

本文提出了一種多尺度紋理合成的刺繡風(fēng)格遷移模型(MTE-NST),分層學(xué)習(xí)多尺度的刺繡藝術(shù)風(fēng)格,不但能較好地還原風(fēng)格圖像顏色,還可保留圖像邊緣的紋理結(jié)構(gòu)和精細(xì)的針腳,解決了紋理轉(zhuǎn)換不匹配的問(wèn)題,且可生成視覺(jué)效果更好的刺繡風(fēng)格遷移圖片。

本文算法與傳統(tǒng)相關(guān)算法的定性和定量研究表明,MTE-NST無(wú)論在視覺(jué)遷移效果上,還是在生成圖片的質(zhì)量和學(xué)習(xí)速率等方面,均優(yōu)于傳統(tǒng)算法,且能生成針跡感更強(qiáng)、紋理更真實(shí)的刺繡圖像,在風(fēng)格損失、圖像感知相似度、學(xué)習(xí)速率等綜合表現(xiàn)上都較好。

本文算法能更真實(shí)地模擬刺繡圖片,但在運(yùn)行時(shí)間上較其它方法仍有提升空間,進(jìn)一步優(yōu)化算法,提高效率是今后努力的方向。