摘 要：服裝圖案風(fēng)格的遷移可以依據(jù)個(gè)人需要調(diào)整對(duì)應(yīng)的風(fēng)格服飾，滿足大眾對(duì)精神生活越來越高的需求。傳統(tǒng)的服裝圖案風(fēng)格遷移多采用簡(jiǎn)單紋理，內(nèi)容較為單一，圖像效果不夠理想。針對(duì)這些問題，提出了一種基于邊緣增強(qiáng)和關(guān)聯(lián)損失的服裝圖案風(fēng)格遷移方法（EnAdaIN）。首先，依據(jù)Kirsch算子對(duì)圖像的原始邊緣特征進(jìn)行提取，同時(shí)結(jié)合Mask R-CNN深度學(xué)習(xí)方法對(duì)服裝圖像進(jìn)行語義分割；然后，通過改進(jìn)AdaIN算法構(gòu)建基于空間關(guān)聯(lián)損失的EnAdaIN方法，并輸出風(fēng)格遷移圖像。EnAdaIN方法在融合邊緣特征與語義風(fēng)格圖像的基礎(chǔ)上實(shí)現(xiàn)服裝圖像的風(fēng)格遷移，在融合空間關(guān)聯(lián)損失算法的基礎(chǔ)上進(jìn)一步提升圖像的特征相似度。研究表明：EnAdaIN方法峰值信噪比相較于其他方法提升超過0.95%，結(jié)構(gòu)相似性提升超過2.43%，遷移效率提升超過了3.53%，生成后的圖像信息色彩更為豐富、特征明顯，進(jìn)一步提升了圖像的對(duì)比度和質(zhì)量。

關(guān)鍵詞：AdaIN；關(guān)聯(lián)損失；風(fēng)格遷移；服裝圖案遷移

中圖分類號(hào)：TS941.26

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)：1009-265X（2024）08-0117-10

收稿日期：20231114

網(wǎng)絡(luò)出版日期：20240320

基金項(xiàng)目：國(guó)家自然科學(xué)青年基金項(xiàng)目（62202366）；陜西省技術(shù)創(chuàng)新引導(dǎo)專項(xiàng)計(jì)劃項(xiàng)目（2020CGXNG-012）；西安市重大科技成果轉(zhuǎn)化產(chǎn)業(yè)化項(xiàng)目（23CGZHCYH0008）

作者簡(jiǎn)介：陳雨琪（2000—），女，陜西漢中人，碩士研究生，主要從事計(jì)算機(jī)視覺方面的研究。

通信作者：薛濤，E-mail：xuetao@xpu.edu.cn

風(fēng)格遷移主要是以深度學(xué)習(xí)算法為基礎(chǔ)，提取風(fēng)格圖的色彩、紋理，并將其遷移到內(nèi)容圖中，生成包含風(fēng)格圖基本紋理特征的目標(biāo)圖像^［1］。隨著智能化挖掘和設(shè)計(jì)技術(shù)的不斷提升，風(fēng)格遷移逐漸在人們的生活和工作中廣泛應(yīng)用，尤其在服裝設(shè)計(jì)和圖像編輯等領(lǐng)域，也極大地滿足了人們精神生活的需求。由于風(fēng)格遷移可以在圖案設(shè)計(jì)、繪畫設(shè)計(jì)等方面發(fā)揮作用，因此諸多學(xué)者對(duì)此進(jìn)行了深入研究。

關(guān)于服裝圖案設(shè)計(jì)的研究，重點(diǎn)在圖像的風(fēng)格改變上。將眾多不同的風(fēng)格融合到對(duì)應(yīng)的服裝圖案中，可以使得服裝的風(fēng)格更加豐富多變，更能滿足人們的需求^［2］。但是關(guān)于各種風(fēng)格的圖像遷移，如何提高圖像的清晰度以及風(fēng)格色彩的對(duì)比度仍然存在很多難點(diǎn)。隨著人們審美的不斷變化，服裝圖案及色彩的要求逐漸趨向簡(jiǎn)潔化。服裝圖像風(fēng)格遷移一般采用卷積神經(jīng)網(wǎng)絡(luò)作為特征識(shí)別的基本算法，其核心在于卷積層和池化層來自動(dòng)提取圖像中的特征，從而實(shí)現(xiàn)對(duì)圖像的高效處理和識(shí)別^［3］。風(fēng)格遷移要點(diǎn)在于其從原圖中提取特征記錄在特征圖中，不同的特征對(duì)應(yīng)不同的特征圖。

目前，常見的圖像風(fēng)格遷移算法包括全卷積神經(jīng)網(wǎng)絡(luò)算法（FCN）^［4］、風(fēng)格遷移算法（AdaIN）^［5］、生成對(duì)抗網(wǎng)絡(luò)算法（GAN）^［6］等。FCN算法出現(xiàn)于2015年，較傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)算法（CNN）速度得到了很大的提升，而且可以輸入任意尺寸的圖像，提高了效率；AdaIN算法首次出現(xiàn)于2017年，應(yīng)用于圖像的風(fēng)格遷移，是一種自適應(yīng)的標(biāo)準(zhǔn)化算法，其實(shí)現(xiàn)方法是提取內(nèi)容圖像的特征，通過計(jì)算其方差和均值，然后對(duì)齊到風(fēng)格圖像中完成遷移，可以實(shí)時(shí)變換風(fēng)格，計(jì)算效率高；而GAN算法有出色的生成能力，在風(fēng)格遷移領(lǐng)域逐漸得到了廣泛的應(yīng)用，其生成的結(jié)果在視覺上更加逼真。另外，廣泛使用的無監(jiān)督方法CycleGAN^［7］近幾年開始運(yùn)用在服裝圖像風(fēng)格遷移上^［24］，主要適用于域的遷移，其優(yōu)點(diǎn)在于該算法并不需要訓(xùn)練集就可以完成風(fēng)格的遷移^［8］。

然而，現(xiàn)有的風(fēng)格遷移算法大多適用于一般圖像的風(fēng)格遷移，直接將這些方法運(yùn)用在服裝圖像風(fēng)格遷移上，效果不理想，因此本文提出了一種基于邊緣增強(qiáng)和關(guān)聯(lián)損失的服裝圖案風(fēng)格遷移方法。依據(jù)Kirsch算子對(duì)圖像的原始邊緣特征進(jìn)行提取，結(jié)合Mask R-CNN深度學(xué)習(xí)方法對(duì)服裝圖像進(jìn)行語義分割；然后，通過改進(jìn)AdaIN算法構(gòu)建基于空間關(guān)聯(lián)損失的EnAdaIN方法，對(duì)圖像進(jìn)行識(shí)別，輸出風(fēng)格遷移圖像。邊緣增強(qiáng)需要先將圖像的邊緣特征進(jìn)行提取，與最后生成的目標(biāo)圖像相融合，解決圖像經(jīng)過處理和識(shí)別后邊緣色彩淡化的情況，進(jìn)一步提升圖像的邊緣色彩；同時(shí)在傳統(tǒng)的圖像遷移算法AdaIN中加入空間關(guān)聯(lián)損失算法進(jìn)行改進(jìn)，即將內(nèi)容損失算法和風(fēng)格損失算法相融合，進(jìn)一步獲取特征點(diǎn)和查詢點(diǎn)的空間關(guān)系，約束圖像的細(xì)節(jié)特征，使得圖像更加清晰。本文結(jié)合用戶的實(shí)際需求，研究提升圖像風(fēng)格遷移質(zhì)量和效率的方法，提升的適用性，提高圖像的對(duì)比度和質(zhì)量，最終生成的服裝圖像相較于傳統(tǒng)風(fēng)格遷移色彩將會(huì)更豐富，能夠解決傳統(tǒng)風(fēng)格遷移服裝圖案設(shè)計(jì)風(fēng)格單調(diào)的缺點(diǎn)。

1 圖像風(fēng)格遷移算法原理

風(fēng)格遷移主要是通過數(shù)據(jù)挖掘算法使得基本內(nèi)容圖像具備風(fēng)格圖像的基本風(fēng)格和紋理。風(fēng)格遷移涉及的圖像類型主要有兩種：風(fēng)格圖和內(nèi)容圖^［9］。內(nèi)容圖的圖案結(jié)合風(fēng)格圖的風(fēng)格紋理，最終形成風(fēng)格遷移的目標(biāo)圖。風(fēng)格遷移效果示例圖像如圖1所示。

圖像的風(fēng)格遷移涉及兩類損失函數(shù)，包括內(nèi)容損失函數(shù)D_c（c， g）和風(fēng)格損失函數(shù)D_s （s， g）。內(nèi)容損失函數(shù)的主要作用是評(píng)估內(nèi)容圖和最終結(jié)果圖之間的內(nèi)容差異性，而風(fēng)格損失函數(shù)評(píng)估的是風(fēng)格圖和最終結(jié)果圖之間的風(fēng)格差異性^［10］。方法的總體損失函數(shù)按式（1）計(jì)算：

F₁（g）=η×D_c（c，g）+λ×D_s（s，g）（1）

式中：η和λ分別為內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)的權(quán)重。

圖像的風(fēng)格遷移一般流程圖如圖2所示，步驟如下：

a）輸入圖像后需要初始化圖像，同時(shí)計(jì)算圖像的像素?cái)?shù)P，按式（2）計(jì)算：

P=L×W×C_c（2）

式中：L為圖像像素長(zhǎng)，W為圖像像素寬，C_c為顏色通道。

b）將初始化后的圖像輸入VGG方法中，并通過卷積層特征計(jì)算內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)。

c）計(jì)算總體損失函數(shù)F₁（g），再計(jì)算損失函數(shù)和相對(duì)每個(gè)像素的梯度值，進(jìn)而求得每個(gè)像素的變化對(duì)損失函數(shù)的影響，不斷優(yōu)化和修正像素值。

內(nèi)容損失函數(shù)主要通過比較圖像在VGG卷積神經(jīng)網(wǎng)絡(luò)方法中生成的特征圖之間的差異^［11］，可按式（3）計(jì)算：

式中：o_c表示內(nèi)容圖第i個(gè)特征圖的第j個(gè)輸出值；o_g表示最終結(jié)果圖第i個(gè)特征圖的第j個(gè)輸出值。

風(fēng)格損失函數(shù)主要通過比較最終結(jié)果圖與風(fēng)格圖之間的差異^［12］，如式（4）所示：

式中：λ和β表示通道號(hào)，K表示層數(shù)，g_λβ^k_s表示風(fēng)格圖格拉姆矩陣的元素值，g_λβ^k_g表示最終結(jié)果圖格拉姆矩陣的元素值，n和m分別表示卷積核的數(shù)目和大小。

2 服裝圖案風(fēng)格遷移

2.1 邊緣增強(qiáng)策略

在進(jìn)行圖像風(fēng)格遷移操作后，經(jīng)過不斷識(shí)別和特征提取，圖像的紋理和邊緣會(huì)不斷弱化，邊緣信息也就表現(xiàn)得模糊，嚴(yán)重影響識(shí)別的效果^［13］。本文采用邊緣增強(qiáng)策略進(jìn)行優(yōu)化，從而提高圖像風(fēng)格遷移的識(shí)別效果，提高圖像遷移效率。

邊緣增強(qiáng)策略就是在進(jìn)行風(fēng)格遷移操作前，先對(duì)內(nèi)容圖像的邊緣信息進(jìn)行識(shí)別、提取和記錄，待風(fēng)格遷移操作完成后，再疊加邊緣信息到生成的結(jié)果圖中，以增強(qiáng)邊緣信息，改善邊緣效果。本文主要采用Kirsch算子^［14］進(jìn)行圖像的邊緣信息提取。該算子主要從8個(gè)方向開展圖像的卷積操作，每個(gè)方向模板為3×3大小的區(qū)域，記P點(diǎn)位邊緣信息中一像素點(diǎn)，內(nèi)容圖像中任意一點(diǎn)P和周圍其他8個(gè)像素點(diǎn)分布如圖3所示，因此P點(diǎn)處理后的灰度值就是P像素點(diǎn)矩陣與Kirsch算子矩陣的乘積。依次輸出8個(gè)像素點(diǎn)的灰度值，并設(shè)置閾值，最終選取最大值的模板作為圖像的邊緣信息^［15］，邊緣信息如圖4所示，將風(fēng)格和邊緣信息清楚地展現(xiàn)出來，用矩陣表示如式（5）：

2.2 空間關(guān)聯(lián)損失

傳統(tǒng)的深度學(xué)習(xí)風(fēng)格遷移算法主要是用VGG方法，先對(duì)內(nèi)容圖像和風(fēng)格圖像進(jìn)行特征提取，然后依據(jù)內(nèi)容損失和風(fēng)格損失對(duì)齊特征空間中的特征，從而引導(dǎo)遷移方法學(xué)習(xí)。然而，僅僅通過VGG方法進(jìn)行圖像風(fēng)格遷移的清晰度不高，也無法消除風(fēng)格遷移中的多余背景^［16］。本文基于關(guān)聯(lián)損失的算法融合了內(nèi)容損失和風(fēng)格損失算法，主要流程如下：

首先，使用VGG方法對(duì)源圖像x和對(duì)應(yīng)的目標(biāo)圖像y^進(jìn)行特征提取，得到特征f_x、f_y^。

然后，基于得到的特征分別計(jì)算對(duì)應(yīng)的自相似性圖。以特征f_x為例，自相似關(guān)聯(lián)度計(jì)算過程如式（6）所示：

S_xi=（f_xi）^Tf_x*（6）

式中：f^T_xi∈R^1XC是特征f_x的一個(gè)查詢點(diǎn)（C表示特征通道個(gè)數(shù)），f_x*∈R^CXN_p為由N_p個(gè)特征點(diǎn)構(gòu)成的特征塊，得到S_xi∈R^1XN_p捕獲了查詢點(diǎn)與特征塊N_p個(gè)點(diǎn)之間的空間關(guān)聯(lián)。同理，目標(biāo)圖像的空間關(guān)系如式（7）所示：

S_yi=f_yi^Tf_y*（7）

最后，計(jì)算S_xi與S_yi之間的余弦距離，約束原圖像與目標(biāo)圖像有關(guān)空間結(jié)構(gòu)細(xì)節(jié)的學(xué)習(xí)。

2.3 融合邊緣增強(qiáng)和關(guān)聯(lián)損失的EnAdaIN方法設(shè)計(jì)

本文對(duì)傳統(tǒng)的圖像遷移算法AdaIN進(jìn)行了改進(jìn)，融入了邊緣增強(qiáng)和關(guān)聯(lián)損失函數(shù)，構(gòu)建了一種新的圖像風(fēng)格遷移新方法EnAdaIN。邊緣增強(qiáng)是提取原始圖像的相關(guān)邊緣信息，完成風(fēng)格遷移后，疊加邊緣信息；關(guān)聯(lián)損失結(jié)合了傳統(tǒng)的風(fēng)格損失^［17］和內(nèi)容損失^［18］，形成空間關(guān)聯(lián)損失算法，主要是通過VGG方法進(jìn)行原圖像和目標(biāo)圖像的特征提取，計(jì)算原圖像的自相似圖和目標(biāo)圖像的空間關(guān)系，用來約束原圖像與目標(biāo)圖像有關(guān)空間結(jié)構(gòu)細(xì)節(jié)的學(xué)習(xí)，使得圖像的空間關(guān)聯(lián)性更高。

2.3.1 EnAdaIN方法的基本框架

EnAdaIN方法主要是引入了全新結(jié)構(gòu)化損失函數(shù)，即空間關(guān)聯(lián)損失函數(shù)^［23］，同時(shí)在輸出結(jié)果后，運(yùn)用邊緣信息進(jìn)行疊加增強(qiáng)圖像清晰度，進(jìn)一步提升遷移后的圖像質(zhì)量。EnAdaIN方法的基本框架如圖5所示。

圖5中EnAdaIN方法首先將內(nèi)容圖像和風(fēng)格圖像作為輸入，通過基本的VGG解碼和編碼架構(gòu)，在特征空間中將內(nèi)容圖像和風(fēng)格圖像進(jìn)行基本的編碼，得到內(nèi)容圖特征a和風(fēng)格特征b，然后輸送特征a、b映射到EnAdaIN層，最后該層基于風(fēng)格損失和內(nèi)容損失將特征映射中的均值和標(biāo)準(zhǔn)差進(jìn)行特征對(duì)齊，得到目標(biāo)特征映射f，如式（8）所示：

f=EnAdain（a，b）（8）

最后將訓(xùn)練后的解碼器G將f映射回原圖像特征空間，生成最終的風(fēng)格化圖像，如式（9）所示：

F（a，b）=G（f）（9）

2.3.2 EnAdaIN方法的基本工作流程

EnAdaIN方法的基本工作流程如下：

a）歸一化內(nèi)容圖，將特征作為輸入，通過Kirsch算子提取并保留原始圖像的邊緣風(fēng)格特征信息。

b）將服裝圖像輸入EnAdaIN方法中，先進(jìn)行空間關(guān)聯(lián)特征的提取和計(jì)算，再進(jìn)行服裝圖像的風(fēng)格遷移，生成有特定風(fēng)格的服裝圖。

c）將輸入的服裝圖像通過圖像分割方法Mask-RCNN^［19］依據(jù)設(shè)定進(jìn)行局部的語義分割。

d）依據(jù)語義分割的結(jié)果將新的服裝圖案與整張?jiān)瓐D像融合^［22］，疊加提取的邊緣特征信息，輸出遷移完成的結(jié)果圖。

上述流程如圖6所示：

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

本文數(shù)據(jù)集主要包括兩個(gè)部分：風(fēng)格遷移數(shù)據(jù)集和語義分割數(shù)據(jù)集。服裝風(fēng)格圖像均來源于Microsoft Common Objects in Context （MS COCO）^［20］數(shù)據(jù)集，其中風(fēng)格遷移數(shù)據(jù)集共選取圖像9993張，訓(xùn)練集8988張，測(cè)試集1005張；語義分割主要是使用DeepFashion2數(shù)據(jù)集^［21］，這是一個(gè)規(guī)模較大的基準(zhǔn)集，包含有全面任務(wù)和標(biāo)注。該數(shù)據(jù)集定義了服飾檢測(cè)和識(shí)別、標(biāo)記和姿態(tài)估計(jì)、分割以及驗(yàn)證和檢索。本文數(shù)據(jù)集中部分內(nèi)容和風(fēng)格展示圖如圖7所示。

實(shí)驗(yàn)環(huán)境：CUDA11.1，深度神經(jīng)網(wǎng)絡(luò)庫(kù)版本8，操作系統(tǒng)為Centos7.6，顯卡為NVIDIA GeForce V100 32G，搭載深度學(xué)習(xí)開源框架Pytorch 1.12，編程語言Python3.8。

選取多組樣本驗(yàn)證，發(fā)現(xiàn)隨著訓(xùn)練次數(shù)的增加，其損失越?。划?dāng)訓(xùn)練次數(shù)超過200時(shí)，訓(xùn)練損失趨于穩(wěn)定，增加訓(xùn)練次數(shù)不會(huì)降低訓(xùn)練的損失?？紤]到訓(xùn)練效率，因此本文訓(xùn)練中epoch次數(shù)選擇為200次。訓(xùn)練收斂圖如圖8所示，但迭代訓(xùn)練次數(shù)達(dá)到200以上逐漸趨于穩(wěn)定。

3.2 評(píng)估指標(biāo)

服裝圖像遷移的效果識(shí)別除了一些客觀的辨別觀察外，還需要指標(biāo)分析作為進(jìn)一步的支撐。本文選用較為常見的指標(biāo)進(jìn)行本文識(shí)別效果的評(píng)價(jià)，包括均方誤差、峰值性噪比、結(jié)構(gòu)相似性以及風(fēng)格遷移速度，具體如下：

a）均方誤差［MSE］：是一種較為常見的衡量識(shí)別性能的關(guān)鍵指標(biāo)，主要用來比較真實(shí)值和預(yù)測(cè)值之間的差異，其值越小說明識(shí)別的性能越好。均方誤差計(jì)算如式（10）所示：

式中：i表示樣本個(gè)數(shù)（i=1，2，3， …， n），V_i表示真實(shí)值大小，V_i表示預(yù)測(cè)值大小。

b）峰值性噪比［PSNR］：主要是衡量?jī)蓚€(gè)圖像之間的差異性和質(zhì)量。當(dāng)式（10）中的V_i和V_i分別表示原圖像和噪聲圖像的值，n為圖像大小，則峰值性噪比如式（11）所示：

c）結(jié)構(gòu)相似性［SSIM］：是用來評(píng)估兩個(gè)圖像之間的相似性程度。圖像p和q的結(jié)構(gòu)相似性如式（12）所示：

式中：p²和q²分別為p、q的方差，COV_p和COV_q為協(xié)方差，α為穩(wěn)定系數(shù)。

d）風(fēng)格遷移速度［STS］：主要評(píng)估方法的風(fēng)格遷移效率，是方法的一項(xiàng)重要評(píng)估指標(biāo)，也就是計(jì)算本文方法與其他方法對(duì)比識(shí)別的時(shí)間消耗。

3.3 消融實(shí)驗(yàn)

本文將AdaIN、空間關(guān)聯(lián)損失改進(jìn)的AdaIN、

邊緣增強(qiáng)的AdaIN與本文的EnAdaIN算法進(jìn)行消融實(shí)驗(yàn)，各方法服裝圖像風(fēng)格遷移細(xì)節(jié)對(duì)比如圖9所示。從輸出的均方根誤差、峰值信噪比和風(fēng)格遷移的速度上進(jìn)行對(duì)比，結(jié)果如表1所示。

由圖9可以看出，AdaIN呈現(xiàn)的風(fēng)格遷移效果不理想，圖像質(zhì)量不高；基于空間關(guān)聯(lián)損失改進(jìn)的AdaIN方法，風(fēng)格圖的色彩過濃，未保留原圖的色彩風(fēng)格；而EnAdaIN方法在保留原圖風(fēng)格的同時(shí)融入風(fēng)格圖的風(fēng)格，且圖像清晰度較高。從表1數(shù)據(jù)來看，EnAdaIN方法的均方根誤差較其他方法均有下降，且下降幅度超過16%，峰值信噪比也高于其他方法，在圖像性能和質(zhì)量上EnAdaIN方法均有較大提升。因此，EnAdaIN方法既可以改善服裝遷移圖像的視覺效果，同時(shí)風(fēng)格遷移速度較其他方法效率也高，表明本文方法的可行、有效。

3.4 結(jié)果比較

3.4.1 各種方法效果比較

本文主要對(duì)數(shù)據(jù)集中的訓(xùn)練集和測(cè)試集進(jìn)行驗(yàn)證，目前使用較廣泛且效果較好的算法主要包括基于循環(huán)對(duì)抗生成網(wǎng)絡(luò)改進(jìn)的Cyclegan方法^［25］以及基于關(guān)聯(lián)損失算法優(yōu)化的Cyclegan_loss方法和用于消融實(shí)驗(yàn)的AdaIN方法。其中，近兩年Cyclegan方法^［26］、Cyclegan_loss方法已經(jīng)開始應(yīng)用于服裝圖像風(fēng)格遷移，而且算法改進(jìn)比較成熟，對(duì)于服裝遷移效果受到廣大學(xué)者的認(rèn)可。對(duì)于AdaIN方法，使用在圖像風(fēng)格遷移上效果逐漸突出，因此，本文將基于AdaIN方法進(jìn)行改進(jìn)得到EnAdaIN方法，并將其應(yīng)用于服裝圖像風(fēng)格遷移上以提升最終的效果。本文主要選取FCN方法、AdaIN方法、Cyclegan方法、Cyclegan_loss方法與本文的改進(jìn)EnAdaIN方法進(jìn)行比較，幾種方法的風(fēng)格遷移效果如圖10所示。

由圖10可以看出，F(xiàn)CN方法生成的圖像雖然方法輪廓較為清晰，但是人像較為模糊，無法清晰看清人的臉部信息，色彩效果差，清晰度低；AdaIN方法遷移后的圖像，雖然風(fēng)格和內(nèi)容融合效果一般，圖像質(zhì)量較差，影響服裝的整體清晰度；Cyclegan方法基本還原了原圖的色彩，但是對(duì)風(fēng)格的識(shí)別還存在不足，上身顏色接近白色，下身顏色較深，與風(fēng)格圖差異較大，效果不理想；Cyclegan_loss方法識(shí)別的結(jié)果雖然下身顏色較為接近風(fēng)格

圖，但是整體顏色對(duì)比差異大，上身仍舊未還原風(fēng)格圖色彩；EnAdaIN方法首次將邊緣增強(qiáng)和空間關(guān)聯(lián)損失結(jié)合運(yùn)用在圖像風(fēng)格遷移上，不僅保留了圖像的邊緣信息，也減少了風(fēng)格遷移過程中的損失，識(shí)別結(jié)果無論從色彩還是清晰度上看均接近原風(fēng)格圖，并且保留了原內(nèi)容圖的其他風(fēng)格，效果最佳。

圖11是使用本文EnAdaIN方法識(shí)別的4幅圖像，其中每幅圖像最左側(cè)為內(nèi)容圖，中間為風(fēng)格圖，最右側(cè)為目標(biāo)圖，通過4幅圖的生成效果可以看出：本文的方法圖像風(fēng)格遷移效果較為理想，邊緣信息保留基本完整，在融合風(fēng)格圖時(shí)，仍然能夠保留內(nèi)容圖的特征。

3.4.2 指標(biāo)結(jié)果評(píng)估

本文針對(duì)各項(xiàng)方法采用上述指標(biāo)進(jìn)行質(zhì)量的評(píng)估，結(jié)果如表2所示。

由表2所示，整體看EnAdaIN方法的表現(xiàn)效果好，在指標(biāo)PSNR、SSIM上均呈現(xiàn)最大值，表明EnAdaIN方法的圖像遷移質(zhì)量和結(jié)構(gòu)相似性均較高，均方根誤差上雖然值略高于Cyclegan_loss方法，但是整體差異較??；從風(fēng)格遷移速度上看EnAdaIN方法的速度最快，效率高，因此，EnAdaIN方法在服裝圖像風(fēng)格遷移上表現(xiàn)優(yōu)異，圖像質(zhì)量和清晰度均較高，同時(shí)也更加接近原始風(fēng)格圖。

本文選取峰值信噪比來衡量圖像質(zhì)量和差異性，如圖12所示，對(duì)比其他方法后發(fā)現(xiàn)：本文EnAdaIN方法的峰值信噪比最大，較Cyclegan_loss方法、Cyclegan方法分別提升了0.95%、1.24%，較AdaIN方法、FCN方法的信噪比甚至超過了20%。由此可見，本文基于邊緣增強(qiáng)和空間關(guān)聯(lián)損失的EnAdaIN方法生成的遷移圖像邊緣紋理清晰，圖像質(zhì)量高、風(fēng)格融入效果好，能夠滿足用戶的基本需要。

4 結(jié)束語

本文以VGG方法為基礎(chǔ)，在AdaIN方法上改進(jìn)形成EnAdaIN算法，構(gòu)建了基于邊緣增強(qiáng)和關(guān)聯(lián)損失相結(jié)合的風(fēng)格遷移方法，通過Kirsch算子提取內(nèi)容圖像的邊緣信息，并在完成遷移識(shí)別后融合邊緣信息，同時(shí)使用Mask R-CNN進(jìn)行語義的分割，再將內(nèi)容圖像和風(fēng)格圖像加入到本文改進(jìn)的基于空間關(guān)聯(lián)損失的EnAdaIN方法中，然后得到風(fēng)格遷移圖案后，融合提取的邊緣特征和語義風(fēng)格圖像，最終形成服裝的圖案風(fēng)格遷移，進(jìn)一步提升遷移后的圖像質(zhì)量和清晰度，對(duì)于服裝的輔助設(shè)計(jì)有著很大的應(yīng)用市場(chǎng)。可以依據(jù)個(gè)人需要對(duì)其服裝調(diào)整對(duì)應(yīng)的風(fēng)格圖像，滿足大眾的越來越高的精神生活需求。

本文的不足之處在于未對(duì)圖像分割的算法進(jìn)行深入研究，僅采用廣泛使用的Kirsch算子進(jìn)行邊緣特征的提取，并未進(jìn)一步研究算子使用的效果以及改進(jìn)方法，后續(xù)需要繼續(xù)在邊緣信息特征的提取中加強(qiáng)研究，使得目標(biāo)圖像的邊緣特征更為明顯，進(jìn)一步凸顯圖像的服裝風(fēng)格特征，提高圖像的風(fēng)格遷移效果。

參考文獻(xiàn)：

［1］楊玥，馮濤，梁虹，等.融合交叉注意力機(jī)制的圖像任意風(fēng)格遷移［J］.計(jì)算機(jī)科學(xué)，2022，49（S1）：345-352.

YANG Yue， FENG Tao， LIANG Hong， et al. Image arbitrary style transfer via criss-cross attention［J］. Computer Science. 2022，49（S1）： 345-352.

［2］JIANG S H， LI J， FU Y. Deep learning for fashion style generation［J］. IEEE Transactions on Neural Networks and Learnning Systems， 2022， 33 （9）： 4538-4550.

［3］林碧珺，耿增民，洪穎，等.卷積神經(jīng)網(wǎng)絡(luò)在紡織及服裝圖像領(lǐng)域的應(yīng)用［J］.北京服裝學(xué)院學(xué)報(bào)（自然科學(xué)版），2021，41（1）：92-99.

LIN Bijun， GENG Zengmin， HONG Ying， et al. Application of convolutional neural network in textile and clothing image field ［J］. Journal of Beijing Institute of Fashion Technology（Natural Science Edition）， 2021， 41（1）： 92-99.

［4］SHELHAMER E， LONG J，DARRELL T. Fully convolutional networks for semantic segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（4）：640-651.

［5］HUANG X， BELONGIE S. Arbitrary style transfer in real-time with adaptive instance normalization［C］.International Conference on Computer Vision， Venice， Italy. IEEE， 2017：1501-1510.

［6］KIM M， SHIN J， ROH M C，et al.Uncorrelated feature encoding for faster image style transfer［J］. Neural Networks， 2021， 140： 148-157.

［7］ZHU J Y， PARK T， ISOLA P，et al.

Unpaired image-to-image translation using cycle-consistent adversarial networks［C］//International Conference on Computer Vision （ICCV）. OVenice， Italy. IEEE， 2017.ICCV.2017.244.

［8］王婷，李航，胡智.一種VGGNet的圖像風(fēng)格遷移算法設(shè)計(jì)與實(shí)現(xiàn)［J］.計(jì)算機(jī)應(yīng)用與軟件，2019，36（11）：224-228.

WANG Ting， LI Hang， HU Zhi. Design and implementation of image style migration algorithm based on VGGNet［J］. Computer Applications and Software， 2019， 36（11）：224-228.

［9］EFROS A A，F(xiàn)REEMAN W T. Image quilting for texture synthesis and transfer［C］// Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. New York， USA： ACM， 2001：341-346.

［10］王楊，郁振鑫，盧嘉，等.多區(qū)域差異化的圖像風(fēng)格遷移算法［J］.計(jì)算機(jī)工程與應(yīng)用，2021，57（12）：211-215.

WANG Yang， YU Zhenxin， LU Jia， et al. Multi-region differential image style transfer algorithm［J］. Computer Engineering and Applications， 2021， 57（12）： 211-215.

［11］CHONG Y W，PENG C W，ZHANG J J， et al. Style transfer for unsupervised domain adaptive person re-identification［J］. Neurocomputing，2021， 422 ： 314-321.

［12］LI J Y，WANG Q，CHEN H， et al. A review on neural style transfer［J］. Journal of Physics ： Conference Series， 2020，1651 （1）：21-23.

［13］沈瑜，楊倩，苑玉彬，等.目標(biāo)邊緣清晰化的圖像風(fēng)格遷移［J］.激光與光電子學(xué)進(jìn)展，2021，58（12）：241-253.

SHEN Yu， YANG Qian，YUAN Yubin，et al. Image style transfer with clear target edges［J］. Laser amp; Optoelectronics Progress， 2021， 58（12）：241-253.

［14］譚永前，曾凡菊，吳位巍，等.基于非線性濾波和邊緣檢測(cè)的紋理傳輸圖像風(fēng)格化處理［J］.激光與光電子學(xué)進(jìn)展，2018，55（6）：185-190.

TAN Yongqian， ZENG Fanju， WU Weiwei， et al. Texture transmission image stylized processing based on non-linear filtering and edge detection［J］. Laser amp; Optoelectronics Progress，2018，55（6）：185-190.

［15］魏雨，黃玉蕾.Kirsch聯(lián)合高低雙閾值的RGB圖像邊緣檢測(cè)算法［J］.計(jì)算機(jī)測(cè)量與控制，2023，31（3）：95-101.

WEI Yu， HUANG Yulei. RGB image edge detection based on kirsch combined with high and low double thresholds［J］. Computer Measurement amp; Control， 2023， 31（3）：95-101.

［16］阮子行，黃勇，王夢(mèng)，等.基于遷移學(xué)習(xí)番茄品質(zhì)分級(jí)的研究應(yīng)用［J］.包裝與食品機(jī)械，2023，41（2）：41-47.

RUAN Zixing， HUANG Yong， WANG Meng， et al. Research and application of tomato quality grading based on transfer learning［J］. Packaging and Food Machinery， 2023， 41（2）：41-47.

［17］王希雅，王奔.基于注意力機(jī)制的輕量級(jí)水下圖像風(fēng)格遷移方法［J］.杭州師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，22（4）：381-388.

WANG Xiya， WANG Ben. Research on lightweight underwater image style transfer method based on relationship-aware attention mechanism ［J］. Journal of Hangzhou Normal University： Natural Science Edition， 2023，22 （4）： 381-388.

［18］譚永前，曾凡菊.基于拉普拉斯算子和顏色保留的神經(jīng)風(fēng)格遷移算法［J］.計(jì)算機(jī)應(yīng)用，2022，42（10）：3209-3216.

TAN Yongqian， ZENG Fanju. Neural style transfer algorithm based on Laplacian operator and color retention ［J］. journal of Computer Applications， 2022， 42（10）：3209-3216.

［19］HAMEED K， CHAI D， RASSAU A .Score-based mask edge improvement of Mask-RCNN for segmentation of fruit and vegetables［J］.Expert Systems with Applications， 2022， 190：116-205.

［20］RISSER E，WILMOT P，BARNES C.Stable and controllable neural texture synthesis and style transfer using histogram losses［J］. Computer Science， 2017， 1701 （1） ：88-93.

［21］GE Y， ZHANG R， WANG X，et al. DeepFashion2： A versatile bechmark for detection， pose estimation， segmentation and Re-Identification of clothing images［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE， 2019.

［22］XYDEAS C S， PETROVIC V. Objective image fusion per-formance measure［J］. Electronics Letters， 2000， 36（4）： 308.

［23］ZHENG C， CHAM T J， CAI J， The spatially-correlative loss for various image translation tasks［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Nashville， TN， USA. IEEE， 2021： 16402-16412.

［24］陳佳，董學(xué)良，梁金星，等.基于注意力機(jī)制的CycleGAN服裝局部風(fēng)格遷移研究［J］.計(jì)算機(jī)工程，2021，47（11）：305-312.

CHEN Jia，DONG Xueliang，LIANG Jinxing，et al. Research on the local style transfer of clothing images by CycleGAN based on attention mechanism［J］. Computer Engineering，2021，47（11）：305-312.

［25］劉哲良，朱瑋，袁梓洋.結(jié)合全卷積網(wǎng)絡(luò)與CycleGAN的圖像實(shí)例風(fēng)格遷移［J］.中國(guó)圖象圖形學(xué)報(bào)，2019，24（8）：1283-1291.

LIU Zheliang，ZHU Wei，YUAN Ziyang. Image instance style transfer combined with fully convolutional network and cycleGAN ［J］. Journal of Image and Graphics， 2019，24（8）：1283-1291.

［26］王偉珍，張功.基于CycleGAN的服裝圖像混搭風(fēng)格遷移［J］.現(xiàn)代紡織技術(shù)，2023，31（4）：250-258.

WANG Weizhen， ZHANG Gong. Mix and match style transfer for the images of clothes with CycleGAN［J］. Advanced Textile Technology，2023，31（4）：250-258.

Clothing pattern style transfer based on edge enhancement and association loss

CHEN Yuqi， XUE Tao， LIU Junhua

（School of Computer Science， Xi'an Polytechnic University， Xi'an 710600， China）

Abstract： "With the continuous upgrading and iteration of image processing and deep mining technologies， and their continuous application in people's daily work and life， many scholars have also deepened their research on images.

Clothing design is an important field of image application， and the pattern style of clothing can to some extent affect customer satisfaction with clothing. The transfer of clothing pattern styles can replace corresponding styles of clothing according to individual needs， and it is a product of the development of image processing and greatly caters to the spiritual needs of the public. Style transfer， mainly based on deep learning algorithms， refers to identifying the edges， colors， and textures of the style map， and transferring them to the edited content map， so that the final generated image contains the basic texture features of the style image. The research on clothing patterns mainly focuses on changing styles， which is also the focus of research. Integrating numerous different styles into corresponding clothing patterns can make clothing styles more diverse and quickly meet people's needs. The traditional clothing pattern style transfer style is relatively single， mostly consisting of simple texture features， and the image generation effect is not ideal. There are still many difficulties in improving the clarity， quality， and contrast of style and color for image transfer with different styles. Clothing style transfer generally uses convolutional neural networks as the basic algorithm for feature recognition， mainly to extract features from the original image and record them in the feature map. Different features correspond to different feature maps， and then through feature calculation， the transfer process is completed by aligning the style map and content map. However， most existing style transfer algorithms are suitable for image style transfer， and directly applying these methods to clothing style transfer causes unsatisfactory results.

This article proposed a clothing transfer method called EnAdaIN based on edge enhancement and association loss. Firstly， the original edge features of the image were extracted， and then Mask R-CNN was used for semantic segmentation. Then， the content image and style image were added to the improved EnAdaIN model based on spatial association loss. After obtaining the style transfer pattern， the extracted edge features and semantic style image were fused. Finally， the pattern style of the clothing was transferred. The spatial association loss algorithm that combines content loss algorithm and style loss algorithm can further improve the feature similarity and detail display of images. The experiment shows that the peak signal-to-noise ratio of the model in this article has improved by more than 0.95 percentage points compared to other models， the structural similarity has improved by more than 2.43 percentage points， and the transfer efficiency of the model has improved by more than 3.53 percentage points. The generated image information has richer colors and more obvious features， further improving the contrast and quality of the image.

Keywords： AdaIN; associated loss; style transfer; clothing pattern transfer