徐小春，董洪偉，魏程峰

江南大學(xué) 人工智能與計(jì)算機(jī)學(xué)院，江蘇 無(wú)錫 214122

近年來(lái)，網(wǎng)絡(luò)購(gòu)物的需求急劇增加，其中最暢銷的商品之一就是服裝。盡管網(wǎng)上時(shí)尚購(gòu)物提供了便利，但消費(fèi)者關(guān)心的是，網(wǎng)上提供的服裝試穿在自己身上的效果。因此，讓消費(fèi)者試穿衣服不僅會(huì)提升購(gòu)物體驗(yàn)，改變?nèi)藗冑?gòu)買(mǎi)衣服的方式，同時(shí)也為零售商節(jié)省成本[1]。

虛擬試衣的一種方法是將人和物品建模為三維物體，并用計(jì)算機(jī)圖形學(xué)方法真實(shí)地呈現(xiàn)它們。例如文獻(xiàn)[2]中首先采用橢球的層次結(jié)構(gòu)來(lái)近似人體模型，然后在人體模型上虛擬縫制復(fù)雜的服裝圖案，最后通過(guò)基于物理的實(shí)時(shí)仿真得到可視化設(shè)計(jì)效果。在文獻(xiàn)[3]中提供了一種實(shí)時(shí)試衣方案，可根據(jù)預(yù)先計(jì)算的衣服形狀示例生成詳細(xì)的衣服變形。在文獻(xiàn)[4]中提出了一種快速，自動(dòng)的方法，可以在不使用參考人體模型的情況下，將給定的3D 服裝擬合到具有各種形狀和姿勢(shì)的人體模型中。具體來(lái)說(shuō)，首先生成給定人體模型的骨架及其對(duì)應(yīng)的掩碼權(quán)重。其次迭代旋轉(zhuǎn)每個(gè)骨骼以找到適合服裝的最佳位置。然后根據(jù)骨架的變換來(lái)裝配人體模型的表面。最后將人體模型恢復(fù)到原始姿勢(shì)，以獲得所需的擬合結(jié)果。然而上述基于三維圖形的試衣方法的工程挑戰(zhàn)和計(jì)算成本（例如高質(zhì)量的三維掃描）使得這種方法的構(gòu)建耗時(shí)較多和維護(hù)成本高昂。相反，豐富的二維圖像采集特性可以通過(guò)現(xiàn)代的生成式深度學(xué)習(xí)方法加以利用[1]。

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks（GANs））[5]最早由Goodfellow等人提出，受到原始GAN的啟發(fā)，越來(lái)越多GAN的變體被提出并且在圖像生成、圖像到圖像翻譯和風(fēng)格轉(zhuǎn)換等方面取得了令人印象深刻的成果。比如，Mirza等人[6]提出的CGAN（ConditionalGenerative Adversarial Nets）通過(guò)在生成器和判別器中加入條件來(lái)實(shí)現(xiàn)按條件生成數(shù)據(jù)；Zhu 等人[7]提出了CycleGAN，使用了兩個(gè)生成器和兩個(gè)判別器，并加入了循環(huán)一致性損失函數(shù)，可用于圖像到圖像的轉(zhuǎn)換。Jetchev等人[8]提出了CAGAN（Conditional Analogy GAN）用來(lái)解決虛擬試衣的問(wèn)題。CAGAN 將虛擬試衣任務(wù)定義為一個(gè)圖像類比問(wèn)題并且加入了循環(huán)一致性損失函數(shù)。然而，它們只能粗略地轉(zhuǎn)換對(duì)象類和屬性等信息，無(wú)法生成圖形細(xì)節(jié)和適應(yīng)幾何變化，這限制了他們?cè)谔摂M試衣等任務(wù)中的能力。為了解決這些問(wèn)題，本文對(duì)CAGAN進(jìn)行了改進(jìn)，不僅解決了原論文中出現(xiàn)的問(wèn)題，而且取得了非常好的效果。

1 相關(guān)工作

1.1 CAGAN

CAGAN 基于CGAN，給定一個(gè)人物圖像和一個(gè)目標(biāo)衣服圖像，CAGAN可以輸出一個(gè)帶有目標(biāo)衣服的圖像。此外，CAGAN 還可以學(xué)習(xí)一個(gè)掩模，無(wú)需標(biāo)記數(shù)據(jù)就可以學(xué)習(xí)到輸入和輸出人物圖像之間的差異，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。生成網(wǎng)絡(luò)G 設(shè)計(jì)為4 通道輸出：其中1 通道為掩模α和3 通道彩色圖像xij。最終生成的換衣圖像xj是預(yù)測(cè)圖像和原始圖像的組合，公式為xj=αxij+(1-α)xi，CAGAN 的輸出比較模糊，相對(duì)目標(biāo)衣服保留的細(xì)節(jié)極少。之后有人對(duì)CAGAN 進(jìn)行了改進(jìn)，Kubo等人[9]提出先用分割網(wǎng)絡(luò)提取人物圖像的衣服區(qū)域，而CAGAN 的掩模是學(xué)出來(lái)的，這樣的做法僅僅提升了一點(diǎn)點(diǎn)掩模的準(zhǔn)確性。Pandey 等人[10]提出了Poly-GAN，嘗試用一個(gè)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)變形、融合、改善，雖然說(shuō)相比CAGAN有了很大的進(jìn)步，可是該方法仍然有局限性，首先，GANs 在變形方面的效果遠(yuǎn)不如傳統(tǒng)變形方法[11]的效果，其次，該方法的融合這一步有一個(gè)缺陷，原本CAGAN 的方法在長(zhǎng)短不一致時(shí)只是效果很差，而Poly-GAN 這一步由于使用原始衣服掩模與目標(biāo)衣服進(jìn)行融合會(huì)直接使得無(wú)法長(zhǎng)短互換，所以近些年基于CAGAN的改進(jìn)方法都不夠好。

1.2 VITON

VITON（Virtual Try-on Network）[1]由三個(gè)階段組成。第一步，在編碼器—解碼器—生成器階段，網(wǎng)絡(luò)生成粗略的結(jié)果。第二步，在變形階段，通過(guò)形狀上下文匹配估計(jì)薄板樣條（TPS）變換[11]，用掩模對(duì)目標(biāo)服裝進(jìn)行變形。第三步，經(jīng)過(guò)變形后，網(wǎng)絡(luò)將粗圖像與變形后的衣服合成，產(chǎn)生最終的輸出。CP-VITON（Characteristic-Preserving VITON）[12]對(duì)VITON 進(jìn)行了改進(jìn)，第一步通過(guò)新的幾何匹配模塊實(shí)現(xiàn)完全可學(xué)習(xí)的薄板樣條變換，對(duì)目標(biāo)衣服進(jìn)行變形，第二步對(duì)衣服進(jìn)行試穿，取得了很好的效果，但是基于VITON 的方法需要精確的姿勢(shì)和分割，這需要手動(dòng)微調(diào)，實(shí)現(xiàn)較困難，其次，基于VITON 的方法在試衣之后會(huì)發(fā)現(xiàn)，當(dāng)對(duì)人物圖像進(jìn)行上衣試穿之后，人體其他部分，比如褲子部分，褲子的顏色會(huì)發(fā)生變化，這與僅對(duì)上衣試穿的任務(wù)不符。最后，此類方法對(duì)于有遮擋時(shí)的情況幾乎都無(wú)法解決。

2 方法

2.1 提出的方法

提出的方法包括三個(gè)網(wǎng)絡(luò)。首先，在給定一個(gè)人物圖像和一個(gè)目標(biāo)服裝圖像的情況下，利用改進(jìn)的CAGAN生成一個(gè)初步的結(jié)果。其次，針對(duì)長(zhǎng)度不同的衣服互換以及有遮擋的情況在后續(xù)試衣中的問(wèn)題，本文的方法是添加了一個(gè)mask 網(wǎng)絡(luò)，比如長(zhǎng)換短，由于CAGAN 得到的掩模是長(zhǎng)的，不能直接用于變形網(wǎng)絡(luò)的輸入，但是3通道彩色圖像是已經(jīng)成功換成短衣服了，所以需要把上一步生成的初步結(jié)果和目標(biāo)衣服輸入到mask 網(wǎng)絡(luò)，這樣可以得到短衣服穿在模特身上后的短的掩模，而且這一步得到的掩模也可以很好地反映原人物圖像是否有遮擋時(shí)的情況。接下來(lái)，上一步得到的掩模和目標(biāo)衣服輸入到變形網(wǎng)絡(luò)得到變形后的目標(biāo)衣服。最后，將變形后的服裝和CAGAN 的結(jié)果進(jìn)行組合便可以得到最終結(jié)果。圖2顯示了總體架構(gòu)。

圖1 CAGAN網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2 網(wǎng)絡(luò)整體結(jié)構(gòu)圖

2.2 改進(jìn)的CAGAN

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

原始論文中CAGAN的生成器是普通UNet架構(gòu)[13]，判別器的結(jié)構(gòu)和DCGAN[14]中的類似。此外，原論文中將[xi,yi]依次下采樣后接在了中間層的最后6個(gè)通道。在實(shí)驗(yàn)的過(guò)程中，發(fā)現(xiàn)將[xi,yi]替換為[xi,yj]在處理長(zhǎng)短問(wèn)題時(shí)的效果比原論文中要好，而且不僅提高了模型的收斂性和圖像質(zhì)量，還讓來(lái)自目標(biāo)衣服的作為條件的信息可以更好地保存在深層網(wǎng)絡(luò)中。受到StackGAN[15]和StackGAN++[16]的啟發(fā)，生成器結(jié)構(gòu)設(shè)計(jì)成了樹(shù)形結(jié)構(gòu)，生成器總共輸出3 個(gè)分辨率不同的圖像，并將結(jié)果分別交給3 個(gè)判別器進(jìn)行判別。判別器的結(jié)構(gòu)和原論文中類似，但由于3個(gè)輸出的分辨率不同，所以3個(gè)判別器的網(wǎng)絡(luò)深度也不同。設(shè)計(jì)的結(jié)構(gòu)中保留了UNet的跳躍連接[13]，在第一個(gè)和第二個(gè)輸出后面各添加了一個(gè)Refine 模塊[1，12，17]，其由兩個(gè)殘差塊[18]疊加而成，用它來(lái)學(xué)習(xí)更多的細(xì)節(jié)和提高輸出圖像的真實(shí)感。圖3 顯示了改進(jìn)后的CAGAN的結(jié)構(gòu)和Refine模塊。圖4顯示了CAGAN 改進(jìn)前后的第一步的結(jié)果對(duì)比?？梢钥闯鲈陂L(zhǎng)短不一致方面的效果遠(yuǎn)好于原始CAGAN，由于圖像分辨率只有256×192，所以放大后可以更清楚地看到除衣服外的其他部分，包括嘴、眼睛、鼻子等部位生成的也更加清晰。

2.2.2 損失函數(shù)

在訓(xùn)練G 和D 階段，損失函數(shù)由4 個(gè)部分組成，由γm、γi和γc加權(quán)表示：

圖3 改進(jìn)后的CAGAN結(jié)構(gòu)圖和Refine模塊

圖4 改進(jìn)CAGAN效果對(duì)比圖

其中最重要的損失就是涉及到生成器和判別器之間的對(duì)抗損失：

等式（1）中的Lm項(xiàng)使得G 的輸出盡可能少地改變?cè)既宋锏膱D像，它的作用是避免模型生成目標(biāo)衣服區(qū)域外的不相關(guān)部分：

等式（1）中的Lcyc項(xiàng)就是CycleGAN 中的循環(huán)一致性損失函數(shù)[7]，其作用是它應(yīng)該使生成器更穩(wěn)定：在人身上換衣服應(yīng)該只交換相關(guān)區(qū)域，而不改變圖像的其他部分。如果生成器G 生成了一幅圖像xj=G(xi,yi,yj)，改變了xi中一些與yj無(wú)關(guān)的區(qū)域，則反向交換操作G(xj,yj,yi)將生成一個(gè)圖像，該圖像將因偏離xi而受到懲罰：

等式（1）中的Lid項(xiàng)是新添加的損失函數(shù)[7]，其作用是激勵(lì)生成器關(guān)注yi,yj之間的差異，這樣對(duì)于處理目標(biāo)衣服與原始衣服長(zhǎng)短不一致時(shí)有著更好的效果：

2.3 Mask網(wǎng)絡(luò)

由于CAGAN 生成的掩模不能直接用于變形以及為解決有遮擋的情況，所以接下來(lái)將改進(jìn)后的CAGAN的輸出xj用于mask 網(wǎng)絡(luò)。將目標(biāo)服裝yj和xj作為mask 網(wǎng)絡(luò)的輸入，產(chǎn)生目標(biāo)服裝yj的輸出，記作M。mask 網(wǎng)絡(luò)的結(jié)構(gòu)以UNet 為基礎(chǔ)，通過(guò)跳轉(zhuǎn)連接直接在各層之間共享信息。使用監(jiān)督學(xué)習(xí)來(lái)訓(xùn)練mask 網(wǎng)絡(luò)，記為掩模的真實(shí)數(shù)據(jù)，yM是mask網(wǎng)絡(luò)的輸出，采用了L1損失作為網(wǎng)絡(luò)的損失函數(shù)，定義如下：

圖5顯示了mask網(wǎng)絡(luò)的一些結(jié)果。

圖5 mask網(wǎng)絡(luò)效果圖

2.4 變形網(wǎng)絡(luò)

Mask 網(wǎng)絡(luò)得到的掩模M接下來(lái)用于變形。參考VITON和CP-VITON中的變形，變形網(wǎng)絡(luò)在它們的基礎(chǔ)上進(jìn)行了一些改動(dòng)，利用文獻(xiàn)[12，19-20]的方法，僅使用掩模M和目標(biāo)衣服yj作為變形網(wǎng)絡(luò)的輸入，產(chǎn)生服裝yj形變后的輸出，記作yTj和MT。變形網(wǎng)絡(luò)的結(jié)構(gòu)和文獻(xiàn)[12]類似，使用監(jiān)督學(xué)習(xí)來(lái)訓(xùn)練變形網(wǎng)絡(luò)，記y為變形衣服的真實(shí)數(shù)據(jù)，yTj是變形網(wǎng)絡(luò)的輸出，為了保證變形效果，在文獻(xiàn)[12]L1 損失的基礎(chǔ)上添加了VGG 感知損失[21]，其中VGG感知損失定義如下：

其中，φi(y)表示VGG網(wǎng)絡(luò)φ中輸入圖像y在第i層的特征圖，該網(wǎng)絡(luò)是在ImageNet上預(yù)先訓(xùn)練的VGG19[22]。所以最終的損失函數(shù)定義如下：

圖6顯示了變形網(wǎng)絡(luò)的一些結(jié)果。

基于改進(jìn)的CAGAN的虛擬試衣方法流程如下：

圖6 變形網(wǎng)絡(luò)效果圖

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：在Han 等人[1，12]收集的數(shù)據(jù)集上進(jìn)行了所有的實(shí)驗(yàn)。它包含了16 253 個(gè)前視女性和頂級(jí)服裝圖像對(duì)，分為訓(xùn)練組14 221 對(duì)和測(cè)試組2 032 對(duì)。數(shù)據(jù)集所有圖像的分辨率均為256×192，對(duì)于每個(gè)圖像，都有多個(gè)模型穿著給定衣服的圖像，這些圖像來(lái)自不同的視圖和不同的姿勢(shì)。提取穿在模特身上的衣服的形狀掩模和衣服來(lái)預(yù)先訓(xùn)練好變形網(wǎng)絡(luò)和mask網(wǎng)絡(luò)。

參數(shù)設(shè)置：本文的所有網(wǎng)絡(luò)均使用Adam優(yōu)化器[23]，β1=0.5,β2=0.999 ，固定學(xué)習(xí)率為0.000 2，batch 大小設(shè)置為16，卷積核均采用高斯分布初始化。實(shí)驗(yàn)使用PyTorch作為深度學(xué)習(xí)框架，在一塊NVIDIA Tesla K80 GPU上進(jìn)行。

改進(jìn)的CAGAN：生成器使用了8 層UNet 結(jié)構(gòu)，包括4個(gè)步長(zhǎng)為2的下采樣卷積層，4個(gè)步長(zhǎng)為1的上采樣層，同時(shí)添加了兩個(gè)Refine模塊。為了減少所謂的方格圖案?jìng)斡埃瑢⑼ǔＳ糜谏喜蓸拥牟介L(zhǎng)為2 的反卷積層[24]替換為雙線性插值層和步長(zhǎng)為1 的卷積層的組合。每個(gè)卷積層后面跟著一個(gè)IN（Instance Norm）[25]和Leaky-ReLU，其中斜率被設(shè)置為0.2。Refine 模塊中的殘差塊由兩個(gè)3×3，步長(zhǎng)為1的卷積層構(gòu)成，每個(gè)卷積層后面跟著一個(gè)IN和ReLU，兩個(gè)殘差塊的輸入端和輸出端各添加一個(gè)步長(zhǎng)為1的卷積層，最后和殘差塊以殘差方式連接。其中損失函數(shù)中的γm=0.1,γc=1,γi=0.1。具體參數(shù)如表1。

表1 改進(jìn)的CAGAN生成器具體參數(shù)

判別器結(jié)構(gòu)和原論文類似，均是步長(zhǎng)為2的下采樣卷積層。除第一層和最后一層外，每個(gè)卷積層后面跟著一個(gè)IN 和LeakyReLU，最后一層添加Sigmoid 激活函數(shù)，具體參數(shù)如表2。

Mask 網(wǎng)絡(luò)：使用了 10 層 UNet 結(jié)構(gòu)，包括 5 個(gè)步長(zhǎng)為2的下采樣卷積層，5個(gè)步長(zhǎng)為2的上采樣層。同CAGAN一樣，上采樣使用雙線性插值層和步長(zhǎng)為1的卷積層的組合，最后一層添加Sigmoid激活函數(shù)，具體參數(shù)如表3。

變形網(wǎng)絡(luò)：主要采用了文獻(xiàn)[12]中的結(jié)構(gòu)，首先由2個(gè)下采樣網(wǎng)絡(luò)分別提取目標(biāo)衣服和目標(biāo)形狀的高層特征，然后將兩個(gè)特征組合成一個(gè)張量作為回歸網(wǎng)絡(luò)的輸入，回歸網(wǎng)絡(luò)會(huì)輸出一個(gè)空間變換參數(shù)θ，最后根據(jù)薄板樣條（TPS）[26]變換得到變形后的衣服。其中損失函數(shù)中的λm=0.1,λp=0.9。變形網(wǎng)絡(luò)結(jié)構(gòu)如圖7。

3.2 定量評(píng)價(jià)

使用 IS（Inception Score） metric[27]，它們是廣泛接受的用于評(píng)價(jià)由GANs 生成的圖像的度量。定義如下所示：

表2 改進(jìn)的CAGAN判別器具體參數(shù)

表3 Mask網(wǎng)絡(luò)具體參數(shù)

圖7 變形網(wǎng)絡(luò)結(jié)構(gòu)

p(y|x)：把生成的圖片x輸入到 Inception V3，得到一個(gè)1 000 維的向量y，也就是該圖片屬于各個(gè)類別的概率分布。

p(y)：N個(gè)生成的圖片，每個(gè)生成圖片都輸入到Inception V3中，各自得到一個(gè)自己的概率分布向量，把這些向量求一個(gè)平均，得到生成器生成的圖片全體在所有類別上的邊緣分布。

DKL：對(duì)p(y|x)和p(y)求KL散度[28]，KL散度用以衡量?jī)蓚€(gè)概率分布的距離，它是非負(fù)的，值越大說(shuō)明這兩個(gè)概率分布越不像。IS 將圖像質(zhì)量與人類級(jí)別的分級(jí)進(jìn)行比較，并且對(duì)圖像中的模糊很敏感。盡管IS可以是作為圖像合成質(zhì)量的指標(biāo)[29-31]，但是它不能反映目標(biāo)服裝的細(xì)節(jié)是否自然轉(zhuǎn)移或穿著衣服的人的姿勢(shì)和身體保存在合成圖像中。所以只是用IS分?jǐn)?shù)作為一個(gè)參考。對(duì)包含2 032對(duì)圖像的測(cè)試數(shù)據(jù)進(jìn)行評(píng)估，如表4所示。

表4 虛擬試衣的定量評(píng)價(jià)

雖然本文的方法是在CAGAN基礎(chǔ)上改進(jìn)的，但是也將該結(jié)果與目前先進(jìn)的方法CP-VITON[12]等進(jìn)行了比較。因?yàn)镃P-VITON的代碼是公開(kāi)發(fā)布的，而且CP-VITON對(duì)VITON進(jìn)行了改進(jìn)，效果比VITON好，所以采用CPVITON 的結(jié)果進(jìn)行比較。結(jié)果表明，本文的方法相較于CAGAN有很大提高，和CP-VITON接近。

3.3 定性評(píng)價(jià)

由于提出的方法是基于CAGAN的，因此與CAGAN進(jìn)行了比較，結(jié)果表明，給出的服裝細(xì)節(jié)比CAGAN 更多，生成質(zhì)量也更好。將結(jié)果與CP-VITON 進(jìn)行了比較。本文方法能夠保持身體部位的完整性[32]，尤其是在手臂擋住身體的情況下。例如，在圖8 中，本文的方法能夠處理幾乎所有情況下的遮擋情況，而CP-VITON大多數(shù)都是失敗的。而且觀察到CP-VITON 在與換衣區(qū)域無(wú)關(guān)的部分的顏色會(huì)發(fā)生變化，其中有些圖顏色變暗或變淡，有些圖如第二排第五列甚至顏色完全改變了，這是與CP-VITON在第二步試穿時(shí)的訓(xùn)練有關(guān)，而本文的方法則沒(méi)有這個(gè)問(wèn)題。

圖8 各種方法的定性比較

4 結(jié)束語(yǔ)

本文提出了一種基于CAGAN的虛擬試穿方法，包括一個(gè)改進(jìn)的CAGAN 網(wǎng)絡(luò)，一個(gè)mask 網(wǎng)絡(luò)和一個(gè)變形網(wǎng)絡(luò)。3個(gè)網(wǎng)絡(luò)的協(xié)同工作很好地解決了當(dāng)前試衣領(lǐng)域存在的問(wèn)題。大量實(shí)驗(yàn)表明，本文的方法有著非常好的虛擬試穿結(jié)果，很好地保留了衣服的關(guān)鍵特性。定性和定量的結(jié)果證明了該方法的先進(jìn)效果。