陳寶玉，張 怡，于冰冰，劉秀平

兩階段可調(diào)節(jié)感知蒸餾網(wǎng)絡(luò)的虛擬試衣方法

陳寶玉，張 怡，于冰冰，劉秀平

(大連理工大學(xué)數(shù)學(xué)科學(xué)學(xué)院，遼寧 大連 116024)

基于圖像的虛擬試衣能將目標(biāo)服裝圖像合成到人物圖像上，此任務(wù)近年來(lái)因其在電子商務(wù)和時(shí)裝圖像編輯上廣泛應(yīng)用而備受關(guān)注。針對(duì)該任務(wù)的特點(diǎn)和已有方法的缺陷，提出一種兩階段可調(diào)節(jié)感知蒸餾方法(TS-APD)。該方法包括3個(gè)步驟：①分別對(duì)服裝圖像和人物圖像預(yù)訓(xùn)練2個(gè)語(yǔ)義分割網(wǎng)絡(luò)，生成更準(zhǔn)確的服裝前景分割和上衣分割；②利用這2個(gè)語(yǔ)義分割和其他解析信息訓(xùn)練基于解析器的“導(dǎo)師”網(wǎng)絡(luò)；③以“導(dǎo)師”網(wǎng)絡(luò)生成的假圖像作為輸入，以原始真實(shí)人物圖像作為監(jiān)督，采用一種TS-APD方案訓(xùn)練無(wú)解析器的“學(xué)生”網(wǎng)絡(luò)。最終經(jīng)過(guò)蒸餾的“學(xué)生”網(wǎng)絡(luò)能在不需要人體解析的情況下，生成高質(zhì)量的試衣圖像。在VITON數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該算法在FID、1和PCKh的評(píng)分分別可達(dá)9.10，0.015 3，0.985 6，均優(yōu)于現(xiàn)有方法。用戶研究結(jié)果也表明，與已有方法相比，所提方法生成的圖像更加逼真，所有偏好得分均達(dá)77%以上。

虛擬試衣；知識(shí)蒸餾；圖像分割；圖像生成；可調(diào)節(jié)因子

隨著越來(lái)越多的消費(fèi)者在網(wǎng)上購(gòu)買服裝和配飾，購(gòu)物方式為消費(fèi)者提供互動(dòng)體驗(yàn)，使在線商務(wù)變得尤為重要。虛擬試衣是時(shí)裝產(chǎn)品在個(gè)性化背景下的可視化，提供了智能、直觀的在線體驗(yàn)，能夠幫助用戶判斷喜好和購(gòu)買意向，為此得到了廣泛的關(guān)注?，F(xiàn)有的虛擬試衣分為基于三維人體建模[1-5]和基于二維圖像2類方法[6-13]?；谌S模型的方法往往依賴于三維測(cè)量或表示，需要昂貴的三維掃描設(shè)備和大量的計(jì)算資源，不適合在線用戶。相比之下，基于圖像的生成模型提供了一種更經(jīng)濟(jì)、計(jì)算效率更高的解決方案。

近年來(lái)，基于圖像的虛擬試衣在圖像合成領(lǐng)域快速發(fā)展的推動(dòng)下取得了相當(dāng)大的進(jìn)展。大部分最先進(jìn)的虛擬試衣方法[6-11]依賴于人體解析信息，例如上衣、褲子、手臂、人臉和頭發(fā)等，其信息能指導(dǎo)虛擬試衣網(wǎng)絡(luò)關(guān)注特定的服裝區(qū)域且有針對(duì)性地進(jìn)行內(nèi)容的保留和生成。但是通常需要基于解析器來(lái)獲取高質(zhì)量的人體解析，當(dāng)解析結(jié)果不準(zhǔn)確時(shí)，該方法將生成明顯失真的試衣圖像。

文獻(xiàn)[12]提出了無(wú)解析器“教師-學(xué)生”網(wǎng)絡(luò)(warping U-net for a virtual try-on，WUTON)，但是設(shè)計(jì)上的缺陷導(dǎo)致“學(xué)生”網(wǎng)絡(luò)的圖像質(zhì)量受基于解析器模型的限制。文獻(xiàn)[13]提出了無(wú)解析器的外觀流網(wǎng)絡(luò)(parser free appearance flow network，PF-AFN)，不直接利用基于解析器模型生成的假圖像，而是采用了自監(jiān)督學(xué)習(xí)的方式訓(xùn)練“學(xué)生”模仿原始的真實(shí)圖像，其在一定程度上彌補(bǔ)了WUTON的不足。但是PF-AFN采用的知識(shí)蒸餾[14]只體現(xiàn)在扭曲模塊的外觀流蒸餾，忽略了試衣模塊的重要性，導(dǎo)致試衣結(jié)果仍然存在紋理模糊和像素溢出等問(wèn)題。

本文提出一種兩階段可調(diào)節(jié)感知蒸餾方法(two-stage adjustable perceptual distillation，TS-APD)，有針對(duì)性地設(shè)計(jì)了2個(gè)可調(diào)節(jié)因子，分別對(duì)扭曲和試衣模塊進(jìn)行自調(diào)節(jié)感知蒸餾。本文方法改進(jìn)了PF-AFN方法單一模塊知識(shí)蒸餾的不足，大大改善了生成圖像的感知質(zhì)量。另外，現(xiàn)有方法在服裝扭曲階段使用的目標(biāo)服裝前景和上衣分割往往存在大量的噪聲，嚴(yán)重影響服裝扭曲效果。本文提出2個(gè)語(yǔ)義分割網(wǎng)絡(luò)，進(jìn)行精準(zhǔn)的服裝前景和上衣分割，實(shí)驗(yàn)結(jié)果表明，在新的語(yǔ)義分割下服裝扭曲效果大大改善，試衣圖像真實(shí)感得到明顯提升。

1 PF-AFN方法

PF-AFN方法流程如圖1所示，采用一種新穎的“教師-導(dǎo)師-學(xué)生”知識(shí)蒸餾方案。基于解析器模型生成的假圖像不直接作為“學(xué)生”網(wǎng)絡(luò)(無(wú)解析器模型)的監(jiān)督，而是作為“學(xué)生”網(wǎng)絡(luò)的輸入(導(dǎo)師知識(shí))，在真實(shí)圖像(教師知識(shí))的監(jiān)督下，使學(xué)生模仿原始真實(shí)圖像。為了進(jìn)一步提高生成質(zhì)量，當(dāng)“導(dǎo)師”生成的圖像質(zhì)量好于“學(xué)生”模型時(shí)(可調(diào)節(jié)因子為1)，對(duì)扭曲模塊進(jìn)行外觀流蒸餾。PF-AFN的外觀流蒸餾使“學(xué)生”網(wǎng)絡(luò)在扭曲模塊學(xué)習(xí)了有用的知識(shí)，但卻忽略了試衣模塊，在試衣過(guò)程中沒(méi)有“導(dǎo)師”網(wǎng)絡(luò)的語(yǔ)義信息參與指導(dǎo)，使試衣結(jié)果仍然存在小范圍偽影和邊界模糊等問(wèn)題。此外，PF-AFN的服裝分割未去除衣領(lǐng)等背景區(qū)域，上衣分割存在大量噪聲，這些均影響了扭曲服裝的真實(shí)感，進(jìn)而降低了最終的試衣質(zhì)量。

圖1 PF-AFN方法流程圖

2 TS-APD方法

針對(duì)以上問(wèn)題，本文提出了TS-APD方法，如圖2所示。首先，通過(guò)2個(gè)預(yù)訓(xùn)練的語(yǔ)義分割網(wǎng)絡(luò)生成準(zhǔn)確的服裝前景和上衣分割；然后，將服裝前景和上衣分割連同其他解析信息作為輸入，訓(xùn)練基于解析器的導(dǎo)師網(wǎng)絡(luò)；最后，利用本文方法，在真實(shí)圖像的監(jiān)督下，訓(xùn)練無(wú)解析器的學(xué)生網(wǎng)絡(luò)。

2.1 語(yǔ)義分割網(wǎng)絡(luò)

虛擬試衣的目標(biāo)是將服裝圖像合成到人物圖像上，通過(guò)提取服裝圖像的服裝區(qū)域，再經(jīng)過(guò)服裝扭曲后匹配到人物圖像的上衣區(qū)域來(lái)實(shí)現(xiàn)?，F(xiàn)有方法對(duì)于服裝圖像和上衣的分割均存在大量的噪聲，易導(dǎo)致訓(xùn)練的不穩(wěn)定和扭曲服裝的不可信。為此，本文預(yù)訓(xùn)練2個(gè)語(yǔ)義分割網(wǎng)絡(luò)，即服裝前景和上衣分割，其均采用傳統(tǒng)的10層U-net結(jié)構(gòu)[15]。如圖2(b)所示，服裝前景分割去除了衣領(lǐng)等服裝背景區(qū)域，避免了服裝背景對(duì)試衣結(jié)果造成的失真；上衣分割精準(zhǔn)且完整地保留了人物圖像的上衣區(qū)域，為扭曲網(wǎng)絡(luò)提供了可靠的上衣真值。

圖2 本文方法的網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練流程((a)兩階段可調(diào)節(jié)感知蒸餾網(wǎng)絡(luò)；(b) 2個(gè)預(yù)訓(xùn)練的語(yǔ)義分割網(wǎng)絡(luò))

2.2 TS-APD方法訓(xùn)練流程

如圖2(a)所示，本文方法包含一個(gè)導(dǎo)師和一個(gè)學(xué)生網(wǎng)絡(luò)。首先用配對(duì)的服裝和人物圖像(I,)訓(xùn)練導(dǎo)師網(wǎng)絡(luò)，具體流程如下：

(2) 將2個(gè)金字塔特征送入外觀流估計(jì)網(wǎng)絡(luò)，預(yù)測(cè)*和I之間的外觀流T，用其扭曲I得到扭曲服裝T；

(3) 串聯(lián)扭曲服裝T和扭曲服裝掩膜、人物圖像保留區(qū)域和手臂皮膚的密集姿勢(shì)作為試衣網(wǎng)絡(luò)的輸入，在真值監(jiān)督下合成試衣圖像。

2.3 扭曲模塊

扭曲模塊由金字塔特征提取網(wǎng)絡(luò)(pyramid feature extraction network，PFEN)和外觀流估計(jì)網(wǎng)絡(luò)(appearance flow estimation network，AFEN)組成，用于預(yù)測(cè)服裝與人物之間的像素級(jí)對(duì)應(yīng)關(guān)系。

扭曲模塊的目標(biāo)函數(shù)L包括扭曲服裝與上衣真值之間的像素級(jí)1損失、感知損失L、總變分損失L和二階平滑損失L，即

2.4 試衣模塊

試衣模塊采用Res-UNet[23]，也是一個(gè)10層U-net結(jié)構(gòu)，只是在每個(gè)卷積后添加了2個(gè)殘差塊，其設(shè)計(jì)使試衣網(wǎng)絡(luò)能夠保留更多的扭曲服裝和人物細(xì)節(jié)。試衣模塊采用端到端訓(xùn)練，在試衣模塊訓(xùn)練的同時(shí)對(duì)扭曲模塊進(jìn)行微調(diào)，使扭曲模塊的扭曲效果更利于合成真實(shí)感的試衣圖像。試衣模塊的目標(biāo)函數(shù)L包括試衣圖像與真實(shí)圖像之間的像素級(jí)1和感知損失L，即

對(duì)于學(xué)生網(wǎng)絡(luò)的試衣模塊，本文還引入了額外的皮膚生成損失，即

綜上所述，試衣模塊端到端訓(xùn)練的總損失為扭曲損失L和試衣?lián)p失L的加權(quán)和，即

2.5 兩階段可調(diào)節(jié)感知蒸餾

由于導(dǎo)師網(wǎng)絡(luò)的輸入包含人體語(yǔ)義分割、密集姿勢(shì)和姿勢(shì)熱圖等解析信息，而學(xué)生網(wǎng)絡(luò)的輸入僅是人物圖像和服裝圖像。因此，在一般情況下，導(dǎo)師網(wǎng)絡(luò)提取的特征通常包含更豐富的語(yǔ)義信息，估計(jì)的外觀流和輸出的感知代碼也更準(zhǔn)確，其均可用于指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練。但是，如前文所述，當(dāng)解析結(jié)果不準(zhǔn)確時(shí)，導(dǎo)師網(wǎng)絡(luò)可能提供錯(cuò)誤的指導(dǎo)。為此，本文設(shè)計(jì)了可調(diào)節(jié)扭曲蒸餾損失L和試衣蒸餾損失L。L還包括金字塔特征蒸餾損失L和外觀流特征蒸餾損失L，即

在學(xué)生網(wǎng)絡(luò)中，扭曲模塊的訓(xùn)練使用L，試衣模塊的端到端訓(xùn)練使用L和L。2種蒸餾損失均以提升扭曲服裝和試衣圖像的感知質(zhì)量為目的，因此稱之為TS-APD。所謂可調(diào)節(jié)蒸餾，是當(dāng)導(dǎo)師網(wǎng)絡(luò)的輸出質(zhì)量高于學(xué)生網(wǎng)絡(luò)時(shí)(即T與I之間的1損失小于S與I之間的1損失，T與之間的1損失小于S與之間的1損失)，才對(duì)導(dǎo)師網(wǎng)絡(luò)進(jìn)行知識(shí)蒸餾。這種蒸餾方式使學(xué)生網(wǎng)絡(luò)不僅能準(zhǔn)確學(xué)習(xí)導(dǎo)師網(wǎng)絡(luò)的先進(jìn)知識(shí)，且能避免導(dǎo)師網(wǎng)絡(luò)的錯(cuò)誤指導(dǎo)。

3 實(shí)驗(yàn)結(jié)果和分析

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)集

在常用的VITON數(shù)據(jù)集上對(duì)最新方法(CP- VTON[9]，CP-VTON+[10]，ACGPN[11]和PF-AFN[13])及本文算法的不同版本進(jìn)行了實(shí)驗(yàn)。VITON包含14 221個(gè)圖像對(duì)的訓(xùn)練集和2 032個(gè)測(cè)試集，每個(gè)圖像對(duì)包含一張人物圖像和一張服裝圖像，分辨率為256×192。此外，數(shù)據(jù)集中還包含密集姿勢(shì)、人體語(yǔ)義標(biāo)簽、姿勢(shì)關(guān)鍵點(diǎn)等解析信息，用于基于解析器方法的訓(xùn)練和測(cè)試。

3.1.2 訓(xùn)練參數(shù)

本文方法包括4個(gè)訓(xùn)練階段網(wǎng)絡(luò)：導(dǎo)師扭曲、導(dǎo)師試衣、學(xué)生扭曲和學(xué)生試衣。其訓(xùn)練周期分別為100，100，200，100，初始學(xué)習(xí)率為10-5，在分別訓(xùn)練50，50，100，50個(gè)周期后逐步衰減到0。損失函數(shù)的權(quán)重分別設(shè)置為：=0.5，=0.2，2=6=8=0.2，1=5=1，3=0.01，4=7=6，=0.04，=1。

3.1.3 評(píng)價(jià)指標(biāo)

本文采用FID (Fréchet inception distance)[24]作為評(píng)價(jià)指標(biāo)，捕捉試衣圖像與參考人物的相似性距離，F(xiàn)ID評(píng)分越低，表明生成質(zhì)量越高。此外，本文引入了試衣圖像的姿勢(shì)關(guān)鍵點(diǎn)正確率PCKh指標(biāo)[25]，通過(guò)計(jì)算試衣圖像的姿勢(shì)關(guān)鍵點(diǎn)與參考人物的姿勢(shì)關(guān)鍵點(diǎn)匹配程度，間接反映試衣圖像的生成質(zhì)量，其評(píng)分越高則質(zhì)量越好。

為了評(píng)價(jià)試衣圖像對(duì)原人物細(xì)節(jié)的保留能力，本文還提出了試衣保留區(qū)域的1指標(biāo)。首先，使用預(yù)訓(xùn)練網(wǎng)絡(luò)對(duì)參考人物和試衣圖像進(jìn)行上衣分割；然后，對(duì)試衣圖像和參考人物進(jìn)行掩膜，得到試衣和原圖像保留區(qū)域進(jìn)行2個(gè)上衣分割，其保留區(qū)域完全去除了試衣前后的上衣區(qū)域；最后，將2個(gè)保留區(qū)域的1誤差作為試衣圖像保留能力的評(píng)價(jià)指標(biāo)，其評(píng)分越低誤差效果則越清晰。

盡管上述指標(biāo)在一定程度上反映了圖像生成質(zhì)量，但是不能反映目標(biāo)服裝是否進(jìn)行了自然的扭曲，因此本文進(jìn)一步進(jìn)行了用戶研究。首先，從VITON測(cè)試集中隨機(jī)選取300對(duì)圖像，由CP-VTON，CP-VTON+，ACGPN，PF-AFN和本文方法各生成300張圖像；然后，將這些圖像組合成4組，每組包含各300張本文和另一種方法生成的圖像，再加上對(duì)應(yīng)的目標(biāo)服裝和參考人物；最后，邀請(qǐng)30位專業(yè)的計(jì)算機(jī)視覺(jué)研究者，通過(guò)在線問(wèn)卷的方式進(jìn)行調(diào)研，給定參考人物和目標(biāo)服裝，要求用戶選擇視覺(jué)質(zhì)量更好的試衣圖像。

3.2 定性分析

本文方法與其他方法在VITON數(shù)據(jù)集上的定性結(jié)果如圖3所示。當(dāng)服裝形狀差異較大時(shí)，基于解析器的方法(CP-VTON，CP-VTON+，ACGPN)往往傾向于生成原服裝形狀的試衣結(jié)果，如圖3(a)第1排和圖3(b)第3排，試衣圖像的服裝邊緣與原服裝形狀相似，造成圖像失真。這種對(duì)解析信息的依賴性也影響身體區(qū)域的合成和底層服裝的保留，如手臂的缺失和裙子上的偽影。由于PF-AFN方法只對(duì)扭曲模塊的外觀流進(jìn)行知識(shí)蒸餾，忽略了試衣模塊，其試衣結(jié)果也出現(xiàn)像素溢出和紋理模糊，一些小的服裝圖案難以合成。本文方法采用更加精準(zhǔn)的語(yǔ)義分割，能夠有效避免上述問(wèn)題，生成高度逼真的試衣圖像。即使遇到復(fù)雜的服裝形狀，面對(duì)衣領(lǐng)、紐扣或斑點(diǎn)紋理等小目標(biāo)，本文方法也能夠做到有效地生成。

3.3 本文與PF-AFN方法視覺(jué)比較

圖4顯示了本文和PF-AFN方法的更多視覺(jué)比較。與PF-AFN方法相比，本文方法具有以下優(yōu)勢(shì)：①準(zhǔn)確合理的服裝分割去除了衣領(lǐng)和下擺的服裝背景，避免了淺色服裝的分割噪聲，是生成真實(shí)感試衣圖像的前期保障；②精確細(xì)致的上衣分割為服裝扭曲提供了高質(zhì)量監(jiān)督，防止原服裝殘留和像素溢出，也提高了模型對(duì)復(fù)雜服裝形狀的合成能力；③彌補(bǔ)了單一模塊知識(shí)蒸餾的不足，使模型有能力生成更好感知質(zhì)量和豐富的細(xì)節(jié)試衣圖像(如皮膚和手指)。

3.4 定量分析

不同算法的定量結(jié)果和用戶評(píng)價(jià)結(jié)果見表1。與其他方法相比，本文方法具有明顯的優(yōu)勢(shì)，且獲得了FID，1和PCKh最高評(píng)分。即使對(duì)比最先進(jìn)的PF-AFN方法，也有77.02%的用戶認(rèn)為本文生成圖像質(zhì)量更好，這充分證明了本文方法的優(yōu)越性。

圖3 本文與其他方法的定性比較((a)本文方法；(b)其他方法)

圖4 本文與PF-AFN方法的更多視覺(jué)比較((a)本文方法；(b) PF-AFN方法)

3.5 消融研究

為了評(píng)價(jià)本文方法各部分的有效性，本文設(shè)計(jì)了一組消融實(shí)驗(yàn)：去除服裝分割(采用原服裝分割)、去除上衣分割(采用原上衣分割)、去除蒸餾和使用固定蒸餾。圖5展示了消融研究的定性結(jié)果。將服裝前景分割替換為原服裝分割時(shí)，生成的圖像保留服裝背景信息，造成失真。替換上衣分割為原上衣標(biāo)簽時(shí)，出現(xiàn)服裝邊界模糊問(wèn)題。去除蒸餾或使用固定蒸餾都會(huì)影響圖像的感知質(zhì)量，造成局部紋理模糊或部分皮膚像素溢出。

圖5 本文方法消融研究的定性結(jié)果比較((a)本文方法；(b)消融方法)

在不同的定量指標(biāo)上，各個(gè)消融版本均出現(xiàn)不同程度的分?jǐn)?shù)下降，說(shuō)明本文方法的每個(gè)設(shè)計(jì)均起著重要作用，即使是評(píng)分略低的消融版本也好于目前最先進(jìn)的PF-AFN方法(表2)。

表1 本文方法消融研究的定量結(jié)果比較

表2 不同方法的定量結(jié)果比較和人類評(píng)價(jià)百分比(%)

4 結(jié)束語(yǔ)

本文方法在不需要人體解析的情況下能生成高度逼真的試衣圖像。首先預(yù)訓(xùn)練服裝前景和上衣2個(gè)語(yǔ)義分割網(wǎng)絡(luò)；然后用生成的服裝和上衣分割訓(xùn)練基于解析器的“導(dǎo)師”網(wǎng)絡(luò)；最后將“導(dǎo)師”網(wǎng)絡(luò)輸出的假圖像作為“學(xué)生”網(wǎng)絡(luò)的輸入，在真實(shí)圖像的監(jiān)督下，本文方法訓(xùn)練無(wú)解析器的“學(xué)生”網(wǎng)絡(luò)。在VITON上的大量實(shí)驗(yàn)結(jié)果表明，本文方法在定量指標(biāo)、視覺(jué)質(zhì)量和用戶研究方面均顯著優(yōu)于其他方法。

[1] GUAN P, REISS L, HIRSHBERG D A, et al. Drape[J]. ACM Transactions on Graphics, 2012, 31(4): 1-10.

[2] CHEN W Z, WANG H, LI Y Y, et al. Synthesizing training images for boosting human 3D pose estimation[C]//2016 Fourth International Conference on 3D Vision. New York: IEEE Press, 2016: 479-488.

[3] YANG S, AMBERT T, PAN Z R, et al. Detailed garment recovery from a single-view image[EB/OL]. [2021-07-30]. https://arxiv.org/abs/1608.01250.abs/1608.01250.

[4] PONS-MOLL G, PUJADES S, HU S, et al. ClothCap[J]. ACM Transactions on Graphics, 2017, 36(4): 1-15.

[5] 石敏, 魏育坤, 王俊錚, 等. 面向不同體型特征的服裝款式遷移方法[J]. 圖學(xué)學(xué)報(bào), 2019, 40(5): 866-871.

SHI M, WEI Y K, WANG J Z, et al. Transfer method of body shape-oriented garment style[J]. Journal of Graphics, 2019, 40(5): 866-871 (in Chinese).

[6] JETCHEV N, BERGMANN U. The conditional analogy GAN: swapping fashion articles on people images[C]//2017 IEEE International Conference on Computer Vision Workshops. New York: IEEE Press, 2017: 2287-2292.

[7] HAN X T, WU Z X, WU Z, et al. VITON: an image-based virtual try-on network[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 7543-7552.

[8] HAN X T, HUANG W L, HU X J, et al. ClothFlow: a flow-based model for clothed person generation[C]//2019 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2019: 10470-10479.

[9] WANG B C, ZHENG H B, LIANG X D, et al. Toward characteristic-preserving image-based virtual try-on network[C]//Computer Vision - ECCV 2018. Heidelberg: Springer, 2018: 607-623.

[10] MINAR M R, TUAN T T, AHN H, et al. CP-VTON+: clothing shape and texture preserving image-based virtual try-on[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshop. New York: IEEE Press, 2020: 1-4.

[11] YANG H, ZHANG R M, GUO X B, et al. Towards photo-realistic virtual try-on by adaptively generating- preserving image content[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 7847-7856.

[12] ISSENHUTH T, MARY J, CALAUZèNES C. Do not mask what you do not need to mask: a parser-free virtual try-on[C]// 2020 European Conference on Computer Vision. Heidelberg: Springer, 2020: 619-635.

[13] GE Y Y, SONG Y B, ZHANG R M, et al. Parser-free virtual try-on via distilling appearance flows[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2021: 8481-8489.

[14] HINTON G, VINYALS O, DEAN J. Distilling the knowledge in a neural network[EB/OL]. [2021-07-30]. https://arxiv.org/ abs/1503.02531.

[15] RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[C]// Medical image computing and computer-assisted intervention. Heidelberg: Springer, 2015: 234-241.

[16] GüLER R A, NEVEROVA N, KOKKINOS I. DensePose: dense human pose estimation in the wild[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 7297-7306.

[17] CAO Z, SIMON T, WEI S H, et al. Realtime multi-person 2D pose estimation using part affinity fields[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 1302-1310.

[18] LIN T Y, DOLLáR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 936-944.

[19] DOSOVITSKIY A, FISCHER P, ILG E, et al. FlowNet: learning optical flow with convolutional networks[C]//2015 IEEE International Conference on Computer Vision. New York: IEEE Press, 2015: 2758-2766.

[20] DENG J, DONG W, SOCHER R, et al. ImageNet: a large-scale hierarchical image database[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2009: 248-255.

[21] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2021-07-30]. https://arxiv.org/abs/1409.1556.

[22] SUN D Q, ROTH S, BLACK M J. A quantitative analysis of current practices in optical flow estimation and the principles behind them[J]. International Journal of Computer Vision, 2014, 106(2): 115-137.

[23] DIAKOGIANNIS F I, WALDNER F, CACCETTA P, et al. ResUNet-a: a deep learning framework for semantic segmentation of remotely sensed data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 162: 94-114.

[24] HEUSEL M, RAMSAUER H, UNTERTHINER T, et al. GANs trained by a two time-scale update rule converge to a local Nash equilibrium[C]//NIPS’17: The 31th International Conference on Neural Information Processing Systems. Cambridge: MIT Press, 2017: 6629-6640.

[25] ZHU Z, HUANG T T, SHI B G, et al. Progressive pose attention transfer for person image generation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2019: 2342-2351.

Two-stage adjustable perceptual distillation network for virtual try-on

CHEN Bao-yu, ZHANG Yi, YU Bing-bing, LIU Xiu-ping

(School of Mathematical Sciences, Dalian University of Technology, Dalian Liaoning 116024, China)

It is known that image-based virtual try-on can fit a target garment image to a person image, and that this task has gained much attention in recent years for its wide applications in e-commerce and fashion image editing. In response to the characteristics of the task and the shortcomings of existing approaches, a method of two-stage adjustable perceptual distillation (TS-APD) was proposed in this paper. This method consisted of 3 steps. Firstly, two semantic segmentation networks were pre-trained on garment image and person image respectively, thus generating more accurate garment foreground segmentation and upper garment segmentation. Then, these two semantic segmentations and other parsing information were employed to train a parser-based “tutor” network. Finally, a parser-free “student” network was trained through a two-stage adjustable perceptual distillation scheme, taking the fake image generated by the “tutor” network as input and the original real person images as supervision. It can be perceived that the “student” model with distillation is able to produce high-quality try-on images without human parsing. The experimental results on VITON datasets show that this algorithm can achieve 9.10 FID score, 0.015 31score, and 0.985 6 PCKh score, outperforming the existing methods. The user survey also shows that compared with other methods, the images generated by the proposed method are more photo-realistic, with all the preference scores reaching more than 77%.

virtual try-on; knowledge distillation; image segmentation; image generation; adjustable factor

TP 391

10.11996/JG.j.2095-302X.2022020316

A

2095-302X(2022)02-0316-08

2021-08-31；

2021-09-17

國(guó)家自然科學(xué)基金項(xiàng)目(61976040)

陳寶玉(1992–)，男，博士研究生。主要研究方向?yàn)槿祟愖藙?shì)轉(zhuǎn)移和虛擬試衣。E-mail：chenby047@mail.dlut.edu.cn

劉秀平(1964–)，女，教授，博士。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)等。E-mail：xpliu@dlut.edu.cn

31 August，2021；

17 September，2021

National Natural Science Foundation of China (61976040)

CHEN Bao-yu (1992–), PhD candidate. His main research interests cover human pose transfer and virtually try-on. E-mail：chenby047@mail.dlut.edu.cn

LIU Xiu-ping (1964–), professor, Ph.D. Her main research interests cover computer graphics, computer vision, etc. E-mail：xpliu@dlut.edu.cn