趙娟 魏雪霞 徐增波

摘要： 虛擬試衣是一種能夠使用戶不用進(jìn)行真實(shí)試穿，就可查看到試衣后視覺效果的技術(shù)。研究者多關(guān)注于3D虛擬試衣，該方法雖然可以精準(zhǔn)地控制人體與服裝變形，但是存在使用成本高、建模復(fù)雜度高、專業(yè)技術(shù)性強(qiáng)等不足和局限，無法真正用于網(wǎng)上服裝銷售。最新研究旨在利用深度學(xué)習(xí)來解決虛擬試衣問題，其中基于深度學(xué)習(xí)的2D虛擬試衣是目前主要的研究熱點(diǎn)，其關(guān)鍵技術(shù)主要涉及人體解析、服裝變形、圖像合成三個(gè)方面。文章通過技術(shù)分析，指出現(xiàn)有技術(shù)存在的問題并展望未來。

關(guān)鍵詞： 虛擬試衣;深度學(xué)習(xí);人體解析;服裝變形;圖像合成

中圖分類號(hào)： TS941.17

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1001-7003（2021）09-0048-05

引用頁(yè)碼： 091108

DOI： 10.3969/j.issn.1001-7003.2021.09.008（篇序）

Research progress of 2D virtual fitting technology based on deep learning

ZHAO Juan， WEI Xuexia， XU Zengbo

（Fashion College， Shanghai University of Engineering and Technology， Shanghai 201620， China）

Abstract：Virtual fitting refers to a type of technology that allows users to try on items virtually and see the visual effect afterwards. In the past， 3D virtual fitting received more focus among researchers. Despite its advantages of accurately controlling the human body and clothing warping， it cannot be truly adopted for online clothing sales due to its deficiencies and limitations， such as high cost， high modeling complexity， strong professional and technical requirements. The latest research aims to address virtual fitting issues by virtue of deep learning， which mainly focuses on 2D virtual fitting at present. Its core technologies mainly involve human parsing， clothing warping and image synthesis. This paper points out the existing technical problems and proposes the future development prospects through technical analysis.

Key words：virtual fitting; deep learning; human parsing; clothing warping; image synthesis

收稿日期： 20210103

修回日期： 20210821

作者簡(jiǎn)介： 趙娟（1997），女，碩士研究生，研究方向?yàn)榉b數(shù)字化。通信作者：徐增波，教授，xuzengbo@aliyun.com。

網(wǎng)絡(luò)環(huán)境為人們的生活提供了便捷，網(wǎng)上購(gòu)衣已成為現(xiàn)階段人們?nèi)粘Ｉ钕M(fèi)的主要方式之一。但是，服裝的自身特點(diǎn)決定了其無法用規(guī)格、文字及照片等方式準(zhǔn)確地將特征信息描述清楚，導(dǎo)致消費(fèi)者根據(jù)網(wǎng)上提供的有限信息難以判斷想要購(gòu)買服裝的合體性及舒適性等[1]。隨著基于互聯(lián)網(wǎng)的虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，虛擬試衣已經(jīng)成為服裝電商平臺(tái)推出的核心特色。它順應(yīng)了網(wǎng)絡(luò)營(yíng)銷的發(fā)展趨勢(shì)，拓寬了電子商務(wù)的銷售渠道，促進(jìn)了服裝行業(yè)的發(fā)展[2]。

受此啟發(fā)，TriMirror等不同公司開發(fā)了各種虛擬試衣間/鏡子。然而，他們背后的關(guān)鍵使能因素是使用身體形狀的3D測(cè)量，或者由深度相機(jī)直接捕獲[3]，或者使用訓(xùn)練數(shù)據(jù)從2D圖像推斷[4-5]。雖然這些三維建模技術(shù)能夠在人身上實(shí)現(xiàn)逼真的服裝模擬，但安裝硬件和收集三維標(biāo)注數(shù)據(jù)的高成本抑制了它們的大規(guī)模應(yīng)用。而利用圖像合成技術(shù)則可以降低零售商的成本。在計(jì)算機(jī)視覺中，條件生成對(duì)抗網(wǎng)絡(luò)在圖像生成[6-7]和圖像到圖像翻譯[8]方面顯示了令人印象深刻的結(jié)果。特別是，它們使對(duì)抗損失最小化，使得由生成器產(chǎn)生的樣本與由鑒別器根據(jù)輸入信號(hào)確定的真實(shí)樣本不可區(qū)分[9-14]。例如，F(xiàn)ashionGAN[15]以描述不同服裝的句子為條件在給定人像上生成新服裝。CAGAN[16]提出了一個(gè)條件類比生成對(duì)抗網(wǎng)絡(luò)，以成對(duì)的服裝為條件合成來人像。然而，這些網(wǎng)絡(luò)只能粗略地轉(zhuǎn)換對(duì)象類和屬性等信息，無法處理圖形細(xì)節(jié)和適應(yīng)較大的幾何變化。這限制了他們?cè)谔摂M試衣等任務(wù)中的能力。為了解決這些限制，Han等[17]提出了一個(gè)基于圖像的虛擬試衣網(wǎng)絡(luò)VITON，關(guān)注服裝區(qū)域，并處理虛擬試穿服裝變形。

為了生成照片般逼真的試穿效果和豐富的服裝細(xì)節(jié)，研究者在VITON基礎(chǔ)上不斷進(jìn)行了深入研究，但目前尚缺少對(duì)該技術(shù)的總結(jié)工作。本文將從人體解析、服裝變形和圖像合成三方面對(duì)其進(jìn)行分析，分析現(xiàn)有技術(shù)存在的共性問題，并比較已有方法在各方面的優(yōu)劣表現(xiàn)，旨在為2D虛擬試衣技術(shù)的發(fā)展提供理論指導(dǎo)。

1人體解析

根據(jù)人體（各部位）、頭發(fā)、人臉、服裝和目標(biāo)姿態(tài)的近似形狀進(jìn)行人體分析，可以有效地指導(dǎo)人體各部位精確區(qū)域的合成。人體解析可以被用于人體各部位的精細(xì)分割[18]。CHEN等[19]使用整體模型和人體部位檢測(cè)和表示對(duì)象，將對(duì)象分割擴(kuò)展到對(duì)象零件級(jí)分割，并發(fā)布了人體像素級(jí)零件注釋數(shù)據(jù)集PASCALPersonPart。后來，GONG等[20-21]引入了一個(gè)新的基準(zhǔn)LIP（Look into Person）來進(jìn)行人體解析和服裝分割。利用LIP可以提取覆蓋人體圖像中服裝部分的感興趣區(qū)域。為了達(dá)到更好的分割精度，還需要充分利用人體結(jié)構(gòu)信息。目前，最常見的理解人體結(jié)構(gòu)信息方法是人體姿態(tài)估計(jì)，將它與人體解析模型有效結(jié)合到一起，能夠有效地提升人體四肢相關(guān)部件的分割性能[22]。

1.1人體分割

服裝的外觀很大程度上取決于體型（高矮胖瘦），因此如何轉(zhuǎn)移目標(biāo)服裝取決于不同身體部位的位置和體型。VITON&CPVTON[23]提出了一個(gè)服裝不可知人體表征，以姿勢(shì)、體型、面部和頭發(fā)作為約束合成的先決條件。使用人體解析器計(jì)算人體分割圖，其中不同的區(qū)域代表人體的不同部分，如手臂、腿等。進(jìn)一步將分割圖轉(zhuǎn)換成一個(gè)單通道的二進(jìn)制掩碼，其中1表示人體（不包含面部和頭發(fā)），0表示其他區(qū)域。使用同一個(gè)人體解析器提取人臉和頭發(fā)區(qū)域的RGB通道，在生成新圖像時(shí)注入身份信息。直接從用戶圖像得到的二進(jìn)制掩碼被下采樣到較低的分辨率（16×12），以避免當(dāng)身體形狀和目標(biāo)服裝沖突時(shí)出現(xiàn)偽影。為了在處理服裝和姿勢(shì)時(shí)保持人的結(jié)構(gòu)一致性，MGVTON[24]以期望姿勢(shì)、目標(biāo)服裝、體型、臉和頭發(fā)的掩碼為條件設(shè)計(jì)了一個(gè)姿勢(shì)引導(dǎo)的人體解析網(wǎng)絡(luò)。由于基線方法（VITON&CPVTON）直接將用戶圖像和目標(biāo)服裝圖像輸入網(wǎng)絡(luò)未能保留人的某些部分（例如褲子的顏色和頭發(fā)的樣式被替換）。MGVTON利用人體解析圖來解決這些問題，可以幫助生成器在零件級(jí)別上合成高質(zhì)量圖像。ClothFlow[25]是一種基于外觀流的人物服裝圖像生成模型，該模型能夠合成特定姿態(tài)的人物服裝圖像，以用于基于姿態(tài)引導(dǎo)的人物圖像生成和虛擬試衣。為了合成用戶圖像，一個(gè)好的實(shí)踐方法是先預(yù)測(cè)一個(gè)語(yǔ)義布局，它為外觀的生成提供結(jié)構(gòu)約束[26-28]。使用姿態(tài)估計(jì)器和人體解析器可以獲得用于訓(xùn)練目標(biāo)布局生成器的人體姿態(tài)和布局表示。條件式人體布局生成器以目標(biāo)姿態(tài)為條件預(yù)測(cè)目標(biāo)人體的分割布局信息，可以把形狀和外觀的生成分離，使得ClothFlow生成的結(jié)果在空間上更具一致性。

1.2姿勢(shì)表示

人體姿勢(shì)的變化會(huì)導(dǎo)致服裝的不同變形。VITON&CPVTON使用了基于關(guān)鍵點(diǎn)的人體姿態(tài)估計(jì)器[29]顯式地建模姿勢(shì)信息，通過計(jì)算18個(gè)關(guān)鍵點(diǎn)的坐標(biāo)表示人體姿勢(shì)。為了利用它們的空間布局，每個(gè)關(guān)鍵點(diǎn)被進(jìn)一步轉(zhuǎn)換為熱圖，關(guān)鍵點(diǎn)周圍的11×11鄰域在其他地方用1和0填充。來自所有關(guān)鍵點(diǎn)的熱圖被進(jìn)一步疊加成18通道姿態(tài)熱圖（圖1）。然而，稀疏的關(guān)鍵點(diǎn)不能為人像生成提供足夠的姿勢(shì)信息。為了實(shí)現(xiàn)更準(zhǔn)確的姿態(tài)估計(jì)，M2ETON[30]使用稠密的人體姿態(tài)估計(jì)方法DensePose將每個(gè)像素映射到一個(gè)稠密的姿態(tài)點(diǎn)上，建立2D圖像到人體3D表面的對(duì)應(yīng)關(guān)系。該方法預(yù)測(cè)有24個(gè)部分的劃分，對(duì)于每個(gè)部分它都有人體表面的UV參數(shù)化，它的網(wǎng)格坐標(biāo)提供了密集的偽3D信息，可以用來表示豐富的姿勢(shì)細(xì)節(jié)（圖2[31]）。

2服裝變形

服裝變形的目的是根據(jù)人體姿勢(shì)，使服裝圖像在視覺上自然變形，以適應(yīng)用戶圖像中服裝區(qū)域的形狀，并保持服裝的特征。研究者使用了兩種不同范式的方法考慮幾何變形來獲得更好的外觀效果，即基于形變的方法和基于DensePose的方法。

其中，基于形變的方法通過估計(jì)薄板樣條插值TPS（Thin Plate Spline）或仿射的變換進(jìn)行服裝變形。例如，TPS插值：給定兩張圖片中一些相互對(duì)應(yīng)的控制點(diǎn)，TPS可以將其中一個(gè)圖片進(jìn)行特定的形變，使得其控制點(diǎn)可以與另一張圖片的控制點(diǎn)重合。它通過扭曲圖片來保證有多個(gè)點(diǎn)能夠同時(shí)被映射，同時(shí)最小化彎曲能量，可以對(duì)表面進(jìn)行柔性的變形（圖3[32]）。空間變換網(wǎng)絡(luò)STN（Spatial Transformer Network）：STN分為參數(shù)預(yù)測(cè)、坐標(biāo)映射、像素采集三部分，作為一個(gè)特殊的網(wǎng)絡(luò)模塊可嵌入到網(wǎng)絡(luò)的任意層中進(jìn)行空間變換，增強(qiáng)模型的空間不變性[33]。幾何匹配模塊GMM（Geometric Matching Module）：經(jīng)典的相似度估計(jì)方法，雖然效果不錯(cuò)但是無法應(yīng)對(duì)場(chǎng)景變換較大及復(fù)雜的幾何形變的情況。為應(yīng)對(duì)這兩點(diǎn)不足，Rocco等[34]提出使用CNN（Convolutional Neural Network）提取特征以應(yīng)對(duì)這兩點(diǎn)不足。受其啟發(fā)，CPVTON設(shè)計(jì)了GMM來變形目標(biāo)服裝，使它與人體大致對(duì)齊。該模塊由四個(gè)部分組成：1）兩個(gè)分別提取人體和目標(biāo)服裝高級(jí)特征的網(wǎng)絡(luò);2）相關(guān)層將兩個(gè)特征組合成單個(gè)張量，作為回歸器網(wǎng)絡(luò)的輸入;3）預(yù)測(cè)空間變換參數(shù)θ的回歸網(wǎng)絡(luò);4）一個(gè)TPS變換模塊，用于將服裝變形到輸出。在多姿態(tài)引導(dǎo)的服裝變形中，MGVTON通過服裝圖像的掩碼和身體形狀的掩碼作為輸入進(jìn)行特征提取。簡(jiǎn)單地訓(xùn)練STN和應(yīng)用TPS不能確保精確的變換，特別是在處理紋理復(fù)雜和顏色豐富的衣服時(shí)，容易導(dǎo)致錯(cuò)位和模糊的結(jié)果。然而，盡管這兩種幾何建模技術(shù)取得了很大的進(jìn)展，但它們的自由度有限（例如仿射為6，TPS為2×5×5），這導(dǎo)致當(dāng)發(fā)生大的幾何變化時(shí)，變換估計(jì)不準(zhǔn)確且不自然。

基于DensePose的方法是以人體的DensePose描述符代替?zhèn)鹘y(tǒng)2D關(guān)鍵點(diǎn)作為姿態(tài)引導(dǎo)人物生成網(wǎng)絡(luò)的輸入。DensePose可以表征人體的3D幾何信息，這就使得即使空間形變較大，也容易獲得源圖像和目標(biāo)服裝圖像之間的紋理對(duì)應(yīng)。然而，將2D圖像紋理扭曲到預(yù)定義的基于表面的坐標(biāo)系會(huì)進(jìn)一步引入偽影。例如，可能在源圖像中不可見的位置產(chǎn)生孔洞，這需要通過復(fù)雜的紋理修復(fù)算法來解決。此外，由于估計(jì)DensePose極具挑戰(zhàn)性，最終的生成結(jié)果通常會(huì)受到DensePose估計(jì)結(jié)果好壞的影響。因此，與基于形變的方法相比，DensePose的遷移結(jié)果看起來真實(shí)感較差。為了解決這兩種方法中存在的問題，ClothFlow提出了基于外觀流的方法，該方法可以看作是一種基于變形的方法。然而，與大多數(shù)利用少自由度幾何變換的基于變形的方法相比，ClothFlow估計(jì)源圖像至目標(biāo)圖像的密集流場(chǎng)（例如2×256×256），在捕捉空間變形時(shí)具有高靈活性和準(zhǔn)確性。

3圖像合成

現(xiàn)有方法通過使用變形策略將目標(biāo)服裝轉(zhuǎn)移到人身上合成虛擬試穿人像。VITON使用形狀上下文匹配估計(jì)TPS變換參數(shù)直接計(jì)算變換映射。CPVTON引入了一種學(xué)習(xí)方法來估計(jì)轉(zhuǎn)換參數(shù)。CPVTON輸入人體表征和變形后的衣服圖片，輸出一個(gè)合成掩碼和粗糙人像圖片。再用合成掩碼引導(dǎo)粗糙人像圖片和變形后的服裝圖片融合在一起生成虛擬試衣圖像。由于像素錯(cuò)位會(huì)導(dǎo)致產(chǎn)生模糊的結(jié)果，MGVTON設(shè)計(jì)了一個(gè)深度扭曲生成對(duì)抗網(wǎng)絡(luò)，將目標(biāo)服裝外觀扭曲到合成的人體解析圖中，緩解了輸入人體姿態(tài)和目標(biāo)人體姿態(tài)之間的錯(cuò)位問題。通過使用仿射和TPS變換從扭曲瓶頸層的特征圖，而不是僅使用仿射直接處理像素。由于用于幾何匹配的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的泛化能力，該方法直接使用其預(yù)訓(xùn)練模型來估計(jì)參考解析和合成解析之間的轉(zhuǎn)換映射[34]。然后，通過使用這個(gè)變換映射來扭曲移除服裝的用戶圖像，大多數(shù)現(xiàn)有的虛擬試穿應(yīng)用程序都需要干凈的服裝圖像。相反，M2ETON提出了將用戶圖像的身體部分與改變姿勢(shì)的模特的服裝部分結(jié)合進(jìn)行試衣，而不需要任何干凈的服裝圖像。為了獲得擬合過程的感興趣區(qū)域，首先通過使用LIPSSL預(yù)處理網(wǎng)絡(luò)來生成服裝掩碼，再使用DensePose估計(jì)模型來生成上身區(qū)域掩碼，然后將這兩個(gè)區(qū)域合并成一個(gè)聯(lián)合掩碼。為了提高感興趣區(qū)域的平滑度，把聯(lián)合掩碼作為ground truth來訓(xùn)練感興趣區(qū)域生成網(wǎng)絡(luò)。

然而，大多數(shù)方法[35-38]都依賴于人體分割來實(shí)現(xiàn)虛擬試穿的學(xué)習(xí)過程。訓(xùn)練試穿模型通常需要高質(zhì)量的人體解析，因?yàn)樯晕㈠e(cuò)誤的分割會(huì)導(dǎo)致非常不現(xiàn)實(shí)的試衣圖像，為了減少使用精確的掩碼來指導(dǎo)試穿模型的依賴性，ISSENHUTH等[39-40]提出了第一個(gè)無需解析器的網(wǎng)絡(luò)WUTON。不足的是，其模型設(shè)計(jì)中有一個(gè)不可避免的弱點(diǎn)，WUTON采用了傳統(tǒng)的知識(shí)提取方案，讓無解析器“學(xué)生”直接模仿基于解析器的“教師”的試穿能力。然而，基于解析器的“教師”生成的圖像具有大的偽影，因此使用它們作為“教師”知識(shí)來監(jiān)督學(xué)生模型會(huì)產(chǎn)生不令人滿意的結(jié)果，因?yàn)椤皩W(xué)生”的圖像質(zhì)量受到基于解析器的模型的限制。為了解決上述問題，GE等[41]提出了PFAFN，將偽人物圖像（導(dǎo)師知識(shí)）作為無解析器學(xué)生模型的輸入，由原始真實(shí)人物圖像（教師知識(shí)）監(jiān)督，使“學(xué)生”模仿原始真實(shí)圖像。

4結(jié)語(yǔ)

近年來，基于圖像的虛擬試衣得到了廣泛的關(guān)注。隨著深度學(xué)習(xí)的發(fā)展，該技術(shù)取得了一定的成果。本文綜述了現(xiàn)有的基于深度學(xué)習(xí)的2D虛擬試衣技術(shù)，從關(guān)鍵技術(shù)著手對(duì)各項(xiàng)虛擬試衣進(jìn)行了分析和總結(jié)，它們各有特點(diǎn)，但還存在一些問題，未來研究可以從以下方面改進(jìn)。

1） 目標(biāo)衣服掩碼不正確。當(dāng)衣服區(qū)域完全可見時(shí)，由于11像素對(duì)應(yīng)百分比很高，因此可以找到良好的映射。然而，當(dāng)衣服被頭發(fā)和手臂遮擋時(shí)，對(duì)于許多像素不存在11映射，這導(dǎo)致了TPS轉(zhuǎn)換無法學(xué)習(xí)忽略遮擋的服裝區(qū)域。除了上述由頭發(fā)和手臂引起的遮擋外，過多的視野和褶皺也會(huì)導(dǎo)致服裝不真實(shí)變形，可以訓(xùn)練一種修復(fù)服裝模型，通過空氣和手臂填充被遮擋的區(qū)域。

2） 當(dāng)受試者將手臂放在腹部前時(shí)，長(zhǎng)袖襯衫就會(huì)出現(xiàn)自相交的情況。在這種情況下，TPS變形無法正確處理袖子，可以使用其他圖像變形，例如有界雙諧波變形。但是，問題在于選擇的變形方法需要能夠整合到訓(xùn)練過程中?，F(xiàn)在，由于雙諧波變形需要對(duì)衣服輪廓進(jìn)行三角剖分，并且對(duì)三角剖分可能會(huì)因輪廓而異，因此這似乎非常具有挑戰(zhàn)性。另一種方法是將TPS分別應(yīng)用于每個(gè)衣服部件，例如上袖、下袖和軀干。但是，若某種服裝沒有袖子，那么如何將這些知識(shí)整合到訓(xùn)練神經(jīng)網(wǎng)絡(luò)中呢？這一問題亟待解決。

參考文獻(xiàn)：

[1]徐雪麗. 基于Android平臺(tái)的虛擬試衣關(guān)鍵技術(shù)研究[D]. 西安： 陜西科技大學(xué)， 2014.

XU Xueli. Research on Key Technologies of Virtual Fitting Based on Android Platform[D]. Xian： Shaanxi University of Science and Technology， 2014.

[2]林子琴， 黃弘揚(yáng). 虛擬試衣技術(shù)在服裝網(wǎng)購(gòu)平臺(tái)中的應(yīng)用研究[J]. 投資與合作， 2020（5）： 146148.

LIN Ziqin， HUANG Hongyang. Research on application of virtual fitting technology in clothing online shopping platform[J]. Investment and Cooperation， 2020（5）： 146-148.

[3]SEKINE M， SUGITA K， PERBET F， et al. Virtual fitting by singleshot body shape estimation[C]//International Conference on 3d Body Scanning Technologies. 3DBST， 2014： 406-413.

[4]YANG S， AMBERT T， PAN Z， et al. Detailed garment recovery from a singleview image[DB/OL]. （20160908）[20210715]. https：//arxiv.org/abs/1608.01250v4.

[5]BOGO F， KANAZAWA A， LASSER C， et al. Keep it SMPL： automatic estimation of 3D human pose and shape from a single image[DB/OL]. （20160727）[20210715]. https：//arxiv.org/abs/1607.08128.

[6]REED S， AKATA Z， YAN X C， et al. Generative adversarial text to image synthesis[DB/OL]. （20160605）[20201228]. http：//export.arxiv.org/abs/1605.05396.

[7]LASSNER C， PONSMOLL G， GEHLER P， et al. A generative model of people in clothing[DB/OL]. （20170731）[20201228]. http：//arxiv.org/abs/1705.04098.

[8]ISOLA P， ZHU J Y， ZHOU T H， et al. Imagetoimage translation with conditional adversarial networks[DB/OL]. （20161121）[20201228]. http：//arxiv.org/abs/1611.07004.

[9]ODENA A， OLAH C， SHLENS J. Conditional image synthesis with auxiliary classifier GANs[DB/OL]. （20170720）[20201228]. http：//arxiv.org/abs/1610.09585.

[10]LI M J， HUANG H Z， MA L， et al. Unsupervised imagetoimage translation with stacked cycleconsistent adversarial networks[DB/OL]. （20180728）[20201228]. http：//arxiv.org/abs/1807.08536.

[11]CHOI Y， CHOI M， KIM M， et al. StarGAN： unified generative adversarial networks for multidomain imagetoimage translation[DB/OL]. （20180921）[20201228]. http：//arxiv.org/pdf/1711.09020.

[12]PERARNAU G， WEIJER J V D， RADUCANU B， et al. Invertible conditional GANs for image editing[DB/OL]. （20161119）[20201228]. http：//arxiv.org/pdf/1611.06355.

[13]WANG T C， LIU M Y， ZHU J Y， et al. Highresolution image synthesis and semantic manipulation with conditional GANs[DB/OL]. （20171130）[20201228]. http：//arxiv.org/abs/1711.11585.

[14]REGMI K， BORJI A. Crossview image synthesis using conditional GANs[DB/OL]. （20180329）[20201228]. http：//arxiv.org/abs/1803.03396.

[15]ZHU S Z， FIDLER S， URTASUN R， et al. Be your own Prada： fashion synthesis with structural coherence[DB/OL]. （20171019）[20210531]. https：//arxiv.org/abs/1710.07346.

[16]JETCHEV N， BERGMANN U. The conditional analogy GAN： swapping fashion articles on people images[C]//2017 IEEE International Conference on Computer Vision Workshop（ICCVW）. IEEE， 2017： 2287-2292.

[17]HAN X T， WU Z X， WU Z， et al. VITON： an imagebased virtual tryon network[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2018： 7543-7552.

[18]WU Z H， LIN G S， CAI J F. Keypoint based weakly supervised human parsing[J]. Image and Vision Computing， 2019， 91： 110.

[19]CHEN X J， MOTTAGHI R， LIU X B， et al. Detect what you can： detecting and representing objects using holistic models and body parts[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2014： 1979-1986.

[20]GONG K， LIANG X D， ZHANG D Y， et al. Look into person： selfsupervised structuresensitive learning and a new benchmark for human parsing[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2017： 6757-6765.

[21]LIANG X D， GONG K， SHEN X H， et al. Look into person： joint body parsing & pose estimation network and a new benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019， 41（4）： 871-885.

[22]ZHOU T， WANG W， LIU S， et al. Differentiable multigranularity human representation learning for instanceaware human semantic parsing[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2021： 1622-1631.

[23]WANG B C， ZHENG H B， LIANG X D， et al. Toward characteristicpreserving imagebased virtual tryon network[DB/OL]. （20180912）[20201216]. http：//arxiv.org/pdf/1807.07688.

[24]DONG H Y， LIANG X D， SHEN X H， et al. Towards multi pose guided virtual tryon network[C]//2019 IEEE/CVF International Conference on Computer Vision（ICCV）. IEEE， 2019： 9025-9034.

[25]HAN X， HUANG W， HU X， et al. ClothFlow： a flowbased model for clothed person generation[C]//2019 IEEE/CVF International Conference on Computer Vision（ICCV）. IEEE， 2019： 10470-10479.

[26]HAN X， WU Z， HUANG W， et al. FiNet： compatible and diverse fashion image inpainting[C]//2019 IEEE/CVF International Conference on Computer Vision（ICCV）. IEEE， 2019： 4480-4490.

[27]LASSNER C， PONSMOLL G， GEHLER P V. A generative model of people in clothing[C]//IEEE Computer Society. IEEE， 2017： 853-862.

[28]DONG H， LIANG X， KE G， et al. Softgated warpingGAN for poseguided person image synthesis[DB/OL]. （20190111）[20200715]. https：//arxiv.org/abs/1810.11610.

[29]ZHE C， SIMON T， WEI S E， et al. Realtime multiperson 2D pose estimation using part affinity fields[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2017： 1302-1310.

[30]WU Z， LIN G， TAO Q， et al. M2Etry on net： fashion from model to everyone[DB/OL]. （20190111）[20200715]. https：//arxiv.org/abs/1810.11610.

[31]GLER， RZA Alp， NEVEROVA N， et al. Dense pose： dense human pose estimation in the wild[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2018： 7297-7306.

[32]FESIANXU. Thin plate spline[EB/OL]. （20200909）[20210125]. https：//blog.csdn.net/LoseInVain/article/details/108483736.

[33]JADERBERG M， SIMONYAN K， ZISSERMAN A， et al. Spatial transformer networks[DB/OL]. （20160204）[20210125]. https：//arxiv.org/pdf/1506.02025. pdf.

[34]IGNACIO R， RELJA A， JOSEF S. Convolutional neural network architecture for geometric matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019， 41（11）： 2553-2567.

[35]LEE H J， LEE R， KANG M， et al. LAVITON： a network for lookingattractive virtual tryon[C]//2019 IEEE/CVF International Conference on Computer Vision Workshop（ICCVW）. IEEE， 2019： 3129-3132.

[36]JANDIAL S， CHOPRA A， AYUSH K， et al. SieveNet： a unified framework for robust imagebased virtual tryon[C]//2020 IEEE Winter Conference on Applications of Computer Vision（WACV）. IEEE， 2020： 2171-2179.

[37]YU R Y， WANG X Q， XIE X H. VTNFP： an imagebased virtual tryon network with body and clothing feature preservation[C]//2019 IEEE/CVF International Conference on Computer Vision（ICCV）. IEEE， 2019： 10510-10519.

[38]YANG H， ZHANG R M， GUO X B， et al. Towards photorealistic virtual tryon by adaptively generating preserving image content[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2020： 7847-7856.

[39]ISSENHUTH T， MARY J， CALAUZNES C. Do not mask what you do not need to mask： a parserfree virtual tryon[DB/OL]. （20190111）[20200715]. https：//arxiv.org/abs/2007.02721.

[40]ISSENHUTH T， MARY J， CALAUZNES C. Endtoend learning of geometric deformations of feature maps for virtual tryon[DB/OL]. （20200729）[20210715]. https：//arxiv.org/abs/1906.01347v2.

[41]GE Y， SONG Y， ZHANG R， et al. Parserfree virtual tryon via distilling appearance flows[DB/OL]. （20210309）[20210715]. https：//arxiv.org/abs/2103.04559.