劉敏，朱春

（西安工程大學(xué)服裝與藝術(shù)設(shè)計學(xué)院，陜西 西安 710000)

0 引言

中國擁有著比較久遠的紡織歷史，很久以前人們會利用草、樹皮等去蔽體；接著慢慢用動物的羽毛經(jīng)過簡陋的編織形成簡單的衣物去抵御寒冷；漸漸的隨著發(fā)展，人們逐漸學(xué)會用工具去紡織[1]。除此之外每個朝代的紡織品都有自己比較獨特的紡織文化，隨著塵封已久的紡織品出土，也漸漸解開了不同朝代的神秘面紗，研究出土的服飾文物有利于考據(jù)服飾結(jié)構(gòu)，剪裁工藝，或者去推斷墓主身份和生活年代，因此出土紡織品文物修復(fù)對我國古代服飾的研究和文化傳播有著重要的意義。但由于紡織品的化學(xué)穩(wěn)定性差，出土的紡織品大都有殘缺、破損、褪色等病害，這使得人們對服飾紋樣、色彩等的考究變得艱難。

隨著科技的進步，圖像處理逐漸進入大家的視野，圖像修復(fù)的意義不僅僅在于目前研究方法的逐步改進，更在于其在實際生活中的應(yīng)用；如壁畫方面：陳永等人對殘缺的敦煌壁畫進行了修復(fù)[2]，焦莉娟等人利用改進的塊匹配算法對五臺山壁畫進行了修復(fù)[3]，胡雅妮等人利用雙判別生成對抗網(wǎng)絡(luò)對壁畫圖像進行了虛擬修復(fù)[4]等；公路方面：崔二洋等人利用圖像修復(fù)技術(shù)實現(xiàn)對單張路面圖像中裂縫的高效語義修復(fù)[5]；除此之外還有對象的移除[6]：刪除圖像中不需要的對象，并對刪除后的空缺部位進行補全；修復(fù)圖像[7]：修復(fù)圖像因保存的時間過久或保存方法不當(dāng)造成的如劃痕、泛黃等；圖片的修飾[8]：對照片進行美化修飾處理，例如去除皺紋、痣、疤痕等面部特征；文字移除：刪除圖像中不需要的文字、圖像，例如水印、照片日期等目標(biāo)并對移除后的部位進行修復(fù)。

目前來說服裝修復(fù)方面主要是基于人力手工修復(fù)，修復(fù)方法主要有依靠X射線熒光光譜分析儀去檢測污染物的元素成分，利用三維視頻顯微鏡觀察紡織物的組織結(jié)構(gòu)，人工進行回潮、護金、清潔、整形、托襯等修復(fù)操作；或者基于傳統(tǒng)畫結(jié)合對服裝款式的了解去對服裝進行臨摹，這些基于人力的手工修復(fù)，修復(fù)效果與個人修復(fù)能力有著很大的關(guān)系，且修復(fù)耗費時間久，因此，在服裝修復(fù)中引入數(shù)字圖像虛擬修復(fù)技術(shù)具有重要的研究價值。

1 研究現(xiàn)狀

1.1 古代服飾研究現(xiàn)狀

古代服飾是見證了中華歷史源遠流長的實物，亦是重要的載體承載著中華民族偉大的精神[9]。自古以來，有許多學(xué)者從各個角度展開對古代服飾的研究，通過對目前的學(xué)術(shù)論文成果進行整理歸納，得出主要研究集中在以下幾個方面：首先是對古代服飾的款式、紋樣、色彩、面料等進行研究。其次有學(xué)者研究古代服飾元素在現(xiàn)代服裝上的應(yīng)用，將古代藝術(shù)與現(xiàn)代時尚相結(jié)合，使古代的元素巧妙地應(yīng)用在現(xiàn)代的服裝設(shè)計上。

但在研究過程中服裝信息殘缺、丟失、仍然是一大難題，這對服裝的研究造成了較大的影響。因此對于我國現(xiàn)存的大量古代服飾來說，利用計算機技術(shù)學(xué)習(xí)其相關(guān)服飾特征，通過科學(xué)的手法對其進行修復(fù)，這對服飾的研究有著非比尋常的意義。此外用修復(fù)好的古代圖片可以為傳統(tǒng)手工修復(fù)提供參考，避免因修復(fù)不當(dāng)而對文物產(chǎn)生不可逆轉(zhuǎn)的傷害。

1.2 圖像修復(fù)技術(shù)研究現(xiàn)狀

圖像修復(fù)技術(shù)最早來源于藝術(shù)家們，當(dāng)時藝術(shù)家們對受損的藝術(shù)繪畫或照片進行修復(fù)，使其質(zhì)量盡可能地接近原始圖像。在計算機領(lǐng)域中，就是恢復(fù)破損圖像缺失區(qū)域中的像素，使觀察者無法察覺到圖像曾經(jīng)有過缺損或者已被修復(fù)。

圖像修復(fù)方法主要可以分為傳統(tǒng)修復(fù)方法和基于深度學(xué)習(xí)的圖像修復(fù)方法。傳統(tǒng)圖像修復(fù)方法通常是根據(jù)破損圖像的內(nèi)容、結(jié)構(gòu)和紋理之間存在的相似性去預(yù)測圖像中缺失的區(qū)域像素；根據(jù)修復(fù)思想的不同，它可以被分為基于偏微分方程和基于樣本的圖像修復(fù)方法。

（1）基于偏微分方程的圖像修復(fù)方法是利用偏微分方程，將圖像已知區(qū)域的像素平滑傳播擴散到缺失區(qū)域中以修復(fù)破損圖像，它不能修復(fù)破損區(qū)域大或者紋理比較復(fù)雜的圖像。

（2）基于樣本的圖像修復(fù)方法是通過計算殘缺圖像的缺失區(qū)域與哪個已知區(qū)域的相似度最高，將該已知區(qū)域復(fù)制粘貼到缺失區(qū)域以修復(fù)破損區(qū)域。基于樣本的圖像修復(fù)方法可以叫高質(zhì)量地修復(fù)缺失區(qū)域較大且紋理結(jié)構(gòu)較簡單的圖像，但計算破損區(qū)域與已知區(qū)域之間的相似度需要大量時間。

總而言之，傳統(tǒng)圖像修復(fù)方法雖然在修復(fù)紋理簡單的圖像時可以生成與原圖較為相似的圖像樣本，但是由于缺乏對圖像更高一層語義的理解，對結(jié)構(gòu)較復(fù)雜的圖像修復(fù)結(jié)果較差。

基于深度學(xué)習(xí)的圖像修復(fù)方法根據(jù)生成圖像數(shù)量的不同，可以將其分為單元圖像修復(fù)方法和多元圖像修復(fù)方法。

（1）單元修復(fù)方法是單入單出，指輸入單張殘缺圖像生成單張的修復(fù)圖像。單元修復(fù)方法依據(jù)模型結(jié)構(gòu)類型的不同，可以將這些修復(fù)方法細分為Encoder-Decoder類、U-Net類、GAN類和Transformer類。

（2）現(xiàn)存的多元圖像修復(fù)方法，它的輸出結(jié)果不受限制具有多樣性，這種修復(fù)方法很難去保證每個圖像的質(zhì)量，修復(fù)后可能會導(dǎo)致圖像結(jié)構(gòu)扭曲，紋理模糊等問題。

綜上所述，基于對圖像修復(fù)技術(shù)的現(xiàn)狀研究，本實驗選擇了基于深度學(xué)習(xí)的單元修復(fù)方法。

2 研究理論與技術(shù)

2.1 總體技術(shù)路線圖

我們的研究大體可以分為如下幾個階段，第一階段是對史料中記載的古代服飾的款式、形制、色彩、紋樣進行整理；第二階段是對古代服飾進行數(shù)字化采集；第三階段是對采集到的圖片利用數(shù)據(jù)增強方法去擴充原有的數(shù)據(jù)集，從而建立服裝數(shù)據(jù)庫；第四階段是針對已建立的數(shù)據(jù)庫去選取合適的生成對抗網(wǎng)絡(luò)對服裝修復(fù)模型進行訓(xùn)練，利用訓(xùn)練好的模型去修復(fù)遮擋的服裝圖片，具體流程如圖1所示。

圖1 技術(shù)路線圖Fig.1 Technology roadmap

2.2 研究理論DCGAN

Goodfellow等人因受到了博弈論的啟發(fā)，提出了生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN），該網(wǎng)絡(luò)主要由生成器G（Generator）和判別器D（Discriminator）兩部分構(gòu)成，輸出結(jié)果的概率越接近0.5，得到的圖像也就越接近真實的圖像。

DCGAN模型是以GAN模型為基礎(chǔ)提出的，該網(wǎng)絡(luò)也是由生成器和判別器組成的，它的生成器具有轉(zhuǎn)置卷積結(jié)構(gòu)，從而盡可能地生成越接近真實圖像的樣本；判別器具有卷積結(jié)構(gòu)，從而對生成的樣本和真實樣本進行更準(zhǔn)確的判別[10]。兩者互相對抗互相博弈，各自優(yōu)化自己的性能，使得生成的圖像越接近原始的圖像。其生成器與判別器的目標(biāo)函數(shù)如式（1）所示：

本文選擇的DCGAN的生成器結(jié)構(gòu)和判別器的結(jié)構(gòu)大致如圖2所示：生成器有5個轉(zhuǎn)置卷積層，其中從噪聲向量到生成第一個特征圖也用了一個轉(zhuǎn)置卷積層，4個BN層，4個ReLU層，1個Tanh輸出集合層；判別器有5個卷積層，最后一個特征圖到噪聲向量也用了一個卷積層，3個BN層，4個LReLU層，1個Sigmoid輸出激活層。

圖2 DCGAN Fig.2 DCGAN

2.3 數(shù)據(jù)收集與處理

（1）圖片收集：此次實驗的圖片主要通過書籍拍照上傳，網(wǎng)絡(luò)爬蟲等方法收集，書籍主要有《中國絲綢服飾全集》《中國少數(shù)民族戲曲劇種發(fā)展史》《服飾中華：中華服飾七千年第一卷》《服飾中華：中華服飾七千年第二卷》《服飾中華：中華服飾七千年第三卷》《服飾中華：中華服飾七千年第四卷》《中國歷代服飾文物圖典》《清代女子服裝》《中國傳統(tǒng)服飾清代服裝》《中國敦煌歷代服飾圖案》《清宮服飾圖典》《中華民族服飾結(jié)構(gòu)圖考》《中國歷代服飾文物圖典：隋唐五代》《中國歷代服飾文物圖典：清代》《圖解中國傳統(tǒng)服飾》《明鑒：明代服裝形制研究》等，篩選后得到823張高質(zhì)量的圖片。

（2）訓(xùn)練集：首先對收集到的圖片進行去除雜亂背景等的操作，然后對圖片利用數(shù)據(jù)增強方法進行擴充，該實驗用到的數(shù)據(jù)增強方法有：放大、縮小、圖片的旋轉(zhuǎn)（45°、90°、180°、270°）、翻轉(zhuǎn)（水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)）、明亮度改變（變亮、變暗）、像素平移、添加噪聲（椒鹽噪聲、高斯噪聲），經(jīng)數(shù)據(jù)增強后得到擴充后的圖片共計9 831張；由于生成對抗網(wǎng)絡(luò)對圖片的尺寸有一定的要求。因此該實驗對得到的圖片進行尺寸的處理，統(tǒng)一其大小為256*256。

（3）測試集：選取部分圖像用python實現(xiàn)掩碼操作，用掩碼塊去遮擋服裝的部分結(jié)構(gòu)去模擬殘缺的服裝，該實驗掩碼塊設(shè)置為3，經(jīng)操作得到圖片共計446張。

2.4 遮擋圖片修復(fù)實驗

該實驗平臺硬件環(huán)境的CPU 為Intel (R)Core(TM)i7-10700 CPU @2.90GHz，顯存為16G，GPU 為NVIDIA GeForce RTX 2080Ti。軟件環(huán)境使用Win 10操作系統(tǒng)，Pycharm版本為2021，Python版本為3.7。

該實驗采用DCGAN網(wǎng)絡(luò)進行模型的訓(xùn)練，圖片通道數(shù)nc=3，噪聲維度nz=100，生成器的特征圖通道數(shù)單位ngf=64，判別器的特征圖通道數(shù)單位ndf=64，利用訓(xùn)練好的模型對遮擋的圖像進行復(fù)原，其復(fù)原結(jié)果如圖3和圖4所示，通過結(jié)果可以看出整體復(fù)原效果較好，但紋樣細節(jié)較原圖相比還有些許偏差。

圖3 復(fù)原結(jié)果1Fig.3 Recovery result 1

圖4 復(fù)原結(jié)果2Fig.4 Recovery result 2

3 結(jié)論

本文將深度學(xué)習(xí)的DCGAN網(wǎng)絡(luò)應(yīng)用于非遺文化遺產(chǎn)保護領(lǐng)域中的服裝修復(fù)問題，依據(jù)修復(fù)結(jié)果可以看出，DCGAN網(wǎng)絡(luò)可以較好的復(fù)原出服裝的色彩，對服裝的紋樣也可大致復(fù)原出，但仍有部分細節(jié)沒有復(fù)原，出現(xiàn)此結(jié)果的原因大致有以下幾點：（1）樣本數(shù)量不多；（2）該實驗所用樣本是基于手機拍攝的，清晰度有一定的限制；（3）樣本中關(guān)于紋樣特寫的圖片較少，對紋樣細節(jié)訓(xùn)練不夠到位。

紡織品圖像的結(jié)構(gòu)顏色與紋理顏色不同，并且紡織品文物圖像的紋理規(guī)律比較強，這會導(dǎo)致修復(fù)過程中紋理部分對結(jié)構(gòu)部分造成較大的影響，使復(fù)原效果不夠理想，針對以上問題后期優(yōu)化時擬采取的解決方案為：（1）擴充樣本數(shù)量，重新進行模型的訓(xùn)練。（2）采取掃描的方式獲得書籍里的樣本數(shù)據(jù)（3）對紋樣進行單獨拍攝納入樣本集進行訓(xùn)練。（4）擬采用k-means聚類方法先對數(shù)據(jù)做預(yù)處理，分離紋理與結(jié)構(gòu)。