高偉，吳順

（1.上海文廣科技（集團(tuán)）有限公司，上海 200233；2.上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)工程研究所，上海 200240）

0 概述

照片具有直觀、鮮明、形象生動(dòng)、信息量豐富的特點(diǎn)，是社會(huì)記憶中的重要組成部分［1］。老照片一般都以紙等介質(zhì)存在，隨著時(shí)間、存儲(chǔ)環(huán)境等因素的影響，會(huì)造成照片的劃痕損傷。雖然造成劃痕損傷的原因不同，但都有類似的視覺(jué)效果和一些共同的特征。傳統(tǒng)修復(fù)方法通過(guò)專業(yè)人員手工修復(fù)，修復(fù)過(guò)程復(fù)雜且成本高。隨著數(shù)字化技術(shù)的成熟，基于數(shù)字圖像處理技術(shù)為老照片修復(fù)提供了便利［2-3］，如美圖秀秀、Remini Photo Enhancer 等圖像編輯軟件具有老照片修復(fù)功能，但好的修復(fù)效果仍需依靠專業(yè)人員手工修復(fù)，費(fèi)時(shí)且價(jià)格昂貴［4］。

老照片往往同時(shí)含有多種損傷，文獻(xiàn)［5］指出老照片包括結(jié)構(gòu)性損傷和非結(jié)構(gòu)性損傷，結(jié)構(gòu)性損傷主要是指劃痕、破損等，而非結(jié)構(gòu)性損傷主要是指顏色泛黃、低分辨率等。盡管老照片包含多種損傷，但是多數(shù)的老照片都存在劃痕/折痕樣損傷，和老電影膠片劃痕類似，也有研究人員進(jìn)行老電影膠片劃痕的自動(dòng)修復(fù)［6］。盡管老電影可以利用相鄰幀的時(shí)序信息［7］，但是老照片是靜態(tài)圖像，不能利用時(shí)序信息，且老電影劃痕都是直線，而老照片的劃痕不一定是直線，所以修復(fù)老照片劃痕更加困難。

數(shù)字圖像修復(fù)的方法可以分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)的修復(fù)方法一般都是先檢測(cè)圖像劃痕［8］，再利用劃痕周邊特征進(jìn)行修復(fù)［9］。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，深度學(xué)習(xí)方法能夠在紋理修復(fù)的基礎(chǔ)上獲取圖像的語(yǔ)義信息并預(yù)測(cè)語(yǔ)義內(nèi)容，使修復(fù)的整體效果更加符合客觀事實(shí)［10］。文獻(xiàn)［11］利用疊加部分卷積運(yùn)算和掩模更新步驟進(jìn)行圖像修復(fù)，恢復(fù)干凈的圖像。文獻(xiàn)［12］則提出一種全新的注意力模塊，該模塊不僅有效利用了上下文信息，同時(shí)能夠捕捉到生成補(bǔ)丁之間的相關(guān)性去修復(fù)那些不規(guī)則的劃痕和孔洞。文獻(xiàn)［13］則將不規(guī)則劃痕和孔洞修復(fù)任務(wù)分為結(jié)構(gòu)重建和紋理生成兩部分。上述方法都需要在網(wǎng)絡(luò)訓(xùn)練中同時(shí)加入掩碼，才能得到較好的修復(fù)效果。

深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)方法，文獻(xiàn)［5］為研究老照片深度學(xué)習(xí)修復(fù)方法，從網(wǎng)絡(luò)上搜集真實(shí)的老照片，并且模擬老照片的退化過(guò)程制作了合成數(shù)據(jù)集，但由于版權(quán)原因，搜集到的真實(shí)老照片和合成數(shù)據(jù)集都沒(méi)有公開。因此，搜集老照片進(jìn)行數(shù)據(jù)增強(qiáng)以形成劃痕老照片數(shù)據(jù)集，對(duì)于深度學(xué)習(xí)的劃痕自動(dòng)修復(fù)方法研究具有重要意義。

本文針對(duì)老照片劃痕修復(fù)缺少劃痕數(shù)據(jù)集的問(wèn)題，參考去雨痕的全監(jiān)督MSFA 方法，提出一種基于半監(jiān)督學(xué)習(xí)的Semi-MSFA 老照片修復(fù)方法。通過(guò)搜集劃痕分布圖像，制作了700 張圖像的SynOld 老照片劃痕合成數(shù)據(jù)集，同時(shí)搜集含有劃痕的537 張真實(shí)老照片用于訓(xùn)練和測(cè)試。在此基礎(chǔ)上，對(duì)合成數(shù)據(jù)集與真實(shí)老照片同時(shí)加入網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，以提升在合成數(shù)據(jù)集與真實(shí)老照片上的修復(fù)效果。

1 老照片劃痕數(shù)據(jù)集

目前，針對(duì)圖像劃痕的數(shù)據(jù)集主要有Quick Draw Irregular Mask Dataset（QD-IMD）、NVIDIA Irregular Mask Dataset（NVIDIA-IMD）［11］、II-CGAN［14］等數(shù)據(jù)集，如表1 所示。QD-IMD 和NVIDIA-IMD 分別生成了不同數(shù)量的不規(guī)則掩碼，如圖1 所示，QD-IMD 在CelebAHQ［15］人臉數(shù)據(jù)集上加上這些圖像掩碼得到最終的劃痕數(shù)據(jù)集，NVIDIA-IMD 則是在ImageNet［16］、Places2［17］和CelebA-HQ 3 個(gè)數(shù)據(jù)集上添加圖像掩模制作出最終的數(shù)據(jù)集，如圖2 所示。II-CGAN 重點(diǎn)關(guān)注繪畫的破損修復(fù)，數(shù)據(jù)集搜集了800 張繪畫，制作了50 個(gè)掩碼，其中30 個(gè)來(lái)自互聯(lián)網(wǎng)，其他20 個(gè)由計(jì)算機(jī)生成，背景像素為0，劃痕像素為255。這些劃痕數(shù)據(jù)集都是人工合成的數(shù)據(jù)集，掩碼也是人工隨機(jī)生成的，白色劃痕像素值為255，而老照片白色劃痕值范圍為0～255，并且人工生成的隨機(jī)劃痕掩碼寬度大，與老照片的細(xì)長(zhǎng)劃痕相差較遠(yuǎn)。文獻(xiàn)［5］搜集了62 種劃痕圖像來(lái)模擬老照片的結(jié)構(gòu)性劃痕，制作了模擬老照片退化的數(shù)據(jù)集，如圖3 所示，但因圖像版權(quán)問(wèn)題，所建劃痕圖像集未公開。

圖2 NVIDIA-IMD 數(shù)據(jù)集中掩碼疊加后的圖像與原圖Fig.2 Images after mask overlay and original images in NVIDIA-IMD dataset

圖3 模擬的老照片劃痕圖像Fig.3 Simulated old photos scratch image

表1 劃痕數(shù)據(jù)集Table 1 Scratch datasets

圖1 QD-IMD 與NVIDIA-IMD 劃痕數(shù)據(jù)集的掩模示例Fig.1 Mask examples of QD-IMD and NVIDIA-IMD scratch datasets

要完全模擬出老照片的退化過(guò)程是十分困難和不切實(shí)際的，因?yàn)槔险掌嘶赡軙?huì)出現(xiàn)以下類型的缺陷：不準(zhǔn)確的處理或原始圖像存儲(chǔ)不當(dāng)；由化學(xué)因素引起退化；由底層支架的分解造成的退化。但是，不同的缺陷可能在文檔數(shù)字化后看起來(lái)是相似的［18］，并且劃痕沿著所有圖像以任何方向和顏色延伸，寬度和方向的變化可能很小，有可能存在中斷，且沒(méi)有分支［19］，但也有的劃痕呈現(xiàn)彎曲狀，和鏡子破碎時(shí)的裂紋類似。除未公開的文獻(xiàn)［5］制作的數(shù)據(jù)集外，表1 中的數(shù)據(jù)集也無(wú)法達(dá)到模擬出受損的老照片的效果。

針對(duì)老照片劃痕自動(dòng)修復(fù)學(xué)習(xí)任務(wù)要求，本文盡可能地去逼近老照片退化的過(guò)程，減少和真實(shí)老照片之間的差異?？紤]到老照片的損傷多數(shù)是劃痕類型的結(jié)構(gòu)性損傷，所以本文重點(diǎn)關(guān)注劃痕的修復(fù)過(guò)程。通過(guò)對(duì)老照片白色劃痕位置處像素值分析，劃痕像素值并不是255，從網(wǎng)絡(luò)上搜集了133 張符合老照片劃痕分布的圖像，如圖4 所示，背景像素為0，白色劃痕像素值為［1，255］，這些劃痕均是細(xì)條紋，同時(shí)還存在小塊白色區(qū)域，可類比老照片中部分缺失區(qū)域。在此基礎(chǔ)上，從Pascal VOC 2012［20］中選取圖像作為背景圖像，隨機(jī)選取數(shù)據(jù)增加后的白色劃痕圖像進(jìn)行圖層疊加，制作生成了SynOld 老照片劃痕數(shù)據(jù)集，如圖5 所示，該數(shù)據(jù)集共有700 張圖像。

圖4 劃痕掩模圖像Fig.4 Scratch mask images

圖5 SynOld 數(shù)據(jù)集中老照片合成示例Fig.5 Example of old photo synthesis in the SynOld dataset

2 基于半監(jiān)督學(xué)習(xí)的老照片劃痕修復(fù)網(wǎng)絡(luò)模型

考慮到生成的老照片劃痕數(shù)據(jù)集不能完全模擬真實(shí)老照片劃痕中存在的各類情況，直接應(yīng)用所生成的SynOld 數(shù)據(jù)集進(jìn)行學(xué)習(xí)實(shí)現(xiàn)劃痕修復(fù)效果并不理想。為此，本文參考多尺度特征注意力（MSFA）網(wǎng)絡(luò)［21］的監(jiān)督學(xué)習(xí)模型方法，提出一種綜合利用合成數(shù)據(jù)集與真實(shí)老照片的半監(jiān)督學(xué)習(xí)的Semi-MSFA 劃痕修復(fù)方法，以更好地適用于老照片修復(fù)任務(wù)。

Semi-MSFA 的網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。本文方法將合成圖像和真實(shí)老照片圖像同時(shí)加入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，合成圖像為有真值的數(shù)據(jù)對(duì)，其中，分別代表第i張劃痕合成圖像和對(duì)應(yīng)的目標(biāo)圖像，共有l(wèi)對(duì)；代表第i張真實(shí)劃痕老照片，共有u張。在整體的網(wǎng)絡(luò)框架中使用具有多尺度特征注意力的MSFA 方法［21］，將兩條MSFA 分支作為相應(yīng)的生成器：第1 條有監(jiān)督的分支用于訓(xùn)練劃痕合成圖像，輸出為；第2 條無(wú)監(jiān)督的分支用于學(xué)習(xí)真實(shí)劃痕老照片修復(fù)，輸出為。同時(shí)，引入判別器D來(lái)計(jì)算網(wǎng)絡(luò)生成后的圖像和對(duì)應(yīng)的修復(fù)圖像之間的差異，判別器D由五層卷積層和一層全連接層組成，利用卷積-歸一化層-激活函數(shù)提取圖像高級(jí)特征。

圖6 Semi-MSFA 劃痕修復(fù)網(wǎng)絡(luò)Fig.6 Semi-MSFA scratch repairing network

為減少網(wǎng)絡(luò)參數(shù)，有監(jiān)督與無(wú)監(jiān)督修復(fù)兩條分支共享參數(shù)，在訓(xùn)練過(guò)程中迭代更新參數(shù)，即隨機(jī)從有真值的數(shù)據(jù)樣本中選取批次大小為2 的圖像塊計(jì)算對(duì)應(yīng)的損失函數(shù)。同時(shí)，從無(wú)標(biāo)簽的老照片樣本中選取批次為2 的圖像塊，計(jì)算相應(yīng)的損失函數(shù)。綜合兩條分支得到總的損失函數(shù)，根據(jù)反向傳播來(lái)更新參數(shù)。

判別器D參數(shù)如下：

對(duì)于有監(jiān)督分析，損失函數(shù)有以下3 種：

1）為了讓合成圖像經(jīng)過(guò)網(wǎng)絡(luò)之后的復(fù)原圖像盡可能地靠近真值，因此本文采用了均方差損失，均方差損失Lmse為：

2）感知損失Lper為：

其中：φ(·)代表特征層輸出。感知損失是將網(wǎng)絡(luò)修復(fù)后的圖像卷積后得到的特征和真值卷積后得到的特征進(jìn)行比較，使得高層特征接近，用于衡量修復(fù)之后的圖像與真值之間的相似性，起到去除偽影的作用。

3）對(duì)抗損失Lgan為：

其中：D代表判別器。加入判別器引入了額外的對(duì)抗損失，為網(wǎng)絡(luò)增加了新的正則化，幫助網(wǎng)絡(luò)恢復(fù)出更好的結(jié)果，用于判別是網(wǎng)絡(luò)生成的圖像還是真值圖像。

對(duì)于無(wú)監(jiān)督分支，采用總變差損失（Total Variation Loss）Ltv為：

其中：?h和?v分別代表水平和垂直方向上的微分運(yùn)算矩陣，用于保存圖像細(xì)節(jié)，使得恢復(fù)后的圖像更加真實(shí)［22］。

總的損失函數(shù)為：

其中：α、β和γ是超參數(shù)。

算法1Semi-MSFA 迭代訓(xùn)練過(guò)程

3 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估所提出的方法，本文使用SynOld 中700 張合成圖片及網(wǎng)上搜集的537 張劃痕老照片進(jìn)行半監(jiān)督去劃痕學(xué)習(xí)，其中500 張SynOld 圖片與355 張老照片用于訓(xùn)練，200 張SynOld 圖片及182 張老照片用于測(cè)試。損失函數(shù)L中參數(shù)設(shè)定為：α=0.1，β=0.01，γ=0.01。

在訓(xùn)練過(guò)程當(dāng)中，網(wǎng)絡(luò)總共訓(xùn)練90 個(gè)epoch，每個(gè)epoch 迭代5 次，學(xué)習(xí)率為10-4，在后45 個(gè)epoch 中學(xué)習(xí)率線性遞減，學(xué)習(xí)率為10-4–（10-4-10-6）（E-45）/45，其中，E代表訓(xùn)練輪數(shù)。采用Adam 優(yōu)化算法，β1=0.9，β2=0.99。在訓(xùn)練過(guò)程中，將圖像裁剪為256×256 像素大小，隨機(jī)旋轉(zhuǎn)90°或者翻轉(zhuǎn)180°進(jìn)行數(shù)據(jù)增強(qiáng)。

為更清晰地了解各個(gè)損失函數(shù)的作用，本文做了以下消融實(shí)驗(yàn)：即無(wú)監(jiān)督分支的損失函數(shù)不發(fā)生變化，有監(jiān)督分支僅使用均方差損失、感知損失、均方差損失和感知損失、均方差損失和對(duì)抗損失、感知損失和對(duì)抗損失、均方差損失和感知損失及對(duì)抗損失進(jìn)行實(shí)驗(yàn)，表2 為在合成數(shù)據(jù)集的測(cè)試集上得到的PSNR 與SSIM 值。從表2 可以看出，在同時(shí)使用均方差損失、感知損失和對(duì)抗損失條件下，PSNR 與SSIM 值最高。

表2 不同損失函數(shù)條件下的PSNR 與SSIM 結(jié)果Table 2 PSNR and SSIM results under different loss functions

為了對(duì)比本文方法的去劃痕效果，對(duì)于SynOld 中的劃痕合成圖片，圖7 給出了與文獻(xiàn)［5，21］方法去劃痕效果的對(duì)比，圖8 給出了其中手臂、人臉細(xì)節(jié)部分的劃痕修復(fù)結(jié)果對(duì)比。在合成數(shù)據(jù)集上，文獻(xiàn)［5］的方法有一定的劃痕修復(fù)效果，但也存在細(xì)小噪聲點(diǎn)不能修復(fù)的問(wèn)題。可以看出，在修復(fù)第1 張合成圖像劃痕圖像的同時(shí)，人臉修復(fù)失敗，但MSFA 與Semi-MSFA 方法并未出現(xiàn)這種情況，在修復(fù)劃痕的同時(shí)也能保存完整人臉細(xì)節(jié)。觀察第2 張合成圖像劃痕修復(fù)情況，在圖8中人手臂的細(xì)節(jié)圖像部分，可以發(fā)現(xiàn)文獻(xiàn)［5］方法修復(fù)噪點(diǎn)失敗，造成手臂和真值圖像相差甚遠(yuǎn)。對(duì)于第4 張合成圖像劃痕修復(fù)情況，通過(guò)對(duì)比截取放大部分人臉的細(xì)節(jié)，發(fā)現(xiàn)雖然人臉處沒(méi)有受到劃痕的影響，但是文獻(xiàn)［5］方法模糊了人臉處的細(xì)節(jié)，文獻(xiàn)［21］方法雖然沒(méi)有模糊細(xì)節(jié)，但是修復(fù)劃痕的效果卻不如本文Semi-MSFA 網(wǎng)絡(luò)方法。

圖7 合成圖像修復(fù)結(jié)果對(duì)比Fig.7 Comparison of synthetic image repairing results

圖8 圖7 中第2 張手臂與第4 張人臉局部細(xì)節(jié)對(duì)比Fig.8 Comparison of the details of the human hand in the second image and the face in the fourth image on figure 7

對(duì)于在加入網(wǎng)絡(luò)學(xué)習(xí)的真實(shí)老照片修復(fù)結(jié)果中，文獻(xiàn)［5］方法在對(duì)比度方面有增強(qiáng)效果，在人臉?lè)矫嬉脖绕渌姆椒ǜ逦?，主要是在?xùn)練網(wǎng)絡(luò)時(shí)加入了人臉增強(qiáng)的網(wǎng)絡(luò)，但是有時(shí)恢復(fù)人臉的過(guò)程中會(huì)出現(xiàn)差錯(cuò)，比如圖9 第1 張老照片中鼻子附近區(qū)域的恢復(fù)過(guò)程中出現(xiàn)白色區(qū)域的缺失（見(jiàn)圖10）。對(duì)于嘴唇上方有需要修復(fù)的細(xì)小劃痕，文獻(xiàn)［21］也未能修復(fù)，而Semi-MSFA 方法更能保護(hù)細(xì)節(jié)。對(duì)于未加入網(wǎng)絡(luò)訓(xùn)練的真實(shí)老照片，圖11 給出了這3 種方法修復(fù)結(jié)果：第1 張老照片中耳朵附近區(qū)域存在白色斑點(diǎn)需要修復(fù)（見(jiàn)圖12），可以觀察到，文獻(xiàn)［5，21］方法沒(méi)有修復(fù)完全，Semi-MSFA 方法能很好地修復(fù)斑點(diǎn)及劃痕。第5 張人臉部位也有劃痕需要修復(fù)，對(duì)比局部細(xì)節(jié)可以看出，除Semi-MSFA 方法外，文獻(xiàn)［5，21］方法結(jié)果中劃痕均存在不同程度未被修復(fù)的情況。

圖9 訓(xùn)練過(guò)程老照片修復(fù)結(jié)果Fig.9 Repairing results of old photos from the training process

圖10 圖9 中方框標(biāo)示區(qū)域局部細(xì)節(jié)對(duì)比Fig.10 Comparison of local details in the area marked by the box in figure 9

圖11 未訓(xùn)練老照片的修復(fù)結(jié)果對(duì)比Fig.11 Comparison of repairing results of untrained old photos

圖12 圖11 中方框標(biāo)示區(qū)域局部細(xì)節(jié)對(duì)比Fig.12 Comparison of local details in the area marked by the box in figure 11

4 結(jié)束語(yǔ)

劃痕是老照片最常見(jiàn)的損傷，基于生成對(duì)抗網(wǎng)絡(luò)，通過(guò)有監(jiān)督學(xué)習(xí)方法進(jìn)行老照片劃痕修復(fù)是當(dāng)前老照片劃痕修復(fù)的主要方法。針對(duì)真實(shí)劃痕老照片缺少原始圖片用于監(jiān)督學(xué)習(xí)的問(wèn)題，本文建立人工劃痕合成數(shù)據(jù)集，同時(shí)搜集建立含有劃痕的真實(shí)老照片數(shù)據(jù)集。對(duì)于老照片劃痕修復(fù)，在有監(jiān)督MSFA 方法基礎(chǔ)上，提出一種Semi-MSFA 老照片劃痕修復(fù)方法。實(shí)驗(yàn)結(jié)果表明，與MSFA 方法相比，本文提出的Semi-MSFA 方法實(shí)現(xiàn)了對(duì)老照片劃痕修復(fù)的半監(jiān)督學(xué)習(xí)，在合成數(shù)據(jù)測(cè)試集及真實(shí)老照片上具有較好的修復(fù)效果。本文方法修復(fù)后的老照片在色彩方面不夠鮮明，下一步將在顏色恢復(fù)方面進(jìn)行研究。此外，老照片多數(shù)都存在人臉圖像，因此在修復(fù)老照片劃痕的同時(shí)，將考慮對(duì)人臉進(jìn)行增強(qiáng)，提升人臉部分的修復(fù)質(zhì)量。