員旭拓，何小海

四川大學(xué) 電子信息學(xué)院，四川 成都 610065

老照片是追溯不可復(fù)現(xiàn)歷史的重要渠道之一，在還原歷史資料、保留珍貴回憶方面有巨大應(yīng)用價值，但老照片存在大量缺損、模糊、顏色消褪等問題。隨著移動攝像機和掃描儀的成熟發(fā)展，人們現(xiàn)在可以將照片數(shù)字化后通過專家手工修復(fù)，然而手工潤色通常費時費力，使得成堆的舊照片無法恢復(fù)。因此通過數(shù)字技術(shù)進(jìn)行修復(fù)成為保存珍貴材料的必要條件。老照片是多種圖像降級問題的復(fù)合，近年來對其進(jìn)行修補、著色、畫質(zhì)增強的相關(guān)研究逐漸增加，但都僅針對其一方面，實際應(yīng)用性不強。而圖像修補、圖像著色、分辨率增強等深度學(xué)習(xí)網(wǎng)絡(luò)的快速發(fā)展使得多模型結(jié)合修復(fù)成為可能，很多商業(yè)應(yīng)用針對老照片進(jìn)行人像增強、畫質(zhì)增強、全圖著色，而老照片存在的破損問題以及區(qū)域著色的多樣性使得其處理范圍十分受限。

因此本文從畫質(zhì)模糊、老照片缺損、顏色暗淡三大問題出發(fā)，將修復(fù)流程拆分為清晰度提升、圖像修補、圖像著色3個步驟，分析了各方向下神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)算法的應(yīng)用可行性，實現(xiàn)了功能模塊的封裝，以引入少量用戶輸入的交互式界面完成照片修復(fù)系統(tǒng)的搭建。測試達(dá)到人眼視覺下良好、真實的修復(fù)效果，在降低修復(fù)難度、保留珍貴回憶、還原歷史資料等方面有巨大應(yīng)用前景。

1 相關(guān)工作

目前特定于老照片修復(fù)的相關(guān)研究較少，且均針對某一圖像降質(zhì)因素進(jìn)行恢復(fù)，例如圖像缺損修補、黑白照片著色結(jié)果輸出、模糊照片的清晰度提升等。

2021年陳圓圓等[1]提出采用生成對抗網(wǎng)絡(luò)(generative adversarial networks, GAN) 對破損老照片進(jìn)行修復(fù)，加入上下文注意力模塊避免修復(fù)結(jié)果色彩不協(xié)調(diào)和不連貫的問題，損失函數(shù)中加入感知損失、風(fēng)格損失和重構(gòu)損失來增強網(wǎng)絡(luò)穩(wěn)定性。數(shù)據(jù)集中，使用專門設(shè)計的不規(guī)則掩膜替代傳統(tǒng)的規(guī)則矩形區(qū)域?qū)D片移除，模仿老照片中不規(guī)律的破損。該方法可以有效將破損的黑白照片恢復(fù)為完整圖像。Wan等[2]指出老照片受到多種圖像降級因素的影響，本質(zhì)上需要不同的修復(fù)策略進(jìn)行修復(fù)。研究人員從3個領(lǐng)域（真實舊照片、合成圖像和相應(yīng)的真實圖片）提取特征，并在潛在空間中進(jìn)行轉(zhuǎn)換。使用合成圖像學(xué)習(xí)兩個潛在空間之間的映射，從而將損壞的圖像恢復(fù)為干凈的圖像。實驗結(jié)果表明，上述方法可以有效修復(fù)老照片中存在的缺損現(xiàn)象，但無法輸出彩色結(jié)果。Iizuka等[3]致力于解決圖像著色問題，其使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)有效地恢復(fù)了老照片的色彩信息，展示了部分老照片恢復(fù)結(jié)果圖，其色彩豐富、飽和度高。但該方法無法應(yīng)用于模糊、破損的圖像，且對著色問題固有的多樣性不具有魯棒性。

以上研究均取得了不錯的結(jié)果，但其還無法實際應(yīng)用于真實場景。首先現(xiàn)實生活中大部分老照片并不僅僅存在其中某一問題，其通常存在以下問題中的多個：圖像像素水平低、圖像破損、污點和折痕污染、褪色等，針對該類結(jié)構(gòu)化缺陷，圖像清晰度提升、圖像修補和圖像著色便成為應(yīng)用擴展的必要條件。其次，修復(fù)任務(wù)本身具有結(jié)果多樣性、視覺主觀性，輸入到輸出會極大限制用戶的修復(fù)需求和修復(fù)結(jié)果的可用性，自動處理程度與用戶輸入的平衡、用戶交互性均成為必要考慮元素。

雖然特定于老照片修復(fù)的相關(guān)研究還十分少，但圖像修復(fù)、圖像著色、圖像清晰化相關(guān)領(lǐng)域有著深遠(yuǎn)且卓有成果的研究。基于深度學(xué)習(xí)的圖像修復(fù)按照網(wǎng)絡(luò)結(jié)構(gòu)大致可以分為循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN) 結(jié)構(gòu)、卷積自編碼結(jié)構(gòu)和GAN 結(jié)構(gòu)等[4]。 基于GAN的方法[5-6]提供損壞圖像約束可以有效獲得完整圖像，但其訓(xùn)練收斂有時較困難，目前大量圖像修補網(wǎng)絡(luò)以GAN為基礎(chǔ)修改架構(gòu)，旨在獲得高質(zhì)量修補效果的同時降低訓(xùn)練成本。圖像著色存在兩種廣泛的方法：用戶引導(dǎo)的編輯傳播（基于用戶引導(dǎo)的局部顏色擴展）和數(shù)據(jù)驅(qū)動的自動著色（基于參考圖像的顏色傳遞方法）。大量研究使用CNN網(wǎng)絡(luò)[7]進(jìn)行端到端學(xué)習(xí)，設(shè)計不同的損失函數(shù)優(yōu)化結(jié)果，逐步獲得更加真實飽滿的顏色輸出。這些方法僅僅使用模型學(xué)習(xí)到的主色調(diào)，不允許多樣性著色。若要達(dá)到盡可能真實的著色效果，必須在包含所有潛在對象的非常大的參考圖像數(shù)據(jù)集上對其進(jìn)行訓(xùn)練。因此輔以用戶引導(dǎo)的深度學(xué)習(xí)方法[8]大量發(fā)展，該類方法同時滿足交互作用的可控性和學(xué)習(xí)的魯棒性。圖像降噪中，經(jīng)典的三維塊匹配濾波(block-matching and 3D filtering, BM3D)算法[9]降噪效果非常好，但算法復(fù)雜度非常高?；谏疃葘W(xué)習(xí)的方法從大量干凈圖像中尋找規(guī)律后處理噪聲圖像，得到了更好的結(jié)果。起初級聯(lián)場(cascade of shrinkage fields, CSF)、可訓(xùn)練的非線性反應(yīng)擴散(trainable nonlinear reaction-diffusion,TNRD)等方法的提出彌合了降噪質(zhì)量和計算效率之間的差距，但必須針對每種噪聲水平訓(xùn)練特定模型。隨后基于CNN的方法僅使用一種經(jīng)過訓(xùn)練的模型即可擁有對幾種級別的噪聲進(jìn)行降噪的能力。

通過對相關(guān)領(lǐng)域的學(xué)習(xí)和研究發(fā)現(xiàn)，有效將其組合、優(yōu)化后使用在老照片修復(fù)問題的解決中，構(gòu)建一個用戶輸入真實老照片和少量主觀信息、輸出一張彩色無缺損老照片的修復(fù)系統(tǒng)，可以在實際應(yīng)用場景中獲得較好的結(jié)果輸出。因此本文旨在設(shè)計一個引入極少量用戶信息、有效進(jìn)行老照片修復(fù)的系統(tǒng)應(yīng)用。

2 系統(tǒng)設(shè)計與實現(xiàn)

2.1 系統(tǒng)設(shè)計總體思路

根據(jù)老照片存在的畫質(zhì)模糊、圖像缺損、褪色三大問題，主要實現(xiàn)老照片清晰度提升、缺損區(qū)域修補、老照片著色3個功能。因此系統(tǒng)主要由以下3個模塊組成：圖像清晰化、圖像修補和圖像著色，具體處理流程如圖1所示，其中黑字表示功能模塊、藍(lán)字表示交互式界面中用戶輸入信息。為方便用戶自由選擇操作流程，藍(lán)色字體所示信息將采用交互式界面便捷用戶信息的引入。

圖1 老照片修復(fù)系統(tǒng)流程

為有效實現(xiàn)圖像修補、著色、降噪的功能，本文通過模型對比分析選擇最優(yōu)模型，平衡各功能模塊對輸出質(zhì)量和計算復(fù)雜度的考量。將各模塊最優(yōu)模型封裝后，引入少量用戶操作實現(xiàn)交互式界面搭建，界面如圖2所示。因此用戶可通過本系統(tǒng)實現(xiàn)輸入老照片和少量主觀信息后，獲得一張清晰、完整的彩色圖像。實驗結(jié)果表明，該系統(tǒng)可以有效應(yīng)用于實際場景中，真實解決生活中老照片的修復(fù)、多樣化結(jié)果輸出問題。

圖2 老照片修復(fù)系統(tǒng)界面及說明

2.2 圖像修補

圖像修補是根據(jù)圖像背景信息將缺失部分重建的技術(shù)[10]，可以有效修復(fù)老照片中缺損、劃痕部分。老照片大量不規(guī)則、唯一性的局部結(jié)構(gòu)使得修補無法采用傳統(tǒng)算法，因而對深度學(xué)習(xí)模型深入探究。

Nazeri 等[5]于2019 年提出由邊緣生成器和圖像生成器組成的兩階段對抗模型(簡稱模型一)，其首先根據(jù)已有區(qū)域生成缺損區(qū)域的邊緣輪廓，再使用幻覺邊緣、完整區(qū)域的顏色和紋理信息估計缺失區(qū)域的RGB像素強度進(jìn)行填充。Yu等[6]于2019 年提出由粗略預(yù)測和精細(xì)預(yù)測組成的兩階段修補模型(簡稱模型二)，該模型引入門控卷積有效解決像素信息被忽略、合成像素時部分卷積無法提供當(dāng)前位置信息等問題，有效改善顏色一致性。

本文使用文獻(xiàn)[5]和文獻(xiàn)[6]提供的代碼和模型對50張包括人像、風(fēng)景的黑白、彩色圖片測試，部分對比如圖3所示。其中，模型一平均運行時間為16.01 s(GPU)、20.287 s(CPU)，邊緣生成器使得修補后邊緣區(qū)域明顯、紋理細(xì)節(jié)突出，便利著色操作。模型二平均運行時間為13.30 s(GPU，不支持CPU)，引入門控卷積有效改善顏色一致性，但存在邊界模糊和明顯修補錯誤。綜合修復(fù)結(jié)果和計算成本，模型一在可接受的運行時間內(nèi)確保了修復(fù)效果和模塊間的協(xié)調(diào)性，因而本系統(tǒng)修復(fù)模塊設(shè)計中使用模型一進(jìn)行搭建。

圖3 修補模型結(jié)果對比

系統(tǒng)設(shè)計中，考慮到人像與背景修復(fù)的巨大差異，并通過人像與背景分類修補的實驗進(jìn)一步論證：當(dāng)圖像中存在人像和有效背景時，2部分進(jìn)行分類修補將獲得更加真實的輸出結(jié)果，實驗見3.1節(jié)。綜上所述，修補流程設(shè)計如圖4所示，當(dāng)用戶輸入待修補圖并進(jìn)行修補區(qū)域涂抹后，采用OpenCV中的人像檢測Haar特征分類器識別人臉，根據(jù)人像在圖像中所占比例，按照閾值5%、25%將待修補圖分為3類：人像圖、人像+背景圖、背景圖，對于人像圖和人像+背景圖中的人像使用通過CelebA數(shù)據(jù)集訓(xùn)練后的網(wǎng)絡(luò)模型進(jìn)行修補，對于背景圖和人像+背景圖中的背景使用通過Places2數(shù)據(jù)集訓(xùn)練后網(wǎng)絡(luò)模型進(jìn)行修補。

2.3 圖像著色

圖像著色是在給定灰度輸入圖像情況下生成符合實際或輸入約束的彩色圖像，是實現(xiàn)結(jié)果多樣性的關(guān)鍵一環(huán)，因而選用了2017年Zhang等[8]提出的交互式著色模型。該網(wǎng)絡(luò)的不同之處在于不僅輸出全圖CIE-Lab顏色空間下a和b色通道的估計，還可以輸出輸入點區(qū)域的色彩概率分布，即其可以輸出所選區(qū)域可能的顏色，例如衣服可以是白色、藍(lán)色或紅色等。

圖4 修補模塊處理流程及說明

該模型由主網(wǎng)絡(luò)、處理用戶點的局部提示網(wǎng)絡(luò)、處理全局統(tǒng)計信息的全局提示網(wǎng)絡(luò)組成，通過卷積神經(jīng)網(wǎng)絡(luò)端到端地學(xué)習(xí)將灰度圖和用戶輸入點直接映射到輸出彩色化，在全圖著色的同時滿足用戶區(qū)域著色需求。

綜上所述，著色流程設(shè)計如圖5所示，獲取輸入圖后首先進(jìn)行灰度化操作獲得單通道灰度圖，執(zhí)行全圖著色計算輸出圖像ab色通道的估計，根據(jù)此估計獲得CIE-Lab顏色空間著色結(jié)果，轉(zhuǎn)換為RGB空間后執(zhí)行輸出。當(dāng)用戶點擊圖像某一區(qū)域時，獲取該點位置信息及全圖著色信息執(zhí)行區(qū)域顏色計算，返回該區(qū)域色彩概率分布信息，將此概率信息排序后獲取可能性最大的10種顏色向用戶提供“推薦顏色”，同時為用戶提供一個“調(diào)色板”以方便其選擇更多顏色。

圖5 著色模塊處理流程及說明

2.4 圖像清晰化

該模塊主要任務(wù)是對圖片進(jìn)行清晰度的提升，而對清晰度的提升可以轉(zhuǎn)化為對圖片的銳化、降噪操作。圖像降噪可有效去除圖像噪點、膠片顆粒，但往往伴隨細(xì)節(jié)的丟失，因此在降噪操作前或后進(jìn)行銳化操作，可有效補充圖像輪廓信息，加強圖像邊緣、提高清晰度。

圖像銳化是補充邊緣信息，增強圖像輪廓的操作。利用銳化效果更好的拉普拉斯算子，圖像銳化采用了式(1)所示的5×5濾波模板。

圖像降噪任務(wù)是從退化的圖像中恢復(fù)出人眼視覺下干凈的圖像，例如噪聲、模糊、雨水等，是一個高度不適定的問題[10]。降噪部分選取了處理結(jié)果較好的傳統(tǒng)算法BM3D和基于深度學(xué)習(xí)方法TNRD、去噪卷積神經(jīng)網(wǎng)絡(luò)(denoising convolutional neural networks, DnCNN)、快速靈活去噪卷積神經(jīng)網(wǎng)絡(luò)(fast and flexible denoising convolutional neural network, FFDNet)進(jìn)行對比。

TNRD由Chen等[11]在 2015 年提出，該模型是將非線性擴散模型改進(jìn)為具有時間相關(guān)參數(shù)的動態(tài)非線性反應(yīng)擴散模型，保留簡單模型結(jié)構(gòu)的同時提高降噪質(zhì)量。DnCNN由Zhang 等[12]在2016 年提出，其利用殘差學(xué)習(xí)和批量歸一化加快訓(xùn)練過程并提高降噪性能，單個模型可處理多種噪聲水平污染圖像。FFDNet由 Tassano等[13]于2018 年提出，其在相同 DnCNN 網(wǎng)絡(luò)前和后加上了下采樣壓縮圖片分辨率至的預(yù)處理層和恢復(fù)原始分辨率的后處理層，降低了算法整體復(fù)雜性。

本文使用BM3D、TNRD、DnCNN、FFDNet提供的開源代碼和模型對添加σ=25高斯噪聲的圖像進(jìn)行降噪測試，降噪結(jié)果對比如表1所示。

表1 降噪結(jié)果對比

由表1中平均峰值信噪比(peak signal to noise ratio, PSNR)、細(xì)節(jié)保留度、色彩和平均處理時間對比結(jié)果可看出FFDNet具有明顯優(yōu)勢。

綜上所述，圖像清晰化模塊設(shè)計如圖6所示，主要由圖像銳化和圖像降噪2部分組成，用戶輸入圖像后自由選擇處理強度和處理順序，當(dāng)滿足要求后便可輸出進(jìn)行下一步操作。其中圖像銳化部分根據(jù)用戶輸入強度，將銳化矩陣外圍值約束在0～0.1、0～0.2，由于濾波模板需要歸一化，中心值將根據(jù)外圍值決定。圖像降噪使用FFDNet模型，根據(jù)用戶輸入強度執(zhí)行降噪并輸出結(jié)果展示。

圖6 清晰化模塊處理流程及說明

3 實驗

目前老照片修復(fù)相關(guān)論文聚焦于圖像降質(zhì)的某一因素，與本文結(jié)果不具有對比性。因此本文著眼于系統(tǒng)性能測試，通過實驗對比說明修復(fù)模塊中將人像與背景分類修補的優(yōu)勢，通過修復(fù)人工降質(zhì)圖片展示系統(tǒng)性能，最后展示了部分真實老照片修復(fù)結(jié)果圖。

3.1 人像+背景圖測試對比

在2.2節(jié)修復(fù)模塊設(shè)計中，本文說明了為保證人像與背景修復(fù)質(zhì)量，根據(jù)人像在圖片中的比例將修復(fù)圖像分為3類：人像圖、人像+背景圖、背景圖。其中將人像在圖片中所占比例在5%～25%的圖片劃分為人像+背景圖，這是由于測試過程中發(fā)現(xiàn)在該閾值范圍內(nèi)的圖像中人像占比較大，背景也具有一定特點，如果單純采用人像數(shù)據(jù)集訓(xùn)練模型或風(fēng)景數(shù)據(jù)集訓(xùn)練模型，會造成背景或人像的修補質(zhì)量差。

本節(jié)測試中，針對該問題進(jìn)行結(jié)果對比測試，比較分類修補和共同修補后原圖與結(jié)果圖的PSNR與結(jié)構(gòu)相似性(structural similarity, SSIM)。本文選取30張圖片進(jìn)行測試，其中共同修補分別采用了人像數(shù)據(jù)集訓(xùn)練模型和風(fēng)景數(shù)據(jù)集訓(xùn)練模型2種方式進(jìn)行測試。對于同一張圖采用相同的掩膜，掩膜涂抹面積均在15%～45%，測試結(jié)果如表2所示。

表2 人像+背景圖修補方法性能測試結(jié)果對比

由表2可以看出，不論是僅使用人像數(shù)據(jù)集訓(xùn)練模型，還是使用風(fēng)景數(shù)據(jù)集訓(xùn)練模型，修復(fù)所得到的結(jié)果均比分別修補所獲得的結(jié)果圖質(zhì)量差。通過人像與背景的分類修補，圖片質(zhì)量有效提高，因此本系統(tǒng)在實際搭建中針對該類圖像執(zhí)行分別修補。

3.2 系統(tǒng)性能測試結(jié)果

本文選取了從網(wǎng)絡(luò)上下載的51張不同的照片，為模擬老照片的圖像降質(zhì)影響，對其添加了σ=25的高斯噪聲并轉(zhuǎn)換為灰度圖。測試采用的CPU為Intel(R)Core(TM)i7-1065G7 CPU @ 1.3 GHz ，深度學(xué)習(xí)框架采用pytorch 1.5.0+CPU。測試過程中為模擬用戶的涂抹操作，本文將51張圖片均分為3組，每組隨機添加預(yù)先繪制、不同百分比的掩膜，系統(tǒng)部分測試對比如圖7所示。

圖7 系統(tǒng)性能測試原圖與結(jié)果圖對比

評價指標(biāo)展示如表3所示。其中，涂抹面積為涂抹區(qū)域占全圖百分比；輔助著色點是為了貼合現(xiàn)實而手動添加的著色點；PSNR和SSIM由修復(fù)結(jié)果圖與原圖之間計算；運行時間為開始操作到結(jié)果圖輸出之間的時間，因為使用預(yù)先繪制的掩膜，因此該時間不包括掩膜繪制過程。

表3 系統(tǒng)性能測試評價指標(biāo)數(shù)據(jù)

由圖7和表3可以看出，修復(fù)結(jié)果圖雖然與原圖色彩存在一定差異，但本系統(tǒng)可以在少量用戶輸入和較少運行時間基礎(chǔ)上，有效修復(fù)破損的黑白老照片，獲取完整、真實的場景圖。

3.3 老照片修復(fù)結(jié)果

本文選取了從網(wǎng)絡(luò)上下載的50張不同程度受損的老照片，對其在不進(jìn)行預(yù)處理的情況下進(jìn)行修復(fù)測試，圖8展示了部分結(jié)果及交互操作，圖9展示了更多修復(fù)結(jié)果圖。

圖8 老照片修復(fù)測試結(jié)果及交互操作

圖9 老照片修復(fù)結(jié)果

修復(fù)過程顯示，50張測試圖片運行時間均在6 min內(nèi)，時間主要花費在圖像修補中掩膜的涂抹和區(qū)域著色中著色點的選取，處理結(jié)果因掩膜覆蓋范圍的有效性和所選著色點數(shù)量有所差異，但均可以通過多次操作獲得良好結(jié)果。

由圖8和圖9可以看出，待修復(fù)圖像若破損面積小、圖片輪廓清晰，修復(fù)后紋理細(xì)節(jié)還原度高，著色結(jié)果準(zhǔn)確客觀，人眼視覺下達(dá)到了真實效果。當(dāng)圖像噪聲污染嚴(yán)重、破損區(qū)域較大，涂抹區(qū)域、輔助著色點選擇恰當(dāng)時修復(fù)效果較好，但存在一定平滑現(xiàn)象。出現(xiàn)修補錯誤、著色暈染時，通過修改修補區(qū)域、增加著色點可克服這類問題。

4 結(jié)論

本文提出了全新的老照片修復(fù)流程和模塊設(shè)計，以布局簡潔的交互式界面引入少量用戶輸入，通過清晰化、分類修補、著色3個模塊實現(xiàn)了高質(zhì)量修復(fù)輸出。與現(xiàn)有方法相比，該方法不僅擴大了可修復(fù)的老照片范圍，還有效提高了處理結(jié)果準(zhǔn)確性和多樣性。具體貢獻(xiàn)如下：

1）提出一種全新的老照片修復(fù)流程，針對老照片畫面缺損、顏色暗淡、畫質(zhì)模糊缺陷，將問題的解決方案劃分為對輸入圖像的銳化、降噪、修補和著色，實現(xiàn)對老照片中人像和背景的分類修補和多樣化著色結(jié)果輸出，以簡潔的流程擴大處理范圍、提高修復(fù)質(zhì)量；

2）功能模塊沒有一味選取深度學(xué)習(xí)方法，比較傳統(tǒng)方法和深度學(xué)習(xí)方法后結(jié)合使用，在保證輸出質(zhì)量的基礎(chǔ)上減少了計算量；

3）修補模塊中，通過人臉檢測計算人像在全圖的占比，包括多人像情況，根據(jù)人像大小進(jìn)行人像、背景分類修補，提高修補準(zhǔn)確度；

4）應(yīng)用系統(tǒng)以交互式界面展現(xiàn)，各處理模塊在引入少量用戶操作后將輸入直接映射到輸出，避免了因處理流程不明確而造成的修復(fù)錯誤問題，提高了修復(fù)操作的便捷度和處理結(jié)果的多樣性。

該方法目前還不適用于劃痕復(fù)雜、包含地域特點(如特殊建筑、發(fā)色、膚色等)的老照片，這是由于修補模塊中人工涂抹掩膜往往是困難、粗糙的，所選著色模型在訓(xùn)練時并未使用包含特殊數(shù)據(jù)的訓(xùn)練集。未來可通過設(shè)計掩膜自動生成網(wǎng)絡(luò)、構(gòu)建針對性數(shù)據(jù)集等方法有效解決該類問題。