李洪安 鄭峭雪 馬 天 張 婧 李占利 康寶生

圖像彩色化是計算機視覺和數(shù)字圖像處理等領域的一個研究熱點.使用相關算法對灰度圖像進行彩色化，可增強圖像的視覺表達能力，提供更多的語義信息.因此，圖像彩色化方法在老舊黑白照片上色、圖像視頻渲染、醫(yī)學影像分析等方面具有良好的應用前景[1-4].

對灰度圖像進行著色的本質是預測圖像中的每個像素值.然而在沒有先驗條件的情況下，一個像素對應的顏色值具有多樣性，對同個像素進行顏色預測的結果具有不確定性[5].根據在相鄰鄰域內，具有相同亮度信息的像素應具有相似顏色值的理論[6-7]，使用人為標記的顏色點或顏色線條對灰度圖像進行標記，通過顏色傳遞的方法對灰度圖像進行上色成為可能.較早的圖像著色方法也大多基于這種思想對灰度圖像進行著色，著色效果受顏色標記值的影響較大.

傳統(tǒng)著色方法需要提供大量的顏色點對圖像中的每個物體進行標記，因此學者們提出一些改進算法[8-9].曹麗琴等[10]使用圖像濾波對匹配像素點進行顏色遷移，克服彩色化結果容易產生過度平滑的問題.李洪安等[11]利用圖像分塊特征建立圖像彩色擴散優(yōu)化模型，在低采樣條件下，達到保持圖像結構和自然渲染圖像色彩的效果.Li等[12]將圖像彩色化視為優(yōu)化問題，把圖像轉化為圖雙拉普拉斯矩陣進行線性優(yōu)化求解，提高傳統(tǒng)圖像彩色化方法的速度.這些改進方法減少用戶的參與量，僅需對相似物體進行顏色標記，即可達到圖像彩色化效果.

雖然使用改進的顏色標記算法可提高對圖像著色效率，但對用戶的藝術繪畫水平具有一定要求，因此學者們提出基于參考示例和風格遷移的圖像著色算法，使用匹配算法在參考圖像和待著色圖像中尋找結構相似的像素進行顏色遷移，使著色后的圖像在整體上與參考圖像顏色一致.但此算法也存在一些不足，在進行著色時需要用戶提供一幅結構和內容相似的圖像，增加用戶選擇參考圖像的難度和工作量.為了解決這類問題，學者們提出一些根據目標圖像結構信息提供參考顏色和參考圖像的優(yōu)化算法.Zhang等[13]提出顏色分解優(yōu)化方法，將原始圖像中的顏色分解為線性組合，再通過顏色板對圖像重新上色.Li等[14]從局部匹配尺度和全局優(yōu)化兩方面進行改進，提出串級紋理匹配的圖像彩色化方法.上述方法提高用戶的可操作性，使用自建數(shù)據庫圖像，可為用戶提供較可靠的選擇，克服需要用戶自己尋找參考圖像的困難.

目前神經網絡已應用于目標識別、目標檢測、圖像分割等方面[15-17].學者們開始使用人工神經網絡的方法對灰度圖像進行著色，利用神經網絡強大的學習和擬合能力，向網絡輸入灰度圖像或草圖信息，經過一定階段的學習訓練，網絡輸出一幅著色好的彩色圖像或顏色預測值.基于深度學習的圖像著色方法普遍使用卷積神經網絡(Convolutional Neural Network， CNN)、編碼解碼器網絡和生成對抗網絡(Generative Adversarial Networks， GAN)產生彩色圖像.Li等[18-19]提出基于GAN的灰度圖像彩色化方法，利用Gabor濾波和深層次網絡結構提取圖像的特征信息，實現(xiàn)全自動的圖像彩色化.Sangkloy等[20]提出深度對抗圖像合成網絡，同時輸入物體輪廓和顏色信息，生成逼真的彩色圖像.Yoo等[21]設計記憶增強著色模型，在無需類別標簽下也可進行無監(jiān)督訓練，解決圖像彩色化受小樣本學習限制的問題.Johari等[22]將圖像彩色化分為兩階段，第1階段根據輸入圖像的上下文信息分類圖像，第2階段訓練特有的著色網絡進行彩色化.上述研究針對圖像的局部塊信息、一致性結構、上下文信息和可控性等方面進行改進，提出相關的優(yōu)化算法和網絡框架，提高使用神經網絡進行自動圖像著色的質量.

多尺度特征表示方法主要利用卷積操作融合不同深度和寬度的特征，實現(xiàn)在不同尺度上的視覺任務.特征金字塔網絡(Feature Pyramid Networks， FPN)[23]和PSPNet(Pyramid Scene Parsing Network)[24]在不同大小的特征圖像上進行卷積，并在網絡末端對所有提取的信息進行融合并輸出結果.Chen等[25]針對不同尺度的特征圖像,采用復雜度不同的卷積操作提取特征信息，并通過特征融合分解的方式實現(xiàn)不同尺度信息之間交換.Meng等[26]設計動態(tài)調整策略，使用決策網絡對輸入的視頻幀的尺度進行自適應改變，實現(xiàn)在不同尺度上的信息預測.

應用感知特征進行圖像處理相關工作可提高模型的感知能力，利用經過預訓練的CNN提取圖像的特征信息，可在高級語義特征層面對圖像進行整體感知.圖像感知的方法可應用于圖像超分辨率重建、圖像去噪、圖像分割等領域[27-30].

基于神經網絡的灰度圖像著色方法需要進行學習訓練，在測試階段對目標圖像進行著色時，受訓練數(shù)據集上主要顏色的影響，圖像的彩色化結果單一，與真實圖像的顏色不一致，著色圖像的顏色豐富性較低，對物體邊界容易產生偽影和顏色溢出現(xiàn)象.針對上述問題，本文設計多視野特征表示的灰度圖像彩色化方法(Multi-field Features Representation Based Colorization of Grayscale Images， MFRC)，從多視野特征表示和視覺感知方面改進灰度圖像彩色化方法，本文方法主要包括優(yōu)化、設計網絡結構和目標損失函數(shù).受FPN[23]的啟發(fā)，設計灰度圖像彩色化框架，使用多視野特征表示的端到端網絡進行彩色化，模擬人眼對圖像的認知過程.從全局到局部、從大尺度物體到小尺寸物體進行漸進式觀察，提高對多種尺度目標物體的彩色化效果.在多個尺度上感知圖像，使用感知損失對比生成彩色圖像和真實彩色圖像，提高圖像的整體感知效果.在不同類別的6個數(shù)據集上的實驗表明，本文方法能有效提升彩色化圖像質量，產生顏色更豐富、色調更一致的彩色圖像，并在客觀評價指標和主觀感受上都較優(yōu).

1 多視野特征表示的灰度圖像彩色化方法

目前利用深度神經網絡對灰度圖像進行彩色化，可產生良好的著色效果，但對不同尺度大小的目標物體進行著色時仍存在誤著色和受訓練數(shù)據主要類別顏色影響的問題，造成圖像彩色化質量降低和顏色溢出的現(xiàn)象.并且在進行圖像著色時，忽略圖像的整體感知信息，使彩色化圖像在整體色調上不一致.GAN具有強大的圖像生成能力，在圖像風格轉換、超分辨率、圖像著色等領域具有廣泛的應用前景，并衍生出一系列的網絡模型[31-33].因此，本文在U-Net基礎上設計多視野特征表示的灰度圖像彩色化方法，利用感知損失對不同尺度特征進行感知，提高彩色化效果.

1.1 方法結構

為了提取圖像中豐富的特征信息，本文設計多視野特征表示模塊(Multi-field Feature Represented Block， MFRB)，并將其作為U-Net的跳躍連接，融合不同層次的特征信息.因此，本文方法由多視野特征表示U-Net和PatchGAN(Patch-Based GAN)[34]組成.U-Net充當彩色圖像生成器，PatchGAN充當判別器.此外，利用特征提取網絡得到感知損失，優(yōu)化模型,產生顏色更和諧的彩色圖像.本文方法整體結構如圖1所示.

輸入待著色圖像的亮度信息L，生成器G提取其特征并輸出預測色度信息a、b，融合亮度信息和色度信息，產生著色后的彩色圖像.判別器D對來自真實數(shù)據和生成器的生成彩色圖像進行判斷，計算生成圖像和真實圖像之間的概率分布相似性.通過生成器和判別器之間的相互博弈過程，逐漸提高生成器和判別器的性能，模型的損失函數(shù)定義為

L(G,D)=Ey[lnD(y)]+Ex[ln(1-D(G(x)))]，

其中,x表示Lab顏色空間下待著色圖像亮度信息，y表示Lab顏色空間下真實彩色圖像，E表示期望值.通過最小化生成器損失和最大化判別器損失，在生成器和判別器相互對抗學習中達到優(yōu)化整體模型的目的.

圖1 本文方法結構圖

灰度圖像彩色化也可看作回歸預測問題,即使用優(yōu)化模型預測每個像素的顏色通道值，因此如何設計函數(shù)優(yōu)化目標十分重要.在深度機器學習算法中，通常使用平方差損失函數(shù)和絕對值損失函數(shù)計算真實數(shù)據與生成數(shù)據之間的差異值.然而在進行圖像著色任務時，仍會產生顏色溢出和邊界模糊等問題.Isola等[34]設計PatchGAN，在分塊區(qū)域上判斷真實圖像和生成圖像，提高判別器網絡的在局部分塊特征上的感知效果，達到提高生成圖像質量的效果，但忽略圖像的全局特征信息，導致圖像整體彩色化質量不高.本文在此基礎上增加感知損失，從不同尺度特征上判斷真實圖像和生成圖像，對整個模型的優(yōu)化目標為

其中,G表示生成器網絡，D表示判別器網絡，Ll1表示生成器的l1損失值，Lp表示感知損失值，λ表示l1損失，γ表示感知損失的系數(shù).

1.2 多視野特征表示U-Net

圖像多尺度特征表示在計算機視覺任務中較普遍，常見方式是設計不同的處理分支，在不同尺度上獲取圖像特征信息，然后通過不同的特征融合方式將所有分支提取的信息進行交叉?zhèn)鬟f.但這些方法的研究重點主要集中在如何設計特征融合方法和減小計算復雜度，對于多尺度特征的提取，通常使用下采樣的方法獲得.此方法會使輸入圖像分辨率以2的指數(shù)級降低,獲得的多尺度圖像僅僅是分辨率上的不同，不能表示多樣的特征信息.因此，本文從特征獲取角度出發(fā)，設計MFRB提取圖像的特征信息，并與改進的U-Net結合，得到多視野特征表示U-Net.MFRB的網絡結構如圖2所示.

圖2 MFRB結構圖

假設Xi表示輸入灰度圖像，通過MFRB后的輸出為Xi+1，此過程可表示為

在經過多次卷積后，特征圖像的大小逐漸減小，并且隨著卷積核的增大，參數(shù)量呈指數(shù)級增長.在不超過特征圖大小的情況下，提取圖像中的全局信息和局部信息，將多視野感受級別設置為4(即α=4).從不同感受野上進行特征提取，并使用卷積核大小為1的卷積操作融合不同尺度特征.使用一個大小為1的卷積保留原始特征信息，最后將得到的所有特征進行融合輸出.

U-Net在醫(yī)學圖像處理上性能較優(yōu)，在醫(yī)療圖像分割、圖像偽影去除等方面具有廣泛應用[30，35]，因此本文使用U-Net作為彩色化網絡.傳統(tǒng)U-Net直接融合下采樣層和上采樣層的特征信息，使網絡充分利用圖像的淺層特征和深層特征.但是下采樣提取的特征圖屬于低級語義信息，而上采樣層的特征圖是由深層卷積得到的高級語義信息，不能直接融合兩者[36].因此，本文將MFRB作為跳躍連接，代替?zhèn)鹘y(tǒng)端到端特征直接相加的方法，將低級特征通過MFRB后與高級特征結合，提高多尺度特征提取能力.

Inception模塊與MFRB較相似，但仍存在如下不同: 1)功能不同.Inception是為了在增加網絡深度和寬度時減少參數(shù)量，而MFRB主要用于增加圖像特征的感受野，提取不同尺度的特征.2)結構不同.MFRB可自適應不同特征通道數(shù)，對不同大小的尺度特征具有相同比重.整個模塊卷積后得到的特征圖像在數(shù)量上與輸入特征數(shù)量保持一致.而在Inception模塊前后輸出特征圖數(shù)量不同，并且使用池化操作，導致在圖像彩色化過程中丟失部分特征信息，不利于生成高質量彩色圖像.3)位置不同.MFRB僅用于在對稱的U-Net網絡層之間，而Inception作為網絡的主體模塊，用于提取特征.

除了上述3點不同之處，因為MFRB主要是提取圖像中的多視野特征，并且在MFRB輸入前后的特征圖大小和數(shù)量保持不變，因此它與Inception結構類似，不僅可作用于U-Net中的跳躍連接，還可作為主體模塊或輔助模塊嵌入其它網絡結構中.

MFRB使用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積操作，在達到提取圖像多尺度特征信息的目的下，減小網絡的參數(shù)量.利用殘差塊和MFRB設計的多視野特征表示U-Net結構如圖3所示.

圖3 多視野特征表示U-Net結構圖

在下采樣階段，為了充分提取灰度圖像中的特征信息，使用6個殘差卷積模塊進行特征提取.每次卷積后，特征圖像的大小縮至原來的1/2，特征圖像的數(shù)量變?yōu)樵瓉淼膬杀?

在上采樣階段，為了保持與端到端輸出的特征圖像大小一致，使用卷積核大小為3、步長為2、填充像素為1的6個反卷積操作逐步重建彩色圖像，直至與輸入圖像相同大小.在每次反卷積后，融合MFRB下采樣特征與上采樣特征并輸出.具體網絡參數(shù)如表1所示.

表1 多視野特征表示U-Net參數(shù)

1.3 多尺度感知損失

深度學習模型在產生彩色圖像的前提下，更應使生成圖像的顏色在整體色調上保持和諧.為了使圖像達到更優(yōu)的著色效果，使圖像的整體色調一致，本文使用感知損失函數(shù)，在不同尺度上的語義信息上判斷彩色化圖像.本文的感知損失函數(shù)是一個在ImageNet數(shù)據集上經過預訓練的VGG-19網絡，經過依次的卷積操作后，得到通道數(shù)量為64、128、256、512、512的特征圖像，特征圖像大小依次為256、128、64、32、16.向VGG-19網絡輸入彩色圖像，卷積后得到5個不同尺度的感知特征.多尺度感知網絡結構如圖4所示，圖中Convx-y表示卷積核大小為x，輸出特征圖數(shù)量為y.

根據Gatys等[37-38]提出的風格重建損失定義,特征圖像的格萊姆矩陣定義為

其中,x表示輸入圖像，C表示圖像的通道數(shù)，H表示圖像高度，W表示圖像寬度，φ表示VGG-19網絡，φj表示第j層網絡.生成圖像與真實圖像之間的感知損失定義為它們的格拉姆矩陣差異值的Frobenius范數(shù)平方，并且對于不同層次的損失設置權重都為1，即5種特征損失具有相同的貢獻程度.因此，將5個不同層次的特征損失相加即可得到整體的感知損失：

加入感知損失后，本文方法得到進一步改進，因此在下文中將融合感知損失的MRFC稱作MFRC+.

圖4 多尺度感知網絡結構圖

2 實驗及結果分析

2.1 實驗環(huán)境

為了驗證融入MFRB結構的MFRC(即MFRC+)對復雜圖像和小目標物體具有良好的彩色化效果，本文在Natural Color Dataset(NCData)、OxFlower17、 SpongeBob、Monet、Horse、Summer數(shù)據集上分別進行實驗.

NCData數(shù)據集是Anwar等[39]為了解決圖像彩色化評價缺乏統(tǒng)一實驗數(shù)據問題而建立的彩色圖像數(shù)據集,包括20個類別的721幅彩色RGB圖像.OxFlower17、SpongeBob、SquarePants數(shù)據集上包含花卉圖像和卡通動漫圖像.Monet、Horse、Summer數(shù)據集均是從網絡和ImageNet中選取的公開數(shù)據集，涵蓋動物和風景的自然圖像和莫奈藝術圖像[28].將所有數(shù)據集按照8∶2的比例隨機劃分為訓練數(shù)據集和測試數(shù)據集.

所有實驗均在同臺計算機上完成，使用64位Windows 10操作系統(tǒng)，處理器為Intel(R) Core(TM) i9-10900X CPU @ 3.70 GHz，顯卡為NVIDIAGeForce RTX 2080 Ti，科學計算庫為PyTorch1.7.0，CUDA10.2，Python3.7.3.

2.2 實驗流程及評價指標

在實驗中，對所有的數(shù)據集進行裁剪，使所有圖像的大小均為256×256.由于所有圖像均是在RGB顏色空間下的彩色圖像，而本文方法接收Lab顏色空間下的L亮度通道信息，輸出a、b色度通道信息.因此，需將所有的圖像進行顏色空間轉換，即從RGB顏色空間轉換為Lab顏色空間.

實驗分為訓練和測試兩部分，在訓練期間，將經過預處理的L亮度信息輸入生成器網絡，再將生成的a、b色度信息與輸入亮度信息L進行融合，得到彩色化圖像.將生成的彩色圖像和真實圖像輸入感知網絡和判別器網絡，計算得到兩者之間的差異值.實驗設置迭代次數(shù)為100，學習率為0.003，λ=100，γ=50.使用批量歸一化對數(shù)據進行正則化，經過100次對抗訓練后得到最終的彩色化模型.本文采用經典算法和全自動彩色化算法[21,32，33]進行對照實驗，經過100次訓練后得到最終的模型.

為了客觀反映各彩色化模型在不同數(shù)據集上的性能，使用峰值信噪比(Peak Signal to Noise Ratio， PSNR)、結構相似性(Structural Similarity， SSIM)和感知相似度(Learned Perceptual Image Patch Simi-larity， LPIPS)[40]對彩色化結果進行定量分析.PSNR是常見的評價圖像壓縮重建質量的測量方法.SSIM可從圖像亮度、對比度和結構組成上評價圖像質量好壞.LPIPS可從主觀感受上評價圖像質量，數(shù)值越小，表示兩幅圖像越相似.

2.3 實驗結果對比

2.3.1 主觀評價分析

為了驗證本文方法在不同尺度上都能得到較好的彩色化結果，在6個數(shù)據集上選擇不同復雜程度的圖像進行實驗.

本文選取如下對比方法：文獻[19]方法、MemoPainter[21]、DCGAN(Deep Convolutional GAN)[32]、ChromaGAN[33]、pix2pix[34].

各方法在6幅圖像上的彩色化結果如圖5所示.由圖可看出，當圖像復雜度較低時，各方法都能進行良好的彩色化.但是當圖像中的物體增加、顏色種類豐富時，DCGAN顯然不再適用，彩色化結果趨于黑白，尤其在Summer、Horse數(shù)據集上.其它算法的彩色結果與真實圖像都存在不同差異，在前5幅圖像上都能得到較好的彩色化結果.值得注意的是，因為MFRC+可捕捉圖像中不同尺度物體的細節(jié)信息，得到的彩色化圖像顏色更豐富，更接近于真實圖像.由于加入感知損失，可從高級語義信息上對圖像進行感知，提高模型彩色化效果的一致性.因此得到的彩色化效果也更真實自然，整體顏色更和諧，未出現(xiàn)誤著色和顏色溢出的情況.此外，在第6幅圖像上，MFRC+對圖中的小人和湖面的彩色化效果更優(yōu)，進一步證實MFRC+在復雜圖像和小目標物體上的優(yōu)越性.

(a)真實圖像

(b)ChromaGAN

(c)DCGAN

(d)pix2pix

(e)MemoPainter

(f)文獻[19]方法

(g)MFRC+

2.3.2 定量指標分析

為了更客觀公正地對比各方法的彩色化結果，在6個數(shù)據集上進行實驗，并使用多種圖像質量評價指標評價各方法生成的彩色化圖像.各方法的PSNR值對比如表2所示，表中黑體數(shù)字表示最優(yōu)值.由表可看出，MFRC+得到的圖像質量最優(yōu).

表2 各方法在6個數(shù)據集上的PSNR值對比

SSIM指標從圖像結構上評價生成彩色圖像和真實彩色圖像，各方法在6個數(shù)據集上的SSIM值如表3所示，表中黑體數(shù)字表示最優(yōu)值.由表可看出，MFRC+在各數(shù)據集上都取得最優(yōu)值，充分說明使用感知損失可提高彩色化模型的整體感知能力，使生成彩色圖像和真實彩色圖像在結構上保持一致.

表3 各方法在6個數(shù)據集上的SSIM值對比

各方法在6個數(shù)據集上的LPIPS值如表4所示，表中黑體數(shù)字表示最優(yōu)值.由表可看出，MFRC+在所有數(shù)據集上得到最低值.因為LPIPS指標是利用在ImageNet數(shù)據集上訓練后得到的固定網絡對生成彩色圖像和真實彩色圖像進行相似性判斷，結果表示圖像在高級語義信息上的相似度.因為MFRC+可處理不同尺度的圖像特征，產生的彩色化圖像顏色種類更豐富、細節(jié)更清楚，因此感知相似度較優(yōu).

表4 各方法在6個數(shù)據集上的LPIPS值對比

2.4 消融實驗結果

2.4.1 多視野特征表示模塊的性能

為了驗證本文的MFRB模塊可在不同視野上提取圖像多尺度特征信息，達到良好的彩色化效果，在不添加感知損失的情況下進行實驗，各方法的圖像彩色化結果如圖6所示.

(a)真實圖像 (b)DCGAN (c)pix2pix (d)MFRC

從圖6可看出，各方法對相同的灰度圖像均可達到彩色化效果的目的，但DCGAN對小尺度物體和圖像細節(jié)進行彩色化時，存在誤著色和邊界模糊等問題.(c)是使用pix2pix得到的彩色化結果，圖中花朵的紫色花瓣被正確地彩色化，但花瓣邊界產生顏色邊界溢出現(xiàn)象，將背景部分的綠色著色為藍色，與真實圖像不一致.(d)為使用MFRC生成的彩色化圖像，由于采用MFRB在不同感受野上提取特征，使網絡可更好地對圖像中不同尺度的物體進行彩色化，對圖中的花瓣顏色進行正確預測，并且在花瓣邊界未產生顏色溢出現(xiàn)象，著色結果與真實圖像保持一致，表明MFRC可解決顏色溢出問題.

2.4.2 Inception與MFRB性能對比

Inception結構與本文的MFRB較相似，為了表明MFRB和Inception不同，將MFRB替換為Incep-tion結構，在相同的實驗條件下進行實驗，得到的彩色化圖像如圖7所示.由圖可看出，因為MFRB具有多視野特征提取的能力，得到的彩色化結果明顯優(yōu)于Inception.

(a)真實圖像 (b)Inception (c)MFRB

本文還在數(shù)值上對比Inception和MFRB，具體指標值如表5所示,表中黑體數(shù)字表示最優(yōu)值.由表可看出，MFRB性能更優(yōu).

表5 Inception與MFRB的指標值對比

2.4.3 有無感知損失對比

由于本文方法引入感知損失，為了驗證加入感知損失后可提升圖像整體彩色化結果，使用不帶感知損失的MFRC和加入感知損失的MFRC+進行對比，結果如圖8所示.由圖可看出，雖然不加入感知損失時也能對灰度圖像進行彩色化，但是彩色化結果與真實圖像存在一定差異.使用感知損失后，彩色化圖像的顏色鮮艷程度更高，在圖像整體上呈現(xiàn)一致性.例如，圖8中對綠色的西蘭花進行著色時，未添加感知損失時將第1個物體彩色化為黃色，不符合圖像的整體一致性.加入感知損失后，所有的物體都被正確彩色化為綠色.因此，使用感知損失可提高圖像色彩一致性，使得到的彩色化圖像質量更高，與真實圖像更接近.

(a)真實圖像 (b)灰度圖像 (c)MFRC (d)MFRC+

2.4.4 感知特征可視化

本文使用VGG-19網絡作為感知網絡，并將其劃分為5個尺度的感知層級，對圖像進行特征提取.將真實圖像輸入感知網絡中，并將其輸出的5個層級特征圖像進行可視化.因為每次特征提取都將特征圖尺寸縮小為原來的1/2，所以對小于圖像原始尺寸的特征圖使用雙線性插值的方法進行上采樣，恢復其圖像分辨率，部分實驗結果如圖9所示.由圖可看出，隨著感知深度增加，提取的圖像特征信息也更抽象.

為了確定網絡感知損失的系數(shù)，對不同系數(shù)下網絡模型的圖像彩色化質量進行對比，結果如圖10所示.由圖可看出，使用不同感知損失系數(shù)對網絡彩色化能力具有不同的影響.當感知損失系數(shù)為50時，在3種指標上均達到最優(yōu)值.這也說明加入感知損失可提高圖像彩色化效果和圖像整體一致性的有效性.

(a)真實圖像 (b)第1層特征 (c)第3層特征 (d)第5層特征

圖10 感知損失系數(shù)對方法性能的影響

3 結 束 語

本文從多視野特征表示和圖像感知兩方面分析圖像彩色化問題，提出多視野特征表示的灰度圖像彩色化方法.使用多視野特征表示塊(MFRB)的U-Net網絡，提取圖像不同感受野下的特征信息，提高方法對不同尺度目標的著色效果.使用感知網絡在圖像的高級語義信息上對彩色化圖像進行相似度判斷，提高彩色化模型的感知能力，使彩色化后的圖像顏色在整體上保持一致.實驗表明，本文方法在自然圖像和卡通動漫圖像上具有良好的適應性.今后可考慮加強圖像彩色化質量，增強模型的遷移能力，提高在更廣泛生活應用場景中的實用性和可控制性.