羅靜蕊，王 婕，岳廣德

（1.西安理工大學(xué)自動(dòng)化與信息工程學(xué)院，西安710048；2.西安交通大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，西安710049）

0 概述

目前，數(shù)碼相機(jī)成為數(shù)字成像技術(shù)的主流成像設(shè)備，在智能交通、醫(yī)學(xué)成像與遙感影像處理等領(lǐng)域發(fā)揮了重要作用。數(shù)字彩色圖像中的每個(gè)像素分別有紅色（Red，R）、綠色（Green，G）和藍(lán)色（Blue，B）3 個(gè)顏色分量。為得到高質(zhì)量的彩色圖像，最佳的解決方案是使用3 個(gè)顏色傳感器分別接收每個(gè)像素的R、G、B 分量，隨后將這3 種顏色分量合成彩色圖像。在實(shí)際應(yīng)用中，由于3 個(gè)傳感器的布置會(huì)影響后續(xù)的色彩合成，并且3 個(gè)傳感器的數(shù)碼相機(jī)通常比較昂貴且體積較大，因此多數(shù)數(shù)碼相機(jī)使用單傳感器的圖像采集系統(tǒng)。

單傳感器數(shù)碼相機(jī)在進(jìn)行圖像采集時(shí)，在傳感器前會(huì)放置一個(gè)彩色濾波陣列（Color Filtering Array，CFA），從而產(chǎn)生CFA 圖像。由CFA 到達(dá)傳感器元件的光通常包含R、G、B 這3 種光譜，如拜爾（Bayer）模式［1］。在CFA 中，每個(gè)像素點(diǎn)僅允許通過一個(gè)顏色分量，因此通過CFA 圖像僅能判斷出景物的大致輪廓，而不能獲得完整的色彩信息。Bayer 模式的CFA 陣列交替使用一組R-G 濾鏡和一組B-G 濾鏡，其中，綠色像素呈對(duì)角排列，紅藍(lán)像素呈對(duì)角間隔排列。因此，陣列中的綠色像素占總像素個(gè)數(shù)的1/2，紅色和藍(lán)色像素分別占總像素個(gè)數(shù)的1/4。由于每個(gè)像素只包含一個(gè)顏色分量，因此需要根據(jù)相鄰像素點(diǎn)的顏色分量信息對(duì)其他兩個(gè)顏色分量進(jìn)行插值恢復(fù)，進(jìn)而根據(jù)CFA 圖像得到全彩色圖像，該過程稱為圖像去馬賽克。

在通常情況下，采用傳統(tǒng)插值算法進(jìn)行圖像去馬賽克操作時(shí)，對(duì)于色彩變化較小的平滑區(qū)域可以獲得較高的精度。然而，由于R、G、B 分量分別占據(jù)不同的顏色通道，各個(gè)通道之間可能存在空間偏移，當(dāng)對(duì)圖像邊緣等高頻部分進(jìn)行插值時(shí)通常存在偽影現(xiàn)象。另外，一些傳統(tǒng)插值算法忽略了不同顏色通道之間的相關(guān)性，導(dǎo)致去馬賽克圖像邊緣出現(xiàn)顏色失真現(xiàn)象［2］。針對(duì)上述問題，本文提出一種基于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的CFA圖像去馬賽克算法。GAN 網(wǎng)絡(luò)中使用的生成器為具有殘差稠密塊（Residual Dense Block，RDB）和遠(yuǎn)程跳躍連接的深層殘差稠密網(wǎng)絡(luò)（Deep Residual Dense Network，DRDN），鑒別器為一系列堆疊的卷積單元，并結(jié)合對(duì)抗性損失、像素?fù)p失以及特征感知損失改進(jìn)網(wǎng)絡(luò)損失函數(shù)進(jìn)一步提高網(wǎng)絡(luò)性能。

1 相關(guān)工作

1.1 傳統(tǒng)去馬賽克算法

目前，研究人員提出了很多用于圖像去馬賽克的插值算法，如最近鄰插值算法（Nearest Neighbor，NN）［3］、雙線性插值算法（Bilinear）［4］等，這些算法實(shí)現(xiàn)簡(jiǎn)單，但容易造成圖像偽影和色彩失真。為提高圖像去馬賽克效果，研究人員陸續(xù)提出了一系列插值算法。

在梯度類插值算法中，文獻(xiàn)［5］提出Hamilton-Adam 算法，該算法在插值過程中考慮了采樣后通道的二階導(dǎo)數(shù)，利用顏色通道間的相關(guān)性來提高插值后圖像的視覺效果。文獻(xiàn)［6］提出TL（Two-Line）算法，該算法利用小鄰域內(nèi)不同光譜成分交叉比的同質(zhì)性對(duì)低梯度方向的像素點(diǎn)進(jìn)行插值，以產(chǎn)生高質(zhì)量的圖像。

在基于方向的插值算法中，文獻(xiàn)［7］利用線性最小均方誤差（Linear Minimum Mean Square Error，LMMSE）從水平和垂直兩個(gè)方向進(jìn)行估計(jì)，進(jìn)而重構(gòu)出3 種顏色分量信息。文獻(xiàn)［8］在水平插值和垂直插值中使用先驗(yàn)決策，然后根據(jù)圖像邊緣走向進(jìn)行插值。該算法重構(gòu)的圖像在非水平或垂直走向的邊緣處容易出現(xiàn)虛假色。文獻(xiàn)［9］提出一種局部方向插值與非局部自適應(yīng)閾值方法，該方法利用圖像的非局部冗余來改善局部色彩的再現(xiàn)效果，可以有效地重建圖像邊緣并減少顏色偽影。

在基于殘差的插值算法中，文獻(xiàn)［10］提出最小化拉普拉斯殘差插值（Minimized-Laplacian Residual Interpolation，MLRI）算法，該算法通過最小化殘差的拉普拉斯能量來估計(jì)像素值，可以有效地減少顏色偽影現(xiàn)象。文獻(xiàn)［11］提出基于自適應(yīng)殘差插值（Adaptive Residual Interpolation，ARI）的去馬賽克算法，該算法通過自適應(yīng)選擇合適的迭代次數(shù)，并在每個(gè)像素點(diǎn)上結(jié)合兩種不同類型的殘差插值算法，有效改進(jìn)了傳統(tǒng)的殘差插值算法。文獻(xiàn)［12］將殘差插值（Residual Interpolation，RI）算法與基于梯度的閾值自由（Gradient-Based Threshold Free，GBTF）算法相結(jié)合，以獲得較好的去馬賽克效果。文獻(xiàn)［13］利用CFA 圖像中的高光譜空間相關(guān)性來計(jì)算色差信號(hào)以恢復(fù)3 種顏色信息，該算法能夠有效消除圖像鋸齒現(xiàn)象。另外，文獻(xiàn)［14］提出一種基于壓縮感知（Compressive Sensing，CS）的彩色圖像去馬賽克算法，該算法充分挖掘了彩色分量間和分量?jī)?nèi)的稀疏特性，可使復(fù)原圖像的紋理細(xì)節(jié)與色彩更加逼真。

1.2 基于神經(jīng)網(wǎng)絡(luò)的去馬賽克算法

近年來，神經(jīng)網(wǎng)絡(luò)在圖像分類［15-16］、運(yùn)動(dòng)識(shí)別［17-18］、圖像超分辨率重建［19-20］、圖像去馬賽克等圖像處理領(lǐng)域得到了快速發(fā)展和廣泛應(yīng)用。文獻(xiàn)［21］采用深層卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）進(jìn)行去噪和去馬賽克處理，有效抑制了噪聲和圖像偽影。文獻(xiàn)［22］利用深度殘差網(wǎng)絡(luò)對(duì)圖像進(jìn)行去馬賽克處理，取得了良好的效果。文獻(xiàn)［23］提出一種改進(jìn)的殘差U-Net，對(duì)于不同CFA 模式具有良好的泛化能力。

2 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)是一種概率生成網(wǎng)絡(luò)，由GOODFELLOW 等［24］于2014年將其引入深度學(xué)習(xí)領(lǐng)域。GAN 結(jié)構(gòu)如圖1所示，主要包括一個(gè)生成器G和一個(gè)鑒別器D，其中，G用于捕獲真實(shí)樣本x的數(shù)據(jù)分布，并采用服從某一分布（如高斯分布）的噪聲n來生成一個(gè)類似真實(shí)數(shù)據(jù)的生成樣本G(n)，D是一個(gè)二分類器，對(duì)于來自真實(shí)數(shù)據(jù)x的樣本，若D將其判斷為真（True），則輸出D(x)表現(xiàn)為一個(gè)大概率值，否則D將其判斷為假（False），輸出D(x)表現(xiàn)為一個(gè)小概率值。

圖1 GAN 結(jié)構(gòu)Fig.1 Structure of GAN

GAN 的訓(xùn)練過程是通過訓(xùn)練G以最小化生成樣本G(n)與真實(shí)樣本x的差異，同時(shí)通過訓(xùn)練D以最大化網(wǎng)絡(luò)的識(shí)別精度。因此，GAN 的訓(xùn)練過程是一個(gè)博弈問題，通過多次交替優(yōu)化G和D提高各自的網(wǎng)絡(luò)性能，使得G和D逐漸達(dá)到納什均衡，最終G(n)的數(shù)據(jù)分布近似于x的數(shù)據(jù)分布。上述過程的目標(biāo)函數(shù)定義為：

其中：x～Pdata(x)表示x服從真實(shí)樣本的數(shù)據(jù)分布Pdata(x)；n～Pnoise(n)表示n服從模擬樣本的數(shù)據(jù)分布Pnoise(n)；D(x)和D(G(n))分別表示D對(duì)真實(shí)樣本x和生成樣本G(n)的分類標(biāo)簽值；E(·)表示期望。在如式（1）所示的聯(lián)合優(yōu)化策略中，D的任務(wù)是將x識(shí)別為True，將G(n)識(shí)別為False，而G的任務(wù)是阻止D做出正確判斷。通過這種對(duì)抗式的網(wǎng)絡(luò)訓(xùn)練，G和D的性能均得到提升，G最終生成接近真實(shí)值的數(shù)據(jù)。

3 基于生成對(duì)抗網(wǎng)絡(luò)的去馬賽克算法

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出一種基于生成對(duì)抗網(wǎng)絡(luò)的CFA圖像去馬賽克算法，具體過程如圖2所示。首先，提取CFA圖像中的R、G、B 這3 種顏色分量，形成三通道CFA圖像作為生成器G的輸入，用于生成插值后的三通道彩色圖像。然后，將三通道彩色生成圖像與三通道彩色真實(shí)圖像同時(shí)輸入鑒別器D，根據(jù)鑒別器的輸出概率值來優(yōu)化G和D的網(wǎng)絡(luò)參數(shù)。本文對(duì)生成器和判別器結(jié)構(gòu)分別進(jìn)行設(shè)計(jì)，通過端到端可訓(xùn)練的網(wǎng)絡(luò)架構(gòu)對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練，并結(jié)合對(duì)抗損失、像素?fù)p失和特征損失改進(jìn)網(wǎng)絡(luò)損失函數(shù)進(jìn)一步提高網(wǎng)絡(luò)性能。

圖2 CFA圖像去馬賽克過程Fig.2 Process of CFA image demosaicing

3.2 生成器結(jié)構(gòu)

本文使用的生成器G為深層殘差稠密網(wǎng)絡(luò)，具體結(jié)構(gòu)如圖3所示。DRDN 主要由殘差稠密塊和遠(yuǎn)程跳躍連接構(gòu)成。G中所有卷積層的卷積核大小為3×3、步長(zhǎng)為1。G中每個(gè)卷積層之后引入批量歸一化（Batch Normalization，BN）操作以減慢網(wǎng)絡(luò)內(nèi)部協(xié)變量的傳遞并降低網(wǎng)絡(luò)對(duì)初始化權(quán)重的敏感性，可以加速網(wǎng)絡(luò)收斂并提高網(wǎng)絡(luò)性能［25］。除了最后一層以外，網(wǎng)絡(luò)激活函數(shù)采用LReLU 函數(shù)，其定義為：

其中：κ表示一個(gè)正常數(shù)，κ∈(0,1)，本文設(shè)置κ為0.1；xl表示LReLU 激活函數(shù)層的輸入向量。最后一層采用Tanh 函數(shù)作為激活函數(shù)，其定義為：

在圖3 中，輸入圖像是尺寸為50 像素×50 像素的三通道CFA 圖像，輸出圖像是尺寸為50 像素×50 像素的三通道彩色生成圖像。輸入圖像首先通過3 個(gè)卷積單元以提取圖像的淺層圖像特征，然后將得到的淺層圖像特征輸入RDB。

圖3 生成器結(jié)構(gòu)Fig.3 Structure of generator

隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)可以學(xué)習(xí)到更多的圖像細(xì)節(jié)信息，但是過深的網(wǎng)絡(luò)可能會(huì)出現(xiàn)網(wǎng)絡(luò)退化現(xiàn)象，通過使用RDB 可以改善網(wǎng)絡(luò)梯度消失和梯度彌散等問題。圖4 為殘差稠密塊結(jié)構(gòu)，可以看出RDB 中不僅包括輸入與輸出之間的跳躍連接，而且包括各卷積層之間的稠密連接。RDB 操作過程可以表示為：

圖4 殘差稠密塊結(jié)構(gòu)Fig.4 Structure of residual dense block

其中：fd-1和fd分別表示第d個(gè)RDB 的輸入特征圖和輸出特征圖；H(·)表示RDB 的殘差函數(shù)；g(·)表示稠密連接輸出函數(shù)。稠密連接結(jié)合了淺層圖像特征與深層圖像特征，可有效改善圖像信息在前向傳播時(shí)可能丟失的問題，并且提高了網(wǎng)絡(luò)對(duì)圖像細(xì)節(jié)信息的學(xué)習(xí)能力。

本文除了RDB 內(nèi)部的跳躍連接和稠密連接外，對(duì)于生成器G，在RDB 之間引入具有不同距離的遠(yuǎn)程跳躍連接，使得網(wǎng)絡(luò)可以更好地學(xué)習(xí)不同深度的圖像信息。首先，通過一個(gè)拼接層將各個(gè)跳躍連接的結(jié)果進(jìn)行合并操作（Concat）。然后，利用3 個(gè)卷積單元進(jìn)一步提取圖像的深層特征，以生成彩色的去馬賽克圖像。最后，采用一個(gè)遠(yuǎn)程跳躍連接將G的輸入與輸出相連接，使網(wǎng)絡(luò)能夠?qū)W習(xí)CFA 圖像中缺失的像素值，加速網(wǎng)絡(luò)收斂并進(jìn)一步提升網(wǎng)絡(luò)性能。上述過程可以表示為：

其中：z和y分別表示輸入的三通道CFA 圖像和輸出的三通道彩色生成圖像；[·]表示拼接操作；F(·)表示拼接層后續(xù)的一系列操作。

3.3 鑒別器結(jié)構(gòu)

鑒別器的目的是鑒別輸入圖像的真?zhèn)巍１疚氖褂玫蔫b別器D的結(jié)構(gòu)如圖5所示，D由一系列堆疊的卷積單元構(gòu)成，基本操作層為卷積層、BN 操作層和LReLU 激活函數(shù)層。對(duì)于鑒別器的最后一層，使用Sigmoid 激活函數(shù)將輸出的特征數(shù)據(jù)映射為[0,1]。Sigmoid 激活函數(shù)的定義為：

圖5 鑒別器結(jié)構(gòu)Fig.5 Structure of discriminator

其中：xs表示Sigmoid 激活函數(shù)層的輸入向量；D中所有卷積層的卷積核大小為3×3、步長(zhǎng)為1。

3.4 損失函數(shù)

本文通過借鑒文獻(xiàn)［26］的網(wǎng)絡(luò)損失函數(shù)，經(jīng)過適當(dāng)加權(quán)將對(duì)抗性損失、像素?fù)p失以及特征感知損失相結(jié)合并將其作為生成器的損失函數(shù)。對(duì)抗性損失函數(shù)La的定義為：

其中：G(·)表示生成器；D(·)表示鑒別器；zi表示輸入的三通道CFA 圖像；N表示輸入圖像數(shù)量。

像素?fù)p失函數(shù)Lp表示像素間的Euclidean 距離，其定義為：

其中：λ||?G(zi)||2表示正則化項(xiàng)；λ表示正則化權(quán)重。式（8）通過比較三通道彩色生成圖像G(zi)與三通道彩色真實(shí)圖像xi像素間的差異來恢復(fù)圖像信息。

特征感知損失函數(shù)Lf的定義為：

其中：V(·)表示從預(yù)先訓(xùn)練好的VGG19［27］網(wǎng)絡(luò)中提取的特征映射矩陣。式（9）通過比較三通道彩色生成圖像G(zi)與三通道彩色真實(shí)圖像xi的圖像特征，可以更準(zhǔn)確地提取圖像特征并恢復(fù)圖像高頻信息。

本文將La、Lp和Lf損失函數(shù)進(jìn)行適當(dāng)加權(quán)結(jié)合，共同約束生成器，因此生成器的損失函數(shù)定義為：

第四步：運(yùn)用分類討論的思想方法．當(dāng)直線繞原點(diǎn)旋轉(zhuǎn)運(yùn)動(dòng)的過程中,討論兩個(gè)函數(shù)圖象交點(diǎn)的個(gè)數(shù),得出滿足條件的a的取值范圍為

其中：α、β、γ表示正權(quán)重。根據(jù)式（10）對(duì)生成器的參數(shù)進(jìn)行相應(yīng)修改后，利用式（11）對(duì)鑒別器進(jìn)行更新：

其中：對(duì)于真實(shí)圖像xi，鑒別器輸出D(xi)接近于1；對(duì)于生成圖像G(zi)，鑒別器輸出D(G(zi))接近于0。通過式（10）與式（11）可以實(shí)現(xiàn)生成器與鑒別器的交替優(yōu)化。

4 數(shù)值實(shí)驗(yàn)

本節(jié)通過數(shù)值實(shí)驗(yàn)驗(yàn)證生成式對(duì)抗網(wǎng)絡(luò)的性能，生成式對(duì)抗網(wǎng)絡(luò)在Tensorflow 環(huán)境中進(jìn)行訓(xùn)練，實(shí)驗(yàn)運(yùn)行在配置為Nvidia?GeForce MX250 GPU 和Intel Core i5-8265U CPU 的計(jì)算機(jī)上。

4.1 訓(xùn)練參數(shù)與訓(xùn)練過程

本文使用的訓(xùn)練數(shù)據(jù)庫(kù)來自WED（Waterloo Exploration Database）［28］，其中包含4 744 幅自然圖像，從中選取600 幅圖像作為訓(xùn)練集中的原始圖像，對(duì)原始圖像做CFA 處理以獲得CFA 圖像。通過縮放、旋轉(zhuǎn)等數(shù)據(jù)增廣操作增加訓(xùn)練圖像的數(shù)量，具體操作為：首先對(duì)每幅圖像進(jìn)行1.0 倍、0.9 倍、0.8 倍和0.7 倍的縮放；然后使用滑動(dòng)窗口將縮放的圖像裁剪成尺寸為50 像素×50 像素的小塊圖像，其中滑動(dòng)窗口在水平和垂直方向上的滑動(dòng)步長(zhǎng)均為20 個(gè)像素點(diǎn)；最后將獲得的小塊圖像依次進(jìn)行垂直和水平翻轉(zhuǎn)，并順時(shí)針旋轉(zhuǎn)90°、180°和270°。通過上述數(shù)據(jù)增強(qiáng)操作得到了10 萬幅訓(xùn)練圖像，這些圖像在網(wǎng)絡(luò)訓(xùn)練過程中分批輸入，以減少網(wǎng)絡(luò)計(jì)算量及避免局部極值問題。

在訓(xùn)練過程中，損失函數(shù)中的權(quán)值參數(shù)設(shè)置為α=0.5、β=1、γ=1，正則化權(quán)重設(shè)置為λ=10-5，批量大小設(shè)置為256，迭代次數(shù)設(shè)置為200。由于在訓(xùn)練過程中網(wǎng)絡(luò)采用了可變的學(xué)習(xí)率，因此初始學(xué)習(xí)率設(shè)定為0.01，每迭代40 次減少1/10。

4.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)采用的測(cè)試集為Kodak 公開數(shù)據(jù)集。Kodak 數(shù)據(jù)集包含24 幅尺寸為768 像素×512 像素的彩色圖像。為定量評(píng)價(jià)網(wǎng)絡(luò)性能，采用彩色峰值信噪比（Color Peak Signal to Noise Ratio，CPSNR）［21］和結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）［29］指數(shù)作為客觀評(píng)價(jià)指標(biāo)，通過與不同的去馬賽克算法進(jìn)行比較驗(yàn)證本文算法的有效性。對(duì)比算法為最近鄰插值算法（NN）［3］、雙線性插值算法（Bilinear）［4］、TL［6］、ZHANG’s［13］、ARI［11］、MLRI［10］、RI-GBTF［12］、DCNN［21］，其中DCNN 和本文算法均屬于基于神經(jīng)網(wǎng)絡(luò)的去馬賽克算法。使用不同算法對(duì)Kodak 測(cè)試集中的24 幅圖像進(jìn)行去馬賽克處理，得到的CPSNR 與SSIM 指標(biāo)如表1所示，可以看出本文算法的兩項(xiàng)指標(biāo)相比其他算法有明顯的改進(jìn)，驗(yàn)證了本文算法的有效性。

表1 9 種算法的客觀評(píng)價(jià)指標(biāo)對(duì)比Table 1 Comparison of the objective evaluation indexes by nine algorithms

續(xù)表

圖6 9 種算法的客觀評(píng)價(jià)指標(biāo)的箱形圖顯示結(jié)果Fig.6 Box plots display results for the objective evaluation indexes by nine algorithms

圖7 給出了隨著迭代次數(shù)的增加，DCNN 和本文算法的網(wǎng)絡(luò)損失變化趨勢(shì)，其中對(duì)網(wǎng)絡(luò)損失值進(jìn)行了歸一化處理，可以看出本文算法在網(wǎng)絡(luò)收斂速度以及網(wǎng)絡(luò)損失值的減少程度上均優(yōu)于DCNN。

圖7 DCNN 和本文算法的網(wǎng)絡(luò)損失變化趨勢(shì)Fig.7 The trend of the network loss of DCNN and the proposed algorithm

圖8和圖9給出了對(duì)于Kodak數(shù)據(jù)集中圖像4和圖像10 分別使用不同算法獲得的去馬賽克圖像，其中，圖8（a）和圖9（a）為原始圖像，圖8（b）和圖9（b）為放大圖像，圖8（c）和圖9（c）分別是使用NN、Bilinear、TL、ZHANG’s、ARI、MLRI、RI-GBTF、DCNN、文獻(xiàn)［14］算法和本文算法的去馬賽克圖像，圖8（d）和圖9（d）分別是圖8（c）和圖9（c）對(duì)應(yīng)的放大圖像，圖8（e）和圖9（e）分別是圖8（c）和圖9（c）對(duì)應(yīng)的殘差圖像。由于使用的測(cè)試圖像存在復(fù)雜的紋理信息且容易產(chǎn)生偽影，因此選取某一局部區(qū)域進(jìn)行放大以便于更好地呈現(xiàn)細(xì)節(jié)信息。另外，圖8 和圖9 中給出了原始圖像與去馬賽克圖像的差值（殘差圖像）以便于直觀顯示各種算法的重構(gòu)精度。通過對(duì)比可以看出，各種算法對(duì)于平滑區(qū)域均可以較好地實(shí)現(xiàn)圖像恢復(fù)，但是對(duì)于非平滑區(qū)域，一些傳統(tǒng)算法容易出現(xiàn)偽影現(xiàn)象，而本文算法相較對(duì)比算法可以更好地抑制圖像高頻部分的偽影現(xiàn)象，對(duì)于圖像的一些細(xì)小邊緣信息可以更好地進(jìn)行恢復(fù)。結(jié)合表1可知，本文算法對(duì)圖像4 與圖像10 測(cè)試的CPSNR 值分別為43.78 dB 和44.47 dB。文獻(xiàn)［14］算法使用了與圖像4和圖像10相同的測(cè)試圖像，CPSNR值分別為41.76 dB和43.11 dB。通過對(duì)比可以看出，本文算法相較文獻(xiàn)［14］算法具有更好的去馬賽克效果。綜上所述，本文算法能夠更有效地抑制偽影現(xiàn)象及恢復(fù)圖像邊緣等高頻信息，從而呈現(xiàn)出更好的視覺效果。

圖8 針對(duì)Kodak 數(shù)據(jù)集中圖像4 采用不同算法得到的去馬賽克圖像對(duì)比結(jié)果Fig.8 Comparison results of the demosaicing images from different algorithms for the 4th image in the Kodak database

圖9 針對(duì)Kodak 數(shù)據(jù)集中圖像10 采用不同算法得到的去馬賽克圖像對(duì)比結(jié)果Fig.9 Comparison results of the demosaicing images from different algorithms for the 10th image in the Kodak database

5 結(jié)束語

為更有效地重建彩色圖像，針對(duì)單傳感器相機(jī)恢復(fù)彩色圖像的去馬賽克問題，本文提出一種基于生成對(duì)抗網(wǎng)絡(luò)的CFA圖像去馬賽克算法。通過設(shè)計(jì)GAN 的生成器、鑒別器和網(wǎng)絡(luò)損失函數(shù)增強(qiáng)學(xué)習(xí)圖像高頻信息的能力，并結(jié)合對(duì)抗性損失、像素?fù)p失以及特征感知損失改進(jìn)網(wǎng)絡(luò)損失函數(shù)提升網(wǎng)絡(luò)整體性能。數(shù)值實(shí)驗(yàn)結(jié)果表明，該算法能有效地減少圖像邊緣的偽影現(xiàn)象，產(chǎn)生接近真實(shí)圖像的高質(zhì)量重建圖像。本文研究假設(shè)CFA 圖像是無噪的，而在現(xiàn)實(shí)環(huán)境中獲得的圖像可能會(huì)受到噪聲的影響，并且在實(shí)際應(yīng)用中CFA 有多種模式，但本文僅使用Bayer模式，由于不同的CFA 模式對(duì)重構(gòu)圖像會(huì)有不同的影響，因此后續(xù)將針對(duì)不同的CFA 模式并且結(jié)合圖像去噪與圖像去馬賽克處理對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與優(yōu)化，進(jìn)一步提升網(wǎng)絡(luò)整體性能。