李恒鑫，常 侃，2*，譚宇飛，3，凌銘陽，覃團(tuán)發(fā)，2

（1.廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院，南寧 530004；2.廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室（廣西大學(xué)），南寧 530004；3.廣西師范大學(xué)電子工程學(xué)院，廣西桂林，541004）

0 引言

為了降低商用數(shù)碼相機(jī)的成本及技術(shù)難度，廠商通常在相機(jī)的光強(qiáng)傳感器前端增加一個(gè)顏色濾波矩陣（Color Filter Array，CFA）。其中，應(yīng)用最廣泛的是Bayer 模式［1］。經(jīng)過Bayer 模式采樣得到的圖片，包含有1/4 的紅色（R）通道、1/2的綠色（G）通道及1/4 的藍(lán)色（B）通道信息。由于在Bayer 采樣圖像上，每個(gè)像素點(diǎn)僅包含單個(gè)色彩通道信息，因此需要應(yīng)用彩色圖像去馬賽克（Color image DeMosaicking，CDM）復(fù)原出全彩圖像。

已有的CDM 算法可以大致分為兩類：傳統(tǒng)算法和基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的算法。其中，CDM 傳統(tǒng)算法可分為基于插值的算法及基于重建的算法?；诓逯档乃惴ò袼亻g簡(jiǎn)單插值的算法［2-4］以及引入圖像的稀疏先驗(yàn)信息的殘差插值算法［5-7］等?；诓逯档乃惴ㄟ\(yùn)行速度較快，但容易使彩色圖像產(chǎn)生拉鏈效應(yīng)及偽色彩效應(yīng)?；谥亟ǖ乃惴ㄍǔDM 過程視為一個(gè)逆問題，引入一種或多種圖像先驗(yàn)信息以約束求解。例如，黃麗麗等［8］結(jié)合稀疏編碼與字典學(xué)習(xí)，提出了非局部稀疏表示算法；Zhang 等［9］利用非局部圖像冗余先驗(yàn)，應(yīng)用非局部自適應(yīng)算法抑制插值誤差；Chang 等［10］提出的CDM 算法則是聯(lián)合通道間相關(guān)性與非局部自相似性?；谥亟ǖ乃惴ㄐ枰诰€迭代求解優(yōu)化問題，計(jì)算負(fù)擔(dān)過重，不易于實(shí)際應(yīng)用。

隨著并行計(jì)算技術(shù)的發(fā)展，基于CNN 的算法突破了硬件瓶頸，近年來逐漸成為了CDM 算法的主流［11-15］，其中較有代表性的算法是：Gharbi 等［11］將輸入的馬賽克圖像重新排列為四維特征圖，并使用原始圖像信息引導(dǎo)網(wǎng)絡(luò)重建過程；Tan等［12］將CDM 過程分為兩個(gè)階段（2-stage），其中第一階段產(chǎn)生中間結(jié)果，第二階段則通過殘差學(xué)習(xí)增強(qiáng)輸出圖像質(zhì)量；在文獻(xiàn)［13］中，將訓(xùn)練集分為粗糙、普通及光滑三類，獨(dú)立訓(xùn)練3 個(gè)模型，并將3 個(gè)模型的輸出進(jìn)行融合而得到最終結(jié)果；Cui 等［14］在2-stage 基礎(chǔ)上進(jìn)一步提出了三階段（3-stage）網(wǎng)絡(luò)模型，其使用G 通道來引導(dǎo)R、B 通道的重建。

一般而言，通過增加網(wǎng)絡(luò)深度和寬度，能夠提升網(wǎng)絡(luò)性能，但是，網(wǎng)絡(luò)模型大小和計(jì)算量也會(huì)隨之增加。部分算法并未考慮龐大的模型尺寸在實(shí)際應(yīng)用中的困難。例如，文獻(xiàn)［13］中提出對(duì)3 個(gè)去馬賽克網(wǎng)絡(luò)的輸出進(jìn)行融合，但3 個(gè)網(wǎng)絡(luò)總的參數(shù)量達(dá)到了4.5×106，因此在設(shè)計(jì)CNN 網(wǎng)絡(luò)的同時(shí)，必須要考慮算法性能和復(fù)雜度/模型尺寸之間的權(quán)衡。

已有一些學(xué)者設(shè)計(jì)了高效的網(wǎng)絡(luò)構(gòu)建模塊，旨在以較低的參數(shù)量獲得令人滿意的網(wǎng)絡(luò)性能。例如Chang 等［16］使用多支路以提取圖像中不同尺度的特征，但多支路方案使網(wǎng)絡(luò)的時(shí)間成本顯著增加。Hui 等［17］提出信息蒸餾模塊（Information Distillation Block，IDB），其部分特征通過跳躍連接實(shí)現(xiàn)信息蒸餾。但I(xiàn)DB 不針對(duì)蒸餾的信息進(jìn)一步提煉特征，且存在著蒸餾特征與精煉特征不適配的情況。

為了以較小的網(wǎng)絡(luò)尺寸與計(jì)算復(fù)雜度獲得高質(zhì)量的CDM 結(jié)果，本文提出了一種應(yīng)用通道間相關(guān)性和增強(qiáng)信息蒸 餾（Inter-channel Correlation and Enhanced Information Distillation，ICEID）的彩色圖像去馬賽克網(wǎng)絡(luò)。本文的主要工作包括了三個(gè)方面：

1）提出了一種應(yīng)用通道相關(guān)性的初始重建模塊（Interchannel-correlation-based Initial Reconstruction Module，IIRM）。該模塊直接在重排列的子色彩通道上提取特征，并利用R、G、B 三個(gè)色彩通道之間的相關(guān)性輔助進(jìn)行丟失信號(hào)的初始重建。

2）為在網(wǎng)絡(luò)參數(shù)與網(wǎng)絡(luò)性能等之間獲得更好的平衡，提出增強(qiáng)信息蒸餾模塊（Enhanced Information Distillation Module，EIDM）。在該模塊中，通過引入信息蒸餾策略，有效地降低模型參數(shù)量；針對(duì)蒸餾的信息，進(jìn)一步進(jìn)行特征增強(qiáng)，以便與精煉的特征更好地適配，從而獲得更強(qiáng)的特征表達(dá)能力。

3）將IIRM 與EIDM 模塊進(jìn)行級(jí)聯(lián)，構(gòu)成了完整的CDM網(wǎng)絡(luò)ICEID。與其他典型的CDM 算法相比，所提出的網(wǎng)絡(luò)能夠以相對(duì)較低的網(wǎng)絡(luò)復(fù)雜度和網(wǎng)絡(luò)尺寸獲得最高的主觀質(zhì)量與客觀質(zhì)量。

1 背景知識(shí)

1.1 基于通道間相關(guān)性的三階段去馬賽克網(wǎng)絡(luò)

Cui 等［14］提出的三階段網(wǎng)絡(luò)是一種較為經(jīng)典框架，如圖1 所示。其中“Network”為通道重建子網(wǎng)絡(luò)，“LossG”“LossRG”“LossGB”“LossRGB”分別代表G 通道、RG 通道、GB 通道、RGB通道的損失函數(shù)。該算法首先將馬賽克圖像進(jìn)行雙線性（Bilinear）插值得到初始圖像，再將初始圖像切分為R、G、B三通道分別進(jìn)行重建。由于在Bayer 模式中，G 通道包含更多的采樣信息，故采用重建后的G 通道引導(dǎo)R、B 通道的重建，以獲得更高的重建質(zhì)量。

圖1 三階段網(wǎng)絡(luò)的結(jié)構(gòu)Fig.1 Structure of 3-stage network

但是，上述三階段網(wǎng)絡(luò)存在著以下問題：首先，其初始圖像由馬賽克圖像進(jìn)行Bilinear 插值獲得，在插值后的圖像上提取信息，容易誤導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)過程；其次，在第一階段重建G 通道信號(hào)時(shí)，并未使用R 和B 通道的信息進(jìn)行輔助，從而限制了G 通道的重建質(zhì)量；最后，在通道重建子網(wǎng)絡(luò)中，對(duì)傳統(tǒng)的“卷積層+批歸一化+激活”模塊進(jìn)行級(jí)聯(lián)，提取和精煉特征的效率不夠高。為了解決上述問題，一方面，本文提出IIRM 模塊進(jìn)行初始的通道重建；另一方面，提出高效的EIDM 模塊進(jìn)行特征提取和精煉。

1.2 信息蒸餾模塊

Hui 等［17］提出了一種輕量化的信息蒸餾網(wǎng)絡(luò)（Information Distillation Network，IDN），其在網(wǎng)絡(luò)參數(shù)量與性能之間達(dá)到了較好的平衡。圖2 展示了IDN 中的基礎(chǔ)構(gòu)建塊——信息蒸餾模塊（IDB），其中，“Conv”表示卷積層，“”表示特征通道的級(jí)聯(lián)（Concat）操作，“”表示特征通道的切分（Slice）操作，“⊕”表示特征通道的加操作。由圖2 可見，IDB 在結(jié)構(gòu)中部對(duì)特征進(jìn)行切分，部分特征與輸入特征級(jí)聯(lián)后直接連接到模塊末端，與經(jīng)過提煉的特征進(jìn)行相加。由于部分特征進(jìn)行了跨層傳輸，IDB 的參數(shù)量得以減小。

圖2 IDB的結(jié)構(gòu)Fig.2 Structure of IDB

IDB 的結(jié)構(gòu)存在著下述問題：首先，被切分出來的16 個(gè)特征通道沒有作進(jìn)一步的提煉，且與另一個(gè)支路的48 個(gè)特征通道的信息并不適配；其次，結(jié)構(gòu)中存在多次特征通道的調(diào)整，需要過多地手工設(shè)計(jì)以匹配不同支路的特征維度，導(dǎo)致網(wǎng)絡(luò)設(shè)計(jì)不夠靈活。為了有效地解決IDB 中的缺陷，本文提出增強(qiáng)信息蒸餾模塊（EIDM），并將其作為本文去馬賽克網(wǎng)絡(luò)中的基礎(chǔ)構(gòu)建塊。

2 ICEID

本文提出了一種應(yīng)用通道相關(guān)性和增強(qiáng)信息蒸餾（ICEID）的彩色圖像去馬賽克網(wǎng)絡(luò)。該網(wǎng)絡(luò)的結(jié)構(gòu)如圖3 所示，主要由主要特征提取主支路與旁伴支路組成。為了避免Bilinear 插值所引入的誤導(dǎo)信息，將輸入的Bayer 圖像重排列為4 維特征“RG1G2B”，其長(zhǎng)寬尺寸由H×W變換為×4。在主要特征提取支路中，“RG1G2B”通過IIRM 及EIDM，輸出特征尺寸為× 64，再傳遞給一個(gè)3×3 卷積層及子像素層［18］（Sub-pixel），從而生成H×W× 3 的特征圖。在旁伴支路中，“RG1G2B”通過一層5×5 卷積層及子像素層生成H×W× 3 的特征圖，其輸出直接跨層連接至主要特征提取支路尾端以便于網(wǎng)絡(luò)進(jìn)行殘差學(xué)習(xí)。最后，將輸出圖像中各個(gè)通道的Bayer 采樣位置像素替換為真實(shí)采樣值。ICEID 網(wǎng)絡(luò)內(nèi)主要包含IIRM 與EIDM 兩個(gè)子模塊，采用端到端的訓(xùn)練方式以解決CDM 問題，各個(gè)子網(wǎng)絡(luò)不進(jìn)行獨(dú)立訓(xùn)練。

圖3 應(yīng)用ICEID的CDM網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of CDM network based on ICEID

2.1 應(yīng)用通道相關(guān)性的初始重建模塊IIRM

如前文所述，從Bilinear 插值結(jié)果中提取特征，會(huì)一定程度上限制網(wǎng)絡(luò)的性能。為了高效、準(zhǔn)確地從Bayer 圖像中提取特征，參照Gharbi 等［11］的算法，將H×W的Bayer 圖像重排列為4 個(gè)的子色彩通道“R”“G1”“G2”和“B”，并在這4個(gè)子色彩通道上進(jìn)行特征提取。重排列的4 個(gè)子色彩通道可由式（1）得到：

其中：X表示輸入的Bayer 圖像，表示重排列特征圖像；(i，j)表示馬賽克圖像中像素的坐標(biāo)位置，其中i∈[0，H/2-1]，j∈[0，W/2-1]；p=0，1，2，3 分別對(duì)應(yīng)子色彩通道“R”“G1”“G2”和“B”。

圖4 為IIRM 的結(jié)構(gòu)，該結(jié)構(gòu)用于初步重建出3 個(gè)色彩通道的丟失信息。

圖4 IIRM的結(jié)構(gòu)Fig.4 Structure of IIRM

具體地，對(duì)于R 和B 通道，IIRM 分別需要重建出3 個(gè)尺寸為的子通道；而對(duì)于G 通道，則僅需要重建出2 個(gè)的子通道。與文獻(xiàn)［14］不一樣，在本文提出的IIRM模塊中，在G 通道的重建過程中使用R、B 通道信息進(jìn)行輔助，從而提升G 通道的重建準(zhǔn)確性。由于G 通道具備更多的采樣信息，在G 通道重建后，再將其用于引導(dǎo)R、B 通道的重建。從上述結(jié)構(gòu)可知，G 通道的重建準(zhǔn)確度會(huì)影響R、B 通道的重建結(jié)果。因此在訓(xùn)練中，本文將G 通道的重建誤差引入損失函數(shù)，以獲得高質(zhì)量的G 通道重建結(jié)果。為了更為有效地提取特征，本文采用了殘差通道關(guān)注塊（Residual Channel Attention Block，RCAB）［19］，該模塊的結(jié)構(gòu)如圖5 所示，其中“?”表示特征通道的乘操作。通過引入通道注意力（Channel Attention，CA）機(jī)制，RCAB 可以獲得比傳統(tǒng)的殘差塊（Residual Block）更強(qiáng)的特征表達(dá)能力。但需要注意的是，因?yàn)镮IRM 模塊僅負(fù)責(zé)對(duì)R、G、B 通道進(jìn)行初始重建，所以在R、G、B 三個(gè)支路上都只使用了單個(gè)RCAB 塊。

圖5 RCAB的結(jié)構(gòu)Fig.5 Structure of RCAB

在完成三個(gè)通道的丟失信息的初始重建后，將其分別與Bayer 采樣得到的3 個(gè)子色彩通道信息級(jí)聯(lián)，并采用3×3 卷積重新提取特征圖，以便進(jìn)行下一階段的增強(qiáng)重建。

2.2 增強(qiáng)的信息蒸餾模塊

圖6 為EIDM 的結(jié)構(gòu)圖，其由3 個(gè)信息蒸餾增強(qiáng)塊（Enhanced Information Distillation Block，EIDB）堆疊而成。在EIDB 中，“RCAG”代表殘差通道關(guān)注組（Residual Channel Attention Group，RCAG）。則EIDM 的函數(shù)形式可由式（2）表示：

圖6 EIDM的結(jié)構(gòu)Fig.6 Structure of EIDM

其中：FEIDB-3(·)表示3 個(gè)EIDB 的級(jí)聯(lián)；為EIDM 函數(shù)輸入特征，C1表示1×1 卷積。

在EIDB 中，首先將輸入特征通過1×1 卷積層，以便隱式地學(xué)習(xí)如何進(jìn)行特征的打包；接下來，通過Slice 操作，將前16 個(gè)特征通道劃分到上支路，剩余48 個(gè)特征通道劃分到下支路。針對(duì)上支路的16 個(gè)特征通道，采用了單個(gè)RCAB 塊進(jìn)行特征提煉，針對(duì)下支路的48 個(gè)特征通道，采用RCAG 模塊進(jìn)行特征提煉。RCAG 模塊的結(jié)構(gòu)如圖7 所示，其中包含了M個(gè)級(jí)聯(lián)的RCAB 塊，以便有效地提煉48 個(gè)特征通道的深度特征。最后，將上下兩個(gè)支路的特征通道進(jìn)行級(jí)聯(lián)，傳遞給下一個(gè)EIDB。

圖7 RCAG的結(jié)構(gòu)Fig.7 Structure of RCAG

本文所提出的EIDB 的結(jié)構(gòu)與文獻(xiàn)［17］中的IDB 結(jié)構(gòu)的主要區(qū)別在于：一方面，在本文中，對(duì)蒸餾的信息，即上支路的16 個(gè)特征通道，也進(jìn)行特征提煉；另一方面，經(jīng)過蒸餾的信息與下支路精煉的信息是通過級(jí)聯(lián)操作進(jìn)行合并。這樣的設(shè)計(jì)不僅有效地解決了兩個(gè)支路特征信息的不適配的問題，也避免了文獻(xiàn)［17］中超參數(shù)過多的問題。從參數(shù)量上來看，因?yàn)樯现穬H針對(duì)16 個(gè)特征通道設(shè)置了一個(gè)RCAB 塊，所耗費(fèi)的參數(shù)量遠(yuǎn)低于下支路，所以仍然有利于將EIDB 的總參數(shù)量維持在相對(duì)較低的水平。而通過將多個(gè)EIDB 級(jí)聯(lián)構(gòu)成的CNN 網(wǎng)絡(luò)，也能夠保持高效、輕量化的優(yōu)勢(shì)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

為了能更好地證明本文算法的性能，將本文算法與自適應(yīng)殘差插值（Adaptive Residual Interpolation for color image demosaicking，ARI）［7］、深度聯(lián)合去馬賽克與去噪（Deep Joint Demosaicking and Denoising，DJDD）［11］、基于深度殘差學(xué)習(xí)的彩色圖像去馬賽克（color image demosaicking via Deep Residual Learning，DRL）［12］、3-stage［14］這4 種主流的CDM 算法進(jìn)行比較。其中，ARI 是傳統(tǒng)的CDM 算法，DJDD、DRL、3-stage 算法是3 種基于CNN 的算法。為了保證實(shí)驗(yàn)的公平性，在本實(shí)驗(yàn)中，使用相同的學(xué)習(xí)策略重新訓(xùn)練DJDD、DRL與3-stage。具體地，使用自適應(yīng)動(dòng)量（ADAptive Momentum，ADAM）估計(jì)作為優(yōu)化器，優(yōu)化器初始化參數(shù)設(shè)置β1=0.9、β2=0.999 以及ε=10-8；網(wǎng)絡(luò)初始學(xué)習(xí)速率為2× 10-4，總訓(xùn)練輪次（epoch）設(shè)置為200，其中學(xué)習(xí)率在epoch 為［100，140，180］時(shí)降低為之前的一半；使用Agustsson 等［20］提出的DIV2K 圖像庫作為訓(xùn)練集，其輸入塊（patch）大小為96× 96，每個(gè)批次（batch）包含了64 對(duì)輸入塊及目標(biāo)塊。

在本文網(wǎng)絡(luò)中，EIDM 是重要的基礎(chǔ)構(gòu)建模塊。參照IDN 中相關(guān)參數(shù)設(shè)置，EIDM 中增強(qiáng)蒸餾支路特征通道維度為16，提煉支路特征維度設(shè)置為48；為了控制網(wǎng)絡(luò)參數(shù)量，EIDM 中M設(shè)置為3。本文算法采用L2 損失函數(shù)（loss function），如式（3）所示，其最終損失函數(shù)Loss由圖3 中的LossRGB與圖4 中的LossG組成：

其中：FICEID(·)表示ICEID 的函數(shù)形式，Θ1與Θ2分別表示初始G 通道重建階段與整體網(wǎng)絡(luò)重建階段的參數(shù)，Xk與Yk分別表示輸入Bayer 圖像與全彩目標(biāo)參照?qǐng)D像的第k個(gè)圖像塊表示全彩圖像塊Yk中的G 通道信號(hào)。

在測(cè)試階段中，使用廣泛應(yīng)用的IMAX 與Kodak 數(shù)據(jù)集來測(cè)試網(wǎng)絡(luò)實(shí)際性能。本文采用彩色峰值信噪比（Color Peak Signal-to-Noise Ratio，CPSNR）及結(jié)構(gòu) 相似指 數(shù)（Structural SIMilarity index，SSIM）作為客觀評(píng)價(jià)指標(biāo)。以上所有實(shí)驗(yàn)在一塊Nvidia GeForce RTX 2080Ti GPU 上進(jìn)行。除ARI 外，所有算法在Pytorch 框架進(jìn)行實(shí)驗(yàn)。

3.2 消融實(shí)驗(yàn)

表1 展示了本文所提網(wǎng)絡(luò)的不同變種模型的性能比較。其中，“Base”表示基礎(chǔ)網(wǎng)絡(luò)，其主體結(jié)構(gòu)與ICEID 一致，但在EIDM 中僅使用特征通道數(shù)為48 的RCAG 替代EIDB；網(wǎng)絡(luò)“w/Bayer”表示在ICEID 網(wǎng)絡(luò)的基礎(chǔ)上，取消像素重排列，直接將Bayer 圖像輸入網(wǎng)絡(luò)；網(wǎng)絡(luò)“w/ID”表示在ICEID 網(wǎng)絡(luò)的基礎(chǔ)上，去除每個(gè)EIDB 上支路的RCAB，而直接將16 個(gè)特征通道與精煉后的48 個(gè)特征通道級(jí)聯(lián)；網(wǎng)絡(luò)“w/EID”表示在“Base”網(wǎng)絡(luò)中引入增強(qiáng)蒸餾機(jī)制，即完整的ICEID 網(wǎng)絡(luò)。

表1 在IMAX數(shù)據(jù)集上的消融實(shí)驗(yàn)Tab.1 Ablation study on IMAX dataset

由表1 可知，在ICEID 網(wǎng)絡(luò)中取消像素重排列后，其CPSNR 下降了0.01 dB，SSIM 下降了0.000 3，說明了像素重排列能有效保留圖像結(jié)構(gòu)特征信息，除此之外，像素重排列使色彩通道的分辨率降低為原來的1/4，能有效降低網(wǎng)絡(luò)的計(jì)算復(fù)雜度；在“Base”網(wǎng)絡(luò)中應(yīng)用跨層傳輸結(jié)構(gòu)后，其CPSNR 值提升了0.06 dB，說明了信息蒸餾結(jié)構(gòu)能夠有效地提煉重要特征；在“Base”網(wǎng)絡(luò)中使用增強(qiáng)的信息蒸餾結(jié)構(gòu)替代普通卷積后，其CPSNR 提升了0.09 dB，SSIM 提升了0.000 3，說明了增強(qiáng)的信息蒸餾策略能夠有效提升網(wǎng)絡(luò)的表達(dá)能力。從表1 可知，“w/EID”網(wǎng)絡(luò)相較“w/ID”網(wǎng)絡(luò)的參數(shù)量有少量的增加，原因在于“w/EID”在蒸餾信息支路增加了一個(gè)寬度為16 的RCAB。

3.3 與主流算法的性能比較

將本文算法與4 種主流CDM 算法進(jìn)行比較，其主觀結(jié)果見圖8、9，客觀結(jié)果見表2、3。

圖8、9 展示了本文算法與對(duì)比算法主觀質(zhì)量上的差別。從圖8、9 中可以發(fā)現(xiàn)：傳統(tǒng)算法ARI 的主觀效果質(zhì)量最差，其色彩偽影明顯，圖像邊緣鋸齒效應(yīng)嚴(yán)重；DJDD、DRL、3-stage主觀效果有一定的提升，但在細(xì)節(jié)豐富的區(qū)域存在偽影現(xiàn)象。本文算法能夠獲得最優(yōu)主觀質(zhì)量：一方面，ICEID 能夠更準(zhǔn)確地恢復(fù)圖像中的高頻特征；另一方面，ICEID 能較好的抑制色彩偽影、拉鏈效應(yīng)等各類失真的產(chǎn)生。

圖8 對(duì)IMAX數(shù)據(jù)集中1號(hào)圖的各個(gè)CDM算法的主觀質(zhì)量比較Fig.8 Subjective quality comparison of different CDM algorithms on Figure1 from IMAX dataset

由表2、3 可以看出，本文算法ICEID 在所有數(shù)據(jù)集中都獲得了最好的客觀結(jié)果。例如在Kodak 數(shù)據(jù)集中，相較于ARI［7］、DJDD［11］、DRL［12］、3-stage［14］，本文算法在平均CPSNR上分別提升了3.37 dB、1.36 dB、0.72 dB、0.50 dB；在平均SSIM上分別提升了0.014 6、0.001 3、0.000 6、0.000 7。

表2 IMAX數(shù)據(jù)集上不同算法的定量比較Tab.2 Quantitative comparison of different algorithms on IMAX dataset

表3 Kodak數(shù)據(jù)集上不同算法的定量比較Tab.3 Quantitative comparison of different algorithms on Kodak dataset

圖9 對(duì)Kodak數(shù)據(jù)集中24號(hào)圖的各個(gè)CDM算法的主觀質(zhì)量比較Fig.9 Subjective quality comparison of different CDM algorithms on Figure24 from Kodak dataset

如表4 所示，本文通過網(wǎng)絡(luò)參數(shù)量及浮點(diǎn)運(yùn)算次數(shù)（FLOating Point of operations，F(xiàn)LOPs）衡量算法的復(fù)雜度，其中FLOPs 以目標(biāo)參照?qǐng)D分辨率為1 280×720 進(jìn)行計(jì)算。由表4 可知，3-stage 網(wǎng)絡(luò)參數(shù)量遠(yuǎn)大于其他對(duì)比算法，但其性能卻顯著低于本文算法；DJDD 網(wǎng)絡(luò)參數(shù)量雖然較小，但其重建性能較差。另外，DRL、3-stage 網(wǎng)絡(luò)采用馬賽克圖像的Bilinear插值結(jié)果作為網(wǎng)絡(luò)輸入，其特征運(yùn)算尺寸為H×W；而DJDD與本文算法將馬賽克圖像重排列后作為網(wǎng)絡(luò)輸入，其特征運(yùn)算尺寸為。所以，若在相同參數(shù)量下，DRL 與3-stage的FLOPs 約為本文算法的4 倍。

表4 不同算法的參數(shù)量和FLOPsTab.4 Parameter number and FLOPs of different algorithms

4 結(jié)語

本文提出了一種被稱為ICEID 的彩色圖像去馬賽克網(wǎng)絡(luò)。首先，針對(duì)Bayer 模式設(shè)計(jì)特征提取網(wǎng)絡(luò)，能更充分、高效地利用彩色圖像通道間相關(guān)性進(jìn)行初始重建；其次，作為基礎(chǔ)構(gòu)建模塊，EIDM 能夠有效地對(duì)特征進(jìn)行提煉，并保持相對(duì)較低的參數(shù)量。實(shí)驗(yàn)結(jié)果表明，在相同的實(shí)驗(yàn)環(huán)境下，與其他對(duì)比算法相比，ICEID 能夠達(dá)到最高的CPSNR 與SSIM，并且獲得最佳的主觀質(zhì)量；其次，本文算法網(wǎng)絡(luò)參數(shù)量、復(fù)雜度都相對(duì)較低，更易于在實(shí)際應(yīng)用場(chǎng)合中部署。下一步的工作重心是考慮在含有未知噪聲的應(yīng)用場(chǎng)景中，提升網(wǎng)絡(luò)模型的性能與魯棒性。

致謝 此次論文數(shù)據(jù)獲得了廣西多媒體通信和網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室和廣西高性能計(jì)算平臺(tái)的支持，在此表示衷心的感謝！