郭愛群

（南京多基觀測(cè)技術(shù)研究院有限公司，南京 211500）

0 引言

圖像超分辨率（Super-Resolution，SR）重建技術(shù)是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要研究方向，其主要目標(biāo)是將低分辨率圖像提升至高分辨率圖像。在實(shí)際應(yīng)用中，由于傳感器分辨率、圖像壓縮等條件的限制，我們通常只能獲得不太清晰的圖像。這時(shí)候，需要通過SR 將其重建成HR 圖像，以滿足更高質(zhì)量的視覺需求[1]。

SR 重建技術(shù)在多個(gè)領(lǐng)域都具有重要的研究意義，并得到了廣泛應(yīng)用。這種壓縮技術(shù)可以顯著減少傳輸所需的帶寬和存儲(chǔ)空間。一旦圖像數(shù)據(jù)傳輸完成，接收端可以對(duì)壓縮后的數(shù)據(jù)進(jìn)行解碼，并利用SR 重建技術(shù)恢復(fù)出高質(zhì)量的圖像序列。這種方法不僅能滿足實(shí)時(shí)性要求，同時(shí)還可以節(jié)省帶寬和存儲(chǔ)空間，提高傳輸效率和數(shù)據(jù)利用率。在遙感成像領(lǐng)域，SR 重建技術(shù)能夠應(yīng)對(duì)難以獲得HR 圖像的挑戰(zhàn)，提高觀測(cè)圖像的分辨率，而無需對(duì)探測(cè)系統(tǒng)本身進(jìn)行改變[2]?；谏疃葘W(xué)習(xí)的SR 重建技術(shù)由于其卓越的性能表現(xiàn)成為當(dāng)前研究的潮流。這種技術(shù)的主要思想是通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，從大量的LR 圖像和對(duì)應(yīng)的HR 圖像中學(xué)習(xí)到一個(gè)映射函數(shù)，將LR 圖像映射到HR圖像[3]。

然而，在實(shí)際應(yīng)用中，基于深度學(xué)習(xí)的SR 重建技術(shù)也存在著一些問題，比如過擬合和計(jì)算量大。為了解決這些問題，我們提出了一種新的SR 重建技術(shù)，即基于多類型卷積融合的SR 重建技術(shù)。這種技術(shù)通過將不同類型的卷積操作融合起來，可以有效提高SR 重建的性能，并且能夠在保證高質(zhì)量重建的同時(shí)降低計(jì)算量。

1 圖像超分辨率重建研究現(xiàn)狀

國(guó)內(nèi)有許多科研院所和大學(xué)等對(duì)SR 圖像恢復(fù)進(jìn)行研究，其中，一部分研究集中在頻譜外推和混疊效應(yīng)的消除，另一部分則主要是對(duì)國(guó)外SR 方法進(jìn)行改進(jìn)[4]。此外，還有基于小波域隱馬爾可夫樹（HMT）模型的改進(jìn)方法，用于改善彩色圖像的SR。同時(shí)，還有研究致力于改進(jìn)SR 圖像重構(gòu)方法[5]。

2 基于幻影模塊非對(duì)稱卷積融合網(wǎng)絡(luò)的SR 方法

2.1 總體框架

基于多類型卷積融合的圖像SR 重建技術(shù)，是將多種類型卷積操作融合在一起。我們選擇了EDSR 模型作為研究對(duì)象。在復(fù)現(xiàn)原始模型的基礎(chǔ)上，進(jìn)行了簡(jiǎn)化，并融合GhostModule 的卷積操作，然后再進(jìn)一步融合ACNet 的卷積操作，對(duì)最終融合得到的模型進(jìn)行了研究。

2.2 GhostModule

GhostModule，也即幻影模塊，是一種用于深度神經(jīng)網(wǎng)絡(luò)中的卷積操作的設(shè)計(jì)思路，旨在通過更少的參數(shù)生成更多的特征圖，從而減小計(jì)算復(fù)雜度和內(nèi)存開銷?；糜澳K將普通的卷積層分為兩部分，第一部分包含普通的卷積操作，嚴(yán)格控制卷積的總數(shù)。在給定第一部分的特征圖的情況下，第二部分將應(yīng)用一系列簡(jiǎn)單的線性操作來生成更多的特征圖?；糜澳K的作用是幫助減小計(jì)算復(fù)雜度和所需參數(shù)總數(shù)，同時(shí)不會(huì)影響輸出特征圖的大小。

2.3 ACNet

ACNet 是一種非對(duì)稱卷積神經(jīng)網(wǎng)絡(luò)，其創(chuàng)新之處在于對(duì)卷積核結(jié)構(gòu)進(jìn)行了改進(jìn)。該算法在CNN 模型中表現(xiàn)出優(yōu)秀的性能，因此值得嘗試應(yīng)用于各種場(chǎng)景。雖然這種算法會(huì)增加訓(xùn)練階段的時(shí)間和參數(shù)，但并不會(huì)增加推理階段的時(shí)長(zhǎng)和最終模型的參數(shù)。通過利用增強(qiáng)后的卷積核參數(shù)來初始化和部署原始模型，可不需要額外的計(jì)算成本的前提下提升原始模型的準(zhǔn)確率。

2.4 GMAC-EDSR

將GhostModule 中普通卷積和線性運(yùn)算中所用的BN層和其后的ReLU 激活函數(shù)刪除，可以減少不必要的參數(shù)和計(jì)算量。這樣得到的新的幻影模塊可以替代簡(jiǎn)化版EDSR 殘差塊中的普通卷積操作，從而構(gòu)建了GM-EDSR模型?？梢灶A(yù)測(cè)，在訓(xùn)練參數(shù)相同的情況下，GM-EDSR 網(wǎng)絡(luò)訓(xùn)練時(shí)長(zhǎng)較簡(jiǎn)化版EDSR 網(wǎng)絡(luò)會(huì)有明顯的減少。再將ACNet 網(wǎng)絡(luò)中的卷積ACConv 加入處理后的GM-EDSR，也即ACNet 與GM-EDSR 卷積融合得到GMAC-EDSR。ACNet 算法的代價(jià)是增加了訓(xùn)練階段的時(shí)間和參數(shù)，所以最終GMAC-EDSR 與簡(jiǎn)化版EDSR 訓(xùn)練時(shí)長(zhǎng)的長(zhǎng)短并不確定。本文所設(shè)計(jì)的GMAC-EDSR，也即基于幻影模塊非對(duì)稱卷積融合網(wǎng)絡(luò)的模型。它的最終模型結(jié)構(gòu)圖如圖1 所示。圖中左部為GMAC-EDSR 框架中的GM-EDSR 部分，其中方塊GhostM 代表修改后的幻影模塊。

圖1 基于幻影模塊非對(duì)稱卷積融合網(wǎng)絡(luò)

2.5 損失函數(shù)

在訓(xùn)練過程中，模型的目標(biāo)是通過調(diào)整模型參數(shù)來最小化損失，從而提高模型的準(zhǔn)確性。因此，通過觀察模型在訓(xùn)練集和驗(yàn)證集上的損失曲線可以評(píng)估模型的學(xué)習(xí)效果和泛化性能，便進(jìn)行相應(yīng)的調(diào)整來提高模型的性能。

本文采用L1損失，如公式（1）所示：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)參數(shù)

所有模型均訓(xùn)練400 組epoch，訓(xùn)練所用數(shù)據(jù)集為DIV2K，測(cè)試所用數(shù)據(jù)集為benchmark 數(shù)據(jù)集，具體有set5，set14，B100，Urban100 數(shù)據(jù)集。模型的放大因子（scale）為2 倍，殘差縮放比例系數(shù)為0.1，訓(xùn)練所用圖片序號(hào)的具體范圍是1-800，測(cè)試所用圖片序號(hào)具體范圍是801-900。

3.2 圖像評(píng)價(jià)指標(biāo)

本文使用兩個(gè)評(píng)估指標(biāo)來衡量預(yù)測(cè)軌跡的準(zhǔn)確性：

①峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）：反映了圖像的像素級(jí)別的相似性。

給定一個(gè)干凈圖像和噪聲圖像，均方誤差（MSE）定義為：

PSNR（dB）定義為：

②結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）：SSIM 指標(biāo)的取值范圍在0 到1 之間，值越接近1 表示重建的圖像質(zhì)量越好。相比于PSNR 指標(biāo)，SSIM 指標(biāo)能夠更準(zhǔn)確和可靠地反映圖像的質(zhì)量和紋理細(xì)節(jié)。

SSIM 公式是從三個(gè)方面衡量?jī)蓚€(gè)圖像和之間的結(jié)構(gòu)相似度，分別為：亮度、對(duì)比度和結(jié)構(gòu)，公式如下：

一般取c3=c2/2。μx為x 的均值，μy為y 的均值。為x 的方差，為y 的方差，σxy是x 和y 的協(xié)方差。c1=（k1L）2，c2=（k2L）2為兩個(gè)常數(shù)，避免除零k1=0.01，k2=0.03 為默認(rèn)值。L 為像素值的范圍，2B-1，B 即每個(gè)像素點(diǎn)存儲(chǔ)所占的位數(shù)。

3.3 消融實(shí)驗(yàn)

本文設(shè)計(jì)的網(wǎng)絡(luò)GMAC-EDSR 的消融實(shí)驗(yàn)就可以做削減卷積的兩個(gè)模型實(shí)驗(yàn)，即去除非對(duì)稱卷積和去除非對(duì)稱卷積和幻影模塊的兩個(gè)模型去做實(shí)驗(yàn)，用以測(cè)出多類型卷積融合對(duì)模型性能的影響。即消融實(shí)驗(yàn)做GM-EDSR 與簡(jiǎn)化版EDSR 的實(shí)驗(yàn)，加上本文所設(shè)計(jì)的模型實(shí)驗(yàn)。

將三個(gè)模型訓(xùn)練（DIV-2K 數(shù)據(jù)集）的PSNR 結(jié)果整合入表1。

表1 消融實(shí)驗(yàn)（DIV2K 訓(xùn)練集）

三模型測(cè)試（benchmark 數(shù)據(jù)集）的PSNR/SSIM 結(jié)果整合入表2。

表2 消融實(shí)驗(yàn)（benchmark）

根據(jù)局部放大效果來看，重建的SR 圖像在GMACEDSR 模型中呈現(xiàn)出較高的清晰度。同樣訓(xùn)練四百組DIV-2K 數(shù)據(jù)集，GMAC-EDSR 的PSNR 曲線峰值高于消融實(shí)驗(yàn)的兩個(gè)模型，三組模型訓(xùn)練時(shí)的損失下降曲線也是GMAC-EDSR 下降得最多，通常PSNR 指標(biāo)越高代表重建的圖像質(zhì)量越好，損失下降曲線的下降意味著模型的預(yù)測(cè)結(jié)果越來越接近實(shí)際結(jié)果，模型的性能逐漸提高?？梢缘贸鲇?xùn)練時(shí)GMAC-EDSR 保存了最好的訓(xùn)練模型。三組模型訓(xùn)練所得最好模型均采用benchmark 數(shù)據(jù)集測(cè)試，GMAC-EDSR 在四個(gè)測(cè)試集上PSNR 數(shù)值均最大，SSIM 均最接近于1。SSIM 指標(biāo)的值越接近1，則代表重建的圖像質(zhì)量越好。GMAC-EDSR 在三組模型中表現(xiàn)最佳，可見基于多類型卷積融合可以有效地提高圖像重建質(zhì)量。

3.4 對(duì)比分析

本文在文獻(xiàn)中尋找了部分主流模型使用相同測(cè)試方法（benchmark 數(shù)據(jù)集）的測(cè)試數(shù)據(jù)，并將之與GMACEDSR 的測(cè)試數(shù)據(jù)一起填入表3，并進(jìn)行對(duì)比分析。

表3 對(duì)比實(shí)驗(yàn)結(jié)果表

通過與部分主流模型的測(cè)試結(jié)果對(duì)比，我們可以看出GMAC-EDSR 在PSNR 和SSIM 等評(píng)價(jià)指標(biāo)上表現(xiàn)出色。GMAC-EDSR 在圖像效果方面取得了不錯(cuò)的成績(jī)。本文所設(shè)計(jì)的網(wǎng)絡(luò)也是符合設(shè)計(jì)初衷的。

4 結(jié)論

隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，基于多類型卷積融合的圖像SR 重建技術(shù)逐漸成為了研究的熱點(diǎn)，并具有廣泛的研究?jī)r(jià)值和實(shí)際應(yīng)用前景。

多類型卷積融合技術(shù)通過將多種類型的卷積操作結(jié)合起來，能夠更準(zhǔn)確地捕捉圖像的細(xì)節(jié)和紋理特征。與傳統(tǒng)的單一類型卷積相比，多類型卷積融合可以更有效地提高圖像SR 的效果，同時(shí)也具有更好的魯棒性和泛化性能。本文提出了GMAC-EDSR 模型。在消融實(shí)驗(yàn)中GMAC-EDSR 能夠保存最好的模型，在測(cè)試中獲得了最高的PSNR 和SSIM 指標(biāo)。并與部分主流圖像SR 模型對(duì)比，結(jié)果表現(xiàn)并不遜色?？梢院芎玫臑槲磥淼难芯亢蛻?yīng)用提供參考和支持。