朱泓宇，謝 超

(南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，江蘇 南京 210037)

隨著數(shù)字圖像在生產(chǎn)、生活中的應(yīng)用越來越廣泛，圖像的增強(qiáng)尤其是圖像分辨率的提升，越來越受到人們的重視。圖像的超分辨率技術(shù)，可以將一張低分辨率的圖像轉(zhuǎn)換為高分辨率圖像，同時(shí)盡可能避免圖像放大過程中帶來的模糊問題，提升圖像的清晰度。如今，這一技術(shù)已經(jīng)在醫(yī)學(xué)影像、安防監(jiān)控等領(lǐng)域有著非常廣泛的運(yùn)用。

在過去的幾年中，人們采用稀疏表示[1]、流形學(xué)習(xí)等方法進(jìn)行圖像的超分辨率重建，這些方法相較于像素的插值有著十分顯著的提升。隨著人工智能、深度學(xué)習(xí)的迅猛發(fā)展，近年來涌現(xiàn)出大量基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率方法。這些方法通常采用一個(gè)低分辨率圖像作為網(wǎng)絡(luò)的輸入值，將高分辨率圖像作為輸出值，采用卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)兩張圖片的映射關(guān)系。例如Dong等于2016年提出的SRCNN方法[2]，首次將卷積神經(jīng)網(wǎng)絡(luò)用于圖像的超分辨率中。由于淺層神經(jīng)網(wǎng)絡(luò)無法學(xué)習(xí)出對(duì)應(yīng)的關(guān)系，為了取得更好的性能，研究者們采用更深的網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，并引入了如殘差結(jié)構(gòu)、注意力機(jī)制、對(duì)抗生成網(wǎng)絡(luò)等諸多方法。此類方法相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，提升效果明顯，超分辨率的視覺效果與性能更加優(yōu)秀。然而，由于超分辨率是一個(gè)病態(tài)的問題，一張低分辨率圖像可以對(duì)應(yīng)出無數(shù)張高分辨率圖像，以上方法難以準(zhǔn)確補(bǔ)充高分辨率圖像原有的細(xì)節(jié)，因此會(huì)出現(xiàn)圖像鋸齒、雙重邊緣等問題。

Ardizzone 等[3]提出了基于可逆神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原模型，將圖像下采樣與上采樣這一對(duì)逆過程相結(jié)合，并將下采樣圖像損失的信息約束在一個(gè)正態(tài)分布之中。上述方法在圖像的指定比例復(fù)原中性能表現(xiàn)取得了很好的效果，然而這種方法需要提前預(yù)知高清的原尺寸圖像，否則將無法復(fù)原圖像，這顯然與超分辨率任務(wù)的本質(zhì)相違背。有鑒于此，本文將基于這一方法與其模型，提出一種改進(jìn)的圖像超分辨率算法模型。

1 可逆神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與原理

Xiao等[4]提出的IRN網(wǎng)絡(luò)模型，利用可逆神經(jīng)網(wǎng)絡(luò)將輸入的原尺寸圖像x生成一個(gè)縮小尺寸的圖像y與一個(gè)隱式變量z，并使得z服從一個(gè)高斯分布。由于z的分布已知，因此在圖片的傳輸過程中可以丟棄z，如需復(fù)原出高分辨率的大尺寸圖像，只需要將y與在此高斯分布中隨機(jī)采樣獲得的z輸入可逆網(wǎng)絡(luò)即可。可逆神經(jīng)網(wǎng)絡(luò)原理如圖1所示。

圖1中，u1和u2是由輸入u分割而成的兩部分，u1和u2可經(jīng)由以下變換得到v1和v2：

圖1 可逆神經(jīng)網(wǎng)絡(luò)正向原理

v1=u1e exp(s2(u2))+t2(u2)，

v2=u2e exp(s1(v1))+t1(v1)

(1)

而給定輸出v，可以將v分割成v1和v2，得到上式的可逆過程，如圖2所示。

圖2 可逆神經(jīng)網(wǎng)絡(luò)逆向原理

公式如下：

u2=(v2-(t1(v1))e exp(-s1(v1))，

u1=(v1-t2(u2))e exp(-s2(u2))

(2)

圖像在縮小的過程中會(huì)丟失高頻信息，在放大的過程中需要補(bǔ)充這些丟失掉的信息，因此可以近似認(rèn)為是一個(gè)可逆的過程。

Xiao等采用了此網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的圖像尺寸變換算法模型，可以將高分辨率圖像輸入此模型正向運(yùn)算生成低分辨率圖像，通過此神經(jīng)網(wǎng)絡(luò)模型的可逆過程，恢復(fù)出高分辨率圖像。相較于原尺寸圖像，高分辨率圖像并沒有丟失過多的細(xì)節(jié)，達(dá)到了很好的效果。

2 殘差網(wǎng)絡(luò)結(jié)構(gòu)與原理

本文提出的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要由殘差網(wǎng)絡(luò)結(jié)構(gòu)組成。殘差網(wǎng)絡(luò)的提出，源于研究者對(duì)深層神經(jīng)網(wǎng)絡(luò)的研究，由微軟研究院的何凱明等提出[5]。在加深神經(jīng)網(wǎng)絡(luò)模型的過程中人們發(fā)現(xiàn)網(wǎng)絡(luò)出現(xiàn)了退化的情況，這使得研究者們采用恒等映射的思想來思考此問題，將淺層網(wǎng)絡(luò)的參數(shù)遷移至深層網(wǎng)絡(luò)，深層網(wǎng)絡(luò)在最差的情況下仍可以和淺層網(wǎng)絡(luò)保持相同的效果。然而，隨著網(wǎng)絡(luò)的加深，參數(shù)量變大，情況更加復(fù)雜，求解器難以擬合同等的函數(shù)。

當(dāng)網(wǎng)絡(luò)退化時(shí)，淺層網(wǎng)絡(luò)能比深層網(wǎng)絡(luò)達(dá)到更佳的效果，因此如果將淺層網(wǎng)絡(luò)的特征直接傳遞到更深層，那就可以緩解深層網(wǎng)絡(luò)的退化問題。由此，研究者提出了殘差學(xué)習(xí)的方法，網(wǎng)絡(luò)采用“shortcut”進(jìn)行連接以傳遞上層的特征。殘差學(xué)習(xí)模型示意圖如圖3所示。

圖3 殘差學(xué)習(xí)模型示意圖

該模型可以表示為：

y=F(x，[Wi])+x

(3)

式中：x與y分別為殘差網(wǎng)絡(luò)塊的輸入、輸出值，F(xiàn)(x，[Wi])為殘差塊的計(jì)算表達(dá)式。

在圖3(a)圖中共有兩個(gè)層，其中第一層的輸入為x，若忽略偏差影響，則輸出為F(1)=ReLU(W1x)，其中上標(biāo)(1)代表神經(jīng)網(wǎng)絡(luò)的第一層。那么，圖3中(a)圖的殘差映射為F=W2F(1)=W2ReLU(W1x)。在與原輸入值x相加并執(zhí)行激活函數(shù)后，可以看出F(x)=y-x，當(dāng)F(x)=0時(shí)，得到y(tǒng)=x，這就實(shí)現(xiàn)了文中所展示的恒等映射的思路，而網(wǎng)絡(luò)訓(xùn)練過程中，學(xué)習(xí)F(x)=0的復(fù)雜程度遠(yuǎn)小于學(xué)習(xí)y=x。在圖3中，輸入x直接與前向神經(jīng)網(wǎng)絡(luò)的計(jì)算值相加，稱為shortcut連接。shortcut連接相當(dāng)于一個(gè)恒等映射，沒有增加額外的參數(shù)，避免了計(jì)算復(fù)雜度的增加。

在殘差網(wǎng)絡(luò)中，殘差映射函數(shù)F(x)不是固定的，可以根據(jù)情況靈活設(shè)計(jì)不同層數(shù)的網(wǎng)絡(luò)對(duì)不同的目標(biāo)進(jìn)行擬合。研究者們通過試驗(yàn)，發(fā)現(xiàn)34層殘差網(wǎng)絡(luò)的性能和準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于僅有18層的殘差網(wǎng)絡(luò)。因此，本文設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)通過采用殘差網(wǎng)絡(luò)模型，在加深網(wǎng)絡(luò)的同時(shí)，盡可能減小網(wǎng)絡(luò)加深導(dǎo)致圖像退化的程度。

3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)雙三次降采樣圖像y′到可逆網(wǎng)絡(luò)生成的低分辨率圖像y的映射，然后通過從高斯分布中隨機(jī)采樣一個(gè)特定大小的矩陣z，將y和z輸入多個(gè)可逆神經(jīng)網(wǎng)絡(luò)塊，進(jìn)而得到圖像的高分辨率重建結(jié)果。

經(jīng)過觀察可得，由于雙三次降采樣得到的圖像和可逆神經(jīng)網(wǎng)絡(luò)降采樣得到的圖像具有極大的相似性，前半部分神經(jīng)網(wǎng)絡(luò)采用殘差結(jié)構(gòu)設(shè)計(jì)，shortcut連接可以極大程度地傳播兩張圖像的相等之處，而中間層的計(jì)算則可以擬合兩張圖像的相異之處。首先進(jìn)行的是圖像預(yù)處理，將圖像轉(zhuǎn)化為YCbCr空間后，像素值的范圍由[0，255]減小至[0，1]，以便輸入網(wǎng)絡(luò)進(jìn)行后續(xù)的訓(xùn)練。第一層為3×3卷積層，輸入通道數(shù)為1，輸出通道數(shù)為64，上升通道數(shù)以便學(xué)習(xí)圖像更多的細(xì)節(jié)。后面為連續(xù)18層輸入，輸出均為64通道的卷積層，設(shè)計(jì)深層網(wǎng)絡(luò)的目的是為了盡可能準(zhǔn)確地?cái)M合雙三次下采樣圖像與目標(biāo)圖像之間的映射關(guān)系。最后是一個(gè)3×3卷積層，輸入通道數(shù)與輸出通道數(shù)分別為64與1，將特征提取為單通道特征圖。最后是殘差部分，將輸入網(wǎng)絡(luò)的圖像與輸出圖像相加，輸出最終的結(jié)果。

設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 網(wǎng)絡(luò)結(jié)構(gòu)

4 網(wǎng)絡(luò)訓(xùn)練

4.1 數(shù)據(jù)預(yù)處理

試驗(yàn)采用DIV2K數(shù)據(jù)集進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。訓(xùn)練集根據(jù)DIV2K訓(xùn)練集的800張Ground Truth圖像，雙三次下采樣得到尺寸縮小四倍的低分辨率圖像。標(biāo)簽圖像由可逆神經(jīng)網(wǎng)絡(luò)生成，將高分辨率圖像輸入可逆神經(jīng)網(wǎng)絡(luò)進(jìn)行降采樣，得到低分辨率圖像。在輸入網(wǎng)絡(luò)時(shí)，每組圖像取其中對(duì)應(yīng)部位41×41大小的小圖進(jìn)行訓(xùn)練。每組圖像隨機(jī)進(jìn)行旋轉(zhuǎn)90°～270°，并隨機(jī)進(jìn)行翻轉(zhuǎn)，以此在減少硬盤空間占用的基礎(chǔ)上進(jìn)行數(shù)據(jù)增強(qiáng)。

4.2 網(wǎng)絡(luò)訓(xùn)練

本網(wǎng)絡(luò)訓(xùn)練過程，由特征提取、非線性映射、殘差相加組成。特征提取操作需要從低分辨率圖像y和對(duì)應(yīng)的高分辨率圖像x中提取特征信息，獲取從低分辨率圖像到高分辨率圖像的增量，然后將每組增量表示為高維向量。通過一組卷積核對(duì)低分辨率圖像進(jìn)行卷積，記F1(x)為特征提取操作的輸出，則兩者關(guān)系為：

(4)

式中：W1為卷積核權(quán)重值；B1為卷積核的偏移值。W1的維度為3×3×3，第一維表示圖像的通道數(shù)，第二和第三維表示圖像的高度和寬度。

為了使深度神經(jīng)網(wǎng)絡(luò)中的高維向量更好地向后映射，防止網(wǎng)絡(luò)加深可能導(dǎo)致的梯度消失，本文采用ReLU激活函數(shù)作為殘差塊中的激活層[6-8]。

本文提出的殘差網(wǎng)絡(luò)結(jié)構(gòu)，通過使用三個(gè)相同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)圖像Y、Cb、Cr三個(gè)通道從雙三次降采樣圖像到由可逆神經(jīng)網(wǎng)絡(luò)降采樣得到的圖像端到端映射，從而改變圖像中的部分細(xì)節(jié)，進(jìn)行圖像之間的轉(zhuǎn)化。并通過指定學(xué)習(xí)率的優(yōu)化器不斷降低兩種降采樣圖像之間的損失。

4.3 網(wǎng)絡(luò)參數(shù)的調(diào)整及設(shè)定

通過一組給定的雙三次降采樣圖像{xi}i=1→n和IRN降采樣圖像{yi}i=1→n，訓(xùn)練神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)兩組低分辨率圖像之間的映射，從而將輸入圖像實(shí)現(xiàn)超分辨率的效果。為了使網(wǎng)絡(luò)更加逼近兩者之間的映射，需要對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行不斷調(diào)整。本文采用平均方差(MSE)損失函數(shù)計(jì)算損失，使用隨機(jī)梯度下降(SGD)優(yōu)化器進(jìn)行參數(shù)優(yōu)化，不斷降低輸出結(jié)果與可逆神經(jīng)網(wǎng)絡(luò)降采樣結(jié)果之間的差異。本文的批量大小設(shè)置為64，即網(wǎng)絡(luò)每次迭代時(shí)輸入64組對(duì)應(yīng)圖像。

5 試驗(yàn)結(jié)果與分析

5.1 試驗(yàn)環(huán)境配置

處理器為 Intel i9—9900K，神經(jīng)網(wǎng)絡(luò)框架為 PyTorch 1.4，CUDA 版本為 CUDA 10.0，GPU 為英偉達(dá)GTX 2080TI，內(nèi)存容量為32 G。

5.2 圖像超分辨率評(píng)價(jià)

本文采用主觀評(píng)價(jià)法與客觀評(píng)價(jià)法兩種主流評(píng)價(jià)方法，對(duì)圖像超分辨率效果進(jìn)行評(píng)估?？陀^評(píng)價(jià)法主要采用峰值信噪比PSNR[9]和結(jié)構(gòu)相似性SSIM[10]兩種指標(biāo)。

使用測(cè)試集對(duì)本文的超分辨率方法進(jìn)行測(cè)試，并將圖像轉(zhuǎn)換至YCbCr通道，計(jì)算Y通道的PSNR值，結(jié)果見表1。

表1 測(cè)試集PSNR/SSIM結(jié)果

其中幾幅圖片的測(cè)試結(jié)果如圖5～7所示。

圖5 Martial Arts Center測(cè)試效果

從上述試驗(yàn)結(jié)果可以看出，本文提出的基于可逆神經(jīng)網(wǎng)絡(luò)的圖像超分辨率方法，相較于雙三次插值、ScSR等傳統(tǒng)方法，主觀、客觀評(píng)價(jià)都取得了更好的效果。

圖6 Ceramic Bowls測(cè)試效果

圖7 Motor測(cè)試效果

6 結(jié)束語

本文提出了一種基于可逆神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法模型，該模型基于可逆圖像縮放網(wǎng)絡(luò)的預(yù)訓(xùn)練模型，學(xué)習(xí)不同下采樣得來的低分辨率圖像之間的映射，從而達(dá)到圖像超分辨率的目的。采用殘差網(wǎng)絡(luò)模型，避免了隨著網(wǎng)絡(luò)加深圖像訓(xùn)練過程中的退化。在指定的測(cè)試集中，本方法達(dá)到了較好的效果。本文提出的方法仍有很大的提升空間，依舊可以采用例如修改網(wǎng)絡(luò)層數(shù)、采用注意力模塊、引入對(duì)抗網(wǎng)絡(luò)機(jī)制等方法提升圖像擬合的效果，從而提升超分辨率的效果，更好地恢復(fù)低分辨率圖像損失的細(xì)節(jié)，這有待于后續(xù)的研究。