斯 捷，肖 雄，李 涇，馬明勛，毛玉星

（1.浙江圖盛輸變電工程有限公司，浙江 溫州 325000；2.重慶大學(xué) 電氣工程學(xué)院，重慶 400044；3.國網(wǎng)浙江電力有限公司溫州供電公司，浙江 溫州 325000）

0 概述

圖像是人類視覺的基礎(chǔ)，生活中多數(shù)感知均與圖像息息相關(guān)。圖像中存儲的信息量大小以及圖像細(xì)節(jié)的精細(xì)程度取決于圖像分辨率的高低。在通常情況下，一張細(xì)節(jié)信息豐富且視覺效果清晰的圖像，大都具有較大的像素，即具有較高的分辨率。隨著信息化時(shí)代的不斷發(fā)展，為了獲得更加良好的觀感體驗(yàn)，人們對分辨率的要求越來越高。然而，受限于信息傳輸、硬件設(shè)備、成像原理等客觀因素的制約，圖像的分辨率往往難以達(dá)到令人滿意的水平。因此，圖像超分辨率（Super Resolution，SR）重建作為能夠?qū)D像由低分辨率轉(zhuǎn)化為高分辨率、豐富圖像細(xì)節(jié)信息的圖像處理技術(shù)，引起了國內(nèi)外研究人員的廣泛關(guān)注。對超分辨率算法的研究不僅能促使相關(guān)理論技術(shù)的完善，而且能產(chǎn)生重要的應(yīng)用價(jià)值。

超分辨率重建技術(shù)自20 世紀(jì)80 年代被提出，至今發(fā)展已有40 多年，近年來國內(nèi)外學(xué)者對超分辨率問題展開了諸多方面的研究。從研究對象來看，超分辨率算法可以分為二維圖像的超分辨率、二維流形數(shù)據(jù)的超分辨率和三維數(shù)據(jù)的超分辨率。目前超分辨率算法的研究大都集中于二維圖像的超分辨率問題上，而關(guān)于二維流形數(shù)據(jù)和三維數(shù)據(jù)的研究仍較少。

2014 年，DONG 等［1-2］提出了基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法，通過學(xué)習(xí)低分辨率圖像與高分辨率圖像間的非線性映射關(guān)系，完成特征提取及圖像重建。與之前的研究方法相比，該方法具有更好的重建效果。在這之后，各式各樣的網(wǎng)絡(luò)結(jié)構(gòu)開始被提出。在KIM 等［3-4］的研究中，大幅增加了卷積網(wǎng)絡(luò)的深度，同時(shí)引入殘差學(xué)習(xí)結(jié)構(gòu)及遞歸跳躍層機(jī)制來改善模型中的收斂率問題。ZHANG 等［5］利用殘差密集結(jié)構(gòu)，從密集連接的卷積層中提取出大量的局部特征，用于穩(wěn)定更大范圍網(wǎng)絡(luò)的訓(xùn)練，并從局部特征中學(xué)習(xí)有效的特征。LIM 等［6］通過移除不必要的批量歸一化層來改善深度網(wǎng)絡(luò)結(jié)構(gòu)中的梯度消失問題，從而穩(wěn)定訓(xùn)練過程，同時(shí)提出一種多尺度的超分辨率重建方法，取得了良好的效果。

為了進(jìn)一步改善圖像的質(zhì)量，牛津視覺幾何小組提出一種基于VGG［7］網(wǎng)絡(luò)的感知損失函數(shù)［8］。小組成員結(jié)合損失函數(shù)的優(yōu)點(diǎn)，提出在圖像超分辨率任務(wù)中利用感知損失函數(shù)訓(xùn)練前饋網(wǎng)絡(luò)的方法。該方法產(chǎn)生了令人滿意的視覺效果，從而取代了逐像素?fù)p失函數(shù)。

隨著生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的提出，LEDIG 等［9］將GAN 的框架結(jié)構(gòu)運(yùn)用到了圖像超分辨率重建算法中并命名為SRGAN。他們將對抗損失函數(shù)與感知損失函數(shù)相結(jié)合，利用生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)之間的博弈關(guān)系，重建出的圖像在細(xì)節(jié)紋理和肉眼感知上更加真實(shí)，而非只是提升圖像的峰值信噪比（PSNR）指標(biāo)。作為一項(xiàng)開創(chuàng)性工作，SRGAN 為后一步的基于GAN 的SR 算法奠定了基礎(chǔ)。基于這些工作，BULAT 等［10］專注于利用GAN 實(shí)現(xiàn)任意姿勢的臉部SR 算法并精準(zhǔn)定位面部位置。文獻(xiàn)［11］通過附加在特征域中工作的額外判別網(wǎng)絡(luò)來產(chǎn)生更真實(shí)的結(jié)果。通常來說，成對的訓(xùn)練集數(shù)據(jù)是在高清圖像下采樣所獲得，然而ZHANG 等［12］指出真正的圖像降級不遵循這個(gè)假設(shè)，輸入真實(shí)圖像將產(chǎn)生糟糕的性能。因此他們提出了一個(gè)框架，將不同程度的模糊核和噪聲水平輸入到網(wǎng)絡(luò)中，并運(yùn)用到真實(shí)圖像中。面對同樣的問題，BULAT 等［13］提出了一種2 步走的方法，在重建之前先訓(xùn)練一個(gè)將高分辨率圖像轉(zhuǎn)化為低分辨率圖像的網(wǎng)絡(luò)，用于正確的學(xué)習(xí)圖像退化，再利用訓(xùn)練集進(jìn)行重建訓(xùn)練。

文獻(xiàn)［14］將GAN 網(wǎng)絡(luò)的基礎(chǔ)模塊改為RRDB（Residual-in-Residual Dense Block），并且改善了感知損失函數(shù)的輸出方式。另外，還引入了相對判別網(wǎng)絡(luò)來預(yù)測相對的真實(shí)性。文獻(xiàn)［15］通過將分割概率圖結(jié)合在一起，恢復(fù)出忠實(shí)于語義類的紋理。本文提出的算法原理與文獻(xiàn)［16］有著密切的關(guān)系，將使用卷積自編碼器以獲得離焦特征圖，并借用空間特征變換層將特征圖作為聯(lián)合輸入到GAN 網(wǎng)絡(luò)中。

本文提出一種基于對抗網(wǎng)絡(luò)的融合多幅離焦圖像的超分辨率重建算法，構(gòu)建基于運(yùn)動模糊和高斯模糊的卷積去噪自編碼器模型，實(shí)現(xiàn)圖像的特征提取及去模糊過程，依據(jù)基于生成對抗網(wǎng)絡(luò)的SR 算法，完成與離焦圖像的特征融合。最終基于Celeb A人臉圖像數(shù)據(jù)集進(jìn)行模型的訓(xùn)練學(xué)習(xí)，通過PSNR和結(jié)構(gòu)相似性（SSIM）對比圖像的視覺效果來定量且定性驗(yàn)證本文算法的有效性。

1 本文方法

1.1 基于自編碼器的離焦圖像特征提取

1.1.1 離焦圖像的生成模擬

運(yùn)動模糊的模型原理主要在水平勻速直線運(yùn)動條件下展開探討。然而在獲取神經(jīng)網(wǎng)絡(luò)訓(xùn)練所需要的成對清晰模糊圖像時(shí)，并沒有簡單的方法。

文獻(xiàn)［17］首先利用運(yùn)動向量來代表小塊圖像區(qū)域的運(yùn)動核，然后對模糊向量進(jìn)行離散化，根據(jù)不同的長度與方向生成73 個(gè)候選線性運(yùn)動核，最后與自然圖像卷積，從而生成綜合模糊圖像。文獻(xiàn)［18］同樣使用線性運(yùn)動內(nèi)核創(chuàng)建綜合模糊圖像。文獻(xiàn)［19］在一個(gè)有限尺寸的網(wǎng)格中隨機(jī)采樣6 個(gè)點(diǎn)用線段相連，并將線段上每個(gè)像素的核值設(shè)置為從均值為1、標(biāo)準(zhǔn)差為0.5 的高斯分布中采樣的值，然后將這些值裁剪為正，并將內(nèi)核標(biāo)準(zhǔn)化為單位和，以此來創(chuàng)建模糊內(nèi)核。

在運(yùn)動模糊過程中，本文使用了能更加真實(shí)模擬復(fù)雜模糊核的算法。該算法遵循了文獻(xiàn)［20］中所描述的隨機(jī)軌跡生成的概念。軌跡通過在規(guī)則的像素網(wǎng)格上連續(xù)采樣得到，且每條軌跡由一個(gè)粒子在連續(xù)域中的二維隨機(jī)運(yùn)動位置組成。粒子有初始速度矢量，在每次迭代中，受到指向當(dāng)前粒子位置的高斯擾動和確定性慣性分量的影響。此外，在小概率下，會出現(xiàn)一個(gè)使粒子速度反轉(zhuǎn)的脈沖擾動，以此模擬用戶按下相機(jī)按鈕或補(bǔ)償相機(jī)抖動時(shí)發(fā)生的突然運(yùn)動。在每一步中，速度都會被歸一化以保證相同曝光的軌跡有相同的長度。每個(gè)擾動都由各自的參數(shù)控制，當(dāng)所有擾動參數(shù)設(shè)置為0 時(shí)生成直線軌跡。

軌跡矢量為復(fù)雜矢量，由馬爾科夫過程完成整個(gè)軌跡的生成。如圖1 所示，軌跡的下一個(gè)位置由前一個(gè)位置的速度、脈沖參數(shù)及高斯攝動方程共同決定，最后對軌跡矢量應(yīng)用亞像素插值法生成模糊核。

圖1 運(yùn)動模糊模擬示意圖Fig.1 Diagram of motion blur simulation

1.1.2 基于自編碼器的圖像特征提取

去噪自編碼器是一類以損失數(shù)據(jù)作為輸入，以預(yù)測原始未被損壞的數(shù)據(jù)作為輸出的自編碼器，其與普通自編碼器相比增加了數(shù)據(jù)有損處理，例如噪聲、模糊等。在有限的損失處理下，數(shù)據(jù)間的結(jié)構(gòu)相關(guān)性仍然得到了保存，通過特征提取后，依舊可以重建出原始圖像。

本文將模糊后的圖像視作有損數(shù)據(jù)，構(gòu)建去模糊自編碼器并對模糊圖像進(jìn)行編碼處理，以去除圖像冗余信息，通過解碼操作，恢復(fù)原始清晰圖像，從而以訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)獲取圖像中的關(guān)鍵特征部分，并加以壓縮，為后續(xù)圖像的超分辨率重建部分打下基礎(chǔ)。

去模糊自編碼器的訓(xùn)練過程如下：

2）將損壞樣本x?輸入到編碼器中，可表示為如式（1）所示：

其中：s為激活函數(shù)。

3）經(jīng)過編碼后的數(shù)據(jù)輸入到解碼器中，解碼部分如式（3）和式（4）所示：

4）針對單個(gè)訓(xùn)練樣本數(shù)據(jù)對，構(gòu)建損失函數(shù)L(x,z)，如式（5）所示：

該函數(shù)可用于衡量解碼輸出z與原始數(shù)據(jù)樣本x之間接近程度。

5）對于具有n個(gè)樣本的訓(xùn)練集，每一個(gè)樣本數(shù)據(jù)可以得到相應(yīng)的h(i)與z(i)。當(dāng)平均重構(gòu)誤差最小時(shí)可以獲取最優(yōu)的編碼器解碼器網(wǎng)絡(luò)參數(shù)，如式（6）所示：

同時(shí)，為防止權(quán)值過大引起的過擬合，對式（6）設(shè)置一個(gè)權(quán)重衰減項(xiàng)，如式（7）所示：

整合上面兩式得到目標(biāo)函數(shù)，如式（8）所示，此時(shí)h(i)即為的低維度特征表示。

其中：λ為權(quán)重衰減參數(shù)。

1.2 基于離焦圖像的對抗超分辨率重建算法

1.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)如下：

1）生成網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)是通過對抗的方式，去學(xué)習(xí)數(shù)據(jù)分布，從而產(chǎn)生新的數(shù)據(jù)。整個(gè)框架由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)2 部分組成。在超分辨率重建中，生成網(wǎng)絡(luò)定義為Gθ，負(fù)責(zé)將一張低分辨率LR 圖像重建為超分辨率SR 圖像；判別網(wǎng)絡(luò)定義為Dη，作用是將重建出的SR 圖像與原始HR 圖像進(jìn)行對比，判斷重建圖像的真實(shí)性。生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)分別由參數(shù)θ與η所確定，整個(gè)過程交替進(jìn)行，通過對抗的方式解決最大化、最小化問題，如式（9）所示：

其中：pHR與pLR分別為HR 圖像與LR 圖像各自訓(xùn)練集的分布。

生成網(wǎng)絡(luò)結(jié)構(gòu)的中間部分由16 個(gè)殘差模塊構(gòu)成，層與層之間以及整個(gè)模塊前后都有跳躍連接，從而減少每層信息承載，加速模型收斂。在網(wǎng)絡(luò)最后設(shè)置2 個(gè)亞像素卷積層，使初始LR 圖像分辨率倍增4 倍，以實(shí)現(xiàn)超分辨率重建的效果。整個(gè)重建過程的思想是先使用較深神經(jīng)網(wǎng)絡(luò)對低分辨率圖像信息進(jìn)行整合，再摒棄復(fù)雜無效的反卷積，利用亞像素卷積操作完成重建。

2）判別網(wǎng)絡(luò)

在卷積神經(jīng)網(wǎng)絡(luò)中，感受野（Receptive Field）的定義是卷積神經(jīng)網(wǎng)絡(luò)每一層輸出的特征圖上的像素點(diǎn)在輸入圖片上映射的區(qū)域大小，通常感受野的設(shè)定是越大越好。然而，更大的感受野往往意味著更大的卷積核以及更多的網(wǎng)絡(luò)參數(shù)。在卷積操作中，輸出矩陣高和寬可分別由式（10）和（11）計(jì)算：

其中：stride 代表步長。假設(shè)一張圖像的大小為28 像素×28 像素，利用5×5 大小的卷積核，步長為1，則輸出圖像大小為(28-5)/1+1=24，參數(shù)為5×5×c，其中c為輸入輸出矩陣深度的乘積。卷積核的大小與網(wǎng)絡(luò)參數(shù)成正比。

在判別網(wǎng)絡(luò)結(jié)構(gòu)里的8 個(gè)卷積層中，均采用了3×3 尺寸的卷積核。除此之外，使用了Leaky ReLU激活函數(shù)并取消了常規(guī)卷積過程中的最大池化操作。整個(gè)過程中，特征圖由64 張?jiān)黾拥?12 張，每次特征圖倍增的同時(shí)均使用步長為2 的卷積核，以減少輸出尺寸。最后利用2 個(gè)全連接網(wǎng)絡(luò)和1 個(gè)sigmoid 激活函數(shù)，來獲得樣本分類的概率，以此判別真?zhèn)?。結(jié)構(gòu)如圖2 所示，其中：k表示每個(gè)卷積層對應(yīng)的內(nèi)核大小；n表示特征映射的數(shù)量；s代表步長。

圖2 判別網(wǎng)絡(luò)的架構(gòu)Fig.2 Structure of discriminant network

1.2.2 損失函數(shù)

損失函數(shù)即目標(biāo)函數(shù)，算法的求解過程即是對這個(gè)目標(biāo)函數(shù)優(yōu)化的過程。為了使超分辨率重建后的SR 圖像能與HR 圖像盡可能地相似，損失函數(shù)將分為像素域與感知域2 個(gè)部分。像素域使用MSE 損失函數(shù)，通過將2 類不同圖像逐像素對比，以保證獲得更高的PSNR 分?jǐn)?shù)。基于MSE 損失函數(shù)的算法常導(dǎo)致輸出結(jié)果過于平滑，使人眼感知效果不佳，因此需要在感知域的損失函數(shù)上進(jìn)行限制。

作用于感知域的感知損失函數(shù)稱為Perceputal Loss，它度量了2 幅圖像特征之間的歐氏距離，因此使用它來約束SR 圖像與HR 圖像之間的特征相似性，以保證人眼感知效果。為了獲取特征間的距離，感知損失函數(shù)通常使用1 個(gè)已經(jīng)過預(yù)訓(xùn)練的用于圖像分類的網(wǎng)絡(luò)模型，再將2 類圖像輸入模型以對比深層次的特征。此處使用了經(jīng)典圖像識別網(wǎng)絡(luò)vgg-16 的損失函數(shù)Lvgg，基于交叉熵的對抗損失和均方誤差損失Lmse也被用來幫助重建圖像。生成網(wǎng)絡(luò)的損失函數(shù)如式（12）所示：

其中：η與λ為平衡不同損失項(xiàng)的系數(shù)。

1.2.3 相對判別網(wǎng)絡(luò)

在標(biāo)準(zhǔn)生成對抗網(wǎng)絡(luò)中，就未經(jīng)過函數(shù)激活的C(x) 而言，判別網(wǎng)絡(luò)可被簡單定義為D(x)=sigmoid(C(x))，根據(jù)D(x)的大小來判斷圖像的真?zhèn)巍?/p>

與文獻(xiàn)［14］相似，為了保證判別網(wǎng)絡(luò)的輸出與真?zhèn)螆D像兩者均能產(chǎn)生聯(lián)系，本文引入相對判別概念以改進(jìn)判別網(wǎng)絡(luò)。針對真?zhèn)螆D像對(xr,xf)，定義=sigmoid(C(xr)-C(xf))。這樣的定義為整個(gè)網(wǎng)絡(luò)增加了相對性，判別網(wǎng)絡(luò)將會估計(jì)給定真實(shí)圖像xr比虛假圖像xf更真實(shí)的概率。同理，D()=sigmoid(C(xr)-C(xf))代表著相對更虛假的概率。由此，式（9）的第1 項(xiàng)可以改寫為式（13）：

其中：IHR～pHR；xf～Gθ(ILR)；ILR～pLR。

由于原式第1 項(xiàng)沒有生成網(wǎng)絡(luò)Gθ的參與，梯度為0，因此在優(yōu)化中通常被忽略。而改進(jìn)之后，第1 項(xiàng)受到Gθ生成的xf的影響，梯度不再為0，因此能夠幫助生成網(wǎng)絡(luò)完成損失函數(shù)優(yōu)化，使生成網(wǎng)絡(luò)的訓(xùn)練變?yōu)檎麄€(gè)公式的最小化過程而非僅有后半部分。

批量輸入的圖像對存在不同的組合方式，為簡化算法時(shí)間復(fù)雜度，可加入均值概念，對判別網(wǎng)絡(luò)進(jìn)行重新定義。如式（14）所示：

其中：C(xr)、C(xf)為真實(shí)圖像與虛假圖像未經(jīng)過激活函數(shù)轉(zhuǎn)換的分布；C(x)為當(dāng)前圖像分布，如果x是真實(shí)圖像，則從虛假圖像的分布中獲取期望值進(jìn)行相對判別。

當(dāng)損失函數(shù)修改為相對損失之后，損失函數(shù)將衡量真假圖片間的相對真實(shí)性。在對抗性訓(xùn)練中，2 種損失可以從生成數(shù)據(jù)和真實(shí)數(shù)據(jù)的梯度中獲得收益，以獲得更好的效果。

1.2.4 基于空間特征變換層的信息融合

本文利用改進(jìn)的去噪自編碼器，針對離焦圖像的特征進(jìn)行壓縮重組訓(xùn)練，網(wǎng)絡(luò)中經(jīng)過訓(xùn)練的編碼部分能實(shí)現(xiàn)特征的提取功能。而要使這些特征圖對超分辨率重建過程產(chǎn)生幫助，則需要用到信息特征融合技術(shù)。

為了將自編碼器與GAN 的框架相結(jié)合，先利用已經(jīng)訓(xùn)練好的自編碼器編碼部分，輸入離焦圖像；再將編碼部分輸出的離焦特征圖添加到圖像重建的過程中；最后使用空間特征變換（Spatial Feature Transform，SFT）網(wǎng)絡(luò)層結(jié)構(gòu)來實(shí)現(xiàn)特征的融合。在空間特征變換過程中，針對不同的模糊類型特征圖像，先進(jìn)行合并運(yùn)算操作，如圖3 所示。

圖3 特征圖合并操作Fig.3 Feature map merge operation

運(yùn)算式如式（15）所示：

其中：iσ與im分別代表高斯模糊及運(yùn)動模糊的特征圖。

基于合并而成的特征圖這一先驗(yàn)信息I，SFT 網(wǎng)絡(luò)層通過映射關(guān)系輸出調(diào)制參數(shù)對(γ,β)，如式（16）所示：

函數(shù)M與N可以是任意映射算法，在本文中使用了具有2 層深度的神經(jīng)網(wǎng)絡(luò)作為映射算法以便優(yōu)化。在獲得(γ,β)之后，將γ定義為縮放參數(shù)，β定義為移動參數(shù)，運(yùn)用類仿射變換的方式，將合并運(yùn)算與條件伸縮運(yùn)算相結(jié)合，如式（17）所示：

其中：F代表SFT 層輸出作為后續(xù)網(wǎng)絡(luò)輸入的特征圖，其維度與γ和β相同；?代表按元素相乘。由于保留了空間維度，SFT 層不僅執(zhí)行特征操作，還執(zhí)行空間轉(zhuǎn)換，能夠有效地轉(zhuǎn)換和操作空間信息?？臻g特征變換層結(jié)構(gòu)如圖4 所示。

圖4 空間特征變換層Fig.4 Spatial feature transform layer

由于SFT 層計(jì)算量不大，且無法得知模型何處需要使用到條件信息，因此在每一個(gè)殘差模塊中均加入SFT 層，整個(gè)生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 生成網(wǎng)絡(luò)的架構(gòu)Fig.5 Structure of generate network

2 實(shí)驗(yàn)結(jié)果與分析

2.1 離焦圖像特征提取實(shí)驗(yàn)

整個(gè)訓(xùn)練過程中使用Celeb A 數(shù)據(jù)集，在離焦圖像訓(xùn)練集獲取時(shí)，分別對數(shù)據(jù)集進(jìn)行了高斯模糊與運(yùn)動模糊處理，高斯模糊直接使用了Opencv 中的高斯模糊函數(shù)，半徑參數(shù)設(shè)置為2 以下的隨機(jī)數(shù)。首先將離焦圖像訓(xùn)練集輸入到自編碼器網(wǎng)絡(luò)中，在網(wǎng)絡(luò)層中完成特征提取降維工作。然后利用后續(xù)的網(wǎng)絡(luò)層將隱藏層中的特征進(jìn)行解碼放大，輸出一張尺寸與輸入相同的圖像。利用均方誤差損失函數(shù)通過與未離焦原圖的對比完成優(yōu)化，整個(gè)編碼解碼過程類似于圖像去模糊過程。在參數(shù)設(shè)置上，將學(xué)習(xí)率設(shè)置為1×10-4，Adam 優(yōu)化器參數(shù)設(shè)置為0.9，訓(xùn)練次數(shù)30 000 次，低分辨率圖像的尺寸設(shè)置為44 像素×52 像素。具體結(jié)構(gòu)如圖6 所示，包含核尺寸k、特征圖數(shù)量n與步長s。

圖6 自編碼器結(jié)構(gòu)及實(shí)現(xiàn)過程Fig.6 Structure and implementation process of AE

在實(shí)驗(yàn)過程中，離焦圖像作為有損數(shù)據(jù)輸入到模型中，圖像的損失程度與解碼后的效果息息相關(guān)。為探究模型能夠處理的模糊程度的邊界，將不同離焦度的圖像作為輸入，再對比重建后的效果。當(dāng)離焦程度從0～2 變化時(shí)，重建圖像效果如圖7 所示，其中第1 行為離焦圖，第2 行為重建圖。

圖7 不同離焦程度圖像的重建效果示例Fig.7 Examples of image reconstruction with different defocus degrees

由圖8 可知，對比圖像的均方誤差（MSE）與結(jié)構(gòu)相似性（SSIM）指標(biāo)，從線條1 代表的離焦圖像可以得出隨著模糊程度的加大，結(jié)構(gòu)相似性在下降，均方誤差值在增加；由線條2 代表的重建圖像可以得出，模糊程度為1 時(shí)重建圖像取得最佳效果，而當(dāng)模糊程度較小或較大時(shí)，模型的重建效果一般?？紤]到收斂速度及網(wǎng)絡(luò)參數(shù)的原因，以上實(shí)驗(yàn)中使用到的卷積核規(guī)模均為3×3。

圖8 不同離焦程度圖像效果對比Fig.8 Index comparison of different defocus degrees

根據(jù)傳統(tǒng)反卷積維納算法，其逆副核雖然有限但能夠提供足夠大的空間支持，這表明反卷積與夠大的空間卷積近似。由于離焦圖像的獲取依賴于卷積過程，所以在不考慮收斂速度的情況下，對比了3 種不同規(guī)模卷積核（3×3，5×5，7×7）所訓(xùn)練模型的重建效果，如圖9 所示。

圖9 不同尺寸卷積核模型效果對比Fig.9 Comparison of effects of different size convolution kernel models

根據(jù)重建出的效果可以看出，作為有損降維算法，卷積自編碼器能夠完成離焦圖像的降維重建工作。理論上，較大卷積核需要更多的訓(xùn)練時(shí)間，但后續(xù)實(shí)驗(yàn)證明，在離焦程度較小時(shí)，卷積核選擇3×3 尺寸效果達(dá)到最佳。隨著離焦程度的不斷增大，較大的卷積核能夠更好的完成空間卷積的近似。而面對訓(xùn)練集中未出現(xiàn)的更大范圍的離焦現(xiàn)象，模型的重建效果急劇下滑。

2.2 超分辨率重建實(shí)驗(yàn)

考慮到實(shí)驗(yàn)設(shè)備與環(huán)境，本文的實(shí)驗(yàn)基于Celeb A人臉圖像數(shù)據(jù)集，人臉圖像特征更集中，有利于模型的訓(xùn)練學(xué)習(xí)。此外，在感知損失函數(shù)部分，使用了基于ImageNet 預(yù)訓(xùn)練的VGG-19 網(wǎng)絡(luò)。實(shí)驗(yàn)的分辨率倍增數(shù)設(shè)置為4 倍，以便與文獻(xiàn)SRGAN 進(jìn)行對比。所有的低分辨率圖像均從高分辨率圖像插值下采樣獲得，以便重建后的圖像與原高分辨率圖像進(jìn)行質(zhì)量指標(biāo)的相關(guān)計(jì)算。

設(shè)置高分辨率圖像HR 的尺寸為176 像素×208 像素，相應(yīng)的低分辨率圖像LR的尺寸為44像素×52像素。為了更好地從離焦圖像中獲取可能的補(bǔ)充信息，在離焦圖像的處理上，實(shí)驗(yàn)并未設(shè)置特別大的離焦半徑，高斯模糊最大半徑設(shè)置為1，而運(yùn)動模糊最大設(shè)置為4。在這樣的設(shè)置下，自編碼器的解碼部分仍能重建出較好的結(jié)果。

在上一部分的實(shí)驗(yàn)中，自編碼器完成了離焦圖像的特征提取以及重建工作，接著利用已訓(xùn)練好的自編碼器的編碼部分，通過SFT 網(wǎng)絡(luò)層結(jié)構(gòu)，與生成對抗網(wǎng)絡(luò)相結(jié)合。圖10 為輸入圖像示例，分別為低分辨率圖像以及不同模糊處理后的圖像。

圖10 輸入圖像示例Fig.10 Sample of input images

為比較實(shí)驗(yàn)結(jié)果，本文引入其他的超分辨率重建算法作為比較，例如雙三次插值以及同樣在Celeb A上訓(xùn)練出的SRGAN 算法?；诙喾x焦圖像重建的效果如圖11 所示，從左到右依次為雙三次插值算法、SRGAN 算法、本文算法以及原HR 圖像。

圖11 重建效果對比Fig.11 Comparision of reconstruction

從視覺對比中可以看出，雙三次插值方法產(chǎn)生的圖像質(zhì)量較差，大量細(xì)節(jié)丟失導(dǎo)致邊緣高度模糊，甚至出現(xiàn)偽影。與雙三次插值圖像相比，SRGAN 圖像有明顯的改善，圖像更加清晰，然而由于一些虛假細(xì)節(jié)的存在，導(dǎo)致整張臉部看起來不夠真實(shí)。相比之下，通過多幅離焦圖像重建出的圖像視覺效果更為真實(shí)，并且邊緣信息也得到了保留。為了能更加精確地比較幾種算法，本文通過峰值信噪比（PSNR）與結(jié)果相似性（SSIM）這2 種常用的評價(jià)圖像質(zhì)量的指標(biāo)進(jìn)行了計(jì)算，算法測試結(jié)果如表1 所示，加粗?jǐn)?shù)值越多，表示該算法效果越好。

表1 3 種超分辨率算法測試結(jié)果對比Table 1 Comparison of test results of three superresolution algorithms

從表1 中可以看出，在某些情況下，雙三次插值算法獲得了高于其他的PSNR 值，結(jié)合其視覺質(zhì)量效果可以發(fā)現(xiàn)，這與前文關(guān)于PSNR 的介紹以及論文SRGAN 中的結(jié)論一致：衡量像素間相似度的PSNR 無法真實(shí)反映圖像的感知質(zhì)量，獲得最高的PSNR 值有時(shí)并不意味著最好的超分辨率重建效果。從SSIM 值來看，本文所提出的算法在大多數(shù)情況下能獲得更高的數(shù)值，即使在未取得最高的時(shí)候也與數(shù)值最高的SRGAN 相近。這意味著基于多幅離焦圖像的超分辨率算法能生成更為優(yōu)秀的重建圖像。

3 結(jié)束語

本文以離焦圖像作為切入點(diǎn)，提出圖像超分辨率重建算法。針對離焦圖像的特性，結(jié)合去噪自編碼器模型完成特征提取與重建。在融合離焦特征信息時(shí)，采用空間特征變換層網(wǎng)絡(luò)，以類仿射變換的方式將自編碼器模型的編碼部分與每一個(gè)殘差塊結(jié)合。將模型在Celeb A 人臉數(shù)據(jù)集上進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果表明，與雙三次插值、SRGAN 超分辨率算法的重建效果相比，本文算法能更好地恢復(fù)圖像細(xì)節(jié)，并且在多數(shù)情況下能夠獲得更高的PSNR 與SSIM 數(shù)值。結(jié)合離焦圖像的超分辨率重建算法能獲得更好的圖像重建效果，在電力傳輸與運(yùn)維場景視覺監(jiān)控領(lǐng)域具有一定的使用價(jià)值。下一步將研究深度學(xué)習(xí)模型輕量化，加快訓(xùn)練速度，降低權(quán)重參數(shù)數(shù)量，以保證圖像重建的效果更具真實(shí)性。