劉 穎，董占龍 ，盧 津，王富平

1.西安郵電大學(xué) 電子信息現(xiàn)場(chǎng)勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，西安 710121

2.西安郵電大學(xué) 圖像與信息處理研究所，西安 710121

1 引言

人臉圖像超分辨率（Super-Resolution，SR）重建[1]技術(shù)是通過(guò)SR 重建算法從低分辨率（Low Resolution，LR）人臉估計(jì)重建出高分辨率（High Resolution，HR）人臉的技術(shù)。因?yàn)槿四槇D像是人們工作生活中關(guān)注度最高的多媒體內(nèi)容之一，因此，通過(guò)彌補(bǔ)觀測(cè)到的LR人臉丟失的細(xì)節(jié)信息從而增強(qiáng)人臉?lè)直媛适菍?shí)際生活中亟待解決的問(wèn)題。作為一種低成本的軟件技術(shù)，人臉超分辨率重建在公共監(jiān)控、多媒體通信、人臉識(shí)別等圖像處理系統(tǒng)中得到廣泛研究與應(yīng)用。20世紀(jì)60年代，Harris等人首次提出了SR 重建技術(shù)，隨后諸多學(xué)者掀起了對(duì)其的研究熱潮，并使之得到了長(zhǎng)足發(fā)展。目前，圖像SR重建技術(shù)可分為三類(lèi)：（1）基于插值的圖像超分技術(shù)；（2）基于重建的圖像超分技術(shù)；（3）基于學(xué)習(xí)的圖像超分技術(shù)。

基于插值的圖像SR 重建技術(shù)，以超分算法為理論基礎(chǔ)，可細(xì)分為：基于單幀圖像的最鄰近插值（Nearest Neighbor Interpolation）、雙線(xiàn)性插值（Bilinear Interpolation）、雙立方插值（Bicubic Interpolation）和樣條插值等算法，也有針對(duì)多幀圖像的非均勻采樣內(nèi)插算法?；诓逯档姆椒ɡ碚摶A(chǔ)簡(jiǎn)單，計(jì)算量小，但是重建的圖像質(zhì)量比較差；而基于重建的圖像SR方法是通過(guò)分析LR圖像提供的先驗(yàn)信息降質(zhì)過(guò)程進(jìn)行重建的，該算法通過(guò)降質(zhì)模型獲取先驗(yàn)信息，重建效果受限于降質(zhì)模型的有效性和噪聲的大小，即隨著圖像放大倍數(shù)的增大急劇下降。

鑒于以上兩類(lèi)方法的不足，近年來(lái)，基于深度學(xué)習(xí)的學(xué)習(xí)型SR重建算法成為一大研究焦點(diǎn)。例如，Dong等人[2]提出了SRCNN 網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含三層卷積神經(jīng)網(wǎng)絡(luò)，是第一個(gè)基于深度學(xué)習(xí)的超分算法。為了增加網(wǎng)絡(luò)的深度，Kim 等人提出了 VDSR[3]和 DRCN[4]，將網(wǎng)絡(luò)深度增加到了20 層。隨后，更多的基于深度學(xué)習(xí)的超分算法[5-8]不斷涌現(xiàn)。然而，這些超分方法產(chǎn)生模糊和過(guò)于平滑的輸出，重建的超分圖像普遍缺乏高頻紋理細(xì)節(jié)。為了解決這個(gè)問(wèn)題，一些算法被提出來(lái)。典型的如，Dahl 等人[9]使用 PixelCNN 合成了真實(shí)的細(xì)節(jié)；Zhu 等人[10]將密集對(duì)應(yīng)場(chǎng)估計(jì)與人臉超分辨率相結(jié)合；Yu 等人[11]對(duì)GAN[12]進(jìn)行了研究，達(dá)到了創(chuàng)建感知現(xiàn)實(shí)的結(jié)果。然而，這些方法在超分辨率圖像空間中的應(yīng)用面臨著許多問(wèn)題，如計(jì)算復(fù)雜度[4]、訓(xùn)練的不穩(wěn)定性[11]、對(duì)姿態(tài)和遮擋變化[13]的魯棒性差等問(wèn)題，Huang 等人將小波變換與深度學(xué)習(xí)相結(jié)合，提出了一種基于小波的多尺度人臉超分辨方法WaveletSRNet[14]，將單幅圖像的超分辨率轉(zhuǎn)換為深度學(xué)習(xí)框架下的小波系數(shù)預(yù)測(cè)任務(wù)，實(shí)現(xiàn)了一種基于小波變換的柔性體積神經(jīng)網(wǎng)絡(luò)，取得了較好的人臉重建效果。然而，重建的人臉圖像在局部細(xì)節(jié)紋理方面還有待深入研究。

鑒于此，本文在WaveletSRNet 網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上，提出了基于注意力機(jī)制的稠密連接人臉超分算法。該算法主要由特征提取和圖像重建兩個(gè)部分組成，通過(guò)同時(shí)關(guān)注特征通道域和空間域的信息，建立多注意力域模塊。其中，通過(guò)改變信道和空間上的相互關(guān)系和權(quán)重，自適應(yīng)地對(duì)特征進(jìn)行加權(quán)重組，并且使用密集的稠密連接和長(zhǎng)短連接將不同層的特征融合在一起，實(shí)現(xiàn)提升網(wǎng)絡(luò)性能。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法的正確性；又與現(xiàn)有算法比較，表明了本文算法的優(yōu)越性能，重建的人臉圖像具有更清晰的紋理細(xì)節(jié)特征。

2 基于注意力機(jī)制的稠密連接超分網(wǎng)絡(luò)

本文研究的算法框架分為：特征提取子網(wǎng)絡(luò)和圖像重建子網(wǎng)絡(luò)，如圖1所示。

在特征提取子網(wǎng)絡(luò)中，首先輸入低分辨率圖像，通過(guò)卷積層（Conv）和一系列的稠密連接模塊（Dense Block，DB）后，使用連接層（Concat）將各模塊提取的特征圖進(jìn)行連接；將連接的特征輸入圖像重建子網(wǎng)絡(luò)，通過(guò)卷積層（Conv）、批歸一化層（Batch Normalization，BN）、激活層（Relu）、多注意力域模塊（MADM）后，使用小波包逆變換（IDWPT）得到重建的高分辨率圖像HR。

2.1 特征提取子網(wǎng)絡(luò)

特征提取子網(wǎng)絡(luò)結(jié)構(gòu)如圖1左半部分描述，其由高分辨率圖像通過(guò)插值降采樣得到低分辨率圖像作為網(wǎng)絡(luò)的輸入，低分辨率圖像首先經(jīng)過(guò)一個(gè)3×3 的卷積，得到特征圖，這個(gè)卷積層的作用是提取圖像的低級(jí)特征，同時(shí)擴(kuò)展特征的通道數(shù)，通過(guò)長(zhǎng)連接加入到每一個(gè)DB的輸入，以便同每一個(gè)DB模塊提取的高層語(yǔ)義特征進(jìn)行融合。隨后，一系列DB用來(lái)提取圖像的高級(jí)語(yǔ)義特征。

圖1 算法整體框架示意圖

圖2是本文構(gòu)建的DB模塊，其包括m個(gè)卷積層，每個(gè)卷積層后連接BN 層和Relu 層。如果每個(gè)卷積層產(chǎn)生c維的特征向量，則一個(gè)稠密連接模塊產(chǎn)生c×m維的特征向量。這里，c稱(chēng)為增長(zhǎng)系數(shù)，表示每個(gè)卷積操作為最后的輸出貢獻(xiàn)的信息量。與殘差連接模塊不同的是每一層可以將其之前的所有層提取的特征作為輸入，即：

式中，F(xiàn)0表示第一個(gè)卷積層輸出的特征圖，F(xiàn)DB1,FDB2,…,FDBn-1表示當(dāng)前DB之前每個(gè)DB的輸出。

圖2 DB結(jié)構(gòu)圖

通常，在神經(jīng)網(wǎng)絡(luò)中，合理地使用跳躍連接可以有效地提高SR 重建性能。因此，構(gòu)建的DB 模塊，鄰近層間都設(shè)計(jì)短的通道。以此加強(qiáng)通過(guò)深層網(wǎng)絡(luò)的信息流，從而緩解消失梯度問(wèn)題；且DB可通過(guò)特性重用大大減少參量個(gè)數(shù)，減輕內(nèi)存負(fù)擔(dān)，降低計(jì)算量，從而實(shí)現(xiàn)高性能。另外，采用DB作為基礎(chǔ)的卷積模塊，不同于當(dāng)前超分的稠密連接網(wǎng)絡(luò)，而是在DB中加入了BN層，并移除了可刪除特征圖像素信息的池化層和丟棄層，將更利于超分圖像的重建。

2.2 圖像重建子網(wǎng)絡(luò)

在人臉圖像的超分任務(wù)中，由于需要將低分辨率圖像重建為高分辨率圖像，所以涉及到圖像尺寸需放大。現(xiàn)今研究中，主要有兩種策略：一是如SRCNN[2]和VDSR[3]所闡述，將低分辨率圖像直接插值到與高分辨率圖像一樣的大小，輸入神經(jīng)網(wǎng)絡(luò)，但是這種方法由于輸入尺寸變大，增加可計(jì)算的復(fù)雜度，而且并沒(méi)有為圖像的重建帶來(lái)新的信息；另一種是輸入低分辨率圖像，使用反卷積層來(lái)擴(kuò)展圖像的尺寸，雖然不會(huì)增加計(jì)算復(fù)雜度，但是反卷積操作在特征圖中引入額外的信息。正因?yàn)橹T如此類(lèi)問(wèn)題的存在，本文采用網(wǎng)絡(luò)學(xué)習(xí)獲取小波域圖像，通過(guò)小波包的逆變換來(lái)實(shí)現(xiàn)圖像重建?；诖?，圖像重建子網(wǎng)絡(luò)涉及多注意力域模塊（MADM）和小波包逆變換（IDWPT）。

計(jì)算機(jī)視覺(jué)中，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)提取圖像的特征從而進(jìn)行各種任務(wù)，但是傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)其實(shí)是將全部特征等價(jià)對(duì)待，這是不符合實(shí)際情況的。而注意力機(jī)制的網(wǎng)絡(luò)通過(guò)給不同的特征分配相應(yīng)的權(quán)重，使神經(jīng)網(wǎng)絡(luò)更加關(guān)注“好的”特征，忽視“壞的”特征，從而提升網(wǎng)絡(luò)的性能。袁等人[15]將注意力機(jī)制用于圖像識(shí)別，構(gòu)建了一個(gè)基于特征圖通道和子空間的注意力卷積模塊，在識(shí)別精度上獲得較大提升；孫等人[16]在目標(biāo)檢測(cè)中引入與子區(qū)域特征和寬高比特性相關(guān)的注意力庫(kù)，生成注意力特征圖對(duì)原始候選框池化特征進(jìn)行優(yōu)化，取得了較大的精度提升；Li 等人[17]在人臉面部識(shí)別中引入注意力機(jī)制，感知人臉遮擋部分，將網(wǎng)絡(luò)的注意力集中到最具區(qū)分度的人臉遮擋部分，實(shí)現(xiàn)更好的面部識(shí)別精度。

針對(duì)網(wǎng)絡(luò)注意力域的不同，一般分為時(shí)間域、空間域、通道域。通常任務(wù)只關(guān)注特征的一個(gè)注意力域，比如通道域[18]或空間域[19]。為了使網(wǎng)絡(luò)可以關(guān)注到特征圖中更有效的信息，本文融合通道域和空間域，創(chuàng)建用于人臉超分任務(wù)中的多注意力域模塊，如圖3所示。

基于通道域的注意力機(jī)制如圖3 上半部分所示。上一層輸出的特征首先經(jīng)過(guò)全局平均池化得到一個(gè)1×1×c的全連接層，其中c表示上一層特征的通道數(shù)，順著空間維度來(lái)進(jìn)行特征壓縮，將每個(gè)二維的特征通道變成一個(gè)實(shí)數(shù)，這個(gè)實(shí)數(shù)某種程度上具有全局的感受野，并且輸出的維度和輸入的特征通道數(shù)相匹配。它表征著在特征通道上響應(yīng)的全局分布，而且使得靠近輸入的層也可以獲得全局的感受野。隨后首先將特征維度降低到輸入的1/r，這樣做比直接用一個(gè)全連接層的好處在于：（1）具有更多的非線(xiàn)性，可以更好地?cái)M合通道間復(fù)雜的相關(guān)性；（2）極大地減少了參數(shù)量和計(jì)算量，其中r表示降維壓縮比，r需要根據(jù)實(shí)驗(yàn)來(lái)進(jìn)行調(diào)整，r過(guò)大會(huì)造成有效信息的過(guò)分丟失，r太小計(jì)算復(fù)雜度過(guò)高。最后經(jīng)過(guò)ReLu激活后再通過(guò)一個(gè)全連接層升回到原來(lái)的維度c，此時(shí)的全連接層表示特征圖每個(gè)通道的權(quán)重，與輸入特征圖進(jìn)行相乘可得到通道注意力特征圖FCA。

圖3 MADM框架示意圖

其次，在空間域中，每一個(gè)卷積濾波器輸出一個(gè)H×W的特征圖，和人類(lèi)視覺(jué)系統(tǒng)一樣，人們看一張圖時(shí)，總是會(huì)聚焦到圖中最重要的部分，同樣在神經(jīng)網(wǎng)絡(luò)中，希望網(wǎng)絡(luò)能夠聚焦到特征圖中最重要的部分，所以給特征圖上每個(gè)像素賦予不同的權(quán)重來(lái)對(duì)它們的重要性進(jìn)行區(qū)分。如圖3下半部分，前面卷積層提取出的特征被分成三個(gè)支路，分別經(jīng)過(guò)一個(gè)1×1 的卷積層，用來(lái)減少通道的數(shù)量，降低計(jì)算復(fù)雜度。三個(gè)支路的輸出分別為Q、K、V，即：式中，WQ、WK、WV分別表示三個(gè)卷積層的參數(shù)，F(xiàn)為前面卷積層輸出的特征圖。

緊接著對(duì)上面兩個(gè)支路進(jìn)行壓縮，此時(shí)，Q∈Rc×N,K∈Rc×N,V∈Rc×N。其中，c表示特征圖的通道數(shù)，N=H×W為每個(gè)通道像素的總個(gè)數(shù)。隨后，將Q進(jìn)行轉(zhuǎn)置并與K進(jìn)行相乘，通過(guò)softmax 函數(shù)，將空間特征權(quán)重歸一化到[0，1]之間，具體公式如下：

此時(shí)，S∈RN×N，sij表示特征圖中第i個(gè)像素對(duì)第j個(gè)像素的影響權(quán)重。

得到空間注意力特征圖FSA。隨后，將通道域和空間域的特征進(jìn)行融合F=FSA+FCA，得到最終給予不同權(quán)重的特征圖，將其通過(guò)一個(gè)3×3 的卷積得到小波域的圖像，最后，通過(guò)小波包逆變換得到最終的高分辨率圖像。

2.3 損失函數(shù)

在人臉超分任務(wù)中，普遍使用基于像素的均方誤差（Mean Square Error，MSE）作為損失函數(shù)。然而，正如文獻(xiàn)[4]所述，僅僅是最小化基于像素的均方誤差損失函數(shù)，會(huì)使重建圖像過(guò)于平滑，很難捕捉到高頻紋理細(xì)節(jié)，導(dǎo)致模糊的紋理重建效果。但是，利用高頻小波系數(shù)描述紋理細(xì)節(jié)，將超分辨率問(wèn)題從原始圖像空間轉(zhuǎn)化為小波域，引入基于小波的損耗可以來(lái)幫助紋理重建，避免使用均方誤差損失導(dǎo)致的模糊的紋理重建效果。相比于直接在原始圖像空間中進(jìn)行超分辨率，在小波域中可以將圖像分解成相同大小的小波系數(shù)序列，可以對(duì)不同頻率的信息分多支路進(jìn)行重建，最后通過(guò)小波包逆變換進(jìn)行重建。相比僅單獨(dú)使用整個(gè)圖像計(jì)算損失，每個(gè)支路的任務(wù)更為單一，從而使重建效果具有更多的高頻紋理細(xì)節(jié)。在損失函數(shù)中l(wèi)img表示整個(gè)圖像的損失函數(shù)，而lwavelet表示不同頻率的小波系數(shù)的損失函數(shù)來(lái)約束網(wǎng)絡(luò)重建出各個(gè)頻率的小波系數(shù)。多個(gè)損失函數(shù)共同對(duì)網(wǎng)絡(luò)進(jìn)行約束，使網(wǎng)絡(luò)重建出更清晰的圖像。同時(shí)，為了得到更清晰的紋理細(xì)節(jié)，使用VGG19中間層的輸出特征來(lái)計(jì)算感知損失。

具體損失函數(shù)如下：

式中，ωi表示第i個(gè)損失函數(shù)的權(quán)重，lwavelet、limg、ltexture和lperceptual分別為小波系數(shù)損失函數(shù)、圖像損失函數(shù)、紋理?yè)p失函數(shù)和感知損失函數(shù)，各損失函數(shù)的計(jì)算如下。

小波系數(shù)的損失函數(shù)為：

式中，C?和C分別表示網(wǎng)絡(luò)預(yù)測(cè)的小波系數(shù)和真實(shí)高分辨率圖像產(chǎn)生的小波系數(shù)。

整個(gè)圖像的損失函數(shù)為：

同樣，為了防止小波系數(shù)為0，加入紋理?yè)p失為：

由于在深度學(xué)習(xí)的網(wǎng)絡(luò)中，淺層網(wǎng)絡(luò)一般提取紋理結(jié)構(gòu)等基礎(chǔ)特征，隨著網(wǎng)絡(luò)的加深，就會(huì)得到更多的深層語(yǔ)義特征，所以在預(yù)訓(xùn)練的VGG19網(wǎng)絡(luò)中，分別輸入重建圖像和原始圖像，得到其淺層網(wǎng)絡(luò)輸出的紋理結(jié)構(gòu)特征來(lái)計(jì)算感知損失，以此來(lái)約束重建圖像得到更多的紋理細(xì)節(jié)信息。提取預(yù)訓(xùn)練的VGG19網(wǎng)絡(luò)中間層的特征來(lái)計(jì)算感知損失：

式中，φ?和φ表示預(yù)測(cè)高分辨率圖像和真實(shí)高分辨率圖像輸入VGG19 網(wǎng)絡(luò)后中間層提取出的特征。最后，聯(lián)立損失函數(shù)式（6）～（9），進(jìn)行加權(quán)整合，得到總的損失函數(shù)lfull，如式（5）所示。

3 實(shí)驗(yàn)分析

使用LFW、Celeba 以及Helen 三個(gè)主要人臉數(shù)據(jù)集，其中 Celeba 數(shù)據(jù)集有 202 599 張人臉圖像，LFW 數(shù)據(jù)集包括13 000多張人臉圖像，Helen數(shù)據(jù)集包含2 230張人臉圖像。在實(shí)驗(yàn)中，分別挑選Celeba 數(shù)據(jù)集中的10 042張圖像和LFW數(shù)據(jù)集中的12 233張人臉圖像作為訓(xùn)練集；測(cè)試時(shí)，分別在Celeba 數(shù)據(jù)集中挑選1 000張，在LFW 數(shù)據(jù)集中挑選1 000 張，在Helen 數(shù)據(jù)集中挑選330張圖像，且所有測(cè)試圖像均不在訓(xùn)練集中。所有圖像均被裁剪到128 pixel×128 pixel，并將訓(xùn)練數(shù)據(jù)使用插值進(jìn)行下采樣輸入網(wǎng)絡(luò)中，本文實(shí)驗(yàn)均在Pytorch深度學(xué)習(xí)框架下，硬件平臺(tái)為T(mén)eslaV100 顯卡，顯存為32 GB。

實(shí)驗(yàn)中，采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性[20]（Structural Similarity Index，SSIM）作為性能評(píng)價(jià)指標(biāo)。其中，PSNR計(jì)算為：

式中，n為每像素的比特?cái)?shù)，一般取8，即像素灰階數(shù)為256。PSNR 的單位是dB，數(shù)值越大表示失真越小。其中，MSE表示當(dāng)前圖像X和參考圖像Y的均方誤差：

式中，H、W分別為圖像的高度和寬度。

SSIM的計(jì)算為：

式中，l(X,Y) 、c(X,Y)、s(X,Y)分別表示亮度比較、對(duì)比度比較、結(jié)構(gòu)比較：

其中，μX、μY分別表示圖像X和Y的均值，σX、σY分別表示圖像X和Y的方差，σXY表示圖像X和Y的協(xié)方差，SSIM 是一個(gè)0 到1 之間的數(shù)，越大表示輸出圖像和無(wú)失真圖像的差距越小，即圖像質(zhì)量越好。

3.1 實(shí)驗(yàn)討論

3.1.1 批歸一化（BN）的影響

BN層作為一種有效的歸一化方法被廣泛應(yīng)用于深度學(xué)習(xí)的各個(gè)領(lǐng)域。文獻(xiàn)[21]認(rèn)為，在網(wǎng)絡(luò)中加入BN層不利于超分圖像的重建。實(shí)驗(yàn)在相同的網(wǎng)絡(luò)中分別加入BN 層和移除BN 層，結(jié)果發(fā)現(xiàn)：BN 層有利于人臉圖像的重建，在相同的網(wǎng)絡(luò)結(jié)構(gòu)中加入BN，PSNR 和SSIM 均得到提升。這主要因?yàn)椴煌谕ㄓ脠D像的超分，人臉圖像具有相似的結(jié)構(gòu)，BN層有利于增強(qiáng)人臉圖像的結(jié)構(gòu)信息。具體實(shí)驗(yàn)結(jié)果如表1所示。

表1 相同網(wǎng)絡(luò)下有無(wú)BN層實(shí)驗(yàn)結(jié)果

3.1.2 稠密連接模塊規(guī)模的分析

在稠密連接中，主要有3個(gè)參數(shù)影響到該模塊的規(guī)模，分別為稠密連接模塊的個(gè)數(shù)n，模塊中卷積層的數(shù)量m，以及每個(gè)卷積操作輸出的特征通道數(shù)（增長(zhǎng)系數(shù)）c。實(shí)驗(yàn)中，分別選擇不同的參數(shù)來(lái)觀察其對(duì)實(shí)驗(yàn)結(jié)果的影響，發(fā)現(xiàn)在超分網(wǎng)絡(luò)中，增加網(wǎng)絡(luò)的深度(m、n)和寬度(c)，有利于圖像的重建，但是并不是網(wǎng)絡(luò)越深越好，網(wǎng)絡(luò)過(guò)深有可能陷入局部最優(yōu)，從而降低網(wǎng)絡(luò)性能。具體的實(shí)驗(yàn)結(jié)果如表2和表3所示。

表2 不同稠密連接模塊的實(shí)驗(yàn)結(jié)果

表3 不同增長(zhǎng)系數(shù)的實(shí)驗(yàn)結(jié)果

3.2 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證提出算法的優(yōu)越性能，采用雙三次插值算法（Bicubic Interpolation）、SRCNN、VDSR、WaveletSRNet、EDSR及本文算法在相同數(shù)據(jù)集上進(jìn)行訓(xùn)練與測(cè)試，其結(jié)果如圖4和圖5所示。圖4為本文算法與現(xiàn)存的各算法在SSIM性能上的曲線(xiàn)圖，由圖中可以看出，本文算法在三個(gè)不同的數(shù)據(jù)集上均取得了較好的性能，在Celeba數(shù)據(jù)集以及Helen 數(shù)據(jù)集上均取得了最好的SSIM 指標(biāo)，在LFW數(shù)據(jù)集上稍遜于VDSR算法，但在視覺(jué)效果上要優(yōu)于VDSR 算法，如圖6 所示；圖5 為各算法在PSNR 指標(biāo)上的性能曲線(xiàn)圖，相比于Wavelet 方法，本文算法在三個(gè)數(shù)據(jù)集上PSNR 分別提升0.22 dB、0.44 dB、0.39 dB，并且本文算法在三個(gè)數(shù)據(jù)集上均取得了最高的PSNR值，證明本文算法的優(yōu)越性。

圖4 SSIM對(duì)比曲線(xiàn)

圖6 實(shí)驗(yàn)結(jié)果示例

圖6展示了不同方法的實(shí)驗(yàn)結(jié)果圖像示例，可以看到，SRCNN的超分結(jié)果雖然在PSNR和SSIM上不如直接進(jìn)行插值的Bicubic方法，但是在視覺(jué)效果上要優(yōu)于后者，但是在圖像邊緣會(huì)出現(xiàn)黑色的橫紋；VDSR和EDSR相對(duì)SRCNN 方法取得一些改善，并且取得了較高的PSNR，但是其超分結(jié)果過(guò)于平滑，無(wú)法恢復(fù)出牙齒等紋理細(xì)節(jié)；WaveletSRNet 雖能夠恢復(fù)出一些細(xì)節(jié)信息，但局部細(xì)節(jié)紋理的清晰度依然存在改進(jìn)空間，相比之下，本文算法重建出的人臉圖像具有更清晰的牙齒等紋理細(xì)節(jié)特征，并且在特征邊緣避免了像素失真問(wèn)題。得益于為網(wǎng)絡(luò)中的不同通道和不同空間賦予了不同的權(quán)重，使對(duì)重建結(jié)果有利的特征和通道發(fā)揮更大的作用，并且降低不利特征和通道對(duì)結(jié)果的影響，使得最終重建出更好的結(jié)果。

4 結(jié)束語(yǔ)

本文提出了一種基于注意力機(jī)制的稠密連接人臉超分算法，在網(wǎng)絡(luò)中使用多注意力域模塊，并且使用稠密連接和長(zhǎng)短連接。通過(guò)實(shí)驗(yàn)分析，證明了與一般超分任務(wù)不同，人臉圖像由于具有相似的結(jié)構(gòu)，使用批歸一化層有利于增強(qiáng)人臉圖像的結(jié)構(gòu)信息；并且通過(guò)對(duì)稠密連接模塊規(guī)模的實(shí)驗(yàn)，證明在人臉超分任務(wù)中，網(wǎng)絡(luò)結(jié)構(gòu)并不是越深越好。最后，通過(guò)與現(xiàn)有算法比較，本文方法重建的人臉圖像在量化指標(biāo)和主觀視覺(jué)效果上均優(yōu)于其他幾種重建方法，在重建的人臉圖像上能夠恢復(fù)出更清晰的紋理細(xì)節(jié)。

相比于傳統(tǒng)的深度學(xué)習(xí)超分方法，本文方法重建的人臉圖像雖然在高頻紋理細(xì)節(jié)上得到一定的改進(jìn)，但是相對(duì)于真實(shí)圖像而言，補(bǔ)充的細(xì)節(jié)雖然是細(xì)節(jié)，但是可能和真實(shí)的細(xì)節(jié)不同，紋理結(jié)構(gòu)比較單一，并且和實(shí)際不符，不過(guò)總歸是有了細(xì)節(jié)，視覺(jué)感官上要更好一些。而生成式對(duì)抗網(wǎng)絡(luò)通過(guò)鑒別器來(lái)對(duì)重建圖像和真實(shí)圖像進(jìn)行鑒別，直到鑒別不出兩者的區(qū)別，使得重建的細(xì)節(jié)更加符合真實(shí)圖像的細(xì)節(jié)。加入生成對(duì)抗網(wǎng)絡(luò)，在訓(xùn)練階段增加了網(wǎng)絡(luò)的規(guī)模，但是在測(cè)試階段只需要保留生成器進(jìn)行圖像重建。