張芳 趙東旭 肖志濤 耿磊 吳駿,3劉彥北

圖像分辨率指的是圖像所包含的細節(jié)量,體現(xiàn)成像系統(tǒng)對物體實際細節(jié)的反映能力.超分辨率(Super-resolution,SR)技術(shù)起初指的是可以提高光學成像系統(tǒng)分辨率的技術(shù),現(xiàn)在常指可以將單幅或多幅低分辨率圖像經(jīng)過處理轉(zhuǎn)換成高分辨率圖像的方法[1].超分辨重建技術(shù)是信息光學、數(shù)字圖像處理與模式識別、計算機視覺、機器學習等多領(lǐng)域結(jié)合的學科,在醫(yī)學成像[2]、生物信息識別[3-4]、智能交通、安防監(jiān)控等領(lǐng)域受到了廣泛關(guān)注.

1964 年和1968 年,Harris[5]和Goodman[6]分別發(fā)表文章提出SR 重建的概念,但當時并未得到廣泛認可.直到20 世紀80 年代,特別是1984 年Tsai等[7]提出頻域中基于圖像序列的方法之后,SR 重建技術(shù)才取得了突破性進展.之后國內(nèi)外眾多研究者對SR 問題進行深入研究,一些權(quán)威期刊,如Transactions on Pattern Analysis and Machine Intelligence、International Journal of Computer Vision、Pattern Recognition、Signal Processing和Image Communication等都刊登SR重建領(lǐng)域文章.除此之外,幾個計算機視覺領(lǐng)域的重要國際會議也收錄此類文章,如Computer Vision and Pattern Recognition、International Conference on Computer Vision、European Conference on Computer Vision、英國機器視覺會議、國際信息處理會議和人工智能國際聯(lián)合大會等.2016 年以來,有一項專門針對SR 技術(shù)的國際比賽New Trends in Image Restoration and Enhancement(NTIRE),之后NTIRE 逐漸被全球?qū)W者關(guān)注.這些會議和比賽大大推動了圖像SR 重建技術(shù)的發(fā)展.

近年來,各大研究機構(gòu)和相關(guān)技術(shù)人員已經(jīng)開放SR 重建技術(shù)的數(shù)據(jù)庫,極大地推動了SR 重建研究工作的進一步開展,涌現(xiàn)了大量研究成果.國外伊利諾伊大學厄巴納香檳分校的Yang等[8-9]、加州大學圣克魯茲分校的Nguyan等[10]、法國科學院的Yu等[11]、以色列理工學院的Elad等[12]和蘇黎世聯(lián)邦理工學院的Timofte等[13]等;國內(nèi)中國科學院的Cui等[14]、中國科學技術(shù)大學的Song等[15]、香港理工大學的Wang等[16]、香港中文大學的Dong等[17]、西北工業(yè)大學的Zhu等[18]、西安電子科技大學的Gao等[19]和Dong等[20]等,在SR 研究中都取得了顯著的進展[21].

鑒于國內(nèi)外SR 圖像重建領(lǐng)域取得的豐富成果,近年來陸續(xù)有學者對這些研究成果進行了歸納和分析,形成了一些優(yōu)秀的綜述文章.文獻[22]按照不同的低分辨率(Low-resolution,LR)輸入和SR 輸出情況對傳統(tǒng)SR 重建方法進行分類整理,文獻[23]與文獻[24]介紹了基于深度學習的圖像SR復原方法的研究進展.本文以單幅圖像作為研究對象,對基于傳統(tǒng)方法和深度學習的SR 重建方法進行歸納與分析,從基于插值和基于學習兩方面對單幅圖像SR 方法進行綜述,對目前各種SR 方法按網(wǎng)絡結(jié)構(gòu)進行劃分,在此基礎(chǔ)上按不同應用場景和不同降質(zhì)方式進行分類討論,并對傳統(tǒng)方法和深度學習方法之間的聯(lián)系進行了介紹,總結(jié)了傳統(tǒng)理念在深度學習方法中的延續(xù)與應用.文章最后結(jié)合數(shù)據(jù)集對方法的性能和魯棒性進行了比較,并展望了該領(lǐng)域未來的發(fā)展方向,以供相關(guān)領(lǐng)域的研究者參考.

1 圖像SR 重建概述

1.1 圖像質(zhì)量退化模型及SR 重建思路

成像過程中,由于設備本身存在缺陷并且受采集環(huán)境影響,會導致得到的圖像模糊、關(guān)鍵信息不詳細等問題.設低分辨率圖像y是由高分辨率圖像x經(jīng)過一系列變換得到的,退化過程如下:

式中,D為亞采樣矩陣,B為光學模糊矩陣,W為幾何運動模糊矩陣,n為加性高斯白噪聲.由于從硬件方面改善上述不足所需要的成本較高,因此,通過軟件完成后期圖像處理來彌補設備采集的缺陷,不僅可以降低成本,還能滿足學者們的需求.圖像SR 重建是一種軟件圖像處理技術(shù),SR 重建為上述圖像退化的逆過程,旨在已知輸入的低分辨率圖像y的情況下,通過不斷優(yōu)化SR 重建模型,獲取更接近于高分辨率 (High-resolution,HR)圖像x的SR 圖像xsr.由于上述SR 重建自身的病態(tài)性[25]和較高的實用價值,使其在計算機視覺領(lǐng)域具有很大的理論研究空間和應用空間,因而受到長期關(guān)注.

1.2 SR 重建技術(shù)的發(fā)展及分類

起初在圖像復原和圖像增強技術(shù)中,為了恢復單幅圖像因超出光學系統(tǒng)傳遞函數(shù)極限而缺失的信息,需要估計該圖像上的頻譜信息進行頻譜外推[26-27]從而提高圖像分辨率,因而產(chǎn)生了一系列頻域SR方法,包括基于傅里葉變換的SR 方法和基于小波變換的SR 方法等.后來,由于空域法能夠建立全面的觀測模型,還具有包含空域先驗信息的能力,所以眾多學者針對空域法進行了大量研究.

本文主要論述基于單幅圖像的空域SR 重建(Single image super resolution,SISR),將從基于插值和基于學習兩方面介紹單幅圖像SR 重建技術(shù),方法分類如圖1 所示.本文第2 節(jié)介紹基于插值的SR 方法,第3 節(jié)闡述基于學習的SR 方法.鑒于基于學習的SR 方法是目前的研究熱點,內(nèi)容較多,本文在第3～4 節(jié)由淺入深地進行重點闡述與分析.第3 節(jié)分析基于傳統(tǒng)淺層學習的SR 方法,第4 節(jié)對基于深度學習的SR 方法展開探討,第5 節(jié)闡述深度學習SR 方法與傳統(tǒng)SR 方法的聯(lián)系與區(qū)別,第6 節(jié)介紹圖像SR 重建數(shù)據(jù)集以及SR 重建圖像評價方法,第7 節(jié)進行總結(jié)和展望.

2 基于插值的圖像SR 重建

基于插值的重建方法是根據(jù)放大因子在已有像素之間插入一定數(shù)量的新像素補充HR 圖像缺失的像素,并且將插值后的圖像像素數(shù)據(jù)與插值卷積核進行卷積,相當于對圖像進行平滑處理.在傳統(tǒng)插值方法中,根據(jù)插值實現(xiàn)方式可分為最近鄰插值[28]、雙線性插值[29]、雙三次插值(Bicubic interpolation,BI)[30]等.基于插值的SR 包括以下3 個步驟:

1)上采樣.獲得HR 圖像中與LR 圖像某些位置對應的已知像素;

2)插值.補充HR 圖像中缺失的像素;

3)去模糊.增強重建圖像質(zhì)量.

其中,最近鄰插值最簡單,每一個缺失的像素都采用與其最相鄰像素相等的強度值,但鋸齒現(xiàn)象明顯,放大效果不理想.雙線性插值方法利用缺失像素點周圍4 個最鄰近已知像素點的像素值,采用水平和豎直兩個方向上的線性插值結(jié)果補充缺失的像素,放大的圖像鋸齒現(xiàn)象有改善,但邊緣模糊.雙三次插值利用待求像素點周圍4 × 4 鄰域內(nèi)的16個己知像素點的值加權(quán)內(nèi)插得到待求點像素值,其插值過程如圖2 所示.由圖2 可以看出,要想求得HR 像素點 (i+u,j+v)的像素值,需要用(i+u,j+v)點4 × 4 鄰域內(nèi)的16 個己知LR 像素點的值進行加權(quán)運算.

圖2 雙三次插值過程示意圖Fig.2 Schematic diagram of the bicubic interpolation

雙三次插值方法是用一個三次多項式S(x)來逼近理論上的最佳插值函數(shù) s in(x)/x,其數(shù)學表達式為:

式中,a為自由變量,其取值范圍為 [-1,-1/2],一般取a為-1,將a=-1 代入式(2),得到:

雙三次插值方法的基本公式為:

相對最近鄰插值和雙線性插值方法,雙三次插值能夠利用圖像中更多細節(jié)信息,有效地抑制圖像的塊兒效應和邊緣階梯失真現(xiàn)象,但運算復雜度較高,當輸出圖像不連續(xù)時會導致輸出圖像出現(xiàn)振鈴噪聲和邊緣模糊現(xiàn)象,需要通過圖像恢復進行修復.

為了克服以上傳統(tǒng)插值方法中的振鈴模糊問題,研究者們提出了一些針對圖像邊緣增強的非線性插值方法,包括基于邊緣的插值方法和基于小波變換的插值方法(見第5.1 節(jié)).基于邊緣的方法指的是利用圖像中像素的邊緣方向來控制插值方向?qū)D像進行插值.Kwok等[31]通過定向插值改善了鋸齒偽影現(xiàn)象,插值的方向由邊緣方向決定.Li等[32]提出了一種基于邊緣指導的圖像插值(New edge directed interpolation,NEDI)算法,該方法假設LR 和HR 圖像在邊緣處具有相同的邊緣信息,從而通過計算LR 圖像邊緣的局部協(xié)方差來推導出最佳線性超分辨映射的預測系數(shù).雖然上述方法可以實現(xiàn)圖像邊緣處的銳化,但其算法復雜度高,為此,Chen等[33]對NEDI 算法進行了相應的改進,提出了一種快速邊緣導向的插值算法.針對NEDI 算法只是單獨針對LR 圖像中某一個像素值進行預測的缺陷,Zhang等[34]提出用圖像的局部方差對插值函數(shù)進行優(yōu)化得到更好的插值結(jié)果,采用軟判決自適應插值算法來分析LR 圖像中相鄰像素之間的結(jié)構(gòu),從而實現(xiàn)一次性估計一組缺失像素的值,其中像素預測是由一個自適應不可分的2D 濾波器濾波實現(xiàn)的.這些方法可以得到較為完整的局部結(jié)構(gòu)和比較銳利的邊緣.

基于插值方法屬于無樣本的單圖像超分方法,本質(zhì)上屬于一種圖像增強.

3 基于傳統(tǒng)淺層學習的圖像SR 重建

為了解決SISR 重建這類欠定性問題,一個有效策略是在求解過程中引入圖像的先驗信息來正則解空間,更好地逼近真實解,從而獲得理想的HR圖像.基于正則化約束的SR 方法將先驗信息作為正則化約束項加入到圖像重構(gòu)過程中,將圖像重構(gòu)問題轉(zhuǎn)換為尋求滿足特定限制條件解的最優(yōu)化問題,在求解方程中引入代價函數(shù),然后迭代求解得到重建圖像,其求解表達式為:

式中,R(X)是正則化項,λ是決定正則化約束強度的參數(shù).

正則化思想作為超分目標函數(shù)項,在基于樣例的方法和基于稀疏編碼的方法等基于淺層學習的SR 重建方法中均有大量的使用.常用的正則項包括2 范數(shù)形式的Tikhonov 正則項[35]、1 范數(shù)形式的全變差正則項[36]以及雙邊全變差正則項[37]等.Tikhonov 代價函數(shù)是單位矩陣或有限差分矩陣,對重建圖像中的高頻部分進行約束,從而減少重建過程中可能引入的高頻噪聲,但會使重建圖像變得光滑,趨向模糊.基于全變分模型的SR 方法將圖像梯度的范數(shù)作為正則化約束項[36,38],其正則化式為R(X)=‖?X‖1,其中?是梯度算子.正則化方法能直接加入先驗約束,有唯一解,收斂穩(wěn)定性高,且具有較強的去噪能力.

基于學習的SR 方法通過機器學習算法從大量訓練樣本中獲得LR 圖像和HR 圖像之間的對應關(guān)系,并把這種關(guān)系運用到重建過程中,實現(xiàn)圖像的SR 重建,因此這類方法往往需要一個樣本庫來提供相應信息以供重建方法充分學習先驗知識.從解決此類基于樣本庫訓練問題的角度出發(fā),本文將傳統(tǒng)SR 重建方法劃分為三類進行闡述:第1 類方法是基于樣例學習的方法,采用馬爾科夫隨機場和流形學習中局部線性嵌入的思想完成重建;第2 類方法是基于稀疏表示的方法,結(jié)合圖像稀疏編碼、字典學習以及圖像相似性的思想完成重建;第3 類是基于回歸的方法,建立高斯回歸、嶺回歸、隨機森林與卷積神經(jīng)網(wǎng)絡等回歸模型的方法完成重建.

3.1 基于樣例學習的SR 重建方法

基于樣例學習的方法主要包括建立樣本庫和構(gòu)建高頻子帶(重建)兩個獨立步驟.主要思想是:首先通過樣本學習建立LR 與HR 圖像之間的關(guān)系,然后利用此關(guān)系實現(xiàn)LR 圖像的SR 重建.此類方法最早源于Freeman等[39]提出基于馬爾科夫網(wǎng)絡的SR 重建方法,即利用馬爾科夫網(wǎng)絡最優(yōu)化求解相關(guān)示例樣本.首先將HR 圖像塊與其對應的LR圖像塊作為樣本,通過馬爾科夫網(wǎng)絡模型建立原始圖像與樣本塊之間的關(guān)系,然后采用置信傳播算法對候選樣本進行近似求解完成學習過程,最后通過樣本中的高頻信息實現(xiàn)圖像的SR 重建.

將輸入的LR 圖像與目標HR 圖像都分割成小塊,每個圖像塊用一個馬爾科夫網(wǎng)絡節(jié)點表示,每個HR 節(jié)點與其對應的LR 節(jié)點相連,也與其相鄰的HR 節(jié)點相連,這兩類節(jié)點的聯(lián)合概率分別用Φ(xk,yk)和 Ψ (xk,yk)表示.這樣就把HR 重建的問題變成求解后驗概率的局部最大值,公式如下:

式中,N為相鄰域的大小.將馬爾科夫網(wǎng)絡中的每個LR 圖像塊 Φ (xk,yk)作為索引,在樣本庫中搜索最佳匹配樣本中對應的H R 圖像塊,記為Ψ(xk,yk).根據(jù)樣本庫采用置信傳播算法對其進行近似求解.在重建時,利用馬爾科夫網(wǎng)絡最優(yōu)化求解(最大化馬爾科夫網(wǎng)絡的概率)找到最優(yōu)的HR樣本塊,將高頻信息加到插值放大后的圖像上,得到重建的HR 圖像.

馬爾科夫網(wǎng)絡中的LR 節(jié)點只能從與其相連的一個HR 節(jié)點獲取到高頻信息,因此只能計算圖像塊局部關(guān)系,Wang等[40]使用條件隨機場引入多個新的節(jié)點,將每一個新的節(jié)點作為HR 節(jié)點和與其相鄰的所有LR 節(jié)點的橋梁,加強了節(jié)點間的相關(guān)性,從而建立高低分辨率樣本的全局關(guān)系.此外,由于人類視覺對異常的高頻信息比較敏感,而馬爾科夫網(wǎng)絡沒有阻止異常候選圖像塊的能力,所以該算法的重建結(jié)果中容易產(chǎn)生噪聲.為了解決這個問題,Chang等[41]提出一種利用局部線性嵌入來獲取k個近鄰點權(quán)重的方法,假設訓練樣本中的HR 圖像塊集合和與之對應的LR 圖像塊集合分別構(gòu)成兩個具有相同局部線性結(jié)構(gòu)的流形.根據(jù)此假設,HR 圖像塊便可以被其鄰域的相似結(jié)構(gòu)線性表示,且權(quán)重系數(shù)相同,即求出k個最鄰近低分辨圖像塊的權(quán)重,并利用該組權(quán)重與對應的HR 圖像塊相乘求得最終的HR 圖像.鄰域嵌入方法可以利用較少的樣本表示出較多的變化模式,從而大幅降低計算量,但由于k值是固定的,因此會出現(xiàn)欠擬合或過擬合的現(xiàn)象.為此,Chan等[42]通過直方圖配準選擇相似的訓練圖像,選擇不同特征,并通過邊緣檢測針對不同類型的圖像塊選擇不同的鄰域數(shù)目,從而更好地完成圖像重建.Gao等[43]提出聯(lián)合學習的方法,將LR 圖像和HR 圖像的特征投影到統(tǒng)一空間,提高近鄰保持率.

3.2 基于稀疏表示的SR 重建方法

與Chang等[41]的流形假設不同,Yang等[8-9]提出了一種基于稀疏表示的SR 重建方法.該方法對訓練樣本集的幾何特征結(jié)構(gòu)未做出任何假設,而是認為可以從同一場景的HR 圖像塊集合和與之相對應的LR 圖像塊集合中分別學習出一組耦合字典,并且任何一個HR 圖像塊和其對應的LR 圖像塊在耦合字典下具有近似相同的稀疏表示系數(shù),通過這種思想來建立LR 圖像塊與HR 圖像塊之間所對應的一種特定映射關(guān)系(成對的字典).根據(jù)得到的LR 字典對輸入的LR 圖像進行稀疏編碼(求得輸入LR圖像的稀疏系數(shù)),依據(jù)該編碼和HR 字典重建出HR 圖像.

自然圖像在某種字典下具有稀疏性,可以將這種稀疏性作為正則化約束項.稀疏表示是在給定的超完備字典中用盡可能少的原子來表示圖像,圖像經(jīng)過稀疏表示后可以獲得更為簡潔的表示方式,從而更容易獲取圖像中所蘊含的信息.信號x∈RN的稀疏表示過程可以用一個過完備字典Φ∈RN×M(N?M)的幾個基元的線性組合描述,公式如下:

式中,α是稀疏系數(shù),大部分元素為零或接近零.x的稀疏表示系數(shù)正則化形式為:

式中,λ是用來權(quán)衡稀疏表示誤差和稀疏程度的正則化系數(shù).

基于稀疏表示的圖像SR 重建方法包括字典訓練和稀疏編碼兩個重要步驟.字典訓練有以下兩種方式:1)由已知信號變換構(gòu)造字典,例如離散余弦變換、離散傅里葉變換、小波變換、Curvelet 變換、Contourlet 變換等,但這種方法字典中的所有原子都是由少量的幾個參數(shù)決定或由簡單的仿射變換形成,因此原子形態(tài)不夠豐富,不能對圖像本身的復雜結(jié)構(gòu)進行最優(yōu)表示;2)通過對樣本集的學習構(gòu)造字典,即字典學習算法,該方法構(gòu)造的字典原子數(shù)量更多,形態(tài)更豐富,能更好地對信號或圖像本身的結(jié)構(gòu)進行稀疏表示,其中K 次迭代奇異值分解(K-singular value decomposition,K-SVD)算法[44]和主成分分析算法[45]最為常見.稀疏分解算法主要有正交匹配追蹤算法[46]和迭代收縮算法[47].正交匹配追蹤算法的求解過程是先對所選原子進行Gram-Schmidt 正交化處理,然后將待求信號投影到正交化后的原子形成的空間上,得到待求信號在各個已選原子上分解的分量和余量,迭代分解使余量最小化,直到滿足預先設定的條件為止.正交匹配追蹤算法可以保證迭代最優(yōu),但其固有的局限性使得算法在K-SVD 字典學習時必須嚴格限制圖像塊的稀疏性,導致字典學習的精度降低,文獻[48]利用迭代收縮算法取代正交匹配追蹤算法構(gòu)建稀疏表示系數(shù),求解凸優(yōu)化問題.在后續(xù)的研究工作中,此類方法的改進主要在這兩方面展開.

1)字典訓練優(yōu)化

Yang等[9]提出的字典訓練方法在訓練階段可以在很好地表示LR 和HR 圖像空間的同時保證其具有相同的稀疏表示系數(shù),但是由于重建階段對輸入LR 圖像稀疏表示系數(shù)的求解過程無法施加與訓練階段相同的約束,并不能保證求得稀疏表示系數(shù)是LR 和HR 圖像共有的系數(shù),導致重建精度降低.為此眾多研究者提出一系列的高低分辨率字典訓練方法,來緩解LR 和HR 圖像空間稀疏表示系數(shù)的不一致問題,有效提升了重建的結(jié)果.Wang等[16]提出了一種半耦合字典的學習算法,這種算法假設LR 圖像塊和HR 圖像塊在相應字典下的稀疏表示系數(shù)存在線性關(guān)系,該算法放寬了約束條件的同時增強了圖像塊之間的映射能力,緩解了稀疏表示系數(shù)的不一致問題.Zeyde等[49]使用主成分分析算法投射LR 特征向量尋找對應子空間,使得LR 特征能夠被LR 字典更加精確地表示,同時,通過采用維度約減預處理和正交匹配追蹤算法計算LR 圖像塊的策略來提高稀疏表示模型的計算效率.Yang等[50]提出一種交錯空間的優(yōu)化方法來訓練高低分辨率字典,其核心是把同步的聯(lián)合字典訓練方式變?yōu)榻诲e空間優(yōu)化問題,但是由于該優(yōu)化問題的高度非線性的非凸函數(shù)優(yōu)化問題,很難找到一個較為理想的局部優(yōu)化解,算法的時間復雜性也較高.He等[51]提出一種基于Bata 先驗的耦合字典訓練方式,有效緩解稀疏表示系數(shù)的不一致問題,改善了重建HR 圖像效果.此外,稀疏編碼的優(yōu)化算法也相繼提出,文獻[52]針對耦合特征空間的HR 重建,提出了一種基于一致性稀疏編碼的SR 重建方法,主要思想是先獨立地訓練HR 字典和LR 字典,然后分別求得訓練HR 和LR 圖像的稀疏表示系數(shù),把圖像變換到稀疏表示空間,最后再通過最小二乘法建立兩個空間稀疏表示系數(shù)之間的映射關(guān)系.雖然該方法可以提高重建精度,但是獨立的稀疏編碼方式,增加了其稀疏表示系數(shù)映射關(guān)系建立的難度.Zhao等[53]提出了一種基于自適應稀疏表示的SR 重建方法,通過產(chǎn)生一個合適的系數(shù)來平衡稀疏表示和協(xié)同表示之間的關(guān)系.Wang等[54]提出從訓練樣本集中學習到更有效的過完備字典,具有分辨率無關(guān)性的圖像表達(Resolution-invariant image representation,RIIR),被應用于快速的多級超分辨率圖像重建任務中.

2)稀疏編碼優(yōu)化

一些研究工作指出,重建質(zhì)量很大程度上取決于數(shù)據(jù)的幾何結(jié)構(gòu)[55].因此,重點是探索這些潛在的幾何結(jié)構(gòu)以增強現(xiàn)有的稀疏編碼穩(wěn)定性.通過將圖像補丁的非局部信息轉(zhuǎn)換成稀疏系數(shù),非局部稀疏編碼方法[56-57]被廣泛地提出用于圖像重建.

與上述通過外部數(shù)據(jù)集學習字典的方法不同,Glasner等[58]結(jié)合自相似思想和樣本學習的方法,利用圖像塊的冗余性和不同尺度的圖像塊來重建未知的HR 圖像塊,字典是從輸入圖像本身及其降質(zhì)的圖像中學習到.需要重建的LR 圖像的結(jié)構(gòu)模式?jīng)]有出現(xiàn)在一般的圖像數(shù)據(jù)集中,那么從這個數(shù)據(jù)集中學習到的映射關(guān)系就不能很好地恢復圖像的紋理細節(jié),因此在通過改進高低分辨率字典訓練方式來提升重建質(zhì)量的同時,文獻[55-65]也在基于稀疏表示模型的基礎(chǔ)上引入圖像結(jié)構(gòu)先驗約束來有效保持圖像的幾何結(jié)構(gòu)來有效地避免此問題.Dong等[20]結(jié)合自適應稀疏領(lǐng)域選擇和自適應正則項重建出清晰的圖像邊緣,視覺效果良好.文獻[59]利用圖像的非局部自相似性來獲得原始圖像的稀疏編碼系數(shù)的良好估計,然后將觀測圖像的稀疏編碼系數(shù)集中到這些估計上.Yang等[60]利用了圖像的雙重稀疏性和非局部相似性約束,為了自適應地調(diào)整并表示HR 圖像塊的字典.上述常規(guī)模型僅考慮列非局部相似稀疏表示系數(shù)中的先驗,而沒有考慮稀疏表示系數(shù)的所有條目(或行)中的先驗,建模能力會受到限制.實際上,如果在稀疏表示系數(shù)空間中將相似表示系數(shù)的簇重新排列為矩陣,則列和行之間都存在非局部相似先驗.Li等[61]使用行非局部相似性先驗,探索具有l(wèi)1范數(shù)約束的行非局部相似性正則化項.通過將引入到常規(guī)的列非局部相似性稀疏表示模型,提出了一個雙稀疏正則化稀疏表示模型.引入基于代理函數(shù)的迭代收縮算法來有效地解決該模型.Shi等[62]提出了一種基于低秩稀疏表示和自相似的SR 重建算法,然而該算法從字典對中學習大量原子的過程需要往往會消耗較長的時間.Li等[63]結(jié)合稀疏表示和非局部自相似性,提出了一種自學習的SR 重建算法,將字典學習和迭代過程融合到一起,能夠有效地減少訓練時間并提高算法的魯棒性.隨后,李進明等[64]通過增加低秩和非局部自相似性來約束LR 和HR 圖像的稀疏分解,這保證了稀疏求解的準確性,從而提高了傳統(tǒng)稀疏表示方法的重建性能.Lu等[65]引入非局部自相似和流形學習用于約束雙字典的幾何結(jié)構(gòu),從而保證圖像恢復細節(jié)的準確性.但是人為設計圖像先驗只針對少量特定圖像有較好效果,對普通自然復雜背景的圖像,重建HR 圖像質(zhì)量顯著下降,HR 圖像重建模型的魯棒性較差.

3.3 基于回歸的SR 重建方法

使用稀疏字典進行SR 重建可以大幅提高圖像重建質(zhì)量,但存在如下問題:1)稀疏字典在計算稀疏系數(shù)時計算量很大;2)不存在能夠稀疏表示所有圖像塊的全局字典,這不僅會使得SR 重建的先驗信息不準確,還會帶來因圖像塊過小限制模型感受野的問題.為了解決稀疏系數(shù)計算量大的問題,Kim等[66]提出僅訓練一個嶺回歸函數(shù)來預測HR特征,結(jié)合核匹配追蹤和梯度下降的思想來降低核嶺回歸(Kernel ridge regression,KRR)訓練和測試的時間復雜度.對于字典不完備的問題,可以通過建立回歸模型把一系列的非線性變換轉(zhuǎn)化成對數(shù)據(jù)的擬合,學習數(shù)據(jù)的內(nèi)在分布.例如,Kim等[67]利用支持向量回歸(Support vector regression,SVR)來估計圖像的高頻細節(jié).Deng等[68]在文獻[67]的基礎(chǔ)上,提出了基于多輸出二次支持向量回歸的SR重建算法,這種方法將從低分辨率圖像空間到HR圖像空間的非線性映射問題轉(zhuǎn)換為線性映射問題,有效地減少了參數(shù)的數(shù)量,同時能夠確保同一圖像補丁中各個像素點之間的關(guān)聯(lián)性.He等[69]通過高斯過程回歸(Gaussian process regression,GPR),選擇一個適當?shù)膮f(xié)方差函數(shù)來估計HR 圖像的像素值.Wang等[70]在高斯回歸的基礎(chǔ)上,提出了一種基于字典樣本和Student-t 似然高斯過程回歸的SR 重建算法.Timofte等[71]將協(xié)同表示[72]應用到SR 重建,提出了基于固定鄰域回歸的SR 重建算法,這種算法通過學習錨定在字典原子上的稀疏表示系數(shù)和投影矩陣,實現(xiàn)快速地SR 圖像重建.隨后,Yang等[73]提出使用多元線性回歸從眾多圖像子空間中學習一組簡單映射函數(shù).Zhang等[74]受此啟發(fā)將多元線性回歸的思想與分類相結(jié)合,直接使用多元線性回歸構(gòu)建每一組特征子空間之間的映射關(guān)系.盡管基于回歸的方法與其他基于學習的方法相比,在性能上取得了顯著提高,但仍存在特定的線性函數(shù)對不同退化情況難以建模的問題.而深度學習技術(shù)中的運用激活函數(shù)進行非線性特征表示的方法很好地解決了此問題.有效防止數(shù)據(jù)過擬合.例如Dong等[17]提出基于卷積神經(jīng)網(wǎng)絡的非線性回歸SR 重建方法,使得圖像的質(zhì)量得到進一步改善.

3.4 基于傳統(tǒng)學習的SR 重建方法的討論

綜合以上分析,基于插值的SR 重建方法利用待重建HR 圖像中未知像素和LR 圖像中已知像素之間的線性或者非線性關(guān)系來估計其像素值,達到分辨率增強的目標.雖算法簡單、易于并行計算,執(zhí)行速度快,但是隨著圖像放大倍數(shù)增加,重建HR圖像會出現(xiàn)邊緣平滑、模糊及振鈴和鋸齒效應等缺陷,特別是對于場景復雜的自然圖像,重建圖像質(zhì)量較差.因此,基于插值的方法比較適合對實時性要求較高、對于放大倍數(shù)要求較小、對重建質(zhì)量效果要求也較低的簡單場景下圖像的重建.此類方法屬于無樣本的單圖像超分方法,未利用高低分辨率樣本之間的先驗信息進行約束.

基于學習的SR 方法是一種有樣本的單幅圖像SR 方法,通過學習高、低分辨率圖像之間的統(tǒng)計關(guān)系,并把這種關(guān)系運用到重建過程中,實現(xiàn)圖像的SR 重建.基于樣本學習的SR 重建方法可細分為基于樣例學習、基于稀疏表示和基于回歸3 種方法.

基于馬爾科夫網(wǎng)絡的樣例學習方法提出了從大量樣本中學習LR 和HR 圖像之間先驗信息并約束HR 重建的思想,采用馬爾科夫網(wǎng)絡構(gòu)建圖像和場景的局部區(qū)域之間的關(guān)系模型,為基于學習的SR 重建奠定了理論基礎(chǔ).由于訓練樣本量較大并且學習模型有限,此類方法的計算量大且泛化性較差.鄰域嵌入法從流形學習中引入局部線性嵌入來處理圖像SR 任務,雖在計算量和重建性能上較文獻[39]方法有所改善,但未解決LR 和HR 圖像塊的鄰域數(shù)量和特征表示的問題,導致模型缺乏紋理和細節(jié)的先驗性.

相比樣例學習通過人為設計的基信號(字典原子)表示信號的方法,稀疏表示的字典原子是通過建立稀疏先驗約束,由稀疏編碼過程中自動學習字典原子.基于稀疏表示的SR 重建認為目標圖像可以由過完備稀疏字典中少量原子的線性組合構(gòu)成,其他原子的系數(shù)為零或近似為零.考慮到稀疏表示能夠通過基本原子信號結(jié)構(gòu)化來表示原信號,在其表示空間有利于映射關(guān)系的學習和建立,并構(gòu)建先驗信息保持圖像的邊緣和紋理結(jié)構(gòu).但是由于LR和HR 圖像空間映射關(guān)系的多樣性、復雜性、空間變化性及高度非線性,導致重建結(jié)果過分依賴訓練圖像,對真實自然場景圖像的重建效果并不理想.

基于回歸的SR 重建方法直接建立高低分辨率圖像之間的回歸模型,通過回歸構(gòu)建特征子空間之間的非線性映射關(guān)系來重建圖像.與樣例學習、稀疏表示的方法相比,雖然基于回歸的方法在性能上有顯著提升,但特定的線性回歸函數(shù)對于非線性數(shù)據(jù)或者數(shù)據(jù)特征間具有相關(guān)性多項式回歸的情況難以建模,并且難以表達圖像塊間復雜的特征數(shù)據(jù),未考慮圖像場景的復雜性和多樣性,導致映射函數(shù)的精度仍然不高,重建HR 圖像存在較多的平滑邊緣和模糊紋理細節(jié).

4 基于深度學習的圖像SR 重建

隨著深度學習技術(shù)的不斷更新,基于深度學習的SR 重建方法在最近幾年得到了蓬勃發(fā)展.利用深度學習技術(shù),不再需要單獨的圖像塊特征提取等預處理過程和后續(xù)的HR 圖像塊聚合過程,利用非線性變換自動學習多層次特征,更深入地挖掘高、低分辨率圖像之間的內(nèi)在聯(lián)系.實踐證明,深度學習方法可用來解決低層視覺問題,如圖像去噪和去模糊[75].對于自然圖像SR 重建,深層卷積神經(jīng)網(wǎng)絡可以直接學習LR 圖像和HR 圖像之間的端到端映射,重建出LR 圖像丟失的高頻細節(jié)信息.本節(jié)將對基于深度學習的圖像SR 重建的網(wǎng)絡模型及其各部分特性進行歸納.

2015 年,Dong等[17]首次將卷積神經(jīng)網(wǎng)絡應用于SR 重建中,提出一種端到端的網(wǎng)絡結(jié)構(gòu)--基于CNN的超分辨模型(Super-resolution convolutional neural network,SRCNN),每個卷積層應用多個不同的濾波器,這些濾波器在訓練期間會自動提取分層特征.該方法將基于傳統(tǒng)的稀疏編碼方法與基于深度學習的SR 方法聯(lián)系在一起,相對于傳統(tǒng)稀疏表示的字典學習方法,過程大大簡化.利用深度學習的方法對圖像進行SR 重建時的基本思路為:首先,將LR 圖像作為網(wǎng)絡的輸入,然后通過卷積層形成特征矩陣,并對其進行卷積濾波處理形成特征圖作為下一層的輸入層;在此期間,被處理的LR 圖像特征矩陣和HR 圖像形成的特征矩陣通過激活函數(shù)進行非線性映射,這是一個復雜的細節(jié)預測過程,將映射后得到的特征矩陣通過重建層獲得HR 圖像,這屬于正向傳播過程.通常在輸出HR 圖像之前還要加入損失函數(shù)進行像素比對,通過反向傳播算法來優(yōu)化網(wǎng)絡內(nèi)部參數(shù)和節(jié)點模型不斷減小輸出圖像和理想圖像之間的差距,直至損失函數(shù)收斂.近年來出現(xiàn)的深度學習SR 網(wǎng)絡包括快速超分辨率(Fast super-resolution by CNN,FSRCNN)[76]、亞像素卷積網(wǎng)絡(Efficient sub-pixel convolutional neural network,ESPCN)[77]、非常深度卷積網(wǎng)絡(VDSR)[78]、深度遞歸卷積網(wǎng)絡(Deeply recursive convolutional network,DRCN)[79]、拉普拉斯金字塔超分辨網(wǎng)絡(Laplacian pyramid super-resolution networks,LapSRN)[80]、非常深的殘差編碼器-解碼器網(wǎng)絡(Very deep residual encoder-decoder network,RED-Net)[81]、深度遞歸殘差網(wǎng)絡(Deep recursive residual network,DRRN)[82]、密集連接超分辨網(wǎng)絡(Super-resolution dense convolutional network,SRDenseNet)[83]、生成對抗超分辨網(wǎng)絡(Super-resolution generative adversarial network,SRGAN)[84]、記憶網(wǎng)絡(Memory network,Mem-Net)[85]、殘差密集網(wǎng)絡(Residual dense network,RDN)[86]等.深度學習SR 網(wǎng)絡的結(jié)構(gòu)主要由特征提取、細節(jié)預測、重建輸出等部分組成,如圖3 所示.

圖3 基于深度學習的SR 方法網(wǎng)絡結(jié)構(gòu)圖Fig.3 Network structure of SR method based on deep learning

4.1 網(wǎng)絡模型

在深度學習方法中,圖像的特征提取與表示、信息預測以及信息的傳遞與重建均在復雜的網(wǎng)絡架構(gòu)展現(xiàn).與HR 圖像相比,其相對應的LR 圖像丟失了許多細節(jié).深度卷積神經(jīng)網(wǎng)絡(Convolutional neural network,CNN)采用網(wǎng)絡級聯(lián)的方式來預測LR 圖像中丟失的細節(jié)并重建相應的HR 圖像,但這種方式也存在弊端.如前所述,網(wǎng)絡層數(shù)的增多勢必會增加參數(shù)量,網(wǎng)絡的性能也會隨著參數(shù)量的增加而降低.研究表明,在深度CNN 中引入稀疏先驗[87]、殘差網(wǎng)絡(Residual Neural Network,Res-Net)[88]、密集連接卷積網(wǎng)絡(Dense convolutional network,DenseNet)[89]、生成對抗網(wǎng)絡(Generative adversarial networks,GAN)[90]等各種網(wǎng)絡,殘差塊[91]、密集連接塊[92]、跳轉(zhuǎn)連接以及遞歸單元[79]等多種結(jié)構(gòu),會使得SR 網(wǎng)絡模型更加穩(wěn)定,性能更加優(yōu)越.基于深度學習的SR 模型將以上提到的各種網(wǎng)絡與結(jié)構(gòu)進行整合,通過聯(lián)合優(yōu)化獲得更好的重建性能.

1)殘差學習在圖像SR 中的應用

殘差學習的思想是將前一層的信息與當前層的信息相結(jié)合,并將它們一起傳遞到下一層.殘差學習是SR 重建中用到的最廣泛的連接結(jié)構(gòu),該結(jié)構(gòu)增強層與層之間學習信息的質(zhì)量,同時可以確保前期訓練層的信息傳遞到更深層.Kim等[78]第一次將殘差學習融入CNN 網(wǎng)絡,提出一種深度卷積神經(jīng)網(wǎng)絡,用以學習原始LR 圖像的邊緣信息.殘差塊是將卷積層、批歸一化層(Batch normalization,BN)和線性整流函數(shù)(Rectified linear unit,Re-LU)激活層組合在一起的結(jié)構(gòu).該網(wǎng)絡最早用于分類任務,而將其直接用于SR 效果并不好,因此不斷有學者對其內(nèi)部進行微調(diào)改進.增強深度超分辨網(wǎng)絡(Enhanced deep super-resolution network,EDSR)對殘差塊內(nèi)部結(jié)構(gòu)進行改進,Lim等[91]將其中的BN 層去掉,該操作有兩點好處:一是可以減少內(nèi)存使用量,從而加快運行時間;二是去掉歸一化后增加了網(wǎng)絡范圍靈活性.Yu等[93]提出的WDSR 使用權(quán)重歸一化層代替BN,該操作不僅在網(wǎng)絡尺度范圍上沒有限制,而且還通過限制權(quán)重參數(shù)范圍有效地減輕了深度SR 網(wǎng)絡的訓練難度.除了對殘差塊內(nèi)部結(jié)構(gòu)進行調(diào)整外,還可以對網(wǎng)絡的局部結(jié)構(gòu)或整體結(jié)構(gòu)進行調(diào)整.文獻[94]提出深度平行殘差網(wǎng)絡(Deep parallel residual network,DPRN)網(wǎng)絡,這是一種深度并行殘差網(wǎng)絡,該網(wǎng)絡是將每個殘差分支初始特征映射到殘差組合中進行并行卷積訓練,第一個卷積層將利用此輸出進行局部殘差學習,每個分支的輸出用于全局殘差學習達到提升網(wǎng)絡速度和精度的目的.

2)遞歸神經(jīng)網(wǎng)絡在圖像SR 中的應用

遞歸神經(jīng)網(wǎng)絡在SR 重建中是以遞歸單元形式展現(xiàn),通過使用遞歸塊來增強輸入特征映射的表示,其原理是接受前一部分輸出的淺層特征映射,并遞歸地使用特征映射中的代表特征來挖掘LR 和HR對之間的內(nèi)在關(guān)系.文獻[79,92,95]均以遞歸網(wǎng)絡為原型,引用該結(jié)構(gòu)進行重建的最大特點是可以實現(xiàn)信息的跨層傳遞,減少網(wǎng)絡參數(shù).隨著網(wǎng)絡的加深,添加更多的權(quán)重層會引入更多的參數(shù),其模型可能會過度擬合,對此文獻[79]通過一個嵌入網(wǎng)絡進行特征提取,首次在網(wǎng)絡中引入遞歸單元,當執(zhí)行更多的遞歸時,模型參數(shù)不會增加.隨后出現(xiàn)的DRRN、深度遞歸上下采樣網(wǎng)絡(Deep recursive up-down sampling network,DRUDN)均是在遞歸單元內(nèi)部進行有效調(diào)整后,完成高質(zhì)量的重建.在DRUDN 中,每個遞歸塊由一對卷積和反卷積層組成,所有展開的塊通過權(quán)值共享減少參數(shù)量.此外,循環(huán)神經(jīng)網(wǎng)絡(Recurrent neural network,RNN)是一種以輸入數(shù)據(jù)的演進方向進行遞歸且所有循環(huán)單元按鏈式連接的遞歸神經(jīng)網(wǎng)絡.Li等[96]以RNN結(jié)構(gòu)為核心思想提出一種反饋網(wǎng)絡(Super-resolution feedback network,SRFBN),以細化具有高級信息的低級表示,該網(wǎng)絡結(jié)構(gòu)引入的反饋機制允許該網(wǎng)絡攜帶當前的輸出糾正之前的輸出狀態(tài),同時對每次迭代施加損失函數(shù)促使輸出的反饋模塊學習到HR 圖像特征.

3)生成對抗網(wǎng)絡在圖像SR 中的應用

生成對抗網(wǎng)絡(GAN)是由Goodfellow等[90]提出并在計算機視覺任務中逐漸發(fā)展起來的網(wǎng)絡模型.GAN的原理是生成網(wǎng)絡和判別網(wǎng)絡之間進行相互博弈,判別器用來區(qū)分生成的樣本和真實數(shù)據(jù),而生成器學習生成新樣本并將判別器的錯誤最大化.2017 年,GAN 網(wǎng)絡被應用到SR 重建中,Ledig等[84]提出的超分辨率GAN (Super-resolution GAN,SRGAN)利用感知損失和對抗損失來提升恢復出的圖片的真實感.感知損失是利用CNN 提取的特征,通過比較生成圖像經(jīng)過CNN 后的特征和目標圖片經(jīng)過CNN 后的特征的差異,使生成圖片和目標圖片在語義和風格上更相似.但由于感知質(zhì)量問題和訓練不穩(wěn)定問題[97]造成輸出圖片缺乏高頻紋理細節(jié),SRGAN 生成的圖像存在平滑現(xiàn)象.針對上述問題,文獻[98]提出一種多樣化的GAN 架構(gòu)DGAN,包含多個生成器和一個判別器.利用多個生成器共享信息和參數(shù),雖然輸入相同,但每個分支生成的圖像不同,并且會對生成假樣本的生成器進行實時更新以得到更為真實的生成圖像.

實際上,為了設計出性能好的SR 網(wǎng)絡,將以上提到的網(wǎng)絡、單元以及結(jié)構(gòu)相融合是當下一種流行且有效的方式,例如將全局殘差學習和遞歸單元相結(jié)合,用于緩解網(wǎng)絡加深引起的梯度消失和信息缺失等問題.為了獲得更高的重建精度,Tai等[82]設計出52 層DRRN 模型,將遞歸結(jié)構(gòu)引入到殘差分支當中,該模型采用局部和全局殘差學習、遞歸層以及80 層MemNet 模型,其中包含長時間存儲單元和多個監(jiān)督.RDN 網(wǎng)絡[86]將殘差塊和密集塊相結(jié)合,其原理是通過單元與結(jié)構(gòu)之間形成一種連續(xù)記憶機制,首先是局部特征融合,然后通過局部殘差學習傳遞信息,接著網(wǎng)絡以一種全局特征融合的方式挖掘分層信息,最后通過全局殘差學習將特征映射到高維HR 進行上采樣操作,輸出重建結(jié)果.以上典型網(wǎng)絡的內(nèi)部結(jié)構(gòu)如表1 所示.

表1 典型深度學習網(wǎng)絡內(nèi)部結(jié)構(gòu)Table 1 The internal structure of a typical deep learning network

4.2 特征提取

以上提到的深度學習SR 方法中,按空間分辨率來劃分,特征提取分為在LR 空間提取特征和在HR 空間提取特征兩種情況.HR 空間特征提取意味著要在HR 空間進行卷積操作,此類方法需要先對LR 圖像進行雙三次插值BI 得到與期望的HR圖像相同大小的圖像,再輸入到網(wǎng)絡中進行特征提取,這種輸入與輸出相同尺寸的網(wǎng)絡結(jié)構(gòu)有利于全局殘差結(jié)構(gòu)的構(gòu)建,但在較高的分辨率上進行卷積操作,計算復雜度會隨HR 圖像的空間尺度增大而增長.LR 空間特征提取,就是將LR 圖像作為網(wǎng)絡輸入,在未經(jīng)插值的原始LR 圖像上直接提取特征,重建效率提高,但網(wǎng)絡的輸入特征圖較小時,隨著網(wǎng)絡層數(shù)的加深,容易丟失細節(jié)信息.在基于深度學習的SR 發(fā)展過程中,這兩種方法都得到廣泛應用.已有的基于深度學習的SR 方法的網(wǎng)絡輸入如表2 所示.

表2 SR 網(wǎng)絡輸入及層數(shù)對照表Table 2 Comparison of SR network input and layer number

4.3 模型多尺度化

如何使訓練模型多尺度化,也是眾多研究者們關(guān)心的問題.當單尺度模型只可用于與其相對應的比例因子重建HR 圖像時(如圖4(a)所示),網(wǎng)絡訓練的參數(shù)會隨著尺度因子的增多而增多,雖然增強網(wǎng)絡性能最直接的方式是增加參數(shù)量(特征層數(shù)和特征通道數(shù)),但特征映射層過多將直接導致計算成本加大,網(wǎng)絡性能不穩(wěn)定.因此,建立一種能適用于多尺度因子的網(wǎng)絡模型可以在很大程度上提高網(wǎng)絡性能[78,80,91].主要思想是在某一尺度訓練模型上測試不同縮放倍數(shù)的圖像,如圖4(b)所示,采用多尺度特征映射和子網(wǎng)絡并行策略,使所有預定義的尺度因子共享網(wǎng)絡參數(shù).這種特定尺度多路徑學習是在網(wǎng)絡的開頭和結(jié)尾附加特定尺度的預處理路徑和上采樣路徑,主要共享特征提取的中間部分.因此,在訓練期間,只更新與所需尺度對應的路徑,來實現(xiàn)大多數(shù)參數(shù)在不同尺度上共享.例如受空間金字塔池化[100]方法的啟發(fā),LapSRN 采用多尺度權(quán)值共享的策略,通過同一個網(wǎng)絡處理不同尺度的圖像放大問題.文獻[101]提出的元學習超分辨(Meta-SR)結(jié)構(gòu),采用Meta-SR 上采樣模塊動態(tài)預測上采樣濾波器權(quán)重,以任意上采樣因子放大任意LR 圖像來實現(xiàn)模型多尺度化.

圖4 不同尺度模型SR 結(jié)構(gòu)Fig.4 SR structure with different scales

通過文獻[102]單尺度模型和多尺度模型的對比實驗發(fā)現(xiàn),單一尺度模型能夠很好地恢復具有相應比例因子的HR 圖像,多尺度模型實現(xiàn)的結(jié)果與相應比例的單尺度模型所獲得的結(jié)果相當,但比模型尺度與圖像尺度不一致時的結(jié)果要好很多.所以,用多尺度訓練模型來恢復具有不同尺度因子的HR圖像,在不影響重建性能的前提下,同時能夠節(jié)約成本,提高模型穩(wěn)定性.

4.4 不同應用場景下的SR 重建

以上討論的圖像SR 重建方法中,在構(gòu)建數(shù)據(jù)集時因無法直接獲取高低分辨率圖像對,所采用的做法是在收集HR 圖像后,通過雙三次下采樣人工生成LR 圖像.但該下采樣方法改變了LR 圖像的底層特征.因此,用上述圖像對訓練出的SR 模型魯棒性較差,導致提出的SR 方法很難泛化到真實場景中.近兩年,圖像SR 重建方法主要針對現(xiàn)實場景下未知退化因子的單圖像SR,稱為真實圖像SR.

基于真實圖像的SR 重建的關(guān)鍵是數(shù)據(jù)集,采取的網(wǎng)絡模型仍以殘差塊、密集殘差結(jié)構(gòu)以及注意力機制[99]等網(wǎng)絡內(nèi)部結(jié)構(gòu)為基礎(chǔ),如表1 所示,使用多尺度結(jié)構(gòu)對圖像特征進行上下采樣完成圖像SR 重建.Cai等[103]提出了基于拉普拉斯金字塔的核預測網(wǎng)絡(Laplacian pyramid based kernel prediction network,LP-KPN),在RealSR 數(shù)據(jù)集上能夠有效地學習像素卷積核的權(quán)重用于HR 圖像的重建.Wang等[104]將殘差學習的思想用于立體聲圖像SR,提出一個視差注意力立體聲SR 網(wǎng)絡,該網(wǎng)絡采用殘差思想以提取豐富的上下文信息,引入視差注意力機制以建立立體圖像的對應關(guān)系,減小計算和存儲成本.Pan等[105]對在實際場景中捕獲的LR 圖像進行SR 重建,使用基于高斯過程的神經(jīng)架構(gòu)搜索(Gaussian process based neural architecture search,GP-NAS)通過異構(gòu)模型實現(xiàn)真實圖像SR,基于現(xiàn)有的密集殘差網(wǎng)絡,通過改變密集殘差塊的數(shù)量、大小以及特征數(shù)量,利用基于高斯過程的神經(jīng)體系結(jié)構(gòu)搜索方案GP-NAS,使用較大的搜索空間來查找候選網(wǎng)絡體系結(jié)構(gòu).Zhang等[106]構(gòu)建了的真實圖像CUFFED5 數(shù)據(jù)集,并且提出神經(jīng)紋理遷移的思想實現(xiàn)真實圖像SR 重建,該思想包含局部紋理特征匹配和紋理遷移兩個部分,利用參考圖像中的紋理以彌補LR 圖像的細節(jié)信息.Bulat等[107]針對真實的人臉圖像進行SR 重建,以生成對抗網(wǎng)絡(GAN)為基礎(chǔ)提出了一個兩階段的重建過程.同樣,針對人臉和通用場景建立了一個標基于歸一化流的超分辨率模型,在感知質(zhì)量指標方面也表現(xiàn)出了良好的性能.

4.5 不同降質(zhì)方式的SR 重建

圖像降質(zhì)分為已知降質(zhì)和未知降質(zhì)兩種.已知降質(zhì)是指對圖像進行不同尺度、模糊核以及噪聲方面的降質(zhì).對于不同降質(zhì)方式得到的LR 圖像建立不同的SR 模型是近幾年的一個發(fā)展方向.

對于模糊降質(zhì),Zhang等[108]通過研究高斯模糊、運動模糊、Disk 模糊,提出可以去任意模糊核的DPSR 模型,在BSD68 數(shù)據(jù)集上得到了清晰的重建結(jié)果.對于下采樣降質(zhì),除雙三次插值下采樣降質(zhì)外,Song等[109]針對帶噪聲的非線性下采樣和間隔下采樣方式,提出基于迭代殘差學習的框架實現(xiàn)深度圖SR 重建,在該框架中,利用通道注意力機制、多階段融合、權(quán)重共享以及深度細化等粗略到精細的方式學習HR 深度圖.對于噪聲降質(zhì),哈爾濱工業(yè)大學張凱團隊提出的去噪卷積神經(jīng)網(wǎng)絡(Denoising onvolutional neural network,DnCNN)[110]、快速靈活的去噪卷積神經(jīng)網(wǎng)絡(Fast and flexible denoising convolutional neural network,FFDNet)[111]和卷積盲去噪網(wǎng)絡(Convolutional blind denoising network,CBDNet)[112]是針對噪聲降質(zhì)圖像SR 重建的遞進的三種方法,重建對象從均勻的高斯噪聲變成更加復雜的真實噪聲.DnCNN 利用歸一化和殘差學習可以有效地去除均勻高斯噪聲.然而真實噪聲具有信號依賴性、顏色通道相關(guān)性以及不均勻性,基于此FFDNet 使用噪聲估計作為輸入,在抑制均勻分布的噪聲的同時保留細節(jié)信息,實現(xiàn)更加復雜的真實場景的超分辨重建.在FFDNet的基礎(chǔ)上,CBDNet 將噪聲水平估計過程也用一個子網(wǎng)絡實現(xiàn),從而使得整個網(wǎng)絡實現(xiàn)盲去噪.Zamir等[113]提出的MIRNet,是在非常深的殘差通道卷積網(wǎng)絡 (Very deep residual channel attention networks,RCAN)的基礎(chǔ)上通過整個網(wǎng)絡維護空間精確的HR 表示,并從LR 表示接收強大的上下文信息多尺度特征聚合,學習豐富的特征以修復和增強真實圖像,同時達到圖像去噪的目的.此外,上述的LP-KPN、SRFlow 也可以完成去噪.Zhang等[114]提出的展開超分辨網(wǎng)絡(Unfolding super-resolution network,USRNet)可同時解決不同尺度、模糊、噪聲等多種降質(zhì)問題,該方法集成了基于學習與基于建模的方法.通過半二次分裂算法將最大后驗概率估計(Maximum a posteriori estimation,MAP)推理展開,采用固定次數(shù)的迭代來求解數(shù)據(jù)子問題與先驗子問題,通過神經(jīng)網(wǎng)絡模塊進行求解兩個子問題,從而得到一個可端到端訓練的迭代網(wǎng)絡.

5 基于傳統(tǒng)與深度學習SR的聯(lián)系

基于深度學習實現(xiàn)圖像SR 重建,之所以能取得良好的效果,一方面是因為深層卷積神經(jīng)網(wǎng)絡能夠深入挖掘圖像的細節(jié)特征,可以直接、自主地學習LR 圖像和HR 圖像之間的映射關(guān);另一方面是因為深度學習方法在應用于SR的過程中,遵循了圖像降質(zhì)和重建的客觀規(guī)律,實際上深度學習的很多做法都是傳統(tǒng)方法的延伸,與傳統(tǒng)SR 方法既有區(qū)別又存在很多關(guān)聯(lián).圖5 展示了上述基于插值、基于淺層學習以及基于深度學習的SR 重建方法本質(zhì)的聯(lián)系和差異.

圖5 SR 重建方法本質(zhì)的聯(lián)系和差異Fig.5 Relations and differences of SR reconstruction methods

5.1 小波變換與深度學習的結(jié)合

基于離散小波變換(Discrete wavelet transform,DWT)的SR 重建方法基本思想是將信號分解到不同的分辨率上,這樣分解可以在不同尺度上獨立地對信號進行分析和研究,并且對高頻信號采用逐漸精細的頻域或時域采樣,從而聚焦到對象的任意細節(jié).最初將DWT 與SR 相結(jié)合應用的是Ford等[115]提出的基于小波變換的一維信號非均勻采樣重建,而后Nguyen等[116]將該方法拓展到二維信號,在多分辨率框架下得到了基于小波變換的SR圖像重建算法,取得良好效果并得到了廣泛的應用,隨后一些國內(nèi)研究者[117-120]和國外研究者[121-126]進一步完善了基于小波變換的SR 方法.總之,基于DWT的SR 重建方法包括以下4 步:

1)先對原始圖像進行降質(zhì)處理,得到LR 圖像.

2)借助小波變換,將圖像分解為水平低頻垂直低頻分量LL 和三個高頻分量,分別為水平高頻垂直低頻分量HL、水平低頻垂直高頻分量LH、水平高頻垂直高頻分量HH.如圖6 虛線部分所示.

圖6 基于傳統(tǒng)小波變換和與深度學習相結(jié)合的小波變換SR 重建方法流程圖Fig.6 SR reconstruction method based on traditional wavelet transform and wavelet transform combined with deep learning

3)借助SR 算法,有針對性地對每個分量進行算法重建.

4)借助逆離散小波變換(Inverse DWT,IDWT)將重建后得到的分量再重構(gòu),從而得到HR 圖像.

在以上傳統(tǒng)的子帶插值SR 重建方法的基礎(chǔ)上,有些學者將DWT 與深度學習SR 算法相結(jié)合,利用小波變換將高低頻分離,運用深度學習方法重建小波域子帶,完成單幅圖像SR 重建,如圖6 陰影區(qū)域所示.例如,Zhang等[120]實驗驗證了SRGAN恢復的圖像紋理細節(jié)魯棒性較差,為了得到更豐富的高頻細節(jié),將小波變換引入以得到具有豐富全局信息和局部紋理細節(jié)的HR 圖像.張麗[127]將小波變換和VDSR 結(jié)合,研究在不同小波域子帶進行內(nèi)插和深度學習的SR 效果,并探討了兩者相結(jié)合的五種SR 算法,將所構(gòu)造的SR 算法應用于一個面向交通監(jiān)管的SR 重建系統(tǒng).段立娟等[128]采用多階段學習策略,首先推理出HR 圖像對應的小波系數(shù),然后重建SR 圖像,并且網(wǎng)絡模型采用結(jié)合圖像空域與小波域的損失函數(shù)進行優(yōu)化求解.孫超等[129]發(fā)現(xiàn)基于深度學習的單圖像SR 方法僅研究圖像空域,忽略了圖像頻域中高頻信息的重要性,從而導致生成的圖像相對平滑,因此,其利用小波變換能夠提取圖像細節(jié)的特性,使用Tai等[82]提出的DRRN 網(wǎng)絡模型完成對高頻子帶的重建,相比于原始DRRN 結(jié)構(gòu)峰值信噪比(Peak signal-to-noise ratio,PSNR)值提高了26.8%.

5.2 稀疏編碼與深度學習的聯(lián)系

自然圖像中的稀疏先驗以及源于此先驗的HR和LR 空間之間的關(guān)系被廣泛應用于SR 重建中.在傳統(tǒng)方法的啟發(fā)下,深度學習網(wǎng)絡對這個關(guān)系進行了深度挖掘.以深度學習與傳統(tǒng)的稀疏編碼之間的關(guān)系作為依據(jù),可以將SR 重建過程分為圖像塊提取、非線性映射、上采樣重建三個階段.在特征提取方面,傳統(tǒng)的SR 方法通過鄰域嵌入(第4.2 節(jié))和構(gòu)造字典(第4.3 節(jié))等方法完成人工設計圖像塊特征提取.深度學習技術(shù)可以通過多層卷積操作和網(wǎng)絡的反復訓練自動提取特征,再結(jié)合激活函數(shù)層完成對數(shù)據(jù)的擬合和非線性映射,以實現(xiàn)圖像多層次特征的學習和提取.例如Wang等[130]提出基于稀疏編碼網(wǎng)絡的方法(Sparse coding based network,SCN),借鑒基于稀疏表示SR 重建的思想,將原方法中稀疏表示、映射、重建三個獨立優(yōu)化的模塊集成到一個稀疏網(wǎng)絡中.網(wǎng)絡的訓練相當于對三個模塊協(xié)同優(yōu)化,因而可得到全局最優(yōu)解.該方法首先通過特征提取層得到圖像的稀疏先驗信息;然后,通過基于學習的迭代收縮和閾值算法(Learned iterative shrinkage and thresholding algorithm,LISTA)[131]建立了一個稀疏網(wǎng)絡SCN,該網(wǎng)絡可實現(xiàn)圖像的稀疏編碼和解碼;最后,采用級聯(lián)網(wǎng)絡完成圖像放大,該方法能夠在更高放大倍數(shù)下提高PSNR 值,且算法運行速度進一步提升.作者進一步推出了使用多個SCN的級聯(lián)版本[132],在客觀評價和主觀評價上都得到了改進.因此,SCN實際上可看作通過CNN 實現(xiàn)了基于稀疏編碼SR方法,采用LISTA 得到基于神經(jīng)網(wǎng)絡產(chǎn)生稀疏編碼的近似估計,解決基于傳統(tǒng)稀疏編碼SISR的時間消耗推理問題.

5.3 上采樣重建方法的發(fā)展

通常在SR 網(wǎng)絡末端,為了構(gòu)建HR 圖像都會進行解碼,即上采樣過程.基于傳統(tǒng)方法的上采樣采用的方法通常為插值法(第2 節(jié)),包括最鄰近插值、雙線性插值和雙三次插值,但插值上采樣通常信息冗余大,映射能力小.為解決上述問題,SR 領(lǐng)域出現(xiàn)幾種可以嵌入到深度學習網(wǎng)絡模型中的上采樣方法,分別是轉(zhuǎn)置卷積層[76, 82,102]、亞像素卷積層[77, 91,102]、任意尺度縮放(Meta-Upscale)[100]、內(nèi)容感知特征重組(Content-aware reassembly of features,CAPAFE)[133].1)轉(zhuǎn)置卷積層將被下采樣的小尺度抽象信息上采樣到原來的分辨率.FSRCNN 首次將轉(zhuǎn)置卷積層引入SR 網(wǎng)絡中,提出通過改變反卷積層濾波器的大小將圖像上采樣到不同的尺度,從而實現(xiàn)輸出多尺度.2)ESPCN 中亞像素卷積結(jié)構(gòu),LR 圖像經(jīng)特征提取后得到一個通道數(shù)為、大小和輸入圖像相同的特征圖像,再將將不同通道上同一個位置的r的平方個像素排列成r×r的區(qū)域,對應HR的的子塊,最終輸出HR 圖像.3)Meta-SR 中提出的上采樣模塊可以完成圖像任意尺度縮放,動態(tài)預測放縮的權(quán)值及像素的對應關(guān)系,實現(xiàn)較好效果的非整數(shù)倍放縮.4)CAPAFE 提出一種內(nèi)容感知重組模塊進行上采樣,該模塊用于利用計算得到的權(quán)重將通道轉(zhuǎn)化成一個的矩陣作為內(nèi)核,與原本輸入的特征圖上的對應點及以其為中心點的區(qū)域做卷積計算來獲得輸出,計算速度快.

6 數(shù)據(jù)集及SR 圖像評價方法

6.1 圖像SR 重建數(shù)據(jù)集

目前,已經(jīng)公布了許多專門用于圖像SR 重建的數(shù)據(jù)集.深度學習出現(xiàn)之前,大部分超分辨重建方法都是采用人工特征,并在小型數(shù)據(jù)集上驗證了方法的性能.文獻[134]詳細介紹了傳統(tǒng)SR 算法中最常用的數(shù)據(jù)集,本文重點介紹基于深度學習SR算法中常用的9 個數(shù)據(jù)集及其主要參數(shù).

首先介紹Yang等[9]的數(shù)據(jù)集、Berkeley Segmentation的數(shù)據(jù)集[135]和DIV2K 數(shù)據(jù)集[136],這些是供訓練使用的數(shù)據(jù)集.Yang等[9]的數(shù)據(jù)集有91幅圖像,Berkeley Segmentation 數(shù)據(jù)集有200 幅SR 重建基準圖像,包含一些人像、植物和動物等,這兩個數(shù)據(jù)集使用最為廣泛;DIV2K 是近兩年SR重建研究中廣泛使用的較大型數(shù)據(jù)集,用于挑戰(zhàn)NTIRE 比賽(例如CVPR 2017 和CVPR 2018)和Perceptual Image Restoration and Manipulation (PIRM)比賽(例如ECCV 2018),其中包含1 000幅2K 高清晰度RGB 圖像,并提供降尺度因子為2、3 和4的HR 和LR 圖像.

除上述三個訓練數(shù)據(jù)集之外,Set5[137]、Set14[49]、BSD100[135]、Urban100[138]、manga109[139]和Sun-80[140]測試集均是供測試使用的數(shù)據(jù)集.Set5、Set14、BSD100、Urban100 是SR 重建的4 個基準數(shù)據(jù)集,其中Set5、Set14 分別包含5 幅、14 幅圖像,BSD100是來自Berkeley Segmentation 數(shù)據(jù)集的100 幅自然圖像,Urban100 包含100 幅具有挑戰(zhàn)性的不同時間段的城市場景圖像,Manga109 是日本漫畫數(shù)據(jù)集.Sun80 數(shù)據(jù)集具有80 幅自然圖像,每個圖像都帶有一系列的網(wǎng)絡搜索參考.

近幾年,研究者們構(gòu)建了一些用于SR 重建的真實圖像數(shù)據(jù)集,其中包括CUFED5[106]、RealSR[103]、DRealSR[141]、City100[142]、SR-Row[142]、LOL 數(shù)據(jù)集[143]和MIT-Adobe FiveK 數(shù)據(jù)集[144]等.CU-FED5數(shù)據(jù)集提供了訓練和測試集,并在內(nèi)容、紋理、顏色、照明和視點等方面具有不同相似度的參考.RealSR數(shù)據(jù)集是在相同場景下通過調(diào)整單反相機的焦距獲取真實圖像數(shù)據(jù)集,在長焦距下獲得HR 圖像,在短焦距下獲得對應的LR 圖像.DRealSR 由5 種不同的單反相機(佳能、索尼、尼康、奧林巴斯和松下)拍攝的室內(nèi)外廣告海報、植物、辦公室、建筑物等構(gòu)成.City100 數(shù)據(jù)集是在室內(nèi)環(huán)境下拍攝的紙質(zhì)明信片圖像.大型數(shù)據(jù)集對于提高深度卷積神經(jīng)網(wǎng)絡的性能非常重要,所以在數(shù)據(jù)集較少的情況下會對數(shù)據(jù)集進行擴充,一方面可以對數(shù)據(jù)集中圖片進行0.5、0.6、0.7、0.8、0.9 等倍數(shù)的縮小;另一方面可對數(shù)據(jù)集中圖像進行不同角度的旋轉(zhuǎn).

6.2 常用圖像SR 重建評價指標和方法

在SR 重建方法不斷發(fā)展的過程中,研究者們提出了一系列評價指標來評估各種方法對圖像進行SR 重建的效果,表3 從方法特點、方法類別以及方法適用場景等多方面對SR 重建質(zhì)量評價方法進行了多維度的總結(jié).常用評估方法包括:平均主觀得分(Mean opinion score,MOS)、平均主觀得分差異(Dierential mean opinion score,DMOS)、均方誤差(Mean square error,MSE)、結(jié)構(gòu)相似性(Structural similarity index,SSIM)、多尺度結(jié)構(gòu)相似性(Multi-scale structural similarity,MSSSIM)、特征結(jié)構(gòu)相似性(Feature structural similarity,FSIM)、視覺信息保真度(Visual information fidelity,VIF)、信息保真度準則(Information fidelity criterion,IFC)、非對齊參考圖像質(zhì)量評估(Non-aligned reference image quality assessment,NAR-DCNN)[145]、主觀感知質(zhì)量(Perceptual index,PI)[147]、Ma[148]、自然圖像質(zhì)量評估器(Natural image quality evaluator,NIQE)、圖像完整性標注器(Image integrity notator using DCT Statistics,BLIINDS)[149]、盲圖像質(zhì)量指標(Blind image quality index,BIQI)[150]、盲/無參考圖像空間質(zhì)量評估器(Blind reference image spatial quality evaluator,BRISQUE)[151]、學習感知圖像塊相似度(Learned perceptual image patch similarity,LPIPS)[146]、深度雙線性CNN 圖像質(zhì)量評價(Deep bilinear CNN,DB-CNN)[152]、基于排名學習的無參考圖像質(zhì)量評估(Rankings image quality assessment,Rank-IQA)[153]、基于深度學習的圖像質(zhì)量指數(shù)(Deep learning based Image quality index,DIQI)[154].

表3 SR 重建圖像常用質(zhì)量評價方法Table 3 Common quality evaluation methods for SR reconstructed images

7 結(jié)束語

SR 重建是計算機視覺領(lǐng)域中的一個典型問題,SR 重建技術(shù)在實際生活中具有良好的應用前景,因此目前SR 圖像重建,尤其是結(jié)合深度學習技術(shù)的SR 圖像重建處于深度研究階段.之前,無論是傳統(tǒng)的SR 重建方法還是基于深度學習的SR 重建方法,研究工作均圍繞提高圖像重建準確性、節(jié)約計算成本和提高時間效率等方面展開.近年來,隨著真實圖像數(shù)據(jù)集的不斷擴大和硬件設備性能的不斷提升,基于深度學習的真實圖像SR 重建技術(shù)獲得了良好發(fā)展.今后的研究可以從應用場景、降質(zhì)方式、網(wǎng)絡設計和評價指標四個方面展開:

1)針對不同應用場景,設計更具針對性的網(wǎng)絡模型.目前SR 重建方法的研究多是基于特定自然圖像數(shù)據(jù)集,與各種各樣的深度學習網(wǎng)絡模型結(jié)合取得了良好效果,例如由于LR 和HR 有非常高的關(guān)聯(lián)度,殘差網(wǎng)絡的思想在圖像SR 中應用效果良好;為了減少參數(shù)量,采用遞歸神經(jīng)網(wǎng)絡;近幾年,GAN網(wǎng)絡也不斷發(fā)展并成功應用于SR 重建中.由于不同領(lǐng)域的圖像有各自的特點,例如醫(yī)學圖像、SAR圖像、交通監(jiān)控圖像、夜視圖像等,針對具體應用領(lǐng)域有針對性地選擇和設計網(wǎng)絡是提高重建性能、提高技術(shù)實用性的關(guān)鍵因素.

2)針對不同降質(zhì)方式建立自適應的退化模型提高SR 網(wǎng)絡的針對性,或者建立普適的退化模型提高SR 網(wǎng)絡的泛化能力.首先,在建立成像退化模型的過程中,研究者對圖像噪聲以及圖像模糊核的估計鮮有研究和討論,往往將噪聲默認為加性高斯白噪聲,并未考慮系統(tǒng)噪聲和量化噪聲等.所以,在SR 重建研究中,針對不同降質(zhì)方式建立適合的模型會大大增強重建的針對性與準確性.其次,設計適應性強的模型來處理任意噪聲和模糊核是提高SR 網(wǎng)絡泛化能力的重要手段.

3)網(wǎng)絡模型的設計.SR 重建網(wǎng)絡大多由特征提取與重建兩部分構(gòu)成.在后續(xù)研究中,對于前者需要探索更多卷積模式和特征提取方法,例如局部、全局與多尺度特征融合,自適應卷積核、通道和空間注意力機制以及空洞卷積的合理使用等;對于后者,在不增添冗余且無效信息的情況下改進上采樣層,使其充分利用特征提取部分提取到的特征完成特征圖大尺度上采樣重建,盡量減少圖像特征的損失,提升網(wǎng)絡的魯棒性.

4)圖像的盲超分和盲評估.若想應用于實際場景,設計一種對單幅圖像進行盲SR 重建的技術(shù)是未來的趨勢,即一幅低質(zhì)量圖像的重建不依靠高低分辨率圖像對的學習,而是通過對不成對圖像的學習與表示或者對單幅圖像周圍像素點的充分學習來訓練模型,以供未知降質(zhì)圖像完成重建.對于重建結(jié)果的評價指標,全參考評級指標若想保證評價結(jié)果公正且合理,后續(xù)的設計應權(quán)衡主觀和客觀兩方面完成,無參考評價指標(盲評估)是現(xiàn)在和未來用于評估真實圖像SR 方法性能的趨勢.