李云紅，王 珍，張凱兵，章為川，閆亞娣

西安工程大學 電子信息學院，西安 710048

1 引言

圖像超分辨重建是一種有效提高圖像分辨率的信號處理技術。該技術能有效克服成像設備固有分辨率的不足，突破成像環(huán)境的限制，在不改變現(xiàn)有成像系統(tǒng)的前提下，能以最低的成本獲取高于成像系統(tǒng)物理分辨率的高質量圖像[1-6]。圖像超分辨重建技術具有非常廣泛的應用前景，是低質量智能安全監(jiān)控系統(tǒng)中人臉檢測與目標識別、智能機器人等的關鍵技術，以及多尺度、多通道圖像融合技術的基礎。該技術的成功應用不僅能促進光電子信息技術的發(fā)展，而且能推動物聯(lián)網(wǎng)視頻感知與智能分析技術、車聯(lián)網(wǎng)智能交通關鍵技術、遙感成像技術以及移動多媒體通信技術等多個高新技術產(chǎn)業(yè)的進步和發(fā)展。

經(jīng)過30多年的研究與發(fā)展，單幀圖像超分辨重建技術取得了重大進展。已有的單幀圖像超分辨重建技術主要分為3種類型：基于插值的方法、基于重構的方法和基于實例學習的方法。相比基于插值的方法和基于重構的方法，基于實例學習的方法具有算法結構靈活，在高倍數(shù)放大情況下能獲得更多的細節(jié)等優(yōu)點，因而受到國內外廣大學者的廣泛關注。根據(jù)超分辨重建過程中實例樣本使用方式和建立映射關系算法的不同，現(xiàn)有的實例學習單幀圖像超分辨重建方法可以細分為5類：基于k-近鄰（k-NN）學習的方法[7-10]、基于流形學習的方法[11-17]、基于超完備字典學習的方法[18-24]、基于實例回歸的方法[25-39]和基于深度學習的方法[40-43]。基于k-NN和基于流形學習的超分辨算法結構簡單，但對每個輸入的圖像塊，都需要搜索規(guī)模龐大的訓練集進行相似性匹配，計算時間復雜度和空間復雜度均很高，因而超分辨重建算法無法在實際中推廣應用。基于超完備字典學習的方法首先學習低分辨與高分辨圖像塊的超完備字典，然后求解基于?0-或?1-范數(shù)正則化最小二乘優(yōu)化問題，建立低分辨與高分辨圖像之間的關系。與基于k-NN和流形學習的超分辨重建方法相比，該超分辨重建方法不僅能重建質量更高的超分辨圖像，而且能顯著降低重建算法的計算時間復雜度與空間復雜度。然而，對于每個輸入的低分辨圖像塊，基于稀疏表示的超分辨重建方法需要求解超完備字典的稀疏表示，當字典規(guī)?；蛑亟▓D像尺寸較大時，計算時間復雜度仍然很高，與實時應用還存在相當大的差距?；趯嵗嗑€性回歸的超分辨重建方法直接建立低分辨與高分辨特征空間之間映射關系，實現(xiàn)低分辨與高分辨圖像之間的變換。而基于深度學習的實例學習超分辨重建技術通過建立低分辨與高分辨圖像之間端到端的非線性映射關系能獲得更高質量的超分辨圖像，因而受到超分辨研究領域研究者的廣泛關注。

2 基于學習的單幀圖像超分辨重建研究進展

基于實例學習的單幀圖像超分辨重建方法利用大量低分辨與高分辨圖像對作為先驗信息，通過學習低分辨與高分辨圖像之間的映射關系估計低分辨圖像中丟失的高頻細節(jié)。根據(jù)超分辨重建過程中實例樣本使用方式和建立映射關系方式的不同，分別介紹5種不同類型的實例學習超分辨重建技術。

2.1 基于k-NN學習的超分辨重建方法

基于k-NN學習的超分辨重建方法由Freeman等人[7-8]首次提出，該方法利用馬爾可夫（Markov）網(wǎng)絡建立低分辨圖像和高分辨場景之間的關系模型，通過信令傳播（Belief Propagation，BP）算法實現(xiàn)高分辨圖像的最大后驗估計。圖1是利用Markov網(wǎng)絡建立圖像塊之間空間關系的模型，圓圈表示網(wǎng)絡節(jié)點，線表示節(jié)點之間的統(tǒng)計依存關系。在此框架中，對觀察節(jié)點y和狀態(tài)節(jié)點x有：

其中，Z是歸一化常數(shù)，yi和xi分別表示節(jié)點i處低分辨輸入和高分辨估計，每個節(jié)點的最優(yōu)高分辨塊是使Markov網(wǎng)絡概率最大化的集合。

圖1 Markov網(wǎng)絡模型

隨后，Sun等人[9]改進了Freeman等人的算法，通過利用圖像的初始簡圖先驗增強圖像的邊緣、脊和角點等目標區(qū)域，以減小Freeman等人方法產(chǎn)生的模糊效應。之后，Wang等人[10]通過組合全局重構約束和局部細節(jié)合成方法，利用退火Gibbs采樣估計高分辨圖像。盡管基于k-NN的超分辨重建方法在一定程度上能突破物理成像系統(tǒng)分辨率的限制，能夠在低分辨圖像中添加新的圖像細節(jié)。然而，該類方法的重建質量很大程度上依賴于大量實例樣本的學習，因此計算復雜度較高，不利于實際應用。而且，當輸入圖像和訓練集中圖像結構不匹配時，該方法導致重建質量的顯著下降。

2.2 基于流形學習的超分辨重建方法

基于流形學習的方法假設低分辨特征空間和對應的高分辨特征空間在局部結構上是等同或相似的，如圖2所示。利用該假設Chang等人[11]利用局部線性嵌入（Locally Linear Embedding，LLE）的流形學習[12]的思想，提出了基于鄰域嵌入（Neighbor Embedding，NE）[13]的超分辨重建方法。該方法利用鄰域嵌入學習算法，通過最小化輸入的低分辨圖像塊與其k個候選低分辨特征塊的重構誤差估計最優(yōu)重構權值，然后利用得到的重構權值線性組合k個對應的高分辨近鄰合成所需的高分辨特征。

圖2 鄰域嵌入超分辨重建方法的流形假設

（1）對測試集Xt中的每一個圖像塊，在低分辨圖像訓練集Xs中查找與最近的k-近鄰樣本，構成最近鄰集Nq。

（2）計算重構權重，使得重構誤差最小，即εp=

之后，在Chang等人方法的基礎上，提出了許多改進的鄰域嵌入超分辨重建算法。為克服實例學習方法對訓練圖像的依賴性，Chan等人[14]使用直方圖匹配策略，選擇與輸入低分辨圖像相匹配的訓練圖像構造訓練集，在一定程度上能降低鄰域嵌入算法對實例樣本的依賴性。不過，該方法未能從本質上解決鄰域嵌入超分辨重建技術存在的不適定的問題?？紤]到邊緣和鄰域大小在鄰域嵌入超分辨算法中的關鍵作用，Chan等人[15]利用邊緣檢測與分類策略提出了一種改進的鄰域嵌入超分辨重建方法。該方法利用邊緣檢測對線性塊進行分類，并線性組合一階梯度特征和加權亮度特征表示低分辨圖像塊。同時對邊緣塊和非邊緣塊分別使用不同個數(shù)的鄰域進行重構。與傳統(tǒng)鄰域嵌入超分辨重建方法相比，該方法在一定程度上能重建出較清晰的高分辨圖像。然而，該方法的性能取決于邊緣檢測的結果，當邊緣分類不正確時該方法會產(chǎn)生明顯的失真。Gao等人為克服鄰域嵌入方法使用固定的k鄰域進行重構容易導致過擬合或欠擬合的不足，提出了基于稀疏選擇鄰域[16]和基于對偶約束的鄰域嵌入超分辨重建方法[17]，取得了比Chang的方法更好的重建質量。

與基于k-NN學習的超分辨重建方法相比，基于鄰域嵌入的流形學習超分辨重建方法能充分利用訓練集中盡可能多的樣本，在訓練樣本規(guī)模較小的情況下，能獲得比k-NN方法更強的泛化能力。不過，該方法對圖像特征的選擇和近鄰個數(shù)較為敏感，容易產(chǎn)生過擬合或欠擬合現(xiàn)象。

2.3 基于超完備字典學習的超分辨重建方法

基于字典學習的方法假設自然圖像可以通過從實例樣本中學習一個超完備字典對進行稀疏表示獲得?；谏鲜鏊枷?，Yang等人[18]首次提出了基于稀疏表示先驗的實例學習超分辨重建方法，該方法首先通過學習低分辨與高分辨圖像塊的超完備字典對，然后求解基于?1-范數(shù)稀疏正則化最小二乘優(yōu)化問題建立低分辨與高分辨圖像之間的關系。在學習階段，基于?1-范數(shù)稀疏正則化的超完備字典學習可表示為如下優(yōu)化問題：

其中，Dl∈Rdl×K表示低分辨字典，Dh∈Rdh×K表示低分辨字典，Α∈RK×m表示稀疏表示系數(shù)矩陣，dl和dh分別表示低分辨圖像塊特征和高分辨圖像塊特征的維數(shù)，K表示字典原子的個數(shù)。

l，即：

然后，利用得到的稀疏表示向量α^和高分辨超完備字典Dh，合成高分辨圖像塊特征，表示為：

在文獻[18]的基礎上，Zeyde等人[19]提出了基于KSVD字典學習[20]和正交匹配追蹤[21]稀疏編碼的超分辨重建方法。該方法具有比文獻[18]方法更低的時間復雜度。針對直接求解?1-范數(shù)稀疏解時間復雜度高的問題，Yang等人[22]提出了雙級優(yōu)化的對偶字典學習算法，通過選擇性處理策略和前向反饋神經(jīng)網(wǎng)絡加快推理稀疏編碼，在一定程度上突破了?1-范數(shù)稀疏編碼的計算瓶頸問題?？紤]到稀疏編碼在低分辨特征空間和高分辨特征空間的不一致性，Wang等人[23]提出了一種半耦合字典學習（Semi-Coupled Dictionary Learning，SCDL）的稀疏表示模型，該模型聯(lián)合學習字典對和稀疏關系映射，在圖像超分辨和照片-畫像合成上獲得了較好的性能。針對含噪圖像超分辨問題，竇諾等人[24]提出了聯(lián)合圖像去噪和圖像超分辨的新方法。該方法先訓練一個含噪低分辨率圖像塊和清晰高分辨率圖像塊的字典對，使得高低分辨率圖像塊在該字典對下具有相同的稀疏表示。當輸入含噪低分辨率圖像塊時，先計算出其在低分辨率字典下的稀疏表示系數(shù)，然后利用此系數(shù)在高分辨率字典下做重建，清晰高分辨率圖像塊，最后通過整體優(yōu)化完成清晰高分辨率圖像，具有很好的魯棒性和有效性。杜偉男等人[44]提出一種基于二維可分離字典和殘差字典的圖像超分辨率重建方法，該方法具有保持圖像的空間結構信息，減少字典參數(shù)的數(shù)量，節(jié)省存儲空間等優(yōu)點。

與基于k-NN和流形學習的超分辨算法相比，基于字典學習的超分辨重建方法利用學習的超完備字典而不是規(guī)模龐大的訓練集進行超分辨重建，重建過程中無需搜索原始的訓練集，因而算法的空間復雜度較低。而且通過調整重構誤差項和稀疏正則項之間的正則化常數(shù)的大小，調整重構精度和對噪聲的抑制能力，因而具有較好的靈活性和噪聲魯棒性。不過上述方法在重建過程中對每個輸入的圖像塊都需要求解關于超完備字典的稀疏編碼，當字典規(guī)?；蛑亟▓D像較大時，計算時間度仍然很高，重建質量和計算效率距離實時應用還存在相當大的差距。

2.4 基于實例回歸的超分辨重建方法

基于實例回歸的方法直接在低分辨圖像特征空間與高分辨特征之間建立映射關系實現(xiàn)超分辨重建。早期代表性的方法有Ni等人[25]提出的基于支持向量回歸的實例學習方法和Kim等人[26]提出基于核瘠回歸和自然圖像先驗的回歸方法。近年來，學習分段線性回歸的快速實例回歸超分辨重建方法成為研究的熱點。該類方法首先通過聚類或稀疏字典學習建立低分辨特征空間中多個錨點，然后利用局部流形假設，在低分辨和高分辨鄰域樣本之間建立多個線性映射關系。代表性的工作如Timofte等人[27]，提出的錨點鄰域回歸（Anchored Neighborhoods Regression，ANR）的方法，該方法不僅能避免超分辨過程中求解稀疏編碼而導致的計算瓶頸的問題，而且能獲得較高的重建質量，具有較好的實際應用前景。

如圖3是基于ANR實例多線性回歸超分辨重建方法的框架圖。假定 Dl∈?m×K是學習的低分辨字典，Dh∈?n×K是對應的高分辨字典。首先，通過K-SVD算法學習低分辨字典Dl，并將字典中的每個原子作為錨點。假設∈?m×k是第i個錨點對應的k個低分辨相關最近鄰，∈?n×p是對應的高分辨相關最近鄰。對每一個k-最近鄰（k-NN）對{,，采用?2-范數(shù)正則項的多元脊回歸模型求解如下最小化問題：

其中，‖·‖F(xiàn)是矩陣的Frobenius范數(shù)，λ是一個平衡重構誤差項和正則項之間關系的很小正常數(shù)。求解公式（5）中的最小二乘解，得到第i個錨點對應的映射矩陣為：

其中，I∈?m×m表示與低分辨圖像塊特征維數(shù)大小相同的單位矩陣。

Timofte通過從訓練集中選擇與錨點原子相關鄰域的建立線性回歸器，進一步將ANR的方法擴展到了A+[28]。與ANR不同的是，A+方法從原始的低分辨與高分辨訓練樣本集中建立每個k-NN對{,}。當樣本十分密集或在無限采樣時，字典原子可以看作是特征空間上的稀疏采樣，因此A+可以更好地沿相關原子的方向逼近局部流形結構，從而在主客觀質量上能獲得比ANR方法更好的重建效果。Yang等人[29]提出了利用kmeans聚類學習低分辨與高分辨特征子集建立多個線性映射關系的超分辨重建方法，該方法模型簡單，具有較高的超分辨效率。

圖3 基于ANR的超分辨重建框架

Zhang等人[30]提出了學習正交低分辨子字典和利用共現(xiàn)表示系數(shù)推理高分辨子字典的快速多線性回歸超分辨算法，該方法具有很快的重建速度。利用集成學習的思想，Hu等人[31]提出了級聯(lián)線性回歸的快速超分辨重建方法，該方法高效簡單，對特征選擇具有較好的魯棒性。利用混合專家模型，Zhang等人[32]提出了聯(lián)合學習多個線性映射實現(xiàn)快速實例歸回的超分辨重建方法。文獻[33]和[34]分別提出了利用回歸森林模型的超分辨重建方法。Pérez等人[35]提出了一種對極不變測度度量相似性鄰域的多線性回歸超分辨重建方法，在重建質量和計算效率兩個方面均取得了很好的效果。此外，Huang等人[36]提出了基于層次決策樹的超分辨重建方法，在計算效率和重建質量方面均表現(xiàn)出較好的性能。Zhang等人[37]提出了快速實例回歸和結構正則化增強的由粗到精的超分辨框架，在保持圖像邊緣和紋理細節(jié)方面具有一定的顯著優(yōu)勢。文獻[38]利用最大期望（Expectation Maximization，EM）算法，對字典學習和聚類過程進行交替優(yōu)化，提出了改進的多線性回歸超分辨算法，能獲得比文獻[30]更好的重建效果。Wang等人[39]利用外部實例圖像和自身圖像結構的互補性，提出了低秩矩陣分解的超分辨重建方法，對噪聲具有很好的魯棒性。

基于實例學習的多線性回歸超分辨重建方法使用預先學習的映射關系直接將低分辨圖像轉換成需要的高分辨圖像，在超分辨過程中只需進行模型的匹配和簡單的矩陣運算，因此運算效率高，有利于實時性應用。然而，隨著超分辨放大倍數(shù)的增加，丟失的細節(jié)越來越多，低分辨與高分辨圖像之間的關系也越來越復雜，該類算法在對低分辨與高分辨之間復雜的線性關系學習問題上尚未有顯著突破，有待進一步研究。

2.5 基于深度學習的超分辨重建方法

近年來，隨著深度學習技術的快速發(fā)展和成功應用，基于深度神經(jīng)網(wǎng)絡的非線性實例回歸超分辨重建方法受到研究者的廣泛關注?；谏疃葘W習的超分辨重建方法利用多層神經(jīng)網(wǎng)絡直接建立從低分辨與高分辨圖像端到端的非線性映射關系。Dong等人[40]提出了利用深度卷積網(wǎng)絡（Convolutional Neural Networks，CNN）的非線性回歸超分辨重建方法（SRCNN），該方法具有三層卷積結構，分別對應傳統(tǒng)SR方法的三個步驟：圖像塊的提取和特征表示、特征非線性映射和超分辨圖像重構。如圖4是深度卷積網(wǎng)絡超分辨重建的框架圖。

圖4 SRCNN框架

由圖4可以看到，采用深度卷積神經(jīng)網(wǎng)絡進行超分辨的網(wǎng)絡結構分為特征提取層、非線性映射層和重構層，第一層卷積運算F1表示為：

其中，Y表示輸入的低分辨圖像，W1表示大小為c×f1×f1×n1的濾波器，B1表示n1的偏置向量。第二層的非線性映射表示為：

其中，W2表示大小為n1×1×1×n2的濾波器，B2表示n2維的偏置向量。重建層利用卷積得到最終的高分辨圖像：

其中，W3的大小為n2×f3×f3×c的濾波器，B3是一個c維的偏置向量，c表示輸入圖像的通道數(shù)。

針對SRCNN層數(shù)較少，感受野較小等方面的不足，Kim等人[41]提出使用更多的卷積層增加網(wǎng)絡感受野，減少網(wǎng)絡參數(shù)的遞歸神經(jīng)網(wǎng)絡超分辨重建方法，得到比SRCNN更好的重建效果。余思泉等人[42]利用GAN代替?zhèn)鹘y(tǒng)的紋理合成方法，通過提取有效的特征樣式或統(tǒng)計量并在該特征信息的約束下生成隨機圖像來實現(xiàn)對隨機紋理和結構性紋理的合成。針對目前深度卷積網(wǎng)絡大多以均方誤差為目標函數(shù)而導致圖像高頻紋理細節(jié)缺失的問題，Ledig等人[43]提出了使用VGG網(wǎng)絡特征圖譜的損失函數(shù)取代了以均方誤差為基礎的損失函數(shù)，在高倍放大情況下，能得到更好的視覺效果。盡管利用更快更深的卷積神經(jīng)網(wǎng)絡在圖像超分辨率的速度和精度方面取得了突破，但有一個中心問題仍沒有得到實質性解決：在高倍數(shù)放大情況下，如何更好地保持重建圖像的紋理細節(jié)是亟需解決的關鍵性問題。

2.6 不同超分辨重建方法分析對比

本節(jié)將對上述綜合分析的5類超分辨重建方法在原理、優(yōu)勢、不足、實現(xiàn)成本以及適用范圍等5個方面做簡要對比分析。

由表1看出，基于k-NN學習的超分辨重建方法算法簡單、易實現(xiàn)，但依賴于大量樣本的學習，計算空間復雜度和時間復雜度極高，難以在實際中推廣應用；基于流形學習的超分辨重建方法能夠有效利用訓練集中的樣本，在訓練集較小的情況下，具有較好的泛化能力。但該方法對圖像的特征選擇和近鄰個數(shù)選取較敏感，易導致過擬合和欠擬合現(xiàn)象，重建質量會出現(xiàn)明顯的失真；基于字典學習的超分辨重建方法相比與前兩種方法，不需要對每一個輸入特征學習大量的訓練樣本，在重建質量和計算復雜度上有了一定的平衡。具有自適應鄰域選擇的能力，算法空間復雜度低，對噪聲具有較好的魯棒性。但該類方法的性能依賴字典規(guī)模和字典質量，適用性不強，并且邊緣保持能力差；基于實例學習的超分辨重建方法能有效抑制邊緣振鈴失真，算法空間復雜度和時間復雜度較低。但重建質量依賴于錨點的規(guī)模和質量，對紋理區(qū)域的重建效果較差，會出現(xiàn)偽像和失真，重建出的圖像不夠自然；基于卷積神經(jīng)網(wǎng)絡的超分辨重建算法能實現(xiàn)低分辨圖像與高分辨圖像復雜的非線性映射，重建質量較高。但該類算法網(wǎng)絡參數(shù)巨大，訓練時間長，對參數(shù)的存儲需要較大的空間。

表1 5類超分辨重建方法的對比分析

3 仿真對比結果分析

為進一步介紹基于實例學習的單幀圖像超分辨重建方法，本章將對目前主流的超分辨重建方法進行客觀質量和主觀質量比較。表2是雙立方插值（Bicubic）、稀疏表示超分辨重建方法、Zeyde’s方法、ANR方法、A+方法、SERF方法和SRCNN其中方法在6個標準數(shù)據(jù)集上放大2倍和3倍的平均峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似度（Structural SIMilarity，SSIM）。

3.1 參數(shù)設置

本節(jié)將對上述提到的雙立方插值超分辨重建方法和其他6種主流超分辨重建方法的主要參數(shù)進行說明。

雙立方插值的方法是利用雙立方插值算法將原始高分辨圖像在放大倍數(shù)為2倍或3倍時退化成低分辨圖像，再利用雙立方插值算法對退化的低分辨圖像在相同放大倍數(shù)的情況進行插值重建；Yang’s方法設置低分辨塊大小為7×7，高分辨塊大小為12×12，學習4 096個聚類中心，每個聚類中心的距離為1 000；Zeyde’s方法低分辨圖像塊為30維，高分辨塊為81維，迭代40次得到1 000個字典原子；ANR方法選取5 000 000個低分辨和高分辨樣本，字典大小為1 024個，回歸鄰域為40個字典原子；A+方法選取5 000 000個低分辨和高分辨樣本，字典大小為1 024個，回歸鄰域為2 048個樣本；SERF方法用來訓練的圖像塊對為2 000 000個，將樣本聚為200類，級聯(lián)7層，λ=0.25；SRCNN設置 f1=9，f3=5，n1=64以及n2=32，c=1。

3.2 對比結果分析

由表2的比較結果可以看出，基于深度學習的SRCNN算法有明顯的優(yōu)勢，能重建出質量更好的超分辨率圖像。

為進一步評價不同超分辨重建方法的性能，選擇Set5中“Bird”、Set14中“Foreman”和Set10中“Hat”圖像3倍超分辨重建結果進行對比，如圖5、圖6和圖7是不同方法視覺質量比較結果。從圖5（b）可以看出，雙立方插值的超分辨重建方法重建出的圖像邊緣和紋理都非常模糊，紅色框處的樹枝和藍色框處鳥嘴的部分都有明顯的鋸齒和偽影現(xiàn)象，視覺感知效果最差；Yang’s和Zeyde’s的超分辨重建方法采用超完備字典和稀疏表示進行超分辨重建。如圖5（c）和5（d），盡管重建出的圖像比雙立方插值重建出的圖像清晰，也能恢復出低分辨圖像中丟失的很多高頻細節(jié)，但在重建圖像的邊緣上仍存在明顯的鋸齒失真，視覺感知效果仍然很差；ANR和A+的超分辨重建方法，如圖5（e）、5（f），能產(chǎn)生清晰且相對平滑的邊緣細節(jié)，引入的噪聲較少，不存在明顯的失真和偽像，重建出的圖像更加自然，取得了較好的重建效果；如圖5（g）是Hu等人提出的SERF的超分辨重建方法，該方法利用級聯(lián)回歸器在一定程度上能提高重建精度，重建出的圖像有較好的邊緣；圖5（h）是利用深度卷積神經(jīng)網(wǎng)絡的SRCNN超分辨重建方法重建出的圖像，該方法使用端到端的非線性映射關系實現(xiàn)低分辨圖像到高分辨圖像的映射，可以看出紅色和藍色框區(qū)域的邊緣都很清晰，紋理細節(jié)也比較豐富，不過在邊緣處仍然存在明顯的振鈴失真。同樣地，在圖6和圖7中，雙立方插值超分辨重建方法重建出的圖像在邊緣區(qū)域產(chǎn)生了明顯的偽像，在細節(jié)區(qū)域也比較模糊，重建的圖像質量最差；Yang’s和Zeyde’s的超分辨重建方法重建出的高分辨圖像相比于雙立方插值圖像恢復出的高頻細節(jié)更多，但在邊緣區(qū)域質量仍不可喜；ANR和A+的超分辨重建方法能產(chǎn)生清晰的邊緣信息，重建出的圖像增加貼近自然真實圖像，有著較好的重建效果；SERF的超分辨重建方法相比與Yang’s和Zeyde’s的方法，以及ANR的方法，在重建質量上有一定的提升，在邊緣處仍存在明顯的失真；雖然SRCNN的超分辨重建方法能重建出邊緣清晰、紋理豐富的高分辨圖像，但相比與A+的超分辨重建方法，重建出的圖像不夠自然，仍存在明顯的振鈴現(xiàn)象。

表2 6個標準數(shù)據(jù)集在放大倍數(shù)為×2和×3時的平均PSNR和SSIM

圖5 數(shù)據(jù)集Set5中“Bird”×3放大的超分辨結果比較

圖6 數(shù)據(jù)集Set14中“Foreman”×3放大的超分辨結果比較

圖 7 數(shù)據(jù)集Set10中“Hat”×3放大的超分辨結果比較

4 結束語

本文對基于實例學習的單幀圖像超分辨重建技術進行了綜述。按照學習過程中建立映射關系的不同，分別對基于k-NN學習的方法、基于流形學習的方法、基于字典學習的方法和基于實例回歸的方法和基于深度學習的方法5種實例學習超分辨重建方法的基本模型進行了介紹，對不同方法的優(yōu)缺點進行了分析和討論。通過對不同超分辨重建方法的綜合分析和實驗比較，結果表明基于k-NN學習的方法算法簡單，具有一定的超分辨重建效果，但計算成本高、內存負荷大；基于流形學習的方法能充分利用樣本，且在數(shù)據(jù)規(guī)模較小的情況下，獲得較好的重建質量，但重建過程中如何選擇鄰域個數(shù)是該方法的關鍵性問題之一；基于字典學習的方法在重建質量上和計算效率上優(yōu)于基于k-NN學習和基于流形學習的方法，對噪聲具有較好的魯棒性，但重建效率上仍然面臨稀疏編碼的計算瓶頸問題；基于實例多線性回歸的方法在重建質量和重建效率上都表現(xiàn)出良好的性能，但在放大倍數(shù)較大時，不能很好地保持細節(jié)，如何學習有效的相似性測度是該方法研究的重點；基于深度學習的方法在一定程度上能取得較高的客觀質量，但不能有效抑制圖像邊緣產(chǎn)生的振鈴現(xiàn)象。

綜上所述，基于實例學習的單幀圖像超分辨重建技術還不成熟，還有許多關鍵科學問題尚未解決。主要包括：

（1）實時性應用問題。經(jīng)過30多年的研究與發(fā)展，圖像超分辨重建技術取得了很大的發(fā)展。在已有的超分辨重建方法中，基于實例學習的超分辨重建技術具有很好的重建效果。然而，大多數(shù)重建算法學習結構復雜，時間和空間復雜度均較高，很難在計算資源受限的環(huán)境下實時應用。因此，研究計算資源受限條件下的實時性超分辨重建算法，是實例學習超分辨重建技術成功推廣應用的關鍵。

（2）超分辨關系映射模型的學習問題。本質上，圖像超分辨重建是一個典型的不確定性信號恢復問題。隨著超分辨圖像放大倍數(shù)的增加，丟失的細節(jié)越來越多，低分辨與高分辨圖像之間的映射關系越來越復雜。由于圖像類型的多樣性，紋理結構的復雜性，如何學習低分辨與高分辨圖像之間復雜的流形結構，通過建立多個局部線性映射關系逼近低分辨與高分辨圖像的非線性映射關系，設計具有計算實時性的圖像超分辨重建算法，有待進一步研究。

（3）超分辨重建圖像質量評價。已有的超分辨重建算法[45]主要從主觀和客觀兩個方面對重建結果進行評價，進而評價算法的性能。主觀質量評價即通過人眼的感知，讓不同的觀測者對圖像進行評價；客觀質量評價主要通過客觀質量評價算法來評價重建圖像的質量，但主觀質量評價方法無法與超分辨算法結合成一個完整的超分辨重建系統(tǒng)?？陀^質量評價根據(jù)評價過程中用到原始圖像信息的多少又可以分為3種：全參考型、部分參考型和無參考型。客觀上，一般使用全參考型的圖像質量評價方法，主要有：峰值信噪比、結構相似度（Structural Similarity）[46]和特征結構相似度（Feature Similarity）[47]。在實際中，由于無法獲得原始高分辨圖像，使得全參考型和部分參考型的客觀質量評價方法不適合超分辨圖像的質量評價，起不到優(yōu)化重建算法和指導模型參數(shù)選擇的作用。因此，設計一種高效的、能針對超分辨圖像的無參考型圖像質量評價算法，對研究超分辨重建技術具有重要理論和實際意義。