張曉克 許建剛

摘 要：文章對超分辨率圖像重建的概念和原理進行了闡述，并對其算法做了總結(jié)和概括，說明了幾種常用算法的基本原理，并根據(jù)現(xiàn)有的算法實驗分析列舉其優(yōu)缺點。

關(guān)鍵詞：超分辨率；圖像重建；算法

引言

超分辨率（Super Resolution，SR）技術(shù)就是對一組屬于同一場景下的低分辨率（Low Resolution，LR）圖像序列進行處理，通過提取它們之間的時域和空域冗余信息，采用圖像配準、運動參數(shù)估計等操作對其進行融合，最終重建得到一幅高分辨率（High Resolution，HR）圖像，其核心思想是用時間分辨率（同一場景的圖像序列）換取更高的空間分辨率。目前，超分辨率重建大致可分為兩個方向：基于重構(gòu)的方法和基于學(xué)習(xí)的方法。

1 基于重構(gòu)的超分辨率技術(shù)

基于重構(gòu)的方法可分為頻域法和空域法兩類。

1.1 頻域方法

假設(shè)連續(xù)場景是f（x，y）（其連續(xù)傅里葉變換是F（x，y），全局平移產(chǎn)生R個移位圖像 （其連續(xù)傅里葉變換是F（x，y））。位移圖像經(jīng)過脈沖采樣產(chǎn)生觀測圖像yr[m，n]=f（mTx+？駐xr，nTy+？駐yr）其中m=1，2…M-1，n=1，2…N-1（其二維離散傅里葉變換是Yr[k，l]）。場景的連續(xù)傅里葉變換和移位采樣圖像的離散傅里葉變換的關(guān)系是：

式中： 和 分別表示x和y方向的采樣周期；

？琢=■

空域平移與頻域平移相對應(yīng)：

如果f（x，y）是帶限的，則 當 時，有F（x，y）→0成立。假設(shè)f（x，y）是帶限的，則公式可以用矩陣來表示：

Y=？椎F

式中：Y-R×1的列向量，其第r個元素是觀測圖像yr[m，n]的離散傅里葉變換Yr[k，l]；

F-4LuLv×1的列向量，表示未知的f（x，y）的連續(xù)傅里葉變換的采點；

？椎-矩陣，表示Y與F間的對應(yīng)關(guān)系。

1.2 空域方法

空域重建方法就是在空間域中進行圖像的SR重建?？沼蚍椒軌?qū)g復(fù)雜運動、光學(xué)模糊、欠采樣等降質(zhì)因素與圖像插值算法、圖像濾波算法及迭代運算方法融合在一起，使空域重建方法更加靈活，適用于更廣闊的范圍，且具有較強的結(jié)合空域先驗知識的能力。其主要包括基于非均勻采樣的插值法、集合論方法（如凸集投影：POCS）、統(tǒng)計復(fù)原方法（最大后驗概率估計MAP和最大似然估計ML）、迭代反投影方法（IBP）、混合MAP/POCS方法以及自適應(yīng)濾波方法，人工神經(jīng)網(wǎng)絡(luò)法、基于最優(yōu)化技術(shù)的方法等。

1.2.1 基于非均勻插值法

非均勻插值法是空域SR重建算法中最直觀的方法，其基本思想是將原始高分辨率圖像看作連續(xù)函數(shù)，而低分辨率的觀測圖像則是在高分辨率圖像的連續(xù)函數(shù)上進行位置不均勻的采樣形成的，因此，高分辨率圖像的重建過程就可以看作將低分辨率觀測圖像的采樣點重新插回原函數(shù)。

1.2.2 凸集投影法（POCS）

凸集投影（POCS）算法具有很好地包含空域先驗信息的能力，能夠?qū)⑦@些先驗信息融入到重建過程中。其基本思想是將高分辨率圖像的某些特性，如數(shù)據(jù)可靠性、能量有界性、平滑性、正定性等定義為不同的約束凸集合，利用這些凸集合的交集所形成的投影交替作用，搜索滿足所有約束凸集合的解，重建得到高分辨率圖像。

假設(shè)一低分辨率圖像序列g(shù)（n1，n2，k）可以寫成

在這個公式中

其中 為脈沖響應(yīng)系數(shù)，？啄0是對觀察中的可信度，設(shè)置為？啄0=c？啄v，其中？啄v是噪聲的標準偏差，c？叟0是由適當?shù)目尚哦冗吔鐩Q定。這些參數(shù)的物理意義是如果在一定范圍內(nèi)與低分辨率相關(guān)的高分辨率圖像，其可信度邊界與噪音偏差成一定比例。

對任意一點的x（m1，m2，l）在C■上的投影 的定義如下：

根據(jù)上述投影，便可以通過約束集合來迭代求解高分辨率圖像f（m1，m2，l）的估計 ， ，其中

T表示所有集合族 投影的松弛投影算子集合，i為迭代次數(shù)。初始估計 是通過把一幅低分辨率圖像雙線性插值到高分辨率網(wǎng)格上，然后進行運動補償而獲得的。

1.2.3 最大后驗概率估計

根據(jù)MAP估計基本原理，低分辨率觀測圖像、理想高分辨率圖像及加性噪聲都可以假設(shè)為隨機信號。而未知高分辨率圖像Z的MAP估計的過程為：在給定觀測圖像y的條件下，使理想圖像的條件概率密度函數(shù)P{z|y}達到最大。根據(jù)貝葉斯原理，P{z|y}的最大化等價于函數(shù)P{y|z}P{z}的最大化。如果Z具有均勻的概率分布，則MAP估計與最大似然估計等價。

假設(shè)低分辨率觀測圖像的加性噪聲是零均值高斯隨機過程，其自相關(guān)矩陣為W-1，Z也是零均值高斯隨機過程，其自相關(guān)矩陣為Q，因此 MAP估計變成了最小均方差估計。經(jīng)過幾個代數(shù)步驟的推導(dǎo)，MAP簡化成如下形式：

關(guān)于Z求微分并使其為零，得到如下偽逆結(jié)果：

式中：

1.2.4 迭代反投影法（IBP）

迭代反投影方法的重建過程是：給定一超分辨率圖像的初始估計■和降質(zhì)模型A，由此可以產(chǎn)生模擬低分辨率圖像序列■=A■。迭代反投影方法把第i次迭代時產(chǎn)生的觀測低分辨率圖像y與模擬低分辨率圖像的誤差進行反投影，以便能夠不斷更新超分辨率重建的估計圖像。這種反投影是通過反投影算子ABP實現(xiàn)的，這里ABP按比例對超分辨率估計■進行懲罰。ABP的典型取值是A-1。

式中：y為低分辨率觀測圖像；■i為由第i次迭代估計結(jié)果■i和降質(zhì)模型A獲得的模擬低分辨率圖像；ABP為反投影算子；i為迭代次數(shù)。

1.2.5 正則化法

假定圖像退化模型為：

其中，y為退化圖像，x'為原始圖像，N為加性噪聲，H為模糊算子（退化矩陣），它是由空間退化點擴展函數(shù)（PSF）生成的矩陣。

然后利用最小二乘法求解上式最優(yōu)解的過程就是令如下式取最小值，即：

求解上式，可得到其最佳解為

其中：x為高分辨率后的重建圖像。

為進一步獲得穩(wěn)定解，可引入如下方程來求解最小值解：

其中，第一項是最小均方誤差代價函數(shù)，為數(shù)據(jù)逼近項，它反映了觀測圖像對原始圖像的逼近程度； 第二項為附加的約束條件即正則化項，它集成了待求解的高分辨率圖像應(yīng)保持的某種先驗信息；？琢為正則化參數(shù)，它用來平衡近似解的逼近程度和平滑性；C為正則算子，即為使解具有某種期望性能的約束運算。

1.2.6 混合方法（MAP/POCS）

將最大后驗概率方法和凸集投影方法相結(jié)合的算法是由Elad等提出的，即同時考慮序列低分辨率圖像的統(tǒng)計特征和凸集約束，在以最大后驗概率框架為基礎(chǔ)的迭代求解過程中添加凸集投影算法的各種凸集約束條件，從而獲得兩種算法各自的優(yōu)點。該方法的特點是可以方便地將各種先驗約束知識結(jié)合實用，其重建圖像的質(zhì)量優(yōu)于單獨的算法。但是該算法只有采用梯度下降最優(yōu)化方法才能保證收斂。

2 基于學(xué)習(xí)的超分辨率重建

基于學(xué)習(xí)的SR重建算法的主要思想是，在及其經(jīng)驗學(xué)習(xí)思想的指導(dǎo)下，對訓(xùn)練數(shù)據(jù)中的高分辨率圖像和序列低分辨率圖像進行學(xué)習(xí)，得到二者間的映射關(guān)系模式，并將這種對應(yīng)模式以先驗約束的形式引入重建過程中或者根據(jù)模式建立馬爾科夫網(wǎng)絡(luò)來恢復(fù)圖像的相關(guān)信息。該方法可以分為以下三個步驟：（1）按照觀測模型的定義，對高分辨率圖像進行模擬降質(zhì)獲得一組低分辨率圖像，作為訓(xùn)練集；（2）根據(jù)高分辨率圖像和序列模擬低分辨率的對應(yīng)關(guān)系，運用神經(jīng)網(wǎng)絡(luò)技術(shù)訓(xùn)練和學(xué)習(xí)；（3）將學(xué)習(xí)模型引入重建過程中，或者通過馬爾科夫網(wǎng)絡(luò)恢復(fù)圖像。

2.1 流形學(xué)習(xí)方法

假設(shè)高分辨率和低分辨率圖像塊可以構(gòu)成具有相似局部幾何結(jié)構(gòu)的流形，借助于由一組低分辨率圖像及其對應(yīng)的高分辨率圖像組成的訓(xùn)練集來估計未知的SR圖像。理想情況下，每一個高分辨率圖像塊不僅和其對應(yīng)的低分辨率圖像塊 有關(guān)，而且和其鄰域塊也應(yīng)該保持某種塊間聯(lián)系。第一個特性決定了重建的準確性，而后一個特性則決定了重建圖像的局部保持特性和平滑性。為了滿足這兩 點需要，該算法具有以下3個特性：（1）每一個高分辨率圖像塊由訓(xùn)練集中的多個圖像塊有關(guān)；（2）低分辨率圖像塊間的局部關(guān)系在對應(yīng)的高分辨率圖像塊中保持不變；（3）高分辨率圖像塊間的鄰居關(guān)系通過交疊來保持，以增局部保特性和平滑性。

2.2 基于支持向量機

其基本思想是假設(shè)模糊函數(shù)類型已知，且可由某一參數(shù)來表征， 從模式識別的角度出發(fā)，參數(shù)辨識可以看作多類分類問題 ，即從模糊圖像中提取出可以代表該圖像模糊程度的特征向量，然后采用機器學(xué)習(xí)的方法訓(xùn)練這些特征矢量與對應(yīng)的模糊參數(shù)的映射關(guān)系，最后用于盲超分辨率重建。

2.3 基于獨立分量分析

獨立分量分析（Independent Component Analysis，ICA）是在研究盲源分 離過程中出現(xiàn)的一種新興的信號處理和數(shù)據(jù)分析方法，基于獨立分量分析的超分辨率重建技術(shù)其基本思想是，假設(shè)P個獨立分量張成空間，則每幅圖像可以看作空音中的一點，即可以由這些獨立分量線性組合而成。利用ICA從高分辨率訓(xùn)練圖像中提取出獨立分量，同時估計ICA系數(shù)的先驗。給定一幅低分辨率圖像， 結(jié)合最大后驗概率（MAP）估計理論求出ICA系數(shù)，然后ICA反變換得到高分辨率圖像的近似估計。該算法有效實現(xiàn)了人臉超分辨率重建，保持了人臉整體結(jié)構(gòu) 特征，且對光照、表情、姿態(tài)等具有一定的魯棒性。

3 結(jié)束語

隨著圖像超分辨率技術(shù)的進一步發(fā)展，必將導(dǎo)致這一技術(shù)拓寬到一些新的應(yīng)用領(lǐng)域，圖像超分辨率技術(shù)更廣泛地應(yīng)用會進一步加快該技術(shù)的發(fā)展。此外，超分辨率技術(shù)的理論研究結(jié)果還可為未來我國新型傳感器的硬件設(shè)計與實現(xiàn)提供理論指導(dǎo)與參考，圖像超分辨率技術(shù)會有更廣闊的前景。

參考文獻

[1]張正賢.正則超分辨率圖像復(fù)原算法研究[J].西北工業(yè)大學(xué)學(xué)報，2006（6）.

[2]張曉玲，沈蘭蓀.超分辨率圖像復(fù)原技術(shù)的研究進展[J].測控技術(shù)，2005（5）.

[3]劉丁峰.超分辨率圖像復(fù)原技術(shù)綜述[J].軟件導(dǎo)刊，2009（12）.

[4]李桐.超分辨率圖像重建技術(shù)[J]. 哈爾濱師范大學(xué)自然科學(xué)學(xué)報，2006（5）.

[5]楊慶怡，黃燦，張瓊.基于POCS 算法的超分辨率圖像重建技術(shù)計算機光盤軟件與應(yīng)用[J].2012（16）.

[6]劉梓，宋曉寧，於東軍，等.基于多成分字典和稀疏表示的超分辨率重建算法[J].南京理工大學(xué)學(xué)報，2014 （2）.

[7]鄧乾國，游志勝.基于凸集投影算法的超分辨率圖像重建技術(shù)[J].成都信息工程學(xué)院學(xué)報，2005（6）.