方永銘

摘 要：基于插值的超分辨重建方法是單幅低分辨率圖像利用相鄰像素間的相關(guān)性來重建一幅高分辨圖像?；诙鄮鄮亟ǖ某直嬷亟ǚ椒ㄊ抢枚喾鶊D像間的信息互補來獲得比單幅圖像重建更多的細節(jié)，它按照特定的退化模型，通過輸入的多幅低分辨圖像估計高分辨圖像。本文主要實現(xiàn)了典型的三種基于插值的超分辨率重建以及基于多幀重建的迭代后向投影法的超分辨重建算法，并對這兩類方法的性能進行了比較分析。

關(guān)鍵詞：低分辨率；插值；多幀重建；高分辨率

圖像超分辨率指利用通過算法去改進低分辨率圖像，得到高分辨率圖像的過程 [1]。低分辨率圖像在應(yīng)用中，細節(jié)往往被忽略了，難以提供圖像細節(jié)，這些被忽視的細節(jié)在應(yīng)用中卻又關(guān)鍵作用，所以獲得高分辨率的圖像顯得重要。要獲得高分辨率圖像最直接的方式就是采用高分辨率圖像傳感器，由于受到制造工藝和成本的限制，對于要滿足需要而大規(guī)模的部署高分辨率圖像傳感器是很不現(xiàn)實的。因此，現(xiàn)有的設(shè)備的條件下，通過超分辨率技術(shù)獲取HR 圖像越具有現(xiàn)實意義。

1.超分辨重建算法原理

圖像超分辨率處理技術(shù)通常可以分為兩大類：單幀圖像重建（靜態(tài)圖像插值）方法和多幀圖像處理（序列圖像重建）方法。單幀圖像處理實際上就是指通過重建算法對低分辨率圖像提高圖像分辨率，也就是所稱的圖像放大方法。

多幀重建方法是假定超分辨率圖像在適當(dāng)?shù)淖冃?、平移和子采樣及噪聲干擾下，利用多幀 LR 圖像作為數(shù)據(jù)一致性約束，并結(jié)合圖像先驗知識（通常是平滑性等）進行求解。配準(zhǔn)和重建是多幀重建方法的關(guān)鍵。配準(zhǔn)是獲得其它LR 圖像與參考LR 圖像之間的亞像素精度的相對運動；重建是利用先驗知識，對目標(biāo)圖像進行優(yōu)化求解[4]。

1.1 基于插值的超分辨重建方法

常見的插值有三種方法：最近鄰插值法、雙線性插值法、雙三次插值法。在圖像超分辨率重建方法中，插值起到了關(guān)鍵的作用，也是圖像放大方法的常見方法。對比三種常見插值方法中，雙三次插值方法的優(yōu)點是效果最好，相比其他兩種方法的不足之處就是復(fù)雜度大。

（1）最近鄰插值

最鄰近插值法又稱零階插值，在獲取每一個待插值點的像素值時，是依據(jù)原圖像中對應(yīng)點的四個相鄰點，選取這四個點中歐氏距離最短的哪一個，其插值公式如下：

f（i+u，j+v）=f（i，j）（1）

其中，i，j 均為非負(fù)整數(shù)；f（i，j）表示原圖像在（i，j）位置像素點的像素值； u、v 均為（0，1）區(qū)間的浮點數(shù)，表示待插值點與最鄰近像素點在水平和豎直方向的距離。最鄰近插值法的優(yōu)點是運算量??；但是也存在著不足的地方：會產(chǎn)生塊效應(yīng)導(dǎo)致獲得的圖像變得模糊，所以放大效果有待提高。

（2）雙線性插值

雙線性插值又稱一階插值，其原理是待插值點像素值取在原圖像中與其相鄰的 4 個點像素值在 2 個方向上的線性內(nèi)插，即通過權(quán)值來確定待插值點像素值，權(quán)值的大小是由采樣點與4個鄰點的距離來確定。優(yōu)點是運算量不高，相比最鄰近插值方法，放大效果更好。所以在實際應(yīng)用中，對圖像質(zhì)量要求不高具有重要的應(yīng)用價值。

（3）雙三次插值

雙三次插值又稱立方卷積插值。算法要比前兩者更加復(fù)雜。該算法要對周圍16個點的灰度值做三次插值運算，除了四個直接相鄰點外，還考慮到各鄰點間灰度值變化率對待采樣點的影響。因為要實現(xiàn)三次運算，所以運算量急劇增加，但是放大效果要更加接近高分辨率圖像 [5]。這種算法需要選取插值基函數(shù)來擬合數(shù)據(jù)，其數(shù)學(xué)表達式為：

1.2 基于多幀重建的方法

（1）觀測模型

要從低分辨圖像中重建高分辨率圖像，首先我們應(yīng)了解圖像降質(zhì)的原因，即分析圖像的退化模型，我們也稱之為觀測模型[2]。在成像系統(tǒng)中，觀察模型能夠精確地對圖像退化的原因進行說明（即精確的描述重建的高分辨率圖像與觀察到的低分辨率圖像之間的關(guān)系）這個過程有利于我們對圖像的解空間進行約束，因而對這方面的研究就顯得十分重要了[3]。超分辨率重建問題被認(rèn)為是一個大的稀疏線性優(yōu)化問題，在實際運算中我們通常采用幾何變換、卷積、采樣的步驟對其進行描述，在理論分析中一般采用如下矩陣一向量的數(shù)學(xué)描述：

其中Wk=DkHkFk，Yk表示第K幅低分辨率圖像；Dk，Hk，F(xiàn)k分別表示第K幅低分辨率圖像對應(yīng)的欠采樣因子、模糊函數(shù)和幾何變換；X表示未知的高分辨率圖像；Z表示噪聲（如高斯噪聲和椒鹽噪聲）。低分辨率圖像間需含類似但不完全相同的信息是重建出高分辨率圖像的必要條件，這些不完全相同的信息可來源于許多方面，如相機的抖動，變焦等因素[4]。

（2）迭代后向投影法

迭代后向反投影方法是先預(yù)估計出一幅高分辨率圖像（通常是對低分辨率圖像進行雙三次插值得到）作為圖像重建初值，并將此高分辨率圖像初值代入到觀測模型。經(jīng)過一系列的仿射變換、運動模糊、降采樣和加噪等處理后得到相應(yīng)的低分辨率估計圖像[6]。然后，計算出估計得到的低分辨率圖像與實際觀測的低分辨率圖像之間的差值（稱為模擬誤差），并將此誤差反投影，估計出更新后的高分辨率圖像。多次迭代后，該方法能夠改善高分辨率圖像的質(zhì)量[6]。但是，由于估計的高分辨率圖像不唯一，使得最終的重建結(jié)果也不惟一。另外，在該方法中引入先驗約束也較難實現(xiàn)。

2.結(jié)論

（1）基于插值的算法簡單，在實際中倘若對圖像質(zhì)量要求不高的情況下，應(yīng)用很廣泛，可以滿足一定的超分辨技術(shù)的要求。最近鄰插值算法最簡單，但塊效應(yīng)較明顯。雙線性插值優(yōu)于最近鄰插值，放大效果有明顯改善，且算法復(fù)雜度僅是少量的提高。雙三次插值是三種插值方法中最好的方法，但運算量大于前兩種插值方法。

（2）基于多幀重建的圖像超分辨率算法在改善圖像質(zhì)量方面明顯優(yōu)于插值的方法，但復(fù)雜度也遠大于插值的方法?；诙鄮亟ǖ某直嫠惴ㄊ悄壳皥D像超分辨率重建技術(shù)中的首選方法，也是目前該領(lǐng)域取得較多研究成果的方法。

（3）本文的圖像超分辨分析只是針對無噪圖像的放大實現(xiàn)超分辨的研究，在現(xiàn)實應(yīng)用中需考慮如何有效的去噪，以及多幀圖像序列的配準(zhǔn)問題。（作者單位：西華師范大學(xué)）

參考文獻：

[1] 喬建蘋. 超分辨率重建與圖像增強技術(shù)研究.山東大學(xué)， 博士學(xué)位論文.2008，41-47.

[2] 王會鵬、周利莉、張杰.一種基于區(qū)域的雙三次圖像插值算法.計算機工程.2010.10，36（19）

[3] 蔡念、張海員、張楠.基于Contourlet的改進雙線性插值圖像超分辨率算法.傳感器技術(shù)學(xué)報.2011，24（1）

[4] 王伯陽、韓曉薇、張文奇.圖像超分辨率算法比較研究.沈陽大學(xué)學(xué)報.2011.2，23（1）

[5] Vladan Velisavljevic， Baltasar Beferull-Lozano， Martin Vetterli， and Pier Luigi Dragotti. Directionlets： Anisotropic Multidirectional Representation With Separable Filtering. IEEE TRANSACTIONS ON IMAGE PROCESSING， VOL. 15， NO. 7， JULY 2006

[6] 唐麗煥、陳輝、呂小倩、孔凡慧.基于迭代條件模型算法的圖像超分辨率重建. 計算機工程與應(yīng)用.2010，46（12）