王樂

（四川大學(xué)計算機學(xué)院，成都610065）

基于反向投影的單幀圖像超分辨率重建方法

王樂

（四川大學(xué)計算機學(xué)院，成都610065）

針對單幀圖像超分辨率重建提出一種基于反向投影的單幀圖像超分辨率重建方法。根據(jù)迭代反向投影算法的思想，使用估計高分辨率圖像得到4幅模擬低分辨率圖像，并將其與實際低分辨率圖像的誤差圖像進行反向投影。在反向投影過程中，自適應(yīng)地對其權(quán)重進行計算，用來更新原先的估計高分辨率圖像。實驗結(jié)果表明，該方法對于不同的降質(zhì)模型有較好的魯棒性，計算量小，能有效提高單幀圖像超分辨率重建的質(zhì)量。

超分辨率重建；迭代反向投影；自適應(yīng)；魯棒性

0　引言

圖像的分辨率在一定程度上反映圖像所記錄的信息量，越高的分辨率代表著對細節(jié)的分辨能力越強，圖像記錄的信息也就越多。隨著多媒體技術(shù)的發(fā)展，人們對于圖像的分辨率也有著更高的要求。如遙感、視頻監(jiān)控、醫(yī)學(xué)成像［1］、水下視覺等領(lǐng)域，都對圖像的分辨率有著較高的要求。提高分辨率可以通過硬件和軟件兩種途徑。硬件方式往往是通過減小傳感器上的像素尺寸，提高單位面積上的像素密度來實現(xiàn)的。該方法會隨著傳感器尺寸的減小引起散粒噪聲，同時也增加了硬件成本。并且在一些特定條件下，如因傳輸帶寬的限制，環(huán)境的限制，并不能運用硬件方法提高分辨率，所以“超分辨率重建技術(shù)”應(yīng)運而生，用來克服硬件條件的限制，通過軟件的方法達到提升分辨率的目的。超分辨率重建在單幀圖像超分辨率重建，多圖像超分辨率重建，以及視頻超分辨率重建方面都有著廣泛的研究。對于單幀圖像的超分辨率重建，也有很多的方法，基于鄰域嵌入的方法［2］，基于樣本學(xué)習(xí)的方法［3］，基于稀疏表示的方法［4］，基于神經(jīng)網(wǎng)絡(luò)的方法［5］等。本文利用傳統(tǒng)插值方法結(jié)合迭代反向投影方法［6］的主要思想，提出了一種基于反向投影的單幀圖像超分辨率重建方法，相對于傳統(tǒng)插值方法，該方法在超分辨率重建結(jié)果上有一定的提高。而相比與迭代反向投影方法，本文方法不需要具體的降質(zhì)模型，也不需要進行迭代，具有更快的速度以及更好的實用性。為了驗證本文提出的方法的有效性，對于不同的降質(zhì)模型進行了實驗。

1　降質(zhì)模型

為了進行超分辨率重建，并且使得重建結(jié)果有一個客觀的參照，往往需要先從高分辨率圖像得到一幅低分辨率圖像。一幅低分辨率圖像，可以看成是一幅高分辨率（High-Resolution，HR）圖像經(jīng)過模糊，降采樣以及添加噪聲后的結(jié)果。本文通過對輸入的高分辨率圖像X用退化函數(shù)對退化過程進行建模，并添加噪聲來得到一幅低分辨率（Low-Resolution，LR）圖像Y。用公式表示為：

其中D為降采樣矩陣，H為模糊矩陣，E為加性高斯白噪聲。由于高斯噪聲多被用于低照度下成像傳感器噪聲的一種近似，所以本文選擇高斯噪聲作為添加的噪聲。

本文采用兩種不同的降質(zhì)模型來說明本文所提出的方法并不只對某單一的降質(zhì)模型有效。第一種降質(zhì)模型使用模糊函數(shù)將圖片的每個像素點的灰度值變?yōu)榘ㄆ浔旧碓趦?nèi)的相鄰4個像素點的像素值的平均值，然后使用降采樣函數(shù)將圖像的分辨率變?yōu)橐话?，最后加?5dB的高斯噪聲。

第二種降質(zhì)模型，前2個步驟和第一種降質(zhì)模型一致，在步驟2執(zhí)行之后，再對降采樣后的圖像再進行一次模糊，使得降采樣后圖像的每個像素點的灰度值再變?yōu)榘ㄆ湓趦?nèi)周邊4個像素點灰度值和的1/4，最后再加上25dB的高斯噪聲，以模擬更為惡劣的降質(zhì)過程。

2　迭代反向投影

圖像插值在超分辨率圖像重建中是一種基礎(chǔ)，但同時也很重要的一種方法。迭代反向投影（Iterative Back-Projection，IBP），也是一種利用圖像插值的超分辨率重建方法。圖像插值是在已知像素的有限的鄰域內(nèi)對插值像素進行估計，一維信號插值可表現(xiàn)為下圖所示：

圖1　一維圖像插值

經(jīng)典的插值算法有最近領(lǐng)域插值，雙線性插值，三次樣條插值，雙三次樣條插值［7］等。上述幾種插值方法的本質(zhì)都屬于多項式插值，其插值序列可以寫成如下的形式：

其中C（xk）為插值系數(shù)，β（x）為插值基函數(shù)。本文采用雙三次樣條插值方法，來對低分辨率圖像進行插值。該插值方法是內(nèi)插的，所以可以直接用x_k處的像素值f（xk）來替換C（xk），省去了對插值系數(shù)的估算過程。

在文獻［6］提出的迭代反向投影方法中，通過使用模擬LR圖像與輸入LR圖像的誤差進行迭代反向投影得到HR圖像。其依據(jù)是如果通過超分辨率重建得到的圖像接近原始的高分辨率圖像，那么該通過超分辨率重建得到的圖像通過同樣的降質(zhì)模型得到的低分辨率圖像，應(yīng)該與輸入的LR圖像盡量的接近，然后將兩者的誤差投影到高分辨率圖像上，通過反復(fù)的迭代便能得到效果更好的高分辨率圖像。其流程如下：

圖2　迭代反向投影過程

迭代反向投影方法，通過將誤差反向投影去更新估計的HR圖像，通過反復(fù)的迭代，能夠較好地減少重構(gòu)誤差，使獲得的HR圖像滿足相應(yīng)的需求。在降質(zhì)（投影）過程中，IBP算法依賴于實際的降質(zhì)模型，而降質(zhì)模型在實際中應(yīng)用中是未知的，也難以估計。

3　本文方法

由上述IBP方法可以看出，該方法依賴于圖像的降質(zhì)模型，而在實際情況下，降質(zhì)模型往往是無法準確得到的。在多幀圖像超分辨率重建過程中，圖像的配準往往也會花費較多的時間，配準的效果也對結(jié)果有著很大的影響。同時，在迭代反投影方法中，迭代的過程需要經(jīng)過多次的插值，投影以及反投影過程，花費的時間較長。因此，本文根據(jù)迭代反向投影的思想，提出一種快速的基于反向投影的單幀圖像的超分辨率重建方法。該方法包括五個步驟：1）通過插值方法得到估計的HR圖像；2）對得到的HR圖像，進行降采樣，到四幅模擬LR圖像；3）通過計算模擬LR圖像和原始LR圖像的差值，得到差值圖像；4）對差值圖像進行反投影，得到4幅反投影后的差值圖像；5）使用4幅反投影后的差值圖像對估計的HR圖像進行更新。

本文的方法可用如下公式表示：

其中f0為估計HR圖像。f1為更新后的HR圖像。e1，e2，e3，e4為四幅誤差圖像。a，b，c，d是四幅誤差圖像的權(quán)重系數(shù)，P為反投影操作。

其中4幅低分辨率圖像的獲得方法如圖3所示：

圖3　估計HR圖像降采樣過程

從HR圖像獲得4幅LR圖像的過程中，因為不依賴于圖像的降質(zhì)模型，直接取估計HR圖像中的像素值，以獲得較多的信息，同時也獲得4幅具有較高相似度的圖像。使用LR1，LR2，LR3，LR4與原始輸入LR圖像的差值圖像進行反向投影。

對于投影權(quán)重系數(shù)a，b，c，d確定的方法如下：1）分別計算LR1，LR2，LR3，LR4和原始輸入LR圖像之間的相關(guān)系數(shù)ce1，ce2，ce3，ce4。令四幅模擬LR圖像的權(quán)重分別如下所示：

這一步可以保證和輸入LR圖像相關(guān)度較高的模擬LR圖像有較高的權(quán)重，也從一定程度減少了錯誤，或者噪聲對于反向投影的干擾；2）計算四幅誤差圖像e1，e2，e3，e4的平均灰度me1，me2，me3，me4，如果平均灰度值小于0，則將其對應(yīng)的權(quán)重系數(shù)置為負，若平均灰度值大于0，則不變。

4　實驗結(jié)果分析

本文對圖4（a）原始HR圖像，使用2.1節(jié)中描述的第一種降質(zhì)模型，對HR圖像進行降質(zhì)，圖4（b）為得到原始LR圖像，使用雙三次樣條插值得到圖4（c）估計HR圖像，然后進行降采樣得到四幅LR圖像，再進行反向投影得到圖4（d）更新后的HR圖像。

為了客觀地反映圖像的超分辨率重建效果，本文使用使用峰值信號信噪比PSNR，來描述圖像的超分辨率重建效果。首先計算所得圖像和原始圖像的均方誤差MSE：

圖4　效果對比

對于不同的降噪模型以及不同的圖像，基于雙三次樣條插值的實驗結(jié)果如表1和表2所示。

由以上實驗數(shù)據(jù)可以看出，在不需要先驗知識作為支撐的情況下，本文所提出的方法對于傳統(tǒng)的基函數(shù)是內(nèi)插的插值方法在重建效果上有一定的提高，并且具有較少的計算量和時間開銷。同時對于不同的降質(zhì)模型都有著不錯的效果。

表1　降質(zhì)模型1實驗結(jié)果PSNR值

5　結(jié)語

對于單幀圖像的超分辨率重建問題，本文提出了一種基于傳統(tǒng)插值和反向投影的的單幀圖像超分辨率重建方法。本文提出的基于反向投影的單幀圖像超分辨率重建方法，對于不同的降質(zhì)模型都能取得較好的重建效果，具有較好的適應(yīng)性以及較小的計算開銷，是一種快速的，魯棒性較高的單幀圖像超分辨率重建方法，并且不依賴與圖像的降質(zhì)模型，具有較高的實用性。

［1］T.M.Lehman，C.Conner and K.Spitzer.B-Spline Interpolation in Medical Image Processing［J］，IEEE Trans.Med.Imaging，2001，20，660-665.

［2］H.Chang，D.Y.Yeung，and Y.Xiong.Super-Resolution Through Neighbor Embedding［C］.IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Washington，DC，USA，2004，1：275-282.

［3］W.T.Freeman，R.R.Jones，E.C.Pasztor.Example-Based Super-Resolution［J］.IEEE Computer Graphics and Application，2002，22（2）：56-65.

［4］J.Yang，J.Wright，T.Huang，Y.Ma.Image Super-Resolution Via Sparse Representation［J］.IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

［5］M.Awad，S.E.EI-Khamy and M.M.Abd Elnaby.Neural Modeling of Polynomial Image Interpolation［C］.Proceeding of International Conference on Computer Engineering and System，Cairo，2009：469-474.

［6］M.Irani and S.Peleg.Improving Resolution by Image Registration［J］.CVGIP：Graphical Models and Image Processing，1991，53（3）：231-239.

［7］J.K.Han and H.M.Kim.Modified Cubic Convolution Scaler with Minimum Loss of Information［J］.Optical Eng.2001，40，540-546.

Single-Frame Image Super-Resolution Reconstruction Based on Back-Projection

WANG Le
（College of Computer Science，Sichuan University，Chengdu 610065）

Proposes a single-frame image super-resolution reconstruction method based on back-projection.According to the thought of iterative back-projection algorithms，uses the high-resolution image to get 4 simulate low-resolution images，uses the error image between simulated low-resolution images and the actual low-resolution images to do back-projection.In the projection process，the weights of error images are adaptive，uses these error images to update the high-resolution image.The experimental results show that the proposed algorithm for different degradation models has good robustness，and small amount of calculation.The method can improve the quality of single frame image super-resolution reconstruction.

Super-Resolution Resconstruction；Iterative Back-Projection；Adaptive；Robustness

1007-1423（2016）23-0050-04DOI：10.3969/j.issn.1007-1423.2016.23.013

王樂（1992-），男，江蘇鎮(zhèn)江人，研究生，研究方向為超分辨率重建

2016-06-02

2016-08-10

國家自然科學(xué)基金面上項目（No.61071162）