王 靜，吳愛弟

（天津職業(yè)技術(shù)師范大學(xué)理學(xué)院，天津 300222）

多幀圖像超分辨率重建算法的研究

王 靜，吳愛弟

（天津職業(yè)技術(shù)師范大學(xué)理學(xué)院，天津 300222）

多幀圖像超分辨率重建技術(shù)就是將一些變形、模糊、降采樣的多幅低分辨率圖像進(jìn)行融合估計(jì)出一幅高分辨率圖像。其步驟主要分為：運(yùn)動(dòng)估計(jì)、插值處理、圖像重建。本文采用Vandewalle配準(zhǔn)方法將處理過的低分辨率圖像序列映射到一幅高分辨率網(wǎng)格上，然后進(jìn)行插值，最后結(jié)合小波變換和迭代方法進(jìn)行圖像重建。并采用小波閾值去噪方法進(jìn)行去噪處理。實(shí)驗(yàn)結(jié)果表明本文算法能很好的提高圖像的峰值信噪比，是圖像重建的一種有效方法。

超分辨率圖像重建；運(yùn)動(dòng)估計(jì)；插值；小波變換；閾值去噪

1 引言

在圖像系統(tǒng)中，從圖像的獲取，到圖像的傳送、接受、輸出等等一系列環(huán)節(jié)，都會(huì)受到系統(tǒng)的物理?xiàng)l件和外界因素的干擾，從而使得人們最終獲取的圖像的分辨率降低，針對(duì)這些因素，又為了滿足人們的實(shí)際需要，圖像超分辨率重建技術(shù)應(yīng)運(yùn)而生。超分辨率圖像重建就是將一系列分辨率較低、質(zhì)量較差的低分辨率圖像在像素級(jí)進(jìn)行序列融合，從而得到分辨率較高、質(zhì)量更好的圖像。自1984年，Tsai和Huang首次提出了基于序列或多幀圖像的超分辨率重建算法之后，超分辨率重建技術(shù)成為人們關(guān)注的焦點(diǎn)，該技術(shù)得到了較快的發(fā)展，也取得豐碩的研究成果。其方法主要是分為頻域方法和空域方法兩大類。超分辨率圖像重建方法無需改變成本較高的物理硬件設(shè)施，從軟件的角度，改變圖像的分辨率，既經(jīng)濟(jì)又實(shí)用。并廣泛應(yīng)用到軍事領(lǐng)域、航天領(lǐng)域，醫(yī)療衛(wèi)生安全領(lǐng)域等等[1-3]。

多幀圖像的超分辨率圖像重建，即將一些變形、模糊、降采樣、噪聲混疊后的多幅低頻圖像進(jìn)行融合估計(jì)出一幅高分辨率圖像或圖像序列。

近些年，隨著小波理論的成熟，人們?cè)絹碓蕉嗟貙⑵湟氲綀D像超分辨率重建技術(shù)中去，“小波”有很多優(yōu)點(diǎn)，比如它的分解多尺度的特性，它也可以分離出圖像的高頻和低頻信息量等等[4]。

本文主要研究多幀圖像的超分辨率圖像重建，主要步驟為：運(yùn)動(dòng)估計(jì)、插值處理、圖像重建。采用頻率Vandewalle配準(zhǔn)方法[5]，將處理過的低分辨率圖像序列，映射到一幅高分辨率網(wǎng)格中去，由于在高分辨率網(wǎng)格上的分布不是均勻的，所以通過插值來得到一幅均勻分布的單幀圖像，然后將小波變換和迭代方法[6]結(jié)合起來進(jìn)行圖像重建，在迭代過程中對(duì)高頻子帶采用圖像融合技術(shù)[7]進(jìn)行處理，以獲得信息量增加的高頻子帶，再結(jié)合原始圖像進(jìn)行反復(fù)迭代，直到收斂到最優(yōu)解為止。最后采用峰值信噪比來進(jìn)行實(shí)驗(yàn)分析，結(jié)果表明重建圖像很好的保持了圖像原有的細(xì)節(jié)特征，加之多幀圖像的超分辨率圖像重建可利用的圖像信息量豐富，所以重建圖像有很好的峰值信噪比。

2 超分辨圖像重建的數(shù)學(xué)模型

2.1 降質(zhì)模型

超分辨率圖像重建問題是一個(gè)嚴(yán)重病態(tài)的逆問題，如果想要求解這個(gè)逆問題，就必須弄清楚圖像的成像過程。圖像在獲取的過程中，存在很多因素會(huì)使得圖像的質(zhì)量降低，如光學(xué)系統(tǒng)的像差、大氣擾動(dòng)、散焦和噪聲污染等。因此，建立精確的退化模型對(duì)圖像的重建至關(guān)重要，精確的模型更加精確和全面的反應(yīng)成像過程的物理過程。

圖1 低分辨率圖像

首先，假設(shè)待重建的高分辨率圖像的大小為L(zhǎng)1N1×L2N2，表示成矢量的形式為f=[f1，f2，…，fN]T，N=L1N1×L2N2，f是理想的未經(jīng)過降質(zhì)的高分辨率圖像，水平方向和垂直方向的降采樣因子為L(zhǎng)1和L2，由觀測(cè)模型所獲得的l幀低分辨率圖像gk=[gk，1，gk，2，…，gk，M]T，k= 1，2，…，l，大小為N=L1×L2，由上圖可以看出低分辨圖像的降質(zhì)模型為：

其中，D為形變矩陣，B為模糊矩陣，M為降采樣矩陣，n為噪聲。

本文中將采用上式的等價(jià)模型[8]：

其中，矩陣L表示從高分辨率圖像f到低分辨率圖像g過程中的運(yùn)動(dòng)、模糊與下采樣處理。采用文獻(xiàn)[8]中的矩陣模型，矩陣L=Lx?Ly，“?”代表張量積，Lx與Ly代表水平和垂直方向的循環(huán)矩陣。矩陣L的第一行可以表示為。其中，前個(gè)元素為，最后個(gè)元素為非零元。

本文中結(jié)合小波方法中把當(dāng)作小波低通分解矩陣，采用[9]中構(gòu)造的相應(yīng)的小波低通重構(gòu)矩陣Ld，小波高通水平、垂直、對(duì)角線方向的分解矩陣H1，H2，H3，小波高通水平、垂直、對(duì)角線方向的重構(gòu)矩顯然滿足因此，對(duì)任意的f，有f=LdLf+

2.2 重建模型

由上述模型可以看出超分辨率重建的模型就是降質(zhì)過程的逆過程，大多數(shù)超分辨率重建的過程分為三個(gè)方面：運(yùn)動(dòng)估計(jì)（圖像配準(zhǔn)）、插值和重建。大體流程如下：

圖2 重建過程

2.2.1 運(yùn)動(dòng)估計(jì)（Motion Estimation）

隨著腫瘤治愈率明顯提高，治療時(shí)首要考慮的因素往往是平衡療效與如何減少其治療的毒性，尤其是兒童。在腫瘤的治療中，心臟損傷是患者長(zhǎng)期生存較嚴(yán)重的遲發(fā)性不良反應(yīng)，而在引發(fā)心臟損傷的因素中，縱隔放療和蒽環(huán)類藥物的化療是發(fā)生心臟疾病的最高危險(xiǎn)因素，患者在初期可能無明顯癥狀，但這種心臟毒性通常在治療結(jié)束5-10年后方表現(xiàn)出來，并且心衰一旦發(fā)生，目前尚無有效救治手段。

對(duì)于圖像重建技術(shù)來說，運(yùn)動(dòng)估計(jì)是實(shí)現(xiàn)圖像超分辨率重建的基礎(chǔ)，在圖像處理領(lǐng)域占據(jù)著十分重要的地位，精準(zhǔn)的運(yùn)動(dòng)估計(jì)對(duì)圖像的重建效果有著明顯的改善和影響。多幀圖像的超分辨率重建技術(shù)就是利用一系列低分辨率圖像之間的微小差異所包含的非冗余信息來提高圖像的分辨率。所以，圖像重建技術(shù)首先要得到低分辨率圖像幀與幀間的運(yùn)動(dòng)信息，即低分辨率圖像之間的偏移關(guān)系，求出幾幀圖像在同一位置時(shí)的位置差，通過分析，估計(jì)出相對(duì)位置參數(shù)，然后將各幀圖像配準(zhǔn)到同一坐標(biāo)系。這樣所有的低分辨率圖像幀上的像素就映射到同一共同的參考幀上，然后再進(jìn)行操作重建圖像?？梢姡珳?zhǔn)的運(yùn)動(dòng)估計(jì)對(duì)于圖像重建技術(shù)來說至關(guān)重要，關(guān)系到重建圖像的質(zhì)量?jī)?yōu)劣。

本文采用的是基于頻域的圖像配準(zhǔn)方法，該算法的配準(zhǔn)精度比較高，采用頻率域算法來估計(jì)運(yùn)動(dòng)參數(shù)，圖像的運(yùn)動(dòng)可用包含水平、垂直和旋轉(zhuǎn)角度的函數(shù)來表示，假設(shè)參考圖像為f1（x），而f1（x）經(jīng)過平移和旋轉(zhuǎn)之后的圖像為f2（x）：

其中，x′=x+Δx，做變換x″=Rx′，則它們的振幅可表示為：

（1）旋轉(zhuǎn)估計(jì)

為了更好的利用頻域幅值的這種關(guān)系估計(jì)旋轉(zhuǎn)角度，定義以下一個(gè)旋轉(zhuǎn)角度為的函數(shù)：

（2）平移估計(jì)

圖像在平面內(nèi)的移動(dòng)可通過頻率域中的一個(gè)線性相位移動(dòng)來表示，相位差為∠（F2（u）/F1（u）），它是u的線性函數(shù)，平移參數(shù)Δx可以通過計(jì)算相位差的斜率2πΔx，為了減少對(duì)噪聲的敏感度，可通過最小二乘法來擬合相位差平面的斜率。頻域Vandewalle方法的魯棒性很強(qiáng)，而且抗干擾能力很好，可以消除圖像的混疊信息。

2.2.2 插值（Interpolation）

在圖像序列經(jīng)過運(yùn)動(dòng)估計(jì)之后，就要進(jìn)行插值和重建；單幀圖像則是直接進(jìn)行插值和重建。插值是圖像重建根本的環(huán)節(jié)，就是將運(yùn)動(dòng)估計(jì)后的低分辨圖像的像素點(diǎn)投影到一個(gè)高分辨率網(wǎng)格上，這時(shí)，得到的圖像往往是非均勻分布的，需要通過插值使其成為均勻分布的高分辨率圖像[10]。

3 閾值去噪

一般來說，現(xiàn)實(shí)中的信號(hào)都是帶噪信號(hào)，在對(duì)圖像信號(hào)進(jìn)一步分析之前，需要將有效的信號(hào)提取出來。信號(hào)在生成和傳輸過程中，常常受到很多噪聲的干擾而使得質(zhì)量變差，因此有目的地從測(cè)量數(shù)據(jù)過程中獲取有用的信息，即進(jìn)行去噪，就成為許多分析過程中的一個(gè)重要的步驟。

本文采用小波閾值去噪方法[11]對(duì)圖像進(jìn)行處理。即對(duì)小波分解后的各層系數(shù)中大于和小于某閾值的系數(shù)分別處理，然后對(duì)處理完的小波系數(shù)再進(jìn)行小波變換，重構(gòu)出經(jīng)過去噪后的圖像。

圖2 重建過程

4 算法的提出

本文的算法先將低分辨率圖像序列進(jìn)行運(yùn)動(dòng)配準(zhǔn)，采用頻率Vandewalle配準(zhǔn)方法，將處理過的低分辨率圖像序列，映射到一幅高分辨率網(wǎng)格中去，由于在高分辨率網(wǎng)格上的分布不是均勻的，所以通過插值來得到一幅均勻分布的單幀圖像，然后重建處理過的單幀圖像，從而得到分辨率增加的圖像。具體步驟如下：

第一步：經(jīng)過簡(jiǎn)單處理得到可以使用的參考幀圖像g，對(duì)一系列低分辨率圖像相對(duì)于參考幀進(jìn)行運(yùn)動(dòng)配準(zhǔn)，首先，為了使圖像得以對(duì)稱，通過加塔基窗口得到窗口函數(shù)fLR，m，LR代表低分辨率，m代表第m幅低分辨率圖像，將所有低分辨率圖像進(jìn)行傅里葉變換得到FLR，m，計(jì)算每幅待配準(zhǔn)圖像fm（m=2，3，…，M），關(guān)于參考圖像f1的旋轉(zhuǎn)角度：計(jì)算圖像的極坐標(biāo)（r，θ），對(duì)于任意角度α，計(jì)算相應(yīng)的[5]中定義的旋轉(zhuǎn)角度hm（α），hm（α）每隔0.1°計(jì)算一次，然后在選定的區(qū)間內(nèi)尋找h1（α）和hm（α）的相關(guān)情況，找到滿足條件的旋轉(zhuǎn)角度。然后進(jìn)行平移參數(shù)配準(zhǔn)，計(jì)算待配準(zhǔn)圖像fm（m= 2，3，…，M）和參考圖像f1的相位差，然后計(jì)算相位差斜率Δx，并以此為未知數(shù)，列出平面線性方程，并用最小二乘法得到方程的解作為平移參數(shù)Δxm。

第二步：在運(yùn)動(dòng)估計(jì)之后，將配準(zhǔn)后的圖像映射到高分辨率網(wǎng)格上，采用非均勻空域樣本內(nèi)插法，得到一幅均勻分布的高分辨率圖像f0，作為以下步驟的初始估計(jì)。

第三步：對(duì)得到的高分辨圖像我們?cè)龠M(jìn)行進(jìn)一步地去噪去模糊，即對(duì)插值后的圖像f0進(jìn)行小波變換，計(jì)算Lf0，H1f0，H2f0，H3f0。將低分辨率圖像g進(jìn)行一級(jí)分解，得到低頻子帶S0和三個(gè)方向的高頻子帶即H1g，H2g，H3g。然后將高頻子帶H1g，H2g，H3g分別當(dāng)作低頻部分，相應(yīng)的高頻部分全部置零進(jìn)行逆變換得到分辨率增加一倍的高頻子帶S1，S2，S3。

圖像融合即將H1f0，H2f0，H3f0與S1，S2，S3進(jìn)行融合。得到相應(yīng)的高頻子帶S1′=tH1f0+（1-t）S1，S2′= tH2f0+（1-t）S2，S3′=tH3f0+（1-t）S3，t為權(quán)衡系數(shù)。

將處理過的高頻子帶進(jìn)行上述小波去噪處理。再將原始圖像當(dāng)作低頻部分結(jié)合融合后的高頻部分進(jìn)行小波逆變換得到超分辨率重建圖像f1。

5 實(shí)驗(yàn)分析

為了說明本文算法在超分辨率圖像重建上的優(yōu)越性，我們采用插值方法、迭代反投影法[13]、穩(wěn)健性重建方法[14]及本文的方法分別進(jìn)行圖像重建。選用峰值信噪比PSNR作為圖像重建質(zhì)量的客觀評(píng)價(jià)標(biāo)準(zhǔn)。關(guān)于PSNR的具體表達(dá)如下[12]：

其中f（i，j）為原圖像，f?（i，j）為重建圖像，N×N為原圖像尺寸。PSNR越大時(shí)，圖像的質(zhì)量越好。

實(shí)驗(yàn)1：實(shí)驗(yàn)選用512×512的Lena.jpg圖像作為原始圖像。首先進(jìn)行下采樣，得到256×256的低分辨率圖像，并且以此作為參考幀，對(duì)參考幀行平移和旋轉(zhuǎn)，可以得到包括參考幀在內(nèi)的一系列低分辨率圖像，本文選用4幀256×256的低分辨率圖像作為重建的依據(jù)，按照上述方法進(jìn)行重建，并依次選用非均勻內(nèi)插法、迭代反投影方法、穩(wěn)健性重建方法同本文的方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果如圖4所示：

圖4 算法比較

實(shí)驗(yàn)2：選用256×256的cameraman.jpg圖像作為原始圖像。首先進(jìn)行下采樣，得到128×128的低分辨率圖像，并且以此作為參考幀，對(duì)參考幀進(jìn)行平移和旋轉(zhuǎn)，可以得到包括參考幀在內(nèi)的一系列低分辨率圖像，本文選用4幀128×128的低分辨率圖像作為重建的依據(jù)，按照上述方法進(jìn)行重建，并依次選用非均勻內(nèi)插法、迭代反投影方法、穩(wěn)健性重建方法同本文的方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果如圖5所示：

實(shí)驗(yàn)結(jié)果表明，本文總結(jié)的基于小波的超分辨率圖像重建算法，在多幀圖像的超分辨率圖像重建中，有很一定的優(yōu)勢(shì)，在一定程度上避免了圖像模糊和邊緣鋸齒現(xiàn)象，圖像的重建質(zhì)量從視覺上有很好的效果，而對(duì)于客觀的評(píng)價(jià)標(biāo)準(zhǔn)峰值信噪比而言，本文的方法和幾種經(jīng)典的重建算法相比較，提高了峰值信噪比。而同單幀圖像的超分辨率圖像重建相比較，當(dāng)實(shí)驗(yàn)條件相同，我們可以看出多幀圖像的超分辨率圖像重建無論是從視覺效果還是從峰值信噪比對(duì)的結(jié)果而言，都有一定的優(yōu)勢(shì)，這是因?yàn)榇亟ǖ亩鄮头直媛蕡D像包含的信息量大，可以利用的信息量比單幀多，重建的效果自然會(huì)增強(qiáng)。

圖4 算法比較

表1 Lena圖像和cameraman圖像的重建結(jié)果的PSNR值單位（dB）

6 結(jié)束語

超分辨重建技術(shù)自產(chǎn)生以來發(fā)展迅速，隨著圖像處理技術(shù)的日益推廣，該技術(shù)越來越成為圖像處理領(lǐng)域研究的熱點(diǎn)，在幾十年的時(shí)間里，無論是國(guó)外還是國(guó)內(nèi)研究領(lǐng)域里都取得了重要的研究成果，超分辨重建技術(shù)有很重要的研究意義和實(shí)用價(jià)值。本文介紹的多幀圖像重建方法在配準(zhǔn)時(shí)候采用了Vandewalle配準(zhǔn)方法并結(jié)合了小波和迭代方法的優(yōu)勢(shì)來重建圖像，從而得到了分辨率提高的圖像，并且圖像很好的保持了圖像的原有特征，也達(dá)到了很好的峰值信噪比。

［1］ 張良培，沈煥鋒，張洪艷，袁強(qiáng)強(qiáng).圖像超分辨率重建[M].北京：科學(xué)出版社，2012.8.

［2］ 孫濤.光學(xué)遙感影像復(fù)原與超分辨率重建[M].北京：國(guó)防工業(yè)出版社，2012.7.

［3］ 王會(huì)鵬.多幀圖像超分辨率重建算法研究[D].河南：解放軍信息工程大學(xué)，2010.4.

［4］ 唐曉初.小波分析及其應(yīng)用 [M].重慶：重慶大學(xué)出版社，2005.

［5］ Patrick Vandewalle，Sabine Susstrunk，Martin Vetterli.A Frequency Domain Approach to Registration of Aliased Images with Application to Super-resolution[J].Applied Signal Processing.2006，4：1-14.

［6］ 何進(jìn)榮.基于加權(quán)范數(shù)迭代算法的總變差正則化圖像復(fù)原方法：[D].武漢：武漢理工大學(xué)，2009.

［7］ 敬忠良，肖剛，李振華.圖像融合理論與應(yīng)用[M].北京；高等教育出版社，2007.10.

［8］ Raymond，H.Chan.Tony，F(xiàn).Wavelet Algorithms for High-Resolution Image Reconstruction[J].SIAM J.SCI.Comput. Vol.24（2003）：1408-1432.

［9］ Hongjiu T，Xinjian T，Jian L，et al.Super-resolution Remote Sensing Image Processing Algorithm Based on Wavelet Transform and Interpolation[J].Proceedings of SPIE，2003，4898：259-263.

［10］唐磊.多幀圖像超分辨率重建算法研究[D].浙江：浙江大學(xué)，2011.1.

［11］張明.圖像超分辨率重建和插值算法研究[D].北京：中國(guó)科學(xué)技術(shù)大學(xué)，2010.5.

［12］張?zhí)m.多幀圖像超分辨率重建關(guān)鍵技術(shù)研究 [D].天津：天津理工大學(xué)，2010.12.

［13］A.Rav-Acha，A.Zomet and S.Peleg，Robust Super-Resolution[J].Proceedings international conference on computer vision and pattern，recognition（CVPR），2001.Vol.I，pp.645-650.

Research on Multi-frame Images Super-resolution Reconstruction

WANG Jing，WU Ai-di
（School of Science，Tianjin University of Technology and Education，Tianjin，300222，China）

Multi-frame super-resolution image reconstruction refers to image processing which produce high resolution image from a set of distortion，blurring and down-sampling images.This technique fuses these low resolution sequences at pixel level to achieve a high resolution image.The steps are divided into:motion estimation，interpolation processing，image reconstruction.We apply the Vandewalle registration method to estimate motion parameter，then map to a high-resolution grid by interpolation.At last，the algorithm combined with the wavelet and iteration to reconstruct the super-resolution image.At the same time，we applied the method of wavelet threshold de-noising.The experiment results show that this algorithm improves the resolution and PSNR.It is a useful method of Super-resolution image reconstruction.

Super-resolution reconstruction；Motion estimation；Interpolation；Wavelet transform；Threshold de-noising

T

A

2095－0926（2014）04－0001－04

2014-00-00

天津市應(yīng)用基礎(chǔ)及前沿技術(shù)研究計(jì)劃項(xiàng)目（12JCYBJC10600）

王 靜（1988—），女，碩士研究生；吳愛弟（1963—），男，教授，碩士生導(dǎo)師，研究方向?yàn)閳D像處理、地震信號(hào)等.