蔡 念， 張海員， 張 楠， 潘 晴

（廣東工業(yè)大學信息工程學院，廣東 廣州 510006）

基于小波的改進加權拋物線插值的圖像超分辨率算法

蔡 念， 張海員， 張 楠， 潘 晴

（廣東工業(yè)大學信息工程學院，廣東 廣州 510006）

為了盡可能地保持圖像的基本信息，提高圖像的視覺效果和空間分辨率，提出一種基于小波的改進加權拋物線插值算法，即在傳統(tǒng)的加權拋物線算法上增加插值的誤差補償項。利用sobel算子設定插值點的邊緣方向，得到初始放大圖像。利用小波變換提取高頻成份，原始圖像幅值增強充當?shù)皖l部分，再經(jīng)過小波逆變換得到高分辨率圖像。實驗結(jié)果表明，相對于傳統(tǒng)的圖像放大算法，該算法考慮到全局相關性，得到更加清晰的邊緣信息。

圖像放大；小波變換；誤差補償；超分辨

圖像插值是在不改變信息采集物理系統(tǒng)的前提下，利用低分辨圖像獲得高分辨率的圖像。圖像插值在遙感衛(wèi)星，氣象，醫(yī)學成像，電影制作，軍事等方面有著廣泛的應用。圖像插值放大可以增加數(shù)據(jù)量，但不能增加信息量，圖像放大技術只是為了改善圖像細節(jié)部分和空間分辨率[1]。

傳統(tǒng)的插值方式有最近鄰點插值，雙線性插值，和雙三次插值等[2-3]，這些方法均能實現(xiàn)圖像放大，但不能很好地抓住圖像的邊緣，亦未能考慮到圖像的邊緣與紋理方向，使得插值后的圖像邊緣模糊，有明顯的鋸齒現(xiàn)象，影響視覺效果。為了得到更好的邊緣信息和紋理特性，Li等[4]提出了以邊緣為方向(new edge-directed interpolation,NEDI)，利用鄰域統(tǒng)計和邊界信息進行插值。Cha[5]提出了一種基于雙線性插值誤差補償(edge-amended sharp edge, EASE)的圖像放大技術，該算法具有各向異性和邊緣自適應性，對雙線性插值進行誤差補償，在邊緣保護方面明顯優(yōu)于經(jīng)典插值方法。Liu[6]等提出了一種基于小波的雙線性插值迭代算法，利用被插值圖像像素點的全局相關性與高頻外推的原理實現(xiàn)插值。盡管這些方法能得到較清晰的紋理和邊緣，但是對于紋理細節(jié)豐富的圖像，不能體現(xiàn)出優(yōu)越性。

傳統(tǒng)插值方法與Li，Cha等人只考慮了被插值圖像局部像素點之間的關聯(lián)性，未考慮被插值圖像的全局相關性，將損壞圖像的高頻細節(jié)部分。近年來，圖像邊緣方向估計已成為圖像插值研究的熱點[6-7]。尤其小波變換能夠有效地估計邊緣方向，改善圖像的細節(jié)部分，因此小波理論在圖像插值領域得到了廣泛的應用[8-10]。本文對傳統(tǒng)的加權拋物線插值算法進行誤差補償，結(jié)合小波變換，充分利用被插值圖像像素點的全局相關性，提出一種基于小波的改進加權拋物線插值的圖像放大算法。

本文首先介紹經(jīng)典插值方法和插值誤差理論、利用拉格朗日插值和牛頓插值推導插值誤差補償項。其次，由一維信號的二倍插值出發(fā)，對拋物線插值的誤差補償項進行數(shù)學推導，進而推廣到任意倍數(shù)的放大；在對二維信號進行插值誤差補償時，借助于一維信號的插值方式，先對原二維信號的行和列進行插值點估計，對于不在原圖像行列上的點，借助sobel算子自適應估計。最后，為了利用全局相關性，采用自適應幅值增強的原始低分辨率圖像充當?shù)皖l部分，進行小波逆變換，得到重構(gòu)高分辨率圖像。改進的加權拋物線插值算法結(jié)合小波算法進行超分辨率重建，改善了圖像的細節(jié)部分，重建后的圖像能夠有效地保持原始圖像的高頻細節(jié)，同時也提高了圖像的空間分辨率。重建后的圖像更有利于人眼觀察的最佳圖像。

1 經(jīng)典插值方法及誤差補償理論

圖像插值可以理解為利用插值點周圍的鄰域像素點，加權估計位置插值點的灰度值[11]。最近鄰點插值法將采樣插值點鄰近4點中距離最近點的像素值作為插值點的像素值。雙線性插值法利用插值點周圍的4個鄰近點加權內(nèi)插作為該點的灰度值[2]，插值點f(i+u,j+v)可表示為

其中，f(i,j)為圖像在(i,j)處的灰度值，u、v為插值點距離(i,j)點的水平和垂直距離。雙三次插值方法先對圖像以行為方向，每4點為插值點進行三次插值，再以列為方向，每4點為插值點進行三次插值。

經(jīng)典的圖像插值方法源于拉格朗日插值方法和牛頓插值方法。設函數(shù)y=f(x)在區(qū)間[a, b]上有定義，在插值區(qū)間[a,b]，點x0，x1，…,xN為不同的插值節(jié)點，假設f(N+1)(x)對于任意的x∈[a,b]存在，利用N階插值多項式pN對函數(shù)f(x)進行插值，對于任一個x∈[a,b]，都有一個點ξ∈[a,b]使得

假設插值節(jié)點為均勻分布，并對于任意的M＞0 均有 maxx∈[a,b]|f(N+1)(x)|≤M, 則有

當N=1時，為兩點x0，x0+h之間的線性插值，在此兩點之間存在一個點ξ，使得

式(6)是線性插值的表達式。

當N=2時，為三點xi-1，xi，xi+1（xi-1＜xi＜xi+1,間距為h）之間的二次插值，插值節(jié)點為x∈(xi-1,xi+1)，則插值函數(shù)可以表示為

式(8)為拋物線插值的表達式。

2 加權拋物線插值誤差補償理論

2.1 加權拋物線插值

拋物線插值是經(jīng)過相鄰三點做一條二次曲線。假設存在已知函數(shù)y=f(x)，在相鄰兩點之間做插值，可以做出兩條不同的曲線，用加權方法融合兩條曲線做一條插值曲線。假如在x1,x2之間插入一點x，可以選擇x0,x1,x2和x1,x2,x3做插值曲線，其插值曲線分別為

2.2 拋物線插值誤差補償理論

2.2.1 一維信號的誤差補償

假設存在一維信號f，在其中選取點x∈(xi,xi+1)，如圖1，為了簡明，先設定x為xi,xi+1的中點，即x=(xi+xi+1)/2。

圖1 一維信號的誤差補償

假設對于任意的i,xi+1-xi=2，則式（7）變?yōu)?/p>

其中，ξ∈(xi,xi+1)，該誤差補償項是為了修補圖1中“○”和“□”之間的距離。因為ξ是一個未知量，所以該補償項無法直接計算。將xi設為xi-3,xi-1,xi+1的插值項，對于插值點xi的誤差補償項，作如下定義

其中，ξ1∈(xi-1,xi+1)，假如f(3)在(xi-3,xi+1)中變化不大，則通過式(15)和式(18)可以得到：Ri+1/2=(1/8)RL。

在假定三階導數(shù)f(3)在信號光滑區(qū)域變化不大的前提下，可以得到一維信號的拋物線誤差補償?shù)墓饺缦拢ㄒ苑糯髢杀稙槔?/p>

minmod這個函數(shù)決定了誤差修補的方向[5]。當RL,RR具有不同的符號的時候，說明在區(qū)間(xi,xi+1)存在著邊緣信息或者是轉(zhuǎn)折點；在兩者是同符號的時候，選取比較小的一個做誤差補償。這樣，拋物線插值誤差補償就能較好地估計f(xi+1/2)。

綜上，對于一維信號的拋物線誤差補償表達式可以歸結(jié)如下，假如將(xi,xi+1)區(qū)間分為k段，j=1,…,k-1,

其中Mi+j/k定義為在區(qū)間(xi-3,xi+1)中公式(8)與拋物線插值間的差值，估計點設為：xi-3+(j/k)*4h

2.2.2 二維圖像的誤差補償

圖2展示了一幅圖像的二倍放大，實心點表示低分辨率圖像的像素點，通過一維信號的拋物線插值誤差補償方法可以得到“□”的值，在計算出所有的“□”點之后，采用邊緣自適應的方法估計出中心“○”的值。為了估計邊緣方向，首先計算4個方向sobel算子的絕對值[5]

圖2 二維信號二倍放大的誤差補償示意圖

假設圖像的邊緣具有局部雙線性，可以得出邊緣方向是在最小的兩個sobel算子之間，并且更小的兩個方向是毗鄰的，相差 45o。用Sp,Sq代表較小的兩個sobel算子值，分別是水平/豎直方向和 45o/135o方向

則中心“○”點的計算公式可以定義[5]為

3 二維離散小波變換

將一維小波變換推廣到二維小波變換，可以簡單地理解為將二維小波寫成兩個一維小波變換的乘積。Mallat提出了小波的快速分解和重構(gòu)的算法[12-13]。其原理是：快速小波分解利用兩個一維濾波器對二維圖像實現(xiàn)，圖像重構(gòu)是利用分解時的兩個一維濾波器的鏡像濾波器。分解過程為

4 算法描述

1） 利用加權拋物線插值誤差補償算法對原始低分辨率圖像進行插值放大，得到圖像I1。

將圖像進行插值放大，在原圖像行或列上的點利用式(20)進行插值放大，對于對角線上的點利用式(28)進行估計。

2） 對圖像I1進行小波變換分解。本文采用sym4小波變換，得到一個低頻部分，3個高頻部分。一次小波分解為

3） 對于I1圖像小波分解之后的高頻成分I1H、I1V、I1D保留不變；對原始低分辨率圖像進行線性變換，利用低頻部分I1L的小波系數(shù)和I1的數(shù)值關系，自適應幅值增強,得到新的低頻部分I2L。

4） 利用新得到的低頻部分和I1圖像小波分解之后的高頻成分進行小波逆變換得到圖像I3

5 實驗結(jié)果

為了證明基于小波的改進加權拋物線插值誤差補償算法的優(yōu)越性，本文分別對紋理簡單的人工合成圖像，紋理中等的 Lena圖像，紋理較復雜的猴臉圖像（圖3），進行了NEDI放大，EASE放大，小波雙線性，小波加權拋物線插值誤差補償放大（本文實驗以 2×2放大為例，詳見圖 4～圖 6）。

圖3 樣本圖片

為了比較采用不同放大方法得到的圖像，避免過多的主觀因素，本文采用平均梯度和信息熵來定量分析圖像放大后的效果。平均梯度T的定義為

其中，M,N是指圖像f的長與寬。平均梯度能很好的反應圖像的紋理信息及邊緣清晰度。

信息熵反應圖像包含信息量的多少，反應細節(jié)的豐富程度，定義如下

圖4 人工合成圖像的放大圖像

圖5 lena圖像的放大圖像

圖6 猴臉圖像的放大圖像

由圖4～圖6可以看出，EASE考慮了邊緣的方向，能得到較好的邊緣信息，但是未考慮像素點的全局相關性。小波雙線性插值考慮了像素點的全局相關性，提高了圖像的空間分辨率，但是在邊緣方向估計上缺少自適應性。本文算法對加權拋物線插值的誤差項進行自適應修補，并借助小波利用了像素點的全局相關性，可以得到清晰的紋理細節(jié)，從而提高圖像的視覺效果。因此，在直觀視覺上看，本文算法明顯優(yōu)于EASE，與小波雙線性差別不大。

通過定量分析（見表1）可以看出，本文算法得到的平均梯度遠大于其他算法，更能反映圖像紋理特征的變化。對于紋理越復雜的圖像，該算法更能體現(xiàn)出優(yōu)越性。

表1 圖像放大效果客觀評價

6 結(jié) 論

本文提出一種改進的加權拋物線插值算法，并結(jié)合小波算法進行超分辨率重建，提高了圖像的平均梯度，得到了更好的圖像的空間分辨率、紋理信息和邊緣清晰度；相比于其他圖像放大算法，本文算法能獲得更高的信息熵，減少了圖像基本信息的損失。本文算法放大倍數(shù)靈活，可以一次得到任意倍數(shù)放大的圖像。實驗結(jié)果表明，該算法優(yōu)于傳統(tǒng)的插值算法，可以廣泛應用于計算機制圖，遙感圖像處理等圖像放大領域。

[1]劉志剛, 劉代志. 基于小波變換的圖像放大方法再討論[J]. 中國圖象圖形學報, 2003, 8A (4)：403-408.

[2]Castleman K R. Digital Image Processing [M]. Engle Cliffs, NJ：Prentice Hall, 1996.

[3]Parker J A, Kenyon R V, Troxel D E. Comparison of interpolating methods for image resampling [J]. IEEE Trans. Medical Imaging, 1983, 2 (1)：31-39.

[4]Xin Li and Michacl T. New edge directed interpolation [J].IEEE Trans. Image Processing, 2001, 10(10)：1521-1527.

[5]Youngjoon Cha and Seongjaj Kim. The error-amended sharp edge (EASE) scheme for image zooming [J].IEEE Trans. Image Processing, 2007, 16(6)：1496-1505.

[6]Min Li, Truong Q Nguyen. Markov random field model-based edge-directed image interpolation [J].IEEE Trans. Image Processing, 2008, 17 (7)：1121-1128.

[7] Chuanbai Xiao, Yanchao He, Jing Yu. A highefficiency edge-preserving Bayesian method for image interpolation [C]//ICSP2008, 2008：1042-1046.

[8]Liu Bo, Qu Youshan, Feng Guilan, etal. Maximal PSNR wavelet bi-linear interpolation iterative algorithm in remote sensing image [J]. ACTA Photonica Sinica, 2006, 35(3)：468-472.

[9]Temizel A and Vlachos T. Wavelet domain image resolution enhancement [J]. IEEE Proceedings-Vision and Signal Proceedings, 2006, 153(2)：25-30.

[10]Xiongbo Zheng, Xiaowei Zhang, Zhijuan Weng. A novel multiwavelet-based interpolation algorithm of images [C]//2009 Int. Conf. Wavelet Analysis and Pattern Recognition, Baoding, 2009：281-286.

[11]程光權, 成禮智. 基于小波的方向自適應圖像插值[J].電子與信息學報, 2009, 31(2)：265-269.

[12]Mallat S G. A theory for multiresolution signal decomposition：the wavelet representation [J]. IEEE Trans. Pattern Analysis and Machine Intelligence,1989, 11(7)：674-693.

[13]Jo Y T, Shen L X, Seng L L, et al. A general approach for analysis and application of discrete multi-wavelet transform [J]. IEEE Trans. Signal Processing, 2000,48(2)：457-464.

Using improved weighted parabolic interpolation and wavelet transformation to zoom images for super-resolution

Cai Nian, Zhang Haiyuan, Zhang Nan, Pan Qing
( School of Information Engineering, Guangdong University of Technology, Guangzhou Guangdong 510006, China )

In order to preserve the basic information of images and to improve their visual performance and space resolution, a novel image zooming algorithm is proposed by using improved weighted parabolic interpolation and wavelet transformation which incorporates the error-amended part into the classical weighted parabolic interpolation algorithm. Directions of interpolation points are determined by the Sobel operator, then a preliminary zoomed image is obtained. High-frequency components are got by a wavelet transformation, and low-frequency components are replaced by the enhanced amplitude of the original image. At last, a high-resolution image is achieved by inverse wavelet transformation. The experimental results indicate that, compared with traditional image zooming algorithms, this algorithm can get clearer and sharper edges due to considerations of global pixels correlation of the original image.

image zooming; wavelet transformation; error-amended sharp edge scheme;super-resolution

TP 391

A

1003-0158(2012)01-0050-06

2010-05-14

國家自然科學基金資助項目（61001179）；廣東省自然科學基金資助項目（07301038，9451009001002667）

蔡 念（1976-），男，安徽馬鞍山人，副研究員，博士后，主要研究方向為圖像處理、模式識別等。