李 躍，許少秋

（廣東工業(yè)大學(xué)信息工程學(xué)院，廣東廣州 510006）

0 引言

隨著數(shù)字圖像處理技術(shù)的發(fā)展，圖像超分辨率重建應(yīng)用領(lǐng)域及其寬廣，在軍事、醫(yī)學(xué)、公共安全和計(jì)算機(jī)視覺(jué)等方面都存在著重要的應(yīng)用前景。圖像超分辨率算法可分為多幀超分辨率算法和單幀超分辨率算法，由于基于多幀的超分辨率算法不僅利用了單幀圖像的信息，還利用不同圖像之間類似又不完全相同的性質(zhì)，比單幀的超分辨率算法處理效果更好。例如基于非局部POCS的超分辨率圖像重建[1]，利用一幀圖片中的重復(fù)的局部結(jié)構(gòu)塊得到冗余信息從而銳化邊緣，得到質(zhì)量較高的圖像。還有利用多幀圖像序列的相似性進(jìn)行矩陣填充和矩陣恢復(fù)獲得高分辨率圖像[2]，也能得到不錯(cuò)的效果。但在很多現(xiàn)實(shí)情況下，由于存在各種條件的限制，無(wú)法在同一個(gè)場(chǎng)景獲得多幀圖像，所以基于單幀的超分辨率研究是非常有必要的，也越來(lái)越受到重視。

本文是研究基于插值提高單幀圖像分辨率的算法。由于傳統(tǒng)插值算法沒(méi)有考慮邊緣的特性，圖像經(jīng)過(guò)處理后在邊緣處存在模糊的現(xiàn)象，影響圖像的質(zhì)量。一些基于邊緣的插值算法例如ICBI[3]雖然也考慮了邊緣的特性，但是存在計(jì)算量大，無(wú)法進(jìn)行任意倍數(shù)放大等缺陷。本文提出一種基于邊緣定向的插值算法。通過(guò)計(jì)算圖像非平坦區(qū)邊緣的主導(dǎo)方向，在該區(qū)待插值位置沿著主導(dǎo)方向進(jìn)行線性插值。而對(duì)于平坦區(qū)域則直接采用線性插值。該方法計(jì)算簡(jiǎn)單，插值不受邊緣方向的限制，并可進(jìn)行任意倍數(shù)的圖像放大。本文結(jié)構(gòu)安排如下：第二部分介紹傳統(tǒng)插值算法；第三部分介紹拉普拉斯濾波增強(qiáng)；第四部分介紹基于邊緣定向的插值算法；第五部分是實(shí)驗(yàn)結(jié)果與分析；最后是結(jié)論。

1 傳統(tǒng)線性插值算法

圖像插值是圖像處理的重要內(nèi)容之一，就是利用鄰近像素點(diǎn)的灰度值得到待插點(diǎn)的灰度值，從而使一幅低分辨率的圖像經(jīng)過(guò)處理得到分辨率更高的圖像。

傳統(tǒng)雙線性插值算法，對(duì)于一個(gè)目的像素，設(shè)置坐標(biāo)通過(guò)反向變換得到的浮點(diǎn)坐標(biāo)為(i+u，j+v)，其中 i、j均為非負(fù)整數(shù)，u、v為 [0，1]區(qū)間的浮點(diǎn)數(shù)，如圖1所示，像素值f(i+u，j+v)可由原圖像中(i，j)、(i+1，j)、(i，j+1)、(i+1，j+1)的像素值決定，即：

其中 f（i，j） 表示源圖像 （i，j） 處的像素值。

圖1 待插像素與周圍像素

（雙線性內(nèi)插法）只考慮待插值點(diǎn)周圍四個(gè)直接鄰點(diǎn)的影響，具有低通濾波器的性質(zhì)，導(dǎo)致圖像的高頻分量受損，并且只在水平和垂直方向上插值，沒(méi)有考慮邊緣的方向性，使插值后圖像的邊緣變得模糊（如圖2所示）。

圖2 荷花用Bilinear放大四倍的效果圖

2 拉普拉斯預(yù)處理

由于插值算法通常是根據(jù)周圍像素得到目標(biāo)像素，對(duì)圖像有一定的平滑作用，會(huì)使圖像的細(xì)節(jié)丟失，所以在插值之前先用拉普拉斯濾波，增強(qiáng)圖像的細(xì)節(jié)，緩解插值帶來(lái)的平滑效果。拉普拉斯濾波結(jié)果g(x，y)定義如下：

式（2）-（4）中f（x，y）為圖像像素值。

3 基于邊緣定向的插值算法

本文提出一種基于邊緣定向的線性插值算法，只需計(jì)算非平坦區(qū)域的主導(dǎo)邊緣方向，在待插值位置沿該邊緣方向進(jìn)行插值就可以得到未知像素。

如圖1所示，4個(gè)像素點(diǎn)(x，y)、 (x，y+1)、(x+1，y)、(x+1，y+1)構(gòu)成一個(gè)插值區(qū)域。利用圖3模板分別計(jì)算像素點(diǎn)水平和垂直方向的梯度分量Gx、Gy。

如果插值區(qū)域中像素點(diǎn)梯度分量|Gx|或|Gy|高于某個(gè)閾值，則該區(qū)域設(shè)為非平坦區(qū)，否則為平坦區(qū)。通常閾值可設(shè)置為0。平坦區(qū)可直接利用公式（1）進(jìn)行插值。

圖3 梯度計(jì)算模板

由于圖像邊緣方向所在直線與梯度方向所在直線互相垂直，定義邊緣方向?yàn)樗谥本€與水平軸正方向的逆時(shí)針夾角，取值范圍為[0，π]。在非平坦區(qū)域中，區(qū)域的邊緣主導(dǎo)方向θd可定義為：

其中，n為區(qū)域像素點(diǎn)個(gè)數(shù)。

如圖4所示，在非平坦區(qū)待插值位置沿邊緣主導(dǎo)方向進(jìn)行插值，存在6種可能的情況。圖5給出其中一種情況的詳細(xì)表示。如圖5所示，通過(guò)待插值點(diǎn)畫一條平行于區(qū)域邊緣主導(dǎo)方向的直線，分別交區(qū)域邊緣ab和ad于e和f兩點(diǎn)。e點(diǎn)像素值可由a、b兩點(diǎn)通過(guò)線性插值獲得，同樣地，f點(diǎn)像素值可由a、d兩點(diǎn)通過(guò)線性插值獲得。最后待插值點(diǎn)o的像素值可依據(jù)e、f兩點(diǎn)通過(guò)線性插值獲得。圖4中其他情況插值操作類似。

基于邊緣定向插值算法首先判斷待插點(diǎn)所在區(qū)域是否處于平坦區(qū)，如果是則直接利用線性插值，如果不是則確定區(qū)域邊緣的主導(dǎo)方向，在待插值位置沿該方向進(jìn)行線性插值。

圖4 邊緣定向插值可能存在的情況

圖5 插值例子

4 實(shí)驗(yàn)結(jié)果與分析

為了客觀地評(píng)估本文算法，采用Berkeley分割圖像庫(kù)（http://www.eecs.berkeley.edu）以及GPR[4]中的圖片，在MATLAB環(huán)境下比較其他算法（包括Bilinear，ICBI[3]和GPR[4]）與本文算法在視覺(jué)上以及數(shù)值上（采用評(píng)估指標(biāo)SSIM[5]和PSNR)的不同。

如圖6-9所示，從視覺(jué)效果來(lái)說(shuō)，Bilinear算法圖片細(xì)節(jié)比較模糊，在保持邊緣平滑方面沒(méi)有其他算法好，GPR算法細(xì)節(jié)清晰，但其運(yùn)行結(jié)果容易出現(xiàn)一些原圖沒(méi)有的人造細(xì)節(jié)，ICBI邊緣平滑效果比Bilinear好，細(xì)節(jié)模糊方面有所改善，但效果沒(méi)本文算法好。從數(shù)值上來(lái)看，由于SSIM和PSNR值越高表示算法越優(yōu)越，從圖6和8可以看出本文算法性能良好，運(yùn)行時(shí)間也較低。

圖6 clock用4種算法放大2倍的效果圖

圖7 圖6中選擇區(qū)域的細(xì)節(jié)放大圖

圖8 蝴蝶用4種算法放大4倍的效果圖

圖9 圖8中選擇區(qū)域的細(xì)節(jié)放大圖

表1和表2分別列出Barkeley分割圖像庫(kù)圖片放大兩倍和四倍的平均SSIM、PSNR和運(yùn)行時(shí)間值。可以看出，不管用什么算法進(jìn)行插值，放大倍數(shù)越大，SSIM和PSNR的值越小，失真越嚴(yán)重。GPR算法雖然效果較好，但運(yùn)行時(shí)間最長(zhǎng)。

表1 放大2倍下的數(shù)據(jù)平均值

表2 放大4倍下的數(shù)據(jù)平均值

5 結(jié)論

本文提出了一種基于邊緣定向的插值算法來(lái)實(shí)現(xiàn)單幀圖像超分辨率。在非平坦區(qū)待插值位置沿著區(qū)域邊緣的主導(dǎo)方向進(jìn)行線性插值。在平坦區(qū)域直接采用線性插值。該方法計(jì)算簡(jiǎn)單，可進(jìn)行任意倍數(shù)的圖像放大，結(jié)果顯示該算法相對(duì)Bi?linear、GPR和ICBI具有一定的優(yōu)越性。

［1］龔昌來(lái)，羅聰，楊冬濤，等.一種基于邊緣方向的雙線性插值方法［J］.激光與紅外，2010，40（7）：788-791.

［2］張煜東，吳樂(lè)南.單幀圖像的超分辨率技術(shù)進(jìn)展［J］.光學(xué)技術(shù)，2008，34（增刊）：43-45，48.

［3］ Andrea Giachetti，Nicola Asuni.Fast artifacts-free im?age interpolation［A］.Proceedings of the British Ma?chine Vision Conference 2008［C］.2008：123-132.

［4］He He，Wan-Chi Siu.Single image super-resolution us?ing Gaussian process regression［A］.Computer Vision and Pattern Recognition ［C］.IEEE Conference on 2011：449-456.

［5］ Zhou Wang，Bovik，Sheikh，Simoncelli.Image quality assessment：from error visibility to structural similarity［J］.Image Processing，IEEE Transactions on，2004，13（4）：600-612.

［6］ Wing-Shan Tam，Chi-Wah Kok，Wan-Chi Siu.Modi?fied edge-directed interpolation for images［J］.Journal of Electronic Imaging， 2010， 19 （1） ：013011.1-013011.20.

［7］ Schultz R.R.，Stevenson R.L.A Bayesian approach to image expansion for improved definition［J］.Image Pro?cessing，IEEE Transactions on，1994，3（3）：233-242.

［8］C.Robert Appledorn.A new approach to the interpolation of sample data。［J］.Medical Imaging，IEEE Transac?tions on，1996，15（3）：369-376.

［9］ Luming Liang.Image interpolation by blending kernels［J］.Signal Processing Letters， IEEE， 2008， 15：805-808.

［10］羅國(guó)中，殷建平，祝恩，等.基于非局部POCS的超分辨率圖像重建［J］.計(jì)算機(jī)科學(xué)，2014，41（8）：47-49，62.

［11］周春霞，吳錫生.基于方差和邊緣插值的鄰近點(diǎn)圖像修復(fù)算法［J］.計(jì)算機(jī)工程與應(yīng)用，2008，44（14）：184-186.

［12］王卓崢，賈克斌，劉帷.基于稀疏表示與矩陣填充的多幀超分辨率重建［J］.北京工業(yè)大學(xué)學(xué)報(bào)，2014，40（1）：38-42，48.