劉一方12張云峰12郭 強12張彩明12

（1.山東財經(jīng)大學(xué)計算機科學(xué)與技術(shù)學(xué)院，山東濟南 250014；2.山東省數(shù)字媒體重點實驗室，山東濟南 250014）

人眼視覺感知模型指導(dǎo)的有理函數(shù)圖像插值

劉一方1，2，張云峰1，2，郭 強1，2，張彩明1，2

（1.山東財經(jīng)大學(xué)計算機科學(xué)與技術(shù)學(xué)院，山東濟南 250014；2.山東省數(shù)字媒體重點實驗室，山東濟南 250014）

基于有理函數(shù)模型提出了一種新的自適應(yīng)圖像插值算法.此類有理函數(shù)具有簡單顯性數(shù)學(xué)表達式，且含有可調(diào)參數(shù).當兩個參數(shù)都等于1時，有理函數(shù)變?yōu)殡p三次插值函數(shù).基于有理函數(shù)構(gòu)造圖像插值曲面，原始圖像通過等值線分析自適應(yīng)地分解為平滑和邊緣兩部分.其中自適應(yīng)閾值根據(jù)有理函數(shù)構(gòu)造原理來確定，思路是將人眼視覺感知與圖像結(jié)構(gòu)相融合，對于像素結(jié)構(gòu)簡單視覺關(guān)注度低的平滑區(qū)域，采用雙三次插值.對于像素結(jié)構(gòu)復(fù)雜視覺關(guān)注度高的邊緣區(qū)域，采用有理插值處理，參數(shù)由人眼對比敏感特性來確定.實驗表明，該算法細節(jié)信息保持優(yōu)于當前經(jīng)典的圖像插值算法，具有較好的視覺效果.

有理函數(shù)；圖像插值；人眼對比敏感度；等值線分析；參數(shù)自適應(yīng)優(yōu)化

圖像插值是圖像處理中的關(guān)鍵技術(shù).低分辨率圖像通過插值可以得到高分辨率圖像，其主要目的是保持銳利的邊緣和紋理，同時防止塊現(xiàn)象、模糊現(xiàn)象等其他人工痕跡出現(xiàn).文獻［1-12］已經(jīng)提出了一些插值方法.在這些算法中，最簡單最常用的插值方法為傳統(tǒng)插值，如最近鄰、雙線性、雙三次和三次樣條插值等.這些傳統(tǒng)方法都具有相對較低的運算復(fù)雜度，但是根據(jù)核函數(shù)近似的效果會不同程度地引入走樣、模糊、鋸齒等.

為了解決上述問題，學(xué)者們提出了很多自適應(yīng)圖像插值方法.邊緣指導(dǎo)插值方法［4］對圖像放大有良好的視覺主觀質(zhì)量.但此方法由于協(xié)方差估計窗口固定，不能適應(yīng)不同像素結(jié)構(gòu)的變化.基于此，文獻［5］提出一種可變窗口大小的插值方法，能夠更好地適應(yīng)像素結(jié)構(gòu).但這些基于協(xié)方差的插值算法普遍具有很高的運算復(fù)雜性［7］.文獻［6］提出一種軟決策的插值技術(shù)，這種方法不是一次估計一個未知像素，而是一次估計出一組像素.然而，大部分自適應(yīng)的插值方法都是基于離散的思想來插值，不能夠放大任意倍數(shù)，而且時間復(fù)雜度較之傳統(tǒng)方法要復(fù)雜的多，這在圖像的實際應(yīng)用中是不方便的.

本質(zhì)而言，圖像插值是把離散圖像采樣數(shù)據(jù)還原為連續(xù)的灰度曲面.用連續(xù)函數(shù)對圖像進行插值，可以在處理后重采樣進行任意倍數(shù)的放大和旋轉(zhuǎn).學(xué)者們提出了很多構(gòu)造連續(xù)面片的自適應(yīng)插值方法，能夠保持邊緣和輪廓.例如，文獻［8］提出一種基于自適應(yīng)切觸有理插值函數(shù)的插值方法，該自適應(yīng)切觸有理函數(shù)是對理想插值核函數(shù)的近似.最近，文獻［11-12］研究了一類含參的雙變量有理插值函數(shù)，該有理函數(shù)能夠很好地反映圖像中臨近點的像素結(jié)構(gòu)，并且能夠在不改變插值數(shù)據(jù)的情況下通過調(diào)整參數(shù)來調(diào)整曲面的形狀，在圖像插值中可以保持較好的細節(jié)信息.

圖像插值實際上是一個客觀（圖像）和主觀（視覺感知）相統(tǒng)一的過程，人們越來越重視人眼視覺特性在圖像插值中的作用.根據(jù)人眼視覺系統(tǒng)（Human Visual System，HVS），不同的圖像結(jié)構(gòu)會導(dǎo)致不同的觀察效果.較之平滑區(qū)域，人眼對高對比度區(qū)域更加敏感.文中把圖像插值與人眼視覺感知相結(jié)合，提出一種新的含參數(shù)的有理函數(shù)插值模型.在插值數(shù)據(jù)不變的條件下，通過改變參數(shù)可以調(diào)整插值函數(shù)的數(shù)值大小，改變插值曲面的形狀.基于此有理函數(shù)進行圖像插值，首先利用等值線分析將圖像自適應(yīng)地分解為平滑區(qū)域和非平滑（邊緣）區(qū)域，分解閾值根據(jù)函數(shù)構(gòu)造原理自適應(yīng)選擇.在圖像的平滑區(qū)域，采用參數(shù)為1的有理插值（雙三次插值）；在邊緣區(qū)域，將有理插值函數(shù)與人眼視覺感知特性相匹配，自適應(yīng)地調(diào)整優(yōu)化有理函數(shù)的參數(shù)，以滿足人眼對比敏感度的視覺需求.實驗結(jié)果表明，自適應(yīng)插值取得較好的主觀效果和客觀評價數(shù)值.

圖1　有理函數(shù)圖像插值模型圖

1 背景知識

1.1雙變量有理函數(shù)插值

文獻［11-12］研究了基于函數(shù)值的含參雙變量有理插值，這類插值函數(shù)具有分段的顯式數(shù)學(xué)表達式，可以由基函數(shù)表示.給定一幅m×n的圖像I，令fi，j（0＜i＜m，0＜j＜n）為I內(nèi)i行j列的灰度值，像素坐標為（i，j）.對圖像中的任意點fi，j，圖1中矩形單位中的黑點所在面片的函數(shù)表達式為

其中，ωr，s（θ，α；η，β）=ωr（θ，α）ωs（ η，β），且

其中，ω0（η，β）=ω0（η，α），ω1（η，β）=ω1（η，α），ω2（η，β）=ω2（η，α）.ωr，s，r，s=0，1，2，被稱作雙變量插值函數(shù)的基函數(shù).

1.2人眼對比敏感度

人類視覺系統(tǒng)（HVS）是一個高度復(fù)雜的非線性系統(tǒng).人眼對于空間的不同對比度的敏感度是一個重要的感知問題.韋伯定理是視覺感知的基本原則.韋伯定理簡單來說，即感覺的差別閾限隨原來刺激量的變化而變化，即增加量閾值與原來強度之比是一個常數(shù).文獻［13］研究了由遵循韋伯定理的人眼閾上對比敏感函數(shù)導(dǎo)出的最優(yōu)化視覺約束問題，人眼對比度的感知與局部亮度差異是有直接關(guān)系的，局部亮度差異表示為圖像像素點的梯度.記C為局部對比度增強閾值，對比度感知變化為超出差別閾值，則?C和C關(guān)系為?CC=μ，其中μ是常數(shù).這意味著要達到對比度增強可視效果，高亮度的區(qū)域需要更高的對比度增加值.文中把圖像的局部對比度看做與圖像的局部梯度是成比例的，即C∝?I?x，其中I表示圖像，C是對比度.易知，一幅圖像各個部分要達到相同的對比度感知增強，大的梯度比小梯度區(qū)域需要有更多拉伸.實際上，拉伸應(yīng)該遵循對比度增強與原始梯度成比例這一原則.因此，?I′?x≥（1+μ）（?I?x），其中，I′是對比度增強圖像.

2 基本算法

一般而言，插值處理速度和插值質(zhì)量之間總是矛盾的.常用的方法是在不同的區(qū)域采用不同的插值函數(shù).但大部分混合算法采用的區(qū)域檢測方法不是基于插值函數(shù).由于圖像具有自然屬性，它內(nèi)在的屬性在不同程度上不可避免地受所用方法的影響.不一致的邊緣檢測算法和插值算法可能會破壞圖像的內(nèi)在自然屬性.因此，筆者首先提出一種新的插值模型來解決這個問題，邊緣區(qū)域和平滑區(qū)域的檢測模型是基于此插值模型的.然后針對檢測出來的不同區(qū)域，選定不同的參數(shù)進行插值.

2.1圖像自適應(yīng)分解濾波

對圖像來說，平滑區(qū)域像素結(jié)構(gòu)相對簡單，而邊緣區(qū)域像素結(jié)構(gòu)復(fù)雜，保存了豐富的信息，是圖像中最重要的區(qū)域，對圖像質(zhì)量有很大的影響.因此，插值算法要適應(yīng)邊緣區(qū)域復(fù)雜的像素結(jié)構(gòu).為了平衡插值質(zhì)量和處理速度，筆者把圖像分解為平滑區(qū)域和邊緣區(qū)域兩部分.

文中從插值函數(shù)的構(gòu)造模型出發(fā)，基于等值線繪制的原理，在每一個插值單位中繪制等值線.若在一個插值單位中存在等值線，則此部分就被認為是邊緣區(qū)域；反之，則認為是平滑區(qū)域.當插值數(shù)據(jù)之間像素灰度值相差比較大時，面片的起伏會比較大，就把起伏較大的面片定義為邊緣區(qū)域.圖像不同區(qū)域劃分的閾值為給定9個數(shù)據(jù)點的均值，自適應(yīng)檢測閾值λ為

其中，fr，s為給定數(shù)據(jù)集.

令Δxm，n=fm，n-λ，m，n=0，1，根據(jù)等值線分析，如果Δxm，n都是非正或非負，此區(qū)域就被認為是平滑區(qū)域；反之，則是邊緣區(qū)域.因此，可以通過等值線分析自適應(yīng)地對圖像進行分解濾波.

圖2表示在一個插值單位中，若4個頂角的符號不同，就屬于邊緣區(qū)域.為了防止二義性，在插值單位足夠小的前提下，假設(shè)在一個插值單位中最多有一個零點.

圖2　基于正負號的圖像邊界檢測示意圖

2.2基于人眼對比敏感度的參數(shù)最優(yōu)化

將圖像分解濾波得到的邊緣區(qū)域，采用人眼對比敏感度進行參數(shù)最優(yōu)化插值，對于每4個點組成的最小插值單元，都能夠建立一個由基函數(shù)表示的有理樣條插值函數(shù)P.因此，可以求得4個點組成曲面的梯度grad（P）.由1.2節(jié)可知，對于圖像來說要想滿足韋伯定理，梯度大的地方要有更大的拉伸.但文中為了增大局部對比敏感度，參數(shù)優(yōu)化方法為求得每個插值曲面梯度最大的α和β，使每一個面片的梯度符合人眼視覺感知對比度增強原理.

以下給出最大梯度max grad（P）的計算過程.曲面梯度可表示為

易得

上式可以表示為其等價形式max grad（P），s.t.α＞0，β＞0.從而求得α和β的數(shù)值.

需要指出的是，若最優(yōu)化后的參數(shù)在（x*，y*）點處P取得最大值P*，且P*＞255，P要重新定義為255PP*.這是因為對曲面的調(diào)整是有約束的，這是由曲面本身的構(gòu)造函數(shù)決定的.

3 實 驗

3.1曲面梯度控制

從人眼視覺感知敏感度出發(fā)，調(diào)整每個面片的梯度使之達到梯度最大，以符合人眼視覺感知對比度增強的效果.下面，討論不同的參數(shù)取值對曲面梯度的影響.給定一組數(shù)值:

在通常情況下，α和β的值可以選擇任意正實數(shù).令α=4.0，β=1.0，形成的曲面記做P1，圖3（a）為P1的插值曲面.顯然，當參數(shù)不同時，曲面的形狀也會相應(yīng)地改變，因此，曲面的梯度也會不同.通過計算可知，當α=0.01，β=4.21時，曲面梯度達到最大，記最優(yōu)曲面為P2.圖3（b）為P2的曲面形狀.圖3（c）和圖3（d）分別對應(yīng)圖3（a）和圖3（b）曲面中當y=0時的曲線形狀.對比可知，圖3（b）比圖3（a）更加陡峭，梯度更大.因此，可以通過調(diào)整參數(shù)控制曲面的彎曲程度以達到最大梯度，這樣更符合人眼對比敏感度規(guī)則.

圖3　曲面梯度控制示意圖

3.2圖像插值

如上文所述，通過函數(shù)模型繪制在一個單元區(qū)域內(nèi)的等值線，區(qū)分出圖像的平滑區(qū)域和邊緣區(qū)域.平滑和邊緣區(qū)域可以通過選擇同一個插值模型的不同參數(shù)來處理.在邊緣區(qū)域，需要對有理插值函數(shù)的參數(shù)自適應(yīng)優(yōu)化處理，使得曲面的梯度達到人眼對比敏感度增強目的.筆者選取6張圖像作為測試圖像.比較的算法是被很多文獻引用且比較過的算法:NEDI［4］，DFDF［7］，SAI［6］.

表1　不同算法客觀質(zhì)量評價數(shù)值

把高分辨率圖像下采樣得到對應(yīng)的低分辨率圖像，下采樣方法為隔行隔列下采樣.峰值信噪比（Peak Siginal to Noise Ratio，PSNR）是對圖像平均的質(zhì)量評價，所以首先采用PSNR對圖像進行客觀評價.而基于結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）評價是一種基于視覺感知的質(zhì)量評價方法，IW?SSIM評價方法是反映主觀感知的客觀質(zhì)量評價方法，也廣泛應(yīng)用在圖像質(zhì)量評價中.表1不同算法分別把低分辨率圖像重建為高分辨率圖像的PSNR，SSIM和IW?SSIM值.從數(shù)據(jù)上可以看出，在表1中，文中算法的平均PSNR，SSIM和IW?SSIM值是最高的.

PSNR和SSIM僅僅只是圖像客觀數(shù)值誤差的比較，也應(yīng)該考慮算法的主觀效果.圖4～圖6為各種算法對Lighttower，Couple和Dollar這3個圖中局部細節(jié)的插值效果.從圖中可以看出，NEDI和SAI算法在欄桿，門等部分出現(xiàn)了噪點和變形，如圖4和圖5所示.在圖5中，NEDI和SAI算法花瓶內(nèi)的花細節(jié)信息嚴重丟失.在圖6中，NEDI，DFDF和SAI算法使衣服上的紋理嚴重變形.與NEDI和SAI算法比較，文中算法有較好的視覺效果.而相對于DFDF算法，雖然視覺效果差不多，但是文中算法客觀質(zhì)量評價數(shù)值要好.盡管文中算法在時間復(fù)雜度上要高于比較算法，但有較好的圖像客觀質(zhì)量評價數(shù)值.所以，總體來說文中算法占優(yōu)勢.

圖4　Lighttower圖像比較圖

圖5　Couple圖像比較圖

圖6　Dollar圖像比較圖

4 結(jié) 論

文中提出一種基于含參有理函數(shù)的視覺感知自適應(yīng)插值算法.根據(jù)人眼對不同像素結(jié)構(gòu)的敏感度不同，自適應(yīng)地將圖像分解為平滑區(qū)域和邊緣區(qū)域.分解閾值通過有理函數(shù)構(gòu)造模型自適應(yīng)選擇.在平滑區(qū)域采用參數(shù)都為1的有理插值；邊緣區(qū)域采用最優(yōu)化有理函數(shù)參數(shù)的方法，使插值曲面滿足人眼對比敏感度要求.文中很好地將圖像像素結(jié)構(gòu)與人眼感知插值融合在一個模型里，整個插值過程是一個有機整體，能夠最大限度地保護圖像內(nèi)在自然屬性.含參有理函數(shù)的優(yōu)勢在于通過人眼感知規(guī)律來調(diào)節(jié)參數(shù)，以滿足人眼復(fù)雜的觀察要求.實驗證明，該算法具有良好的主觀和客觀效果.

［1］楊貞萍，牛海軍，丁磊.一種新的NSCT超分辨率圖像復(fù)原技術(shù)［J］.西安電子科技大學(xué)學(xué)報，2012，39（1）:34-37. YANG Zhenping，NIU Haijun，DING Lei.New Image Super-resolution Restoration Method by NSCT［J］.Journal of Xidian University，2012，39（1）:34-37.

［2］WANG L F，XIANG S M，MENG G F，et al.Edge-directed Single-image Super-resolution via Adaptive Gradient Magnitude Self-interpolation［J］.IEEE Transactions on Circuits and Systems for Video Technology，2013，23（8）:1289-1299.

［3］DONG W S，ZHANG L，LUKAC R，et al.Sparse Representation Based Image Interpolation With Nonlocal Autoregressive Modeling［J］.IEEE Transactions on Image Processing，2013，22（4）:1328-1394.

［4］LI X，ORCHARD M T.New Edge-directed Interpolation［J］.IEEE Transactions on Image Processing，2001，10（10）: 1521-1527.

［5］ASUNI N，GIACHETTI A.Accuracy Improvements and Artifacts Removal in Edge based Image Interpolation［C］// Proceedings of the 3rd International Conference on Computer Vision Theory and Applications:1.Setubal:Institude for Systems and Technologies of Information，Control and Communication，2008:58-65.

［6］ZHANG X，WU X.Image Interpolation by Adaptive 2-D Autoregressive Modeling and Soft-decision Estimation［J］. IEEE Transactions on Image Processing，2008，17（6）:887-896.

［7］ZHANG L，WU X.Image Interpolation via Directional Filtering and Data Fusion［J］.IEEE Transactions on Image Processing，2006，15（8）:2226-2238.

［8］HU M，TAN J Q.Adaptive Osculatory Rational Interpolation for Image Processing［J］.Journal of Computational and Applied Mathematics，2006，195（1）:46-53.

［9］WANG Q M，SHI W Z.Utilizing Multiple Subpixel Shifted Images in Subpixel Mapping with Image Interpolation［J］. IEEE Geoscience and Remote Sensing Letters.2013，11（4）:798-802.

［10］TANG Y，YUAN Y，YAN P，et al.Greedy Regression in Sparse Coding Space for Single-image Super-resolution［J］. Journal of Visual Communication and Image Representation，2013，24（2）:148-159.

［11］ZHANG Y F，BAO F X，ZHANG C M，et al.A Weighted Bivariate Blending Rational Interpolation Function and Visualization Control［J］.Journal of Computational Analysis and Applications，2012，14（7）:1303-1321.

［12］SUN Q H，BAO F X，ZHANG Y F，et al.A Bivariate Rational Interpolation Based on Scattered Data on Parallel Lines ［J］.Journal of Visual Communication and Image Representation，2013，24（1）:75-80.

［13］MAJUMDER A，IRANI S.Perception-based Contrast Enhancement of Images［J］.ACM Transactions on Applied Perception，2007，4（3）:17-39.

（編輯:李恩科）

Rational function for image interpolation based on human contrast sensitivity

LIU Yifang1，2，ZH ANG Yunfeng1，2，GUO Qiang1，2，ZH ANG Caiming1，2
（1.School of Computer Science and Technology，Shandong Univ.of Finance and Economics，Ji’nan 250014 China；2.Shandong Provincial Key Lab.of Digital Media Technology，Ji’nan 250014，China）

A new image interpolation algorithm based on the rational function model with both smoothing and surface constraints is proposed.The rational function has a simple and explicit expression with two parameters.The image edge regions can be detected adaptively by using contour analysis.Basically，the detective threshold is selected based on the rational function construction.Selecting different parameters in the rational function model，the edge regions and smooth regions are interpolated by bicubic interpolation and rational interpolation，respectively.The optimal rational interpolation parameters can be obtained with a set of exact solutions by solving a maximization problem based on the contrast sensitivity enhancement of human eyes.Experimental results demonstrate that the proposed method achieves competitive performance with the state-of-the-art interpolation algorithms，especially in image details features.

rational interpolation；image interpolation；human contrast sensitivity；contour analysis；adaptively optimize parameters

TP391.41

A

1001-2400（2016）01-0151-06

10.3969/j.issn.1001-2400.2016.01.027

2014-10-11 網(wǎng)絡(luò)出版時間：2015-04-14

國家自然科學(xué)基金資助項目（61373080，61202150，61202364）

劉一方（1990-），女，山東財經(jīng)大學(xué)碩士研究生，E-mail:sdliuyifang@163.com.

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/61.1076.TN.20150414.2046.027.html