詹　毅,李　夢(mèng)

(1.重慶工商大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,重慶 400067; 2.重慶文理學(xué)院群與圖的理論及應(yīng)用重點(diǎn)實(shí)驗(yàn)室,重慶 402160)

?

非局部特征方向圖像插值方法研究

詹毅1,李夢(mèng)2

(1.重慶工商大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,重慶 400067; 2.重慶文理學(xué)院群與圖的理論及應(yīng)用重點(diǎn)實(shí)驗(yàn)室,重慶 402160)

提出了一種非局部的特征方向圖像插值方法,有效地保持了插值圖像輪廓的光滑,抑制了圖像邊緣的模糊.這種方法把非局部Hessian矩陣的特征向量視為圖像特征方向,使圖像能量泛函沿這個(gè)方向進(jìn)行擴(kuò)散,其擴(kuò)散強(qiáng)度由圖像局部Hessian矩陣特征值參與控制.它克服了傳統(tǒng)方法以梯度方向指示圖像特征方向的局部性,使圖像能量泛函沿正確方向擴(kuò)散,避免了對(duì)圖像特征的模糊.數(shù)值實(shí)驗(yàn)結(jié)果顯示,該方法既能很好地重建插值圖像的邊緣,又不會(huì)在插值圖像中產(chǎn)生偽影或圖像邊緣失真.

非局部梯度;非局部曲率;總變差;變分方法;圖像插值

1　引言

圖像插值技術(shù)在現(xiàn)實(shí)生活的各個(gè)領(lǐng)域應(yīng)用廣闊,一直以來在理論研究和工程實(shí)踐中都有著廣泛地研究,其目的是從一幅低分辨率圖像通過算法產(chǎn)生相應(yīng)的高分辨率圖像.有的文獻(xiàn)也稱其為(單幅圖像)超分辨率重建.低分辨率圖像和高分辨率圖像之間的關(guān)系可以描述為

f=Hu

(1)

其中u表示高分辨率圖像,f表示低分辨率圖像,而矩陣H用來模擬圖像獲取過程中濾波和下采樣過程.事實(shí)上,由于矩陣H的零空間非零使得方程(1)是一個(gè)不適定逆問題(Ill-Posed Inverse Problem),這種問題通常在正則框架下求解.

由于總變差(Total Variation,TV)正則在圖像重建過程中保持圖像邊緣的不連續(xù)性,因而上述問題的解在有界變差函數(shù)空間中得到深入的研究.可以從物理學(xué)的觀點(diǎn)來解釋TV正則模型:能量擴(kuò)散被限制在只沿著圖像梯度正交的方向進(jìn)行.在TV正則框架下,方程(1)可以歸結(jié)為如下的最優(yōu)化問題

(2)

式(2)和它對(duì)應(yīng)的能量泛函大多用來實(shí)現(xiàn)圖像插值、圖像超分辨率重建[1,2]等.但是基于TV正則的能量擴(kuò)散問題的解是分段常數(shù)的,在圖像平坦區(qū)域容易產(chǎn)生階梯現(xiàn)象,這種現(xiàn)象已經(jīng)在圖像去噪問題中被學(xué)者所認(rèn)識(shí)[3].除了塊狀的解結(jié)構(gòu),在插值圖像中也會(huì)產(chǎn)生偽邊緣.

TV模型從形式上來說是Rudin等人[4]提出的如下最小化問題(簡(jiǎn)稱ROF模型)的一個(gè)特例(σ=0)

(3)

是一種有效的圖像恢復(fù)模型.許多文獻(xiàn)提出不同的算法求解上面的最優(yōu)化問題.

ROF方法以及與之相似的正則化方法通過懲罰導(dǎo)數(shù)來實(shí)現(xiàn),從本質(zhì)上來說是一種局部的方法.它只是懲罰圖像某個(gè)像素點(diǎn)處的灰度值和這點(diǎn)的導(dǎo)數(shù)[5],而且在這些模型中用來指示圖像特征方向的梯度本身也是一個(gè)局部算子[6].圖像梯度包含的信息只局限于一點(diǎn)及它的直接鄰域中,而圖像邊緣曲線本身并不是局部.正如在文獻(xiàn)[7,8]中所指出的那樣,這種方法有時(shí)會(huì)在結(jié)果圖像中產(chǎn)生塊狀結(jié)構(gòu),階梯邊緣,偽邊緣等現(xiàn)象,從而誤導(dǎo)人們或計(jì)算機(jī)接收真實(shí)圖像中并沒有的,錯(cuò)誤的特征.

為了更好的尊重圖像邊緣,非局部正則的研究得到發(fā)展[5,9～12].Kindermanny等人[5]以非局部泛函作為正則項(xiàng),首次提出非局部均值鄰域?yàn)V波.徐煥宇等[9]把自適應(yīng)構(gòu)造字典的稀疏表示與非局部TV結(jié)合起來，提出一種基于投影的非局部正則化圖像復(fù)原方法.Fei Zhou,Shu-Tao Xia,和Qingmin Liao[10]在2014年考慮了像素的時(shí)空非局部性，基于塊相似性進(jìn)行加權(quán)提出多曲面擬合超分辨率重建.Shuo Yang,Jian-Xun Li[11]等人2015年結(jié)合非局部塊結(jié)構(gòu)距離和局部像素距離提出空間不變形態(tài)學(xué)結(jié)構(gòu)元用于圖像恢復(fù).Jian Ji，Ke-Lu Wang[12]在2014年運(yùn)用改進(jìn)的非局部方法獲取非局部空間信息減小噪聲對(duì)SAR圖像分割的影響.Gilboa 和Osher[13]提出了一個(gè)非局部的能量泛函，這種能量泛函能夠更好地處理圖像中的紋理和重復(fù)結(jié)構(gòu).Peyré等人[14]把TV運(yùn)用到非局部圖(nonlocal graph)上,實(shí)現(xiàn)對(duì)線性逆問題的正則化.Elmoataz[15]等人提出了一個(gè)由具有拓?fù)湫再|(zhì)的加權(quán)圖所表示的非局部離散p-Laplacian正則.這些工作可以看作是圖像TV正則的非局部形式.在大多數(shù)正則框架中,圖像被當(dāng)作是連續(xù)域上的連續(xù)函數(shù).因此,圖像處理的連續(xù)能量泛函通常是由它相應(yīng)的Euler-Lagrange方程或相應(yīng)的梯度下降流求解.然而,這些非局部模型中涉及的微分算子的離散化對(duì)高維數(shù)據(jù)或圖像往往具有一定的困難[15].因此,對(duì)高維數(shù)據(jù)和圖像如何離散化微分算子是非局部正則的一個(gè)重要任務(wù).

本文對(duì)圖像的非局部加權(quán)梯度(高維圖像數(shù)據(jù))進(jìn)行研究,提出了一個(gè)非局部特征向量方向圖像插值方法.首先,非局部曲率被表示成高階方向?qū)?shù)的形式,其高階方向就是圖像的非局部加權(quán)梯度.然后,本文分析了圖像特征方向與圖像的非局部梯度之間的關(guān)系.事實(shí)上,這種形式與局部曲率在形式上是一致的,這說明用非局部梯度表示圖像特征方向是合理的.最后,本文用局部的Hessian矩陣的特征值近似計(jì)算非局部曲率,從而簡(jiǎn)化算法的離散化.無論是從主觀的視覺評(píng)價(jià),還是從客觀的全局性能評(píng)價(jià)(峰值性噪比),實(shí)驗(yàn)結(jié)果都驗(yàn)證了本文方法既能很好地重建插值圖像的邊緣,又不會(huì)在插值圖像中產(chǎn)生偽影或圖像邊緣失真.

2　圖像特征方向的Hessian矩陣提取方法

應(yīng)用于圖像去噪,圖像分割,圖像修補(bǔ),圖像插值領(lǐng)域中的各向異性擴(kuò)散方法往往采用圖像梯度作為圖像特征(邊緣,線,波紋等)的方向——梯度方向看作是跨越圖像特征的方向而與梯度正交的方向看作是沿著圖像特征的方向.然而,這種廣泛使用的梯度方向并不能精確指示圖像的特征方向.Carmona和Zhong[6]詳細(xì)討論了梯度在指示圖像中的邊緣,線和波紋三種特征時(shí)出現(xiàn)的問題,并提出了提取圖像特征方向的Hessian方法.梯度用具有最大模的一階方向?qū)?shù)所在方向作為跨越圖像特征方向,與之不同的是,Hessian方法以最大的二階方向?qū)?shù)所在方向作為跨越圖像特征的方向,與這個(gè)方向正交的方向作為圖像特征方向.二階方向?qū)?shù)的計(jì)算通過Hessian矩陣來實(shí)現(xiàn).

在圖像u中一點(diǎn)(x,y)處的Hessian矩陣為

(4)

其兩個(gè)特征值λ1,λ2由下式給出

(5)

記絕對(duì)值最大的特征值為λη,另一個(gè)特征值記為λξ,相應(yīng)的特征向量分別記作vη,vξ.顯然,λη的值取決于uxx+uyy的符號(hào),

(6)特征向量vη是所有方向中二階方向?qū)?shù)最大的方向,這個(gè)方向被看作是跨越圖像特征的方向,也是圖像灰度變化最大的方向；而vξ是與它正交的方向,被看作是沿著圖像特征的方向.沿著方向vξ的能量擴(kuò)散可以表示為

(7)

它能夠更好的保持圖像的邊緣.然而,Hessian矩陣反映的是圖像中一點(diǎn)及其局部鄰域的信息,這種方法從本質(zhì)上來說仍然是一種局部的模型,并不能很好的刻畫圖像特征.

3　問題的提出

設(shè)Ω是圖像域,u(x):Ω → R,x∈Ω是實(shí)值函數(shù).TV(局部)正則模型(2)對(duì)應(yīng)的Euler-Lagrange方程為

(8)

式中的κ是局部梯度意義下的歐拉曲率.式(8)與Perona和Malik的各向異性擴(kuò)散[16]密切相關(guān),它使圖像能量沿著圖像梯度正交方向而不是梯度方向擴(kuò)散,從而避免對(duì)插值圖像邊緣的模糊.式(8)從幾何的觀點(diǎn)可以解釋為,圖像能量在人工時(shí)間t的演化過程中會(huì)保持圖像輪廓的位置和強(qiáng)度,同時(shí)沿著圖像特征方向光滑以保持圖像邊緣的清晰度.但是,如文獻(xiàn)[6]所述,圖像梯度方向▽u/‖▽u‖不能精確指示跨越圖像特征的方向,而非局部梯度能充分利用圖像自身的空間結(jié)構(gòu)信息同時(shí)處理光滑區(qū)域與紋理區(qū)域,最大程度地復(fù)原圖像的原有細(xì)微結(jié)構(gòu).因此,非局部TV正則模型能充分利用TV正則與非局部模型的優(yōu)點(diǎn)更好地實(shí)現(xiàn)圖像插值.

在機(jī)器學(xué)習(xí)的背景下Zhou和Scholkopf定義了圖上的梯度和導(dǎo)數(shù)[17].Gilboa和Osher[13]在非局部框架下擴(kuò)展了非局部導(dǎo)數(shù)的定義,其定義如下

(9)

其中權(quán)函數(shù)w(x,y)是一個(gè)非負(fù)對(duì)稱的,w(x,y)≥0,w(x,y)=w(y,x).進(jìn)一步,非局部梯度▽wu(x)定義為所有偏導(dǎo)數(shù)構(gòu)成的向量:

(10)

由上面定義的非局部梯度,圖像的非局部TV能量泛函可以按如下定義

(11)

根據(jù)式(11),局部TV模型(2)的非局部形式可以通過求解在約束條件f=Hu下的最優(yōu)化問題

(12)

來實(shí)現(xiàn).式(12)的歐拉的方程為

(13)

這里κw是圖像u的水平線在非局部梯度下的歐拉曲率.更一般地,它可以改寫為

(14)

與(8)相類似,我們也可以希望通過求解式(12)對(duì)應(yīng)的Euler-Lagrange方程

(15)

實(shí)現(xiàn)圖像插值.

非局部曲率κw通常定義為[13]

:=∫Ω(u(y)-u(x))w(x,y)

(16)

可以看出上面的表達(dá)式是非常復(fù)雜的,離散化困難,運(yùn)算復(fù)雜高.因此,有效的近似非局部曲率,提高運(yùn)算效率是求解非局部TV正則的重要任務(wù).在下一節(jié),本文將對(duì)非局部曲率提出一個(gè)新的便于離散化的表達(dá)式.

4　非局部特征方向TV正則圖像插值

4.1非局部曲率近似

對(duì)圖像域Ω中一點(diǎn)x,我們選取大小為m×m(m是奇數(shù))的塊來計(jì)算非局部曲率.這樣,式(10)中非局部梯度▽wu(x)是一個(gè)包含m2-1個(gè)分量的向量,我們可以把它看作是二維圖像中方向向量的高維表示.按通常的習(xí)慣,▽wu(x)表示為▽wu(x)=(ux1,ux2,…,uxn)T,n=m2-1,非局部曲率κw可計(jì)算如下:

(17)

其中,Gn是圖像u在x處的Hessian矩陣

(18)

tr(Gn),E分別是矩陣Gn的跡以及單位陣.這個(gè)非局部歐拉曲率κw與(局部)歐拉曲率κ相比存在兩點(diǎn)缺陷:缺乏直觀的幾何意義以及二階混合偏導(dǎo)數(shù)表示與離散化困難,而二階混合偏導(dǎo)數(shù)uxixj的表示困難直接導(dǎo)致式(15)求解的困難.

為了得到非局部曲率的有效近似,可以通過分析Hessian矩陣Gn的特征值、特征向量與圖像特征方向之間的關(guān)系入手.從線性代數(shù)的知識(shí),可以知道:存在正交陣對(duì)角化實(shí)對(duì)稱矩陣Gn,其中對(duì)角陣的元是Gn的實(shí)數(shù)特征值,正交陣的列向量是對(duì)應(yīng)的單位特征向量.不妨設(shè)μ1≤μ2≤…≤μn是Gn的特征值,μγ是其中絕對(duì)值最大的特征值,vγ是對(duì)應(yīng)的特征向量.接下來，本文通過研究局部Hessian矩陣的特征向量與圖像特征方向之間的關(guān)系導(dǎo)出vγ與圖像特征方向之間的關(guān)系.

傳統(tǒng)的PDE、變分方法以圖像梯度作為跨越圖像特征的方向,即(ux,uy)/‖▽u‖,其正交方向?yàn)?uy,-ux)/‖▽u‖,容易推出

(19)

上面說明,uξξ和uηη都是梯度方向上的二階方向?qū)?shù),而且uξξ就是局部梯度意義下的歐拉曲率κ.經(jīng)典Perona-Malik方程ut=div(g(‖▽u‖)▽u)是個(gè)各向異性擴(kuò)散方程,其展開形式就與這兩個(gè)二階方向?qū)?shù)有關(guān)：

(20)

其一般形式為

ut=auηη+buξξ

(21)

通過設(shè)計(jì)不同的參數(shù)或參數(shù)函數(shù)a,b可以控制兩個(gè)不同方向的二階方向?qū)?shù)的大小,從而在圖像能量泛函沿圖像梯度方向與其正交方向擴(kuò)散的過程中實(shí)現(xiàn)對(duì)擴(kuò)散強(qiáng)度的控制,完成圖像處理任務(wù).

文獻(xiàn)[6]指出Hessian矩陣的最大特征值對(duì)應(yīng)的特征向量改善了圖像特征方向刻畫的準(zhǔn)確性.事實(shí)上,由Hessian矩陣G2的最大特征值λη,相應(yīng)的單位特征向量vη之間的關(guān)系G2vη=ληvη,可得

(22)

上式說明,最大特征值λη是最大的二階方向?qū)?shù),對(duì)應(yīng)的特征向量vη刻畫了在這個(gè)方向上圖像灰度變化最大.而且與式(21)相同，ut=aλη+bλξ也保持了各向異性的擴(kuò)散性能,它使圖像能量泛函分別朝著改善的方向擴(kuò)散.

與局部的二階Hessian矩陣相比,非局部Hessian矩陣刻畫了更多的圖像信息,包括圖像特征信息，其特征向量更能反映圖像特征方向;而且與二階Hessian矩陣情況相同,n階Hessian矩陣的特征向量vγ是所有方向中具有最大二階方向?qū)?shù)的方向,也就是說沿著這個(gè)方向圖像灰度變化最大,從而可以把它看作是跨越圖像特征的方向.另一方面,圖像非局部梯度本身克服了局部梯度的局部性,同樣包含了更多的圖像特征信息,圖像的非局部梯度▽wu(x)充分刻畫了圖像一點(diǎn)處灰度的變化,隱式地表示了圖像的特征方向.因此,特征向量vγ可以用單位非局部梯度▽wu(x)/‖▽wu(x)‖來刻畫,即

(23)

結(jié)合式(15),式(17),式(23),非局部TV圖像插值模型可以重新改寫為

ut=tr(Gn)-uγ+αHT(Hu-f)

(24)

但是由于Hessian矩陣Gn中二階混合偏導(dǎo)數(shù)表示的困難,直接求解μγ是不可行的,即使能夠表示也會(huì)很復(fù)雜.事實(shí)上,在圖像插值的過程中我們并不希望圖像能量擴(kuò)散沿著跨越圖像特征的方向進(jìn)行,而是希望沿著圖像特征方向進(jìn)行.在方程(24)中,減掉μγ(最大二階方向?qū)?shù))這一項(xiàng)也說明方程(24)是通過抑制跨越圖像特征方向的擴(kuò)散來實(shí)現(xiàn)的,而抑制的程度通過μγ絕對(duì)值的大小來體現(xiàn).因此,如果我們用(6)中局部最大特征值λη代替μγ并不改變非局部梯度▽wu(x)/‖▽wu(x)‖指示圖像特征方向這一事實(shí),而它們之間的數(shù)值誤差只影響上述抑制的程度.另一方面,在圖像特征處的局部最大特征值λη與非局部最大特征值μγ之間在量上的差異是很小的,因此用λη代替μγ是合理的.由此,我們的圖像插值模型可以表示為

ut=tr(Gn)-λη+αHT(Hu-f)

(25)

方程(25)中非局部正則的特性體現(xiàn)著tr(Gn)中.

4.2模型的離散化與算法描述

下面我們舉例說明tr(Gn)中的二階偏導(dǎo)數(shù)uxixi的離散化.如圖1所示,圖像u在像素位置(i,j)處沿著右上22.5°方向以及45°方向上的二階偏導(dǎo)數(shù)可按如下方式計(jì)算

(26)

其他方向上的二階偏導(dǎo)數(shù)可以類似定義.

記h和Δ為空間和時(shí)間步長(zhǎng),(xi;xj)=(ih;jh)是網(wǎng)格點(diǎn),un(i;j)是函數(shù)u(nΔt;xi;xj)的近似,其中n≥0.方程式(25)的實(shí)現(xiàn)步驟如下:對(duì)每個(gè)n>0(每步的un),

①用式(26)的方式計(jì)算所有的二階偏導(dǎo)數(shù)及tr(Gn).

②用式(5),式(6)計(jì)算λη,其中的二階偏導(dǎo)數(shù)按通常的中心差分計(jì)算.

③用如下的式子迭代,直到方程式(25)達(dá)到穩(wěn)定狀態(tài)解:

=tr(Gn)-λn+αHT(Hu-f)ij

(27)

5　實(shí)驗(yàn)結(jié)果

在這一節(jié),我們用式(27)對(duì)自然圖像、紋理圖像進(jìn)行插值,以說明提出算法的有效性.插值結(jié)果顯示在圖2～圖6中,其中圖2、3顯示了2倍插值結(jié)果,圖4～圖6顯示了3倍插值結(jié)果.插值輸入圖像是原始圖像用Matlab函數(shù)imresize獲得,它包含了經(jīng)過低通濾波和下采樣過程.這些輸入圖像用3.2節(jié)的算法再恢復(fù)到原始圖像尺寸大小從而實(shí)現(xiàn)插值.同時(shí),以Belahmidi和Guichard提供的方法[18](本文稱為BG方法)以及自適應(yīng)稀疏域正則方法(ASDSAR)[19]的實(shí)驗(yàn)結(jié)果作為對(duì)比實(shí)驗(yàn).ASDSAR方法的實(shí)驗(yàn)結(jié)果由作者提供的軟件實(shí)現(xiàn),軟件可從以下網(wǎng)址獲得http://www4.comp.polyu.edu.hk/～cslzhang/papers.htm.實(shí)驗(yàn)參數(shù)的優(yōu)選基于觀察者對(duì)圖像邊緣是否清晰,是否有鋸齒現(xiàn)象,在平坦區(qū)域或邊緣附近是否有振鈴現(xiàn)象等的主觀評(píng)價(jià)做出.在我們所有實(shí)驗(yàn)中α在[0.01,0.05]取值以及熱擴(kuò)散BG模型中k取0.0001具有較好的視覺效果,所有實(shí)驗(yàn)中時(shí)間步長(zhǎng)Δt=0.15.上述參數(shù)的選擇變化不大時(shí),插值結(jié)果主觀視覺效果和客觀評(píng)價(jià)指標(biāo)并沒有明顯的改善.

與其他算法相比較,本文的算法真實(shí)地重構(gòu)了低分辨率圖像中的細(xì)微信息,這正是圖像插值問題所希望獲得的效果.在圖2、3的紋理圖像中,本文算法重構(gòu)的圍巾?xiàng)l紋(圖像上部)、貝殼紋理看起來比其他算法獲得的結(jié)果更正確、更清晰清楚.在圖2的領(lǐng)帶處ASDSAR算法不能清晰地重構(gòu)領(lǐng)帶條紋;雖然BG算法在領(lǐng)帶處的條紋比本文算法產(chǎn)生的條紋更清晰,但是在圍巾處BG算法產(chǎn)生的條紋出現(xiàn)了失真,而在有些地方ASDSAR算法不能重構(gòu)出條紋.在圖3中BG算法過度光滑了圖像紋理,使貝殼中的條紋比較模糊;ASDSAR算法重構(gòu)的紋理稍好,但本文算法獲得的紋理更清晰一些.在圖4的人眼中,第三個(gè)柵欄在ASDSAR算法中幾乎看不出來,BG算法雖然重構(gòu)出了第三柵欄,但是第三和第四柵欄的模糊是顯而易見的,本文算法不僅很好的構(gòu)造出了全部柵欄而且第一和第二柵欄的視覺感更真實(shí),細(xì)節(jié)更清楚.在圖5中可以清楚的看出女孩鬢角的頭發(fā)在BG算法中被過度光滑了,在斜向下的箭頭處ASDSAR算法把女孩的頭發(fā)重構(gòu)成了圓弧形的,出現(xiàn)了失真,真實(shí)的形狀應(yīng)該是BG算法和本文算法重構(gòu)的樣子.另外,在水平箭頭指示的地方ASDSAR算法也出現(xiàn)了一定程度的失真.在圖6中老人帽子頂端的花在BG算法和ASDSAR算法中都是比較模糊的,本文算法產(chǎn)生了更清晰的花的邊緣,而在花下面的絨毛處，BG算法和ASDSAR算法產(chǎn)生的條紋是模糊的,而且在箭頭所指處這兩個(gè)算法都不能重構(gòu)出條紋來,本文算法不僅獲得了條紋而且條紋還比較清晰.

我們用平均結(jié)構(gòu)相似度指標(biāo)(MSSIM)[20]來刻畫原始參考圖像與插值輸出圖像之間的差異.文獻(xiàn)[21]認(rèn)為MSSIM指標(biāo)比峰值信噪比(PSNR)或其他指標(biāo)更能刻畫圖像的視覺質(zhì)量的好壞.MSSIM指標(biāo)取之于[0,1],值越大圖像的視覺質(zhì)量越好,其計(jì)算原始代碼參見http://www.cns.nyu.edu/lcv/ssim/(用缺省的參數(shù)).本文所使用的測(cè)試圖像有Barbara圖像,女孩圖像,眼睛圖像,老人以及鸚鵡圖像,用他們?nèi)ビ?jì)算MSSIM,從客觀指標(biāo)上對(duì)幾種算法進(jìn)行比較.表1顯示了幾種算法對(duì)測(cè)試圖像計(jì)算的MSSIM,從表中可以看出本文方法的客觀指標(biāo)在所有實(shí)驗(yàn)中都有明顯的改善.這表明本文的非局部模型具有較好的效果.

表1　不同算法MSSIM值比較

6　結(jié)束語(yǔ)

本文提出了一種結(jié)合圖像局部信息的非局部特征方向圖像插值方法.這種以圖像的非局部梯度方向而不是傳統(tǒng)的梯度方向作為圖像的特征方向,克服了傳統(tǒng)梯度的局部限制.它使圖像能量泛函沿著圖像特征方向進(jìn)行擴(kuò)散從而避免對(duì)圖像邊緣的模糊.擴(kuò)散過程中的擴(kuò)散強(qiáng)度由局部Hessian矩陣的特征值控制,其優(yōu)點(diǎn)是便于數(shù)值算法的離散化.然而,非局部方法本身不可避免的存在著算法計(jì)算復(fù)雜度高的問題,如何進(jìn)一步在保持非局部?jī)?yōu)點(diǎn)的同時(shí)簡(jiǎn)化計(jì)算復(fù)雜度是廣大學(xué)者進(jìn)一步研究的課題,也是本文今后的工作.

[1]詹毅,王明輝,萬(wàn)群,李夢(mèng).TV圖像插值的雙方向擴(kuò)散改進(jìn)算法[J].軟件學(xué)報(bào),2009,20(6):1694-1702.

Zhan Y,Wang MH,Wan Q,Li M.Modified algorithm with bidirectional diffusion for TV image interpolation[J].Journal of Software,2009,20(6):1694-1702.(in Chinese)

[2]Ng MK,Shen H,Lam EY,Zhang L.A total variation regularization based super-resolution reconstruction algorithm for digital video[J].EURASIP Journal on Advances in Signal Processing,2007,2007:074585 doi:10.1155/2007/74585.

[3]Ring W.Structural properties of solutions to total variation regularization problems[J].Math.Model.Numer.Anal.,2000,34(4):799-810.

[4]Rudin LI,Osher S,Fatemi E.Nonlinear total variation based noise removal algorithms[J].Physica D:Nonlinear Phenomena,1992,60(1-4):259-268.

[5]Kindermanny S,Osherz S,Jones PW.Deblurring and denoising of images by nonlocal functional[J].SIAM Multiscale Modeling and Simulation.2005,4(4):1091-1115.

[6]Carmona RA,Zhong S.Adaptive smoothing respecting feature directions[J].IEEE Trans.Image Processing 1998,7(3):353-358.

[7]Wolfgang R.Structural properties of solutions to total variation regularization problems[J].ESAIM:Mathematical Modelling and Numerical Analysis,2000,34(04):799-810.

[8]Dobson DC,Santosa F.Recovery of blocky images from noisy and blurred data[J].SIAM J.Appl.Math.1996,56(4):1181-1198.

[9]徐煥宇,孫權(quán)森,李大禹,宣麗.基于投影的稀疏表示與非局部正則化圖像復(fù)原方法[J].電子學(xué)報(bào),2014,42(7):1299-1304.

Xu H,Sun Q,Li D Y,Xuan L.Projection based image restoration via sparse representation and nonlocal regularization[J].Acta Electronica Sinica,2014,42(7):1299-1304.(in Chinese)

[10]F Zhou,S T Xia,Q Liao.Nonlocal pixel selection for multisurface fitting-based super-resolution[J].IEEE Transactions on Circuits and Systems for Video Technology,2014,24(12):2013-2017.

[11]S Yang,J X Li.Nonlocal patch-based method on spatially-variant amoeba morphology for image restoration[J].Optik,2015,126(2):283-288.

[12]J Ji,K L Wang.A robust nonlocal fuzzy clustering algorithm with between-cluster separation measure for SAR image segmentation[J].IEEE Journal of Selected Topics in Applied Earth Observations andRemote Sensing,2014,7(12):4929-4936.

[13]Gilboa G,Osher S.Nonlocal operators with applications to imae processing[J].Multiscale Model.Simul,2008,7(3):1005-1028.

[14]Peyré G,Bougleux S,Cohen L.Non-local regularization of inverse problems[A].In:ECCV'08:European Conference on Computer Vision[C].Springer,Berlin,2008,57-68.

[15]Elmoataz A,Lezoray O,Bougleux S.Nonlocal discrete p-Laplacian driven image and manifold processing[J].C.R.Mecanique,2008,336(5):428-433.

[16]Perona P,Malik J.Scale-space and edge detection using anisotropic diffusion[J].IEEE Trans.Pattern Anal.Mach.Intell.1990,12(7):629-639.

[17]Zhou D,Scholkopf B.Regularization on Discrete Spaces[M].Pattern Recognition Lecture Notes in Computer Science,2005,vol.3663:361-368.

[18]Belahmidi A,Guichard F.A partial differential Equation approach to image zoom[A].In 2004 International Conference on Image Processing[C].Edited by IEEE,2004,1:649-652.

[19]Dong W,Zhang L,Shi G,Wu X,Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J].IEEE Trans.Image Process.2011,20(7):1838-1857.

[20]Wang Z,Bovik A,HR S,EP S.Image quality assessment:from error visibility to structural similarity[J].IEEE Trans.Image Process.2004,13(4):600-612.

[21]Roussos A,Maragos P.Vector-valued image interpolation by an anisotropic diffusion-projection PDE[A].1st International Conference on Scale Space and Variational Methods in Computer Vision,Lecture Notes in Computer Science[C].Ischia,Italy,2007,vol.4485:104-115.

詹毅(通信作者)男,1971年出生，重慶人,2009年在四川大學(xué)計(jì)算機(jī)學(xué)院獲得博士學(xué)位，現(xiàn)為重慶工商大學(xué)副教授,主要研究領(lǐng)域?yàn)槠⒎址匠虉D像恢復(fù),圖像重建,非局部理論及應(yīng)用研究.

E-mail:zhanyi@ctbu.edu.cn

李夢(mèng)女,1973年出生，四川開江人,2012年在重慶大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院獲得博士學(xué)位,現(xiàn)為重慶文理學(xué)院副教授,主要研究領(lǐng)域?yàn)槠⒎址匠碳捌湓趫D像處理中的應(yīng)用.

E-mail:limeng7319@163.com

Research on Image Interpolation with Non-local Feature Directions

ZHAN Yi1,LI Meng2

(1.CollegeofMathematicsandStatistics,ChongqingTechnologyandBusinessUniversity,Chongqing400067,China; 2.KeyLaboratoryofGroup&GraphTheoriesandApplications,ChongqingUniversityofArtsandSciences,Chongqing402160,China)

A method of image interpolation with non-local feature directions is proposed.This method respectes the smooth of the contour profile of interpolated image and retrains blur edges.The eigenvector of the non-local Hessian matrix is considered as the image featrue direction.The diffusion of image energy functional is controlled by the eigenvalue of image local Hessian along the direction.It overcomes the local limit of gradient pointing image feature and drives image energy functional to diffuse along corrected direction.Thus the blur of image feature is avoids.Numerical experiments on real images show that images interpolated by the proposed method have better interpolated edges and are almost artifact-free.

non-local gradient;non-local curvature;total variation;variational methods;image interpolation

2014-12-17;

2015-05-24；責(zé)任編輯：馬蘭英

國(guó)家自然科學(xué)基金(No.61202349);重慶市基礎(chǔ)與前沿研究計(jì)劃一般項(xiàng)目(No.cstc2013jcyjA40058,No.cstc2015jcyjA0142)

TN911

A

0372-2112 (2016)05-1064-07

電子學(xué)報(bào)URL:http://www.ejournal.org.cn10.3969/j.issn.0372-2112.2016.05.008