詹 毅，李 夢(mèng)

(重慶工商大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，重慶 400067) (*通信作者電子郵箱zhanyi@ctbu.edu.cn)

圖像插值的一個(gè)變指數(shù)變分模型

詹 毅*，李 夢(mèng)

(重慶工商大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，重慶 400067) (*通信作者電子郵箱zhanyi@ctbu.edu.cn)

為了消除插值圖像在邊緣的鋸齒現(xiàn)象、在平坦區(qū)域的分塊現(xiàn)象，提出了一種變指數(shù)變分模型的圖像插值方法。通過對(duì)變指數(shù)變分模型擴(kuò)散特性的研究，引入了一個(gè)滿足插值擴(kuò)散特性的指數(shù)函數(shù)。指數(shù)函數(shù)中的兩個(gè)參數(shù)實(shí)現(xiàn)兩方面的功能：一個(gè)參數(shù)控制擴(kuò)散強(qiáng)度從而減小圖像邊緣寬度，另一個(gè)控制平滑強(qiáng)度從而保持細(xì)小的紋理。這個(gè)新的變指數(shù)變分模型使總變差(TV)模型沿著圖像輪廓方向擴(kuò)散消除鋸齒現(xiàn)象，而熱擴(kuò)散在圖像平坦區(qū)域起光滑作用消除分塊現(xiàn)象。數(shù)值實(shí)驗(yàn)結(jié)果顯示，該方法能很好地重建插值圖像的邊緣。與Chen等的方法(CHEN Y M, LEVINE S, RAO M. Variable exponent, linear growth functionals in image restoration. SIAM Journal on Applied Mathematics, 2006, 66(4): 1383-1406)以及魯棒軟決策插值方法相比，所提方法對(duì)細(xì)微紋理的保持有明顯的視覺效果改善，平均結(jié)構(gòu)相似度(MSSIM)指標(biāo)提高0.03左右。該模型對(duì)進(jìn)一步研究符合具體圖像處理任務(wù)的變指數(shù)變分模型具有一定的探索意義，對(duì)圖像網(wǎng)絡(luò)傳輸、打印等具有很強(qiáng)的實(shí)際應(yīng)用價(jià)值。

變指數(shù);總變差;熱擴(kuò)散;變分方法;圖像插值

0 引言

總變差(Total Variation, TV)正則[1]在變分法圖像處理中具有廣泛的應(yīng)用,其變分形式為如下的最優(yōu)化問題：

(1)

它通過懲罰導(dǎo)數(shù)來保持圖像邊緣的不連續(xù)性,具體來說就是圖像能量變分模型在隨人工時(shí)間的演化過程中,圖像能量只沿著圖像梯度正交的方向進(jìn)行擴(kuò)散。這種能量擴(kuò)散的各向異性的優(yōu)點(diǎn)是在有效保護(hù)圖像邊緣強(qiáng)度的同時(shí)沿圖像邊緣進(jìn)行平滑從而避免重建圖像中的鋸齒現(xiàn)象，但是其缺點(diǎn)在于TV正則問題解的分段常數(shù)性質(zhì)容易造成在重建圖像平坦區(qū)域產(chǎn)生分塊現(xiàn)象[2]。

把帶有噪聲的圖像看作熱傳導(dǎo)方程ut=Δu在零時(shí)刻的初始條件,以這個(gè)初值問題的解作為圖像濾波的結(jié)果,能夠達(dá)到很好的去噪結(jié)果[3]。熱傳導(dǎo)方程是下面的最小化問題的穩(wěn)定狀態(tài)解：

(2)

這是一種各向同性的擴(kuò)散,能夠平滑噪聲、消除分塊現(xiàn)象，但是隨著人工時(shí)間的增大,在去噪效果越好的同時(shí)邊緣也越來越模糊。圖像邊緣被認(rèn)為是圖像的最重要的特征,而且也是人的視覺最為敏感的特征,所以這是一個(gè)讓人無法接受的結(jié)果。

為了既平滑圖像平坦區(qū)域又保護(hù)圖像邊緣,一個(gè)自然的想法是把這兩個(gè)方程合二為一,自適應(yīng)地在式(1)和式(2)之間轉(zhuǎn)換,即在圖像平坦區(qū)域式(2)其作用,在圖像邊緣式(1)起作用?；诖?Blomgren等[4]提出了下面的變指數(shù)正則模型：

(3)

Chen等[5]用分段函數(shù)定義變指數(shù)函數(shù)p,并研究了這個(gè)模型的解的存在性、唯一性以及擴(kuò)散性質(zhì)。Huang等[6]在變指數(shù)p-Laplace能量泛函中融入?yún)^(qū)域信息,提出一個(gè)活動(dòng)輪廓模型用于圖像分割。在這個(gè)模型中變指數(shù)能量泛函正則零水平集,使水平集向精確的目標(biāo)邊界運(yùn)動(dòng)。Liu等[7]研究了帶有變指數(shù)Laplace的反應(yīng)擴(kuò)散方程,并用于圖像去噪。Maiseli等[8]獲得了變指數(shù)擴(kuò)散驅(qū)動(dòng)正則泛函用于多幀圖像超分辨率重建。它能根據(jù)圖像局部特征自適應(yīng)的調(diào)整擴(kuò)散機(jī)制,在圖像平坦區(qū)域進(jìn)行線性各向同性擴(kuò)散而在圖像邊緣或輪廓擴(kuò)散消失。董嬋嬋等[9]提出了一種基于變指數(shù)的片相似性擴(kuò)散圖像降噪算法。它在變指數(shù)自適應(yīng)降噪模型基礎(chǔ)上,引入片相似性,獲得了一個(gè)新的邊緣檢測(cè)算子和擴(kuò)散系數(shù)函數(shù)。張芳等[10]提出一個(gè)變指數(shù)和非局部的最大似然期望最大低劑量CT重建算法。該算法考慮到傳統(tǒng)各向異性擴(kuò)散中降噪的不充分性,有效融合熱傳導(dǎo)和各向異性擴(kuò)散到變指數(shù)函數(shù)中,把它和代替梯度檢測(cè)邊緣的相似度函數(shù)運(yùn)用到傳統(tǒng)各向異性擴(kuò)散中,從而達(dá)到所期望的效果。王益艷[11]利用圖像局部特征提出了一種基于Lp范數(shù)的變指數(shù)正則變分模型。這個(gè)模型采用結(jié)構(gòu)張量作為L(zhǎng)p范數(shù)算子的自適應(yīng)調(diào)整參數(shù),克服傳統(tǒng)算子對(duì)噪聲敏感的缺陷。

本文通過減小插值圖像邊緣寬度來抑制插值圖像模糊,通過分析減小圖像邊緣寬度與圖像能量擴(kuò)散之間的關(guān)系,給出了一個(gè)新的變指數(shù)函數(shù)。它能在靠近圖像邊緣中心附近進(jìn)行各向異性的能量擴(kuò)散,保持圖像邊緣的清晰度,而在離圖像邊緣中心較遠(yuǎn)的區(qū)域進(jìn)行各向同性的能量擴(kuò)散,消除插值邊緣的鋸齒現(xiàn)象并消除圖像平坦區(qū)域的分塊現(xiàn)象。數(shù)值實(shí)驗(yàn)結(jié)果表明無論是從主觀的視覺評(píng)價(jià),還是從客觀的全局性能評(píng)價(jià)(平均結(jié)構(gòu)相似度),本文方法既能很好地重建插值圖像的邊緣,又不會(huì)在插值圖像中產(chǎn)生鋸齒現(xiàn)象以及分塊現(xiàn)象。

1 p-Dirichlet泛函與變指數(shù)泛函

廣泛應(yīng)用于圖像處理中的p-Dirichlet泛函具有如下形式[12]：

(4)

Ω是Rn中的具有Lipshitz邊界的有界開子集。在適當(dāng)?shù)倪吔鐥l件下,最小化E可以得到相應(yīng)的p-Laplacian方程δE=0：

δE=-▽(|▽u|p-2▽u)

(5)

上述p-Laplacian方程的穩(wěn)定狀態(tài)解用最速下降法可表示為：

ut=▽(|▽u|p-2▽u)

(6)

對(duì)p=1來說,式(4)變?yōu)榻?jīng)典的TV變分模型,對(duì)應(yīng)的Euler-Lagrange方程為：

ut=κ|▽u|

(7)

其中κ是局部梯度意義下的歐拉曲率。式(7)的穩(wěn)定狀態(tài)解的迭代求解過程可以看作在人工時(shí)間t下的能量擴(kuò)散。這個(gè)擴(kuò)散具有各向異性擴(kuò)散性質(zhì),它使圖像能量沿著圖像梯度正交方向擴(kuò)散,避免了對(duì)圖像邊緣的模糊。從物理運(yùn)動(dòng)的觀點(diǎn)可以解釋為,圖像能量在式(7)的作用下,在t的迭代過程中會(huì)保持圖像輪廓的位置和強(qiáng)度從而保持圖像邊緣的清晰度。

對(duì)p=2來說,式(6)變?yōu)闊醾鲗?dǎo)方程ut=Δu。上述方程的能量演化具有各向同性的性質(zhì),能夠平滑掉圖像噪聲,但是它也使得圖像邊緣變得模糊,不適合圖像重建。p→ ∞的情況就是眾所周知的無窮Laplace。

在圖像去噪、重建等領(lǐng)域,往往需要在圖像平坦區(qū)域進(jìn)行平滑以去噪同時(shí)保持圖像邊緣的清晰度。TV變分模型以及熱傳導(dǎo)方程都只能起到單一的作用,兼顧二者的算子是現(xiàn)實(shí)需要的。Blomgren等[4]提出了下面的最小化問題：

(8)

2 變指數(shù)圖像插值模型

要想通過式(8)獲得滿意的圖像處理效果,適當(dāng)?shù)剡x擇單調(diào)下降函數(shù)p是關(guān)鍵。下面通過對(duì)圖像邊緣的幾何分析探索函數(shù)p應(yīng)具有的性質(zhì)。如果把數(shù)字圖像的邊緣看作是類斜面的剖面,那么圖像邊緣越模糊則斜坡坡度越小,對(duì)應(yīng)的圖像邊緣寬度越大；反之則斜坡坡度越大而圖像邊緣寬度越小。因此,要使重建圖像有清晰的邊緣就需要減小圖像邊緣的寬度使斜坡坡度更大。增加斜坡坡度可以通過降低斜坡下半部灰度值同時(shí)增加斜坡上半部灰度值,如圖1所示。把圖像像素灰度值看作質(zhì)量粒子,斜坡上像素灰度值的變化可以通過圖像能量擴(kuò)散推動(dòng)質(zhì)量粒子運(yùn)動(dòng)而實(shí)現(xiàn)?？梢酝苿?dòng)斜坡頂上的質(zhì)量粒子加速向斜坡中心方向擴(kuò)散,使質(zhì)量粒子大量堆積在斜坡上半部；同時(shí)推動(dòng)斜坡中心下半部質(zhì)量粒子加速向斜坡底擴(kuò)散,使質(zhì)量粒子分散在斜坡坡底。這樣在圖像邊緣斜坡中心較窄的寬度范圍內(nèi)灰度對(duì)比度變大,實(shí)現(xiàn)減小圖像邊緣寬度的目的,從而形成清晰的圖像邊緣。這就要增強(qiáng)在圖像邊緣兩邊的區(qū)域的各向同性擴(kuò)散(p≈2),而且增強(qiáng)在靠近邊緣的區(qū)域的各向同性擴(kuò)散(p≈1)。由此,函數(shù)p可以選取如下形式：

p(x)=1+exp(-(εx)α)

(9)

圖2為函數(shù)p取不同參數(shù)時(shí)的圖像?？梢钥闯觯簒比較小的時(shí)候,函數(shù)p趨近于2；x比較大的時(shí)候,函數(shù)p趨近于1。函數(shù)p的兩個(gè)參數(shù)α,ε起著對(duì)圖像像素分類的作用,即多大梯度的像素需要執(zhí)行各向同性的擴(kuò)散(平滑),相應(yīng)的其他像素需要各向異性的擴(kuò)散。鑒于以上考慮,本文提出如下的圖像插值能量泛函：

(10)

其中：

φ(x,|▽u|)=|▽u|1+exp(-(ε|▽u|)α)

(11)

λ是正實(shí)數(shù)。

在這個(gè)模型中圖像中心區(qū)域的遠(yuǎn)端圖像梯度較小,此時(shí)函數(shù)p趨近于2,達(dá)到增強(qiáng)各向同性擴(kuò)散的能力；反之,在圖像中心區(qū)域的近端圖像梯度較大,此時(shí)函數(shù)p趨近于1,達(dá)到增強(qiáng)各向異性擴(kuò)散的能力。這樣就能減小圖像邊緣寬度,增強(qiáng)圖像邊緣兩邊像素灰度的比率,從而產(chǎn)生清晰的圖像邊緣。

圖1 增減像素灰度值減小邊緣寬度

圖2 函數(shù)p的圖像(α=2,4,8)

這個(gè)能量泛函的Euler-Lagrange方程為：

(12)

(13)

u(0)=0;Ω

(14)

其中：矩陣H用來模擬圖像獲取過程中濾波和下采樣過程，u是原始的高分辨率圖像。

本文采用顯式的有限差分格式對(duì)式(12)是進(jìn)行迭代計(jì)算,其擴(kuò)散項(xiàng)：

div(φ)=|▽u|p(|▽u|)-2[(p(|▽u|)-1)Δu+ (2-p(|▽u|))|▽u|κ+▽p·▽ulog |▽u|]

(15)

3 實(shí)驗(yàn)結(jié)果

本章用式(15)對(duì)自然圖像、紋理圖像進(jìn)行插值,以說明提出算法的有效性。插值結(jié)果顯示在圖3～5中。插值輸入圖像是原始圖像用Matlab函數(shù)imresize獲得,它包含了經(jīng)過低通濾波和下采樣過程。這些輸入圖像用上一章的算法再恢復(fù)到原始圖像尺寸大小從而實(shí)現(xiàn)插值。同時(shí),以Chen等[5]提供的方法以及運(yùn)用加權(quán)最小二乘法的魯棒軟決策插值(Robust Soft-decision Adaptive Interpolation, BSAI)方法[13]的實(shí)驗(yàn)結(jié)果作為對(duì)比實(shí)驗(yàn)。BSAI方法的實(shí)驗(yàn)結(jié)果由作者提供的軟件實(shí)現(xiàn)。在實(shí)驗(yàn)中本文算法中的α=4,時(shí)間步長(zhǎng)Δt=0.15,其他實(shí)驗(yàn)參數(shù)的優(yōu)選基于觀察者對(duì)圖像邊緣是否清晰、是否有鋸齒現(xiàn)象、在平坦區(qū)域或邊緣附近是否有振鈴現(xiàn)象等的主觀評(píng)價(jià)作出。

與其他算法相比較,本文算法真實(shí)地重構(gòu)了低分辨率圖像中的細(xì)微信息,這正是圖像插值問題所希望獲得的效果。

圖3中,本文算法重構(gòu)的背景紋理(原始圖像最左邊區(qū)域)看起來比其他算法獲得的結(jié)果更正確、更清晰,紋理也更豐富。特別是在原始圖像中間箭頭指示的陰影區(qū)域的紋理,Chen和BSAI算法的重建結(jié)果幾乎看不出有紋理,而本文算法結(jié)果中紋理依然可辨。在對(duì)帽檐的層層線條狀紋理(原始圖像上邊的箭頭指示的條紋處)的重建中,本文算法結(jié)果也是最清晰的,BSAI算法結(jié)果清晰度最弱。帽子下面的木板紋理在本文算法結(jié)果中清晰度也是最高的,特別是原始圖像最右邊箭頭指示區(qū)域。

圖3 帽子圖像插值結(jié)果

在圖4中BSAI算法和本文算法結(jié)果中賽車手較清晰一些,文獻(xiàn)[5]結(jié)果稍微有些模糊。賽車輪胎齒可以清晰反映出本文算法在保持圖像邊緣方面的優(yōu)勢(shì),本文算法產(chǎn)生了更清楚的輪胎齒,BSAI結(jié)果可辨性較差,而文獻(xiàn)[5]結(jié)果幾乎不可辨。賽車輪胎的輻條也具有同樣的可辨性。

圖4 賽車圖像插值結(jié)果

圖5中,雕塑圖像人物頭像左邊鬢角處的頭發(fā),本文算法結(jié)果看起來更自然,更真實(shí)；而BSAI算法結(jié)果較模糊,文獻(xiàn)[5]算法結(jié)果在這個(gè)地方幾乎不會(huì)引起視覺上的注意。從圖5中的球也可以看出,本文算法對(duì)球面上的紋路保持得最好,其他兩種算法對(duì)原始圖像的紋路平滑得更嚴(yán)重一些。

平均結(jié)構(gòu)相似度指標(biāo)(Mean Structural SIMilarity, MSSIM)[14]在這里用來刻畫原始參考圖像與插值輸出圖像之間的差異。MSSIM指標(biāo)比峰值信噪比或其他指標(biāo)更能刻畫圖像的視覺質(zhì)量的好壞。MSSIM指標(biāo)取值為[0,1]區(qū)間,值越大圖像的視覺質(zhì)量越好,其計(jì)算原始代碼參見http://www.cns.nyu.edu/＄sim ＄lcv/ssim/(用缺省的參數(shù))。本文所使用的測(cè)試圖像有帽子圖像、賽車圖像、雕塑圖像、花以及船圖像,通過計(jì)算MSSIM,從客觀指標(biāo)上對(duì)3種算法進(jìn)行比較。表1顯示了幾種算法對(duì)測(cè)試圖像計(jì)算的MSSIM,從表1中可以看出本文方法的客觀指標(biāo)在所有實(shí)驗(yàn)中都有明顯的改善。這表明本文模型具有較好的效果。

圖5 雕塑圖像插值結(jié)果頭部與球局部

表1 不同算法MSSIM值比較

4 結(jié)語

本文提出了一種結(jié)合TV變分和熱擴(kuò)散的變指數(shù)變分模型圖像插值方法。這種模型通過分析圖像插值變分模型的擴(kuò)散特性,定義了一個(gè)指數(shù)函數(shù)。這個(gè)指數(shù)函數(shù)使圖像能量在隨人工時(shí)間的演化過程中在圖像邊緣附近只沿著圖像輪廓擴(kuò)散,以消除圖像邊緣在插值過程中的震蕩進(jìn)而獲得光滑的邊緣；在圖像平坦區(qū)域進(jìn)行熱擴(kuò)散消除分塊現(xiàn)象等人工虛像。

References)

[1] RUDIN L I, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms [J]. Physica D: Nonlinear Phenomena, 1992, 60(1/2/3/4): 259-268.

[2] RING W. Structural properties of solutions to total variation regularization problems [J]. Mathematical Modelling and Numerical Analysis, 2000, 34(4): 799 -810.

[3] WEICKET J. Anisotropic Diffusion in Image Processing [M]. Stuttgart: Teubner-Verlog, 1998: 59-60.

[4] BLOMGREN P, CHAN T F, MULET P, et al. Total variation image restoration: numerical methods and extensions [C]// Proceedings of the 1997 International Conference on Image Processing. Piscataway, NJ: IEEE, 1997: 384-387.

[5] CHEN Y M, LEVINE S, RAO M. Variable exponent, linear growth functionals in image restoration [J]. SIAM Journal on Applied Mathematics, 2006, 66(4): 1383-1406.

[6] HUANG C, ZENG L. Level set evolution model for image segmentation based on variable exponentp-Laplace equation [J]. Applied Mathematical Modelling, 2016, 40(17/18): 7739-7750.

[7] LIU Q, GUO Z, WANG C. Renormalized solutions to a reaction-diffusion system applied to image denoising [J]. Discrete and Continuous Dynamical Systems: Series B, 2016, 21(6): 1829-1858.

[8] MAISELI B J, ELISHA O A, GAO H. A multi-frame super-resolution method based on the variable exponent nonlinear diffusion regularizer [J]. EURASIP Journal on Image and Video Processing, 2015, 2015(1): 22.

[9] 董嬋嬋,張權(quán),郝慧艷,等.基于變指數(shù)的片相似性擴(kuò)散圖像降噪算法,計(jì)算機(jī)應(yīng)用,2014,34(10):2963-2966.(DONG C C, ZHANG Q, HAO H Y, et al. Patch similarity anisotropic diffusion algorithm based on variable exponent for image denoising [J]. Journal of Computer Applications, 2014, 34(10): 2963-2966.)

[10] 張芳,崔學(xué)英,張權(quán),等.基于變指數(shù)各向異性擴(kuò)散和非局部的最大似然期望最大低劑量CT重建算法[J].計(jì)算機(jī)應(yīng)用,2014,34(12):3605-3608.(ZHANG F, CUI X Y, ZHANG Q, et al. MLEM low-dose CT reconstruction algorithm based on variable exponent anisotropic diffusion and non-locality [J]. Journal of Computer Applications, 2014, 34(12): 3605-3608.)

[11] 王益艷.聯(lián)合結(jié)構(gòu)張量和變指數(shù)正則變分醫(yī)學(xué)圖像復(fù)原[J].計(jì)算機(jī)工程與應(yīng)用,2016,52(15):208-211.(WANG Y Y. Medical image restoration via joint structure tensor and variable index regularization variational [J]. Computer Engineering and Applications, 2016, 52(15): 208-211.)

[12] KUIJPER A.p-Laplacian driven image processing [C]// Proceedings of the 2007 IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2007, 5: V- 257-V- 260.

[13] HUNG K W, SIU W C. Robust soft-decision interpolation using weighted least squares [J]. IEEE Transactions on Image Processing, 2012, 21(3): 1061-1069.

[14] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

This work is partially supported by the Chongqing Research Program of Basic Research and Frontier Technology (cstc2015jcyjA40029), the Scientific Research Project of Chongqing Technology and Business University (2016- 56- 08).

ZHANYi, born in 1971, Ph. D., associate professor. His research interests include partial differential equations and its application, variational image processing.

LIMeng, born in 1973, Ph. D., associate professor. Her research interests include image processing with partial differential equations, significant feature extraction, probabilistic graphical model.

Variableexponentvariationalmodelforimageinterpolation

ZHAN Yi*, LI Meng

(CollegeofMathematicsandStatistics,ChongqingTechnologyandBusinessUniversity,Chongqing400067,China)

To eliminate the zigzagging and blocky effects in homogeneous areas in an interpolated image, a variable exponent variational method was proposed for image interpolation. An exponent function with diffusion characteristic of image interpolution was introduced by analyzing the diffusion characteristic of variable exponent variational model. Two parameters in the exponent function act on interpolation: the one controlled the intensity of diffusion which eliminated the width of image edges while the other controlled the intensity of smoothness which retained the fine textures in the image. The new variable exponent variatonal model made the Total Variation (TV) variational diffuse along image contours and the heat diffusion on smooth areas. The numerical experiment results on real images show that image interpolated by the proposed method has better interpolated edges, especially for fine textures. Compared to the method proposed by Chen et al. (CHEN Y M, LEVINE S, RAO M. Variable exponent, linear growth functionals in image restoration. SIAM Journal on Applied Mathematics, 2006, 66(4): 1383-1406) and robust soft-decision interpolation method, the visual improvement is prominent for retaining fine textures, and the Mean Structural SIMilarity (MSSIM) is increased by 0.03 in average. The proposed model is helpful to further study variable exponent variational model for specifical image processing and worthy to practical applications such as image network communication and print.

variable exponent; Total Variation (TV); heat diffusion;variational method; image interpolation

TN911; TP391.4

:A

2017- 01- 06;

:2017- 03- 01。

重慶市基礎(chǔ)與前沿研究計(jì)劃一般項(xiàng)目(cstc2015jcyjA40029)；重慶工商大學(xué)科研項(xiàng)目(2016- 56- 08)。

詹毅(1971—)，男，重慶萬州人，副教授，博士，主要研究方向：偏微分方程及其應(yīng)用、變分法圖像處理； 李夢(mèng)(1973—)，女，四川開江人，副教授，博士，主要研究方向：偏微分方程圖像處理、顯著特征提取、概率圖模型。

1001- 9081(2017)07- 2067- 04

10.11772/j.issn.1001- 9081.2017.07.2067