鄒 楊，馮兆永，姚正安

(中山大學(xué)數(shù)學(xué)與計(jì)算科學(xué)學(xué)院，廣東 廣州 510275)

?

Navier-Stokes方程在圖像放大中的應(yīng)用*

鄒 楊，馮兆永，姚正安

(中山大學(xué)數(shù)學(xué)與計(jì)算科學(xué)學(xué)院，廣東 廣州 510275)

利用基于流體動(dòng)力學(xué)方程的模型進(jìn)行圖像放大處理。該模型有各向異性的擴(kuò)散項(xiàng)和對(duì)流項(xiàng)，利用多種信息傳播模式對(duì)未知信息進(jìn)行填補(bǔ)。實(shí)驗(yàn)結(jié)果表明模型在圖像放大處理的有效性。

圖像放大；Navier-Stokes方程；各向異性擴(kuò)散；塊狀效應(yīng)

圖像是獲取信息的一條重要途徑，對(duì)圖像所包含信息進(jìn)行分析和處理會(huì)依實(shí)際需求不同而不同。在某些情形下，需要修改圖像分辨率并保證改變后的圖像有較好的視覺(jué)效果，圖像放縮技術(shù)此時(shí)起著重要作用。

圖像放大是將低分辨率圖像轉(zhuǎn)化成高分辨率圖像，圖像縮小則是將高分辨率圖像轉(zhuǎn)化成低分辨率圖像。在本質(zhì)上兩者并無(wú)差別，均是圖像插值技術(shù)。圖像插值的經(jīng)典格式有多項(xiàng)式插值，三角多項(xiàng)式插值，樣條插值等。此外，插值方法可以分為線性插值和非線性插值。線性插值有多項(xiàng)式插值里的最臨近插值，雙線性插值。線性插值的系數(shù)為常數(shù)，其不隨節(jié)點(diǎn)的變化而變化，因此在圖像放大后會(huì)出現(xiàn)邊緣模糊和塊狀效應(yīng)。非線性插值能克服線性插值的這些缺點(diǎn)，例如自適應(yīng)插值[1]，邊導(dǎo)數(shù)的插值方法等[2]。

偏微分方程根據(jù)擴(kuò)散性質(zhì)可以分為各向同性擴(kuò)散和各向異性擴(kuò)散。具體表現(xiàn)在擴(kuò)散項(xiàng)系數(shù)為標(biāo)量或者張量。當(dāng)擴(kuò)散項(xiàng)的系數(shù)為常數(shù)時(shí)，這為線性擴(kuò)散，是各向同性擴(kuò)散的簡(jiǎn)單情形[3]。而在圖像處理中多認(rèn)為線性擴(kuò)散為各向同性擴(kuò)散，其余情形為各向異性擴(kuò)散。Morse等[4]利用水平集的平均曲率運(yùn)動(dòng)(MCM)進(jìn)行圖像放大，并取得較好效果。朱寧等[5]在2005年利用偏微分方程的熱傳導(dǎo)模型，提出基于一種新的熱傳導(dǎo)方程邊值問(wèn)題的圖像放大模型，經(jīng)此模型放大不會(huì)出現(xiàn)斑點(diǎn)，亮暗區(qū)域偏移的現(xiàn)象。2008年，邵文澤等[6]提出一種局部幾何結(jié)構(gòu)驅(qū)動(dòng)的偏微分方程模型。2011年，祝軒等[7]提出曲率驅(qū)動(dòng)與邊緣停止相結(jié)合的非線性模型，該文將曲率作為一個(gè)控制傳導(dǎo)率的因素。Kim等[8]提出一種基于偏微分方程的曲率插值算法，該方法能有效的減弱一般放大方法的邊緣模糊和塊狀效應(yīng)等不利影響。衛(wèi)保國(guó)等[9]提出一種由方向擴(kuò)散，沖擊濾波和保真項(xiàng)構(gòu)成的偏微分方程進(jìn)行圖像放大。姜東煥等[10]針對(duì)Chanbolle圖像放大模型產(chǎn)生的塊狀效應(yīng)，提出非局部的變分正則化圖像放大模型。

You等[11]提出一個(gè)新的各向異性的四階偏微分方程進(jìn)去圖像去噪，該模型能彌補(bǔ)二階偏微分方程進(jìn)行圖像去噪產(chǎn)生的塊狀效應(yīng)這一不足。宋錦萍等[12]利用該模型進(jìn)行圖像放大，實(shí)驗(yàn)表明模型在圖像放大方面的有效性。Bertalmio等[13]給出Navier-Stokes方程模型進(jìn)行圖像修復(fù)。本文將利用該模型進(jìn)行圖像放大。

1 基于Navier-Stokes方程的圖像放大

Bertalmio等[14]提出如下的一個(gè)三階偏微分方程

ut=▽⊥u·▽L

其中L為微分算子，當(dāng)L=Δu時(shí)，得到三階非線性發(fā)展偏微分方程

ut=▽⊥u·▽(Δu)

(1)

該模型的傳播原理是信息沿?cái)嗔阉骄€傳播，在光學(xué)中則是沿等照度線方程傳播，后者則是熟悉的一類傳播模型的基礎(chǔ)。

另一方面，在流體力學(xué)中所知，非線性運(yùn)輸或?qū)α鞣匠倘菀讓?dǎo)致激波，為保證數(shù)值計(jì)算的穩(wěn)定性，可以對(duì)方程做出一點(diǎn)改進(jìn)。

在圖像處理的偏微分方法中，有一大類的方程屬于熱傳導(dǎo)方程及其改進(jìn)的方程，其中有Perona-Malik類型的擴(kuò)散方程。

(2)

該方程將圖像的濾波過(guò)程和圖像邊緣檢測(cè)過(guò)程兩者結(jié)合起來(lái)，而傳統(tǒng)的圖像處理中，兩者是各自獨(dú)立的過(guò)程。從擴(kuò)散行為上分析，如果能選擇好的函數(shù)g，該方程有可能實(shí)現(xiàn)圖像平滑和邊緣增強(qiáng)的作用。

從數(shù)值計(jì)算的角度看，P-M方程的右端項(xiàng)是黏性項(xiàng)，如果能在方程(1)加上該黏性項(xiàng)則能使得數(shù)值計(jì)算的穩(wěn)定性得到一定的保證。

在分析二維不可壓縮流體的渦方程后，發(fā)現(xiàn)上述兩個(gè)方程能結(jié)合形成一個(gè)新的方程。首先，二維不可壓縮流體的速度場(chǎng)v:Ω→R2是無(wú)散的，即

▽

其次，標(biāo)量渦流w，即三維渦旋向量在某平面的投影，可以表示為

定義v⊥=(v2,-v1)為v的法向流，則

說(shuō)明v⊥是無(wú)旋的，由Gauss-Green-Stokes定理，v⊥為某函數(shù)u的梯度流▽u=v⊥，u被稱為流函數(shù)，由流函數(shù)可以得到渦旋標(biāo)量的另一表示

w=▽·(v⊥)=▽·(▽u)=Δu

根據(jù)Navier-Stokes方程

vt+v·▽v=-▽p+μΔv

其中v是速度場(chǎng)，p是壓強(qiáng)，μ是黏性系數(shù)。當(dāng)μ=0時(shí)稱為無(wú)黏流。

對(duì)上述方程兩邊同時(shí)用旋度算子作用，則得到渦流方程

wt+v·▽w=μΔw

(3)

方程(1)的右端正是渦流方程(3)左端第二項(xiàng)

v·▽w=▽⊥u·▽(Δu)

根據(jù)流函數(shù)的定義，黏性流方程(3)的穩(wěn)定態(tài)滿足下面的式子

▽⊥u·▽(Δu)≈0

上式說(shuō)明流體是沿著Δu等照度線方向流動(dòng)，這與圖像信息沿等照度線方向傳播到的原理是一致的。

將二維不可壓縮流體力學(xué)中流函數(shù)和圖像的灰度函數(shù)相對(duì)應(yīng)，則得到圖像修復(fù)模型，下表簡(jiǎn)要總結(jié)兩者的關(guān)系。

表1 流體力學(xué)和圖像處理物理量對(duì)應(yīng)關(guān)系Table 1 Relation between fluid dynamics and image

如將方程(3)右端的黏性項(xiàng)用P-M黏性項(xiàng)替換，則得到

(4)

其中w=ΔI，v=▽⊥I，函數(shù)g是單調(diào)遞減函數(shù)。

2 數(shù)值實(shí)驗(yàn)

本文將用如下方程進(jìn)行圖像放大

(5)

其中w0=ΔI0,v=▽⊥I,n是單位外法線向量，函數(shù)g是單調(diào)遞減函數(shù)。方程(5)擴(kuò)散穩(wěn)定并更好地條件化了運(yùn)輸機(jī)制。

對(duì)方程(5)的數(shù)值計(jì)算，將采用隱式格式，關(guān)于時(shí)間用向前差分格式離散

▽wk+1)i,j=

(6)

上式中的黏性項(xiàng)用五點(diǎn)差分格式離散

(7)

最后得到的差分方程(6)用交替方向迭代方法(ADI)求解。

關(guān)于Possion方程ΔIk+1=wk+1，采用五點(diǎn)中心差分格式離散，形成的線性代數(shù)方程組AIk+1=wk+1將用Jacobi迭代進(jìn)行求解。與Possion方程不同，代數(shù)方程組中A是mn×mn的矩陣，Ik+1，wk+1是重新排列后的mn×1的向量。

計(jì)算流程如下：

2)利用(6)得到wk；

3)求解Possion方程得到Ik；

4)由Ik計(jì)算vk；

其中k=1,2,…，滿足一定條件迭代停止，得到的Ik是最終的結(jié)果。

下面用一些具體的數(shù)值實(shí)驗(yàn)結(jié)果展示模型在圖像放大處理方面的有效性。

實(shí)驗(yàn)1 為觀察模型在傳播過(guò)程中的性質(zhì)，用熱方程(Laplace方程)放大4倍和本文模型放大4倍，見(jiàn)圖1，從結(jié)果可以看出，熱方程在放大的同時(shí)會(huì)產(chǎn)生比較明顯的模糊和邊緣不分段現(xiàn)象，這也是一些二階模型的不足之處，本文模型能一定程度上改善這一不足。圖中圍巾有一定的紋理特征，兩模型對(duì)紋理都沒(méi)有體現(xiàn)出較好的處理結(jié)果。

圖1 熱方程和本文模型放大效果Fig.1 Zooming by different model

實(shí)驗(yàn)2 對(duì)Lena(128×128)的部分圖像分別用文[14,16,17]和本文模型進(jìn)行放大2倍處理，見(jiàn)圖2，通過(guò)對(duì)結(jié)果比較的發(fā)現(xiàn)，文[14]的二階模型在放大后在鼻梁、嘴唇、帽檐部分出現(xiàn)較為明顯的塊狀效應(yīng)，眼珠部分出現(xiàn)了一些灰度的偏移，在羽飾部分過(guò)渡的不夠自然。本文和文[16,17]四階模型能改善這些不足，但是都存在下巴處模糊的情況。

圖2 Lena圖放大2倍效果Fig.2 Lena image zooming by different model

實(shí)驗(yàn)3 對(duì)Jennifer(128×128)用文[14,16,17]和本文模型進(jìn)行放大4倍處理，見(jiàn)圖3。用文[14]模型處理后頭發(fā)部分的灰度過(guò)度和信息的生成比其它模型要不自然，文[16]的四階模型在頭發(fā)和肩膀邊緣部分有塊狀效應(yīng)，這因?yàn)槠湓跀U(kuò)散方向的系數(shù)雖然不是常數(shù)，但是是一樣的。本文的模型的黏性項(xiàng)也有同樣問(wèn)題，但是有運(yùn)輸項(xiàng)，能部分改善，但是同四階模型相比，在放大更大倍數(shù)后，四階模型的視覺(jué)效果會(huì)比較自然。

圖3 Jennifer圖放大4倍效果Fig.3 Jennifer image zooming by different model

為了比較各種模型的放大效果，把Camera,Pepper和Lena圖像均為(256×256)縮小一半,然后用不同的模型進(jìn)行放大兩倍處理。將Lena縮至1/4，再放大4倍?？s小處理為下采樣。在圖像的客觀評(píng)價(jià)體系中，峰值信噪比(PSNR)是一種比較接近人眼的視覺(jué)效果評(píng)價(jià)量。均方誤差(RMSE)用來(lái)測(cè)量放大圖像與標(biāo)準(zhǔn)圖像的相近程度，給出模型的相關(guān)結(jié)果。

PSNR和RMSE的計(jì)算公式為

表2 不同模型放大處理的PSNR和RMSETable 2 PSNR and RMSE of different models

3 結(jié) 論

文中提到的模型有運(yùn)輸項(xiàng)和黏性項(xiàng)兩種不同的信息傳播方式，該模型是對(duì)圖像的Laplace光滑度進(jìn)行漸變，這與一類通過(guò)最小化Laplace光滑度的變分模型有一些類似，這類模型最終得到一類四階方程，本文模型則是依照流體力學(xué)方程產(chǎn)生漸變。流體力學(xué)方程在演變一個(gè)很小的時(shí)間內(nèi)，漸變具有一定的相似性，如油滴在水中擴(kuò)散，在短時(shí)間內(nèi)，油滴的形態(tài)有一定的相似性。通過(guò)這樣的性質(zhì)能在一定程度上保持Laplace光滑度形態(tài)，從而達(dá)到對(duì)未知信息的猜測(cè)。因流體力學(xué)方程的特點(diǎn)，模型在紋理方面效果不理想。實(shí)驗(yàn)結(jié)果說(shuō)明模型在圖像放大處理方面的有效性，對(duì)鋸齒化效應(yīng)和塊狀效應(yīng)有一定的抑制作用。關(guān)于黏性項(xiàng)中擴(kuò)散函數(shù)和黏性系數(shù)的作用還應(yīng)通過(guò)進(jìn)一步的實(shí)驗(yàn)分析清楚?，F(xiàn)在有很多四階方程模型的研究，能否把黏性項(xiàng)換成四階黏性，以及同CCD模型的結(jié)合，能否與一些保持形態(tài)的變量相結(jié)合，找到更合理的數(shù)值計(jì)算方法將是隨后的研究應(yīng)注意的。

[1]GONGYG,WUXS.Anadaptiveimageinterpolationalgorithmbasedonedgeinformation[J].ComputerApplicationandSoftware, 2009, 26(4): 225-227.

[2]ZHOUDW,SHENXL.Edge-directedbicubiccolorimageinterpolation[J].ActaAutomaticaSincia, 2012, 38(4): 525-530.

[3] 王大凱，侯榆青，彭進(jìn)業(yè). 圖像處理的偏微分方程方法 [M]. 北京：科學(xué)出版社, 2008.

[4]MORSEBS,SCHWARTZWALDD.Imagemagnificationusinglevel-setreconstruction[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition,Kauai,Hawaii,USA:IEEEPress, 2001.

[5] 朱寧,吳靜,王忠謙. 圖像放大的偏微分方程方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2005,17(9): 1941-1945.

[6]SHAOWZ,WEIZH.Localgeometrydrivenimagemagnificationandsuper-resolution[J].JournalofImageandGraphics, 2008, 7(13): 1235-1243.

[7]ZHUX,LEIWJ,ZHANGSH,etal.Imagezoomingbycombinationofthecurvature-drivenandedge-stoppingnonlineardiffusion[J].ComputerScience, 2012, 3(38): 290-299.

[8]KIMH,CHAY,KIMS.Curvatureinterpolationmethodforimagezooming[J].IEEETransactionsonImageProcessing, 2011, 20(7):1895-1903.

[9]WEIBG,HUIWH.Imagemagnificationbyadaptivecouplingoforienteddiffusionandshockfilter[J].JournalofImageandGraphics, 2011,16(4): 533-537.

[10] JIANG D H, XU G B, DONGYE C L. Variational image zooming based on nonlocal total variation [J]. Journal of Computer Applications, 2012, 32(3): 725-728.

[11] YOU Y L, XU W Y, TANNENBAUM A, et al. Behavioral analysis of anisotropic diffusion in image processing [J]. IEEE Transactions on Image Processing, 1996, 5(11): 1539-1553.

[12] SONG J P, GAO R, ZHU F, et al. mage zooming algorithm based on partial differential equations technique [J]. Journal of image and Graphics, 2009, 1(14): 82-87.

[13] BERTALMIO M, BERTOZZI A L, SAPIRO G. Navier-Stokes, fluid dynamics and image and video inpainting [J]. IEEE Compute Vision and Pattern Recognition, 2001, 1: 355-362.

[14] BERTALMIO M, SAPIRO G, CASELLES V, et al. Image inpainting [C]∥Computer Graphics Proceedings, 2000.

[15] OSHER S, SETHIAN J. Fronts propagating with curvature dependent speed: algorithms based on Hamilton-Jacobi formulations [J]. Comp Phys, 1988, 79: 12-49.

[16] YOU Y L, KAVEH M. Fourth-order partial differential equation for noise removal [J]. IEEE Transactions on Image Processing, 2000, 9(10): 1723-1730.

[17] CARMONA R A, ZHONG S. Adaptive smoothing respecting feature directions [J]. IEEE Transactions on Image Processing, 1998, 7(3): 353-358.

Application of Navier-Stokes Equation in Image Zooming

ZOUYang,FENGZhaoyong,YAOZheng’an

(School of Mathematics and Computational Science, Sun Yat-sen University, Guangzhou 510275, China)

The model of image zooming based on fluid dynamics equation including convection term and diffusive term, have two ways of interpolation. The experimental results show the effective performance of the proposed model in image zooming.

image zooming; Navier-Stokes equation; anisotropic diffusion; blocky affect

2014-04-23

國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃“973”基金資助項(xiàng)目(2011CB808002)；國(guó)家自然科學(xué)基金資助項(xiàng)目(10971234，11471339)

鄒楊(1984年生)，男；研究方向：數(shù)字圖像處理；通訊作者：馮兆永；E-mail:fzhaoy@mail.sysu.edu.cn

10.1347/j.cnki.acta.snus.2015.01.001

TN911.73

A

0529-6579(2015)01-0001-05