趙恒軍，牛艷霞

(1.河南工程學(xué)院 數(shù)理科學(xué)系，河南 鄭州451191；2.中原工學(xué)院 理學(xué)院，河南 鄭州 450007)

數(shù)字圖像修補(bǔ)近年來(lái)已經(jīng)成為數(shù)字圖像處理的研究熱點(diǎn)之一.圖像修補(bǔ)技術(shù)是針對(duì)圖像中遺失或者損壞的部分，利用未被損壞圖像的信息，按照一定的規(guī)則填補(bǔ)，使修補(bǔ)后的圖像接近或達(dá)到原圖的視覺(jué)效果.圖像修補(bǔ)的建模過(guò)程一般依賴(lài)于Helmholtz最佳猜測(cè)原理[1].但從數(shù)字角度來(lái)看，圖像修補(bǔ)是一個(gè)病態(tài)問(wèn)題，因?yàn)闆](méi)有足夠的信息可以保證能唯一正確地恢復(fù)被損壞區(qū)域，所以圖像修補(bǔ)絕不是簡(jiǎn)單的圖像插值問(wèn)題.人們從視覺(jué)心理學(xué)角度進(jìn)行分析，提出了各種假設(shè)限定來(lái)解決這個(gè)問(wèn)題.Bertalmio，Sapiro，Caselles Balleste在文獻(xiàn)[2]中首先將數(shù)字圖像修補(bǔ)作為一個(gè)研究課題正式提出來(lái).目前所出現(xiàn)的圖像修補(bǔ)方法主要有非線(xiàn)性濾波方法，貝葉斯方法，小波和譜分析方法以及主要基于紋理突襲的學(xué)習(xí)生長(zhǎng)方法和統(tǒng)計(jì)方法.除了上述提到的經(jīng)典方法外，近年來(lái)很多研究人員將偏微分方程模型和變分模型用于圖像修補(bǔ)研究.

用變分和偏微分方程方法處理圖像使得能夠在連續(xù)域中分析圖像，從而簡(jiǎn)化問(wèn)題，否則只能依賴(lài)點(diǎn)陣和各向同性算子分析圖像.在連續(xù)域中，可以將偏微分方程看作是在無(wú)限小鄰域內(nèi)迭代的局部濾波器，利用對(duì)偏微分方程的這種解釋?zhuān)梢詫⒃S多已知的迭代濾波器聯(lián)合并分類(lèi)，從而推出新的基于偏微分方程的圖像修補(bǔ)模型.變分和偏微分方程方法的另一個(gè)優(yōu)點(diǎn)是能夠利用數(shù)值偏微分方程獲得快速、準(zhǔn)確、穩(wěn)定的解.

1 基于偏微分方程的圖像修補(bǔ)原理

圖像處理中的一些重要的偏微分方程大多和熱方程以及擴(kuò)散強(qiáng)度相聯(lián)系，并且可以利用各種算子建立相應(yīng)的偏微分方程，比如可以從演化方程(如經(jīng)典Snake模型[3])的導(dǎo)數(shù)中得到，也可以從求解變分問(wèn)題中獲得，此時(shí)的基本思想是最小能量化泛函.

大量用于圖像處理的偏微分方程都是根據(jù)最小能量化泛函得到的，下邊先介紹一個(gè)關(guān)于變分法的經(jīng)典結(jié)果.

給定一個(gè)一維函數(shù)u(x)∶[0，1]→R,并且有邊界條件：u(0)=a,u(1)=b，這里又給定另一個(gè)函數(shù)F∶R2→R.定義能量模E：

此時(shí)的問(wèn)題是：求使該能量模最小的u的取值.

根據(jù)微積分知識(shí)，可以得到：

(1)

該式是能量函數(shù)E(u)取得極值的必要條件，此即為一維變分問(wèn)題的歐拉方程.

類(lèi)似地，對(duì)于能量形式：

也可以得到其歐拉方程：

(2)

同樣，可得到二維問(wèn)題的歐拉方程：給定二維函數(shù)u(x,y)∶Ω→R, Ω∈R2,以及其能量函數(shù)E,這里：

則其歐拉方程為：

(3)

例如，設(shè)F=ρ(|u|), 這里ρ(r)∶R→R是給定的函數(shù)，u是u的梯度.即：

則其歐拉方程為：

即：

(4)

對(duì)于特殊情形ρ(r)=r2,因?yàn)棣选?r)=2r,則此時(shí)(4)式即為div(u)，即 △u=0,這里△表示拉普拉斯算子.

由以上可知, 根據(jù)最小化能量泛函的思想可以得到其歐拉方程，而此歐拉方程即為能量泛函取得最小值的必要條件.現(xiàn)在的問(wèn)題是如何求出該歐拉方程的解，也就是如何去求解方程E′(u)=0,從而求得使能量泛函E(u)取得最小值時(shí)的u的取值.

對(duì)于如何求解該方程，一般情況下直接求解是很困難的，甚至可以說(shuō)是不可能的.現(xiàn)在給出一個(gè)比較可行的求解歐拉方程的技巧.

不過(guò)在利用這種技巧前，常常需要解決一些問(wèn)題.例如，這個(gè)偏微分方程的解是否唯一？它的解是否依賴(lài)于初值條件？當(dāng)然，在能量非凸的情況下，這個(gè)解將會(huì)很大程度地地依賴(lài)于初值u0.

總之，基于偏微分方程的圖像修補(bǔ)可以看做是這樣一個(gè)過(guò)程：根據(jù)圖像修補(bǔ)模型(建立的能量泛函)，可以得到其歐拉方程，再把該歐拉方程所對(duì)應(yīng)的梯度下降流作用于需要修補(bǔ)的圖像(稱(chēng)它為初始圖像u0)，此時(shí)梯度下降流即為圖像修補(bǔ)方程，隨著時(shí)間參數(shù)的增長(zhǎng)，圖像會(huì)一步步地被修補(bǔ)，當(dāng)偏微分方程的解穩(wěn)定時(shí)的解就是修補(bǔ)后的圖像.

2 用光滑修補(bǔ)模型建立偏微分方程的圖像修補(bǔ)

記D為待修補(bǔ)區(qū)域，E為待修補(bǔ)區(qū)域的外鄰域，一般為環(huán)狀，如圖1所示.

圖1 待修補(bǔ)區(qū)域及其外鄰域Fig.1 Being patched region and its outer neighborhood

記修補(bǔ)前E∪D區(qū)域內(nèi)的圖像值為u0,修補(bǔ)后E∪D區(qū)域內(nèi)的圖像值為u.

光滑的圖像修補(bǔ)模型為：

(5)

該圖像修補(bǔ)模型的幾何意義是：在修補(bǔ)的圖像中，使沿各水平線(xiàn)的梯度積分最小，所以趨向于得到光滑圖像,即該修補(bǔ)模型是為了使待修補(bǔ)區(qū)域及其邊界盡可能的光滑.

由以上介紹的變分問(wèn)題的歐拉方程的知識(shí)可知，該模型的歐拉方程為：△u=0,其對(duì)應(yīng)的梯度下降流(即圖像修補(bǔ)方程)為：

(6)

該方程是一個(gè)各向異性的擴(kuò)散方程，擴(kuò)散強(qiáng)度的大小依賴(lài)于各點(diǎn)的梯度，即等水平線(xiàn)的強(qiáng)度變化，而不依賴(lài)其他幾何信息.

設(shè)(i,j)為目標(biāo)像素，時(shí)間層n=0,1,2…,則un(i,j)表示像素(i,j)在時(shí)間層n處的灰度值，uxx(i,j)表示(i,j)處對(duì)x的二階偏導(dǎo)數(shù).那么，該圖像修補(bǔ)方程離散化后為:

(7)

最終的算法步驟如下：

先將待修補(bǔ)圖像各像素點(diǎn)的灰度值讀取出來(lái)，判斷哪些是待修補(bǔ)區(qū)域，哪些是非修補(bǔ)區(qū)域.將待修補(bǔ)區(qū)域內(nèi)的像素點(diǎn)記為0，非修補(bǔ)區(qū)域內(nèi)的像素點(diǎn)記為1，再對(duì)待修補(bǔ)圖像中的像素點(diǎn)逐一進(jìn)行判斷，如果當(dāng)前像素點(diǎn)的標(biāo)記為0，就將該點(diǎn)的灰度值按(7)中的第一式進(jìn)行迭代；如果當(dāng)前像素點(diǎn)的標(biāo)記為1，就將該點(diǎn)的灰度值按(7)中的第二式進(jìn)行迭代，這樣就更新了待修補(bǔ)圖像各像素點(diǎn)的灰度值.設(shè)定N及δ>0,當(dāng)?shù)鶱次后，計(jì)算前后兩次迭代的圖像距離差，設(shè)新舊兩幅圖像分別為u和v,將新舊兩幅圖像的距離差定義為:

若距離差小于δ,則停止迭代；若距離差大于δ,則增大迭代次數(shù)N,繼續(xù)進(jìn)行迭代.當(dāng)前的迭代結(jié)果即為修補(bǔ)后圖像.

圖2是用光滑模型對(duì)圖像修補(bǔ)前后的對(duì)比.

圖2 修補(bǔ)前后圖像對(duì)比Fig.2 The comparison of the primal image and the patched image

3 結(jié) 語(yǔ)

本文基于偏微分方程方法建立了一個(gè)光滑圖像修補(bǔ)模型，利用該模型修補(bǔ)圖像的過(guò)程中，使沿各水平線(xiàn)的梯度積分最小，也即是使待修補(bǔ)區(qū)域及其邊界盡可能光滑，趨向于得到光滑圖像.從試驗(yàn)的結(jié)果也可以看到，該光滑修補(bǔ)模型使修補(bǔ)后的圖像光滑，具有良好的修補(bǔ)效果.但此方法的不足之處是，若修補(bǔ)區(qū)域在邊緣處時(shí)，這種模型的修補(bǔ)結(jié)果就模糊了邊緣，使得修補(bǔ)的痕跡較為明顯，這是有待繼續(xù)改進(jìn)的地方.

參考文獻(xiàn):

[1] GEMAN S,GERMAN D. Stochastic relaxation, Gibbs distribution and the Bayesian restoration images[M]. IEEE Tran PAMI-616,1984.

[2] BERTALMIO M,MASELLES G D,BALLESTER C. Image inpainting. proceedings of the 27th international conference on computer graphics and interactive techniques(SIGGRAPH 2000)[M]. New Orleans, LA,ACM Press, New York, 2000.

[3] GOLDENBERG R, KIMMEL R, RUDZSKY M. Fast geodestic active contour[J]. IEEE Transactions on Image Processing, 2001, 10(10):1 467-1 475.