趙恒軍,牛艷霞
(1.河南工程學(xué)院 數(shù)理科學(xué)系,河南 鄭州451191;2.中原工學(xué)院 理學(xué)院,河南 鄭州 450007)
數(shù)字圖像修補(bǔ)近年來(lái)已經(jīng)成為數(shù)字圖像處理的研究熱點(diǎn)之一.圖像修補(bǔ)技術(shù)是針對(duì)圖像中遺失或者損壞的部分,利用未被損壞圖像的信息,按照一定的規(guī)則填補(bǔ),使修補(bǔ)后的圖像接近或達(dá)到原圖的視覺(jué)效果.圖像修補(bǔ)的建模過(guò)程一般依賴(lài)于Helmholtz最佳猜測(cè)原理[1].但從數(shù)字角度來(lái)看,圖像修補(bǔ)是一個(gè)病態(tài)問(wèn)題,因?yàn)闆](méi)有足夠的信息可以保證能唯一正確地恢復(fù)被損壞區(qū)域,所以圖像修補(bǔ)絕不是簡(jiǎn)單的圖像插值問(wèn)題.人們從視覺(jué)心理學(xué)角度進(jìn)行分析,提出了各種假設(shè)限定來(lái)解決這個(gè)問(wèn)題.Bertalmio,Sapiro,Caselles Balleste在文獻(xiàn)[2]中首先將數(shù)字圖像修補(bǔ)作為一個(gè)研究課題正式提出來(lái).目前所出現(xiàn)的圖像修補(bǔ)方法主要有非線(xiàn)性濾波方法,貝葉斯方法,小波和譜分析方法以及主要基于紋理突襲的學(xué)習(xí)生長(zhǎng)方法和統(tǒng)計(jì)方法.除了上述提到的經(jīng)典方法外,近年來(lái)很多研究人員將偏微分方程模型和變分模型用于圖像修補(bǔ)研究.
用變分和偏微分方程方法處理圖像使得能夠在連續(xù)域中分析圖像,從而簡(jiǎn)化問(wèn)題,否則只能依賴(lài)點(diǎn)陣和各向同性算子分析圖像.在連續(xù)域中,可以將偏微分方程看作是在無(wú)限小鄰域內(nèi)迭代的局部濾波器,利用對(duì)偏微分方程的這種解釋?zhuān)梢詫⒃S多已知的迭代濾波器聯(lián)合并分類(lèi),從而推出新的基于偏微分方程的圖像修補(bǔ)模型.變分和偏微分方程方法的另一個(gè)優(yōu)點(diǎn)是能夠利用數(shù)值偏微分方程獲得快速、準(zhǔn)確、穩(wěn)定的解.
圖像處理中的一些重要的偏微分方程大多和熱方程以及擴(kuò)散強(qiáng)度相聯(lián)系,并且可以利用各種算子建立相應(yīng)的偏微分方程,比如可以從演化方程(如經(jīng)典Snake模型[3])的導(dǎo)數(shù)中得到,也可以從求解變分問(wèn)題中獲得,此時(shí)的基本思想是最小能量化泛函.
大量用于圖像處理的偏微分方程都是根據(jù)最小能量化泛函得到的,下邊先介紹一個(gè)關(guān)于變分法的經(jīng)典結(jié)果.
給定一個(gè)一維函數(shù)u(x)∶[0,1]→R,并且有邊界條件:u(0)=a,u(1)=b,這里又給定另一個(gè)函數(shù)F∶R2→R.定義能量模E:
此時(shí)的問(wèn)題是:求使該能量模最小的u的取值.
根據(jù)微積分知識(shí),可以得到:
(1)
該式是能量函數(shù)E(u)取得極值的必要條件,此即為一維變分問(wèn)題的歐拉方程.
類(lèi)似地,對(duì)于能量形式:
也可以得到其歐拉方程:
(2)
同樣,可得到二維問(wèn)題的歐拉方程:給定二維函數(shù)u(x,y)∶Ω→R, Ω∈R2,以及其能量函數(shù)E,這里:
則其歐拉方程為:
(3)
例如,設(shè)F=ρ(|u|), 這里ρ(r)∶R→R是給定的函數(shù),u是u的梯度.即:
則其歐拉方程為:
即:
(4)
對(duì)于特殊情形ρ(r)=r2,因?yàn)棣选?r)=2r,則此時(shí)(4)式即為div(u),即 △u=0,這里△表示拉普拉斯算子.
由以上可知, 根據(jù)最小化能量泛函的思想可以得到其歐拉方程,而此歐拉方程即為能量泛函取得最小值的必要條件.現(xiàn)在的問(wèn)題是如何求出該歐拉方程的解,也就是如何去求解方程E′(u)=0,從而求得使能量泛函E(u)取得最小值時(shí)的u的取值.
對(duì)于如何求解該方程,一般情況下直接求解是很困難的,甚至可以說(shuō)是不可能的.現(xiàn)在給出一個(gè)比較可行的求解歐拉方程的技巧.
不過(guò)在利用這種技巧前,常常需要解決一些問(wèn)題.例如,這個(gè)偏微分方程的解是否唯一?它的解是否依賴(lài)于初值條件?當(dāng)然,在能量非凸的情況下,這個(gè)解將會(huì)很大程度地地依賴(lài)于初值u0.
總之,基于偏微分方程的圖像修補(bǔ)可以看做是這樣一個(gè)過(guò)程:根據(jù)圖像修補(bǔ)模型(建立的能量泛函),可以得到其歐拉方程,再把該歐拉方程所對(duì)應(yīng)的梯度下降流作用于需要修補(bǔ)的圖像(稱(chēng)它為初始圖像u0),此時(shí)梯度下降流即為圖像修補(bǔ)方程,隨著時(shí)間參數(shù)的增長(zhǎng),圖像會(huì)一步步地被修補(bǔ),當(dāng)偏微分方程的解穩(wěn)定時(shí)的解就是修補(bǔ)后的圖像.
記D為待修補(bǔ)區(qū)域,E為待修補(bǔ)區(qū)域的外鄰域,一般為環(huán)狀,如圖1所示.
圖1 待修補(bǔ)區(qū)域及其外鄰域Fig.1 Being patched region and its outer neighborhood
記修補(bǔ)前E∪D區(qū)域內(nèi)的圖像值為u0,修補(bǔ)后E∪D區(qū)域內(nèi)的圖像值為u.
光滑的圖像修補(bǔ)模型為:
(5)
該圖像修補(bǔ)模型的幾何意義是:在修補(bǔ)的圖像中,使沿各水平線(xiàn)的梯度積分最小,所以趨向于得到光滑圖像,即該修補(bǔ)模型是為了使待修補(bǔ)區(qū)域及其邊界盡可能的光滑.
由以上介紹的變分問(wèn)題的歐拉方程的知識(shí)可知,該模型的歐拉方程為:△u=0,其對(duì)應(yīng)的梯度下降流(即圖像修補(bǔ)方程)為:
(6)
該方程是一個(gè)各向異性的擴(kuò)散方程,擴(kuò)散強(qiáng)度的大小依賴(lài)于各點(diǎn)的梯度,即等水平線(xiàn)的強(qiáng)度變化,而不依賴(lài)其他幾何信息.
設(shè)(i,j)為目標(biāo)像素,時(shí)間層n=0,1,2…,則un(i,j)表示像素(i,j)在時(shí)間層n處的灰度值,uxx(i,j)表示(i,j)處對(duì)x的二階偏導(dǎo)數(shù).那么,該圖像修補(bǔ)方程離散化后為:
(7)
最終的算法步驟如下:
先將待修補(bǔ)圖像各像素點(diǎn)的灰度值讀取出來(lái),判斷哪些是待修補(bǔ)區(qū)域,哪些是非修補(bǔ)區(qū)域.將待修補(bǔ)區(qū)域內(nèi)的像素點(diǎn)記為0,非修補(bǔ)區(qū)域內(nèi)的像素點(diǎn)記為1,再對(duì)待修補(bǔ)圖像中的像素點(diǎn)逐一進(jìn)行判斷,如果當(dāng)前像素點(diǎn)的標(biāo)記為0,就將該點(diǎn)的灰度值按(7)中的第一式進(jìn)行迭代;如果當(dāng)前像素點(diǎn)的標(biāo)記為1,就將該點(diǎn)的灰度值按(7)中的第二式進(jìn)行迭代,這樣就更新了待修補(bǔ)圖像各像素點(diǎn)的灰度值.設(shè)定N及δ>0,當(dāng)?shù)鶱次后,計(jì)算前后兩次迭代的圖像距離差,設(shè)新舊兩幅圖像分別為u和v,將新舊兩幅圖像的距離差定義為:
若距離差小于δ,則停止迭代;若距離差大于δ,則增大迭代次數(shù)N,繼續(xù)進(jìn)行迭代.當(dāng)前的迭代結(jié)果即為修補(bǔ)后圖像.
圖2是用光滑模型對(duì)圖像修補(bǔ)前后的對(duì)比.
圖2 修補(bǔ)前后圖像對(duì)比Fig.2 The comparison of the primal image and the patched image
本文基于偏微分方程方法建立了一個(gè)光滑圖像修補(bǔ)模型,利用該模型修補(bǔ)圖像的過(guò)程中,使沿各水平線(xiàn)的梯度積分最小,也即是使待修補(bǔ)區(qū)域及其邊界盡可能光滑,趨向于得到光滑圖像.從試驗(yàn)的結(jié)果也可以看到,該光滑修補(bǔ)模型使修補(bǔ)后的圖像光滑,具有良好的修補(bǔ)效果.但此方法的不足之處是,若修補(bǔ)區(qū)域在邊緣處時(shí),這種模型的修補(bǔ)結(jié)果就模糊了邊緣,使得修補(bǔ)的痕跡較為明顯,這是有待繼續(xù)改進(jìn)的地方.
參考文獻(xiàn):
[1] GEMAN S,GERMAN D. Stochastic relaxation, Gibbs distribution and the Bayesian restoration images[M]. IEEE Tran PAMI-616,1984.
[2] BERTALMIO M,MASELLES G D,BALLESTER C. Image inpainting. proceedings of the 27th international conference on computer graphics and interactive techniques(SIGGRAPH 2000)[M]. New Orleans, LA,ACM Press, New York, 2000.
[3] GOLDENBERG R, KIMMEL R, RUDZSKY M. Fast geodestic active contour[J]. IEEE Transactions on Image Processing, 2001, 10(10):1 467-1 475.