(海軍裝備研究院航空裝備論證研究所,上海200436)
非線性擴(kuò)散是圖像平滑的重要方法,而圖像平滑在圖像處理和計(jì)算機(jī)視覺(jué)中是一個(gè)基本問(wèn)題。這主要因?yàn)槠交梢云鸬?個(gè)重要作用:一是圖像鄰域信息的交互,因而可以擴(kuò)大局部數(shù)據(jù)的影響;二是平滑具有正則化的作用,可以將一個(gè)沒(méi)有唯一解的病態(tài)問(wèn)題轉(zhuǎn)化為良態(tài)問(wèn)題。另外,非線性擴(kuò)散還可以應(yīng)用在光流分析和幾何活動(dòng)輪廓模型中。最普通的平滑方法是將數(shù)據(jù)與Gaussian 核進(jìn)行卷積[1],也就是通常所說(shuō)的線性平滑。線性平滑實(shí)現(xiàn)簡(jiǎn)單,計(jì)算效率高,而且可擴(kuò)展到多維數(shù)據(jù)或矢量型、矩陣型數(shù)據(jù)。然而,近年來(lái)非線性擴(kuò)散越來(lái)越引起研究者的注意,并且在許多應(yīng)用領(lǐng)域替代了Gaussian 平滑。這主要因?yàn)榉蔷€性平滑具有保持?jǐn)?shù)據(jù)不連續(xù)性的能力,避免了Gaussian平滑的模糊效應(yīng)。
本文擬針對(duì)非線性擴(kuò)散方法進(jìn)行總結(jié)和分析:首先,介紹了非線性擴(kuò)散的物理基礎(chǔ)及數(shù)學(xué)性質(zhì);然后,介紹了非線性擴(kuò)散方法在圖像處理領(lǐng)域的分類(lèi)及相關(guān)研究成果;最后,指出非線性擴(kuò)散方法的研究趨勢(shì)。
非線性擴(kuò)散是以日常生活中都能觀察到的擴(kuò)散現(xiàn)象為物理背景的,例如熱量的擴(kuò)散、2種不同液體自然混合時(shí)發(fā)生的擴(kuò)散等等。
當(dāng)觀察大量粒子擴(kuò)散時(shí),可把粒子的濃度c(r,t)作為位置r 和時(shí)間t的函數(shù)來(lái)描述;當(dāng)追蹤一個(gè)粒子的移動(dòng)時(shí),作為隨機(jī)過(guò)程,可以考慮這個(gè)粒子在時(shí)刻t 出現(xiàn)于位置r的概率密度p(r,t),這2種情況都遵守方程
式中,Δ代表散度。
方程(2)稱(chēng)為擴(kuò)散方程,D為擴(kuò)散系數(shù),j是與濃度梯度成正比的粒子流或概率流,即Fick 定律,擴(kuò)散系數(shù)D 由擴(kuò)散粒子的性質(zhì)、擴(kuò)散粒子與介質(zhì)粒子的相互作用以及溫度等決定。
擴(kuò)散方程主要基于2個(gè)原則:濃度差異的平衡和質(zhì)量守恒定律。濃度差異的平衡由Fick定律來(lái)體現(xiàn),而質(zhì)量守恒描述為
綜合式(2)、(3),就得到擴(kuò)散方程(1)。
連續(xù)情況下,擴(kuò)散方程(1)主要具有以下性質(zhì)[2]:
2)極值原理。令a:=infΩf,b:=supΩf,則在Ω×(0,∞)上,a≤u(x,t)≤b;
4)Lyapunov 函數(shù)。對(duì)任意凸性函數(shù)r ∈C2[a,b],為L(zhǎng)yapunov函數(shù)且為以為下界的單調(diào)遞減函數(shù);
5)收斂性。在Lp(Ω),1≤p<∞范數(shù)意義下,為灰度均值。
在圖像處理中,擴(kuò)散模型可用于圖像的平滑處理。在擴(kuò)散過(guò)程中,灰度值在圖像中傳播,當(dāng)所有像素的灰度值相等時(shí)達(dá)到平衡。與質(zhì)量守恒相對(duì)應(yīng)的是,圖像的灰度均值不變?;叶葦U(kuò)散的方式取決于擴(kuò)散系數(shù)矩陣D,根據(jù)D的不同,可以分為3種:①均勻擴(kuò)散。D為單位矩陣;②各向同性擴(kuò)散。D為一個(gè)帶有尺度因子的單位矩陣,其尺度因子由圖像的局部結(jié)構(gòu)決定;③各向異性擴(kuò)散。D為任意一個(gè)由圖像局部結(jié)構(gòu)決定的對(duì)稱(chēng)正定矩陣。
幾乎所有的非線性擴(kuò)散方法都以Perona-Malik[3]的研究工作為基礎(chǔ)。Perona-Malik首先提出了對(duì)灰度圖像進(jìn)行各向異性擴(kuò)散濾波的P-M模型,其主要思想是將非線性擴(kuò)散的程度同圖像內(nèi)容相聯(lián)系,把圖像平滑轉(zhuǎn)化為對(duì)偏微分方程的求解,對(duì)區(qū)域內(nèi)和區(qū)域間采取不同的濾波策略,減少對(duì)圖像特征的平滑。
Perona-Malik提出的擴(kuò)散方程為
式中:u代表恢復(fù)圖像;Δ代表散度;g為擴(kuò)散函數(shù);?u為u的梯度,初始化條件為u(x,0)=f(x),f(x)為原始圖像,定義域?yàn)棣?(0,∞)。
常用的擴(kuò)散函數(shù)有以下2種[3]。
Perona-Malik Ⅰ:
Perona-Malik Ⅱ:
Charbonnier的擴(kuò)散函數(shù)不同于其他的函數(shù)的是,它不允許后向擴(kuò)散,因而只保留邊緣而不能增強(qiáng)邊緣。Weickert的擴(kuò)散函數(shù)的特點(diǎn)是比Perona-Malik的擴(kuò)散函數(shù)下降的更快。
每每談到圖像,首先想到具有二維結(jié)構(gòu)的數(shù)組,這種結(jié)構(gòu)在灰度圖像中非常普遍。但是二維結(jié)構(gòu)不是一定的,例如:視頻序列是三維結(jié)構(gòu)的,尤其在多媒體應(yīng)用領(lǐng)域,圖像數(shù)據(jù)都是多維的。圖像數(shù)據(jù)也不一定是標(biāo)量數(shù)據(jù),例如:對(duì)于一幅彩色圖像,每一像素都由一個(gè)顏色矢量表示,因而是矢量數(shù)據(jù);在醫(yī)學(xué)圖像處理領(lǐng)域,還有DT-MRI圖像,每一像素都由一個(gè)矩陣表示,因而是矩陣數(shù)據(jù)。除此以外,還有對(duì)由輸入圖像產(chǎn)生的矩陣類(lèi)型的數(shù)據(jù)進(jìn)行平滑處理的實(shí)際需求,經(jīng)常使用的結(jié)構(gòu)張量[6]就是從圖像梯度得出的矩陣類(lèi)型的數(shù)據(jù)。在圖像處理中有時(shí)也需要對(duì)這種矩陣類(lèi)型的數(shù)據(jù)進(jìn)行平滑處理。Tschumperlé和Deriche[7]將非線性擴(kuò)散濾波技術(shù)擴(kuò)展到對(duì)矩陣類(lèi)型數(shù)據(jù)的處理。
對(duì)矩陣類(lèi)型的數(shù)據(jù)進(jìn)行擴(kuò)散的最直接方法就是分別平滑矩陣的各個(gè)分量。分別平滑各個(gè)分量的方法參見(jiàn)文獻(xiàn)[6,8],其中,文獻(xiàn)[6]的擴(kuò)散是線性的,而文獻(xiàn)[8]的擴(kuò)散是非線性的。實(shí)際上,對(duì)于均勻擴(kuò)散(或高斯平滑)而言,這是一個(gè)比較合適的方法。但對(duì)于非線性擴(kuò)散(包括各向同性和各向異性),這種方法會(huì)產(chǎn)生問(wèn)題:如果分別對(duì)各分量進(jìn)行擴(kuò)散,可能會(huì)在不同的位置產(chǎn)生不同的結(jié)構(gòu),例如,對(duì)于一幅彩色圖像,邊緣位置可能被不同的顏色值定位到不同的地方。
解決這一問(wèn)題的方法是使用共同的擴(kuò)散矩陣來(lái)耦合各個(gè)分量的信息,共同的擴(kuò)散矩陣由所有分量的數(shù)據(jù)信息決定,這一點(diǎn)通過(guò)對(duì)所有分量的梯度信息求和作為擴(kuò)散函數(shù)的自變量來(lái)實(shí)現(xiàn)。使用共同的擴(kuò)散矩陣來(lái)耦合各個(gè)分量的信息的方法始于文獻(xiàn)[7]的工作,其擴(kuò)散方程如下:
式中,ui,j(i=1,2,…,n;j=1,2,…,m)為張量的分量。
式(9)的擴(kuò)散是各向同性擴(kuò)散,其擴(kuò)散系數(shù)是一個(gè)標(biāo)量。各向異性的非線性濾波方程為
對(duì)矩陣數(shù)據(jù)進(jìn)行非線性擴(kuò)散的應(yīng)用之一就是對(duì)結(jié)構(gòu)張量進(jìn)行處理。傳統(tǒng)的線性濾波方法處理的結(jié)構(gòu)張量簡(jiǎn)稱(chēng)為線性張量,而非線性擴(kuò)散產(chǎn)生的張量簡(jiǎn)稱(chēng)為非線性張量。
由式(9)、(10)可以看出對(duì)張量數(shù)據(jù)的非線性擴(kuò)散濾波和對(duì)標(biāo)量數(shù)據(jù)進(jìn)行非線性濾波的計(jì)算過(guò)程是一樣的,只是把張量的各分量看成不同的信息通道,然后綜合各通道的數(shù)據(jù)信息計(jì)算擴(kuò)散系數(shù)矩陣作為各信息通道共同的擴(kuò)散系數(shù)矩陣。
1)如何解決平滑去噪和保留圖像特征點(diǎn)之間的矛盾。為增強(qiáng)邊緣,非線性擴(kuò)散在其最初的設(shè)計(jì)中保留了2個(gè)問(wèn)題:一是缺乏連續(xù)意義下一般的擴(kuò)散函數(shù)理論;二是沒(méi)有考慮噪聲和邊緣的區(qū)別。這些問(wèn)題可以通過(guò)平滑或者在計(jì)算梯度之前對(duì)u 進(jìn)行平滑處理來(lái)解決[9]。
改進(jìn)后的擴(kuò)散方程為
式中,?σu=?()
Kσ?u。須指出的是,這一預(yù)平滑處理對(duì)沒(méi)有后向擴(kuò)散的擴(kuò)散函數(shù)不是必要步驟,也并沒(méi)有完全解決平滑去噪和保留圖像特征點(diǎn)之間的矛盾。如何解決好這一矛盾,是非線性擴(kuò)散方法有待解決的主要問(wèn)題之一。
2)結(jié)構(gòu)的封閉性問(wèn)題。由于非線性擴(kuò)散方法可以促進(jìn)圖像鄰域信息的交互,因而這種方法還可在一定程度上修補(bǔ)一些缺失的結(jié)構(gòu),使得沒(méi)有任何結(jié)構(gòu)特征的小塊圖像區(qū)域被其鄰域的結(jié)構(gòu)特征所填充,并且可用參數(shù)控制填充的尺度。如何更好地實(shí)現(xiàn)這一功能以及參數(shù)設(shè)置等問(wèn)題都是值得深入研究的。
3)不連續(xù)點(diǎn)的保留。非線性擴(kuò)散方法相對(duì)于線性擴(kuò)散方法的最大優(yōu)勢(shì)在于它能夠在一定程度上控制在不同區(qū)域的擴(kuò)散程度,以避免過(guò)度平滑而使一些特征點(diǎn)丟失。在非線性擴(kuò)散的過(guò)程中,圖像取向和灰度幅度等特征的不連續(xù)點(diǎn)都應(yīng)該被保存,最好是非線性擴(kuò)散的參數(shù)可同時(shí)控制某一特征不連續(xù)點(diǎn)是否應(yīng)該保持,這有可能需要多尺度分析,以達(dá)到在保留不連續(xù)點(diǎn)的目的。做到這點(diǎn)也有利于形成封閉的結(jié)構(gòu)。
4)簡(jiǎn)化參數(shù)設(shè)置,并提高其魯棒性。這點(diǎn)很容易理解,也是很多算法追求的目標(biāo),即應(yīng)引入盡量少的參數(shù),并使參數(shù)不會(huì)受輸入數(shù)據(jù)的微小變化的影響。
[1]GRUNBAUM B,SHEPHARD G.Patterns on the 2-sphere[J].Mathematicka,1981,28(1):1-35.
[2]WEICKERT J.Applications of nonlinear diffusion in image processing and computer vision[J].Acta Mathematics University Comenianae,2001(1):33-50.
[3]PERONA P,MALIK J.Scale space and edge detection using anisotropic diffusion[J].IEEE Transactions on Pattern Analysis and Machine Inteligence,1990,12(7):629-639.
[4]WEICKERT J.Scale-space properties of nonlinear diffusion filtering with a diffusion tensor[R].Kaiserslautern:University of Kaiserslautern,1994.
[5]CHARBONNIER P,BLANC-FéRAUD L,AUBERT G,et al.Two deterministic half-quadratic regularization algorithms for computed imaging[C]//Proceeding of IEEE International Conference on Image Processing.1994:168-172.
[6]WESTIN C,MAIER S E,KHUDHIR B,etal.Image processing for diffusion tensor magnetic resonance imaging[C]//Medical Image computing and Computer-assisted Intervention.Berlin:Springer,1999:441-452.
[7]TSCHUMPERLé D,DERICHE R.Diffusion tensor regularization with constraints preservation[C]//Proceeding of 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2001:948-953.
[8]HAHN K,PIGARIN S,PUTZ B.Edge preserving regularization and tracking for diffusion tensor image imaging[C]//Medical Image computing and Computer-assisted Intervention.Berlin:Springer,2001:195-203.
[9]CATTE F,LIONS P L,MOREL J M,et al.Image selective smoothing and edge detection by nonlinear diffusion[J].SIAM Journal on Numerical Analysis,1992(32):1895-1909.