劉國才,王帥卿
(湖南大學(xué) 電氣與信息工程學(xué)院,湖南 長沙 410082)
?
多方向幾何非線性擴散圖像去噪方法*
劉國才?,王帥卿
(湖南大學(xué) 電氣與信息工程學(xué)院,湖南 長沙410082)
現(xiàn)有幾何非線性擴散濾波器同時在水平和垂直方向進行擴散,沒有考慮圖像邊緣的方向性,有損其去噪效果.提出根據(jù)像素8-鄰域方向的梯度值檢測邊緣點及其邊緣方向,對邊緣點僅沿該邊緣方向進行幾何非線性擴散,而對非邊緣點進行4個方向上的幾何非線性擴散.5個等級噪聲強度和5個典型加噪圖像去噪實驗結(jié)果表明,本文方法能夠更有效地去除圖像中的噪聲,同時更好地保護圖像邊緣.
圖像去噪;各向異性擴散濾波;非線性擴散濾波;高斯噪聲;圖像處理
數(shù)字圖像處理技術(shù)在人們?nèi)粘V械膽?yīng)用越來越重要,而圖像去噪是圖像處理工作中一直都存在的基礎(chǔ)性問題[1-2].隨著技術(shù)的發(fā)展,人們對圖像去噪技術(shù)有了更高的要求,傳統(tǒng)的方法通常是采用線性濾波,如中值濾波、均值濾波等[3].但是這些方法通常都會導(dǎo)致圖像細節(jié)的丟失,致使圖像模糊,圖像邊緣[4]、紋理等高頻信號被濾除.許多學(xué)者通過對圖像內(nèi)部像素及像素塊之間相關(guān)性[5-6]的深入研究,逐漸認識到圖像噪聲之間的無關(guān)性和圖像紋理之間的相關(guān)性.出于對圖像邊緣紋理[7]信息的需要,具有保留邊緣[8]特性的去噪方法越來越得到重視.自Perona等人[9]于1990年提出各向異性擴散濾波器(Anisotropic Diffusion Filter, ADF)以來,非線性濾波器得到了長足發(fā)展,提出了許多非線性濾波器,如全變差濾波器(Total Variation Filter, TV)[10]、雙邊濾波器(Bilateral Filter, BF)[11]、非局部均值濾波器(NonLocal Mean Filter, NLM)[12]等.由于各向異性擴散濾波器的擴散模型是病態(tài)的,模型解的存在性與唯一性均不能得到保證,目前已提出許多改進的ADF[13-15].最近,Wu等[16]考慮到NLM在權(quán)函數(shù)設(shè)計上的缺陷,在高斯噪聲假設(shè)下考慮圖像塊對之間的差異概率分布,提出了按圖像塊差異大小概率加權(quán)的非局部均值濾波器 (Probabilistic Non-Local Means, PNLM),提高了原NLM方法的去噪性能.
幾何非線性擴散濾波器(Geometric nonlinear diffusion filter, GNLDF)是Michel-González等人[17]于2011年提出的改進ADF算法,GNLDF兼顧了圖像的全局信息和局部信息.但是,GNLDF只計算水平和垂直方向的擴散系數(shù),并據(jù)此進行擴散,而沒有考慮邊緣的方向性.因此,GNLDF不能很好地保護非水平和非垂直方向的邊緣,而同時達到最佳的去噪效果.鑒于此,本文提出了多方向GNLDF方法.該方法根據(jù)像素8-鄰域方向的梯度值檢測邊緣點及其邊緣方向,對邊緣點僅沿該邊緣方向進行幾何非線性擴散,而對非邊緣點進行4個方向上的幾何非線性擴散.因此,能夠更有效地去除圖像中的噪聲,同時更好地保護圖像邊緣.
GNLDF是改進的各向異性擴散濾波器.ADF模型在連續(xù)域的表達式為:
(1)
(2)
(3)
或
(4)
此處k的選擇與圖像噪聲大小有關(guān),用來控制擴散速度[12].
文獻[9]中ADF的離散形式為:
Michel-González等人[17]用像素灰度值的局部拓撲形態(tài)提出了一個新的擴散系數(shù)計算方法.以水平方向擴散系數(shù)為例,其計算方法如圖1所示.圖1中(a)和(b)分別是在水平方向的典型噪聲像素模型和邊緣像素模型;s,E和W分別為感興趣像素點和感興趣像素點的東邊及西邊的像素點.圖1中:
(6)
圖1 像素分類模型[17]
參數(shù)δ用MAD(Median Absolute Deviation)[13]估計,具體計算公式如下:
(7)
(8)
(9)
(10)
式中:Ax為x方向上的鄰域像素平均值,用作給定像素點灰度值的局部參考對象.
由圖1可知,在含有噪聲的像素點,Px比Dx要大得多,而在邊緣像素點則恰恰相反.定義相應(yīng)的擴散系數(shù)如下:
(11)
對于任何含有噪聲的像素點而言,由于Px?Dx,因此c十分接近1,因此,擴散很大.而對于邊緣像素點,Px?Dx,c十分接近0,因此,幾乎不擴散.
(12)
對于任何含有噪聲的像素點而言,由于Py?Dy,c十分接近1,則像素點擴散很大.而對于邊緣像素點,由于Py?Dy,c十分接近0,則像素點幾乎不擴散.
與PM擴散系數(shù)由圖像局部的梯度幅值和全局參數(shù)k確定相比,GNLDF的擴散系數(shù)取決于2個局部參數(shù)Dx,Px或Dy,Py,因此比原始的ADF有更好的局部擴散特性.GNLDF的離散表達式為:
c(Dy,Py)·(N+S)]t.
(13)
GNLDF具有擴散速度快,去噪效果較好,水平和垂直方向的邊緣能得到很好的保護,但對其他方向的邊緣保護欠佳.
2.1多方向GNLDF噪聲和邊緣點特征
不難發(fā)現(xiàn),文獻[17]中提出的噪聲像素點模型和邊緣像素點模型是單一方向的(即水平方向或垂直方向),因此,相應(yīng)的GNLDF不能很好地保護非水平和非垂直方向的邊緣而同時達到最佳的去噪效果.鑒于此,本文提出多方向GNLDF方法(MD-GNLDF),其原理基于多方向GNLDF噪聲像素點和邊緣像素點特征,如圖2所示,圖中灰色點代表感興趣像素點,其余部分為其八鄰域像素點.
圖2(a)中感興趣的像素點(中心灰色點)受到噪聲污染之后,像素的灰度值與其八鄰域的像素灰度值有一定的差距.但是,依照本文中所劃分的4個方向(即0°,45°,90°和135°這4個方向,下文中所指的“4個方向”均表示此含義),其每個方向上的兩個鄰域像素點與感興趣像素點的梯度幅值之和(Grad0,Grad45,Grad90和Grad135分別對應(yīng)方向為0°,45°,90°和135°)大致相同.圖2(b)包含一個方向為45°的邊緣(本文中邊的方向以45°方向為例),圖像中感興趣像素點是一個受到噪聲污染的邊緣像素點(中心灰色點),其像素的灰度值與黑色的鄰域點較為接近.因此,在45°方向上的感興趣像素點的兩個鄰域像素點與中心像素點的梯度幅值之和最小,而在其他3個方向上,由于白色的像素點與感興趣像素點的梯度幅值較大,其絕對值與黑色像素點對中心像素點的梯度幅值之和相較45°方向而言較大.
圖2 噪聲像素點和邊緣像素點特征
具體而言,首先對計算所得Grad0,Grad45,Grad90,Grad135按照從小到大排序,取出最小值a1和第2最小值a2,用公式(14)進行計算得出R.
(14)
式中:c為小正數(shù),避免分母為零.如果R很小(小于給定閾值),即意味著a2與a1相差不大,說明此處為噪聲點(也可能是平滑區(qū)域,但不管是那種情況,其本質(zhì)相同),則需要進行GNLDF擴散;反之,則說明該點可能是邊緣點,需要進一步確定.如果Grad0,Grad45,Grad90和Grad135 4個中除去最小的一個,其余3個之間方差很小(小于閾值),則可以肯定該點的確為邊緣點,并且其方向為梯度幅值和最小所對應(yīng)的方向(即a1值對應(yīng)的方向);反之,如果其余3個之間的方差依然很大,則依然視為噪聲點.
2.2多方向GNLDF算法
基于上述多方向GNLDF噪聲和邊緣點特征分析,本文提出如下多方向GNLDF算法.該算法通過逐點遍歷、反復(fù)迭代實現(xiàn).具體過程如下:
1)把GNLDF擴展至八鄰域,然后分別計算出圖像I在4個方向的擴散系數(shù)c0,c45,c90和c135.
2)分別計算出圖像I在4個方向上的各個梯度幅值絕對值之和Grad0,Grad45,Grad90和Grad135.
3)基于2.1節(jié)中對Grad0,Grad45,Grad90和Grad135的特征分析,判斷圖像中的噪聲點和邊緣點,并確定邊緣方向.若是噪聲點,則轉(zhuǎn)至5);若為邊緣點,則轉(zhuǎn)至4).
4)沿該邊緣方向?qū)υ擖c進行GNLDF擴散,并轉(zhuǎn)至6).
5)對該像素點同時采用擴散系數(shù)c0,c45,c90和c135進行4個方向的GNLDF擴散,并轉(zhuǎn)至6).
6)若已經(jīng)遍歷整個圖像,則轉(zhuǎn)至7);若未遍歷整個圖像,則轉(zhuǎn)至1).
7)通過計算峰值信噪比PSNR,并與上次比較,若PSNR提高量小于DdB(缺省值為0.01 dB),迭代終止;或者迭代次數(shù)大于N次(缺省值為500),迭代終止.反之,跳轉(zhuǎn)至1).
3.1評價指標(biāo)
為了客觀評價和比較本文提出的多方向GNLDF算法的有效性,采用如下客觀評價指標(biāo).
1) 峰值信噪比PSNR.
(15)
(16)
2) 結(jié)構(gòu)相似度SSIM.結(jié)構(gòu)相似度[18-19](Structural Similarity, SSIM)是模擬人類視覺系統(tǒng)提出的一種客觀評價方法.設(shè)x,y為2幅待比較的圖像,SSIM的模型定義為:
(17)
(18)
3) 圖像增強因子IEF (Image Enhancement Factor)是評價圖像平滑程度的[20]:
(19)
3.2實驗結(jié)果及分析
本文中的所有實驗結(jié)果均是在Matlab 2012a環(huán)境下獲得的.測試的圖片有Barbara,Boat,House,Pepper和Lena.圖片的大小為256×256,圖像的噪聲類型為零均值的高斯噪聲,其方差σ2所取的值分別有0.01,0.02,0.03,0.04和0.05,采用Matlab imnoise函數(shù)實現(xiàn),圖像的數(shù)據(jù)類型為uint8.
本文中對比的算法主要有BF[11],NLM[12]和PNLM[16].對于BF和NLM等算法,對不同的噪聲方差或不同的圖像,其處理效果最好的參數(shù)并不相同,本文中的所有實驗結(jié)果均是在其參數(shù)最優(yōu)時的處理結(jié)果.
PNLM的參數(shù)設(shè)置為搜索區(qū)域窗口大小21×21,匹配塊大小5×5,修正系數(shù)為1,并且標(biāo)準(zhǔn)差的估計采用小波MAD方法,即先對噪聲圖像進行小波分解,分解層數(shù)為2,采用的小波為“db8”;利用分解所得的對角方向上的細節(jié)系數(shù)矩陣用MAD方法[13]估計,這樣的參數(shù)設(shè)置能夠更為準(zhǔn)確地估計出圖像中噪聲的方差,而直接對圖像用MAD估計的方差與實際值偏差較大.
對于本文提出的多方向GNLDF算法,在整個實驗過程中,參數(shù)保持不變.在高斯預(yù)濾波中,其中的高斯核參數(shù)為σ=0.53,w=9.在判斷Grad0,Grad45,Grad90和Grad135之間差異時,公式(14)中R的閾值取為1,采用它們4個中最大3個的方差大小來判斷,其判斷閾值設(shè)置為0.001.
圖3中顯示的是Barbara,Boat,House,Pepper和Lena的原始圖像和噪聲方差為0.03的加噪圖像及分別采用BF,NLM,GNLDF,PNLM以及本文提出的MD-GNLDF方法進行去噪之后的圖像.通過對比,可以發(fā)現(xiàn)BF方法較其他3種方法的去噪效果差,NLM處理結(jié)果模糊不清,GNLDF處理結(jié)果有明顯的塊狀效應(yīng),PNLM的結(jié)果邊緣對比度下降,而本文提出的方法在視覺上更為自然.BF方法是對圖像利用空間距離和灰度值相似性加權(quán)平均,是一種簡單的局部濾波,效果較差.NLM是非局部濾波,但這也一定程度上造成了圖像較為模糊.PNLM是針對高斯噪聲在圖像塊對之間差異大小的概率分布,改進了原NLM.但其在強噪聲環(huán)境下,邊緣保留方面改進不足,細節(jié)紋理幾乎消失殆盡.GNLDF主要是基于其像素點的四鄰域像素點之間的關(guān)系,導(dǎo)致易產(chǎn)生塊狀效應(yīng).MD-GNLDF方法考慮了邊緣方向,削弱了塊狀效應(yīng),使得圖像在視覺上更為自然.
圖3 原始圖像、加噪圖像及分別用BF,NLM,GNLDF,PNLM和本文提出的方法去噪之后的圖像
通過表1對比發(fā)現(xiàn),整體而言,在噪聲強度較高(σ2≥0.03)的時候,本文提出的多方向GNLDF方法在PSNR,SSIM,IEF方面均有更好的表現(xiàn).與原GNLDF相比,本文提出的方法,在PSNR方面,最低能夠提高0.12 dB,最高能夠提高0.75 dB,平均提高0.45 dB.SSIM和IEF的情況與PSNR基本類似.
但對Boat,在SSIM方面本文提出的方法和原GNLDF算法基本相當(dāng).對于Barbara,Boat,House,Lena,當(dāng)σ2較小時(尤其是在σ2≤0.02),提出的方法其PSNR要比NLM和PNLM小.出現(xiàn)這種情況的原因可能與圖像本身的紋理復(fù)雜度有關(guān).當(dāng)噪聲強度較小時,NLM和PNLM同屬于非局部算法,復(fù)雜紋理圖像區(qū)域有著較好的非局部性,而本文提出的方法則是基于局部的邊緣點與噪聲點的特征擴散濾波,因而本文的方法較NLM和PNLM差.但在強噪聲(如在Pepper中,σ2=0.02時)時,MD-GNLDF去噪性能好于NLM和PNLM等.具體而言,對于Barbara圖像,其人物的頭巾、褲子以及桌布部分紋理變化復(fù)雜;House圖像中房屋的墻壁以及屋頂紋理變化較為復(fù)雜;而Lena中則是人物的頭發(fā)變化較為頻繁.而這些紋理變化復(fù)雜的區(qū)域,其紋理都屬于較弱的紋理,因而容易淹沒在低強度的噪聲當(dāng)中.除此之外,對于三者圖像來說,Barbara圖像中這種變化復(fù)雜的區(qū)域相對較多,因而其在σ2≤0.02時MD-GNLDF去噪性能變差,而House和Lena則是在σ2=0.01時,即噪聲非常小時,MD-GNLDF去噪效果才變得較差.需要說明的是,在表1中,PNLM在高噪聲環(huán)境下比NLM差,之所以出現(xiàn)這種情況是因為PNLM的參數(shù)設(shè)置自始至終保持不變,而NLM中的實驗結(jié)果是其效果最好的結(jié)果.
表1 峰值信噪比、結(jié)構(gòu)相似度和圖像增強因子
針對原GNLDF方法不能很好保護非水平方向和非垂直方向邊緣的不足,本文提出的多方向GNLDF能夠充分利用圖像中的邊緣方向信息,最大限度沿邊緣方向進行GNLDF,從而能夠更好地保護圖像邊緣,同時達到更好的去噪效果.實驗證明,本文提出的改進算法在高噪聲環(huán)境下能夠有出色的表現(xiàn),但是在低噪聲環(huán)境下表現(xiàn)欠佳,有待進一步改善.
將本文方法推廣到更多方向GNLDF(包括三維醫(yī)學(xué)圖像處理情況)是可能的,也是直接的.而且,在復(fù)雜邊緣情況下預(yù)期可進一步提高邊緣保護效果和去噪效果,有待更深入地研究.
[1]ZENG X,BIAN W,LIU W,etal.Dictionary pair learning on grassmann manifolds for image denoising[J].Image Processing,IEEE Transactions on, 2015,24(11):4556-4569.
[2]GHIMPETEANU G,BATARD T,BERTALMIO M,etal.A decomposition framework for image denoising algorithms[J].Image Processing,IEEE Transactions on,2016,25(1):388-399.
[3]李學(xué)玲,齊國清.基于方向信息測度的非線性擴散圖像去噪方法[J].中國圖象圖形學(xué)報,2008,13(3): 400-405.
LI Xue-ling,QI Guo-qing.An image denoising method based on nonlinear diffusion and orientation information measure[J].Journal of Image and Graphics,2008,13(3):400-405.(In Chinese)
[4]單建華.改進權(quán)值函數(shù)的非局部均值去噪算法[J]. 中國圖象圖形學(xué)報,2012,17(10):1227-1231.
SHAN Jian-hua.Non-local means denoising algorithm with enhanced weight function[J].Journal of Image and Graphics,2012,17(10):1227-1231.(In Chinese)
[5]YUE H,SUN X,YANG J,etal.Image denoising by exploring external and internal correlations[J].Image Processing,IEEE Transactionson on,2015,24(6): 1967-1982.
[6]ZHANG X,FENG X,WANG W.Two-direction nonlocal model for image denoising[J].Image Processing,IEEE Transactionson on,2013,22(1):408-412.
[7]ZUO W,ZHANG L,SONG C,etal.Gradient histogram estimation and preservation for texture enhanced image denoising[J].Image Processing, IEEE Transactionson on,2014,23(6):2459-2472.
[8]HOSOTANI F,INUZUKA Y,HASEGAWA M,etal. Image denoising with edge-preserving and segmentation based on mask NHA[J].Image Processing,IEEE Transactionson on,2015,24(12): 6025-6033.
[9]PERONA P,MALIK J.Scale-space and edge detection using anisotropic diffusion[J].Pattern Analysis and Machine Intelligence,IEEE Transactionson on,1990,12(7):629-639.
[10]RUDIN L I,OSHER S,FATEMI E.Nonlinear total variation based noise removal algorithms[J].Physica D: Nonlinear Phenomena,1992,60(1):259-268.
[11]TOMASI C,MANDUCHI R.Bilateral filtering for gray and color images[C]//Computer Vision,Sixth International Conference.Bombay, India:IEEE,1998:839-846.
[12]BUADES A,COLL B,MOREL J M.A non-local algorithm for image denoising[C]//Computer Vision and Pattern Recognition. IEEE Computer Society Conference.San Diego,CA,USA:IEEE,2005:60-65.
[13]BLACK M J,SAPIRO G,MARIMONT D H,etal. Robust anisotropic diffusion[J].Image Processing, IEEE Transactions on,1998,7(3):421-432.
[14]BAI J,FENG X C.Fractional-order anisotropic diffusion for image denoising[J].Image Processing, IEEE Transactions on,2007,16(10):2492-2502.
[15]CHAO S M,TSAI D M.An improved anisotropic diffusion model for detail-and edge-preserving smoothing[J].Pattern Recognition Letters, 2010, 31(13):2012-2023.
[16]WU Y,TRACEY B,NATARAJAN P,etal. Probabilistic non-local means[J].Signal Processing Letters,IEEE,2013,20(8):763-766.
[17]MICHEL-GONZLEZ E, CHO M H, LEE S Y. Geometric nonlinear diffusion filter and its application to X-ray imaging[J].Biomedical Engineering Online,2011,10(1):47-63.
[18]WANG Z,BOVIK A C,SHEIKH H R,etal.Image quality assessment: from error visibility to structural similarity[J].Image Processing, IEEE Transactions on,2004,13(4):600-612.
[19]趙川,馬希榮,馬嶺,等.一種基于各向異性擴散方程的自適應(yīng)去噪方法[J].計算機科學(xué),2014,41(11A): 133-135.
ZHAO Chuan,MA Xi-rong,MA Ling,etal.Adaptive denoising method based on anisotropic diffusion equation[J].Computer Science,2014,41(11A): 133-135.(In Chinese)
[20]VEERAKUMAR T,ESAKKIRAJAN S,VENNILA I. Edge preserving adaptive anisotropic diffusion filter approach for the suppression of impulse noise in images[J].AEU-International Journal of Electronics and Communications,2014,68(5):442-452.
Multi-directional Geometric Nonlinear Diffusion Method for Image Denoising
LIU Guo-cai?, WANG Shuai-qing
(College of Electrical and Information Engineering, Hunan Univ, Changsha, Hunan410082, China)
As the direction of edges in images is not taken into account, the original geometric nonlinear diffusion filter (GNLDF) is not in the best state for images denoising, which diffuses only in the horizontal and vertical directions. In this study, we detected the edges and their directions in images based on the magnitude of the gradient in the direction of the eight neighborhoods of each pixel, then conducted GNLDF at the edge pixel just along the directions of the edges while at any no edge pixel along all four directions. Experiment results of five typical images with five levels of noise intensity show that the proposed method can not only effectively remove the noise but also better protect the edges in images.
image denoising; anisotropic diffusion filter; nonlinear diffusion filtering; Gaussian noise;image processing
1674-2974(2016)08-0135-07
2016-01-19
國家自然科學(xué)基金資助項目(61271382,61301254,61471166),National Natural Science Foundation of China(61271382,61301254,61471166)
劉國才(1963-),男,湖南華容人,湖南大學(xué)教授,博士生導(dǎo)師?通訊聯(lián)系人,E-mail:lgc630819@hnu.edu.cn
TP391.4
A