莫佩基,雷 宏
(1.中國(guó)科學(xué)院電子學(xué)研究所,北京 100190; 2.中國(guó)科學(xué)院大學(xué),北京 100049)
圖像去噪作為低層次視覺中的經(jīng)典問(wèn)題,是圖像處理的基礎(chǔ)與難點(diǎn),從20世紀(jì)70年代發(fā)展至今仍是一個(gè)研究熱點(diǎn)。一般而言,圖像去噪主要是從含噪圖像y=x+v中恢復(fù)原始干凈圖像x(v假定為加性高斯白噪聲)。去噪方法種類繁多,主要有濾波[1]、擴(kuò)散[2-3]、全變分[4-5]、小波或曲線波[6-8]、稀疏表示[9-12]、非局部自相似性(Nonlocal Self-Similarity, NSS)[13-17]、NSS與擴(kuò)散結(jié)合[18-19]等。
盡管在圖像去噪中NSS早已證實(shí)了它的有效性,但現(xiàn)存的絕大部分算法,只是利用了輸入噪聲圖像的NSS,而沒有考慮干凈圖像的NSS。因此,Xu等[20]提出了PGPD算法,其利用干凈圖像學(xué)習(xí)得到塊組(Patch Group, PG)的非局部相似性先驗(yàn),然后利用基于PG的高斯混合模型(Gaussian Mixture Model, GMM)算法[21]和加權(quán)稀疏編碼對(duì)圖像進(jìn)行去噪。該方法去噪效果和運(yùn)行效率都非常好,但隨著噪聲水平的增加,去噪性能會(huì)下降,不能很好地保持圖像邊緣、紋理等細(xì)節(jié)信息。
對(duì)圖像的小波分解而言,低頻部分主要為圖像有用信息,而高頻部分包含圖像的邊緣、紋理以及噪聲,并且,圖像信號(hào)的小波系數(shù)要高于噪聲的小波系數(shù)[16]。
基于以上分析,本文提出一種反應(yīng)擴(kuò)散與PGPD相結(jié)合的圖像去噪算法,主要思想是對(duì)PGPD去噪圖像進(jìn)行小波分解,按照高低頻及閾值劃分為3個(gè)正交子帶。經(jīng)過(guò)理論分析與實(shí)驗(yàn)仿真,可知高頻系數(shù)值大的部分多為圖像邊緣和紋理,去噪時(shí)對(duì)該部分銳化能力較差,因此最終的峰值信噪比(Peak Signal to Noise Ratio, PSNR)偏低,而反應(yīng)擴(kuò)散模型[22]恰好可以保護(hù)邊緣,因而可以利用其對(duì)該部分進(jìn)行銳化。實(shí)驗(yàn)結(jié)果表明,所提算法較之PGPD,不僅PSNR值更高,還可以有效保存圖像細(xì)節(jié)和邊緣。
自然圖像中會(huì)存在信息冗余性,即像素或圖像塊之間存在顏色和結(jié)構(gòu)上的相似性。也就是說(shuō),給定一個(gè)圖像塊,在整個(gè)圖像范圍內(nèi)通??梢哉业皆S多相似結(jié)構(gòu)的圖像塊,這就是圖像的非局部自相似性(NSS)。NSS的引入大大改善了圖像去噪效果,也為去噪領(lǐng)域開創(chuàng)了一條新穎的研究思路。文獻(xiàn)[13]提出的非局部均值算法,就是利用圖像中的相似像素估計(jì)目標(biāo)像素;文獻(xiàn)[14]將相似圖像塊分組,以組為單位進(jìn)行維納濾波以此改善去噪效果;也可結(jié)合文獻(xiàn)[15]低秩逼近方法進(jìn)行去噪。但是,上述算法只是利用了噪聲圖像的非局部相似性特征,沒能充分利用干凈圖像的非局部相似性先驗(yàn)。因此,Xu等人[20]在此基礎(chǔ)上提出了利用含噪圖像與干凈圖像非局部相似性的PGPD去噪算法。
假設(shè)所有PG獨(dú)立采樣,對(duì)總的目標(biāo)似然函數(shù)取最大化,即最大化
(1)
(2)
式(2)的解從最大后驗(yàn)概率估計(jì)的角度來(lái)看等價(jià)于
(3)
雖然經(jīng)過(guò)學(xué)習(xí)和去噪2個(gè)階段,PGPD算法能夠充分利用干凈圖像和噪聲圖像的非局部相似性特征,達(dá)到較好的去噪效果,但整體對(duì)圖像紋理細(xì)節(jié)的保護(hù)不夠。因此對(duì)PGPD算法進(jìn)行改進(jìn),將經(jīng)過(guò)PGPD算法處理后的圖像進(jìn)行小波分解,然后按照高低頻及閾值分為3個(gè)子帶,對(duì)含大部分圖像細(xì)節(jié)的高頻大于閾值部分用反應(yīng)擴(kuò)散模型(TNRD)擴(kuò)散處理即可。
在圖像復(fù)原問(wèn)題中,各向異性擴(kuò)散通過(guò)擴(kuò)散系數(shù)在圖像的邊緣和平坦區(qū)域產(chǎn)生相應(yīng)的銳化或平滑作用,因此可以有效保持圖像細(xì)節(jié)特征。文獻(xiàn)[2-3]提出的算法都是基于擴(kuò)散模型的,其中PM方程尤為經(jīng)典,很多相關(guān)的工作也是由此展開。雖然每個(gè)非線性擴(kuò)散過(guò)程都可以等價(jià)為一個(gè)確定性的偏微分方程(Partial Differential Equation, PDE)形式,但是對(duì)特定圖像處理問(wèn)題很難設(shè)計(jì)出合適的PDE,而Chen等[22]提出了一種基于訓(xùn)練的非線性反應(yīng)擴(kuò)散模型(TNRD),主要思想是在訓(xùn)練的過(guò)程中不斷地迭代優(yōu)化反應(yīng)擴(kuò)散模型中的濾波器與影響函數(shù)。由于最終得到的懲罰函數(shù)(影響函數(shù)是懲罰函數(shù)的導(dǎo)數(shù))與傳統(tǒng)的懲罰函數(shù)明顯不同,有些具有多個(gè)極小值點(diǎn),更能增強(qiáng)圖像結(jié)構(gòu),有些可以自適應(yīng)地對(duì)圖像進(jìn)行平滑和銳化,因此可以使用該模型來(lái)對(duì)PGPD處理后的圖像進(jìn)行銳化。
針對(duì)PGPD算法中存在圖像邊緣保護(hù)不足的問(wèn)題,可以利用反應(yīng)擴(kuò)散模型對(duì)圖像邊緣、細(xì)節(jié)部分進(jìn)行改進(jìn)。而圖像經(jīng)過(guò)小波變換后,設(shè)定合適的閾值thr可以有效將圖像中屬于邊緣、細(xì)節(jié)的部分提取出來(lái),然后對(duì)該部分銳化處理。基于以上的分析,本文所提出的改進(jìn)算法流程如圖1所示。
圖1 本文改進(jìn)算法流程圖
(4)
(5)
(6)
由于圖像分解后不同下標(biāo)(1,2,3)的重構(gòu)子帶彼此正交,因此式(6)最后展開為:
(7)
獲得圖像與分解子帶均方誤差的關(guān)系后,接著利用灰度圖中PSNR與MSE之間的關(guān)系:
(8)
由此推導(dǎo)圖像與分解子帶PSNR的關(guān)系,有:
(9)
實(shí)驗(yàn)仿真利用Matlab R2015b實(shí)現(xiàn),運(yùn)行環(huán)境為Intel i5雙核處理器,8 GB內(nèi)存。對(duì)比算法分別為基于圖像非局部自相似性的主流算法:BM3D[14]和PGPD[20]。
表1 改進(jìn)前后子帶PSNR值 單位:dB
表2 不同算法去噪效果比較PSNR(SSIM)
圖像σBM3DPGPD本文算法camera1531.80(0.892)31.79(0.892)32.01(0.896)2529.33(0.843)29.21(0.841)29.47(0.846)5025.83(0.763)26.38(0.775)26.60(0.780)man1531.90(0.863)31.97(0.865)32.09(0.868)2529.58(0.802)29.65(0.802)29.76(0.805)5026.55(0.687)26.85(0.703)26.96(0.706)boat1532.11(0.854)32.05(0.849)32.12(0.850)2529.86(0.801)29.85(0.796)29.93(0.798)5026.54(0.691)26.84(0.701)26.90(0.703)pepper1532.66(0.902)32.66(0.902)32.85(0.904)2530.10(0.864)30.14(0.866)30.39(0.869)5026.43(0.770)26.77(0.794)26.96(0.797)
同時(shí),選取了2幅添加均值為0,方差為50的高斯白噪聲圖像進(jìn)行去噪視覺效果比較。如圖2所示,本文所提出的改進(jìn)算法能夠更好地保護(hù)圖像邊緣等細(xì)節(jié)信息,對(duì)局部區(qū)域(小方框)進(jìn)行放大觀察(大方框),可以看出改進(jìn)算法不會(huì)過(guò)多產(chǎn)生虛假信息。使用方法噪聲對(duì)改進(jìn)算法能否有效地保護(hù)圖像邊緣信息進(jìn)行評(píng)估,其為含噪圖像與去噪圖像的差值。如果方法噪聲越接近白噪聲,所含圖像細(xì)節(jié)越少,則表明算法去噪效果越好,越能有效保護(hù)圖像邊緣、紋理等細(xì)節(jié)信息。如圖3所示,其為圖2中的圖像所對(duì)應(yīng)的方法噪聲,將其放大觀察,可以發(fā)現(xiàn)改進(jìn)算法的方法噪聲更接近于高斯白噪聲,而BM3D和PGBD的方法噪聲中存在明顯的圖像紋理信息。由此可以看出,改進(jìn)算法在圖像細(xì)節(jié)保護(hù)方面的優(yōu)勢(shì)。
(a)干凈圖 (b)BM3D (c)PGPD (d)本文算法圖2 不同算法去噪后的圖像
(a) BM3D (b) PGPD (c) 改進(jìn)算法圖3 不同去噪算法得到的方法噪聲
盡管PGPD同時(shí)利用噪聲圖像和干凈圖像的非局部相似性,去噪效果相較BM3D更佳,但對(duì)圖像邊緣、紋理等細(xì)節(jié)信息保護(hù)仍有欠缺,因此本文利用小波分解和TNRD模型對(duì)其改進(jìn)。數(shù)值實(shí)驗(yàn)表明,所提出的算法可以有效去除噪聲并且可以更好地保護(hù)圖像邊緣。但文中所涉及的算法都是在噪聲水平已知的情況下進(jìn)行處理,而在實(shí)際應(yīng)用中,待處理圖像的噪聲水平往往都是未知的。因此,下一步工作將利用噪聲估計(jì)方法估計(jì)待處理圖像的噪聲水平,并對(duì)反應(yīng)擴(kuò)散模型進(jìn)行改進(jìn)使其能更有效地向圖像的ym2子帶擴(kuò)散。
參考文獻(xiàn):
[1] Tomasi C, Manduchi R. Bilateral filtering for gray and color images[C]// IEEE International Conference on Computer Vision (ICCV). 1998:839-846.
[2] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on PAMI, 1990,12(7):629-639.
[3] You Y L, Kaven M. Fourth-order partial differential equation for noise removal[J]. IEEE Transactions on Image Processing, 2000,9(10):1723-1729.
[4] Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[C]// The 11th International Conference of the Center for Nonlinear Studies on Experimental Mathematics. 1992:259-268.
[5] Osher S, Burger M, Goldfarb D, et al. An iterative regularization method for total variation-based image restoration[J].SIAM Journal on Multiscale Modeling & Simulation, 2005,4(2):460-489.
[6] Donoho D L. De-noising by soft-thresholding[J]. IEEE Transactions on Information Theory, 1995,41(3):613-627.
[7] Chang S G, Yu B, Vetterli M. Adaptive wavelet thresholding for image denoising and compression[J]. IEEE Transactions on Image Processing, 2000,9(9):1532-1546.
[8] Starck J L, Candes E J, Donoho D L. The curvelet transform for image denoising[J]. IEEE Trans. on Image Processing, 2002,11(6):670-684.
[9] Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]. IEEE Transactions on Image Processing, 2006,15(12):3736-3745.
[10] Mairal J, Bach F, Ponce J, et al. Non-local sparse models for image restoration[C]// IEEE International Conference on Computer Vision (ICCV). 2010:2272-2279.
[11] Dong Weisheng, Zhang Lei, Shi Guangming, et al. Nonlocally centralized sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2013,22(4):1620-1630.
[12] Aharon M, Elad M, Bruckstein A. K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006,54(11):4311-4322.
[13] Buades A, Coll B, Morel J M. A non-local algorithm for image denoising[C]// IEEE Computer Society Conference on Computer Vision. 2005:60-65.
[14] Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing, 2007,16(8): 2080-2095.
[15] Gu Shuhang, Zhang Lei, Zuo Wangmeng, et al. Weighted nuclear norm minimization with application to image denoising[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2014:2862-2869.
[16] 馮象初,李曉暉,王衛(wèi)衛(wèi),等. 方向擴(kuò)散方程修正BM3D圖像去噪改進(jìn)算法[J]. 西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版), 2017,44(5):102-108.
[17] 劉向樂,馮象初. 小波域三維塊匹配圖像去噪[J]. 計(jì)算機(jī)工程與應(yīng)用, 2010,46(16):185-187.
[18] Yuan Jianjun. Improved anisotropic diffusion equation based on new non-local information scheme for image denoising[J]. Computer Vision IET, 2015,9(6):864-870.
[19] 張兆倫. 基于非局部均值圖像去噪算法研究[D]. 南京:南京郵電大學(xué), 2015.
[20] Xu Jun, Zhang Lei, Zuo Wangmeng, et al. Patch group based nonlocal self-similarity prior learning for image denoising[C]// IEEE International Conference on Computer Society. 2015:244-252.
[21] Yu Guoshen, Sapiro G, Mallat S. Solving inverse problems with piecewise linear estimators: From Gaussian mixture models to structure sparsity[J]. IEEE Transactions on Image Processing, 2012,21(5):2481-2499.
[22] Chen Yunjin, Yu Wei, Pock T. On learning optimized reaction diffusion processes for effective image restoration[J]. Computer Vision and Pattern Recognition, 2015,8(1):5261-5269.
[23] Dempster A P. Maximum likelihood from incomplete data via the EM algorithm[J]. Journal of the Royal Statistical Society, 1977,39(1):1-38.
[24] Mahmoudi M, Sapiro G. Fast image and video denoising via nonlocal means of similar neighborhoods[J]. IEEE Signal Processing Letters, 2005,12(12):839-842.