張勁松,陳明舉,2,熊興中,2,王 鴻,李 蘭
(1.四川輕化工大學(xué)自動(dòng)化與信息工程學(xué)院,四川 宜賓 644000;2.人工智能四川省重點(diǎn)實(shí)驗(yàn)室,四川 宜賓 644000)
在圖像的獲取、傳輸與存儲(chǔ)等過(guò)程中,由于受到脈沖信號(hào)的干擾,通常會(huì)導(dǎo)致傳感器陣列單元失效或像素元轉(zhuǎn)換的錯(cuò)誤,從而在圖像上形成由白色與黑色斑點(diǎn)組成的椒鹽噪聲(SPN)[1]。SPN 是圖像噪聲中常見(jiàn)的一種噪聲,它存在于圖像處理的多個(gè)領(lǐng)域,嚴(yán)重影響圖像的后續(xù)處理。因此,采用有效的方法去除SPN 的不利影響,增強(qiáng)圖像的可視化效果是當(dāng)前研究的熱點(diǎn)問(wèn)題[2]。
由于SPN 具有沖擊性的特性,傳統(tǒng)的非線(xiàn)性濾波器在SPN 的去除中取得了較好的效果。在非線(xiàn)性濾波器中,中值濾波(MF)方法通過(guò)中值代替奇異值實(shí)現(xiàn)噪聲的消除[3],該方法能夠?qū)崿F(xiàn)SPN 消除,但會(huì)模糊圖像細(xì)節(jié)與邊界信息。近年來(lái),為了進(jìn)一步提高M(jìn)F 方法的去噪性能,出現(xiàn)了許多改進(jìn)算法,如加權(quán)中值濾波(WMF)[4]、自適應(yīng)模糊開(kāi)關(guān)中值濾波(AFSM)[5]以及自適應(yīng)中值濾波算法(AMF)[6]。AMF采用根據(jù)不同的噪聲密度改變不同的濾波窗口的思想,在強(qiáng)噪聲時(shí)采用大的窗口,以更準(zhǔn)確地實(shí)現(xiàn)噪聲的消除。另一方面,一些學(xué)者將模糊系統(tǒng)、深度學(xué)習(xí)技術(shù)等引入非線(xiàn)性濾波中[7-10],通過(guò)增加算法的復(fù)雜度提高非線(xiàn)性濾波的去噪性能,以更好地消除SPN。
非線(xiàn)性濾波實(shí)際上是通過(guò)統(tǒng)計(jì)分析判斷噪聲點(diǎn),采用相鄰的像素值對(duì)噪聲點(diǎn)替代,該方法存在一定的局限:(1)當(dāng)噪聲點(diǎn)的圖像真實(shí)值與相鄰像素值不一致時(shí),會(huì)造成濾波后的像素值存在一定的誤差;(2)非線(xiàn)性濾波僅僅考慮圖像局部性的相似性,未利用自然圖像的非局部相似性,其濾波性能有限。近年來(lái),圖像非局部相似濾波(NLM)利用圖像非局部相似的特性,通過(guò)對(duì)圖像相似區(qū)域加權(quán)平均實(shí)現(xiàn)對(duì)噪聲的消除與增強(qiáng),從而有效地實(shí)現(xiàn)噪聲區(qū)域的重構(gòu)[11]。在經(jīng)典非局部濾波的基礎(chǔ)上,針對(duì)不同的場(chǎng)景,已建立了多種高效的非局部濾波模型。如文獻(xiàn)[12]針對(duì)加性高斯噪聲對(duì)非局部濾波相似塊之間距離的影響,提出了一種有效去除高斯噪聲的非局部均值濾波(SNLM)。Devi 等[13]針對(duì)遙感圖像的乘性斑塊噪聲,對(duì)SNLM 的權(quán)值進(jìn)行統(tǒng)計(jì)分析,建立了基于乘性噪聲特性的非局部均值濾波模型(NLMLS)。Chen 等[14]通過(guò)分析核磁共振成像(MRI)的萊斯噪聲的特性,對(duì)NLM 濾波中的搜尋窗口大小進(jìn)行改進(jìn),建立了去除萊斯噪聲的非局部均值濾波模型(NLMRN),實(shí)現(xiàn)了MRI圖像噪聲的消除與細(xì)節(jié)信息的增強(qiáng)。
綜上分析,非局部濾波(NLM)針對(duì)不同噪聲的特性,建立了許多高性能改進(jìn)模型。然而,針對(duì)椒鹽噪聲的特性,建立與其特性相適應(yīng)的非局部濾波模型[15]還有待研究。鑒于此,本文通過(guò)對(duì)噪聲圖像進(jìn)行統(tǒng)計(jì)分析以確定SPN 區(qū)域,并根據(jù)噪聲像素點(diǎn)的幾何特性,采用不同形狀的相似窗口進(jìn)行非局部濾波,建立有效的去除SPN 的自適應(yīng)方向非局部模型(Adaptive Directional Non-local Means,ADNLM),并通過(guò)對(duì)比實(shí)驗(yàn)驗(yàn)證其有效性。
圖像中的SPN 以強(qiáng)幅值或低幅值兩種形式在圖像中隨機(jī)出現(xiàn),噪聲區(qū)域的像素通常高于其領(lǐng)域的灰度值。令原始圖像的矩陣表達(dá)為X,xi為原始圖像X空間位置i的灰度值,yi為SPN 的灰度值,則受SPN干擾圖像的灰度值的概率模型可表示為:
其中:p與q分別為“椒”與“鹽”噪聲出現(xiàn)的概率。經(jīng)典的非線(xiàn)性濾波利用SPN 具有沖擊性的特點(diǎn),通過(guò)異常像素值的檢測(cè)與替代進(jìn)行噪聲的消除。如自適應(yīng)中值濾波通過(guò)對(duì)不同大小的方形窗口內(nèi)噪聲點(diǎn)檢測(cè)與替代實(shí)現(xiàn)噪聲消除。
AMF 通過(guò)噪聲查找與噪聲像素值的替換兩個(gè)步驟,在去除SPN 中獲得較好的性能,但仍然存在不足:當(dāng)圖像的像素值接近最大值或最小值時(shí),易將圖像的真實(shí)值當(dāng)做噪聲進(jìn)行消除。另外,AMF 僅僅考慮圖像的局部相似性,沒(méi)涉及到圖像的非局部相似信息,在強(qiáng)噪聲情況下,其去噪性能將急劇下降。
SNLM 利用圖像非局部的自相關(guān)性[16],對(duì)相似圖像塊進(jìn)行加權(quán)平均得到真實(shí)圖像的估計(jì)值x?i。在SNLM 中,以像素點(diǎn)i為中心的方形區(qū)域Ri作搜索區(qū)域,將該區(qū)域的相似塊進(jìn)行加權(quán)平均以獲得去噪后圖像的估計(jì)值:
其中:wij為權(quán)值系數(shù),其大小體現(xiàn)像素i為中心圖像塊Pi和以像素j為中心圖像塊Pj之間的相似性,wij通過(guò)相似塊的相似性求得:
在非局部均值中,相似圖像塊P通常為方形,未體現(xiàn)不同的圖像結(jié)構(gòu)信息,存在一定的局限性[17-19]。
在噪聲像素值的替換中,AMF 未考慮到圖像的局部連續(xù)性與非局部相似性。為了更有效地利用圖像的非局部相似性[21],采用非局部均值(NLM)對(duì)噪聲點(diǎn)進(jìn)行濾波處理,并對(duì)NLM 中的相似窗口進(jìn)行改進(jìn)。在NLM 中,相似窗口P采用方形窗口(如圖1(a)所示),該窗口未能體現(xiàn)圖像方向上的結(jié)構(gòu)相似性,而采用與圖像結(jié)構(gòu)方向一致的長(zhǎng)方形窗口(如圖1(b)所示)能夠有效體現(xiàn)相似性窗口P,并能夠更好地利用圖像結(jié)構(gòu)的非局部相似性,重構(gòu)圖像的SPN區(qū)域更多的結(jié)構(gòu)信息。相似窗口P定義為:
圖1 NLM使用的相似窗口
其中,ll、lw分別為長(zhǎng)方形的長(zhǎng)與寬。此時(shí),非局部均值相似塊的相似歐氏距離可表示為:
其中,Ω為方形區(qū)域??梢?jiàn)相似歐氏距離的大小更好地體現(xiàn)了圖像的結(jié)構(gòu)相似性。
對(duì)于SPN像素點(diǎn)i,直接代入進(jìn)行權(quán)值系數(shù)的計(jì)算誤差較大,可先采用自適應(yīng)均值[22]進(jìn)行預(yù)處理后,再進(jìn)行非局部均值濾波。椒鹽噪聲像素點(diǎn)i可以直接采用自適應(yīng)均值濾波替代:
從而得到ADNLM 處理后的圖像噪聲點(diǎn)估計(jì)值為:
為證明本文提出的去除SPN 的ADNLM 的性能,將ADNLM 分別與經(jīng)典的NLM、文獻(xiàn)[12]去除高斯噪聲的SNLM 模型、文獻(xiàn)[13]去除乘性噪聲的NLMLS 模型以及文獻(xiàn)[14]去除萊斯噪聲的NLMRN模型進(jìn)行對(duì)比。實(shí)驗(yàn)中分別選取標(biāo)準(zhǔn)圖像加入不同強(qiáng)度的椒鹽噪聲進(jìn)行對(duì)比分析,部分原始標(biāo)準(zhǔn)圖像如圖2 所示。采用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)作為客觀評(píng)價(jià)指標(biāo)。
圖2 實(shí)驗(yàn)的部分原圖像
表1 給出了“boat”、“peppers”、“barbara”與“parrot”4 幅圖像同時(shí)加入不同強(qiáng)度的SPN 進(jìn)行實(shí)驗(yàn),并給出不同NLMLS 去除SPN 前后的PSNR與SSIM的值。從表1 可以看出,NLM 獲得的SSIM與PSNR高于SNLM、NLMLS 以及NLMRN,本文的ADNLM 模型的PSNR與SSIM均高于其它非局部均值的結(jié)果,且PSNR高出NLM 0.5 dB。圖3給出了加入不同強(qiáng)度SPN 后的部分圖像,圖4 所示的圖像為采用不同NLMLS試驗(yàn)的結(jié)果,并在各種模型去噪結(jié)果圖的右下區(qū)域給出局部放大圖,以便于進(jìn)行客觀比較。從圖4 中可以看出,在針對(duì)SPN 的去除,SNLM產(chǎn)生偽邊緣,NLMLS與NLMRN模型對(duì)圖像邊緣造成嚴(yán)重的模糊,本文提出的ADNLM 模型在有效去除噪聲的同時(shí)能夠更好地保留圖像的細(xì)節(jié)信息。
圖3 加入椒鹽噪聲后的部分圖像
圖4 采用不同算法去噪后的結(jié)果
表1 不同圖像采用不同非局部濾波去除噪聲結(jié)果(評(píng)價(jià)指標(biāo):SSIM/PSNR)
通過(guò)以上分析表明,SNLM、NLMLS 與NLMRN分別適用于高斯噪聲、乘性噪聲以及萊斯噪聲的去除,在去除SPN 時(shí),其去噪性能與NLM 模型相比反而有所下降,說(shuō)明這3 種模型并不適用于SPN 的消除。而ADNLM 模型能有效地利用SPN 的特性與圖像的非局部相似性,去除噪聲的同時(shí)更好地復(fù)原圖像的細(xì)節(jié)信息,其去噪性能最優(yōu)。
針對(duì)現(xiàn)有的非局部均值濾波未考慮到SPN 的特殊性,不能有效消除SPN 的問(wèn)題,建立一種有效的去除SPN 的自適應(yīng)非局部均值濾波算法。該算法通過(guò)無(wú)噪聲區(qū)域的局部均值實(shí)現(xiàn)對(duì)噪聲點(diǎn)的精確查找與初步替換,進(jìn)而采用自適應(yīng)方向的非局部均值實(shí)現(xiàn)噪聲點(diǎn)的精確重構(gòu)。本文提出的ADNLM算法在利用圖像自相似信息的同時(shí)能夠考慮到SPN的特性。因此,ADNLM 模型能夠更有效地去除SPN并實(shí)現(xiàn)該區(qū)域像素值的重構(gòu)。通過(guò)對(duì)比實(shí)驗(yàn)證明,本文提出的ADNLM 可以更有效地消除圖像中的SPN,具有一定的學(xué)術(shù)價(jià)值和廣泛的應(yīng)用前景。