陳葉飛 趙廣社 李國齊 王鼎衡

噪聲是正確辨識圖像信息的一個(gè)障礙,在對圖像進(jìn)行識別、復(fù)原或者分割等操作之前,需要對噪聲圖像進(jìn)行去噪以提供清晰、準(zhǔn)確的圖像.目前,已有大量的圖像去噪算法[1?2]被提出,圖像的去噪效果和去噪時(shí)間也在不斷的改善.一般來說,根據(jù)具體的去噪算法所在計(jì)算域的不同,可以將去噪算法分為變換域方法和空間域方法.

變換域方法是將直觀的圖像灰度值域信息通過某種方法變換到目標(biāo)域內(nèi),然后對目標(biāo)域中的信息進(jìn)行操作,最后再通過逆變換將信息轉(zhuǎn)換回圖像本身所在的空間域,如傅里葉變換、小波變換等.雖然變換域方法可以有效去除噪聲,保留圖像的邊緣和紋理信息,但它們也引入了由吉布斯現(xiàn)象[3]造成的振鈴偽影,嚴(yán)重影響了圖像的主觀視覺質(zhì)量.然而,空間域方法在抑制噪聲的同時(shí),幾乎很少產(chǎn)生振鈴偽影.近些年,Buades 等[4]提出的非局部均值的圖像去噪算法,充分利用了圖像內(nèi)容的自相似性,通過像素點(diǎn)間相似性權(quán)重的加權(quán)平均達(dá)到去噪的目的.非局部均值算法在去除噪聲的同時(shí),較好地保持了原始無失真圖像的細(xì)節(jié)信息,但是NLM 算法仍存在一些不足:比如算法的時(shí)間復(fù)雜度過高,導(dǎo)致運(yùn)行時(shí)間過長而無法應(yīng)用到實(shí)際場景;去噪效果過度依賴算法參數(shù)的選擇等.具體而言,近年來基于非局部均值去噪(Non-local means,NLM) 算法的改進(jìn),主要集中在優(yōu)化算法的時(shí)間復(fù)雜度和算法的去噪效果這兩個(gè)角度.

1) 針對算法時(shí)間復(fù)雜度的改進(jìn),大致可以劃分為以下4 類:a) 減少不相似鄰域塊權(quán)重的計(jì)算.Mahmoudi 等[5]通過計(jì)算圖像子塊的平均灰度和平均梯度進(jìn)行預(yù)分類,剔除不相似的鄰域塊.雖然平均梯度可以反映圖像的細(xì)節(jié)信息,但是對噪聲過于敏感.于是,Coupe 等[6]采用圖像子塊的平均灰度和局部方差對鄰域進(jìn)行選擇,此方法雖然可以反映像素灰度值的變化,但仍無法表達(dá)圖像的邊緣、紋理等信息.上述兩種方法雖然在一定程度上減少了時(shí)間復(fù)雜度,但是降低了鄰域塊預(yù)選擇的有效性,影響了圖像去噪的效果.因而,Vignesh 等[7]研究采用了概率統(tǒng)計(jì)的方法濾除不相似的圖像子塊,改善了鄰域估計(jì)的可靠性.b) 減少圖像數(shù)據(jù)的維度.Tasdizen[8]提出的基于主成分分析的非局部均值圖像去噪算法,將圖像子塊投影至低維特征向量空間,并選取一定維數(shù)的特征向量計(jì)算相似權(quán)重系數(shù),在減少計(jì)算量的同時(shí)提高了去噪效果,缺點(diǎn)在于圖像的向量化操作在一定程度上損失了圖像空域結(jié)構(gòu)的信息.c) 蒙特卡洛隨機(jī)采樣的思想.Chan 等[9]利用蒙特卡洛隨機(jī)采樣的思想,根據(jù)設(shè)定的模型隨機(jī)選取鄰域塊的距離,通過計(jì)算鄰域塊距離的小子集來加速算法,對于高維度的圖像數(shù)據(jù)的加速尤為明顯;進(jìn)一步,Karam 等[10]利用蒙特卡洛隨機(jī)卷積核代替固定的值域核,求取多個(gè)NLM 的平均輸出,大幅度降低了算法在處理高維度圖像時(shí)的時(shí)間復(fù)雜度.d)此外,Wang 等[11]利用快速傅里葉變換和積分圖來加速圖像鄰域塊間距離的計(jì)算,提升了去噪的速度.

2) 針對算法去噪效果的改進(jìn),大致可以劃分為以下3 類:a) 采用更合理、魯棒性更強(qiáng)的鄰域塊間的相似度度量.Chaudhury 等[12]采用歐氏中值替代歐氏均值作為鄰域塊距離的度量,克服了NLM 算法易模糊圖像邊緣的缺點(diǎn),尤其適用于噪聲較大的情況;Wu 等[13]提出的PNLM (Probabilistic nonlocal means)采用卡方分布的概率密度函數(shù)代替?zhèn)鹘y(tǒng)NLM 算法的權(quán)重,更好地表示鄰域塊間的相似性;Deledalle 等[14]針對不同特征的區(qū)域,采用不同幾何形狀的圖像鄰域塊代替原先的矩形鄰域塊,在減少時(shí)間復(fù)雜度的同時(shí)提升了去噪的效果;Grewenig等[15]利用旋轉(zhuǎn)不變性在塊匹配的過程中將候選塊旋轉(zhuǎn)一定的角度來與中心鄰域塊匹配,提升了算法的魯棒性.除了利用鄰域塊的幾何特性,Wu 等[16]和Nguyen 等[17]分別從不同的角度修正了鄰域塊中心像素的權(quán)重,提升了去噪的效果.b) 算法參數(shù)的優(yōu)化.Salmon[18]提出一種雙參數(shù)優(yōu)化方法,對非局部均值算法的搜索窗大小和中心鄰域塊的權(quán)重進(jìn)行優(yōu)化;Van 等[19]利用斯坦無偏風(fēng)險(xiǎn)估計(jì)[20]作為圖像內(nèi)容的度量來擬合均方差(Mean square error,MSE)的變化趨勢,從而通過搜索SURE 最小值時(shí)所對應(yīng)的參數(shù)來選擇非局部均值算法的濾波參數(shù).c) 結(jié)合稀疏表示、低秩分解等理論.Dong 等[21]聯(lián)合局部稀疏性,提出一種基于非局部的中心稀疏表示模型,利用圖像的自相似性獲得原始無失真圖像稀疏編碼的估計(jì)系數(shù),然后使得降質(zhì)圖像的稀疏編碼系數(shù)不斷地逼近這些估計(jì)系數(shù),取得了很好的去噪效果;May 等[22]聯(lián)合低秩分解理論,提出了一種通過計(jì)算非局部均值算子的低階近似值,提升了去噪效果;Dabov 等[23]結(jié)合頻域?yàn)V波提出了塊匹配三維(Block-matching and 3D filtering,BM3D)協(xié)同濾波算法,具有較強(qiáng)的紋理細(xì)節(jié)保持能力,是目前常被用來作為性能對比的基準(zhǔn)算法,然而,BM3D算法在噪聲等級較大時(shí),易引入振鈴偽影,嚴(yán)重影響去噪圖像的視覺質(zhì)量;Li 等[24]結(jié)合小波分析理論提出了無偏距離的自適應(yīng)非局部均值算法,進(jìn)一步提升了去噪的效果.

然而,上述算法并沒有解決以下兩個(gè)問題:

1)在高斯噪聲等級較大時(shí),由于噪聲對鄰域塊計(jì)算的影響,NLM 算法對圖像中不相似的鄰域塊分配了過大的權(quán)重,容易模糊圖像的邊緣,極大地影響了圖像的去噪效果.

2)同時(shí),對于不同噪聲等級的噪聲圖像,NLM算法選取的參數(shù),比如搜索窗的大小、鄰域塊的大小和濾波系數(shù)等通常是固定且無法根據(jù)圖像的內(nèi)容變化做出自適應(yīng)的調(diào)整.

針對上述問題,本文首先引入基于可微分硬閾值函數(shù)的非局部均值算法,并結(jié)合快速傅里葉變換,初步提升算法的去噪效果和速度;然后,提出一種多重可微分硬閾值函數(shù)的非局部均值算法的融合方式,即采用蒙特卡洛隨機(jī)搜索的思想,以一定的概率隨機(jī)變換搜索窗和鄰域塊等組合參數(shù),得到多個(gè)去噪結(jié)果并對其隨機(jī)線性組合,而后采用基于SURE 特征加權(quán)的移動(dòng)平均濾波算法,抑制組合圖像數(shù)據(jù)的隨機(jī)浮動(dòng);最后,利用噪聲圖像和移動(dòng)平均濾波后圖像的SURE 值來無監(jiān)督地優(yōu)化不同去噪結(jié)果的線性組合系數(shù).具體而言,本文主要有以下三個(gè)貢獻(xiàn)點(diǎn):

1)針對問題1,提出了一種可微分的硬閾值函數(shù),并通過自適應(yīng)的硬閾值來過濾不相似或者相似度較低的圖像鄰域塊.

2)針對問題2,提出了一種多重可微分硬閾值函數(shù)的非局部均值算法的融合方式,并解決了在未知原始無失真圖像下,利用SURE 值來無監(jiān)督、自適應(yīng)地確定不同去噪圖像的線性組合系數(shù)的問題.

3)在公開數(shù)據(jù)集上,本文提出的UM-NLF 算法去噪結(jié)果的峰值信噪比PSNR 超過了NLM 及其大部分改進(jìn)算法,在部分圖像上超過了BM3D 算法.同時(shí),相比于BM3D 算法,UM-NLF 算法產(chǎn)生了更少的振鈴偽影,在一定程度上改善了圖像的主觀視覺質(zhì)量.

本文其余章節(jié)的安排如下:第1 節(jié)主要介紹傳統(tǒng)的非局部均值算法的去噪原理.第2 節(jié)介紹無監(jiān)督多重非局部融合的圖像去噪方法的流程,并詳細(xì)介紹了流程中各部分的局部細(xì)節(jié).第3 節(jié)介紹本文提出的算法在不同高斯噪聲等級的噪聲圖像上的實(shí)驗(yàn)結(jié)果和分析.第4 節(jié)對本文的方法進(jìn)行總結(jié),并提出對未來工作的思考.

1 傳統(tǒng)的非局部均值算法

如引言所述,非局部均值算法主要是去除高斯加性白噪聲,以灰度圖像為例,其噪聲圖像的模型為

其中,Y為含有噪聲的圖像,X為原始無失真的圖像,U為服從均值為零,標(biāo)準(zhǔn)差為σ的高斯噪聲.

傳統(tǒng)的非局部均值去噪算法的具體執(zhí)行流程如圖1 所示.其中,m、n分別表示灰度噪聲圖像的高度和寬度,X(i)、X(j) 分別表示第i個(gè)像素點(diǎn)的灰度值和第j個(gè)像素點(diǎn)的灰度值,Yi、Yj分別表示以i為中心點(diǎn)的噪聲鄰域塊和以j為中心點(diǎn)的噪聲鄰域塊,wi,j表示第i個(gè)像素點(diǎn)與第j個(gè)像素點(diǎn)之間的相似性權(quán)重.令X? 表示NLM 的去噪結(jié)果,則對于任意像素點(diǎn)i=(i1,i2)∈I,為含噪圖像Y中所有與其具有相似鄰域結(jié)構(gòu)的像素點(diǎn)的加權(quán)平均,其相應(yīng)的數(shù)學(xué)模型為

圖1 傳統(tǒng)非局部均值算法的執(zhí)行流程圖Fig.1 Schematic diagrams of non-local means denoising algorithm

式中,h為濾波參數(shù),其取值與圖像的噪聲等級和圖像的內(nèi)容有關(guān),若h越大,則算法的去噪水平越高,同時(shí)也越容易模糊圖像的邊緣細(xì)節(jié);若h越小,則圖像的邊緣細(xì)節(jié)保留的越多,然而也會殘留更多的噪聲點(diǎn),具體可如圖2 所示.

圖2 參數(shù) h 對算法去噪效果的影響Fig.2 The effect of parameter h on the denoising effect of the algorithm

此外,在式(2)中,Si表示以i為中心,半徑大小為Swb的搜索窗(Search window block,SWB),Wi為歸一化因子且Wi=d(i,j)表示以i為中心的鄰域塊Yi與以j為中心的鄰域塊Yj的高斯加權(quán)歐氏距離平方的度量,即:

式中,P={(p1,p2)||p1|≤Np,|p2|≤Np}是半徑大小為Np的鄰域塊(Neighborhood patch,NP),且Gα(p)為標(biāo)準(zhǔn)差為α的高斯核:

其中,E(·) 表示數(shù)學(xué)期望,式(5)保證了這種相異性度量在噪聲圖像和原始無失真圖像概率統(tǒng)計(jì)意義上的一致性.因此,NLM 算法基于非局部的和圖像塊的去噪策略,在去除高斯加性白噪聲上具有較強(qiáng)的性能.

2 無監(jiān)督多重非局部融合的圖像去噪方法

NLM 算法對圖像中相似度較低的圖像鄰域塊分配了過大的權(quán)重,容易模糊圖像的邊緣,同時(shí)NLM 算法選取的參數(shù),比如搜索窗的大小、鄰域塊的大小以及濾波參數(shù)等通常是固定的且無法根據(jù)圖像內(nèi)容的變化做出自適應(yīng)的調(diào)整.針對上述問題,本文提出一種無監(jiān)督多重非局部算法融合(UMNLF)的圖像去噪方法,即采用蒙特卡洛隨機(jī)搜索的思想,以一定的概率隨機(jī)變換搜索窗等組合參數(shù),從而得到多個(gè)去噪結(jié)果并對其隨機(jī)線性組合,并利用SURE 無監(jiān)督地優(yōu)化不同去噪結(jié)果的組合系數(shù),具體流程可如圖3 所示.下文首先介紹了一種基于可微分硬閾值函數(shù)的非局部均值算法(NLM-DT),并結(jié)合快速傅里葉變換,作為基礎(chǔ)模型用來初步提升算法去噪的效果和速度.

圖3 UM-NLF 去噪算法的整體流程圖Fig.3 The overall flowchart of the UM-NLF denoising algorithm

2.1 基于可微分硬閾值函數(shù)的非局部均值算法

NLM 算法利用高斯加權(quán)歐氏距離來度量搜素窗內(nèi)鄰域塊間的圖像結(jié)構(gòu)相似度.在噪聲等級較低的情況下,可以減少噪聲對鄰域塊中目標(biāo)像素點(diǎn)的干擾;然而由于高斯核函數(shù)具有各向同性的特征,在噪聲等級較大時(shí),算法對原始無失真圖像中原本并不相似或者相似度較低的鄰域塊中目標(biāo)像素點(diǎn)分配了過大的相似性權(quán)重,往往會模糊圖像的邊緣和紋理等細(xì)節(jié)結(jié)構(gòu)部分,在一定程度上影響了算法去噪的效果.

為了濾除不相似或者相似度較低的圖像鄰域塊,本文首先引入了一種硬閾值函數(shù)fθ(t),θ ∈[0,1],對圖像鄰域塊的相似性權(quán)重進(jìn)行硬閾值的截?cái)?具體的硬閾值函數(shù)為

其中,硬閾值截?cái)嗲昂笙嗨菩詸?quán)重的對比可如圖4所示.

圖4 硬閾值加入前后相似權(quán)重值的對比Fig.4 Comparisons of similar weight values before and after adding a hard threshold

接著,將式(6)代入式(2),化簡求得去噪后目標(biāo)像素點(diǎn)i的灰度值(i) :

此時(shí),為了求解優(yōu)化后的硬閾值參數(shù)θ,通常會最小化去噪后的圖像與原始無失真圖像的各個(gè)像素值的均方誤差(Mean square error,MSE),即:

式中,|I|為噪聲圖像的大小.

在實(shí)際情況下,由于無法預(yù)先得到一張含噪圖像Y的原始無噪聲圖像X,所以無法求解得到去噪圖像和原始無失真圖像X的MSE.然而,根據(jù)斯坦無偏估計(jì)(SURE)理論[20],其在沒有原始無失真圖像作為參考的情況下,仍可以真實(shí)反映去噪后圖像的質(zhì)量.一般而言,在標(biāo)準(zhǔn)差為σ的高斯白噪聲條件下,SURE 具體的模型表達(dá)式為

此時(shí),如果繼續(xù)采用上述提出的fθ(t),是無法計(jì)算得到其偏導(dǎo)數(shù)的,所以本文構(gòu)造了一種可微分的硬閾值函數(shù)來逼近式fθ(t),優(yōu)化后的硬閾值函數(shù)fθ,λ(t) 的數(shù)學(xué)表達(dá)式如下:

其中,λ表示可微分硬閾值函數(shù)的調(diào)節(jié)參數(shù).若λ的取值越大,則fθ,λ(t) 越接近于fθ(t),即:

為了充分地驗(yàn)證式(11)的相關(guān)結(jié)論,本文控制硬閾值參數(shù)θ不變,繪制并對比了在不同調(diào)節(jié)參數(shù)λ下,可微分硬閾值函數(shù)的分布曲線,具體可如圖5所示.

圖5 可微分的硬閾值函數(shù)Fig.5 Differentiable hard threshold function

可以發(fā)現(xiàn):若選取的λ值越大,本文所構(gòu)造的可微分硬閾值函數(shù)的分布曲線則越接近于fθ(t) 的曲線,進(jìn)而驗(yàn)證了式(11)的結(jié)論.

然后,本文將可微分的硬閾值函數(shù)式(10)代入式(7),則去噪后目標(biāo)像素點(diǎn)i的灰度值X?(i) 可進(jìn)一步轉(zhuǎn)化為

基于此,結(jié)合可微分的硬閾值函數(shù),本文提出了一種基于可微分硬閾值函數(shù)的非局部均值算法(NLM-DT),來過濾不相似或者相似度較低圖像鄰域塊的權(quán)重,初步提升了算法的去噪效果,具體的執(zhí)行流程如算法1 所示.

算法1.NLM-DT

計(jì)算矩形鄰域塊Yi與Yj間的相似性權(quán)重:

end for

對于一幅m×n大小的灰度圖像,NLM-DT 算法的時(shí)間復(fù)雜度為 O(mn(2Swb+1)2(2Np+1)2),其中,Swb表示搜索窗的半徑大小,Np表示鄰域塊的半徑大小.為了提升NLM-DT 算法的執(zhí)行速度,本文進(jìn)一步結(jié)合文獻(xiàn)[11]提出的快速傅里葉變換FFT 來加速高斯核函數(shù)和歐氏距離的卷積計(jì)算,減少算法的時(shí)間復(fù)雜度,下文簡稱為Fast NLMDT算法,具體的執(zhí)行流程如算法2 所示,優(yōu)化后的時(shí)間復(fù)雜度為

算法2.Fast NLM-DT

2.2 多重可微分硬閾值函數(shù)的非局部均值算法融合

上一節(jié)提出了一種基于可微分硬閾值函數(shù)的非局部均值算法(NLM-DT),并結(jié)合快速傅里葉變換,提升NLM-DT 算法的執(zhí)行速度.然而對于不同高斯噪聲等級的噪聲圖像,Fast NLM-DT 算法選取的參數(shù),比如搜索窗的大小、鄰域塊的大小以及濾波參數(shù)等,往往是固定的且無法根據(jù)噪聲圖像內(nèi)容的變化做出自適應(yīng)的調(diào)整.

文獻(xiàn)[14]利用主成分分析的方法對圖像特征進(jìn)行降維,而后對不同形狀鄰域塊去噪后的結(jié)果進(jìn)行局部的融合,然而此算法的局限性在于對局部鄰域塊SURE 精度的評估不足,從而造成融合權(quán)值的不穩(wěn)定.因此,本文在文獻(xiàn)[14]工作的基礎(chǔ)上,考慮了全局圖像的SURE 估計(jì)值,并借鑒“Drop Connect”[25]的思想:在神經(jīng)網(wǎng)絡(luò)各個(gè)網(wǎng)絡(luò)層節(jié)點(diǎn)與節(jié)點(diǎn)連接的過程中,將每個(gè)節(jié)點(diǎn)與其相連節(jié)點(diǎn)的連接權(quán)重以一定的概率置零,故提出了一種多重可微分硬閾值函數(shù)的非局部均值算法的融合方式,即利用蒙特卡洛隨機(jī)搜索的思想,以一定的概率隨機(jī)變換搜索窗、鄰域塊和濾波參數(shù)等組合參數(shù),從而得到多個(gè)去噪結(jié)果并對其進(jìn)行隨機(jī)線性組合,具體的執(zhí)行步驟包括組合參數(shù)、隨機(jī)線性組合和加權(quán)移動(dòng)平均濾波.

2.2.1 組合參數(shù)

一般而言,對于不同高斯噪聲等級的噪聲圖像,根據(jù)不同大小的搜索窗、鄰域塊、高斯核的系數(shù)、濾波參數(shù)和自適應(yīng)的硬閾值參數(shù),可以獲取不同的去噪結(jié)果.因而,本文不選取某一類參數(shù)的全局最優(yōu)值或局部最優(yōu)值,而是選取不同較優(yōu)參數(shù)的組合,進(jìn)而利用Fast NLM-DT 算法串聯(lián)生成Nn個(gè)去噪圖像,對應(yīng)的結(jié)果分別是:

同時(shí),每個(gè)去噪圖像分別對應(yīng)一個(gè)圖像質(zhì)量的客觀評估值SURE,以此來估計(jì)去噪圖像與原始無失真圖像的真實(shí)MSE,即:

其中,r=1,2,3,···,Nn,同時(shí)Nn表示串聯(lián)生成的去噪結(jié)果的數(shù)目.

2.2.2 隨機(jī)線性組合

借鑒“Drop Connect”的思想,本文利用蒙特卡洛隨機(jī)采樣(Monte Carlo random sampling,MCRS) 的思想,在一定的概率下隨機(jī)地選取Nr(Nr ≤Nn)個(gè)不同參數(shù)組合的Fast NLM-DT 算法的去噪結(jié)果,并對它們進(jìn)行線性組合.需要注意的是,為了不丟失原始不失真圖像的紋理、邊緣等細(xì)節(jié)特征,故在每次蒙特卡洛隨機(jī)組合的過程中,本文也將噪聲圖像作為線性組合的一部分,具體如下:

其中,cz表示第z個(gè)去噪結(jié)果的線性組合系數(shù).

然后,為了充分地提取圖像的特征,本文重復(fù)上述線性組合步驟,進(jìn)行Nmc次隨機(jī)生成,即可得到如下的去噪結(jié)果:

其中,q=1,2,3,···,Nmc,同時(shí),Nmc表示蒙特卡洛隨機(jī)組合的次數(shù).

2.2.3 加權(quán)移動(dòng)平均濾波

由于蒙特卡洛隨機(jī)采樣具有不確定性,所以在多幅圖像的隨機(jī)線性組合過程中容易引入額外的抖動(dòng)噪聲.針對上述問題,本文提出了一種基于SURE特征加權(quán)的移動(dòng)平均濾波(Weighted moving average filtering,WMAF)算法,旨在抑制動(dòng)態(tài)圖像組合中隨機(jī)產(chǎn)生的抖動(dòng)噪聲,從而保留圖像的紋理和邊緣等結(jié)構(gòu)細(xì)節(jié)信息,盡可能地減少圖像數(shù)據(jù)量的丟失.

對于Nmc個(gè)非平穩(wěn)圖像數(shù)據(jù)假設(shè)每Nwm個(gè)相鄰圖像數(shù)據(jù)在小區(qū)間內(nèi)是接近平穩(wěn)的,即其均值接近于常數(shù),于是可以利用每Nwm個(gè)相鄰圖像數(shù)據(jù)的平均值來表示該Nwm個(gè)圖像數(shù)據(jù)中任意一個(gè)圖像數(shù)據(jù).實(shí)際上,在求解局部圖像數(shù)據(jù)均值的過程中,每個(gè)去噪圖像SURE 值大小也不相同,比如,若去噪圖像的SURE 值越大,則表示此圖像的去噪效果不甚理想,若SURE 值越小,則說明此圖像的去噪效果越佳.

因此,根據(jù)上述情況,本文以全長為Nmc個(gè)圖像數(shù)據(jù)為對象,不斷滑動(dòng)Nwm個(gè)相鄰圖像數(shù)據(jù)并做加權(quán)平均.為了便于表示,令L=Nwm ?1,則移動(dòng)平滑后的圖像為

其中,s=1,2,···,Nmc ?Nwm+1,Nwm表示加權(quán)移動(dòng)平均濾波算法選取的基本圖像數(shù)目單元.同時(shí),在式(14) 中,ω(s+l) 為權(quán)重系數(shù),表示第s+l個(gè)圖像在Nwm個(gè)圖像中所占的比重.若該圖像的SURE值越大,則賦予其的權(quán)重系數(shù)越小,即:

需要指出的是,加權(quán)移動(dòng)平均濾波算法的參數(shù)選擇將直接影響圖像的平滑效果,若移動(dòng)平滑時(shí)所采用的圖像數(shù)據(jù)Nwm過大,則可能過度抑制圖像隨機(jī)組合產(chǎn)生的噪聲,圖像中的高頻變化部分(比如圖像的邊緣和紋理細(xì)節(jié)等)會被同時(shí)弱化,進(jìn)而損失圖像的局部細(xì)節(jié)特征;反之,若Nwm取的過小,則可能對低頻的噪聲沒有進(jìn)行充分的平滑,因此應(yīng)該根據(jù)圖像數(shù)據(jù)的實(shí)際變化情況,合理地選取加權(quán)移動(dòng)平均濾波的參數(shù)Nwm.一般而言,移動(dòng)平均濾波的參數(shù)Nwm選取的范圍在 6 ～12 左右,而在UMNLF 算法中取8 時(shí)效果較優(yōu).

2.3 無監(jiān)督優(yōu)化多重非局部算法的線性組合系數(shù)

上一節(jié)提出了一種多重可微分硬閾值函數(shù)的非局部均值去噪算法的融合方式,包含組合參數(shù)、隨機(jī)線性組合和加權(quán)移動(dòng)平均濾波這三個(gè)部分.然而并未給出多重非局部算法對應(yīng)的去噪結(jié)果的線性組合系數(shù)的優(yōu)化方案.

因此,本節(jié)在此基礎(chǔ)上,推導(dǎo)并證明了關(guān)于UM-NLF 算法的SURE 模型表達(dá)式,旨在解決自適應(yīng)地確定多重非局部算法中不同去噪圖像的線性組合系數(shù)問題.接下來,本節(jié)首先解決未知原始無失真圖像下對NLM-DT 算法去噪后圖像質(zhì)量的無偏估計(jì)問題,然后利用上一節(jié)加權(quán)移動(dòng)平均濾波后的圖像和噪聲圖像的SURE 值,優(yōu)化多個(gè)Fast NLM-DT 算法對應(yīng)的不同去噪圖像的線性組合系數(shù),從而達(dá)到無監(jiān)督優(yōu)化的目的.

2.3.1 NLM-DT 算法的SURE 模型表達(dá)式

為了在未知原始無失真圖像的情況下對NLMDT 算法去噪后圖像的質(zhì)量進(jìn)行無偏估計(jì),本節(jié)引入了斯坦無偏估計(jì)(SURE) 理論[20],給出了針對NLM-DT 算法去噪結(jié)果的SURE 模型的一般表達(dá)式.

定理1.令X(i)∈R,i ∈I,U(i)～N(0,σ2),Y(i)=X(i)+U(i),噪聲標(biāo)準(zhǔn)差σ已知且X?(i) 表示從噪聲觀測Y(i) 中預(yù)測的估計(jì)值,故可求得估計(jì)值X?(i)與實(shí)際值X(i) 的均方誤差MSE 的斯坦無偏估計(jì)SURE 值,即:其中,Si表示以i為中心,半徑大小為Swb的搜索窗,wi,j表示第i個(gè)像素點(diǎn)與第j個(gè)像素點(diǎn)之間的相似性權(quán)重,Gα(p) 為標(biāo)準(zhǔn)差為α的高斯核,以及h為濾波參數(shù).同時(shí),

證明.首先,根據(jù)NLM算法的基礎(chǔ)模型,如式(2),化簡求得去噪后目標(biāo)像素點(diǎn)i的灰度值,即:

然后,根據(jù)求導(dǎo)法則和鏈?zhǔn)椒▌t,對于任意的目標(biāo)像素點(diǎn)i,計(jì)算求解關(guān)于Y(i) 的偏導(dǎo)數(shù),化簡可得:

進(jìn)一步,由于

所以根據(jù)鏈?zhǔn)椒▌t,可求得:

式(21)中,

其中,λ表示可微分硬閾值函數(shù)的調(diào)節(jié)參數(shù),θ表示硬閾值參數(shù).同時(shí),針對wi,j關(guān)于Y(i) 的偏導(dǎo)數(shù),可分為以下兩種情況進(jìn)行討論:若i?j ∈P,則

最后,本節(jié)將φ(wi,j) 關(guān)于wi,j的偏導(dǎo)數(shù),如式(22)的結(jié)果表達(dá)式,以及wi,j關(guān)于Y(i) 的偏導(dǎo)數(shù),如式(23)和式(24)的結(jié)果表達(dá)式依次代入式(19),即可化簡得到式(16)中的□

2.3.2 UM-NLF 算法的SURE 模型表達(dá)式

在求得NLM-DT 算法去噪結(jié)果的SURE 模型的一般表達(dá)式后,為了自適應(yīng)地確定多重非局部算法中不同去噪圖像的線性組合系數(shù),本節(jié)進(jìn)一步計(jì)算加權(quán)移動(dòng)平均濾波后的圖像與噪聲圖像的SURE模型表達(dá)式,具體如下:

為了優(yōu)化Fast NLM-DT 算法得到的多個(gè)去噪結(jié)果的線性組合系數(shù),本節(jié)求解SURE 的最小值,即利用“梯度下降”的思想將SURE 值沿著UMNLF 算法流程的反方向進(jìn)行梯度的傳遞.相應(yīng)地,通過求解式(25)關(guān)于cz的偏導(dǎo)數(shù),化簡得到如下的表達(dá)式:

式中,ω(s+l) 為權(quán)重系數(shù),表示第s+l個(gè)圖像在Nwm個(gè)圖像中所占的比重.同時(shí),Nwm表示加權(quán)移動(dòng)平均濾波算法選取的基本圖像數(shù)目單元.

由于

所以對式(26)進(jìn)一步化簡,得到:

于是,推導(dǎo)得出如下的線性系統(tǒng)方程:

其中,s=1,2,···,Nmc ?Nwm+1,Nmc表示蒙特卡洛隨機(jī)組合的次數(shù),以及Nwm表示加權(quán)移動(dòng)平均濾波算法選取的基本圖像數(shù)目單元.

綜上所述,本文利用加權(quán)移動(dòng)平均濾波后的圖像和噪聲圖像的SURE 值,推導(dǎo)得出與噪聲圖像、去噪圖像和加權(quán)移動(dòng)平均濾波后圖像有關(guān)的線性系統(tǒng)方程式(29),以此來優(yōu)化多個(gè)Fast NLM-DT 算法產(chǎn)生的不同去噪圖像的線性組合系數(shù),從而達(dá)到無監(jiān)督優(yōu)化的目的.具體的,無監(jiān)督多重非局部融合(UM-NLF)的圖像去噪方法的具體執(zhí)行流程,如算法3 所示.

算法3.UM-NLF

3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)主要從客觀和主觀指標(biāo)出發(fā),驗(yàn)證提出的NLM-DT 算法與UM-NLF 算法的圖像去噪性能,并與原始NLM[4]算法,PNLM[13]、NLM-SAP[14]、LJS-NLM[16]、ANLM[26]等具有代表性的非局部均值改進(jìn)算法,以及目前傳統(tǒng)圖像去噪性能最好的非局部算法BM3D[23]進(jìn)行對比.同時(shí),本文也將UM-NLF算法與有監(jiān)督式神經(jīng)網(wǎng)絡(luò)圖像去噪方法TNRD[27]和DnCNN-S[28],無監(jiān)督式神經(jīng)網(wǎng)絡(luò)圖像去噪方法GCBD[29]和Noise2Void[30]進(jìn)行實(shí)驗(yàn)對比和分析.其中,每個(gè)算法中都包含了自適應(yīng)的調(diào)整操作和大量的參數(shù)設(shè)置,在進(jìn)行對比的過程中,所有的對比算法均采用原作者提供的原始代碼,同時(shí)算法的參數(shù)均選取相應(yīng)論文中的最佳參數(shù).

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為了評估算法對含有高斯加性白噪聲灰度圖像的去噪性能,本文以Classic13 數(shù)據(jù)集和BSD68[31]數(shù)據(jù)集為實(shí)驗(yàn)對象.其中,Classic13 數(shù)據(jù)集是由13 張被廣泛使用的灰度圖像數(shù)據(jù),包括7張大小為256×256 的Cameraman (C.man),House,Peppers,Starfish,Monarch,Airplane 和Parrot,以及6 張大小為512×512 的Lena,Barbara,Boat,Man,Couple 和Baboon.BSD68 數(shù)據(jù)集包含68 張不同大小的灰度圖像數(shù)據(jù).評價(jià)指標(biāo)主要采用峰值信噪比PSNR (dB),結(jié)構(gòu)相似度[32](Structural similarity index,SSIM)和算法的運(yùn)行時(shí)間(秒).

3.2 實(shí)驗(yàn)參數(shù)的設(shè)置

在實(shí)驗(yàn)運(yùn)行環(huán)境的配置方面:算法的所有對比實(shí)驗(yàn)均在一臺配置為Inter(R) Core(TM) i7-6 700 CPU 和8G B RAM 的電腦上運(yùn)行,操作系統(tǒng)為Windows 7 且軟件平臺為Matlab 2016b.

在實(shí)驗(yàn)算法參數(shù)的設(shè)置方面:對于NLM-DT算法,搜索窗的大小選取21×21,鄰域塊的大小選取7×7,濾波參數(shù)選取h=σ,可微分硬閾值函數(shù)的調(diào)節(jié)參數(shù)選取λ=300 以及硬閾值參數(shù)選取θ=其中,c的取值區(qū)間為[0.02,0.04] .同時(shí),對于UM-NLF算法,搜索窗大小、鄰域塊大小、高斯核系數(shù)、濾波參數(shù)以及可偏導(dǎo)硬閾值函數(shù)的參數(shù)選擇,具體如表1 所示.其中,BSD68 實(shí)驗(yàn)數(shù)據(jù)集的相關(guān)參數(shù)與表1 中 512×512 大小圖像的處理方式基本一致.

表1 UM-NLF 算法的參數(shù)選擇Table 1 Parameter selection of UM-NLF algorithm

3.3 傳統(tǒng)圖像去噪算法的對比

3.3.1 客觀指標(biāo)對比

定量的對比結(jié)果具體如表2 和表3 所示.其中,表2 和表3 是不同非局部改進(jìn)算法在噪聲等級σ分別為10、15、20、25、35 和50 的灰度噪聲圖像數(shù)據(jù)Classic13 和BSD68 上去噪效果的對比結(jié)果.從整體而言:UM-NLF 算法幾乎超過了所有最新的NLM 改進(jìn)算法,同時(shí)在部分噪聲圖像上,UM-NLF算法去噪后圖像的PSNR 超過了BM3D 算法的結(jié)果.從實(shí)驗(yàn)的具體細(xì)節(jié)而言,主要有三個(gè)方面的結(jié)論:

表2 在13 張?jiān)肼曀?σ 分別為10、15、20、25、35 和50 的噪聲圖像上不同算法去噪結(jié)果的PSNR (dB)Table 2 The PSNR (dB) results of different methods on 13 gray images with noise level σ at 10、15、20、25、35 and 50

表2 在13 張?jiān)肼曀?σ 分別為10、15、20、25、35 和50 的噪聲圖像上不同算法去噪結(jié)果的PSNR (dB) (續(xù)表)Table 2 The PSNR (dB) results of different methods on 13 gray images with noise level σ at 10、15、20、25、35 and 50(continued)

表3 不同算法在BSD68 灰度數(shù)據(jù)集上的平均PSNR (dB)和SSIMTable 3 Average PSNR (dB) and SSIM results of different methods on BSD68 gray dataset

1) 算法去噪效果的提升

由表2 可知,在Classic13 灰度圖像數(shù)據(jù)集上,當(dāng)噪聲圖像的高斯噪聲標(biāo)準(zhǔn)差σ分別為10、15、20、25、35 和50 時(shí),NLM-DT 算法在13 張灰度噪聲圖像上去噪后圖像的PSNR (dB)平均值,相較于傳統(tǒng)非局部均值NLM 算法的去噪結(jié)果,分別提升了0.12、0.16、0.29、0.38、0.41 和0.42;UM-NLF 算法的PSNR (dB)平均值,相比于NLM 算法,分別提升了1.49、1.23、2.67、1.36、1.53 和1.72.同時(shí),由表3可知,在BSD68 灰度圖像數(shù)據(jù)集上,NLM-DT 算法去噪后圖像的PSNR (dB)平均值,相較于傳統(tǒng)非局部均值NLM 算法,分別提升了0.20、0.32、0.41、0.45、0.45 和0.32;UM-NLF 算法的PSNR(dB),相比于NLM 算法,分別提升了1.98、1.52、1.39、1.36、1.37 和1.43.這充分驗(yàn)證了本文提出的改進(jìn)算法NLM-DT 和UM-NLF 算法在圖像去噪效果上的優(yōu)越性.

2) 算法去噪的泛化性能

不同去噪算法在Classic13 和BSD68 灰度噪聲圖像集上的實(shí)驗(yàn)結(jié)果表明:當(dāng)噪聲圖像的高斯噪聲標(biāo)準(zhǔn)差較小時(shí),PNLM、NLM-SAP、BM3D 和UMNLF 算法去噪結(jié)果的峰值信噪比PSNR 較大,即取得的圖像去噪效果較好;當(dāng)噪聲圖像的高斯噪聲標(biāo)準(zhǔn)差較大時(shí),ANLM、BM3D、NLM-DT 和UMNLF 算法呈現(xiàn)出較好的去噪效果.綜合而言,BM3D 和UM-NLF 在不同高斯噪聲等級的噪聲圖像上,算法去噪的泛化性能最好.

3) 高斯噪聲圖像的尺寸與去噪效果、去噪時(shí)間的關(guān)系

對于處在同一個(gè)高斯噪聲等級的噪聲圖像,隨著噪聲圖像尺寸的增大,NLM 算法及其改進(jìn)算法去噪結(jié)果的PSNR 幾乎都有不同程度的提升,但是算法的去噪時(shí)間都有所增加.

3.3.2 視覺效果對比

為了對比算法的視覺效果和紋理細(xì)節(jié)恢復(fù)的能力,本文選取高斯噪聲等級σ=20 的Airplane 噪聲圖像,高斯噪聲等級σ=35 的“Test016”噪聲圖像(選自BSD68 數(shù)據(jù)集) 和高斯噪聲等級σ=50的Baboon 噪聲圖像.如圖6 所示,由于噪聲圖像Airplane 的噪聲等級較低,并沒有對圖像的結(jié)構(gòu)造成較大的破壞,仍保留了原始無失真圖像較多的紋理細(xì)節(jié),此時(shí)BM3D 和UM-NLF 算法都取得了不錯(cuò)的視覺效果;從圖6 的局部放大圖來看,UMNLF 算法相比BM3D 算法有著較強(qiáng)的邊緣結(jié)構(gòu)保持能力,比較完整地恢復(fù)了Airplane 圖像上飛機(jī)型號的字體和飛機(jī)尾部的特征.在噪聲等級較大時(shí),如圖7所示,由于“Test016”噪聲圖像的背景偏暗,部分結(jié)構(gòu)信息被噪聲點(diǎn)所干擾,由獵豹的臉部和皮膚紋理處的局部放大圖可以看出,BM3D 算法存在過平滑的現(xiàn)象,對圖像中的部分結(jié)構(gòu)信息進(jìn)行了平滑,其余算法均出現(xiàn)了不同程度的模糊和過度平滑的現(xiàn)象,而UM-NLF 算法仍能較好地恢復(fù)圖像的結(jié)構(gòu)信息.若噪聲等級進(jìn)一步增大,如圖8 所示,UM-NLF算法的優(yōu)勢比較明顯,從Baboon 圖像的局部放大圖來看,狒狒的鼻子和眼睛處恢復(fù)的紋理細(xì)節(jié)更加接近原始無失真圖像,而BM3D 算法仍有過度平滑的傾向,丟失了圖像的部分細(xì)節(jié)信息.為了進(jìn)一步驗(yàn)證不同算法的紋理保護(hù)能力,本文采用XDoG[33]濾波對不同算法去噪后的圖像進(jìn)行邊緣提取,具體的結(jié)果可見圖9.可以發(fā)現(xiàn):BM3D 算法處理后的去噪圖像與原始無失真圖像在經(jīng)過XDoG 濾波后的圖像,在狒狒圖像的鼻子、眼睛處的邊緣紋理有明顯的差異.

圖6 不同算法對噪聲等級 σ=20 的Airplane 噪聲圖像的去噪結(jié)果PSNR (dB)和SSIM ((a) 原始無失真圖像;(b) 噪聲圖像(22.08 dB/0.4397);(c) NLM (28.33 dB/0.8328);(d) NLM-SAP (28.94 dB/0.8526);(e) PNLM(29.04 dB/0.8490);(f) LJS-NLM (28.37 dB/0.8410);(g) ANLM (27.86 dB/0.8489);(h) BM3D(29.55 dB/0.8755);(i) NLM-DT (28.60 dB/0.8418);(j) UM-NLF (29.83 dB/0.8760))Fig.6 Denoising results PSNR (dB) and SSIM on noisy image Airplane with noise level σ=20 by different methods((a) Ground truth;(b) Noisy image (22.08 dB/0.4397);(c) NLM (28.33 dB/0.8328);(d) NLM-SAP (28.94 dB/0.8526);(e) PNLM (29.04 dB/0.8490);(f) LJS-NLM (28.37 dB/0.8410);(g) ANLM (27.86 dB/0.8489);(h) BM3D (29.55 dB/0.8755);(i) NLM-DT (28.60 dB/0.8418);(j) UM-NLF (29.83 dB/0.8760))

圖7 不同算法對噪聲等級 σ=35 的“Test016” 噪聲圖像的去噪結(jié)果PSNR (dB)和SSIM ((a) 原始無失真圖像;(b) 噪聲圖像(17.25 dB/0.4201);(c) NLM (24.41 dB/0.7202);(d) NLM-SAP (24.75 dB/0.7293);(e) PNLM(24.85 dB/0.7376);(f) LJS-NLM (23.94 dB/0.7168);(g) ANLM (24.89 dB/0.7540);(h) BM3D(25.48 dB/0.7850);(i) NLM-DT (25.04 dB/0.7422);(j) UM-NLF (25.91 dB/0.7853))Fig.7 Denoising results PSNR (dB) and SSIM on noisy image “Test016” with noise level σ=35 by different methods((a) Ground truth;(b) Noisy image (17.25 dB/0.4201);(c) NLM (24.41 dB/0.7202);(d) NLM-SAP (24.75 dB/0.7293);(e) PNLM (24.85 dB/0.7376);(f) LJS-NLM (23.94 dB/0.7168);(g) ANLM (24.89 dB/0.7540);(h) BM3D (25.48 dB/0.7850);(i) NLM-DT (25.04 dB/0.7422);(j) UM-NLF (25.91 dB/0.7853))

圖8 不同算法對噪聲等級 σ=50 的Baboon 噪聲圖像的去噪結(jié)果PSNR (dB)和SSIM ((a) 原始無失真圖像;(b) 噪聲圖像 (14.16 dB/0.2838);(c) NLM (21.40 dB/0.4674);(d) NLM-SAP (21.33 dB/0.4386);(e) PNLM(21.48 dB/0.4793);(f) LJS-NLM (21.35 dB/0.4866);(g) ANLM (21.40 dB/0.4529);(h) BM3D(22.35 dB/0.5489);(i) NLM-DT (21.62 dB/0.4840);(j) UM-NLF (22.53 dB/0.5739))Fig.8 Denoising results PSNR (dB) and SSIM on noisy image Baboon with noise level σ=50 by different methods((a) Ground truth;(b) Noisy image (14.16 dB/0.2838);(c) NLM (21.40 dB/0.4674);(d) NLM-SAP (21.33 dB/0.4386);(e) PNLM (21.48 dB/0.4793);(f) LJS-NLM (21.35 dB/0.4866);(g) ANLM (21.40 dB/0.4529);(h) BM3D (22.35 dB/0.5489);(i) NLM-DT (21.62 dB/0.4840);(j) UM-NLF (22.53 dB/0.5739))

圖9 不同算法對Baboon 噪聲圖像去噪后并經(jīng)過XDoG 濾波的結(jié)果Fig.9 XDoG filtered results of the denoised images of different algorithms on noisy image Baboon

綜合而言,在視覺效果上,UM-NLF 算法相較于其他改進(jìn)算法,具有更強(qiáng)的圖像紋理細(xì)節(jié)的恢復(fù)能力,而BM3D 算法往往會過度平滑圖像的邊緣細(xì)節(jié).在噪聲等級較高時(shí),BM3D 算法由于利用了圖像的頻域信息,所以去噪后圖像的邊緣更可能會產(chǎn)生偽影;而UM-NLF 算法相比于BM3D 算法,利用了圖像的自相似性,又融合了多個(gè)非局部算法去噪圖像的空域結(jié)構(gòu)特征,極大地減少了圖像的振鈴偽影,更好地保留了圖像的細(xì)節(jié).

3.3.3 運(yùn)行時(shí)間對比

算法的運(yùn)行效率也是評估一個(gè)算法的重要因素.本文比較了NLM-DT 和UM-NLF 算法與所有對比算法的運(yùn)行速度,具體如表4 和表5 所示.可以看出:1)BM3D 算法的去噪速度最快,對于一張大小為256×256 的灰度噪聲圖像,BM3D 算法的處理速度大概在0.75秒左右,UM-NLF 算法的去噪時(shí)間大概在25 秒左右.不過需要注意的是,BM3D 算法利用C++的MEX 函數(shù)以及經(jīng)過并行處理化的操作,而UM-NLF 算法完全使用Matlab 語言完成.同時(shí),由于UM-NLF 算法根據(jù)不同組合參數(shù)產(chǎn)生的多個(gè)去噪結(jié)果,其相互之間沒有硬性的關(guān)聯(lián),后續(xù)可通過多線程并行處理多個(gè)去噪結(jié)果或者利用圖形處理器(Graphics processing unit,GPU)的硬件加速特性,提升算法的運(yùn)行速度.2)其余參與對比的非局部均值的改進(jìn)算法往往以犧牲去噪的精度,來提升去噪的效率.3)同時(shí),本文發(fā)現(xiàn)高斯噪聲等級與算法去噪的運(yùn)行時(shí)間并沒有一定的關(guān)系,即高斯噪聲等級越高,去噪時(shí)間并非越長.

表4 不同算法在大小為 256×256 灰度噪聲圖像上的去噪時(shí)間(秒)Table 4 Denoising time (seconds) of different algorithms on gray noisy images with a size of 256×256

表 5 不同算法在大小為512×512灰度噪聲圖像上的去噪時(shí)間(秒)Table 5 Denoising time (seconds) of different algorithms on gray noisy images with a size of 512×512

3.4 神經(jīng)網(wǎng)絡(luò)圖像去噪算法的對比

目前,以數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)圖像去噪算法[1?2],大部分利用配對的噪聲圖像和原始無失真圖像作為訓(xùn)練數(shù)據(jù),通過建立合適的深度神經(jīng)網(wǎng)絡(luò)模型(包含多個(gè)卷積層、下采樣層、激活函數(shù)和全連接層等)對訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí),而后利用噪聲圖像和原始無失真圖像,或者噪聲圖像和殘差圖像的損失函數(shù)對建立的模型進(jìn)行權(quán)重更新,最后利用訓(xùn)練完畢的模型權(quán)重對測試圖像進(jìn)行去噪,也取得了很好的去噪效果.接下來,主要分析UM-NLF 算法與經(jīng)典神經(jīng)網(wǎng)絡(luò)圖像去噪方法執(zhí)行流程的聯(lián)系與區(qū)別,并與經(jīng)典有監(jiān)督式神經(jīng)網(wǎng)絡(luò)圖像去噪方法TNRD[27]和DnCNN-S[28],以及無監(jiān)督式神經(jīng)網(wǎng)絡(luò)圖像去噪方法GCBD[29]和Noise2Void[30]進(jìn)行去噪效果的實(shí)驗(yàn)對比.

3.4.1 執(zhí)行流程的對比

本節(jié)主要分析和討論UM-NLF 算法的執(zhí)行流程與經(jīng)典神經(jīng)網(wǎng)絡(luò)圖像去噪方法執(zhí)行流程的聯(lián)系和區(qū)別.

1)聯(lián)系

從整體的執(zhí)行結(jié)構(gòu)而言,本文提出的無監(jiān)督多重非局部融合(UM-NLF)的圖像去噪方法,與經(jīng)典神經(jīng)網(wǎng)絡(luò)圖像去噪方法在執(zhí)行流程上有類似的結(jié)構(gòu).具體而言,基于可微分硬閾值函數(shù)的非局部均值算法,通過度量以待處理像素點(diǎn)為中心的圖像鄰域塊與搜索區(qū)域內(nèi)圖像鄰域塊的相似性,而對具有相似鄰域結(jié)構(gòu)的像素點(diǎn)進(jìn)行加權(quán)平均,這一過程可類比于神經(jīng)網(wǎng)絡(luò)模型的“卷積層”模塊,后者通過不同的卷積核提取圖像的特征并過濾噪聲;此外,隨機(jī)線性組合可類比于“全連接層”和“Drop Connect”模塊,后者用于對提取的特征進(jìn)行組合并輸出濾波結(jié)果;同時(shí),本文提出的基于SURE 加權(quán)的移動(dòng)平均濾波算法,還可類比于“下采樣層”模塊,后者用于減少算法的參數(shù)并抑制組合圖像數(shù)據(jù)的隨機(jī)浮動(dòng).這種結(jié)構(gòu)上的相似性,在一定程度上反映了UMNLF 算法具有與神經(jīng)網(wǎng)絡(luò)類似的特征提取能力.

2) 區(qū)別

本節(jié)主要從算法的執(zhí)行方式和計(jì)算資源的角度,對比UM-NLF 算法與經(jīng)典神經(jīng)網(wǎng)絡(luò)圖像去噪方法的區(qū)別.a) 執(zhí)行方式 UM-NLF 算法充分考慮圖像空域結(jié)構(gòu)信息的自相似性,利用多重非局部算法的隨機(jī)線性組合,并利用SURE 自適應(yīng)地調(diào)節(jié)不同去噪圖像的線性組合系數(shù),無需訓(xùn)練,直接對測試圖像進(jìn)行去噪,具有很好的魯棒性能;而經(jīng)典的神經(jīng)網(wǎng)絡(luò)圖像去噪方法往往需要在大量的數(shù)據(jù)樣本上訓(xùn)練,通過建立相應(yīng)的深度神經(jīng)網(wǎng)絡(luò)模型,包括卷積層、下采樣層和激活函數(shù)等基礎(chǔ)模塊的拼接,并利用反向傳播算法學(xué)習(xí)噪聲圖像至原始無失真圖像(或者殘差圖像)的函數(shù)映射.b) 計(jì)算資源 經(jīng)典的神經(jīng)網(wǎng)絡(luò)圖像去噪方法往往需要在大量的訓(xùn)練數(shù)據(jù)上進(jìn)行學(xué)習(xí),主要利用訓(xùn)練數(shù)據(jù)的先驗(yàn)信息,往往依賴高算力的計(jì)算資源,以及特定的訓(xùn)練數(shù)據(jù)集;而UM-NLF 算法在普通的CPU 上即可運(yùn)行,不過分依賴計(jì)算資源,同時(shí)UM-NLF 算法對噪聲圖像具有很好的魯棒性.

3.4.2 去噪效果的對比

在BSD68 的灰度圖像數(shù)據(jù)集上,本文將提出的UM-NLF 算法與傳統(tǒng)的無監(jiān)督圖像去噪算法BM3D,有監(jiān)督式神經(jīng)網(wǎng)絡(luò)圖像去噪方法TNRD和DnCNN-S,以及無監(jiān)督式神經(jīng)網(wǎng)絡(luò)去噪方法GCBD和Noise2Void 進(jìn)行去噪效果對比和實(shí)驗(yàn)分析.具體的去噪結(jié)果如表6 所示,可以發(fā)現(xiàn):目前而言,有監(jiān)督式神經(jīng)網(wǎng)絡(luò)圖像去噪方法取得了較好的去噪效果.然而,傳統(tǒng)的無監(jiān)督算法BM3D 和UM-NLF在缺少特定場景訓(xùn)練樣本的情況下,在實(shí)際應(yīng)用中仍然可以成為靈活而有希望的選擇.

表6 傳統(tǒng)算法和深度學(xué)習(xí)算法在BSD68 灰度數(shù)據(jù)集上的平均PSNR (dB)和SSIMTable 6 Average PSNR (dB) and SSIM results of traditional and deep learning methods on BSD68 gray dataset

4 總結(jié)

針對原始NLM 算法對圖像中相似度較低的鄰域塊分配了過大的權(quán)重,以及傳統(tǒng)算法固定的參數(shù)無法根據(jù)圖像內(nèi)容的變化進(jìn)行自適應(yīng)調(diào)整的問題,本文提出了一種基于SURE 參數(shù)優(yōu)化的無監(jiān)督多重非局部融合(UM-NLF)的圖像去噪方法,即利用蒙特卡洛隨機(jī)搜索的思想,變換搜索窗等組合參數(shù)得到多個(gè)去噪結(jié)果并利用SURE 來無監(jiān)督地優(yōu)化多重非局部算法去噪結(jié)果的組合系數(shù).實(shí)驗(yàn)結(jié)果表明:在公開數(shù)據(jù)集上,相比于目前傳統(tǒng)算法去噪效果最佳的BM3D 算法,本文提出的UM-NLF 算法產(chǎn)生了更少的振鈴偽影,有效保持了圖像的紋理和結(jié)構(gòu)信息,極大地改善了圖像的主觀視覺質(zhì)量.目前,由于提出的算法主要集中在灰度圖像的討論,未來的工作主要是考慮研究如何將提出的算法拓展至彩色圖像的去噪,比如研究如何結(jié)合彩色圖像R、G、B 通道的相關(guān)性,以及采用何種的距離判別準(zhǔn)則來衡量兩個(gè)彩色圖像子塊的相似性權(quán)重.