楊文波，馬天瑋，劉 劍

（1.中國科學院長春光學精密機械與物理研究所航空光學成像與測量中國科學院重點實驗室，吉林長春130033；2.中國科學院大學，北京100049）

非局部變分修復法去除高密度椒鹽噪聲

楊文波1，2*，馬天瑋1，劉 劍1

（1.中國科學院長春光學精密機械與物理研究所航空光學成像與測量中國科學院重點實驗室，吉林長春130033；2.中國科學院大學，北京100049）

分析了中值濾波及其改進型算法在處理高密度椒鹽噪聲時效果不理想的原因，采用變分修復方法來去除高密度椒鹽噪聲，基于現(xiàn)有的全變差修復模型提出了非局部全變差修復模型。該模型利用椒鹽噪聲特點（均勻分布、灰度值為0或255），將噪聲點看成是圖像中遺失或是破損的點，首先在圖像中尋找與噪聲點鄰域相似的區(qū)域，將相似區(qū)域的中心像素作為噪聲點新的鄰域然后對其插值，把圖像降噪問題轉化為圖像修復問題，從而達到去除高密度噪聲的目的。實驗結果表明：該模型對噪聲密度為90%的彩色和灰度圖像去噪后，其峰值信噪比為22.85和28.77，在客觀評價標準方面優(yōu)于中值濾波及其改進型算法。該模型能有效去除高密度下的椒鹽噪聲并較好地恢復圖像細節(jié)，為圖像去除高密度噪聲提供了一種新的途徑。

圖像去噪；圖像修復；椒鹽噪聲；中值濾波；非局部變分修復

1 引 言

椒鹽噪聲是一類典型的非線性噪聲，也是被研究最多的一類噪聲。中值濾波（Standard Median Filter，SMF）則是一種方便且有效的非線性去除椒鹽噪聲的方法，由于其簡單、易于實現(xiàn)并具有一定的圖像細節(jié)保留能力，一直都是人們關注的熱點。然而這一算法最大的缺點就是對所有的像素均采用統(tǒng)一的處理方法，因而導致圖像細節(jié)損失。

為了進一步提高濾波效果，近年來學者們已提出了很多改進型中值濾波算法。如文獻［1］提出了一種加權中值濾波（Weighted Median Filter，WMF）算法，它可粗略估計噪聲的污染率，然后自動調整中心像素的權值，從而控制新的濾波器對噪聲圖像進行平滑。文獻［2］、［3］提出了開關濾波（Switching Median Filter）算法，其思想是在濾波之前把受污染與未受污染像素區(qū)分出來，然后用中心像素值替換受污染的像素，同時不改變未受污染的像素值；但隨著噪聲密度增加，用于替換的中心像素值也可能受到污染，失去抑制噪聲的能力。為了克服以上缺點，文獻［4］提出一種自適應中值濾波算法（Adaptive Median Filter，AMF），首先將圖像中噪聲點檢測出來，然后根據(jù)一定規(guī)則調整窗口大小來相對地降低噪聲密度，以確保中值是未受噪聲污染的像素點；它的主要缺點是調整到“大窗口”濾波將非常耗時。與AMF方法不同的是文獻［5］提出的基于決策的濾波方法（Decision-Based Algorithm，DBA），該方法在噪聲密度較高條件下，中心像素值可能受到污染，這時可用其鄰域像素值作為中心像素值進行濾波，這是因為中心值與其鄰域像素值具有較高的相關性，這種高度相關性保證了濾波效果。文獻［6］也提出了類似方法，利用鄰域差分法判斷中心像素是否受到污染，若判定該點為噪聲，則將鄰域像素分別賦予不同權值對該點像素重構。文獻［7］則是利用模糊推理的方法恢復受到污染的中心像素值；由于其隨著噪聲密度的進一步增加，不僅中心像素值易受污染，而且其鄰域也易受到污染，文獻［8］提出了基于魯棒估計算法（Robust Estimation Algorithm，REA），該算法應用魯棒估計對整個窗口內像素值進行檢測，找到未受污染最優(yōu)像素值作為替換值進行濾波；但當噪聲密度增加到一定程度時，文獻［8］易丟失圖像的特征細節(jié)，使圖像模糊?？紤]以上這些改進型中值濾波算法在高密度噪聲條件下，濾波效果不理想，沒有克服對噪聲強度的敏感性，應用具有很大的局限性，本文提出采用變分修復方法來去除高密度椒鹽噪聲，該方法在客觀評價標準方面優(yōu)于中值濾波及其改進型算法。

2 高密度噪聲下的中值濾波失效

設椒鹽噪聲的理論模型為：

式中，p為椒鹽噪聲的空間密度；而α則表示椒鹽混合中“鹽”的百分比；對于含有椒鹽噪聲的圖像u，假設其灰度值在a和b之間，為方便起見，認為a=0對應于暗色或是“黑椒”，而b=255對應于亮色或是“鹽”。

設m和n為兩個固定大小的尺寸參數(shù)，則定義移動窗口為：

即在每個窗口U（k，l）內有N=（2n+1）×（2m+1）個樣本，其中有Np（1-α）個“黑椒”樣本，Npα個“鹽”樣本，以及N（1-p）個ui，j樣本。

定義中值估計為：

若有

成立，則中值估計u?k，l總是窗口內的U（k，l）中一個值，并且中值估計u?k，l與其理想值u0k，l是非常接近的。注意到當p＜50%，即椒鹽噪聲的空間密度較低時，式（4）對任意均α成立。

為了定量分析在式（2）條件下，中值估計u?k，l總能落在窗口U（k，l）內，引入下述公式，對于一個任意大小的窗口N，有［9］：

式中，q=p max（α，1-α）≤1/2，CN趨近于常數(shù)1，在應用中可令CN=1。應用該公式可定量估算出中值估計k，l落在窗口U（k，l）內的概率。考慮當p=20%及α=1/2時的低密度椒鹽噪聲情況時，假設使用一個7×7的移動窗口，則N=49且式

由此可見，上述兩種情況都是小概率事件，基本不可能發(fā)生，這是因為式（5）是指數(shù)因子占優(yōu)勢，即

式（5）同時還指出了當空間密度較大時中值濾波方法存在的潛在問題。在這種情況下，p→1，q= p/2?1/2，因為4q（1-q）?4×1/2×1/2=1，指數(shù)因子不再占優(yōu)勢，prob（k，l?U（k，l））概率增大，使中值濾波方法失效。因此，去除高密度椒鹽噪聲需要中值濾波以外的新方法。

3 變分修復法去除高密度椒鹽噪聲

3.1 全變差（Total Variation，TV）修復模型去噪

當噪聲密度較高，如p≥50%時，需要使用圖像修復技術進行復原。這是因為這時可以將椒鹽噪聲看成是圖像中遺失或是破損的部分，利用未被損壞的圖像信息，按照一定的規(guī)則對其填補，使修復后的圖像接近原圖視覺效果。

Chan和Shen在文獻［10］中提出了一種變分修復模型，即全變差修復模型，它所對應的時間演化方程為：

式中，D=｛x∈Ω|u（i，j）=0‖u（i，j）=255｝為待修復區(qū)域。由式（1）可知，椒鹽噪聲只會污染圖像中的部分像素點，而其它像素的灰度值則保持不變；假設噪聲污染前的圖像是自然變化的灰度圖像，如果圖像中像素的值為0或255，可將該點認為是噪聲污染點，即需要修復的點。但也存在著像素值為0或255可能是有效數(shù)據(jù)的情況，在這種情況下，仍可將該點作為噪聲點。這是因為在自然變化圖像中，TV模型依靠該點鄰域信息對其進行插值迭代，最終可使該點接近或達到0或255，避免了圖像的失真；同時式（7）實質上是一個各向異性擴散方程，它僅在修復區(qū)域邊緣切線方向擴散，保留了圖像的細節(jié)。但是它也有十分明顯的缺點：TV模型僅僅是一個臨近的線性插值，圖像的修復區(qū)域完全被它臨近區(qū)域決定，擴散過程完全依賴于圖像的局部特性?？紤]到在高密度噪聲條件下，在接近邊緣部分或梯度較大的地方，由于噪聲干擾，使得各向異性擴散變?yōu)楦飨蛲詳U散，平滑了圖像的邊緣，損失了圖像的細節(jié)，修復的圖像會產生虛假的現(xiàn)象。為了克服這一缺點，應當采用非局部算子重新設計TV修復模型，使得擴散過程不依賴于圖像的局部特性，稱該模型為非局部全變差（Non-Local Total Variation，NLTV）修復模型。

3.2 NL-TV修復模型去噪

采用文獻［11］提供非局部算子設計NL-TV模型。定義圖像函數(shù)u（x）在像素x關于像素y的非局部梯度向量Δuw（x，y）及其模分別為：

式中，w（x，y）是像素x與像素y之間的權重因子，權重因子w（x，y）的取值主要依靠像素x與像素y的之間的相似性，且權重因子滿足0≤w（x，y）≤1，w（x，y）=w（y，x）。衡量像素x與像素y之間的相似性，需衡量它們鄰域間的相似性，這主要是由于自然圖像的高度冗余性，即在同一幅圖像上的一個小區(qū)域存在著與其相似的多個小區(qū)域?？捎孟率胶饬苦徲蜷g的相似性，即區(qū)域間距離［12］：

式中，Gα（s）是方差為α的高斯函數(shù)。如果像素間有相似鄰域，則它們的權重因子w（x，y）較大，如圖1所示，q1和q2具有較大權重，因為它們有相似的鄰域，w（p，q3）重較小，因為它們鄰域間灰度值相差較大。

圖1 權重因子示意圖Fig.1 Scheme of the weighted factor

為了計算方便，可將權重因子w（x，y）定義為［13］：

式中，A（x）是圖像中與像素x最相似點的集合，根據(jù)式（11），A（x）可被定義為：

式中，γ是像素點集合的元素個數(shù)。

根據(jù)文獻［10］定義向量Δuw的非局部散度公式為：

基于以上非局部算子以及TV修復模型，給出NL-TV修復模型時間演化方程：

3.3 NL-TV模型的離散化

對于NL-TV修復模型（14）給出如下離散化差分迭代公式：

式中，λ是時間步長。對于空間差分算子采用如下離散化公式：

式中，wi，j是w（x，y）的離散值，Ni=｛j:wi，j＞0｝。

為了更好地理解TV模型和NL-TV模型，下面比較兩種模型的離散化公式，TV模型可簡化如下形式：

式中，N，S，E，W是像素i的垂直和水平方向的四鄰域；同樣NL-TV模型也可以簡化為：

式中，Ni=｛j:wi，j＞0｝是與像素i最相似點的集合。對比式（19）和（20）可以十分明顯觀察出兩種模型間的差異，TV模型依靠局部空間的像素信息估計缺失或受污染像素值，而NL-TV模型主要依靠全局的相似像素，保證擴散過程是各向異性。

對于權重因子w（x，y）離散化計算過程如下：為了減少計算，首先在一個固定窗口內，選取像素i的一個固定大小鄰域；然后計算它對窗口內所有同等大小鄰域的距離（dα）i，j，選取k個距離最小的鄰域；最后將這些鄰域圍繞的像素j賦值為1，其余的賦值為0。

4 實驗結果

本節(jié)采用實驗驗證本模型的有效性。首先對圖2大小為256×256彩色圖像pepper添加60%～90%高密度椒鹽噪聲，然后用TV模型和NLTV模型去噪。實驗中選擇固定窗口大小為21× 21，鄰域像素塊大小為5×5，時間步長λ=10，高斯函數(shù)的方差α=5。

通過圖2的對比效果可以看出，TV模型雖能平滑平坦區(qū)域的噪聲，但是由于高密度噪聲干擾，使各向異性擴散過程失效，邊緣信息未受到保護，圖像的細節(jié)信息損失嚴重，且隨著噪聲增加，這一現(xiàn)象越發(fā)明顯；而NL-TV模型卻具有很好的效果，在濾除噪聲的同時，對細節(jié)信息的保護也做得很好。

圖2 TV和NL-TV對pepper圖像在不同密度噪聲下去噪效果Fig.2 Restoration results of TV and NL-TV for pepper image at different noise densities

對濾波效果的評價除了主觀評價外，還需結合一種客觀的評價方法。本文采用峰值信噪比（Peak Signal Noise Ratio，PSNR），均方誤差（Mean Square Error，MSE）和平均絕對誤差（Mean Absolute Error，MAE）作為評價標準。它們的定義如下：

從圖2對比可知，在各噪聲密度下NL-TV的PSNR均大于TV的PSNR值，平均超出4.36 dB，這也表明NL-TV模型去噪性能優(yōu)于TV模型。

圖3 各種方法的PSNR值對比圖Fig.3 Comparison of PSNRswith differentmethods

圖4 各種方法的MSE值對比圖Fig.4 Comparison of MSEs with differentmethods

圖5 各種方法的MAE值對比圖Fig.5 Comparison of MAEswith differentmethods

表1 各種方法的PSNR值比較Tab.1 Comparative results of variousmethods in terms of PSNRs

文獻［8］比較了SMF、WMF、AMF、DBA以及REA算法的去噪性能，因此本文也選取大小為256×256的8位灰度圖像Lena，分別添加10%～90%的椒鹽噪聲，以PSNR、MSE及MAE標準驗證算法性能，表1～3和圖3～5是實驗結果，圖6（a）～（h）是在噪聲密度60%的條件下，各種算法的去噪效果。由實驗結果可以看出，在噪聲水平低于30%時，各種算法的客觀評價標準相差不大，這意味著它們都能夠有效地去除噪聲；當噪聲水平高于50%時，SMF、WMF和AMF算法性能急劇下降，表現(xiàn)為客觀評價標準超出了正常值范圍；雖然DBA和REA算法也能去除較高密度的噪聲，但隨著噪聲密度的進一步增加，DBA和REA算法性能也在逐步失效。從圖6可以看出，當噪聲水平達到60%時，DBA和REA會產生拖尾現(xiàn)象和邊緣模糊現(xiàn)象，不能恢復圖像的細節(jié)，而

NL-TV模型去除椒鹽噪聲時，視覺效果明顯優(yōu)于其它幾種方法。實驗結果表明，無論是去除低密度還是高密度的椒鹽噪聲，NL-TV模型的客觀評價標準全面優(yōu)于中值濾波及其改進型算法。

表2 各種方法的MSE值比較Tab.2 Comparative results w ith variousmethods in terms of MSEs

表3 各種方法的MAE值比較Tab.3 Comparative resultsw ith variousmethods in terms of MAEs

圖6 各種方法對噪聲密度為60%的Lena圖像去噪效果Fig.6 Restoration results with variousmethods for Lena image with 60%salt-and-pepper noise

5 結 論

椒鹽噪聲在工程中比較常見，主要因信號在電路傳輸中發(fā)生錯誤而產生，其危害效果很嚴重，尤其是紅外相機的圖像中經常伴隨著較高密度椒鹽噪聲，對后期圖像處理產生較大影響。SMF及其改進型算法對于去除低密度椒鹽噪聲是一個簡單且有效的方法。但當噪聲密度較高時就需要采用除了SMF以外的新方法，如變分修復的方法。

本文提出了一種NL-TV修復模型用于去除高密度椒鹽噪聲。該模型與SMF及其改進型有本質區(qū)別：首先它將噪聲點看成是圖像中遺失或破損的點，把圖像降噪問題轉化為圖像修復問題；其次它不需檢測噪聲點，直接將灰度值為0或255像素認為是噪聲，在圖像中尋找與噪聲點鄰域相似的區(qū)域，將相似區(qū)域的中心像素作為噪聲點新的鄰域，然后對其插值迭代，實現(xiàn)噪聲去除同時恢復被誤認為是噪聲點的有效數(shù)據(jù)。該模型與TV模型的最大不同點是：它的擴散是全局意義下的各向異性擴散，對圖像細節(jié)恢復較TV模型好。基于以上原因使得該模型去噪后的圖像比較真實，有較好的視覺效果。

仿真實驗結果表明：該模型對噪聲密度為90%的彩色和灰度圖像去噪后，其PSNR值分別為22.85和28.77，各方面優(yōu)于SMF及其改進型算法，為圖像降噪提供了新的途徑。

［1］ ZHANG X，XIONG Y.Impulse noiseremoval using directional difference based noise detector and adaptiveweightedmean filter［J］.IEEE Signal Processing Lett.，2009，16（4）：295-298.

［2］ IBRAHIM H，KONG N.Simple adaptivemedian filter for the removal of impulse noise from highly corrupted images［J］. IEEE Trans.Consumer Electronics，2008，54（4）：1920-1927.

［3］ AKKOUL S，LECONGE R，HARBA R.A new adaptive switchingmedian filter［J］.Signal Proc.Lett.，2010：587-590.

［4］ CHAN R H，HO CW，NIKOLOVA M.Salt-and-pepper noise removal bymedian-type noise detectors and detail-preserving regularization［J］.IEEE Trans.Image Process，2005，14（10）：1479-1485.

［5］ SRINIVASAN K S，EBENEZER D.A new fast and efficient decision-based algorithm for removal of high-density impulse noises［J］.IEEE Signal Proc.Lett.，2007，14（3）：189-192.

［6］ 王明佳，張旭光，韓廣良，等.自適應權值濾波消除圖像椒鹽噪聲的方法［J］.光學精密工程，2007，15（5）：779-783. WANG M J，ZHANGX G，HANG L，etal..Elimination of impulse noise by auto-adapted weight filter［J］.Opt.Precision Eng.，2007，15（5）：779-783.（in Chinese）

［7］ TOH K K V，ISA N A M.Noise adaptive fuzzy switchingmedian filter for salt-and-pepper noise reduction［J］.IEEE Signal Proc.Lett.，2010，17（3）：281-284.

［8］ VIJAYKUMAR V R，VANATHIPT，EBENEZER D.High density impulse noise removal using robustestimation based filter［J］.IAENG International J.Computer Science，2008，35（3）：140-148.

［9］ CHAN T F，SHEN JH.圖像處理與分析-變分，PDE，小波及隨機方法［M］.陳文斌、程晉譯.北京：科學出版社，2011. CHAN T F，SHEN JH.Image Processing and Analysis：Variational，PDE，Wavelet，and Stochastic Methods［M］.CHEN W B，CHENG J translate.Beijing：Science Press，2011.（in Chinese）

［10］ CHAN T F，SHEN JH.Nontexture inpainting by curvature driven diffusions（CDD）［J］.Visual Comm.Image Rep.，2001，12：436-449.

［11］ GILBOA G，OSHER S.Nonlocaloperatorswith applications to image processing［J］.SIAM MultiscaleModeling and Simulation，2008，7（3）：1005-1028.

［12］ BUADESA，COLL B，MOREL JM.On image denoisingmethods［J］.SIAM Multiscale Modeling and Simulation，2005，4（2）：490-530.

［13］ BUADESA，COLL B，MOREL JM.Neighborhood filters and PDE′s［J］.NumerischeMathematik，2006，105（10）：1-34.

作者簡介：

楊文波（1980—），男，吉林省吉林市人，博士研究生，2010年于長春理工大學獲得碩士學位，主要從事超分辨率重構、圖像復原方面的研究。E-mail：ywbcust @sina.com

馬天瑋（1978—），男，吉林白山人，副研究員，主要從事圖像處理及嵌入式系統(tǒng)應用方面的研究。E-mail：maxpony@ 263.net

劉 劍（1973—），男，吉林長春人，高級工程師，主要從事圖像處理方面的研究。E-mail：Ky1_liujian@sina.com

Elim ination of impulse noise by non-local variation inpaintingmethod

YANGWen-bo1，2*，MA Tian-wei1，LIU Jian1
（1.Key Laboratory of Airborne Optical Imaging and Measurement，Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.University of Chinese Academy of Sciences，Beijing 100049，China）
*Corresponding author，E-mail：ywbcust@sina.com

The reasons of ineffectiveness of median filtering and its improved algorithm for eliminating the high-density salt-and-pepper noise are analyzed.A variational inpainting method is adopted to remove the high-density salt-and-pepper noise，and a inpaintingmodel of Non-local Total Variation（NL-TV）based on the existingmodel of Total Variation（TV）is proposed in this article.In the NL-TVmodel based on the characteristics of salt-and-pepper noise（uniform distribution and the gray value of0 or 255），we view the noise points as the lostor damaged points of an image to find the districts similar to the neighborhoods of noise points in an image，and then interpolate the noise points by taking the central pixel in a similar district as a new neighborhood of noise points.By thismethod，we transform the problem of image denoising into a problem of image restoration to remove the high-density noise.The experimental results show that the Peak Signal to Noise Ratios（PSNRs）are 22.85 and 28.77 after removing the noise for a color and gray-scale imagewith 90%of noise density，which is better than the results obtained by median filter and its improved algorithm in terms of theobjective evaluation criteria.Using this model，we can effectively remove the high-density salt-and-pepper noise and restore the image details better，which provides a new approach to remove the high-density noise.

image denoising；image inpainting；salt and pepper noise；median filtering；non-local variational inpainting

TP391.4

A

10.3788/CO.20130606.0876

1674-2915（2013）06-0876-09

2013-09-12；

2013-10-15

中國科學院航空光學成像與測量重點實驗室開放基金資助項目（No.2012MS01）