林 凡,陳穎頻,2,陳育群,喻 飛
(1.閩南師范大學物理與信息工程學院,福建漳州 363000;2.電子科技大學信息與通信工程學院,四川成都 610054)
由于成像系統(tǒng)、環(huán)境條件、記錄設備、人為因素等方面的影響,數(shù)字圖像往往會出現(xiàn)一定程度的降質現(xiàn)象,如圖像模糊、圖像噪聲、部分圖像信息丟失等。合理地利用降質圖像及某些先驗信息,設計圖像優(yōu)化模型并提出高效的求解算法,恢復和重建出清晰的圖像,對后期的圖像處理和機器視覺的研究有著重要的意義。
基于正則化的圖像復原模型是行之有效的方法,1992年Rudin、Osher和Fatemi開創(chuàng)性地提出全變分(Total Variation,TV)正則化方法,該方法也被稱為ROF模型[1],它能較好地保持圖像邊緣特征,在圖像去噪領域引起了廣泛的關注。全變分模型分為各向異性全變分(Anisotropic Total Variation,ATV)模型和各向同性全變分(Isotropic Total Variation,ITV)模型[2]。在一階TV模型中,圖像是分片光滑的,在保持圖像邊緣方面具有明顯的優(yōu)勢,但容易產(chǎn)生“階梯效應”。同時,由于全變分泛函的不可微性,使得求解較為困難。此后,基于TV模型,一些延伸模型及其算法相繼被提出[3-7],被廣泛地應用到圖像去噪[8]、圖像重建[9]和圖像解模糊[10]等方面,很多圖像解模糊方法通常也能起到抑制噪聲的作用。例如,總廣義全變分(Total Generalized Variation,TGV)模型[11]、分數(shù)階全變分(Fractional order TV,F(xiàn)TV)模型[12]、非局部全變分(Nonlocal Total Variation,NLTV)模型[13]等。2011年,Sakurai等人提出四方向全變分(Four directional Total Variation,4-TV)模型[14],將傳統(tǒng)變分方法中僅考慮垂直和水平方向梯度信息擴展到四個方向上,以期改善去噪性能,但他們沒有給出完整的數(shù)學證明。Wu等人將四方向全變分正則項進一步推廣為四方向分數(shù)階全變分稀疏正則項[15]。
為求解全變分模型,Chambolle提出了一種基于梯度的全局收斂一階對偶算法[7],Beck和Teboulle將投影梯度法(Gradient Projection,GP)應用到TV模型的約束性去噪問題中[16]。然而,值得指出的是,GP算法的效率取決于更新率。當更新率過大時,梯度投影法不收斂;當更新率過小時,運算效率較低。
針對以上問題,本文在圖像解模糊和去噪過程中,將挖掘圖像梯度的鄰域結構相似性,對四方向全變分(Quaternion Total Variation,QTV)模型進行改進和完善,使用交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)進行求解。同時,在假設圖像滿足周期邊界條件的前提下,引入快速傅立葉變換(Fast Fourier Transform,F(xiàn)FT),將時域圖像差分操作變換到頻域中實現(xiàn),有效避免大型矩陣相乘運算,從而降低計算時間,并提高計算準確度。
在圖像解模糊中,考慮如下圖像降質模型:
G=H*F+N.
(1)
其中,G∈N×N表示觀測到的含噪聲的模糊圖像;F∈N×N表示由模型恢復出的圖像;H∈N×N表示模糊核函數(shù),符號*表示卷積算子。N∈N×N表示方差為σ2的加性高斯噪聲。全變分正則化ROF模型表示為:
(2)
ATV模型中,R(F)定義如下:
RATV(F)=‖Kh*F‖1+‖Kv*F‖1.
(3)
ITV模型中,R(F)定義如下[2]:
(4)
其中,Kh=[-1,1],Kv=[-1,1]T分別表示橫向和縱向差分卷積算子;‖·‖1表示歐式L1范數(shù);‖·‖2表示歐式L2范數(shù)。
從式(3)(4)可以看出,傳統(tǒng)的全變分模型僅考慮橫向和縱向這兩方向的梯度信息。一個像素點被噪聲污染的概率遠遠高于周圍四個點同時都被噪聲污染的概率,為了獲得更好的圖像重構效果,四方向全變分模型考慮更充分的鄰域梯度信息,將對角線方向(45°方向和135°方向)的圖像梯度作為正則約束條件[14,17],從而提高圖像復原的質量。圖1為兩方向全變分和四方向全變分梯度信息選取示意圖[3]。
圖1 四方向全變分正則項示意圖
四方向全變分模型正則項定義為:
RQTV(F)=‖Kh*F‖1+‖Kv*F‖1+‖K45°*F‖1+‖K135°*F‖1.
(5)
為了方便討論,這里令K1=Kh,K2=Kv,K3=K45°,K4=K135°,四方向全變分正則化解模糊去噪模型簡化為:
(6)
令Xi=Ki*F(i=1,2,3,4),利用增廣Lagrangian方法(Augmented Lagrangian Multiplier method,ALM)解決形如式(6)的約束優(yōu)化問題,將其轉換成無約束問題,其目標函數(shù)可寫作[18]:
(7)
(8)
其中,變量相互獨立,對于每個變量可轉化為子問題進行單獨求解,于是得到如下的迭代格式,k為迭代次數(shù):
(9)
對于F子問題,為了有效避免大矩陣相乘運算所帶來的計算復雜性,引入快速二維傅里葉變換將時域圖像差分操作變換到頻域。F子問題的頻域表達式為:
(10)
(11)
利用二維傅里葉反變換得到F子問題的最優(yōu)解,整理得:
(12)
Xi(i=1,2,3,4)子問題:
(13)
可以采用軟閾值化算子(soft threshold operator)進行收縮,得到:
(14)
(15)
將整個算法總結于算法1,并命名為QTV-FFT。
算法1:QTV-FFT圖像解模糊偽代碼
輸入:G
輸出:F
while‖F(xiàn)k+1-Fk‖2/‖F(xiàn)k‖2>toldo
k←k+1;
end while
ReturnF
選取不同風格的圖像組作為實驗對象,以考量本文提出的模型,測試圖像如圖1所示,圖像大小為256×256像素。為了驗證本文提出的模型的合理性和有效性,針對實驗對象加入高斯模糊(Gaussian blur)或高斯隨機白噪聲(White Gaussian Random Noise),進行仿真實驗。硬件環(huán)境:處理器為Inter?CoreTMi7-6700CPU@3.4 GHz,內存16.0 GB。仿真平臺:Matlab R2014a。對比參數(shù)主要采用圖像處理領域常用的評價指標:峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和結構相似性信息(Structural Similarity,SSIM)[20]。PSNR和SSIM的定義如下:
(16)
(17)
實驗中,對比各向異性全變分ATV模型、各向同性全變分ITV模型、分數(shù)階全變分FTV模型和本文所提頻域四方向全變分QTV-FFT模型的圖像恢復結果,為了保證評價的客觀性和公平性,上述算法的迭代條件均當滿足式(18)時迭代終止。同時,調節(jié)各種算法的正則參數(shù),以達到各自的最佳效果,保證測試的公平性。
(18)
以圖2圖像組為測試對象,測試中使用的模糊核均由Matlab的內置函數(shù)生成,為fspecial(’gaussian’,[33],3)生成的窗口大小為3×3、標準差為3的高斯模糊核;噪聲為加性高斯隨機白噪聲,噪聲標準差σ分別為10、20、30、40。對不同圖像的測試結果如表1所示,將最優(yōu)指標用黑色粗體標出。
圖2 測試圖像組
圖像標準差ATVITVFTVQTV-FFTPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMLena1028.1670.82228.4620.82728.3350.82428.6360.8322026.4060.73926.7910.76426.5980.76126.8800.7693025.5630.72025.7390.72125.5420.70825.9280.7324024.6210.68024.7830.68624.6500.68324.9510.691Butterfly1026.4290.78126.6700.79126.5440.78426.8150.7872025.0280.70625.2430.71825.0600.70925.4190.7283024.0220.65024.1000.65324.1750.65924.3410.6714023.2760.60523.3750.61123.2560.60323.5570.625Plane1032.1560.87432.5530.88632.3120.87432.7420.8962030.1550.81630.6610.83330.4850.83930.6980.8283029.2720.81529.5260.81129.3720.81529.6450.8154028.4610.79328.8010.80228.6260.78728.8280.804Sailingboat1026.7990.82626.7810.82726.7260.82327.0280.8272025.2890.75625.2620.76225.2200.76325.3690.7643024.2830.72824.3090.72424.3000.72624.3920.7294023.7010.69823.7210.69923.7000.70223.7990.707Seabird1029.3800.85329.4810.85229.4330.85429.6880.8622027.5960.78927.8170.80027.6480.79027.9490.8033026.4590.76326.6450.76926.4710.74626.7280.7814025.4680.72925.5100.73325.4710.73225.6290.734House1026.2950.73026.2820.72926.3120.73026.5210.7322025.0480.64725.0670.66225.0350.66325.1730.6653024.1310.61524.1730.61324.1440.61424.2640.6194023.4880.58423.4820.58423.4780.58723.5890.585
從表1可以看出,在對不同圖像加入不同程度的模糊和噪聲后,本文提出的模型對圖像重建時的PSNR值均高于其它幾種方法,SSIM值也基本高于其它幾種方法。這表明該模型具有較好的解模糊和去噪效果,同時恢復出的圖像與原始圖像更為接近。為了進一步觀察測試結果,下面給出幾組測試結果對比圖。
圖3 幾種算法恢復圖像對比圖
圖4 幾種算法恢復圖像細節(jié)對比圖
圖3是對Sailingboat圖像加入窗口大小為3×3、標準差為3的高斯模糊核和σ=30的高斯噪聲后幾種算法恢復的圖像對比圖;圖4是對Butterfly圖像加入窗口大小為5×5、標準差為5的高斯模糊核和σ=30的高斯噪聲后幾種算法恢復的圖像細節(jié)放大對比圖。從恢復圖像的視覺效果來看,本文方法在保護圖像輪廓邊緣的同時,較好地處理了圖像平滑區(qū)域灰度值相近的像素點的重建,避免了階梯效應,去噪整體性能良好。
以Plane圖像為測試對象,測試中使用的模糊核分別為窗口大小為3×3、5×5、7×7、9×9,標準差為5的高斯模糊核,高斯噪聲標準差σ=50。采用本文方法復原圖像如圖5所示。圖6是對House、Butterfly、Lena、Seabird圖像使用的模糊核窗口大小為5×5、標準差為5的高斯模糊核并加入不同標準差的高斯噪聲后,分別用ATV模型和QTV-FFT模型恢復圖像的對比圖。從圖5、圖6恢復圖像的視覺效果來看,本文方法在不同模糊核和不同噪聲濃度的情況下復原圖像均有不俗的表現(xiàn)。在高污染噪聲的情況下,本文方法恢復的圖像依然具有良好的視覺效果。
圖5 不同模糊核下QTV恢復圖像效果圖
圖6 不同噪聲下ATV和QTV-FFT恢復圖像對比圖
為了進一步檢驗所提模型的時效性,在保證測試公平性的前提下,本節(jié)對比了ATV、FTV、QTV-GP、QTV-FFT模型對圖像重建時的平均耗時(Mean Time)。其中,把時域中利用投影梯度法算法(Gradient Projection,GP)求解四方向全變分的模型記為QTV-GP模型,本文提出的頻域四方向全變分ADMM算法記為QTV-FFT模型。測試中,向圖1測試圖像組加入窗口大小為3×3、標準差為3的高斯模糊核和σ分別為10、20、30、40的高斯噪聲。測試結果如表2所示。
表2 幾種算法對不同圖像解模糊去噪的平均耗時(s)
分析表2數(shù)據(jù)可以看出,四方向全變分模型考慮更充分的鄰域梯度信息,增加了對角線方向的圖像梯度作為正則約束條件,增大了計算量,因此QTV-GP模型對圖像重建的耗時較長,均高于ATV和FTV模型的耗時。而本文提出的QTV-FFT模型,引入快速傅立葉變換,將時域圖像差分操作變換到頻域,有效避免大矩陣相乘運算,不僅降低了計算時間,還提高了計算的準確度。
本文從四方向全變分正則項出發(fā),結合全變分圖像解模糊去噪方法,基于ADMM算法和快速傅立葉變換提出一種改進的廣義全變分圖像復原方法。充分挖掘了圖像梯度的各方向信息,通過設定合理的閾值,有效去除圖像模糊和噪聲,減弱階梯效應,較好地保留圖像的邊緣信息。同時將時域圖像差分操作變換到頻域,有效避免大矩陣相乘運算,提高算法效率。為驗證算法的合理性和有效性,將提出方法與幾種經(jīng)典算法進行比較。測試結果表明,本文方法圖像恢復效果優(yōu)于其它幾種算法,對圖像重構整體性能良好。