摘 要:【目的】在多媒體時代,人們對拍照的要求越來越高。圖像去模糊一直是一個具有挑戰(zhàn)性的問題,有著很高的研究價值?!痉椒ā筷U述模糊圖像中的運動模糊,使用約束最小二乘法和Richardson-Lucy算法來去除運動模糊,采用峰值信噪比和平均結構相似度兩類指標對去模糊圖像質(zhì)量進行分析?!窘Y果】仿真結果表明:采用約束最小二乘法去除運動模糊的數(shù)據(jù)評價值均大于Richardson-Lucy算法,約束最小二乘法在復原運動模糊方面表現(xiàn)得更加穩(wěn)定。但在模糊長度和模糊角度增大后,各類算法的性能均會受到不同程度的影響?!窘Y論】去模糊算法有待繼續(xù)研究,以提高去模糊后的圖像質(zhì)量。
關鍵詞:去運動模糊;約束最小二乘法;RL算法;峰值信噪比;結構相似度
中圖分類號:TP391" " " " " " " " " 文獻標志碼:A" " " " " " " " "文章編號:1003-5168(2023)12-0024-06
DOI:10.19968/j.cnki.hnkj.1003-5168.2023.12.005
Research on Image Motion Deblurring Simulation
LI Suping" "XU Mingkun" "QI Xinhao
(School of Electronic Engineering, Chaohu university, Chaohu 238000, China)
Abstract: [Purposes] In the multimedia era, high-quality photos are becoming more and more important to people. Image deblurring has always been a challenging problem and has high research value. [Methods] The motion blur in blurred images is described. The constrained least squares method and Richardson-Lucy algorithm are used to remove motion blur. The peak signal-to-noise ratio and average structural similarity are used to analyze the quality of deblurred images. [Findings] The simulation results show that the data evaluation value of the constrained least squares method is greater than that of the Richardson-Lucy algorithm, and the constrained least squares method is more stable in restoring motion blur. However, when the fuzzy length and fuzzy angle increase, the performance of various algorithms will be affected to varying degrees. [Conclusions] The deblurring algorithm needs to be further studied to improve the image quality after deblurring.
Keywords:image motion deblur; constraint least square algorithm; RL algorithm; peak signal-to-noise ratio; average structural similarity
0 引言
曝光是通過接受自然光在感光材料上產(chǎn)生化學作用,最終形成潛影的過程。拍攝過程中物體發(fā)生相對變化,會導致進入的光線發(fā)生改變,最終使圖像模糊。在相機曝光時,因物體發(fā)生相對運動而產(chǎn)生的模糊被稱為運動模糊。運動造成圖像退化是非常普遍的現(xiàn)象,而眾多應用領域都要用到高質(zhì)量的清晰圖像,對退化后的圖像進行復原處理具有非常重要的現(xiàn)實意義。圖像變模糊的本質(zhì)是模糊核和清晰圖像發(fā)生卷積,而圖像復原是解卷積的過程,圖像去模糊是將模糊圖像變?yōu)榍逦鷪D像的過程。
圖像去模糊可分為盲去模糊和非盲去模糊。盲去模糊是指在模糊核未知的情況下對圖像進行復原,非盲去模糊是指模糊核已知的情況下將模糊圖像復原為清晰圖像。在現(xiàn)實中,圖片模糊核一般是未知的。圖像盲復原算法的核心是確定參數(shù),在找到最優(yōu)參數(shù)后,便可估計模糊核。可用Ayers等[1]提出的算法來確定參數(shù),利用現(xiàn)有的圖像信息,在時域和頻域上進行FFT運算,運算時加入前提條件,滿足計算要求后便停止運算。該算法計算方便,能有效減少噪聲產(chǎn)生的影響,但算法性能不穩(wěn)定;Jia[2]給出新的圖像盲復原算法,對模糊核和模糊圖像進行分段平滑處理,能有效克服先前的問題;Hu等[3]提出一種暗光照條件下的圖像盲復原算法;You等[4]提出一種基于稀疏表示的圖像盲復原算法。這兩種算法在圖像復原上都取得相對理想的效果。劉迪[5]對Hu等[3]提出的算法進行改進,得到更加準確的模糊核。
圖像非盲復原算法是不可或缺的,RL反卷積復原算法是一種比較便捷的非盲復原方法[6-7],但RL算法會產(chǎn)生振鈴偽影。馬麗云[8]、趙陽[9]通過改進圖像去運動模糊算法,找出產(chǎn)生振鈴偽影的原因,使用殘留去卷積法來降低偽影效應,但不能完全去除振鈴偽影。尤其是在圖像也擁有噪聲時,會產(chǎn)生很大影響,導致去模糊效果無法令人滿意。考慮到點擴散函數(shù)及噪聲特性,提出一種具有約束的最小二乘法,在圖像復原方面具有普適性。逆濾波復原法計算快捷、使用方便,但會產(chǎn)生振鈴偽影,應用效果欠佳。李振翮等[10]對逆濾波算法進行改進,使用平滑處理法可有效減少振鈴偽影,但噪聲對其產(chǎn)生的影響很大,限制其應用范圍。對明確噪聲的圖像,維納濾波在圖像復原處理上是較為優(yōu)秀的[11]。楊艷美等[12]、李鑫垚[13]對維納濾波進行改進,利用圖像信息對圖像振鈴偽影和邊界模糊進行優(yōu)化,最終得到較為清晰的圖像,但對峰值信噪比不高的圖像,該方法的復原效果較差。
通過對不同尺度的模糊核進行仿真研究,在不同散焦半徑、模糊長度和模糊角度的條件下,對比不同算法的去模糊效果和可靠性。以結構相似度(Structural Similarity,SSIM)和峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)為指標,對去模糊后的效果進行對比。通過對圖像去模糊效果進行定性和定量比較,能實現(xiàn)對去模糊算法更加全面的評價。結構相似度的取值范圍為0~1,其值越接近于1,說明圖像的復原效果越好,復原后的圖像與原始圖像越接近。峰值信噪比的值越大,說明圖像去模糊的效果越清晰,復原后的圖像越接近原始圖像。
1 圖像去運動模糊算法
1.1 基于RL算法的圖像去模糊
RL算法是基于貝葉斯估計的迭代圖像復原算法。該算法以最大似然準則為基礎,通過假設模糊圖像服從泊松分布,用貝葉斯分析來去除圖像模糊。與其他去模糊方法相比,RL算法的魯棒性更好,復原圖像的效果更為理想。
圖像模糊過程見式(1)。
g(x,y)=f(x,y)[×] h(x,y)" (1)
式中:f(x,y)為清晰圖像在坐標點(x,y)處的亮度,也被稱為圖像在該點的灰度值;g(x,y)為模糊圖像在坐標點(x,y)處的亮度;h(x,y)為模糊核在坐標點(x,y)處的亮度。
可將式(1)式改寫為式(2)。
g=f [×] h。 (2)
式中:g為模糊圖像;f 為清晰圖像;h為模糊核。算法目標就是求解出f 。
根據(jù)貝葉斯公式和概率論定理可得式(3)。
P( f | g)=[P( g| f )P(f )]/[∑P(g)]" "(3)
當模糊圖像g已知,清晰圖像概率分布P( f | g)值最大時,圖像估計值與原始圖像最接近。由于g已知,則模糊圖像概率值P(g)對應一個常數(shù),該參量不考慮,式(3)簡化后可得式(4)。
max P( f )=max P( g| f )P( f )" (4)
式中:P( f )為原始清晰圖像的概率值。
利用最大似然估計和迭代算法可得式(5)。
隨著迭代次數(shù)n的增加,復原圖像f n(x,y) 不斷接近于原始清晰圖f (x,y) 。其中,h*為h的復共軛,h*(x,y)=h(-x,-y)。
在對模糊圖像去模糊時,每個像素要借助相鄰像素信息才能恢復,模糊圖像的邊緣像素缺少相鄰像素信息,導致恢復后的圖像邊緣退化,出現(xiàn)明暗相間的條紋。
1.2 基于約束最小二乘法的圖像去模糊
用約束最小二乘法來消除運動模糊。在多個可能存在的結果中加入約束條件,選擇出最理想的結果。使用約束最小二乘法時要考慮噪聲特性、與圖像關系及圖像點擴散函數(shù)。通常會根據(jù)噪聲特性的不同來選擇不同限定條件,從而獲取約束最小二乘算法,見式(6)。
式中:[λ]為常數(shù),即拉格朗日因數(shù);Q為矩陣??勺儞Q不同的Q來達到不同復原效果。
式中:HT是H的轉(zhuǎn)置矩陣。求解得式(9)。
式中:[γ]為參數(shù)。
如果把f和n當作隨機變量,Q為噪聲與信號的比,見式(10)。
式中:Rn、R?分別為信號和噪聲的協(xié)方差矩陣,運用矩陣傅里葉變換可得式(11)。
當γ=1時,就是最小化的維納濾波器。
2 實例仿真
模糊角度是指圖像進行模糊運動的方向,即運動模糊方向與水平方向的夾角。模糊長度是指像素點在模糊運動中移動的相對長度。根據(jù)曾志高等[14]提出的運動模糊數(shù)學理論,對模糊長度L(Pixel)分別為5 Pixel、10 Pixel、20 Pixel、100 Pixel和模糊角度 Ang(°)分別為10°、15°、30°、100°的運動模糊核,使用RL算法對圖像進行去運動模糊仿真。用約束最小二乘法來復原運動模糊圖像,模糊長度與模糊角度分別與之對應,對比分析不同條件下去運動模糊的仿真效果。
通常情況下,使用定性和定量分析法來對比分析圖像去模糊效果。首先,通過直接觀察圖像法進行對比分析。其次,對去模糊的兩種指標數(shù)據(jù)進行比較。最后,對試驗結果進行分析。原始圖像如圖1所示,不同模糊長度、不同模糊角度下的模糊圖像如圖2所示,使用本研究提出的約束最小二乘法復原的圖像如圖3所示,使用文獻[14]提出的方法復原的圖像如圖4所示。
由圖可知,在同等模糊長度和角度的條件下,用約束最小二乘法去除運動模糊后得到的圖像比RL算法去除運動模糊后得到的圖像要明顯清晰。這是因為RL算法處理的運動模糊圖像存在振鈴偽影,使圖像信息被掩埋,最終導致圖像復原效果下降,使用約束最小二乘法處理后的運動模糊圖像更容易識別。從不同模糊長度和不同模糊角度來看,無論是哪種算法,只要模糊長度和角度增大,復原效果就會變差。這是因為模糊核變大,導致圖像中的有用信息變少,使圖像恢復變得更加困難。
本研究使用的兩類指標參數(shù)對比說明見表1,去運動模糊數(shù)據(jù)評價見表2。由表2可知,不同模糊長度和模糊角度具有不同結構的相似比和峰值信噪比。在相同模糊長度和模糊角度下,不同算法的峰值信噪比和結構相似度也是不同的。
由表2中的兩組數(shù)據(jù)可知,不管在哪種模糊情況下,約束最小二乘法的數(shù)據(jù)評價值均大于RL算法。約束最小二乘法的峰值信噪比和結構相似性的下降趨勢略微緩慢。這說明約束最小二乘法在復原運動模糊上更穩(wěn)定。不管哪種算法,當模糊長度和模糊角度增大后,其峰值信噪比和結構相似性均會下降。綜上所述,使用約束最小二乘法復原的運動模糊圖像要優(yōu)于使用RL算法復原的圖像。由此可知,約束最小二乘法在去除運動模糊方面的可靠性更高,或更具有普遍性和實用性。
暗光照條件下去運動模糊效果如圖5所示,從圖中可以看出,約束最小二乘法和RL算法在恢復暗光照條件下的運動模糊圖像具有同樣的效果。橫向是暗光照條件下的清晰圖、模糊圖和復原圖,縱向是暗光照條件下不同圖像的原始圖像、模糊圖像和復原圖像。其中,復原圖像B1列是使用約束最小二乘法來復原的,復原圖像B2列是使用RL算法來復原的。
結果表明,約束最小二乘法和RL算法可用于暗光照條件下去除運動模糊,且約束最小二乘法的復原效果要優(yōu)于RL算法,這說明約束最小二乘法具有實用性和普遍性。
3 結語
本研究通過分析暗光照模糊圖像的模糊成因和類型,分析模糊圖像的模糊核估計,選取兩種具有代表性的去模糊評價方法,使用Matlab進行仿真研究,對峰值信號比和結構相似比進行分析。盡管圖像去模糊技術越來越成熟,但還有很多問題沒有解決,如實際生活中模糊核都是未知的,如何準確獲取圖像的模糊核。若能有效解決圖像中振鈴偽影現(xiàn)象和噪聲的影響,那么RL算法會得到很大提升。若能將算法的優(yōu)點集中于一種新算法上,不斷提高復原的速度和效率,那么圖像處理技術將會得到質(zhì)的提升。
參考文獻:
[1]AYERS G R,DAINTY J C.Iterative blind deconvolution method and its applications[J].Optics letters,1988(7):547.
[2]JIA J Y.Single image motion de-blurring using transparency[C]//Processing of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway.NJ United States:Inst of Ele Eng.Computer Society,2007:1-8.
[3] HU Z, SUNGHYUN C,WANG J,et al. Deblurring low-light images with light streaks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017(10):2329-2341.
[4]YOU Y L,KAVEH M.Blind image restoration by anisotropic regularization[C]//IEEE Transactions on Image Processing, 1999(8):396-407.
[5]劉迪.面向夜晚圖像的去模糊算法研究[D].保定:華北電力大學,2021.
[6]RICHARDSON W H.Bayesian-based iterative method of image restoration[J].Journal of the Optical Society of America,1972(1):55-59.
[7]LUCY L B.An iterative technique for the rectification of observed distributions[J].Astron J,1974,79:745.
[8]馬麗云.運動模糊圖像復原方法及優(yōu)化[D].臨汾:山西師范大學,2020.
[9]趙陽.運動圖像去模糊技術研究[D].西安:西安電子科技大學,2014.
[10]李振翮,武友新.具有顯著異常值的夜間模糊圖像非盲去模糊[J].南昌大學學報(工科版),2020(3):300-306.
[11]陳亮.基于局部最大梯度的單幅圖像去模糊方法研究[D].上海:華東師范大學,2020.
[12]楊艷美,高滿屯,賀劍.維納濾波圖像復原技術的研究與改進[J].科學技術與工程,2012(29):7611-7615.
[13]李鑫垚.基于顯著分量提取的圖像盲解卷積算法研究[D].保定:華北電力大學,2021.
[14]曾志高,譚駿珊.勻速直線運動模糊圖像的恢復技術研究[J].陜西理工學院學報(自然科學版),2006(2):36-38.