郭紅偉,付 波,田益民,李 娟
(1.紅河學(xué)院工學(xué)院,云南蒙自661100;2.湖北工業(yè)大學(xué)電氣與電子工程學(xué)院,湖北武漢430068;3.北京印刷學(xué)院基礎(chǔ)部,北京102600)
在圖像攝取過程中,被攝景物與成像設(shè)備之間的相對(duì)運(yùn)動(dòng)造成圖像模糊是一種很常見的退化現(xiàn)象。對(duì)運(yùn)動(dòng)模糊圖像復(fù)原技術(shù)的研究是圖像復(fù)原領(lǐng)域中重要的研究課題之一,隨著研究的不斷進(jìn)步,出現(xiàn)了一些行之有效的算法和方法。但在不同的情況下,這些方法具有不同的復(fù)原效果。因?yàn)檫@些方法是研究者假定圖像退化過程具備一定的前提條件下提出的,而實(shí)際拍攝的運(yùn)動(dòng)模糊圖像,并不一定完全具備這些方法的前提,或者是只具備其部分前提。
退化圖像的復(fù)原關(guān)鍵在于點(diǎn)擴(kuò)散函數(shù)(point spread function,PSF)的準(zhǔn)確鑒別,運(yùn)動(dòng)模糊退化的PSF由模糊方向和模糊尺度兩個(gè)參數(shù)確定。大多數(shù)針對(duì)運(yùn)動(dòng)模糊退化的研究假定退化過程為理想的勻速直線運(yùn)動(dòng),Cannon[1]利用運(yùn)動(dòng)模糊圖像在頻域空間的周期零點(diǎn)特性,提出頻域方法來估計(jì)PSF參數(shù)。隨后,針對(duì)頻域方法出現(xiàn)了許多改進(jìn)算法[2-7]。文獻(xiàn)[2]用Radon變換檢測(cè)頻譜中暗、亮條紋估計(jì)運(yùn)動(dòng)模糊方向;文獻(xiàn)[3]在文獻(xiàn)[2]基礎(chǔ)上增加對(duì)頻譜的二值化處理,提高了模糊方向估計(jì)精度;文獻(xiàn)[4]在頻域用相關(guān)系數(shù)法鑒別運(yùn)動(dòng)模糊方向和模糊尺度;文獻(xiàn)[5]分析頻譜中暗條紋位置與模糊尺度的關(guān)系,用投影法估算模糊尺度。這些算法都只適用于圖像長(zhǎng)、寬相等的情況,文獻(xiàn)[6]、[7]分析了圖像長(zhǎng)、寬不等時(shí),運(yùn)動(dòng)模糊圖像頻譜暗條紋分布的規(guī)律,適用于不同尺寸比率退化圖像的參數(shù)估計(jì);文獻(xiàn)[7]對(duì)頻普做邊緣檢測(cè)后估算運(yùn)動(dòng)模糊方向的方法提高了估計(jì)精度。近年來,還出現(xiàn)了基于退化圖像倒譜的運(yùn)動(dòng)模糊PSF估計(jì)方法[8-10],由于倒譜特征不受圖像尺寸影響,這些方法能適用于不同尺寸比率退化圖像的參數(shù)估計(jì)。文獻(xiàn)[8]通過對(duì)退化圖像的倒譜圖實(shí)施灰度變換,運(yùn)用Canny邊緣檢測(cè)提取倒譜特征估算PSF參數(shù)。文獻(xiàn)[9]、[10]利用倒譜具有左右對(duì)稱的性質(zhì),取倒譜的右半平面自動(dòng)檢測(cè)灰度極小值(為負(fù)數(shù))點(diǎn)的坐標(biāo),采取幾何運(yùn)算方式估算PSF參數(shù)。對(duì)于仿真運(yùn)動(dòng)模糊圖像的參數(shù)估計(jì),以上這些算法都取得了較好的效果。然而,實(shí)拍運(yùn)動(dòng)模糊圖像絕大多數(shù)都不是理想的勻速直線運(yùn)動(dòng)模糊,其頻譜中條紋信息很微弱,而且還出現(xiàn)了十字亮線。以上算法勻無法正確估計(jì)出實(shí)拍運(yùn)動(dòng)模糊圖像的PSF參數(shù),針對(duì)這一問題,本文提出一種適用于實(shí)拍運(yùn)動(dòng)模糊圖像參數(shù)估計(jì)和復(fù)原的方法。對(duì)大量相機(jī)實(shí)拍退化圖像的參數(shù)估計(jì)及復(fù)原,證明該方法是有效的。
線性位移不變系統(tǒng)中,圖像的退化過程描述為:
式中,“*”表示空間卷積;h(x,y)是退化系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)(PSF);f(x,y)是原始圖像;n(x,y)是加性噪聲;g(x,y)是退化圖像。對(duì)式(1)做傅里葉變換得圖像退化過程的頻域描述為:
式中,G(u,ν),H(u,ν),F(xiàn)(u,ν),N(u,ν)分別是退化圖像、PSF、原始圖像、加性噪聲的傅里葉變換。
若不考慮噪聲的影響,則退化過程表示為:
對(duì)式(3)取對(duì)數(shù)后求博里葉逆變換得退化圖像的倒譜描述為:
對(duì)于勻速直線運(yùn)動(dòng)模糊圖像來說,點(diǎn)擴(kuò)展函數(shù)可以描述為:
式中,L為模糊尺度;θ為運(yùn)動(dòng)方向與x軸正向夾角。
對(duì)勻速直線運(yùn)動(dòng)模糊圖像的傅里葉變換[7]和倒譜變換[10]分析可得:在勻速直線運(yùn)動(dòng)模糊圖像的頻譜中存在有規(guī)律的亮、暗條紋,圖像長(zhǎng)寬相等時(shí),暗條紋方向與運(yùn)動(dòng)方向垂直,且相鄰兩暗條紋間距與模糊尺度成反比;在倒譜中沿運(yùn)動(dòng)方向有一條亮帶,亮帶上兩個(gè)負(fù)峰值點(diǎn)距離剛好為模糊尺度的兩倍。很多文獻(xiàn)[1-11]就是基于以上頻譜和倒譜的特征設(shè)計(jì)和改進(jìn)算法的。圖1(b)所示是對(duì)圖1(a)Lena作模糊尺度為20像素、模糊角度為45°的仿真模糊圖像,圖1(c)~圖1(e)是其對(duì)應(yīng)的頻譜、倒譜和倒譜三維圖。為了突出倒譜特征,圖1(d)、圖1(e)是對(duì)倒譜長(zhǎng)、寬進(jìn)行剪裁,且人為降低中心點(diǎn)灰度值后的效果。
圖1(c)~圖1(e)顯示,理想勻速直線運(yùn)動(dòng)模糊圖像的頻譜和倒譜特征非常清晰。所以,針對(duì)仿真運(yùn)動(dòng)模糊圖像的PSF參數(shù)估計(jì),大部分算法都能取得較好的效果。
式中:CT是BFS的溫度系數(shù),Cε是BFS的應(yīng)變系數(shù),vB,T0,ε0是在參考溫度T0、參考應(yīng)變?chǔ)?下的初始Brillouin頻移。
用相機(jī)拍照時(shí)手的抖動(dòng)或被攝對(duì)像的移動(dòng),以及在快速移動(dòng)的飛行器上進(jìn)行拍攝等,均會(huì)獲得運(yùn)動(dòng)模糊圖像。這些方式獲取的模糊圖像一般都不是理想勻速直線運(yùn)動(dòng)模糊,其頻譜中的亮、暗條紋和倒譜中沿運(yùn)動(dòng)方向的亮帶被其他信息干擾或掩蓋。而且,實(shí)際中因相機(jī)成像空間固定,所得模糊圖像較理想模糊圖像在四周必存在一定的邊緣截?cái)?。事?shí)上,正是因?yàn)槎盖偷倪吘壗財(cái)嗥茐牧诉吘壐浇木矸e關(guān)系,使得退化過程不是一個(gè)完全卷積,最終導(dǎo)致實(shí)拍模糊圖像在頻譜和倒譜中還出現(xiàn)了十字亮線[11]。圖2所示為相機(jī)實(shí)拍的運(yùn)動(dòng)模糊圖像和其頻譜、倒譜,由于倒譜信息非常微弱,圖2(d)是進(jìn)行剪裁和降底中心點(diǎn)灰度值后的顯示效果。
圖2 實(shí)拍模糊圖像和其頻譜、倒譜
比較圖2(c)、圖2(d)與圖1(c)、圖1(d)可見,實(shí)拍運(yùn)動(dòng)模糊圖像的頻譜和倒譜并不具備仿真圖像的特征。實(shí)拍圖像頻譜中暗條紋基本無法辨識(shí),且出現(xiàn)較強(qiáng)的十字亮線;倒譜中沿運(yùn)動(dòng)方向的亮帶非常微弱,幾乎被十字亮線完全掩蓋。
實(shí)拍運(yùn)動(dòng)模糊圖像與仿真圖像對(duì)比,其頻譜和倒譜均有較大差異。因此,很多基于頻譜或倒譜的運(yùn)動(dòng)模糊方向估計(jì)算法對(duì)實(shí)拍圖像的估計(jì)效果很差,大多數(shù)情況的估計(jì)角度為0°或90°。文獻(xiàn)[12]、[13]提出在空域?qū)δ:龍D像做不同角度微分后求和,最小值對(duì)應(yīng)角度為模糊方向??沼蚍ㄟm用范圍不局限于均速直線運(yùn)動(dòng)模糊,但其估計(jì)誤差較大,特別當(dāng)模糊圖像紋理較少且存在大面積平滑區(qū)域時(shí),將出現(xiàn)估計(jì)錯(cuò)誤。文獻(xiàn)[13]對(duì)仿真模糊圖像的實(shí)驗(yàn)數(shù)據(jù)顯示平均絕對(duì)誤差在3°左右。實(shí)拍圖像倒譜中沿運(yùn)動(dòng)方向的亮帶非常微弱,但除十字亮線外,倒譜其他區(qū)域勻?yàn)楹谏?低灰度值)。本文對(duì)倒譜處理后,由倒譜特征確定運(yùn)動(dòng)模糊方向。具體步驟如下:
(1)計(jì)算退化圖像頻譜G(u,ν),取對(duì)數(shù)形式log(1+G(u,ν))。
(2)對(duì)(1)中結(jié)果求傅里葉逆變換得退化圖像的倒譜,記作Cg(p,q)。
(3)將倒譜轉(zhuǎn)換為二值圖像B(p,q)。轉(zhuǎn)換閾值設(shè)為倒譜極小值(負(fù)數(shù))的絕對(duì)值,即:
圖3(a)是圖2(d)對(duì)應(yīng)的二值圖像。
(5)過二值圖像B(p,q)中心點(diǎn)(p0,q0)(十字亮線交點(diǎn))作不同斜率直線,計(jì)算所有亮點(diǎn)到直線的距離并求和,最小值對(duì)應(yīng)直線的傾斜角為模糊方向[14]。
過點(diǎn)(p0,q0),傾斜角為α的直線方程為:
設(shè)亮點(diǎn)坐標(biāo)為(pn,qn),則亮點(diǎn)到直線的距離為:
由于α為90°時(shí),斜率不存在,編程實(shí)現(xiàn)過程中,α取90°應(yīng)單獨(dú)處理,此時(shí)的。
B(p,q)中所有亮點(diǎn)到傾斜角為α的直線距離之和為:
圖3(c)是圖3(b)中-90°~+90°傾斜角與其距離求和對(duì)應(yīng)曲線,鑒別模糊角度為13°。若要使鑒別精度達(dá)到小數(shù)點(diǎn)后一位數(shù),則可設(shè)置傾斜角變化步長(zhǎng)為0.1,減小步長(zhǎng)后鑒別得圖2(a)實(shí)拍圖像的模糊角度為12.5°。
對(duì)于實(shí)拍運(yùn)動(dòng)模糊圖像,由于頻譜中十字亮帶干擾及暗條紋信息非常微弱,很難確定暗條紋位置;倒譜中反映模糊尺度的兩負(fù)峰值點(diǎn)一般會(huì)被其他信息淹沒,無法提取其坐標(biāo)。所以,從頻譜和倒譜中均無法估計(jì)出運(yùn)動(dòng)模糊尺度。在空域中,運(yùn)動(dòng)模糊會(huì)給圖像在模糊方向帶來相關(guān)性的變化,利用這種變化可以提取出PSF的模糊尺度[15]。相機(jī)和景物的相對(duì)運(yùn)動(dòng)造成的像素疊加,使得疊加像素軌跡內(nèi)部的像素差分小于軌跡邊緣點(diǎn)與鄰近像素的差分,說明模糊軌跡內(nèi)部的像素值更加相關(guān)。沿運(yùn)動(dòng)方向差分后圖像的自相關(guān)函數(shù)是對(duì)稱圖像,有一個(gè)中心正峰和對(duì)稱分布在正峰兩邊的負(fù)峰。正峰代表沒有運(yùn)動(dòng)位移時(shí)與原始圖像最相關(guān),負(fù)峰代表圖像移動(dòng)模糊尺度個(gè)像素后與原始圖像相關(guān)性最差。估計(jì)模糊尺度的具體步驟為:
(1)以圖像g(x,y)中心為旋轉(zhuǎn)軸,將運(yùn)動(dòng)模糊方向旋轉(zhuǎn)至水平方向,得延水平方向運(yùn)動(dòng)模糊的圖像 r(x,y);
(2)在水平方向上對(duì)旋轉(zhuǎn)后的圖像做一階差分,得 r'x(x,y);
(3)對(duì)r'x(x,y)各行進(jìn)行自相關(guān)運(yùn)算,第i行的自相關(guān)函數(shù)表示為:
N和M分別為r'x(x,y)的列數(shù)和行數(shù),這里i取1至M的整數(shù),j?。?N-1)至(N-1)的整數(shù)。
(4)將c(i,j)各列求和得到一條鑒別曲線cadd(j);
(5)檢測(cè)鑒別曲線cadd(j)兩負(fù)峰值點(diǎn)距離即為模糊尺度的兩倍。
對(duì)于大尺寸圖像,為減小計(jì)算量和提高檢測(cè)結(jié)果準(zhǔn)確性,可剪切模糊圖像中模糊特征較強(qiáng)的區(qū)域來估算模糊尺度。圖4是圖2(a)對(duì)應(yīng)的鑒別曲線,檢測(cè)模糊尺度為27像素。
圖4 自相關(guān)曲線
由于對(duì)實(shí)拍運(yùn)動(dòng)模糊圖像的PSF參數(shù)估計(jì)結(jié)果沒有可參考的標(biāo)準(zhǔn)數(shù)據(jù),為驗(yàn)證本文方法的有效性,把鑒別出的PSF代入維納濾波復(fù)原算法對(duì)模糊圖像進(jìn)行復(fù)原,通過復(fù)原效果驗(yàn)證參數(shù)估計(jì)是否正確。維納濾波器尋找一個(gè)使統(tǒng)計(jì)誤差函數(shù)e2=E{(f-)2}最小的估計(jì),E是期望值操作符,f是未退化的圖像。該表達(dá)式在頻域可表示為:
式中,H(u,ν)2=H*(u,ν)H(u,ν),H*(u,ν)表示 H(u,ν)的復(fù)共軛,Sη(u,ν)/Sf(u,ν)稱為噪信功率比。而在實(shí)際應(yīng)用中噪信功率比是難以估計(jì)的,通常用一常數(shù)K代替,在數(shù)值上取觀測(cè)圖像信噪比的倒數(shù),對(duì)于無明顯噪聲干擾的實(shí)拍運(yùn)動(dòng)模糊圖像,一般K取0.01左右可獲得相對(duì)較好的復(fù)原效果。
圖5(a)、圖5(b)是對(duì)圖2(a)做維納濾波復(fù)原的結(jié)果和局部放大效果,PSF由上節(jié)估計(jì)的模糊角度12.5°和模糊尺度27像素構(gòu)造。視覺效果上看,復(fù)原后的圖像已比較清晰,局部放大圖中的馬自達(dá)標(biāo)志和云GKL517的車牌號(hào)能夠辨識(shí)。另外,還對(duì)20幅實(shí)拍運(yùn)動(dòng)模糊圖像進(jìn)行退化參數(shù)估計(jì)和維納濾波復(fù)原,復(fù)原效果均證明本文方法估計(jì)的模糊方向和模糊尺度正確。由于篇幅所限,僅提供其中的兩幅模糊圖像和復(fù)原效果如圖5(c)~圖5(f)所示。其中,圖5(c)的估計(jì)PSF參數(shù)為-63°,9像素;圖5(e)為27°,32像素。
在運(yùn)動(dòng)模糊圖像復(fù)原中,模糊方向和模糊尺度的正確估計(jì)是保證圖像復(fù)原質(zhì)量的關(guān)鍵。通過對(duì)比分析實(shí)拍運(yùn)動(dòng)模糊圖像和仿真模糊圖像的頻譜和倒譜特征,說明文獻(xiàn)中的算法雖然對(duì)仿真圖像實(shí)驗(yàn)?zāi)苋〉煤芎眯Ч贿m用于對(duì)實(shí)拍模糊圖像的參數(shù)估計(jì)。根據(jù)實(shí)拍模糊圖像的倒譜特征和空域特征,提出把倒譜進(jìn)行二值化再去除中心十字亮線后,進(jìn)行模糊方向估計(jì);以圖像中心為旋轉(zhuǎn)軸,將運(yùn)動(dòng)模糊方向旋轉(zhuǎn)至水平方向后用差分自相關(guān)法確定模糊尺度。對(duì)幾十幅實(shí)拍模糊圖像進(jìn)行PSF參數(shù)估計(jì)并把估計(jì)結(jié)果代入維納濾波器復(fù)原圖像,復(fù)原效果顯示本文方法能正確鑒別實(shí)拍運(yùn)動(dòng)模糊圖像的模糊方向和模糊尺度,有較好的實(shí)用性。實(shí)際應(yīng)用中,剪裁圖像紋理較多(模糊特征明顯)的區(qū)域用于參數(shù)估計(jì),能保證鑒別結(jié)果正確,同時(shí)減小算法計(jì)算時(shí)間。模糊尺度較大時(shí),維納濾波復(fù)原效果出現(xiàn)較強(qiáng)的振鈴效應(yīng),下一步將進(jìn)行圖像復(fù)原算法和超分辨率重建方面的研究。
[1] Cannonm.Blind deconvolution of spatially invariant image blurs with phase[J].IEEE Transactions on Acoustics,Speech,and Signal Processing(0096 -3518),1976,24(1):58-63.
[2]Deng Zefeng,Xiong Youlun. Identification of motion-blur direction based on frequency-domain algorithm[J]. Opto-Electronic Engineering, 2007, 34( 10) : 98 - 101.(in Chinese)鄧澤峰,熊有倫.基于頻域方法的運(yùn)動(dòng)模糊方向識(shí)別[J].光電工程,2007,34(10):98 -101.
[3] Li Xiuyi,Huang Jifeng. Accurate estimation of the motion blur direction based on radon transform[J]. Computer Engineering & Science, 2008, 30( 9) : 51 - 52. ( in Chinese)李秀怡,黃繼風(fēng). 基于Radon 變換的運(yùn)動(dòng)模糊方向精確估計(jì)[J]. 計(jì)算機(jī)工程與科學(xué), 2008, 30( 9) : 51 - 52.
[4] Tanaka M,Yoneji K,Okutomi M. Motion blur parameter identification from a linearly blurred image[C]. International Conference on Consumer Electronics,Piscataway,2007: 1 - 2.
[5] He Weiguo,Li Shaofa.Estimating the blurring length of uniform linear motion blurred images[J].Journal of Computer Applications,2005,25(6):1316 -1317.(in Chinese)賀衛(wèi)國(guó),黎紹發(fā).勻速直線運(yùn)動(dòng)模糊長(zhǎng)度的精確估計(jì)[J].計(jì)算機(jī)應(yīng)用,2005,25(6):1316 -1317.
[6] Li Yucheng,Jia Baohua,Yang Guong ming.Blur parameter identification and restoration ofmotion blurred image[J].Computer Engineering and design,2010,31(19):4247 -4249.(in Chinese)李宇成,賈寶華,楊光明.運(yùn)動(dòng)模糊圖像的參數(shù)估計(jì)與恢復(fù)[J].計(jì)算機(jī)工程與設(shè)計(jì),2010,31(19):4247-4249.
[7] Guo Hongwei. Accurate estimation of blurred motion direction based on edge detection of spectrum[J]. Journal of Computer Applications,2012,32 ( 3) : 770 - 772. (inChinese)
[8] Guo Yongcai,Guo Ruirui,Gao Chao.Identification of blur parameters from motion blurred images[J].Chinese Journal of Scientific Instrument,2010,31(5):1052 -1057.(in Chinese)郭永彩,郭瑞瑞,高潮.運(yùn)動(dòng)模糊圖像點(diǎn)擴(kuò)展函數(shù)的參數(shù)鑒別[J].儀器儀表學(xué)報(bào),2010,31(5):1052 -1057.
[9] ZouWenjie.A new method of blind restoration ofmotionimage based on cepstrum method and algorithm of Richardson-Lucy[J]. Journal of University of South China: Science and Technology, 2010,24( 2) : 61 - 67.(in Chinese)鄒文潔.一種新的基于倒譜法和Richardson-Lucy算法的運(yùn)動(dòng)圖像盲復(fù)原方法[J].南華大學(xué)學(xué)報(bào):自然科學(xué)版,2010,24(2):61 -67.
[10] XieWei,Qin Qianqing.Estimating blur parameters of point spread function ofmotion-blurred image based on cepstrum[J].Geomatics and Information Science of Wuhan University,2008,33(2):128 -131.(in Chinese)謝偉,秦前清.基于倒頻譜的運(yùn)動(dòng)模糊圖像PSF參數(shù)估計(jì)[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2008,33(2):128-131.
[11] Le Xiang,Cheng Jian,Limin.Improved approach tomotion blur identification based on Radon transform[J].Infrared and Laser Engineering,2011,40(5):963 -969.(in Chinese)樂翔,程建,李民.一種改進(jìn)的基于Radon變換的運(yùn)動(dòng)模糊圖像參數(shù)估計(jì)方法[J].紅外與激光工程,2011,40(5):963-969.
[12] Yitzhaky Y,Kopeika N S.Identification of blur parameters from motion blurred images[J].Computer Vision Graphic Image Processing:Graphical models and Image Processing,1997,59(5):310 -320.
[13] Chen Qianrong,Lu Qisheng,Cheng Lizhi.Identification of the motion blurred direction ofmotion blurred images[J].Journal of National University of defense Technology,2004,26(1):41 -45.(in Chinese)陳前榮,陸啟生,成禮智.運(yùn)動(dòng)模糊圖像的運(yùn)動(dòng)模糊方向鑒別[J].國(guó)防科技大學(xué)學(xué)報(bào),2004,26(1):41 -45.
[14] Guo Hongwei,Tian Yimin,F(xiàn)u Bo.Accurate detection of the motion blurred direction based on twice fourier spectrum[J].Journal of Yunnan University of Nationalities:Natural Sciences Edition,2012,21(4):301 -304.(in Chinese)郭紅偉,田益民,付波.基于二次傅里葉頻譜的運(yùn)動(dòng)模糊方向精確檢測(cè)[J].云南民族大學(xué)學(xué)報(bào):自然科學(xué)版,2012,21(4):301 -304.
[15] Guo Yongcai,Ding Xiaoping,Gao Chao. Identifying size of motion-blurred image based on difference auto-correlation method[J]. Opto-Electronic Engineering,2011,38 ( 6) : 134 - 140. ( in Chinese)郭永彩,丁小平,高潮.基于差分自相關(guān)的運(yùn)動(dòng)模糊圖像尺度參數(shù)識(shí)別[J].光電工程,2011,38(6):134-140.