王文豪，嚴(yán)云洋，姜明新，于永濤，趙文東

?

一種新的圖像去模糊清晰化方法

王文豪，嚴(yán)云洋，姜明新，于永濤，趙文東

(淮陰工學(xué)院計(jì)算機(jī)與軟件工程學(xué)院，江蘇 淮安 223003)

針對(duì)在實(shí)際環(huán)境中很難得到圖像去模糊所需要的大量先驗(yàn)知識(shí)，諸如退化模式、點(diǎn)擴(kuò)散函數(shù)等，提出了一種新的圖像去模糊清晰化方法。首先利用高斯差分算子獲得圖像輪廓信息，然后根據(jù)輪廓信息預(yù)測(cè)清晰圖像過渡區(qū)，再利用清晰圖像過渡區(qū)、退化圖像和點(diǎn)擴(kuò)散函數(shù)之間的關(guān)系建立目標(biāo)函數(shù)，為了克服噪聲的影響，在目標(biāo)函數(shù)中加入了非負(fù)性懲罰項(xiàng)和空間相關(guān)性約束項(xiàng)，并使用滯后迭代的極小化方法來求解點(diǎn)擴(kuò)散函數(shù)；最后通過已有的非盲目圖像復(fù)原算法復(fù)原圖像。實(shí)驗(yàn)結(jié)果表明，該方法無需知道圖像退化模式，對(duì)各種因素引起的退化圖像都能有效地復(fù)原。

圖像去模糊；清晰化；過渡區(qū)；點(diǎn)擴(kuò)散函數(shù)

圖像在獲取、傳輸和保存過程中，由于目標(biāo)運(yùn)動(dòng)、大氣擾動(dòng)、對(duì)焦不準(zhǔn)、散射等各種因素的影響，會(huì)導(dǎo)致圖像退化，出現(xiàn)模糊、細(xì)節(jié)丟失的情況，使得目標(biāo)無法識(shí)別[1-2]。圖像復(fù)原技術(shù)是解決此類問題非常有效的手段。圖像復(fù)原技術(shù)按照是否需要點(diǎn)擴(kuò)散函數(shù)可分為非盲目圖像復(fù)原和盲目圖像復(fù)原，非盲目圖像復(fù)原需要在點(diǎn)擴(kuò)散函數(shù)已知的情況下對(duì)圖像復(fù)原，而盲目圖像復(fù)原是在點(diǎn)擴(kuò)散函數(shù)未知的情況下直接對(duì)圖像復(fù)原。

在非盲目圖像復(fù)原方法中主要有維納濾波算法[3-4]、最大熵復(fù)原算法[5]和Richardson- Lucy(R-L)復(fù)原方法[6]，其中R-L方法應(yīng)用較廣泛，其是一種基于泊松分布的最大似然圖像復(fù)原算法，通過迭代求解原始清晰圖像，但該方法對(duì)噪聲具有放大的缺陷。針對(duì)此問題，很多學(xué)者對(duì)R-L算法進(jìn)行了改進(jìn)，李勇等[7]提出了阻尼R-L算法，通過修正似然函數(shù)，以減少噪聲的影響。YUAN等[8]提出一種基于雙邊R-L的多尺度細(xì)化方法。這些方法在實(shí)際應(yīng)用中雖然取得一定的效果，但需要事先知道點(diǎn)擴(kuò)散函數(shù)，由于引起圖像退化因素很多，且在實(shí)際環(huán)境中點(diǎn)擴(kuò)散函數(shù)往往是未知的，因而這類方法的使用受到很大限制。于是人們開始轉(zhuǎn)向盲目圖像復(fù)原[9]。AYERS和DAINTY[10]提出迭代盲目去卷積方法(iterative blind deconvolution, IBD)，該方法利用點(diǎn)擴(kuò)散函數(shù)的非負(fù)性和真實(shí)圖像估計(jì)的約束，使用快速傅立葉變換，在時(shí)域和頻域上交替迭代來還原圖像，該方法運(yùn)算時(shí)間復(fù)雜度較高，對(duì)初始值較敏感，不夠穩(wěn)定。TV復(fù)原算法引入了正則化思想，通過抑制圖像的梯度變化的總和來復(fù)原圖像[11-12]。該方法能在一定程度上保護(hù)圖像細(xì)節(jié)，主要適用于分片光滑的圖像，對(duì)于不滿足此要求的圖像，復(fù)原結(jié)果不夠好。NAS-RIF復(fù)原算法[13]將估計(jì)圖像投影到支撐域，通過計(jì)算投影圖像和估計(jì)圖像之間的誤差大小來評(píng)判點(diǎn)擴(kuò)散函數(shù)，該方法對(duì)散焦模糊的退化圖像復(fù)原較好，對(duì)運(yùn)動(dòng)模糊及其他復(fù)雜退化圖像復(fù)原不夠好。FERGUS等[14]復(fù)原算法利用圖像梯度的“拖尾分布”作為先驗(yàn)知識(shí)，并通過混合高斯模型擬合此分布，該方法對(duì)相機(jī)抖動(dòng)這類運(yùn)動(dòng)模糊圖像可以取得較好的效果，對(duì)其他類型的退化圖像復(fù)原結(jié)果較差。上述各種盲目復(fù)原方法僅對(duì)特定圖像退化模式有效，對(duì)不同退化模式的圖像需使用不同的復(fù)原方法。在實(shí)際應(yīng)用中圖像退化通常是由多種因素綜合造成的，含有多種退化模式，各種退化模式對(duì)目標(biāo)圖像的退化影響程度也是各不相同的，如果只考慮單一因素，忽略其他因素的影響，勢(shì)必會(huì)影響圖像的復(fù)原結(jié)果。

基于以上分析，本文提出了一種新的圖像去模糊清晰化方法，該方法利用模糊圖像的輪廓來預(yù)測(cè)清晰圖像過渡區(qū)，再根據(jù)清晰圖像過渡區(qū)、退化圖像和點(diǎn)擴(kuò)散函數(shù)之間的關(guān)系建立目標(biāo)函數(shù)，在目標(biāo)函數(shù)中加入了非負(fù)性約束項(xiàng)和空間相關(guān)性約束項(xiàng)以抑制噪聲的影響，最后通過已有的非盲目圖像復(fù)原算法來復(fù)原圖像。該方法優(yōu)點(diǎn)是不需要知道圖像退化模式，對(duì)任何因素造成的模糊圖像都可以復(fù)原。

1 圖像退化數(shù)學(xué)模型

圖像退化原因多種多樣，主要包括空間退化和點(diǎn)退化兩種類型?？臻g退化主要是由于電子元件的失常、圖像傳感器與目標(biāo)之間的相對(duì)運(yùn)動(dòng)、對(duì)焦不準(zhǔn)、大氣湍流等原因造成的。點(diǎn)退化通常指噪聲，產(chǎn)生于電子元件和圖像數(shù)字化過程中。圖像的退化過程如圖1所示。其中，(,)為未退化的清晰圖像；(,)為模糊核(即點(diǎn)擴(kuò)散函數(shù))；(,)為各種類型噪聲(主要包括高斯噪聲和椒鹽噪聲)；(,)為退化圖像。

圖1 圖像退化模型

用數(shù)學(xué)式描述為

2 圖像去模糊清晰化算法

退化圖像可以分成背景區(qū)、目標(biāo)區(qū)和兩者之間的過渡區(qū)(輪廓周圍區(qū)域)，背景區(qū)和目標(biāo)區(qū)比較平坦，包含的退化信息比較少，圖像退化信息主要隱藏在過渡區(qū)中。不同的退化模式，過渡區(qū)的變化是不一樣的，同一退化模式，退化越嚴(yán)重，過渡區(qū)變化也越大，清晰圖像被模糊后，其過渡區(qū)域的位置沒有發(fā)生改變[15]。因此，可以利用過渡區(qū)主要信息空間分布的變化來復(fù)原圖像?；诖吮疚奶岢隽艘环N圖像去模糊清晰化的方法，具體流程如圖2所示。首先利用高斯差分算子獲得模糊圖像輪廓信息，然后利用模糊圖像輪廓信息預(yù)測(cè)清晰圖像過渡區(qū)，再利用清晰圖像過渡區(qū)、退化圖像和點(diǎn)擴(kuò)散函數(shù)之間的關(guān)系建立目標(biāo)函數(shù)，并求解點(diǎn)擴(kuò)散函數(shù)，最后通過非盲目圖像復(fù)原算法來復(fù)原圖像。

圖2 圖像去模糊清晰化流程

2.1 模糊圖像輪廓檢測(cè)

圖像中輪廓屬于高頻區(qū)域，本文利用高斯差分算子(difference of Gaussian, DoG)檢測(cè)模糊圖像輪廓，其數(shù)學(xué)式為

其中，和是高斯濾波器方差。DoG算子與圖像做卷積運(yùn)算，結(jié)果會(huì)得到一條波峰到波谷的曲線，如圖3所示，過零點(diǎn)處為圖像的輪廓位置，利用這一特性來提取模糊圖像輪廓。為了保證過渡區(qū)信息的有效性，本文不提取所有的過渡區(qū)，只提取明顯的主要過渡區(qū)，因此，需要有一個(gè)指標(biāo)來度量過渡區(qū)。為此本文提出輪廓測(cè)度的概念，利用輪廓測(cè)度來選擇主要的過渡區(qū)。本文將輪廓測(cè)度定義為圖3中從波峰到波谷的距離p，因此可以利用p值控制輪廓強(qiáng)度，提取出所需的主要輪廓。

2.2 清晰圖像過渡區(qū)預(yù)測(cè)

圖像被模糊后，圖像輪廓的位置并沒有改變，改變的只是輪廓區(qū)域像素灰度值的空間分布。因此可以通過定位模糊圖像輪廓位置來預(yù)測(cè)清晰圖像過渡區(qū)。具體方法如下：

(1) 沿著輪廓，在輪廓垂直方向上尋找像素灰度值的上限值和下限值，將所有搜索過的區(qū)域作為模糊圖像過渡區(qū)。因?yàn)橹挥休喞浇闹凳强煽康模灾皇褂幂喞獌蓚?cè)附近區(qū)域(即過渡區(qū))作為有效區(qū)域，如圖4所示。

圖4 過渡區(qū)預(yù)測(cè)

(2) 搜索到模糊圖像過渡區(qū)域后，向此區(qū)域填充特定的值以達(dá)到預(yù)測(cè)清晰圖像過渡區(qū)的目的。具體方法如下：

①對(duì)處于輪廓上的像素用最大值和最小值的平均加權(quán)來填充，加權(quán)值依據(jù)像素所在位置到中心像素的距離來確定。

②對(duì)最大值區(qū)域用對(duì)應(yīng)的最大值填充，最小值區(qū)域用對(duì)應(yīng)的最小值填充。

③若出現(xiàn)填充不完全的現(xiàn)象，進(jìn)行插值以保證輪廓線兩側(cè)區(qū)域填充完全。

2.3 點(diǎn)擴(kuò)散函數(shù)——求解模型

由式(1)可知，在預(yù)測(cè)到清晰圖像過渡區(qū)后，根據(jù)退化圖像可以求解出點(diǎn)擴(kuò)散函數(shù)，一旦得到點(diǎn)擴(kuò)散函數(shù)，就可用現(xiàn)有的非盲目復(fù)原方法來復(fù)原圖像。因此如何從三者關(guān)系模型中求解出較準(zhǔn)確的點(diǎn)擴(kuò)散函數(shù)是關(guān)鍵。

無噪聲時(shí)，預(yù)測(cè)的清晰圖像過渡區(qū)、原退化圖像、點(diǎn)擴(kuò)散函數(shù)三者的關(guān)系可以表示為

其離散形式如下

在實(shí)際環(huán)境中，噪聲的影響是不可避免的，其對(duì)實(shí)際圖像的估計(jì)會(huì)造成很大的影響，為了削弱噪聲的影響，提高復(fù)原算法的穩(wěn)定性，可加入非負(fù)性約束條件；同時(shí)為了保證點(diǎn)擴(kuò)散函數(shù)相鄰點(diǎn)之間的光滑性，加入空間相關(guān)性約束，其目標(biāo)函數(shù)如下

采用基于松弛滯后迭代極小化方法來求解式(6)，即

根據(jù)式(12)可得到的迭代求解關(guān)系為

2.4 復(fù)原圖像

為了避免出現(xiàn)各向同性正則化得到過光滑的圖像邊緣現(xiàn)象，使用各向異性正則化方法，對(duì)大梯度使用小平滑系數(shù)，而對(duì)小梯度使用大的平滑系數(shù)。其代價(jià)函數(shù)如式(16)

將其加入對(duì)數(shù)似然函數(shù)式(15)中，即可得到帶有保邊緣正則化項(xiàng)的似然函數(shù)，即

3 實(shí)驗(yàn)與分析

為了驗(yàn)證本文提出的圖像去模糊高清晰化算法的有效性，在Intel M460 I5雙核處理器、主頻為2.53 GHz，內(nèi)存為4 GB的硬件環(huán)境進(jìn)行測(cè)試，編程軟件為VC++6.0。

圖5 同退化模式的仿真圖像

圖6 實(shí)際點(diǎn)擴(kuò)散函數(shù)(PSF)

圖7 本文方法求解得到的點(diǎn)擴(kuò)散函數(shù)(PSF)

實(shí)驗(yàn)2.仿真圖像復(fù)原實(shí)驗(yàn)及分析。圖8~10分別是運(yùn)動(dòng)模糊仿真圖像的復(fù)原、散焦模糊仿真圖像的復(fù)原和氣動(dòng)模糊仿真圖像的復(fù)原。從圖8~10可發(fā)現(xiàn)NAS-RIF復(fù)原方法對(duì)散焦模糊退化圖像復(fù)原有效果，對(duì)運(yùn)動(dòng)模糊和氣動(dòng)模糊退化圖像恢復(fù)效果較差，沒有復(fù)原出真實(shí)的圖像；TV復(fù)原方法雖然有復(fù)原效果，但不夠清晰；本文復(fù)原方法不論對(duì)那種模糊退化圖像都能夠較好地復(fù)原，且復(fù)原出的圖像輪廓比較清晰。這主要原因是本文的點(diǎn)擴(kuò)散函數(shù)求解是通過主要輪廓的邊緣區(qū)域信息獲得的，避免了圖像平坦區(qū)冗余的信息對(duì)點(diǎn)擴(kuò)散函數(shù)的求解帶來不利的影響。同時(shí)在目標(biāo)函數(shù)中融入了非負(fù)性約束和空間相關(guān)性約束，并在迭代過程中采用各項(xiàng)異性正則化方法保留圖像的邊緣，對(duì)大梯度使用小平滑系數(shù)，對(duì)小梯度使用大的平滑系數(shù)，使得恢復(fù)出來的圖像較清晰。

圖8 運(yùn)動(dòng)模糊仿真圖像的復(fù)原比較

圖9 散焦模糊仿真圖像的復(fù)原比較

圖10 氣動(dòng)模糊仿真圖像的復(fù)原比較

表1列出了本文算法和TV算法對(duì)圖8~10中的模糊圖像估算的點(diǎn)擴(kuò)散函數(shù)歸一化均方誤差，從表中可發(fā)現(xiàn)本文算法估算的點(diǎn)擴(kuò)散函數(shù)歸一化均方誤差較小。表2列出了3種算法分別對(duì)圖8~10中模糊圖像復(fù)原的PSNR值，通過比較可以發(fā)現(xiàn)本文的PSNR值最大，進(jìn)一步說明了本文算法優(yōu)越性。

實(shí)驗(yàn)3.實(shí)際圖像復(fù)原實(shí)驗(yàn)及分析。為了驗(yàn)證本文算法對(duì)實(shí)際圖像復(fù)原效果，本文進(jìn)行了大量的測(cè)試，圖11是其中的幾幅圖像，其中圖11(a)從上到下依次是運(yùn)動(dòng)模糊，大氣湍流和退化原因未知的模糊圖像。從復(fù)原結(jié)果可以看出，圖片上的字符，道路兩旁的交通護(hù)欄、路燈、樹木，鋼板圓孔等都變得較清晰，從而證明了本文提出的復(fù)原算法具有一定的通用性，可以獲得比較好的復(fù)原效果。

表1 PSF估算的歸一化均方誤差

表2 不同復(fù)原結(jié)果的PSNR比較(dB)

圖11 實(shí)際圖像復(fù)原

4 結(jié)束語

針對(duì)目前的圖像復(fù)原技術(shù)受到各種條件的限制，需要知道大量的先驗(yàn)知識(shí)，比如點(diǎn)擴(kuò)散函數(shù)、退化模式、點(diǎn)擴(kuò)散函數(shù)支持域大小等。本文在目前國(guó)內(nèi)外圖像復(fù)原技術(shù)的研究基礎(chǔ)上，提出了一種在無需知道退化模式的情況下的實(shí)際圖像去模糊清晰化方法。利用圖像過渡區(qū)包含較多退化信息，建立關(guān)于點(diǎn)擴(kuò)散函數(shù)的方程，同時(shí)，加入了非負(fù)懲罰項(xiàng)和空間相關(guān)性約束項(xiàng)以降低噪聲的影響，并給出點(diǎn)擴(kuò)散函數(shù)的迭代求解方程。最后對(duì)各種退化模式的圖像進(jìn)行了復(fù)原實(shí)驗(yàn)，并與現(xiàn)有的復(fù)原算法進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明本文復(fù)原算法具有通用型，恢復(fù)效果較好。但是本文算法仍有很多之處值得研究和改進(jìn)，即如何獲得更加準(zhǔn)確的模糊圖像輪廓，在預(yù)測(cè)清晰圖像過渡區(qū)時(shí)，如何更為有效的對(duì)細(xì)節(jié)進(jìn)行控制，排除噪聲的干擾等。

[1] 李旭超, 宋博. 改進(jìn)的正則化模型在圖像恢復(fù)中的應(yīng)用[J]. 中國(guó)圖象圖形學(xué)報(bào), 2014, 19(12): 1730-1742.

[2] 黃超, 劉傳毅, 劉偉. 基于PSF參數(shù)估計(jì)與后處理的圖像去模糊算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2016, 37(9): 2485-2489.

[3] 楊東. 模糊降質(zhì)圖像恢復(fù)技術(shù)研究進(jìn)展[J]. 計(jì)算機(jī)應(yīng)用研究, 2016, 33(10): 2881-2888.

[4] SHI J P, XU L, JIA J Y. Discriminative blur detection features [C]//Proceedings of the Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 2965-2972.

[5] 陳春濤, 黃步根, 高萬榮, 等. 最大熵圖像復(fù)原及其新進(jìn)展[J]. 光學(xué)技術(shù), 2004, 30(1): 36-43.

[6] RICHARDSON W H. Bayesian-based iterative method of image restoration [J]. Journal of the Optical Society of America, 1972, 62(1): 55-59.

[7] 李勇, 范承玉, 時(shí)東封, 等. 基于加速正則化RL算法的大氣湍流退化圖像盲復(fù)原方法[J]. 大氣與環(huán)境光學(xué)學(xué)報(bào), 2011, 6(5): 342-350.

[8] YUAN L, SUN J, LONG Q, et al. Image deblurring with blurred/noisy image pairs [J]. ACM Transactions on Graphics, 2007, 26(3): 1-10.

[9] 吳曉旭, 劉秀平, 劉宇, 等. 局部加權(quán)全變差下的盲去模糊[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2014, 26(12): 2173-2181.

[10] AYERS G R, DAINTY J C. Iterative blind deconvolution method and its applications [J]. Optics Letters, 1988, 13(7): 547-549.

[11] HE C, HU C H, ZHANG W, et al. Box-constrained total-variation image restoration with automatic parameter estimation [J]. Acta Automatica Sinica, 2014, 40(8): 1804-1811.

[12] 任福全, 邱天爽. 基于二階廣義全變差正則項(xiàng)的模糊圖像恢復(fù)算法[J]. 自動(dòng)化學(xué)報(bào), 2015, 41(6): 1166-1172.

[13] KUNDUR D, HATZINAKOS D. A novel blind deconvolution scheme for image restoration using recursive filtering [J]. IEEE Transactions on Image Process, 1998, 46(2): 375-390.

[14] FERGUS R, SINGH B, HERTZMANN A, et al. Removing camera shake from a single photograph [J]. ACM Transactions on Graphics, 2006, 25(25): 787-794.

[15] HONG H Y, LI L C, ZHANG T X, et al. Universal deblurring method for real images using transition region [J]. Optical Engineering, 2012, 51(4): 1-9.

A New Method for Image Deblurring and Clearness

WANG Wenhao, YAN Yunyang, JIANG Mingxin, YU Yongtao, ZHAO Wendong

(Faculty of Computer & Software Engineering, Huaiyin Institute of Technology, Huaian Jiangsu 223003, China)

Due to the various limitations in real restoration process, it is difficult to get the image blur mode or point spread function (PSF). A new method for image deblurring is proposed in this paper. At first, the proposed deblurring method uses the different of Gaussian operator (DoG) to detect the counters of blur image. Then the information of transition region of original image can be predicted according to the contours of blur image. Then the objective function is established according to the original image, transition region, and point spread function. In order to overcome the influence of noise, the nonnegative penalty term and space correlation penalty term with anisotropic features are added in objective function, and the PSF is solved using the minimization method of hysteresis iteration. Finally, the clear image can be gained by the existing the non-blind image restoration methods. Experimental results show that the proposed method can effectively restore the blur images caused by various factors. It does not need to know the image blur model.

image deblurring; clearness; transition region; point spread function

TP 391

10.11996/JG.j.2095-302X.2018020193

A

2095-302X(2018)02-0193-08

2017-06-20；

2017-07-18

國(guó)家自然科學(xué)基金項(xiàng)目(61403060，61603146)；江蘇省六大人才高峰項(xiàng)目(XYDXXJS-012)

王文豪(1973-)，男，江蘇淮安人，副教授，碩士。主要研究方向?yàn)閳D形圖像處理、模式識(shí)別。E-mail：wangwenhao1407@163.com