彭天奇 禹晶 肖創(chuàng)柏

圖像復(fù)原旨在對圖像降質(zhì)過程進(jìn)行建模,求解降質(zhì)模型的逆過程,從降質(zhì)圖像中恢復(fù)出原始的清晰圖像.模糊是一種常見的圖像降質(zhì)現(xiàn)象,通常由于相機(jī)的抖動(dòng)、散焦以及物體的運(yùn)動(dòng)造成.單幅圖像去模糊問題研究如何從一幅模糊圖像中恢復(fù)出原始的清晰圖像.根據(jù)模糊核是否已知,去模糊方法可分為兩類: 1)若模糊核已知,則稱為非盲復(fù)原方法;2)若模糊核未知,則稱為盲復(fù)原方法.

對于均勻模糊圖像的形成過程可以表示為如下卷積模型

其中,y表示模糊圖像,x表示清晰圖像,?表示卷積運(yùn)算,h為模糊核,n為噪聲.在卷積模型下,圖像盲復(fù)原即研究如何從模糊圖像中同時(shí)估計(jì)出模糊核h和清晰圖像x.由于將模糊過程建模為卷積的形式,因此盲復(fù)原問題也稱為盲解卷積問題.

圖像盲解卷積是一個(gè)嚴(yán)重的欠定逆問題,待求解的未知變量數(shù)目大于已知方程的數(shù)目,解不唯一.現(xiàn)有的大部分方法通過引入模糊核和圖像的先驗(yàn)知識來約束問題的解空間.

一類為基于顯著邊緣的方法,此類方法充分利用圖像中的顯著邊緣結(jié)構(gòu)對模糊核進(jìn)行估計(jì).Jia等[1]首先利用圖像邊緣進(jìn)行運(yùn)動(dòng)模糊核的估計(jì),其邊緣的選取是通過手工摳圖完成的,這一方法非常依賴摳圖的準(zhǔn)確性.Joshi等[2]直接從模糊圖像中提取出顯著邊緣,并根據(jù)提取的邊緣估計(jì)模糊核,然而,由于很難直接從大模糊圖像中提取顯著性邊緣,此方法僅對于小模糊圖像較為有效.Cho等[3]利用沖擊濾波器(Shock filter)對圖像進(jìn)行邊緣的選擇并用于模糊核估計(jì);Xu等[4]在該方法的基礎(chǔ)上驗(yàn)證了不同寬度的邊緣對于模糊核估計(jì)的影響.這種方法由于增強(qiáng)模糊圖像的邊緣,在迭代求解的過程中,為了避免出現(xiàn)邊緣過增強(qiáng)等現(xiàn)象,一般需要根據(jù)迭代次數(shù)不斷調(diào)節(jié)邊緣增強(qiáng)算法的參數(shù),因而對參數(shù)設(shè)置較為敏感.

另一類為基于最大后驗(yàn)概率(Maximum a posteriori estimation,MAP)估計(jì)或其變分模型的方法[5?18].基于MAP 估計(jì)的方法在條件概率服從某一種噪聲模型,結(jié)合清晰圖像和模糊核的先驗(yàn)概率模型的假設(shè)條件下,通過最大化后驗(yàn)概率來估計(jì)清晰圖像和模糊核,而變分模型則是在噪聲概率模型服從高斯分布的條件下,通過負(fù)對數(shù)函數(shù)將最大化后驗(yàn)概率問題轉(zhuǎn)換為最小二乘問題.早期,Chan等[5]利用全變分的方法來約束清晰圖像的梯度.Levin等[6]提出了一種超拉普拉斯先驗(yàn)建模圖像的梯度來估計(jì)模糊核.Fergus等[7]假設(shè)清晰圖像的梯度服從拖尾分布(Heavy-tailed distribution),結(jié)合高斯分布模型利用變分貝葉斯方法和期望最大化求解最大后驗(yàn)概率問題.Levin等[8]證明直接求解最大后驗(yàn)概率問題偏向獲得平凡解,即模糊圖像本身和二維狄拉克函數(shù),這是因?yàn)閳D像梯度先驗(yàn)在很多情況下偏向于模糊圖像,而不是清晰圖像.Perrone等[9]利用全變分正則化進(jìn)行模糊核的估計(jì),并且證明了投影交替最小化(Projected alternating minimization,PAM)方法可以有效避免平凡解.圖像梯度表示鄰域內(nèi)像素之間的關(guān)系,由于自然圖像包含復(fù)雜的結(jié)構(gòu),僅利用相鄰像素之間的關(guān)系很難清楚地描述這種復(fù)雜的結(jié)構(gòu),基于圖像塊的先驗(yàn)可以表示更大更復(fù)雜的圖像結(jié)構(gòu).Michaeli等[10]利用不同尺度圖像之間圖像塊的相似性作為先驗(yàn)來估計(jì)模糊核.Zhang等[11]將圖像塊的稀疏表示作為先驗(yàn)進(jìn)行模糊估計(jì),并利用K-SVD (K-singular value decomposition)算法[19]通過其他自然圖像或模糊圖像本身訓(xùn)練字典.Ren等[12]構(gòu)造了圖像亮度和梯度的低秩約束先驗(yàn)用于模糊核的估計(jì).Pan等[13]在模糊核的估計(jì)中引入了暗通道先驗(yàn),即圖像塊中不同通道的最小像素值,但是這種方法不適用于缺乏暗像素以及有噪的圖像,這是因?yàn)樵谶@種情況下,無法保證暗通道的稀疏性.在Pan等[13]方法的基礎(chǔ)上,Yan等[14]結(jié)合亮通道先驗(yàn)與暗通道先驗(yàn)作為約束項(xiàng)以提高算法的魯棒性.常振春等[15]將圖像塊的稀疏表示和非局部(Non-local)自相似模型作為先驗(yàn)進(jìn)行模糊核的估計(jì).Chen等[16]利用?1范數(shù)約束局部最大梯度值作為正則化項(xiàng)來估計(jì)模糊核.

本文將上述方法統(tǒng)稱為基于模型的方法.近些年,基于深度學(xué)習(xí)的方法[20?23]逐漸廣泛應(yīng)用于圖像去模糊領(lǐng)域.最初,此類方法主要是采用深度卷積神經(jīng)網(wǎng)絡(luò)(Convolution neural network,CNN)模型實(shí)現(xiàn)對清晰圖像的估計(jì)或者對模糊核的估計(jì).Su等[20]首先提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的視頻去模糊算法,該方法通過卷積神經(jīng)網(wǎng)絡(luò)模型端到端地學(xué)習(xí)多幀模糊圖像與清晰圖像之間的關(guān)系并用于清晰圖像的復(fù)原.Yan等[21]利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模糊核分類并利用廣義回歸神經(jīng)網(wǎng)絡(luò)(General regression neural network,GRNN)進(jìn)行模糊核參數(shù)的估計(jì).Sun等[22]設(shè)計(jì)了一種基于馬爾科夫隨機(jī)場(Markov random field,MRF)的卷積神經(jīng)網(wǎng)絡(luò)用于非均勻模糊核的估計(jì).從卷積神經(jīng)網(wǎng)絡(luò)到近期提出的生成式對抗網(wǎng)絡(luò)(Generative adversarial network,GAN)[24],基于深度學(xué)習(xí)的方法取得了更好的去模糊效果.Kupyn等[23]利用條件生成式對抗網(wǎng)絡(luò)(Conditional generative adversarial network,cGAN)進(jìn)行去模糊,使網(wǎng)絡(luò)直接輸出清晰圖像.然而,基于深度學(xué)習(xí)的方法主要有3 個(gè)方面的問題: 1) 網(wǎng)絡(luò)很難訓(xùn)練,需要大量的訓(xùn)練數(shù)據(jù),而且對參數(shù)的設(shè)置非常敏感;2)網(wǎng)絡(luò)無法保證輸出的結(jié)果符合數(shù)據(jù)保真項(xiàng),雖然在訓(xùn)練過程中可以產(chǎn)生較好的效果,但是在不同于訓(xùn)練數(shù)據(jù)特征的圖像上可能會失效;3) 對于估計(jì)不同類型的模糊核,需要用不同的模糊圖像訓(xùn)練網(wǎng)絡(luò),且很難獲取真實(shí)模糊訓(xùn)練數(shù)據(jù)集.綜上所述,基于深度學(xué)習(xí)的方法受到了一定程度的限制.

目前大部分的盲解卷積算法對噪聲較為敏感,尤其對于大模糊有噪圖像,無法準(zhǔn)確估計(jì)模糊核.本文的算法旨在構(gòu)造基于圖像塊的先驗(yàn)?zāi)Ｐ?解決大模糊有噪圖像的模糊核估計(jì)問題.本文提出了一種基于跨尺度低秩約束的單幅圖像盲解卷積算法,利用跨尺度自相似性,在降采樣圖像中搜索相似的圖像塊,構(gòu)成相似塊圖像組矩陣,通過對相似圖像塊組矩陣進(jìn)行低秩約束,迫使當(dāng)前圖像在迭代中更加清晰,使重建圖像接近清晰圖像.一方面,模糊降低了圖像的跨尺度自相似性,清晰圖像的跨尺度自相似性強(qiáng)于模糊圖像的跨尺度自相似性,因此圖像跨尺度低秩先驗(yàn)使解偏向清晰圖像而不是模糊圖像;另一方面,降采樣減弱了圖像的模糊程度,與模糊圖像相比,其降采樣圖像與清晰圖像具有更強(qiáng)的相似性,迫使模糊圖像更加接近清晰圖像.文獻(xiàn)[10]在上述兩點(diǎn)結(jié)論的基礎(chǔ)上,通過約束相似圖像塊與清晰圖像塊之間的相似性來估計(jì)模糊核,該算法與本文的算法均利用跨尺度自相似性提供的附加信息進(jìn)行模糊核估計(jì),不同之處在于該算法將圖像中的各個(gè)圖像塊與其每一個(gè)相似圖像塊進(jìn)行單獨(dú)比較,相似圖像塊之間是相互獨(dú)立的,通過最小化清晰圖像塊與相似圖像塊之間的均方誤差來約束清晰圖像塊.為了更好地利用相似圖像塊之間的相關(guān)性,本文的算法將降采樣圖像中的相似圖像塊構(gòu)造為一個(gè)相似圖像塊組,并對該組進(jìn)行整體的低秩約束,一是非局部相似圖像塊引入了附加的空間結(jié)構(gòu)信息,更有利于圖像塊空間結(jié)構(gòu)的重建,二是噪聲數(shù)據(jù)在相似圖像塊組數(shù)據(jù)中更加稀疏,更有利于從稀疏噪聲中恢復(fù)潛在的圖像數(shù)據(jù),因此,本文的算法能夠解決大尺寸模糊核的盲解卷積問題,并且避免盲解卷積過程受噪聲的干擾.

本文后續(xù)結(jié)構(gòu)組織如下: 第1 節(jié)描述本文提出的圖像跨尺度低秩先驗(yàn)?zāi)Ｐ?第2 節(jié)闡述本文提出的基于跨尺度低秩先驗(yàn)的圖像盲解卷積模型以及求解過程;第3 節(jié)通過定量和定性實(shí)驗(yàn)驗(yàn)證本文算法的有效性;第4 節(jié)分析跨尺度低秩先驗(yàn)的有效性與局限性;第5 節(jié)為全文的總結(jié).

1 圖像跨尺度低秩先驗(yàn)

跨尺度自相似性普遍存在于自然圖像中,本文從模糊圖像的降采樣圖像中搜索相似圖像塊組成相似塊組矩陣,對跨尺度相似圖像塊組矩陣進(jìn)行低秩約束.

1.1 圖像跨尺度自相似性

多尺度自相似性是指在同一場景中存在著相同尺度以及不同尺度的相似結(jié)構(gòu).這種多尺度自相似性具體表現(xiàn)為圖像中所具有的相同尺度以及不同尺度的相似圖像塊[25],即從圖像中提取一個(gè)圖像塊,可在原尺度圖像及其他尺度的圖像中找到相似的圖像塊.相機(jī)的透視投影是圖像的多尺度自相似性普遍存在的主要原因.Glasner等[26]通過大量圖像的實(shí)驗(yàn)證明了相似圖像塊普遍存在于同一場景的相同尺度以及不同尺度圖像中,由于小尺寸的圖像塊只含有少量信息,通常只包含一個(gè)邊緣、角點(diǎn)等,因此,即使人類視覺不易察覺小尺寸的相似圖像塊,但這些圖像塊普遍存在于自然圖像的多尺度圖像中.不同尺度的圖像自相似性簡稱為跨尺度自相似性.

圖1 展示了自然圖像的多尺度自相似性.圖1(a)為一幅清晰的自然圖像,對于紅色方框標(biāo)記的一個(gè)7×7 的圖像塊,在該圖像中搜索同尺度相似圖像塊,用藍(lán)色方框標(biāo)記,圖1(b)為清晰圖像中給定圖像塊及其同尺度相似圖像塊的細(xì)節(jié)放大圖.對圖1(a)進(jìn)行2 倍降采樣,如圖1(c)所示,圖中藍(lán)色方框標(biāo)記的圖像塊為在該圖像中搜索的跨尺度相似圖像塊,圖1(d)為清晰圖像中給定圖像塊及其跨尺度相似圖像塊的細(xì)節(jié)放大圖,其中,紅色方框?yàn)樵叨葓D像中給定的圖像塊.跨尺度自相似性存在于不同尺度的圖像中,而模糊圖像的模糊核會隨著圖像尺度的變化而發(fā)生尺度變換,即同一幅模糊圖像的不同尺度圖像的模糊程度不同,從而導(dǎo)致模糊圖像的跨尺度自相似性減弱,如圖2 所示.圖2(a)為圖1(a)對應(yīng)的模糊圖像,紅色方框標(biāo)記了模糊圖像中對應(yīng)的7×7 圖像塊,藍(lán)色方框標(biāo)記了該圖像中的同尺度相似圖像塊,圖2(b)為模糊圖像中給定圖像塊及其同尺度相似圖像塊的細(xì)節(jié)放大圖.同樣地,對圖2(a)進(jìn)行2 倍降采樣,如圖2(c)所示,圖中藍(lán)色方框標(biāo)記了在降采樣模糊圖像中搜索的跨尺度相似圖像塊,圖2(d)為模糊圖像中給定圖像塊及其跨尺度相似圖像塊的細(xì)節(jié)放大圖.通過觀察圖2(b)和圖2(d)可以發(fā)現(xiàn),對于模糊圖像,同尺度相似圖像塊有著較強(qiáng)的相似性,而跨尺度相似圖像塊的相似性明顯減弱.通過觀察圖1和圖2 說明了清晰圖像的跨尺度自相似性強(qiáng)于模糊圖像的跨尺度自相似性.

圖1 清晰圖像的多尺度自相似性Fig.1 Multi-scale self-similarity of the sharp image

圖2 模糊圖像的多尺度自相似性Fig.2 Multi-scale self-similarity of the blurry image

圖3 說明了降采樣模糊圖像比模糊圖像本身與清晰圖像的相似性更強(qiáng).對于圖1(b)中紅色方框標(biāo)記的清晰圖像塊,在圖3(a)所示的模糊圖像和圖3(c)所示降采樣模糊圖像中搜索其相似圖像塊并用藍(lán)色方框標(biāo)記,圖3(b)和圖3(d)分別為搜索的相似圖像塊的細(xì)節(jié)放大圖.通過比較圖3(b)和圖3(d)可以看出,由于降采樣模糊圖像的模糊程度減弱,從降采樣模糊圖像中搜索的相似塊相比從模糊圖像本身搜索的相似塊,與清晰圖像塊具有更強(qiáng)的相似性.

圖3 模糊圖像和降采樣模糊圖像分別與清晰圖像的相似性比較Fig.3 Comparison of similarities between the blurry image and the down-sampled blurry image related the sharp image

跨尺度自相似性可以為圖像盲復(fù)原提供必要的附加信息.圖4 給出了跨尺度自相似性在圖像復(fù)原應(yīng)用中的解釋,圖中左邊為清晰圖像及其降采樣圖像,右邊為模糊圖像及其降采樣圖像.參照Michaeli等[10]通過一維信號對模糊信號的降采樣信號與清晰信號相似性的證明,本文利用二維信號進(jìn)行簡要證明,記二維坐標(biāo)為ξ和η.由于跨尺度自相似性普遍存在于自然場景中,在圖中左邊,假設(shè)p1(ξ,η)、p2(ξ,η)為同一場景中不同尺寸的相似結(jié)構(gòu),忽略采樣問題的影響,p2(ξ,η) 的尺寸為p1(ξ,η)的a倍,可表示為的降采樣版本,即

圖4 跨尺度自相似性用于圖像盲復(fù)原的解釋Fig.4 Interpretation of cross-scale self-similarity for blind image restoration

其中,h(ξ,η) 為模糊核.(ξ,η)為p4(ξ,η) 的降采樣版本,由式(4)可得

(ξ,η)與p3(ξ,η) 具有相同的尺寸.根據(jù)式(5),(ξ,η)可認(rèn)為是由清晰結(jié)構(gòu)p1(ξ,η)與模糊核h(aξ,aη) 卷積的結(jié)果,由于h(aξ,aη) 的尺寸是h(ξ,η)的 1 /a倍,因此,相比于h(ξ,η),h(aξ,aη) 對圖像造成的模糊程度更小.

1.2 跨尺度低秩先驗(yàn)?zāi)Ｐ?/h3>

設(shè)清晰圖像x∈RN的降采樣圖像表示為xa∈1后面的內(nèi)容涉及到范數(shù)的表示和導(dǎo)數(shù)計(jì)算,為了方便表達(dá),需要將公式寫為矩陣向量的形式,因此,對于空域卷積,本文近似使用列向量的形式表示.,其中 N 為清晰圖像的像素?cái)?shù),a 為降采樣因子.從清晰圖像x及其降采樣圖像xa中抽取的圖像塊分別表示為Qjx和Rixa,其中Qj∈Rn×N和為抽取矩陣,分別用于從清晰圖像及其降采樣圖像中抽取第j個(gè)和第i個(gè)圖像塊,抽取的圖像塊尺寸為n.對于圖像中的任意圖像塊Qjx,在降采樣圖像xa中搜索其相似圖像塊Rixa.由于圖像的不同尺度間廣泛存在著跨尺度相似圖像塊,即對于Qjx,可以在降采樣圖像xa中尋找多個(gè)與其相似的圖像塊.設(shè)在xa中搜索m ?1 個(gè)與Qjx最相似的圖像塊,并按列表示為,i=1,···,m ?1,Qjx與這些在降采樣圖像中的相似圖像塊聚合構(gòu)成一個(gè)跨尺度相似圖像塊組Pj,可表示為

其中,n為圖像塊的尺寸,m為圖像塊的個(gè)數(shù).

本文提出了一種基于跨尺度自相似性的低秩先驗(yàn)?zāi)Ｐ?利用低秩矩陣估計(jì)(Low rank matrix approximation,LRMA)對跨尺度相似圖像塊組矩陣進(jìn)行低秩約束,該先驗(yàn)?zāi)Ｐ腿缦滤?/p>

式中,Pj表示圖像塊Qjx與其在降采樣圖像中搜索的相似圖像塊構(gòu)成的組矩陣,Lj表示觀測矩陣Pj中潛在的低秩結(jié)構(gòu),∥·∥F表示矩陣Frobenius范數(shù),r ank(·)為秩函數(shù),t為限制矩陣秩的常數(shù).跨尺度低秩先驗(yàn)?zāi)Ｐ偷挠行泽w現(xiàn)在如下兩點(diǎn): 1)由于模糊的作用,清晰圖像的跨尺度自相似性強(qiáng)于模糊圖像的跨尺度自相似性,此先驗(yàn)使目標(biāo)函數(shù)的解偏向于清晰圖像而不是模糊圖像;2)由于降采樣降低了圖像的模糊程度,從降采樣模糊圖像中找到的相似塊比模糊圖像中找到的相似塊,與清晰圖像具有更強(qiáng)的相似性,所以利用從降采樣模糊圖像中搜索的相似塊構(gòu)成相似圖像塊組,通過對相似圖像塊組的低秩約束迫使重建圖像更加接近清晰圖像.此外,低秩結(jié)構(gòu)更好地表示了數(shù)據(jù)的全局結(jié)構(gòu),提高了對噪聲的魯棒性.

盡管圖像跨尺度自相似性廣泛存在,然而,并不是所有的圖像塊都能為圖像復(fù)原提供有效的附加信息.顯著邊緣的圖像塊對模糊核的估計(jì)起著關(guān)鍵的作用,而灰度平坦的圖像塊對模糊核估計(jì)幾乎不起作用,例如若某一圖像區(qū)域的像素值為常數(shù),則該區(qū)域經(jīng)過模糊后的像素值仍為同一常數(shù),在該區(qū)域清晰圖像與模糊圖像完全相同,因此這一區(qū)域并不能為模糊核的估計(jì)提供有效的信息.本文將灰度值變化較小的圖像塊稱為平坦塊,灰度值變化較大的圖像塊稱為細(xì)節(jié)塊,在跨尺度低秩先驗(yàn)?zāi)Ｐ椭?僅將細(xì)節(jié)塊用于模糊核的估計(jì).本文考慮了兩種篩選圖像中細(xì)節(jié)塊的方案: 1)計(jì)算圖像塊的方差,方差較大的圖像塊說明圖像塊中灰度變化較為劇烈;2)計(jì)算像素的梯度,較大的梯度表明鄰域內(nèi)像素灰度變化明顯,即對應(yīng)顯著邊緣的區(qū)域.前者需要對圖像中的每一個(gè)圖像塊計(jì)算方差,計(jì)算量大;后者可以利用模板卷積的邊緣檢測實(shí)現(xiàn),速度快,且通常圖像塊的尺寸很小,圖像塊的灰度變化基本上等效于鄰域內(nèi)的灰度變化.因此,本文利用圖像邊緣檢測確定細(xì)節(jié)塊.

由于相似圖像塊經(jīng)常出現(xiàn)在鄰近區(qū)域,因而在降采樣圖像中一定尺寸的搜索窗口內(nèi)通過圖像塊匹配搜索相似圖像塊.圖像塊相似性的判據(jù)有多種度量準(zhǔn)則,如歐氏距離、相關(guān)系數(shù)等,本文采用歐氏距離作為圖像塊相似性的度量依據(jù).對于不同程度的細(xì)節(jié)塊,所搜索相似圖像塊的個(gè)數(shù)不同,即對于不同細(xì)節(jié)塊,其相似圖像塊組矩陣的列數(shù)不同.本文采用一種自適應(yīng)方法[26]確定圖像塊相似性判斷的閾值,對原始圖像x進(jìn)行插值移位,生成具有 1 /2 亞像素位移的圖像,對于每一個(gè)輸入圖像塊Qjx,在x?中找到對應(yīng)位置的圖像塊Qj,閾值δd的計(jì)算式為

其中,γ為控制系數(shù).選取歐氏距離小于δd的圖像塊作為原圖像塊的相似塊.由式(8)可知,圖像塊灰度變化越劇烈,閾值δd越大;反之,圖像塊灰度變化越平緩,閾值δd則越小.與此同時(shí),設(shè)置相似塊搜索個(gè)數(shù)的下限 ?l和上限 ?h,即相似塊個(gè)數(shù)滿足?l ≤m ≤?h.如果搜索到的相似塊個(gè)數(shù)小于 ?l,則不采用此圖像塊;如果搜索到的相似塊個(gè)數(shù)大于?h,那么僅選取前 ?h個(gè)相似圖像塊.

2 基于跨尺度低秩約束的盲解卷積算法

在上一節(jié)提出的跨尺度低秩先驗(yàn)?zāi)Ｐ偷幕A(chǔ)上,本節(jié)給出了本文圖像盲解卷積算法的數(shù)學(xué)模型及求解過程.

2.1 圖像盲解卷積算法數(shù)學(xué)模型

本文結(jié)合跨尺度自相似性與低秩矩陣估計(jì),將式(7)中的圖像跨尺度低秩先驗(yàn)作為正則化約束,提出的單幅圖像盲解卷積算法可表示為如下約束最優(yōu)化問題:

其中,y為模糊圖像,x為清晰圖像,h為模糊核,?={?x,?y}為圖像的梯度算子,?x和?y分別表示x方向和y方向的一階差分算子,?表示卷積操作,∥·∥2表示?2范數(shù),M為二值標(biāo)記矩陣,用于標(biāo)記細(xì)節(jié)塊的位置,|M|為M中非零元素的個(gè)數(shù),λg,λs,λh為正則化參數(shù).式(9)中第1 項(xiàng)為數(shù)據(jù)保真項(xiàng),保證復(fù)原結(jié)果符合圖像的降質(zhì)模型;第2項(xiàng)為跨尺度低秩約束正則項(xiàng),迫使重建圖像的邊緣接近清晰圖像的邊緣,j∈M表示將跨尺度低秩先驗(yàn)僅限制在標(biāo)記矩陣M中值為1 的細(xì)節(jié)塊;第3項(xiàng)為梯度約束項(xiàng),采用?2范數(shù)對圖像梯度進(jìn)行約束,能夠減小基于圖像塊先驗(yàn)引入的邊緣 “棱角”效應(yīng),保持圖像邊緣的平滑性;第4 項(xiàng)為模糊核的正則化約束項(xiàng),保證了模糊核的稀疏性.

2.2 數(shù)學(xué)模型求解

由于式(9)是非凸的,沒有閉合解,本文采取交替迭代求解的方法對式(9)所示的最優(yōu)化問題進(jìn)行求解,即先固定對清晰圖像的估計(jì)求解模糊核,再固定模糊核更新對清晰圖像的估計(jì)每一次迭代,更新標(biāo)記矩陣M,通過對圖像塊進(jìn)行篩選,從而排除平坦塊對模糊核估計(jì)的干擾.

1)篩選圖像塊

對清晰圖像的當(dāng)前估計(jì)結(jié)果進(jìn)行邊緣估計(jì),邊緣像素對應(yīng)的圖像塊即為細(xì)節(jié)塊,參與模糊核的估計(jì).引入二值標(biāo)記矩陣M,若M中對應(yīng)的圖像塊為細(xì)節(jié)塊,則該位置的元素值為1,否則該位置的元素值為0.本文利用Sun等[27]的邊緣檢測算法確定當(dāng)前圖像估計(jì)中的邊緣像素,該算法對于每一個(gè)像素,利用方向算子選取8 個(gè)方向模板中的最大響應(yīng)幅度作為該像素的邊緣強(qiáng)度.

由于本文僅將跨尺度低秩正則化約束限制在圖像的細(xì)節(jié)塊,導(dǎo)致當(dāng)前估計(jì)的圖像中平坦塊受到的約束較少,從而可能導(dǎo)致復(fù)原圖像的平滑區(qū)域含有較多的噪聲,為了減小噪聲對邊緣估計(jì)造成的干擾,本文首先對當(dāng)前估計(jì)的圖像進(jìn)行高斯濾波,然后對濾波后的圖像進(jìn)行邊緣估計(jì).

2)估計(jì)模糊核

式中,⊙為哈達(dá)瑪積 (Hadamard product).在估計(jì)模糊核時(shí),僅利用圖像中的細(xì)節(jié)塊,避免了平坦塊對模糊核估計(jì)的影響,有利于準(zhǔn)確地估計(jì)模糊核.式(10) 為關(guān)于h的二次函數(shù),因此存在閉合解,令式(10)對h的導(dǎo)數(shù)為零,可得

其中,?表示相關(guān)運(yùn)算.根據(jù)卷積定理可知,空域中圖像的卷積等效于頻域中傅里葉變換的乘積,本文將式(11)轉(zhuǎn)換到頻域求解:

由式(12)可得h的閉合解如式(13)所示

式中,表示將重建圖像塊Qj根據(jù)抽取的位置放回圖像中對應(yīng)位置,從而獲得重建圖像zk.一方面,清晰圖像的跨尺度自相似性強(qiáng)于模糊圖像的跨尺度自相似性,通過跨尺度自相似性組成相似圖像塊組,使得目標(biāo)函數(shù)的解偏向清晰圖像;另一方面,由于降采樣模糊圖像中圖像塊的邊緣更加清晰,與清晰圖像具有更強(qiáng)的相似性,通過約束相似圖像塊組的矩陣秩,迫使當(dāng)前圖像估計(jì)的邊緣更接近清晰圖像的邊緣.

2.3 本文算法整體流程

本文算法的整體流程包括模糊核估計(jì)和清晰圖像估計(jì)兩個(gè)階段,如圖5 所示.第1 階段中通過對式(9)的交替求解來對模糊核進(jìn)行估計(jì).首先初始化清晰圖像,對當(dāng)前估計(jì)的清晰圖像進(jìn)行細(xì)節(jié)塊篩選構(gòu)造標(biāo)記矩陣,在標(biāo)記矩陣的指導(dǎo)下更新模糊核,然后通過跨尺度低秩約束正則項(xiàng)重建圖像,重建圖像可視為下一次迭代更新估計(jì)清晰圖像的參考圖像.通過對相似圖像塊組進(jìn)行整體的低秩約束,迫使重建圖像的邊緣更加清晰,用模糊程度更小的重建圖像作為參考圖像,可使下一次迭代得到更清晰的圖像.通過式(9)交替求解出的清晰圖像僅是清晰圖像的中間結(jié)果,進(jìn)一步利用非盲解卷積方法最終可得對清晰圖像的估計(jì).第2 階段在第1 階段估計(jì)的模糊核的基礎(chǔ)上,選擇合適的非盲卷積方法從模糊圖像中恢復(fù)出清晰圖像,例如Richardson-Lucy 算法及其變形[29?32]、EPLL (Expected patch log likelihood)算法[33]、全變分正則化方法[4,34]、稀疏非盲解卷積方法[8]和雙邊濾波殘差消除法[13]等.

圖5 本文算法流程Fig.5 The pipeline of our method

為了加速算法的收斂和處理大尺寸模糊,與目前大部分算法相同,本文通過構(gòu)建圖像金字塔模型由粗到細(xì)地估計(jì)模糊核.在金字塔的每一層求解式(9)所示的目標(biāo)函數(shù),在跨尺度相似圖像塊搜索的實(shí)際實(shí)現(xiàn)時(shí),直接在上一層估計(jì)的清晰圖像中搜索相似圖像塊構(gòu)造相似圖像塊組.本文將當(dāng)前層對清晰圖像估計(jì)的插值圖像作為下一層金字塔估計(jì)的初始清晰圖像,則下一層金字塔中對清晰圖像的初始估計(jì)更接近真實(shí)的清晰圖像,從而加快了模糊核的估計(jì)過程并且提高了估計(jì)結(jié)果的準(zhǔn)確性.

算法1 總結(jié)了基于跨尺度低秩約束的圖像盲解卷積算法的偽代碼,根據(jù)輸入的模糊圖像y,構(gòu)建K層的圖像金字塔,若當(dāng)前層為金字塔的第1 層(l=1),則將模糊圖像y作為清晰圖像初始估計(jì)設(shè)置=y,否則將上一層 (l ?1) 金字塔估計(jì)的清晰圖像的插值結(jié)果作為當(dāng)前層 (l) 清晰圖像的初始估計(jì)在每一層 (l) 中,利用交替迭代求解式(9)估計(jì)出模糊核和清晰圖像,這里上標(biāo)表示圖像金字塔的層數(shù),下標(biāo)表示在每一層金字塔上迭代的次數(shù),直到迭代收斂或者達(dá)到預(yù)設(shè)的最大迭代次數(shù).

算法1 的時(shí)間復(fù)雜度主要由內(nèi)循環(huán)的4 個(gè)步驟決定.步驟1 中采用邊緣檢測篩選細(xì)節(jié)塊,這種方法通過空域卷積實(shí)現(xiàn),空域卷積的時(shí)間復(fù)雜度為O(Ns),其中,N為圖像的尺寸,s為卷積核的尺寸.空域?yàn)V波的卷積核通常很小,因此,卷積操作的時(shí)間復(fù)雜度可近似記為 O (N).步驟2 直接在頻域中計(jì)算模糊核的閉合解,其中,傅里葉變換的時(shí)間復(fù)雜度為 O (NlogN),逐元素操作的時(shí)間復(fù)雜度為O(N),因此,步驟2 的時(shí)間復(fù)雜度可以記為 O (NlogN).步驟3 中,對于所有細(xì)節(jié)塊在搜索窗口內(nèi)計(jì)算圖像中塊匹配誤差的時(shí)間復(fù)雜度為 O (Ntwn);查找搜索窗口內(nèi)m個(gè)最相似圖像塊的時(shí)間復(fù)雜度為O(Ntwlogw);完全奇異值分解的時(shí)間復(fù)雜度為O(Nt×min(mn2,m2n)),其中,Nt為標(biāo)記矩陣M中對應(yīng)的細(xì)節(jié)塊數(shù)目1根據(jù)統(tǒng)計(jì),細(xì)節(jié)塊約占圖像塊總數(shù)的10%.,w為搜索窗口的尺寸,n為圖像塊的尺寸,m為選取的相似圖像塊數(shù)目.由于奇異值分解的運(yùn)行時(shí)間遠(yuǎn)小于塊匹配誤差計(jì)算和排序兩部分的運(yùn)行時(shí)間之和,因此,步驟3 的時(shí)間復(fù)雜度可以記為O(Ntw(n+logw)).步驟4 中BICG 算法的時(shí)間復(fù)雜度為 O (ζ+N)[35],加上傅里葉變換的運(yùn)行時(shí)間,總的時(shí)間復(fù)雜度可記為 O (ζ+NlogN),其中,ζ為系數(shù)矩陣的非零項(xiàng)個(gè)數(shù).

算法1.基于跨尺度低秩約束的圖像盲解卷積算法

從上述時(shí)間復(fù)雜度的分析可以看出,步驟1和2 的時(shí)間復(fù)雜度均不超過 O (NlogN),步驟4 中系數(shù)矩陣是稀疏的,時(shí)間復(fù)雜度可近似為線性對數(shù)階,而步驟3 為立方階時(shí)間復(fù)雜度.于是,本文的算法如同一般使用相似圖像塊搜索的算法,例如經(jīng)典的BM3D 算法[36],主要耗時(shí)在相似圖像塊的遍歷搜索上.目前快速相似圖像塊搜索算法的研究不多,未來快速算法的普遍研究將會為以相似圖像塊搜索為基礎(chǔ)的算法提供速度上升的空間.

3 實(shí)驗(yàn)結(jié)果與分析

本文設(shè)置圖像塊尺寸為n=5×5,奇異值閾值β為0.2,相似圖像塊個(gè)數(shù)的上限 ?h為19,下限?l為5,搜索窗口的尺寸為w=25×25.由于大多數(shù)真實(shí)圖像的模糊核尺寸小于 5 1×51,參照Sun等[27]和Michaeli等[10]的方式,若無特殊說明,本文設(shè)置模糊核的尺寸為s=51×51.降采樣因子a越大,降采樣模糊圖像中的圖像塊越清晰,但同時(shí)不同尺度圖像之間的相似圖像塊的個(gè)數(shù)越少[26],因此需要綜合考慮設(shè)置降采樣因子的取值,本文參照Michaeli等[10]將金字塔之間的縮放因子設(shè)置為 4 /3,圖像金字塔不同層對應(yīng)的模糊核尺寸不同,在構(gòu)建金字塔模型時(shí),若當(dāng)前層對應(yīng)的模糊核尺寸小于 3×3,則停止降采樣的過程.

3.1 Kohler 數(shù)據(jù)集上的實(shí)驗(yàn)

本文在Kohler等[37]公開的數(shù)據(jù)集上驗(yàn)證算法的有效性,此數(shù)據(jù)集包括4 幅圖像,有12種模糊核(后5 個(gè)為大尺寸模糊核),共產(chǎn)生48 幅模糊圖像.該數(shù)據(jù)集是由相機(jī)記錄的六維自由度運(yùn)動(dòng)軌跡合成的非均勻模糊數(shù)據(jù)集.在Kohler 數(shù)據(jù)集實(shí)驗(yàn)中,將本文的算法與Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]提出的算法進(jìn)行比較,本文算法的正則化參數(shù)設(shè)置為λs=0.0008,λg=0.002,λh=0.0003N.該數(shù)據(jù)集中的模糊圖像是由真實(shí)記錄的三維空間運(yùn)動(dòng)軌跡而合成的,屬于非均勻模糊,上述算法均利用線性卷積模型對非均勻模糊進(jìn)行近似建模.為了公平比較,本文的算法也根據(jù)模糊程度的不同,將初始模糊核尺寸設(shè)置為 2 1×21 到 1 51×151 不等.Pan等[13]、Yan等[14]、常振春等[15]和Chen等[16]的結(jié)果均是由作者本人提供.通過比較每一幅圖像的去模糊結(jié)果與沿著相機(jī)運(yùn)動(dòng)軌跡捕獲的199 個(gè)未模糊圖像的峰值信噪比(Peak signal-to-noise ratio,PSNR),將最大的PSNR 作為定量評估的指標(biāo).復(fù)原圖像與真值圖像之間的PSNR 越大,表明復(fù)原圖像與真值圖像越接近.

圖6 比較了各個(gè)算法在Kohler 數(shù)據(jù)集上PSNR的均值及標(biāo)準(zhǔn)差.從圖中可以看出,本文的算法在四幅圖像上的平均PSNR 均高于常振春等[15]的去模糊結(jié)果;在后兩幅圖像上的平均PSNR 高于Pan等[13]的結(jié)果,在第四幅圖像上的平均PSNR 高于Yan等[14]和Chen等[16]的結(jié)果.該數(shù)據(jù)集中的前3 幅圖像含有足夠多的暗像素,符合Pan等[13]所提出的暗通道先驗(yàn),本文的算法在Kohler 數(shù)據(jù)集上達(dá)到了與Pan等[13]方法相當(dāng)?shù)慕Y(jié)果.該方法對于缺乏暗像素的情況會失效,Yan等[14]提出了亮通道先驗(yàn),并結(jié)合暗通道先驗(yàn)共同建模圖像先驗(yàn),提高了PSNR.盡管Yan等[14]和Chen等[16]方法在Kohler數(shù)據(jù)集上獲得了更高的PSNR,然而他們的方法恢復(fù)細(xì)節(jié)的能力仍有限.由于該數(shù)據(jù)集是對印刷照片進(jìn)行成像,圖像較為平滑,并不能很好地用于評價(jià)算法對細(xì)節(jié)的恢復(fù)能力.此外,從圖中的垂直誤差條可見,本文算法在各幅圖像上均取得最小的標(biāo)準(zhǔn)差,說明本文算法具有更好的魯棒性.

圖6 Kohler 數(shù)據(jù)集PSNR 的平均值與標(biāo)準(zhǔn)差Fig.6 Mean and standard deviation of PSNR on Kohler dataset

圖7和圖8 給出各個(gè)算法在Kohler 數(shù)據(jù)集中兩幅圖像上的復(fù)原結(jié)果,圖像中左上角為各算法估計(jì)出的模糊核.對于圖7(a) 所示的小模糊圖像,圖7(b)～7(f)分別為Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]以及本文算法的去模糊結(jié)果,圖像的下方為局部區(qū)域的細(xì)節(jié)放大圖.圖7(b)～7(f)與真值圖像之間的PSNR 依次為 2 9.31 ,2 9.74 ,2 8.95,29.54和31.53.從細(xì)節(jié)放大圖中可以看出,常振春等[15]的復(fù)原結(jié)果中產(chǎn)生了一定程度的噪聲,Pan等[13]、Yan等[14]和Chen等[16]的方法在某些區(qū)域缺乏對細(xì)節(jié)的恢復(fù),本文的算法能夠更好地恢復(fù)圖像的細(xì)節(jié).大尺寸模糊核更難估計(jì),對于圖8(a)所示的大模糊圖像,圖8(b)～8(f)分別為Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]以及本文算法的去模糊結(jié)果,它們與真值圖像的PSNR 依次為22.30,22.32,22.94,22.37和27.51.根據(jù)去模糊圖像和真值圖像之間的PSNR,本文算法在這兩幅圖像上估計(jì)出更準(zhǔn)確的模糊核,復(fù)原圖像更接近真值圖像;根據(jù)視覺效果,本文算法能夠恢復(fù)出更多的細(xì)節(jié)且失真更小.

圖7 各個(gè)算法對Kohler 數(shù)據(jù)集中一幅小模糊圖像復(fù)原結(jié)果的比較Fig.7 Comparison of the results deblurred by some state-of-the-art methods on a weakly blurred image from Kohler dataset

圖8 各個(gè)算法對Kohler 數(shù)據(jù)集中一幅大模糊圖像復(fù)原結(jié)果的比較Fig.8 Comparison of the results deblurred by some state-of-the-art methods on a severely blurred image from Kohler dataset

3.2 加噪Kohler 數(shù)據(jù)集上的實(shí)驗(yàn)

本文的算法沒有對噪聲進(jìn)行特殊處理,利用低秩模型對跨尺度相似圖像塊組進(jìn)行整體約束,使得算法具有一定的抗噪能力.本文在Kohler 數(shù)據(jù)集中加入了標(biāo)準(zhǔn)差為0.01 的高斯噪聲模擬模糊有噪圖像.在加噪Kohler 數(shù)據(jù)集實(shí)驗(yàn)中,將本文的算法與Pan等[13]、Yan等[14]、常振春等[15]和Chen等[16]的算法進(jìn)行比較,本文的算法將正則化參數(shù)設(shè)置為λs=0.0008 ,λg=0.002,λh=0.0003N.Pan等[13]、Yan等[14]、常振春等[15]和Chen等[16]的結(jié)果均由作者提供的程序運(yùn)行得到.圖9 給出了各算法在加噪Kohler 數(shù)據(jù)集上PSNR 的均值及標(biāo)準(zhǔn)差,由圖中可見,與Pan等[13]、Yan等[14]、常振春等[15]和Chen等[16]算法相比,本文算法在各幅圖像中均取得了最高的平均PSNR 及最小的標(biāo)準(zhǔn)差,充分說明本文算法對噪聲具有很好的魯棒性.

圖9 加噪Kohler 數(shù)據(jù)集PSNR 的平均值與標(biāo)準(zhǔn)差Fig.9 Mean and standard deviation of PSNR on noisy Kohler dataset

圖10和圖11 比較了各個(gè)算法在加噪Kohler數(shù)據(jù)集中兩幅圖像上的復(fù)原結(jié)果.對于圖(a)所示的模糊有噪圖像,圖(b)～(f)分別為各個(gè)算法的去模糊結(jié)果.計(jì)算去模糊圖像與真值圖像之間的PSNR,在圖10 中Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]以及本文算法PSNR 依次為 1 9.95,17.11,2 1.60,16.38和2 6.85,在圖11 中PSNR 依次為 2 4.72 ,24.80,27.51,2 4.79和2 8.23.由圖10 可見,由于噪聲的干擾,Pan等[13]、Yan等[14]、常振春等[15]和Chen等[16]算法都無法準(zhǔn)確地估計(jì)出模糊核,進(jìn)而無法復(fù)原出清晰的結(jié)果,本文算法能夠準(zhǔn)確地復(fù)原出圖像的邊緣和細(xì)節(jié),獲得清晰的復(fù)原圖像.本文算法在這兩幅圖像上均取得了最高的PSNR 均值,表明更接近真值圖像,并且展現(xiàn)了更好的視覺效果.

圖10 各個(gè)算法對加噪Kohler 數(shù)據(jù)集中一幅圖像復(fù)原結(jié)果的比較Fig.10 Comparison of the results deblurred by some state-of-the-art methods on a blurred-noisy image from noisy Kohler dataset

圖11 各個(gè)算法對加噪Kohler 數(shù)據(jù)集中另一幅圖像復(fù)原結(jié)果的比較Fig.11 Comparison of the results deblurred by some state-of-the-art methods on another blurred-noisy image from noisy Kohler dataset

3.3 真實(shí)模糊圖像實(shí)驗(yàn)

在真實(shí)模糊圖像實(shí)驗(yàn)中,將本文的算法與Michaeli等[10]、Perrone等[9]、常振春等[15]、Pan等[13]、Yan等[14]和Chen等[16]的算法進(jìn)行比較,本文算法的正則化參數(shù)設(shè)置為λs=0.004,λg=0.006,λh=0.003N.Michaeli等[10]、Pan等[13]、Yan等[14]、Chen等[16]的結(jié)果均是由作者提供的程序運(yùn)行得到,Perrone等[9]、常振春等[15]的復(fù)原結(jié)果由作者直接提供.真實(shí)模糊圖像一般為非均勻模糊,上述算法均利用線性卷積模型對非均勻模糊進(jìn)行近似建模.

圖12和圖13 比較了各個(gè)算法在兩幅真實(shí)模糊圖像上的復(fù)原結(jié)果,對于圖(a)所示真實(shí)模糊圖像,圖(b)～(h)為各個(gè)算法的復(fù)原結(jié)果,圖像左上角為估計(jì)的模糊核,圖像下方為圖像中局部區(qū)域的細(xì)節(jié)圖.從這些細(xì)節(jié)區(qū)域以及整體復(fù)原結(jié)果可以看出本文的算法在有效減少振鈴效應(yīng)的同時(shí),能夠很好地恢復(fù)出圖像的細(xì)節(jié),使邊緣更加清晰.

圖12 各個(gè)算法對一幅真實(shí)模糊圖像復(fù)原結(jié)果的比較Fig.12 Visual comparisons with some state-of-the-art methods on one real-world photo

圖13 各個(gè)算法對另一幅真實(shí)模糊圖像復(fù)原結(jié)果的比較Fig.13 Visual comparisons with some state-of-the-art methods on another real-world photo

3.4 真實(shí)模糊有噪圖像實(shí)驗(yàn)

在真實(shí)模糊有噪圖像實(shí)驗(yàn)中,將本文的算法與Michaeli等[10]、Perrone等[9]、Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]的算法進(jìn)行比較,本文算法的正則化參數(shù)設(shè)置為λs=0.004,λg=0.006,λh=0.003N.Michaeli等[10]、Perrone等[9]、Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]的結(jié)果均是由作者提供的程序運(yùn)行得到.

圖14和圖15 比較了各個(gè)算法在兩幅真實(shí)模糊有噪圖像上的復(fù)原結(jié)果.圖(a)為在低光照環(huán)境中獲取的真實(shí)圖像,當(dāng)光線不充足時(shí)圖像容易產(chǎn)生噪聲,圖14(b)～14(h)分別為Michaeli等[10]、Perrone等[9]、Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]以及本文算法的去模糊結(jié)果,圖15(b)～15(f)分別為Perrone等[9]、Pan等[13]、Yan等[14]、Chen等[16]以及本文算法的去模糊結(jié)果,在圖像的左上角為各個(gè)算法估計(jì)的模糊核,在每幅圖像的下方是局部區(qū)域的細(xì)節(jié)圖.由圖中可見,本文算法很大程度上減小了振鈴效應(yīng)和噪聲的影響,恢復(fù)出更加清晰的結(jié)果.特別地,從圖14 的細(xì)節(jié)放大圖可以看出,Perrone等[9]、Pan等[13]、Yan等[14]、常振春等[15]的復(fù)原結(jié)果均放大了噪聲并且存在明顯的振鈴效應(yīng),Michaeli等[10]、Chen等[16]減小了振鈴效應(yīng),但復(fù)原結(jié)果仍存在噪聲放大的情況.可見,本文算法對于噪聲具有良好的魯棒性.

圖14 各個(gè)算法在一幅真實(shí)模糊有噪圖像上的實(shí)驗(yàn)結(jié)果Fig.14 Visual comparisons with state-of-the-art some methods on a real blurred-noisy image

圖15 各個(gè)算法在另一幅真實(shí)模糊有噪圖像上的實(shí)驗(yàn)結(jié)果Fig.15 Visual comparisons with some state-of-the-art methods on another real blurred-noisy image

4 分析與討論

本節(jié)對跨尺度低秩先驗(yàn)的有效性和局限性進(jìn)行分析和討論.

4.1 圖像跨尺度自相似性的分析

本文通過在大量圖像上對圖像跨尺度自相似性的統(tǒng)計(jì)分析來驗(yàn)證跨尺度低秩先驗(yàn)的有效性.在本實(shí)驗(yàn)中,從Sun等[27]數(shù)據(jù)集提供的80 幅清晰圖像中抽取尺寸為 5×5 的細(xì)節(jié)塊,對于每一個(gè)細(xì)節(jié)塊,在降采樣圖像中搜索m個(gè)相似圖像塊,降采樣因子a分別設(shè)置為 4 /3、5 /3和2,降采樣圖像的尺度分別為原來的0.75、0.6和0.5 倍.采用均方誤差(Mean squared difference,MSD)度量圖像塊之間的相似性,M SD 的數(shù)值越小,表明圖像塊之間的相似性越強(qiáng).設(shè)清晰圖像x中抽取的圖像塊為Qjx,在其降采樣圖像xa中搜索相似圖像塊Rixa,i= 1,···,m,則清晰圖像的跨尺度自相似性用均方誤差度量可表示為

其中,Nt為圖像中細(xì)節(jié)塊的個(gè)數(shù),m為相似圖像塊的個(gè)數(shù).對于每一個(gè)細(xì)節(jié)塊自適應(yīng)地搜索m個(gè)相似圖像塊,然后計(jì)算m個(gè)相似圖像塊的均值.根據(jù)式(8)計(jì)算自適應(yīng)閾值,其中,控制系數(shù)γ值越大,閾值δd越大,選取該細(xì)節(jié)塊的相似圖像塊個(gè)數(shù)越多,這里設(shè)置相似塊搜索個(gè)數(shù)的下限 ?l=1,上限?h=5,則m滿足 1≤m ≤5.由于各幅圖像中通過邊緣檢測確定的細(xì)節(jié)塊個(gè)數(shù)不同,因此,對于每幅圖像利用均方誤差來度量相似性.同理,MSD(x,y)度量清晰圖像與模糊圖像的相似性,MSD(x,ya)度量清晰圖像與降采樣模糊圖像的相似性,MSD(y,ya)度量模糊圖像的跨尺度自相似性.對于Sun 數(shù)據(jù)集中的每幅圖像各自計(jì)算均方誤差,然后統(tǒng)計(jì)所有圖像(80 幅圖像)的均方誤差之和.

圖16 展示了降采樣因子a為 4 /3、5 /3和2,控制系數(shù)γ為1、1.5、2和2.5 時(shí)80 幅圖像的均方誤差之和,圖中,橫坐標(biāo)為控制系數(shù)γ,縱坐標(biāo)為均方誤差之和.圖16(a)比較了模糊圖像y及其降采樣圖像ya與清晰圖像x的相似性,圖中實(shí)線表示清晰圖像與降采樣模糊圖像之間的相似性,虛線表示清晰圖像與模糊圖像之間的相似性,由圖中可見,選取適合的參數(shù)可以保證MSD(x,ya)

圖16 圖像跨尺度自相似性的分析Fig.16 Analysis of cross-scale self-similarity of images

4.2 跨尺度低秩先驗(yàn)的局限性分析

本文提出的跨尺度低秩先驗(yàn)依賴于跨尺度相似圖像塊的冗余性.自然圖像中跨尺度相似圖像塊越多,它們之間的相關(guān)性能夠提供更充分的附加信息,則該先驗(yàn)的魯棒性越強(qiáng).對于自相似性較弱的圖像,由于僅能搜索少量的相似圖像塊,其復(fù)原能力受到了一定的限制.

圖17 展示了本文的算法在Sun等[27]數(shù)據(jù)集中三幅自相似性較弱圖像上的復(fù)原結(jié)果,圖17(a)為模糊圖像,圖17(b)為真值圖像,圖17(c)為Cho等[3]、Xu等[4]和Levin等[6]算法的復(fù)原結(jié)果,圖17(d)為本文算法的復(fù)原結(jié)果,圖像左上角為估計(jì)的模糊核.通過觀察模糊核以及復(fù)原結(jié)果可以看出,本文的算法并沒有準(zhǔn)確地估計(jì)出模糊核,導(dǎo)致無法完全去除圖像中的模糊或產(chǎn)生halo 效應(yīng).但是,跨尺度低秩先驗(yàn)是一種魯棒的先驗(yàn)?zāi)Ｐ?對于不同的模糊核或圖像內(nèi)容,本文的算法能夠獲得較為穩(wěn)定的復(fù)原結(jié)果.當(dāng)模糊核或圖像內(nèi)容不符合先驗(yàn)假設(shè)時(shí),部分算法的復(fù)原結(jié)果會產(chǎn)生較大的波動(dòng),如圖17(c)所示的失效圖例產(chǎn)生明顯的振鈴效應(yīng),而本文的算法即使對于自相似性較弱的圖像,依然能夠達(dá)到一定的去模糊效果,不會產(chǎn)生明顯的振鈴效應(yīng).

圖17 本文算法對Sun 數(shù)據(jù)集中三幅自相似性較弱圖像的復(fù)原結(jié)果Fig.17 Visual display of proposed method on three weak self-similarity blurred images from Sun dataset

5 結(jié)束語

由于跨尺度自相似性普遍存在于自然圖像中,本文提出了一種跨尺度低秩先驗(yàn)?zāi)Ｐ?在當(dāng)前估計(jì)的降采樣圖像中搜索相似圖像塊構(gòu)成相似圖像塊組,對相似圖像塊組構(gòu)造低秩約束正則項(xiàng),加入到目標(biāo)函數(shù)中,使目標(biāo)函數(shù)的解偏向于清晰圖像.在金字塔的逐層迭代中,通過對跨尺度相似圖像塊組進(jìn)行低秩約束,迫使當(dāng)前估計(jì)的清晰圖像邊緣越來越清晰,細(xì)節(jié)越來越豐富.在大量模糊圖像以及模糊有噪圖像上的實(shí)驗(yàn)驗(yàn)證了本文算法的有效性.本文的算法沒有對噪聲進(jìn)行特殊處理,由于低秩約束很好地表示了數(shù)據(jù)的全局結(jié)構(gòu)特性,因此對噪聲具有良好的魯棒性,能夠從大模糊有噪圖像中有效地估計(jì)出模糊核.