盧 健,孫 怡

(大連理工大學(xué)信息與通信工程學(xué)院,遼寧大連116024)

結(jié)合稀疏編碼模型的多幀圖像超分辨率重建

盧 健,孫 怡

(大連理工大學(xué)信息與通信工程學(xué)院,遼寧大連116024)

傳統(tǒng)序列超分辨率方法對(duì)低分辨率視頻序列的要求較高,一旦序列中沒(méi)有包含足夠的信息,會(huì)造成重建高分辨率圖像質(zhì)量的下降。為此,提出一種結(jié)合稀疏編碼模型的序列超分辨率算法。利用概率運(yùn)動(dòng)場(chǎng)從低分辨率序列中重建一幅高分辨率圖像,根據(jù)自適應(yīng)閾值確定重建有效和無(wú)效區(qū)域,使用稀疏編碼模型對(duì)無(wú)效區(qū)域進(jìn)行補(bǔ)全重建。實(shí)驗(yàn)結(jié)果表明,該算法可以采用序列自身的信息和稀疏字典中的信息來(lái)重建高分辨率圖像,在序列信息有破缺時(shí),與僅利用序列自身信息或僅利用單幅圖像的算法相比,具有更好的魯棒性和廣泛的適用性。

超分辨率;稀疏編碼;圖像補(bǔ)全;非局部正則化;線性反問(wèn)題

1 概述

超分辨率(Super-resolution,SR)重建是一種突破成像硬件限制提高圖像質(zhì)量的算法。從廣義上分,主要包括:(1)多幀超分辨率;(2)單幅圖像超分辨率。多幀超分辨率能夠利用連續(xù)多幀低分辨(Low-resolution,LR)圖像中不同而又相似的信息,重建高于成像系統(tǒng)分辨率的圖像,也被稱作序列超分辨率。經(jīng)典的序列超分辨率算法,包括最大似然法、最大后驗(yàn)概率法、凸集投影法以及后向投影迭代法等［1］。由于序列超分辨率包括配準(zhǔn)和重建2個(gè)階段,近年來(lái)一些新的思路不斷被引進(jìn)分別用來(lái)解決這兩方面的問(wèn)題。在配準(zhǔn)方面,文獻(xiàn)［2］嘗試使用互信息來(lái)提高配準(zhǔn)精度,文獻(xiàn)［3］利用各項(xiàng)異性擴(kuò)散方程來(lái)提高配準(zhǔn)可靠性,而文獻(xiàn)［4］則引入尺度不變特征變換(Scale Invariant Feature Transform,SIFT)特征點(diǎn)實(shí)現(xiàn)跨尺度配準(zhǔn)。與追求準(zhǔn)確性相反,文獻(xiàn)［5］利用非局部核回歸實(shí)現(xiàn)了不需要精確配準(zhǔn)的超分辨率算法。在重建方面,文獻(xiàn)［6-7］分別利用差值曲率和形態(tài)學(xué)對(duì)圖像進(jìn)行度量,并利用度量結(jié)果對(duì)總變分(Total Variation,TV)正則項(xiàng)進(jìn)行加權(quán),從而提高了正則項(xiàng)的自適應(yīng)性。此外,為了避免不同階段誤差的累積,能夠同時(shí)對(duì)配準(zhǔn)和重建參數(shù)進(jìn)行估計(jì)的聯(lián)合最大后驗(yàn)概率(Maximum a Posterior,MAP)算法［8］也被提出。盡管各種算法各有側(cè)重,但序列超分辨率都依賴同樣的假設(shè),即序列中需要存在足夠的信息,一旦信息破缺,則會(huì)造成重建質(zhì)量的下降。

而單幅圖像超分辨率則需要從外部樣本庫(kù)中學(xué)習(xí)獲得先驗(yàn)知識(shí)來(lái)重建圖像的高頻細(xì)節(jié)。為了解決樣本庫(kù)過(guò)大的問(wèn)題,近年來(lái),許多最新的信號(hào)表示手段被引入到單幅超分辨率的領(lǐng)域。如文獻(xiàn)［9］將流形學(xué)習(xí)的算法引入超分辨率,文獻(xiàn)［10-11］則利用稀疏字典來(lái)實(shí)現(xiàn)超分辨率重建。

綜上,序列和單幅圖像超分辨率各有優(yōu)勢(shì)與不足。視頻序列通常是對(duì)同一場(chǎng)景的連續(xù)拍攝,幀間相關(guān)性強(qiáng),多幀超分辨率直接利用這些相關(guān)信息進(jìn)行高分辨重建,因此,重建的高頻信息更加準(zhǔn)確。然而,由于實(shí)際拍攝過(guò)程往往存在大量不可控因素,如拍攝對(duì)象運(yùn)動(dòng)過(guò)快、物體的遮擋等,這些因素破壞了序列中信息的完整性,通常會(huì)在重建結(jié)果中形成明顯的干擾物。而單幅圖像超分辨率重建,可從樣本庫(kù)中獲取額外的信息,避免了序列超分辨率中由于信息破缺而導(dǎo)致的重建質(zhì)量下降問(wèn)題,因此重建結(jié)果更加魯棒。然而,由于樣本庫(kù)中的樣本通常與所要重建的圖像相關(guān)性較弱,從而重建的高頻信息往往不夠準(zhǔn)確,這也是單幅超分辨率常被稱作“幻像”［12］的原因。長(zhǎng)期以來(lái),2類算法在各自的領(lǐng)域不斷發(fā)展,然而結(jié)合兩者優(yōu)勢(shì)的超分辨率研究相對(duì)較少,其原因在于難于度量哪些區(qū)域適合從序列中提取信息,而哪些區(qū)域適合從外部的樣本中獲取信息。

為解決上述問(wèn)題,本文在序列超分辨率的基礎(chǔ)上,推導(dǎo)出自適應(yīng)閾值對(duì)重建圖像進(jìn)行度量,從而確定不適合序列重建的無(wú)效區(qū)域,然后采用稀疏模型對(duì)該區(qū)域進(jìn)行補(bǔ)全重建。

2 基于概率運(yùn)動(dòng)場(chǎng)的超分辨率重建

建立觀測(cè)模型是研究超分辨率重建的前提。在實(shí)際的成像過(guò)程中,降質(zhì)因素主要包括模糊,幀間運(yùn)動(dòng)下的采樣及噪聲,其模型可用下式表示:

由于Ft需要從降質(zhì)的低分辨序列中估計(jì)獲得,因此估計(jì)準(zhǔn)確度較低,而估計(jì)誤差常常會(huì)造成重建質(zhì)量的嚴(yán)重下降。針對(duì)這一問(wèn)題,文獻(xiàn)［13］提出一種新的基于概率運(yùn)動(dòng)場(chǎng)的觀測(cè)模型:其中,矢量z=Hx表示模糊的高分辨圖像。假設(shè)像素在水平和豎直方向的最大移動(dòng)范圍為d個(gè)像素,則每一個(gè)像素最多會(huì)有M=(2d+1)2種可能的移動(dòng)方式,Fm表示第m種移動(dòng)方式的矩陣,而像素最終進(jìn)行的運(yùn)動(dòng)則由權(quán)重矩陣Wm,t來(lái)描述。Wm,t是一個(gè)對(duì)角陣,其對(duì)角元表示第t幀圖像上對(duì)應(yīng)像素進(jìn)行了第Fm種位移(即［dx(m),dy(m)］)的可能性大小,如果某一像素進(jìn)行了第Fm種位移的可能性較大,則相應(yīng)的對(duì)角元接近于1,否則,接近于0。在文獻(xiàn)［13］中,這種由可能性權(quán)重描述的運(yùn)動(dòng)估計(jì)模型被稱為概率運(yùn)動(dòng)場(chǎng)。概率運(yùn)動(dòng)場(chǎng)的超分辨率模型,將原本一個(gè)像素只能有一種可能運(yùn)動(dòng)的問(wèn)題轉(zhuǎn)換為一個(gè)像素可以有多種可能運(yùn)動(dòng)的問(wèn)題,從而避免了算法對(duì)單一運(yùn)動(dòng)估計(jì)準(zhǔn)確性的依賴。

在建立了概率運(yùn)動(dòng)場(chǎng)超分辨率觀測(cè)模型之后,重建問(wèn)題即是式(2)的反問(wèn)題,該問(wèn)題需要使用最大似然估計(jì)來(lái)優(yōu)化求解:

其中,［i,j］表示高分辨圖像上的像素坐標(biāo);N(i,j)表示低分辨圖像上的像素集合;集合中坐標(biāo)為［k,l］的像素經(jīng)過(guò)第Fm種移動(dòng)后,可以融合到高分辨率圖像的第［i,j］點(diǎn)上。

3 概率運(yùn)動(dòng)場(chǎng)權(quán)重計(jì)算與無(wú)效區(qū)域確定

由式(4)可見(jiàn),概率運(yùn)動(dòng)場(chǎng)超分辨率算法的關(guān)鍵在于能否有效地估計(jì)出運(yùn)動(dòng)場(chǎng)權(quán)重Wm,t［k,l］,即第t幀低分辨圖像［k,l］位置上的像素做第Fm種運(yùn)動(dòng)的可能性大小。文獻(xiàn)［13］使用像素所在鄰域平方誤差(Sum of Squared Difference,SSD)的e指數(shù)來(lái)計(jì)算權(quán)重,具體表示如下:

其中,Rk,l表示取鄰域算子矩陣。SSDm,t較大說(shuō)明高分辨圖像上某一像素經(jīng)第Fm種移動(dòng)后其所在鄰域下采樣與第t幀低分辨率圖像上相應(yīng)像素所在鄰域差異較大。由此可知,如果將低分辨圖像上的相應(yīng)像素,按照Fm的運(yùn)動(dòng)形式融合到高分辨圖像中,會(huì)造成該點(diǎn)與其鄰域的顯著差異,因此,為了避免這些“異常點(diǎn)”對(duì)重建的影響,應(yīng)當(dāng)令其權(quán)重Wm,t為0。然而exp(·)只有在SSDm,t非常大的情況下才能夠?qū)?quán)重映射為0,因此,按照式(6)計(jì)算權(quán)重會(huì)使得相當(dāng)一部分“異常”點(diǎn)仍然有可能參與到重建過(guò)程。剔除這些SSD較大的異常點(diǎn),最簡(jiǎn)單的辦法就是進(jìn)行一個(gè)硬閾值濾波,但是如圖1所示,由位移造成的SSD差異與像素所在鄰域圖像有關(guān)。由位移造成的不同鄰域塊的 SSD如圖1所示,其中,圖1(a)、圖1(b)的SSD為1.87;圖1(c)、圖1(d)的SSD為28.16。圖1(b)和圖 1(d)分別是將圖1(a)和圖1(c)向右移動(dòng)一個(gè)像素所得到的鄰域塊,雖然位移相同,但是圖1(a)和圖1(b)與圖1(c)和圖1(d)各自的SSD卻顯著不同,鄰域變化較緩的,產(chǎn)生的差異較小,而鄰域變化較大的,產(chǎn)生的差異也較大。因此,很難給出一個(gè)統(tǒng)一的閾值,為此,本文提出一種能夠根據(jù)鄰域內(nèi)容自適應(yīng)地計(jì)算閾值的算法。

圖1 位移造成的不同鄰域塊的SSD對(duì)比

由超分辨率原理［1］可知,只有相互存在亞像素級(jí)位移的低分辨圖塊才能保留下互補(bǔ)的信息,從而重構(gòu)出高分辨圖塊。因此,SSD閾值可以通過(guò)求取像素所在鄰域圖塊經(jīng)過(guò)亞像素級(jí)位移后可能產(chǎn)生的最大SSD來(lái)確定。如果令矢量A=DFmz,矢量B=yt,則式(5)可表示為:

其中,鄰域尺寸為(2wx+1)×(2wy+1)。假定A與B之間存在亞像素位移d—=［dx,dy］T,即:

B(x,y)=A(x+dx,y+dy)

則式(7)可進(jìn)一步表示為:

由于［dx,dy］T很小,因此可用一階Taylor展開(kāi)來(lái)逼近,由此可得:

如果2個(gè)鄰域圖塊之間的SSD超過(guò)上式值,則表明2個(gè)鄰域之間不足夠“相似”(超出了亞像素的位移),即沒(méi)有可以互補(bǔ)的信息了。通過(guò)以上分析,可將剔除異常點(diǎn)的自適應(yīng)閾值設(shè)置為:

其中,β為常數(shù),作用是調(diào)節(jié)閾值的嚴(yán)格程度。在本文實(shí)驗(yàn)中β=1便可以取得不錯(cuò)的效果。

由式(10)可知,閾值與鄰域自身的梯度變化有關(guān),梯度變化大的,相應(yīng)的閾值也較大,這與圖1所示實(shí)驗(yàn)的結(jié)果一致。在對(duì)每個(gè)像素點(diǎn)求得閾值之后,便可對(duì)異常點(diǎn)進(jìn)行濾除,即令其權(quán)重為0:

在獲得了運(yùn)動(dòng)場(chǎng)權(quán)重之后,便可利用式(4)進(jìn)行超分辨率重建。圖2(a)展示了對(duì)Foreman視頻的重建結(jié)果,圖中黑點(diǎn)是無(wú)效區(qū)域,即用來(lái)重建該點(diǎn)的像素權(quán)重均為0。圖2(b)是對(duì)重建有效區(qū)域與無(wú)效區(qū)域的劃分,黑色代表無(wú)效區(qū)域,白色代表有效區(qū)域。從劃分結(jié)果可以看出,無(wú)效區(qū)域主要有2種類型:(1)平坦區(qū)域,如墻板、帽盔等處,這主要是因?yàn)槠教箙^(qū)域自適應(yīng)SSD閾值較小,噪聲干擾很容易造成該區(qū)域內(nèi)點(diǎn)的SSD超過(guò)閾值,導(dǎo)致權(quán)重為0,不過(guò),平坦區(qū)域變化規(guī)律簡(jiǎn)單,因此,比較容易補(bǔ)全重建;(2)運(yùn)動(dòng)過(guò)快的區(qū)域,比如嘴部,該區(qū)域由于運(yùn)動(dòng)過(guò)快,前后幀中沒(méi)有保留下太多相關(guān)的信息,因此,也無(wú)法從序列中提取出足夠有效的信息進(jìn)行重建。

圖2 重建結(jié)果與有效/無(wú)效區(qū)域

由上述分析可以看出,本文提出的自適應(yīng)閾值可以有效地篩選出重建圖像中不適宜從序列本身提取信息進(jìn)行重建的區(qū)域,對(duì)于這部分區(qū)域,將會(huì)繼續(xù)利用外部的樣本庫(kù)對(duì)其進(jìn)行重建。

4 基于稀疏編碼模型的無(wú)效區(qū)域重建

基于學(xué)習(xí)的算法通常用于單幅圖像超分辨率。該類算法通過(guò)對(duì)樣本的學(xué)習(xí)獲取高低分辨率圖像之間的先驗(yàn)知識(shí),以指導(dǎo)高分辨率圖像的重建。但傳統(tǒng)算法常受困于樣本庫(kù)過(guò)大的問(wèn)題,文獻(xiàn)［10-11］將稀疏表示的理論引入到超分辨率領(lǐng)域,通過(guò)稀疏學(xué)習(xí),將樣本庫(kù)整理成為更為緊致的稀疏字典,提高了基于學(xué)習(xí)算法的效率。針對(duì)所要解決的問(wèn)題,本文提出一種通過(guò)字典對(duì)重建圖像有效區(qū)域內(nèi)的信息進(jìn)行稀疏編碼,從而重建無(wú)效區(qū)域的算法。

4.1 加權(quán)稀疏編碼模型

建立該問(wèn)題的稀疏編碼模型:

其中,矢量z∈RN×1為由序列重建出的模糊超分辨率圖像;M為遮罩對(duì)角陣,對(duì)角元為1表示對(duì)應(yīng)像素屬于有效區(qū),為0表示其屬于無(wú)效區(qū)域;H為模糊矩陣;矩陣Φ∈RN×L表示稀疏字典;矢量α∈RL×1為稀疏系數(shù),為α中非零元個(gè)數(shù),表示α的稀疏度; ε為誤差容限。該模型的意義在于,對(duì)重建圖像進(jìn)行稀疏編碼,使得通過(guò)編碼重建后的圖像在有效區(qū)內(nèi)與序列重建結(jié)果保持一致,而在無(wú)效區(qū)內(nèi)根據(jù)稀疏約束,在字典中選擇合適的樣本對(duì)其進(jìn)行重建,通過(guò)求解上述優(yōu)化問(wèn)題,可得稀疏編碼矢量α^,最終高分辨率圖像矢量x即可由下式重建:

其中,λ是一常數(shù),表示稀疏約束的強(qiáng)度。文獻(xiàn)［14］指出加權(quán)l(xiāng)1范數(shù)能夠更有效地逼近l0范數(shù),提高重建質(zhì)量,并給出了一種權(quán)重取值算法,是αi的估計(jì)值,ξ為小常數(shù)。該加權(quán)的意義在于對(duì)接近于0的系數(shù)給予更大的懲罰,使其變?yōu)?,從而提高系數(shù)的稀疏性。通過(guò)引入加權(quán)l(xiāng)1范數(shù),可進(jìn)一步獲得加權(quán)稀疏編碼模型:

4.2 非局部正則化

上述稀疏模型主要考慮了圖像局部的稀疏性。而近年來(lái),許多研究表明自然圖像上會(huì)有大量相似模式重復(fù)出現(xiàn),這種現(xiàn)象被稱作非局部相似性。許多利用非局部相似性進(jìn)行的研究都取得了不錯(cuò)的結(jié)果［5,10-11］。作為對(duì)局部稀疏性的一個(gè)補(bǔ)充,本文進(jìn)一步將非局部正則化算法引入到重建模型中。

首先,以高分辨圖像上每一像素xi為中心,提取n×n大小的鄰域N(xi),然后在整幅圖像中(實(shí)際應(yīng)用中可確定一個(gè)適當(dāng)?shù)乃阉鞣秶?利用最近鄰的方式搜索前K個(gè)最相似的鄰域?yàn)槊總€(gè)鄰域的中心像素。

其中,η為控制常數(shù),用來(lái)控制非局部正則約束的強(qiáng)度。加入非局部正則化的稀疏編碼模型在保證了重建圖像局部稀疏性的同時(shí),也保證了圖像的非局部相似性。式(17)還可以進(jìn)一步表示為:

其中,I為單位矩陣;矩陣 B中的元素可由下式給出:

5 算法描述

式(18)可以進(jìn)一步整理成下式:

由此可以看出這是一個(gè)加權(quán)l(xiāng)1范數(shù)的線性反問(wèn)題,該問(wèn)題可以利用迭代收縮算法［15］進(jìn)行求解。本文超分辨率算法求解過(guò)程如下:

(1)序列重建

1)用式(6)構(gòu)造輸入視頻序列的概率運(yùn)動(dòng)場(chǎng)。

2)用式(10)和式(12)計(jì)算閾值,對(duì)運(yùn)動(dòng)場(chǎng)權(quán)重進(jìn)行自適應(yīng)硬閾值濾波。

3)用式(4)從序列中重建高分辨率圖像矢量z,同時(shí)利用得到的有效/無(wú)效區(qū)域構(gòu)造遮罩矩陣M。

4)利用z作為x的初始估計(jì)矢量x(0)(無(wú)效區(qū)域利用插值填補(bǔ)),同時(shí)利用x(0)計(jì)算矢量bi構(gòu)造非局部權(quán)重矩陣B。

5)設(shè)定相關(guān)參數(shù)η,P,e,最大迭代次數(shù)Max_Iter。

(2)稀疏模型迭代重建

1)利用迭代收縮算法對(duì)高分辨圖像矢量x進(jìn)行求解,迭代公式如下:

其中,U=(MH)TMH,V=η2(I-B)T(I-B)。

5)每隔P次迭代,利用最新重建的圖像重新估計(jì)局部權(quán)重陣B,當(dāng)或k＞Max_Iter,迭代終止。

軟閾值函數(shù)具體形式為:

6 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證算法性能,本文采用實(shí)際視頻序列進(jìn)行重建實(shí)驗(yàn),通過(guò)比較本文算法和其他算法的重建結(jié)果,來(lái)驗(yàn)證算法的有效性。本文采用的比較算法包括序列超分辨率算法和單幅超分辨率算法。序列超分辨率算法是基于概率運(yùn)動(dòng)場(chǎng)的算法(Probabilistic Motion Based Super Resolution,PMSR)［13］,單幅超分辨率是基于非局部中心化稀疏的算法(Nonlocally Centralized Sparse Representation,NCSR)［11］。

所有實(shí)驗(yàn)如未做說(shuō)明均采用相同的實(shí)驗(yàn)參數(shù),其中,η=0.04,β=1,計(jì)算權(quán)重時(shí)的鄰域尺寸為7× 7像素。所用字典Φ是由K-SVD算法［16］從由15幅自然圖像構(gòu)成的樣本庫(kù)中學(xué)習(xí)獲得的。樣本庫(kù)的構(gòu)造過(guò)程為,首先將15幅圖像分割成7×7像素大小的圖像塊,然后從這些圖像塊中隨機(jī)選取100 000塊作為訓(xùn)練樣本?？紤]到計(jì)算復(fù)雜度和重建質(zhì)量,將訓(xùn)練后的字典中的原子數(shù)目設(shè)置為1 024。以下所有實(shí)驗(yàn)均采用同一個(gè)字典。除了主觀評(píng)價(jià)之外,本文還采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)對(duì)重建圖像質(zhì)量進(jìn)行了客觀評(píng)價(jià)。

首先,本文從標(biāo)準(zhǔn)CIF視頻序列中選擇了Suzie和Foreman 2個(gè)具有代表性的序列進(jìn)行實(shí)驗(yàn)。Suzie中有頭發(fā)等細(xì)節(jié)部分,可以檢驗(yàn)算法對(duì)細(xì)節(jié)重建的能力,而Foreman嘴部動(dòng)態(tài)變化較快,可以檢驗(yàn)算法在序列中有效信息破缺時(shí)的重建能力。實(shí)驗(yàn)分別從上述2個(gè)視頻中截取連續(xù)30幀圖像,經(jīng)模糊、下采樣以及加噪處理后,生成低分辨圖像序列,其中,模糊核為3×3的均勻模糊核,下采樣因子為3,噪聲為標(biāo)準(zhǔn)差等于2的高斯白噪聲,然后分別用前述2種算法和本文算法對(duì)2個(gè)序列進(jìn)行重構(gòu)。

圖3展示了Suzie視頻第8幀的重建結(jié)果,其中,各子圖的下半部分是重建結(jié)果的細(xì)節(jié)放大圖,圖3(a)中的方框標(biāo)明了放大細(xì)節(jié)在原圖中的位置。從結(jié)果中可以看出,當(dāng)序列中存在較多可用信息時(shí),基于序列重建的算法可以獲得很好的重建結(jié)果,比如圖3(b)中眼睛、電話等處,而當(dāng)序列中沒(méi)有較多可用信息時(shí),序列重建的算法便無(wú)法獲得很好的結(jié)果,比如Suzie的頭發(fā)處不夠清晰。相反,基于學(xué)習(xí)的算法圖3(b),能夠從樣本庫(kù)獲取知識(shí),對(duì)頭發(fā)處重建效果較好,但是由于樣本庫(kù)中的信息與要重建的圖像之間相關(guān)性較弱,加上噪聲和下采樣混疊的干擾,導(dǎo)致眼睛和電話等處重建結(jié)果并不理想。而本文算法由于能夠結(jié)合2種算法的優(yōu)點(diǎn),因此,在各細(xì)節(jié)處都取得了不錯(cuò)的重建效果。

圖3 Suzie序列重建結(jié)果

圖4 展示了Foreman視頻第22幀的重建結(jié)果。圖中各子圖的下半部分是重建結(jié)果的細(xì)節(jié)放大圖,圖4(a)中的方框標(biāo)明了放大細(xì)節(jié)在原圖中的位置。由于Foreman嘴部運(yùn)動(dòng)過(guò)快,導(dǎo)致視頻前后幀關(guān)于嘴部的相關(guān)的信息嚴(yán)重不足。因此,基于序列的算法在重建結(jié)果,如圖4(b)中,出現(xiàn)了雜點(diǎn)現(xiàn)象。而基于學(xué)習(xí)的算法利用樣本庫(kù)中的信息較好地恢復(fù)了嘴部信息。但由于嚴(yán)重的下采樣混疊影響了樣本選擇,導(dǎo)致混疊信息在重建的結(jié)果中仍然存,如圖4(c)中的墻板處。而本文算法可以利用序列中的相關(guān)信息來(lái)減少混疊,同時(shí),對(duì)于序列中破缺的信息,還可以利用稀疏模型進(jìn)行重建,因此,在嘴部和墻板處能夠取得較好的重建結(jié)果。

圖4 Foreman序列重建結(jié)果

表1給出了上述2個(gè)實(shí)驗(yàn)中重建視頻30幀的平均PSNR評(píng)測(cè)結(jié)果。此外,為了進(jìn)一步檢測(cè)算法的廣泛適用性及魯棒性,本文繼續(xù)從標(biāo)準(zhǔn)的CIF視頻庫(kù)中,選取了另外6段視頻進(jìn)行了如上所述的重建實(shí)驗(yàn),然后對(duì)各重建視頻序列求其平均PSNR指標(biāo)。從評(píng)測(cè)結(jié)果可以看出,相較于其他2種算法,本文算法對(duì)不同的視頻內(nèi)容幾乎都可以取得較好的重建結(jié)果。這進(jìn)一步說(shuō)明本文算法具有廣泛的適用性和魯棒性,可以有效地提高序列超分辨率在實(shí)際應(yīng)用中的重建質(zhì)量。

表1 超分辨率重建結(jié)果的PSNR dB

表2給出了上述8組實(shí)驗(yàn)在同一機(jī)器上重建一幀需要的平均時(shí)間。機(jī)器的配置為 Intel Pentium 2.7 GHz雙核處理器,計(jì)算工具為Matlab R2013a。從表中可以看出,本文算法需要在序列超分辨率之后,繼續(xù)使用稀疏字典對(duì)無(wú)效區(qū)域進(jìn)行重建,這大大增加了算法的執(zhí)行時(shí)間。因此,在一些需要實(shí)時(shí)重建的應(yīng)用場(chǎng)合,本文算法存在一定的局限性。

表2 超分辨率重建平均時(shí)間 s

7 結(jié)束語(yǔ)

受客觀條件的限制,實(shí)際拍攝的視頻無(wú)法滿足理想超分辨率條件,存在不同程度的信息缺失。針對(duì)這一問(wèn)題,本文提出一種自適應(yīng)閾值算法,有效地區(qū)分序列重建的有效和無(wú)效區(qū)域,對(duì)無(wú)效區(qū)域,提出基于局部和非局部正則化的稀疏模型算法進(jìn)行重建。實(shí)驗(yàn)結(jié)果證明了其有效性。然而,由于在序列超分辨率之后,該算法需要再應(yīng)用稀疏字典對(duì)無(wú)效區(qū)域進(jìn)行重建,這增加了算法的執(zhí)行時(shí)間,因此如何進(jìn)一步提高算法的效率將是今后的研究重點(diǎn)。

［1］卓 力,王素玉,李曉光.圖像/視頻的超分辨率復(fù)原［M］.北京:人民郵電出版社,2011.

［2］Vrigkas M,Nikou C,KondiL P.AccurateImage Registration for MAP Image Super-resolution［J］.Signal Processing:Image Communication,2013,28(5):494-508.

［3］Lu Jian,Zhang Hongran,Sun Yi.Video Super Resolution Based on Non-localRegularization and Reliable Motion Estimation［J］.Signal Processing: Image Communication,2014,29(29):514-529.

［4］李 展,張慶豐,孟小華,等.多分辨率圖像序列的超分辨率重建［J］.自動(dòng)化學(xué)報(bào),2012,38(11):1804-1814.

［5］Zhang Haichao,Yang Jianchao,Zhang Yanning,et al. Image and Video Restorations via Nonlocal Kernel Regression［J］.IEEE Transactions on Cybernetics, 2013,43(3):1035-1046.

［6］Yuan Qiangqiang,Zhang Liangpei,Shen Huanfeng. Multiframe Super-resolution Employing a Spatially Weighted Total Variation Model［J］.IEEE Transactions on Circuits and Systems for Video Technology,2012, 22(3):379-392.

［7］Purkait P,Chanda B.Morphologic Gain-controlled Regularization for Edge-preserving Super-resolution Image Reconstruction［J］.Signal,Image and Video Processing, 2013,7(5):925-938.

［8］Liu Ce,Sun Deqing.On Bayesian Adaptive Video Super Resolution［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(2):346-360.

［9］Su Heng,Jiang Nan,Wu Ying,et al.Single Image Super-resolution Based on Space Structure Learning［J］. Pattern Recognition Letters,2013,34(16):2094-2101.

［10］Dong Weisheng,Zhang Lei,Shi Guangming,et al.Image Deblurring and Super-resolution by Adaptive Sparse Domain Selection and Adaptive Regularization［J］.IEEE Transactionson ImageProcessing,2011,20(7): 1838-1857.

［11］Dong Weisheng,Zhang Lei,Shi Guangming,et al. Nonlocally Centralized Sparse Representation for Image Restoration ［J］. IEEE Transactions on Image Processing,2013,22(4):1620-1630.

［12］Freeman W T,Jones T R,Pasztor E C.Example-based Super-resolution［J］.IEEE Computer Graphics and Applications,2002,22(2):56-65.

［13］Protter M,Elad M.Super Resolution with Probabilistic Motion Estimation［J］.IEEE Transactions on Image Processing,2009,18(8):1899-1904.

［14］Candes E J,Wakin M B,Boyd S P.Enhancing Sparsity by Reweighted L1 Minimization［J］.Journal of Fourier Analysis and Applications,2008,14(5/6):877-905.

［15］Daubechies I,Defrise M,De M C.An Iterative Thresholding Algorithm for Linear Inverse Problems with a Sparsity Constraint［J］.Communications on Pure and Applied Mathematics,2004,57(11):1413-1457.

［16］Aharon M,Elad M,Bruckstein A.K-SVD:An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation［J］.IEEE Transactions on Signal Processing,2006,54(11):4311-4322.

編輯 劉 冰

Multi-frame Image Super-resolution Reconstruction Combined with Sparse Coding Model

LU Jian,SUN Yi
(School of Information and Communication Engineering,Dalian University of Technology,Dalian 116024,China)

Classic multi-frame Super-resolution(SR)techniques strongly rely on the supportability of Low-resolution (LR)frames.When the frames contain insufficient information,annoying artifacts often appear in the SR outcome.To solve this problem,a multi-frame SR combined with sparse coding technique is proposed in this paper.A high-resolution frame is reconstructed by the help of probabilistic motion estimation,and meanwhile effective/ineffective regions can also be determined by using an adaptive threshold segment.A sparse-coding-based completion technique is applied to recover the ineffective regions.Experimental results show that the proposed algorithm can essentially exploit the information from both LR frames and sparse coding dictionary.Compared with SR methods which depend only on image sequence itself or a single frame,the proposed algorithm has better robustness and extensive applicability.

Super-resolution(SR);sparse coding;image completion;non-local regularization;linear inverse problem

1000-3428(2015)05-0264-06

A

TP391

10.3969/j.issn.1000-3428.2015.05.049

盧 健(1978-),男,博士研究生,主研方向:圖像處理;孫 怡,教授。

2014-05-06

2014-07-03E-mail:lslwf@dlut.edu.cn

中文引用格式:盧 健,孫 怡.結(jié)合稀疏編碼模型的多幀圖像超分辨率重建算法［J］.計(jì)算機(jī)工程,2015,41(5):264-269,273.

英文引用格式:Lu Jian,Sun Yi.Multi-frame Image Super-resolution Reconstruction Combined with Sparse Coding Model［J］.Computer Engineering,2015,41(5):264-269,273.