卜莎莎，章毓晉

(清華大學(xué)電子工程系，北京100084)

圖像采集時，受到采樣設(shè)備分辨率不高的限制及環(huán)境中多種因素的干擾，獲取的圖像不夠清晰，蘊含豐富信息的細(xì)節(jié)模糊或缺失，導(dǎo)致圖像分辨率降低。低分辨率的圖像難以滿足人們在后續(xù)的圖像處理和識別等方面的需要，給目標(biāo)的定位和識別、圖像信息內(nèi)容的獲取等帶來諸多不便。超分辨率技術(shù)可以充分挖掘圖像的潛在信息，利用圖像先驗知識，得到高質(zhì)量的圖像，在衛(wèi)星偵察、視頻監(jiān)控等多個領(lǐng)域得到廣泛應(yīng)用。

超分辨率的技術(shù)從20世紀(jì)80年代以來得到了迅猛的發(fā)展，目前常用的算法有凸集投影法［1］、最大后驗概率法［2，3］、迭代反投影法［4］等。近年來基于學(xué)習(xí)的超分辨率重建算法也逐步發(fā)展起來，最近文獻(xiàn)［5］提出了一種基于稀疏表示的超分辨率重建算法，取得了不錯的效果。筆者在稀疏表示算法［5］的基礎(chǔ)上進(jìn)行了改進(jìn)，提出一種基于局部約束線性編碼(LLC:Locality－constrained Linear Coding)［6］的超分辨率重建方法。實驗表明，改進(jìn)后的算法圖像重建質(zhì)量更高，運算速度更快，效果更好。

1 基于稀疏表示的重建算法

稀疏表示算法［5］的基本思想是:基于成對的高分辨率圖像塊和與之相應(yīng)的低分辨率圖像塊進(jìn)行詞典訓(xùn)練，得到成對的高分辨率詞典Dh和低分辨率詞典Dl。然后根據(jù)得到的低分辨詞典Dl對輸入的低分辨率圖像進(jìn)行編碼，再依據(jù)該編碼和高分辨率詞典s重建得到高分辨率圖像。算法大致可分為3個步驟:詞典訓(xùn)練，稀疏編碼，圖像重建。

1.1 詞典訓(xùn)練

令Dh為高分辨率詞典，大小為N×K，Dl為低分辨率詞典，大小為M×K。二者都是過完備的詞典，即K＞N且K＞M，詞典的過完備性為稀疏編碼提供了保證。詞典訓(xùn)練的目標(biāo)為根據(jù)訓(xùn)練集中的一系列成對的高分辨率圖像塊和低分辨率圖像塊，結(jié)合稀疏表示的算法原理，得到成對詞典Dh和Dl。聯(lián)合詞典訓(xùn)練方法如(1)所示。

其中xh為高分辨率圖像塊，yl為相應(yīng)的由低分辨率圖像得到的高分辨率圖像塊，N和M分別為高分辨率圖像塊和低分辨率圖像塊轉(zhuǎn)換成列向量后的維數(shù)。式(1)中需要同時對Dc及Z進(jìn)行優(yōu)化，實際求解過程中可采用迭代算法，固定其中一項，對另一項進(jìn)行求解，通過反復(fù)迭代可求得滿足條件的解。

1.2 稀疏編碼

將輸入的低分辨率圖像劃分成固定大小的小塊，每個小塊之間有一定重疊，然后對劃分后的小塊y進(jìn)行稀疏編碼:

其中F為特征提取矩陣，Dl為低分辨率詞典，y為低分辨率圖像塊，為根據(jù)Dl得到的y的編碼。L1范數(shù)保證了編碼的稀疏性，拉格朗日乘子λ用于在編碼的準(zhǔn)確性和系數(shù)性中取得平衡。

為同時考慮到低分辨率圖像和重建得到的高分辨率圖像編碼的準(zhǔn)確性和稀疏性，可采用如下公式對二者進(jìn)行聯(lián)合編碼:

其中β用于在高分辨率詞典和低分辨率詞典之間的取得折中，P用于提取當(dāng)前塊和已經(jīng)重建好的高分辨率圖像塊之間的重疊區(qū)域，以保證重建的連續(xù)性，x為待重建的高分辨率圖像塊

1.3 圖像重建

根據(jù)編碼得到的系數(shù)ω和高分辨率詞典Dh，利用式(4)可重建得到高分辨率圖像塊，這些高分辨率圖像塊再拼接到一起，即可得到一個初步的高分辨率圖像X0。

再根據(jù)輸入的低分辨率圖像Y利用圖像降質(zhì)模型，通過梯度下降的方法尋找與X0最接近的圖像X，即可得到恢復(fù)后的高分辨率圖像X*。求解方法如下

其中S為降采樣矩陣，H為模糊矩陣。

2 LLC編碼

LLC編碼側(cè)重于局部的約束，而非稀疏性，根據(jù)文獻(xiàn)［6］，局部性可以帶來稀疏性，但稀疏性未必滿足局部性。從這方面而言，局部性約束比稀疏性約束更為重要。LLC的編碼滿足下式的約束:

其中xi為待編碼的的向量，B為詞典，ci為經(jīng)過LLC得到的編碼。di為不同編碼的權(quán)重，用于權(quán)衡編碼中每個元素和詞典B中相應(yīng)列的關(guān)系。·代表向量元素維度的相乘。di可如下計算:

其中σ為可調(diào)整的參數(shù)，用于控制di的大小，dist(xi，B)為矢量，每個元素代表向量xi與詞典B中每列向量的歐氏距離。

因加入局部性的約束，LLC編碼相對于稀疏編碼［5］(SC:Sparse Coding)而言更為平滑。稀疏編碼［5］時，為滿足編碼的稀疏性，相似的像素塊得到的結(jié)果有可能差異較大，而詞典的過完備性更加劇了這一差異。LLC編碼能保證相似的像素塊得到相近的編碼，從而保證重建出的像素塊的相似性，保證局部平滑。

稀疏編碼［5］時需要采取優(yōu)化算法進(jìn)行迭代，帶來較高的計算量，而LLC算法有解析解，能夠降低運算消耗，加快運算速度。

3 基于LLC的超分辨率重建算法

筆者在稀疏表示算法的基礎(chǔ)上進(jìn)行了改進(jìn)，利用LLC的方法對圖像塊進(jìn)行編碼，實現(xiàn)超分辨率重建。算法流程如下。

3.1 圖像分塊

無論在詞典訓(xùn)練階段還是在超分辨重建階段都需要對圖像進(jìn)行分塊，適當(dāng)?shù)姆謮K可降低計算復(fù)雜度，加快運算速度，提高重建的精度，保證圖像重建的效果。筆者算法首先將輸入圖像按照從上到下、從左到右的順序進(jìn)行分割，劃分成3×3的小塊，同行鄰近的像素塊之間有一列重疊，同列鄰近像素塊之間有一行重疊，以保證像素塊之間的連續(xù)性，防止像素塊邊緣因不連續(xù)而導(dǎo)致的突變。

3.2 聯(lián)合詞典訓(xùn)練

為加強詞典訓(xùn)練中高分辨率詞典和低分辨率詞典之間的相關(guān)性，訓(xùn)練集中的低分辨率圖像由高分辨率圖像經(jīng)過亞采樣和模糊后得到。為保證詞典訓(xùn)練的效果，將低分辨率圖像再經(jīng)升采樣之后，和高分辨率圖像進(jìn)行聯(lián)合訓(xùn)練，這樣有利于更好地找到二者之間的對應(yīng)關(guān)系。

超分辨率重建更注重于恢復(fù)圖像的高頻細(xì)節(jié)，因而在對升采樣的低分辨率圖像進(jìn)行分塊處理之前，先通過特征提取矩陣得到高頻分量，然后對高頻分量之間的對應(yīng)關(guān)系進(jìn)行訓(xùn)練，得到成對的詞典Dh和Dl。特征提取算子可如下設(shè)計［5］:

其中f1和f3用于提取行的特征，f2和f4用于提取列的特征。將特征提取算子與待訓(xùn)練的圖像進(jìn)行卷積，得到4幅保留了邊緣信息的特征圖像，對這4幅圖像分塊，將對應(yīng)的圖像塊整合成一個矢量，即可得到用于詞典訓(xùn)練的向量。

提取完特征并分塊后的圖像按照式(1)進(jìn)行詞典訓(xùn)練，直至滿足收斂條件。

3.3 使用LLC對圖像編碼

詞典訓(xùn)練完畢之后即開始圖像的編碼過程，圖像編碼前也要經(jīng)過和詞典訓(xùn)練相似的預(yù)處理過程。對于一幅輸入的低分辨率圖像，同樣依據(jù)式(8)，進(jìn)行特征提取，得到4幅圖像。然后將其按照3.1節(jié)中提到的方法進(jìn)行圖像分塊處理，將4幅圖像中對應(yīng)的小塊整合成一個向量yi，按照訓(xùn)練得到的低分辨率詞典Dl進(jìn)行LLC編碼，具體計算過程如下:

1)計算y和詞典Dl每列向量之間的距離，進(jìn)而得到編碼元素的權(quán)重di，類比式(7)，對應(yīng)的計算如下

2)根據(jù)已經(jīng)得到的di按照下式計算LLC編碼后的系數(shù)αi:

3.4 超分辨率重建

根據(jù)上面得到的系數(shù)αi和訓(xùn)練得到的高分辨率詞典Dh，即可重建高分辨率圖像塊xi:

高分辨率圖像塊xi按照從左到右，從上到下的順序拼接起來，同時考慮到低分辨率圖像分塊時的混疊，即可得到初步重建后的高分辨率圖像X0。

3.5 全局約束與恢復(fù)

鑒于上述重建考慮的都是局部約束條件，每個重建的圖像塊都是局部最優(yōu)，但不一定能滿足全局最優(yōu)的條件。初步重建的圖像X0和得到初步的高分辨圖像X0之后，還需對其進(jìn)行全局的處理和恢復(fù)。

對X0采取后向投影的方法:將X0向輸入低分辨率圖像Y上投影，得到投影后的圖像Y+，再將Y+和Y的差值Y映射到高分辨率空間，疊加到X0上。重復(fù)上述過程，迭代一定次數(shù)后可得到加入全局約束后恢復(fù)得到的圖像。全局約束的算法還有很多，可根據(jù)實際自主選擇。

4 多幀圖像超分辨率重建

將基于LLC編碼的單幀超分辨率重建算法擴展到多幀算法，采用和式(2)類似的方法，將多幀圖像的數(shù)據(jù)整合到同一個編碼公式里，對整體優(yōu)化，求得最優(yōu)解，利用圖像序列之間的互補信息，提高圖像超分辨率重建的質(zhì)量。

首先對輸入的多幀低分辨率圖像進(jìn)行運動估計和幀間配準(zhǔn)［7］，然后對配準(zhǔn)好的多幀超分辨率圖像進(jìn)行多幀超分辨率重建，編碼式如下:

其中αk，l為中心點位于(k，l)處的圖像塊經(jīng)稀疏編碼后的系數(shù)，F(xiàn)為特征提取矩陣，Dl為低分辨率詞典，Ri，j為圖像塊提取算子，用于從低分辨率圖像Yt中提取中心位于(i，j)的圖像塊。ω為權(quán)重系數(shù)，用于控制各幀圖像對于最終編碼系數(shù)的約束程度。

得到編碼系數(shù)后的重建及全局恢復(fù)步驟同第3節(jié)，可得到經(jīng)過多幀重建的高分辨率圖像。

5 實驗結(jié)果

為更好地對比算法性能，筆者從重建效果、運算速度、噪聲影響等多個方面對超分辨率重建的結(jié)果進(jìn)行展示和分析，并展示了多幀重建圖像的對比結(jié)果。

文獻(xiàn)［5］中已將其提出的算法和后向投影(Back Projection)［8］、鄰近嵌入(Neighborhood Embedding)等多種算法進(jìn)行了比較，取得不錯的效果。筆者算法只和其中效果最好的文獻(xiàn)［5］算法及常見的Matlab中的bicubic插值算法進(jìn)行對比。

5.1 重建效果

將圖像塊統(tǒng)一劃分為3×3的小塊，每塊之間重疊按照3.1節(jié)所示方法，采用1024維的詞典進(jìn)行超分辨率重建，放大倍數(shù)為3，全局恢復(fù)時采用后向投影的算法，得到的圖像重建效果如下。

圖1 超分辨重建效果圖Fig.1 Super-resolution effect image

圖1中PSNR依次為:26.8270 dB，28.6990 dB，29.5986 dB，29.6842 dB。筆者算法相對于文獻(xiàn)［5］的方法提高了0.0852 dB。其中帽子和肩膀邊緣效果尤其明顯，振鈴現(xiàn)象得到緩解。

幾種不同方法重建得到的PSNR值可參見表1，其相應(yīng)的低分辨率圖像見圖2。

表1 不同方法重建圖像的PSNR值Table 1 PSNR of differentmethods

圖2 實驗用低分辨率圖像Fig.2 Low resolution images used for experiments

實驗結(jié)果表明，該算法相對于文獻(xiàn)［5］方法的PSNR值平均提高了0.0783 dB，重建效果有所提高。

5.2 抗噪性能

為進(jìn)一步對比不同算法在抗噪聲方面的性能，該實驗中對原始圖像加入不同種類，不同大小噪聲，然后對其進(jìn)行超分辨率重建，對比各算法在抗噪性能上的優(yōu)缺點。為方便起見，只選取圖1進(jìn)行了對比。

如圖3左上圖像所示，原始輸入低分辨率圖像被疊加了均值為0，方差σ為0.001的高斯加性白噪聲，需要指出的是這里的噪聲產(chǎn)生通過Matlab中的imnoise函數(shù)產(chǎn)生，為σ相對于圖像歸一化之后的方差。

圖3 加入噪聲后超分辨率重建圖像Fig.3 Super-resolution reconstruction of noisy image

按照同4.1節(jié)相同的參數(shù)設(shè)置對圖像進(jìn)行超分辨率重建，得到4種方法的重建效果如圖3PSNR值依次為:26.4090 dB，28.0557 dB，28.8086 dB，28.8966 dB。

將上述結(jié)果和圖1中不加噪聲的結(jié)果進(jìn)行對比，為便于觀察，將結(jié)果重新寫于表2其余噪聲對圖像重建的影響也參考表2。

表2 不同方法的抗噪性能Tab.2 Robustness to noise of differentmethods

通過表2中各個算法的抗噪性能對比可以發(fā)現(xiàn)，隨著噪聲強度的增大，3種算法的重建效果均有所下降，但筆者算法的圖象重建峰值信噪比(PSNR)高于其他算法。實驗結(jié)果表明，筆者算法的抗噪性能優(yōu)于其他兩種算法，能夠抵抗一定程度的噪聲，提高圖像分辨率。

5.3 運算速度

在第3章中提到，LLC相比于稀疏編碼的方法具有更快的運算速度，能夠縮短運算時間，筆者通過實驗結(jié)果的統(tǒng)計和對比證實了這一觀點。輸入低分辨率圖像如圖1所示，兩種方法參數(shù)設(shè)置同4.1節(jié)，得到的運算速度對比在表3展示。

表3 運算速度對比Table 3 Computation time of two methods

通過上述實驗結(jié)果的對比，可發(fā)現(xiàn)對同一幅圖像進(jìn)行超分辨率重建，筆者方法的運算速度明顯高于文獻(xiàn)［5］，且隨著圖像的尺寸逐漸增大，筆者方法的優(yōu)越性越來越明顯。實驗結(jié)果進(jìn)一步驗證了LLC方法在提高運算速度方面的優(yōu)越性。

5.4 多幀圖像重建結(jié)果對比

該實驗中采用4幅圖像進(jìn)行超分辨率重建，水平方向和豎直方向的放大倍數(shù)均為3，幀間配準(zhǔn)時采用8×8的圖像塊進(jìn)行運動估計，圖像重建時分成3×3的小塊，塊之間重疊如3.1節(jié)設(shè)置，得到超分辨率重建對比的結(jié)果如下所示。

圖4是用于重建的低分辨率視頻序列中的一幀，選取4幀視頻圖像進(jìn)行重建，得到的結(jié)果如圖5。從上到下依次為單幀稀疏表示(SR:Sparse Representation)的重建結(jié)果，多幀SR重建，第3章所示算法即單幀LLC重建，第4章所示算法即多幀LLC重建。每行中顯示了同一種方法對于視頻序列中的相鄰3幀的重建結(jié)果。平均梯度值如表3所示。

圖4 低分辨率圖像Fig.4 low-resolution im age

圖5 多幀超分辨率重建后圖像Fig.5 M ulti-frame super-resolution image reconstruction

表4 不同方法重建后的平均梯度值Table 4 Average gradient of differentmethods

從平均梯度值數(shù)據(jù)上可看出，多幀LLC重建效果明顯好于其他算法，圖像細(xì)節(jié)信息得到增強。單幀LLC算法也要好于單幀SR算法［5］。

從視覺效果上看，多幀LLC圖像中字母和豎線的重建效果其他3幅圖像，輪廓明顯清晰，說明多幀LLC重建可以增強圖像的邊緣和細(xì)節(jié)信息，提高分辨率。

就LLC和SR［5］兩種算法比較而言，LLC圖像比SR圖像的邊緣振鈴現(xiàn)象要好，SR圖像中央的數(shù)字200和250難以分辨清楚，而LLC重建圖像中可清晰分辨出這兩個數(shù)字，分辨率明顯提升。

上述對比表明，由于利用了多幀信息，多幀LLC算法的重建效果好于單幀LLC算法，圖像細(xì)節(jié)進(jìn)一步加強。同時也進(jìn)一步證明了LLC算法相對于SR算法［5］的優(yōu)越性。

綜上，筆者方法相比于文獻(xiàn)［5］的方法，在重建效果、抗噪性能及運算速度上均取得了不錯的效果，推廣到多幀圖像超分辨率重建時圖像質(zhì)量進(jìn)一步提高，在圖像超分辨率重建方面具有一定的優(yōu)勢。

6 結(jié)語

筆者提出一種改進(jìn)的基于局部約束線性編碼(LLC)的圖像超分辨率重建方法。實驗結(jié)果表明，相比于稀疏表示的算法［5］，筆者算法能夠提高重建圖像的峰值信噪比(PSNR)，抵抗噪聲影響，加快運算速度，推廣到多幀重建質(zhì)量進(jìn)一步提高，取得了不錯的重建效果。

［1］Galbraith A E，Theiler J，Thome K J，et al.Resolution enhancement ofmulti－look imagery for themultispectral thermal imager［J］.IEEE Trans.Geoscience＆Remote Sensing，2005，43(9):1964－1977.

［2］Schulz R R，Stevenson R L.A bayesian approach to image expansion for improved definition［J］.IEEE Trans. Image Processing，1994，3(3):233－242.

［3］Chantas G K，Galatsanos N P，Woods N A.Super－resolution based on fast registration and maximum a posteriori reconstruction［J］.IEEE Trans.Image Processing，2007，16(7):1821－1830.

［4］Ben－ezra M，Zomet A，Nayar S K.Video Super－resolution using controlled subpixel detector shifts［J］.IEEE Trans.Pattern Analysis＆Machine Intelligence，2005，27(6):977－987.

［5］Yang JC，Wright J，Huang T S，et al.Image super－resolution via sparse representation［J］.IEEE Transactions on Image Processing，2010，9(11):2861－2873.

［6］Wang J J，Yang JC，Yu K，et al.Locality－constrained linear coding for image classification［C］//IEEE Conference on Computer Vision and Pattern Recognition (CVPR).2010:3360－3367.

［7］孫寧寧.基于序列圖像的超分辨率重建算法研究［D］.鄭州:河南工業(yè)大學(xué)，2010.

Sun Ning－ning.Super－resolution reconstruction algorithm based on image scquence［D］.Zhengzhou:Henan University of Technology，2010.

［8］Irani M，Peleg S.Motion analysis for image enhancement:resolution，occlusion and transparency［J］.Journal of Visual Communication and Image Representation，1993，4(4):324－335.