摘 要：數(shù)字圖像超分辨率技術(shù)就是從一幅或多幅已知圖像中重建出一幅具有更高空間分辨率的圖像。這種技術(shù)自產(chǎn)生以來(lái)便受到眾多學(xué)者的親睞，產(chǎn)生了許多的相關(guān)算法。就目前而言，研究的主流是基于學(xué)習(xí)的算法。基于學(xué)習(xí)的算法是從事先構(gòu)建的學(xué)習(xí)庫(kù)中去獲得待重建圖像的先驗(yàn)知識(shí)，再在先驗(yàn)知識(shí)的輔助下恢復(fù)出待重建圖像的高頻細(xì)節(jié)，從而取得較好的視覺(jué)效果。對(duì)基于學(xué)習(xí)的超分辨率重建算法進(jìn)行系統(tǒng)介紹，總結(jié)其中還存在的問(wèn)題，并預(yù)測(cè)了進(jìn)一步研究的方向。

關(guān)鍵詞：數(shù)字圖像；超分辨率技術(shù)

中圖分類(lèi)號(hào)：TP391.41

圖像是信息載體，是我們?nèi)祟?lèi)信息的主要來(lái)源。但是并非所有圖像都如人意，就拿我們常見(jiàn)的數(shù)字圖像來(lái)說(shuō)，在信息的采集過(guò)程中，由于投備的硬件條件限制，拍攝過(guò)程中操作人員的素質(zhì)，信息傳輸過(guò)程中信號(hào)的干擾等，都會(huì)造成信息的丟失，最終影響圖像的質(zhì)量。超分辨率重建技術(shù)是利用一幅或多幅低分辨圖像的額外或互補(bǔ)信息來(lái)恢復(fù)出一幅具有更高分辨率的圖像。這種技術(shù)可以打破圖像在形成過(guò)程中的限制，得到具有較好的視覺(jué)效果。因此該技術(shù)在許多領(lǐng)域（如衛(wèi)星偵察、數(shù)字高清等）都有著良好的應(yīng)用前景。

超分辨率重建技術(shù)主要分為兩大類(lèi)：基于重建的方法和基于學(xué)習(xí)的方法?；谥亟ǖ姆椒ㄊ浅直媛始夹g(shù)發(fā)展早期的算法，這些算法計(jì)算相對(duì)簡(jiǎn)單，復(fù)雜度也較低，但是存在重建倍數(shù)的限制，目前更多是作為學(xué)習(xí)算法的輔助算法。

1 基于學(xué)習(xí)的超分辨率技術(shù)

在基于學(xué)習(xí)的超分辨率技術(shù)中，學(xué)習(xí)方法的通常作法是構(gòu)建一個(gè)訓(xùn)練樣本的學(xué)習(xí)庫(kù)，在庫(kù)中包含某種低分辨率圖像與其對(duì)應(yīng)的圖像的映射關(guān)系，然后利用這種映射關(guān)系，求出測(cè)試樣本圖像對(duì)應(yīng)的高頻細(xì)節(jié)的最優(yōu)解。由于學(xué)習(xí)庫(kù)的引入，待重建低分辨率圖像有更多的先驗(yàn)信息可以利用，因此，基于學(xué)習(xí)的重建方法能夠比基于重建的方法取得更好的視覺(jué)效果和圖像質(zhì)量?；趯W(xué)習(xí)的超分辨率技術(shù)最早是由freeman等[1]提出的，該方法一經(jīng)提出迅速成為數(shù)字圖像超分辨率技術(shù)研究領(lǐng)域的熱點(diǎn)，吸引了大批專(zhuān)家學(xué)者參與其中。目前主流的基于學(xué)習(xí)的方法主要有基于范例學(xué)習(xí)的方法、LLE方法、虛幻臉?lè)椒ê拖∷杀硎痉ā?/p>

1.1 基于范例學(xué)習(xí)的方法

基于范例學(xué)習(xí)的方法是freeman等人[1，2]最先提出的，他們利用馬爾可夫網(wǎng)絡(luò)建立高低分辨率圖像之間的映射關(guān)系。然后將高分辨率圖像經(jīng)過(guò)模糊平滑處理后下采樣，得到對(duì)應(yīng)的低分辨率圖像，再將低分辨率圖像通過(guò)雙線(xiàn)性插值或三次插值來(lái)得到與高分辨率圖像大小一致的圖像，然后將它們分塊，通過(guò)學(xué)習(xí)獲得高分辨率塊之間和高低分辨率塊之間的變換關(guān)系，對(duì)于用于測(cè)試的低分辨率圖像塊，只要找到其在馬爾可夫網(wǎng)絡(luò)中的位置，根據(jù)馬爾可夫網(wǎng)絡(luò)的對(duì)應(yīng)關(guān)系找到其對(duì)應(yīng)的一些高分辨率塊，再根據(jù)訓(xùn)練得到的變換關(guān)系計(jì)算出高頻分量添加進(jìn)去。

這種方法是基于學(xué)習(xí)方法中最早被提出來(lái)的，也是其他基于學(xué)習(xí)方法的基礎(chǔ)，該方法相較于重建的方法能利用更多的高頻信息，在放大倍數(shù)和重建質(zhì)量上都有很大的提升，但是對(duì)于訓(xùn)練樣本的選擇要求較高，算法復(fù)雜度也大大提高，并且這種方法對(duì)噪聲非常敏感。

1.2 領(lǐng)域嵌入法

Chang等[3]創(chuàng)造性地將流形學(xué)習(xí)方法引入超分辨率重建中，在該方法中，他們假定高低分辨率圖像塊在特征子空間中具有的相似的流形結(jié)構(gòu)，待重建圖像塊通過(guò)在低分辨率圖像塊學(xué)習(xí)庫(kù)尋找它的k近鄰表示，然后用這些系數(shù)與這k個(gè)近鄰對(duì)應(yīng)的高維流形塊加權(quán)得到高分辨率塊。

領(lǐng)域嵌入法相較于基于例子的方法需要更少的訓(xùn)練樣本，并且對(duì)噪聲的敏感性也有所改善，但是領(lǐng)域嵌入方法的領(lǐng)域保持特性并不總是成立，所以這種方法需要選擇合適的圖像塊的特征才能取得好的效果。

1.3 虛幻臉?lè)椒?/p>

虛幻臉?lè)椒ㄗ钤缡怯蒪aker和kanade[4]提出的，他們首次將超分辨率重建算法用于人臉這一特定領(lǐng)域，由于圖像數(shù)據(jù)是人臉，可以較多的隱含先驗(yàn)信息使用，他們的算法中僅從學(xué)習(xí)庫(kù)中選擇與待重建塊最相似的塊作為輸出，且在放大8倍的情況下取得了不錯(cuò)的效果。

虛幻臉?lè)椒ㄊ褂昧巳四樳@一重要的先驗(yàn)知識(shí)，在特征臉的幫助下使重建效果大幅提高，但是對(duì)于有豐富表情的人臉，重建質(zhì)量還有待提高。

1.4 稀松表示法

稀松表示是由Yang等人[5]最新提出的圖像超分辨率實(shí)現(xiàn)方法，這種方法是從訓(xùn)練庫(kù)的圖像中選擇圖像塊組成一個(gè)過(guò)完備的字典，然后在這個(gè)過(guò)完備字典中利用線(xiàn)性規(guī)劃方法求得待重建圖像塊的稀松表示，最后利用這組系數(shù)重建出高分辨率圖像塊。

稀松表示方法相較于領(lǐng)域嵌入方法來(lái)說(shuō)，不用規(guī)定領(lǐng)域的大小，系數(shù)的多少是由線(xiàn)性規(guī)劃求解得到的。但是該方法對(duì)于過(guò)完備字典的選擇問(wèn)題不易解決，隨機(jī)選擇重建質(zhì)量不佳。

2 基于學(xué)習(xí)方法的總結(jié)和展望

基于學(xué)習(xí)的圖像分辨率技術(shù)雖然打破了傳統(tǒng)方法在放大倍數(shù)上的限制，能取得很好的重建效果，但是重建質(zhì)量嚴(yán)重依賴(lài)學(xué)習(xí)庫(kù)的構(gòu)建，而且學(xué)習(xí)方法的樣本訓(xùn)練時(shí)間較長(zhǎng)，計(jì)算復(fù)雜度很高。未來(lái)基于某一領(lǐng)域的重建方法會(huì)得到較大發(fā)展（如類(lèi)似虛幻臉的方法），有了某個(gè)領(lǐng)域的信息作為先驗(yàn)，構(gòu)建的學(xué)習(xí)庫(kù)與待重建圖像的相關(guān)性將大大增強(qiáng)。目前大多數(shù)關(guān)于超分辨率重建的文章都只側(cè)重了算法重建的圖像質(zhì)量，在重建速度方面提及較少，如果能在時(shí)間復(fù)雜度上有所突破，將大大推進(jìn)該技術(shù)的實(shí)用性?，F(xiàn)在學(xué)者們對(duì)超分辨率技術(shù)的研究都集中在了算法的提出和改進(jìn)，而忽略了對(duì)這個(gè)問(wèn)題本身的理論研究。

參考文獻(xiàn)：

[1]Freeman W .T.，Jones T.R.，Pasztor E.C..Example based super-resolution[J].IEEE Computer Graphics and Applications，2002（02）：56-65.

[2]Freeman W .T.，Pasztor E.C.，Caemichael O.T..Learning low level vision[J].International Journal of Computer Vision，2000（01）：25-47.

[3]Chang H.，Yeung D.Y.，Xiong Y..Super-resolution through neighbor embedding[C].Proceedings of IEEE Conf CVPR. Washington，DC：IEEE Press，2004：275-282.

[4]Baker S.， Kanade T.. Hallucinating faces[C].Fourth International Conference on Automatic Face and Gesture Recognition.Grenoble，F(xiàn)rance：IEEE Press，2000：83-89.

[5]Yang J.C.，Wright J.，Ma Y.，et al.Image super-resolution as sparse representation of raw image patches[C].Proceedings of IEEE Conf CVPR.Anchorage，Alaska：IEEE Press，2008：1-8.

作者簡(jiǎn)介：羅喜君（1988-），男，四川南充人，研究生，工學(xué)碩士，計(jì)算機(jī)軟件與理論專(zhuān)業(yè)，研究方向：數(shù)字圖像處理。

作者單位：云南師范大學(xué)信息學(xué)院，昆明 650500