侯騰

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

圖像超分辨率算法是一項(xiàng)增強(qiáng)圖像分辨率的技術(shù)，目的是從一幅或一系列低分辨率圖像中重建出一幅高分辨率的圖像。高分辨率圖像能協(xié)助警察更好地維護(hù)公共安全，能幫助醫(yī)生做出更正確的診斷，在目標(biāo)識(shí)別領(lǐng)域（如無人駕駛）也能發(fā)揮重要的作用。超分辨率算法可以在不升級(jí)成像系統(tǒng)硬件設(shè)備的前提下，從軟件算法層面來滿足市場(chǎng)在圖像分辨率上日益增長的需求，具有重要的研究意義。圖像超分辨率算法可以分為基于插值的方法、基于重建的方法和基于學(xué)習(xí)的方法三大類。

1 基于插值的方法

基于插值的方法是一種較早提出來且相對(duì)簡單的算法。核心是計(jì)算低分辨圖像和目標(biāo)高分辨率圖像之間的配準(zhǔn)關(guān)系，目標(biāo)圖高分辨率圖像由合適的插值算法插值得到。常見的有雙線性插值[1]、雙三次插值[2]和最鄰近插值[3]。

此類算法復(fù)雜度低、計(jì)算量小，因此具有很好的實(shí)時(shí)性。但適應(yīng)性較差，處理場(chǎng)景較為簡單，僅僅是基于周圍已確定的圖像灰度值進(jìn)行復(fù)制、擴(kuò)展，對(duì)圖像灰度值變化較大的場(chǎng)景，如圖像邊緣或紋理，結(jié)果圖像會(huì)出現(xiàn)邊緣模糊或高頻細(xì)節(jié)丟失等問題。

圖1 四鄰域示意圖

2 基于重建的方法

基于重建的方法是被廣泛研究的一種算法，此類算法先根據(jù)低分辨率圖像與高分辨率圖像之間的配準(zhǔn)關(guān)系，得出高分辨率圖像與低分辨率圖像像素之間的依賴關(guān)系作為先驗(yàn)知識(shí)，利用先驗(yàn)知識(shí)重建出目標(biāo)高分辨率圖像。算法常用的圖像成像模型[4]通常可表示為：

其中：Lk表示低分辨率圖像，H為對(duì)應(yīng)的高分辨率圖像，D表示降采樣矩陣，Bk表示模糊矩陣，Mk表示幾何運(yùn)動(dòng)矩陣，Nk表示附加噪聲。

2.1 迭代反向投影法（Iterative Back-Projection ，IIBBPP）

該算法最先由Irani和Peleg[5][6]提出來應(yīng)用到圖像超分辨率處理上，通過重復(fù)迭代反向投影過程，將模擬低分辨率圖像與輸入低分辨率圖像之間的誤差最小化，由此估計(jì)得到目標(biāo)高分辨率圖像。其核心公式為：

其中K表示低分辨率圖像的數(shù)量，↑s表示上采樣因子，p表示反向投影算子。張永育等[7]提出了基于Keren改進(jìn)配準(zhǔn)算法的IBP超分辨率重建算法，算法的收斂速度得到了有效增長，算法穩(wěn)定性也有效提高，但是重建圖像容易出現(xiàn)邊緣鋸齒效應(yīng)。針對(duì)該問題，陶志強(qiáng)等[8]提出了基于新邊緣指導(dǎo)插值的IBP超分辨率重建算法，利用低分辨率圖像與高分辨率圖像局部協(xié)方差間的幾何對(duì)偶性，通過計(jì)算低分辨率圖像各像素點(diǎn)的局部協(xié)方差系數(shù)，提高峰值信噪比，降低均方根誤差，結(jié)果圖像的質(zhì)量得到了提高。Hsieh等[9]采用運(yùn)動(dòng)補(bǔ)償方式改進(jìn)反向投影函數(shù)，整合絕對(duì)誤差和、有效的圖像區(qū)域選擇以及運(yùn)動(dòng)向量聚類等方法優(yōu)化了快匹配算法。進(jìn)而減少了算法的收斂時(shí)間，提升了運(yùn)動(dòng)估計(jì)的精確度。缺點(diǎn)是存在多個(gè)解，而且先驗(yàn)知識(shí)的應(yīng)用較為困難。

2.2 凸集投影法（Projection onto Convex Sets ，PPOOCCSS）

該算法可以把目標(biāo)高分辨率圖像的先驗(yàn)知識(shí)運(yùn)用到超分辨率重建的過程中，POCS算法基于集合理論，將超分辨率重建的可行解空間限制為一組約束集的交集，這些約束集是關(guān)于目標(biāo)高分辨率圖像先驗(yàn)知識(shí)的凸集。POCS算法通過迭代尋找符合所有約束集的一個(gè)點(diǎn)，用以重建目標(biāo)高分辨率圖像的對(duì)應(yīng)點(diǎn)。POCS算法最早由Stark和Oskoui[10]提出，其迭代過程可表示為：

其中H0表示任意一起始點(diǎn)，Pi表示將對(duì)應(yīng)點(diǎn)投影到凸集上的投影算子。Patti和Altunbasak[11]提出了一個(gè)改進(jìn)的POCS算法，算法采用可被自適應(yīng)改變的約束集，且在成像模型離散化過程中采用更高階的插值算法，結(jié)果圖像的邊緣振鈴效應(yīng)得到了很好的抑制。黃華[12]等提出了一種基于線過程模型的POCS算法，將

2.3 最大后驗(yàn)概率估計(jì)法（Maximum a Posteriioorr，MMAAPP）

基于MAP的算法原理是利用低分辨率圖像序列使得目標(biāo)高分辨率圖像的后驗(yàn)概率最大，算法核心可以表示為：

其中H^表示目標(biāo)跟分辨率圖像H的估計(jì)，即算法所求目標(biāo)高分辨率圖像；p(Y1,…,YN|H)為條件密度項(xiàng)，p(H)為先驗(yàn)概率項(xiàng)。Schulz和Stevenson[14]提出的算法的圖像先驗(yàn)?zāi)Ｐ筒捎煤悹?馬爾可夫隨機(jī)場(chǎng)模型（Huber-Markov Random Field Model），增強(qiáng)了圖像邊緣部分重建的魯棒性。張新明等[15]提出了一種基于多尺度正則化先驗(yàn)的最大后驗(yàn)概率算法，對(duì)運(yùn)動(dòng)估計(jì)結(jié)果采用可信度驗(yàn)證，并構(gòu)建多尺度Huber-Markov先驗(yàn)?zāi)Ｐ?，由此產(chǎn)生了較優(yōu)的目標(biāo)圖像，有效消除了圖像偽跡。陳海棠等[16]提出了一種改進(jìn)的MAP算法，利用Curvelet插值將低分辨率圖像構(gòu)建成高分辨率圖像，并應(yīng)用不同的方向因子結(jié)合權(quán)重系數(shù)進(jìn)行插值，從而得到合成的目標(biāo)高分辨率圖像，使圖像的色彩信息得到了更好的恢復(fù)，抑制了豐富紋理區(qū)域的模糊和鋸齒現(xiàn)象。除了上述模型，還有一些先驗(yàn)?zāi)Ｐ捅惶岢鰬?yīng)用到圖像超分辨重建，如條件隨機(jī)場(chǎng)模型[17]、雙層高斯非平穩(wěn)模型[18]和廣義各向異性馬爾科夫隨機(jī)場(chǎng)模型[19]等。MAP算法具有較好的適應(yīng)性和穩(wěn)定性，是一種相對(duì)較優(yōu)的超分辨率重建算法。

線過程模型作為先驗(yàn)知識(shí)用于迭代過程中的平滑性約束投影，從而得到更好視覺效果的圖像。許錄平[13]等提出了一種快速的凸集投影算法，根據(jù)圖像區(qū)域的特征自適應(yīng)的選取迭代步長，顯著地提高了算法運(yùn)算速度。POCS算法有利用強(qiáng)大空間域觀察模型的能力，可以便捷的將先驗(yàn)知識(shí)綜合運(yùn)用到超分辨率重建的過程中，但此類算法同樣也沒有唯一解，收斂速度總體比較慢，計(jì)算復(fù)雜度高，效率低。

3 基于學(xué)習(xí)的方法

基于學(xué)習(xí)的方法是近年來較流行的一種算法，算法的基本思想是從訓(xùn)練集中學(xué)習(xí)高分辨率圖像與低分辨率圖像之間的聯(lián)合先驗(yàn)，然后利用聯(lián)合先驗(yàn)重建出目標(biāo)高分辨率圖像。基于學(xué)習(xí)的超分辨率重建算法將圖像的先驗(yàn)知識(shí)運(yùn)用到算法中，因此能得到更好的重建圖像，且所需圖像信息大幅減少。缺點(diǎn)是這些算法都只能使圖像放大固定倍數(shù)，得到的目標(biāo)高分辨率圖像尺寸是固定的。

3.1 領(lǐng)域嵌入方法（Neighbor Embedding）

Cheng等[20]利用局部線性嵌入流行學(xué)習(xí)的思想，提出了一個(gè)通用的使用訓(xùn)練集的方式-基于鄰域嵌入的學(xué)習(xí)策略。假設(shè)高低分辨率圖像塊形成的流形在兩個(gè)特征空間中存在相似的幾何結(jié)構(gòu)，讓高低分辨率圖像塊間的局部幾何結(jié)構(gòu)形成映射，由此重建出目標(biāo)高分辨率圖像。用K個(gè)最近鄰域塊重構(gòu)一個(gè)塊系數(shù)來表示局部幾何結(jié)構(gòu)。此算法可以使用一個(gè)小型訓(xùn)練集來表示較多的圖像塊模式，因而降低了計(jì)算量，提高了算法速度。但由于K是固定的，常常會(huì)引發(fā)過擬合或欠擬合，進(jìn)而導(dǎo)致圖像模糊效應(yīng)出現(xiàn)。針對(duì)該問題，徐勝南等[21]提出了一種基于改進(jìn)的鄰域嵌入算法，利用圖像多尺度相似性，采用雙層方式尋找圖像鄰域塊，克服了重建圖像產(chǎn)生的失真問題，進(jìn)一步提升了算法速度。算法雙層方式尋找鄰域塊的第一層圖像塊間的歐氏距離為：

其中z(0)和z(1)表示算法利用圖像的多尺度相似性分化出的低分辨率空間，高分辨率空間用x表示。對(duì)應(yīng)的鄰域圖像塊為：

其中C(z(1)(p,q))表示z(1)(p,q)的鄰域，|C (z(1)(p,q))|表示C(z(1)(p,q))中圖像塊的數(shù)目。在第二層中圖像塊之間的距離為：

3.2 稀疏表示法（Sparse Presentation）

Yang等[22]利用稀疏信號(hào)表示提出了一種基于稀疏信號(hào)表示的超分辨重建方法，通過對(duì)高低分辨率圖像塊字典的聯(lián)合訓(xùn)練，強(qiáng)化高低分辨率圖像塊間對(duì)應(yīng)的真實(shí)字典稀疏表示的相似性，進(jìn)而重建出目標(biāo)高分辨率圖像。李民等[23]在此基礎(chǔ)上提出了非局部聯(lián)合稀疏近似的算法，將圖像的高低分辨率圖像塊進(jìn)行統(tǒng)一聯(lián)合稀疏編碼，建立稀疏關(guān)聯(lián)，用以指導(dǎo)重建過程。算法具有更強(qiáng)的自適應(yīng)性。Dong等[24]提出將稀疏性當(dāng)做先驗(yàn)知識(shí)去正則化病態(tài)超分辨率重建問題，由于圖像塊間的最優(yōu)稀疏域存在多個(gè)解，因此提前學(xué)習(xí)多個(gè)字典，重建過程中選擇最優(yōu)的字典，從而得到更好的重建結(jié)果。

3.3 基于樣例法（Example-bbaasseedd）

基于樣例的算法從通過學(xué)習(xí)建立高低分辨率之間的對(duì)應(yīng)關(guān)系，更注重對(duì)高頻信息的利用，重建形成目標(biāo)高分辨率圖像。Glasner等[25]人提出一個(gè)無需外部訓(xùn)練信息，只利用圖像本身的信息進(jìn)行超分辨重建。他們認(rèn)為，一副圖像中的圖像塊會(huì)有極大的概率在圖像自身其他地方出現(xiàn)相似的，無論是在相同還是不同的尺度上。利用這種子塊自相似的思想形成一個(gè)字典，用以重建目標(biāo)高分辨率圖像。算法去除了對(duì)外部訓(xùn)練數(shù)據(jù)的依賴，減小了存儲(chǔ)空間。但是這類算法由于圖像大小有限，內(nèi)部字典通常不足以對(duì)包含復(fù)雜紋理信息的進(jìn)行良好重建，此外，重建結(jié)果還和選取的圖像塊之間存在很大的相關(guān)性。為了解決這些問題，Singh等[26]人提出了一種基于子塊自相似的算法：算法首先將低分圖片I0下采樣為一系列圖片分別對(duì)這些圖片序列從不同方向進(jìn)行單獨(dú)的自相似處理，處理分為三個(gè)步驟：①形成一個(gè)的字典，②尋找k=5個(gè)與目標(biāo)區(qū)域最相似的子塊，③利用：

重建出系列高分辨率圖像。最后再將分別處理得到的系列高分辨率圖片反相處理得到目標(biāo)高分辨率圖像

圖2 子塊自相似算法演示過程

該算法在不同的子塊之間使用自適應(yīng)的相似性原理，即使用方向不同的帶通濾波器，并對(duì)字典進(jìn)行了擴(kuò)展，從而降低了圖像塊間的誤匹配率，并且算法對(duì)圖像子塊的大小不敏感。由此得到了更清晰的目標(biāo)高分辨率圖像，算法在處理紋理信息（如動(dòng)物毛發(fā)）上的效果尤其突出。Huang等[27]人在此基礎(chǔ)上，在尋找自相似的過程中利用透視幾何來指導(dǎo)子塊的搜索，并結(jié)合仿射變換來適應(yīng)局部形狀變化，由此得到的優(yōu)異的重建效果。

4 結(jié)語

本文對(duì)不同的超分辨率重建方法進(jìn)行了綜述，其中包括基于插值、重建以及學(xué)習(xí)的方法，闡述了各自的優(yōu)缺點(diǎn)。并對(duì)部分算法進(jìn)行了詳細(xì)的描述，圖像超分辨率重建的研究對(duì)我們具有重要的意義，這一技術(shù)的發(fā)展與應(yīng)用解決了不少問題，然而該技術(shù)還存在一些難點(diǎn)和發(fā)展契機(jī)。

（1）視頻超分辨率重建。視頻場(chǎng)景比圖像要復(fù)雜得多，視頻的信息量、視頻幀之間的場(chǎng)景變換，大部分算法也都不能滿足視頻實(shí)時(shí)性的處理要求。如何準(zhǔn)確提取同一場(chǎng)景的低分辨率幀來重建，如何提高運(yùn)動(dòng)估計(jì)的準(zhǔn)確性，如何確定重建后高分辨率圖像幀的前后相關(guān)性等。

（2）特定場(chǎng)景的超分辨率重建。一些特定的場(chǎng)景，如醫(yī)學(xué)超聲圖像或者夜間監(jiān)控等暗光場(chǎng)景圖像。由于特定因素的限制使其處理難度增大。

（3）超分辨重建圖像評(píng)價(jià)標(biāo)準(zhǔn)。主流的質(zhì)量評(píng)價(jià)方法有峰值信噪比、結(jié)構(gòu)相似度等。但它們不能完全反映全部信息，它們都屬于有參考評(píng)價(jià)方法，但在實(shí)際研究中不一定都有高分辨率原圖像作為對(duì)比。