李鍵紅，吳亞榕，詹瑾

（1.廣東外語(yǔ)外貿(mào)大學(xué) 信息科學(xué)與技術(shù)學(xué)院，廣東 廣州 510006；2.仲愷農(nóng)業(yè)工程學(xué)院 機(jī)電工程學(xué)院，廣東 廣州 510225；3.廣東技術(shù)師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，廣東 廣州 510665）

圖像超分辨率是指通過(guò)軟件計(jì)算的方式處理一幅低分辨率圖像，估計(jì)對(duì)應(yīng)高分辨率圖像的技術(shù).它是常見(jiàn)的信號(hào)編輯形式，是低成本獲取高分辨率圖像的主要手段，廣泛應(yīng)用于空間遙感、視頻監(jiān)控及數(shù)字家庭等場(chǎng)景.近年來(lái)，由于潛在廣闊市場(chǎng)地驅(qū)動(dòng)，以及飛速發(fā)展的軟/硬件支持，超分辨率取得了顯著進(jìn)展，已成為學(xué)術(shù)界討論的熱點(diǎn)話題.

一般來(lái)說(shuō)，根據(jù)低分辨率圖像反推對(duì)應(yīng)的高分辨率圖像是一個(gè)典型的病態(tài)逆問(wèn)題[1].為了得到清晰可靠的重建圖像，人們通常引入先驗(yàn)對(duì)高分辨率圖像的重建過(guò)程進(jìn)行約束，先驗(yàn)恰當(dāng)與否和重建圖像質(zhì)量密切相關(guān).根據(jù)引入先驗(yàn)形式的不同，超分辨率算法大致可分為插值法、重建法和學(xué)習(xí)法三類.

基于學(xué)習(xí)的方法指的是借助外界高分辨率圖像建立訓(xùn)練集，并利用訓(xùn)練集歸納低/高分辨率圖像間的映射，使先驗(yàn)以隱含的方式包含在映射中.這類方法能夠有效地恢復(fù)成像過(guò)程中丟失的高頻信息，生成在輸入圖像中觀察不到的細(xì)節(jié)，從而使其倍受重視，成為超分辨率技術(shù)的主流.Yang 等[2]將稀疏表示的思想引入到超分辨率中，用不同尺度的圖像片聯(lián)合訓(xùn)練字典.但該方法導(dǎo)致字典中與輸入圖像片差異很大的“原子”參與計(jì)算，在重建結(jié)果中產(chǎn)生噪聲.Timofte 等[3]將稀疏表示與鄰域嵌入相結(jié)合，對(duì)每一個(gè)低分辨率圖像片，在字典中查找距離它最近的“原子”，利用該“原子”在字典中的k 近鄰構(gòu)建矩陣算子.在此基礎(chǔ)上，Timofte 等[4]進(jìn)一步挖掘初始的訓(xùn)練圖像，再次提升此算法的性能.深度學(xué)習(xí)在超分辨率中也得到了廣泛應(yīng)用[5-7].但這類算法通常需要借助圖形處理單元（Graphics Processing Unit，GPU）訓(xùn)練海量圖像，以確定神經(jīng)節(jié)點(diǎn)的權(quán)重.在訓(xùn)練過(guò)程中，先驗(yàn)不易在此類方法中發(fā)揮作用，限制了重建圖像的質(zhì)量以及重建過(guò)程的穩(wěn)定性.

近年來(lái)，自相似性在圖像處理中得到了廣泛應(yīng)用[8-13].這一性質(zhì)指的是當(dāng)從局部入手（即圖像中的一個(gè)5×5、7×7 或其他小尺寸的圖像片）對(duì)圖像進(jìn)行考察時(shí)，會(huì)在這幅圖像自身或更高低尺度內(nèi)的其他位置發(fā)現(xiàn)與之尺寸相同、包含內(nèi)容極其相似的圖像片[8-10].基于自相似性的超分辨率算法把輸入圖像視作樣本，訓(xùn)練模型、估計(jì)高分辨率圖像.Glasner 等[8]提出一個(gè)整合式的超分辨率框架，把相似圖像片視為同一場(chǎng)景的不同視圖，整合多幀圖像超分辨率和基于學(xué)習(xí)的超分辨率兩種思想對(duì)圖像進(jìn)行放大.然而對(duì)于自相似性弱的圖像，某些圖像片查找到的最近鄰域會(huì)與之存在較大差異，使重建結(jié)果中出現(xiàn)噪聲，甚至引入錯(cuò)誤高頻.另外，該方法需要在輸入圖像的多尺度中搜索最近鄰域，算法相對(duì)耗時(shí).Freedman 等[14]經(jīng)驗(yàn)性地指出自然圖像中幾乎所有圖像片在其自身或較低尺度內(nèi)的最近鄰域，只需在該圖像片所在位置附近檢索就能查找到.Yang等[15]進(jìn)一步在理論上通過(guò)數(shù)學(xué)推導(dǎo)對(duì)這一性質(zhì)加以證明.這使得查找最近鄰域消耗的時(shí)間顯著縮短，然而由于使用的訓(xùn)練樣本數(shù)量有限，導(dǎo)致此類方法的重建圖像在邊緣位置過(guò)于銳利，看上去不夠自然.為了解決此種“小樣本”問(wèn)題，He 等[16]引入高斯過(guò)程回歸，在每個(gè)圖像區(qū)域內(nèi)構(gòu)建樣本集合、訓(xùn)練參數(shù).但該算法沒(méi)有挖掘區(qū)域間的關(guān)聯(lián)關(guān)系，使得重建結(jié)果中的顯著邊緣產(chǎn)生變形，附近存在噪聲.基于同樣的目的，Huang 等[17]通過(guò)變換矩陣對(duì)輸入圖像片進(jìn)行特定的幾何變形，不僅擴(kuò)展了最近鄰域的查找空間，而且使圖像片間的匹配更加準(zhǔn)確，提高了重建圖像質(zhì)量.該算法對(duì)于直線條居多、無(wú)復(fù)雜紋理的“建筑場(chǎng)景”效果較好，但對(duì)包含復(fù)雜紋理的“自然風(fēng)光”而言，由于幾何變形導(dǎo)致了紋理結(jié)構(gòu)的失真，在重建圖像的對(duì)應(yīng)區(qū)域會(huì)出現(xiàn)偽影.

另外，自相似性先驗(yàn)表達(dá)式在眾多領(lǐng)域也得到了應(yīng)用[18-21].自相似性先驗(yàn)表達(dá)式通常會(huì)與其他先驗(yàn)如局部平滑先驗(yàn)、稀疏先驗(yàn)、低秩先驗(yàn)等結(jié)合使用.算法一般先查找若干最近鄰域，然后借助這些相似圖像片的稀疏系數(shù)相似或相似圖像片構(gòu)成的矩陣具有低秩結(jié)構(gòu)等特點(diǎn)設(shè)計(jì)先驗(yàn)表達(dá)式.為了確定模型參數(shù)，這些算法仍需外界圖像參與訓(xùn)練.成本函數(shù)中的先驗(yàn)表達(dá)式由多項(xiàng)構(gòu)成，此類算法求解計(jì)算復(fù)雜、耗時(shí)，不易在實(shí)際中使用.

本文挖掘理想高分辨率圖像的自相似性，提出了一種簡(jiǎn)單、高效的超分辨率算法，創(chuàng)新點(diǎn)如下：

1）拓展了自相似性概念.重建高分辨率圖像越清晰，它體現(xiàn)出的自相似性就越強(qiáng)烈；當(dāng)高分辨率圖像中存在噪聲、模糊等因素影響或缺失高頻信息時(shí)，它所體現(xiàn)出的自相似性會(huì)明顯減弱.基于此性質(zhì)，提出了一種新的先驗(yàn)，通過(guò)對(duì)低分辨率圖像進(jìn)行建模、推導(dǎo)后發(fā)現(xiàn)，滿足這一先驗(yàn)的重建圖像，它的任意圖像片都服從于某個(gè)特定的高斯分布.

2）設(shè)計(jì)了一個(gè)迭代框架，在每次迭代中，使用前次估計(jì)的高分辨率結(jié)果結(jié)合輸入圖像構(gòu)造訓(xùn)練集合.對(duì)每個(gè)圖像片，考慮到圖像內(nèi)容的連貫性，該算法使用輸入圖像中與之空間位置較近的圖像片集合構(gòu)造訓(xùn)練樣本，并采用快速更新的方式確定模型參數(shù).實(shí)驗(yàn)表明，該算法對(duì)于恢復(fù)圖像高頻細(xì)節(jié)，保持圖像紋理結(jié)構(gòu)等有顯著優(yōu)勢(shì).

3）該算法簡(jiǎn)單、高效，不僅無(wú)需外界樣本參與，而且避開(kāi)了耗時(shí)的最近鄰域查找步驟.另外，在高斯混合模型建模、參數(shù)更新的過(guò)程中僅使用少量高斯成分，成本函數(shù)方程存在閉合解.更為重要的是該算法能夠根據(jù)輸入圖像的不同而自動(dòng)進(jìn)行模型參數(shù)的調(diào)整，使得該算法更為魯棒，易于擴(kuò)展到圖像去噪、復(fù)原等其他領(lǐng)域.

1 相關(guān)工作

圖像在成像過(guò)程中會(huì)受到相對(duì)運(yùn)動(dòng)、聚焦失準(zhǔn)等復(fù)雜因素干擾，很難找到一個(gè)完美的數(shù)學(xué)模型來(lái)精確刻畫(huà)成像過(guò)程，因此在實(shí)際應(yīng)用中，對(duì)于圖像的超分辨率問(wèn)題，通常用一個(gè)線性系統(tǒng)對(duì)整個(gè)成像過(guò)程進(jìn)行模擬[1]：

式中：X∈RMN和Y∈RMN/s2是來(lái)自同一場(chǎng)景，但分辨率不同的兩幅圖像，X 是未知的高分辨率圖像；Y 是人眼能夠觀察得到的低分辨率圖像，（為了操作方便，此時(shí)的圖像X 和Y 已通過(guò)字典排序的方式轉(zhuǎn)換成向量的形式，M 代表圖像的像素點(diǎn)行數(shù)，N 代表圖像的像素點(diǎn)列數(shù)，R 表示像素點(diǎn)的亮度取值自實(shí)數(shù)空間范圍，s 表示X 和Y 間的縮放倍數(shù)）；矩陣D 和H分別對(duì)應(yīng)成像過(guò)程中的下采樣和低通濾波操作；n∈RMN/s2是成像過(guò)程中產(chǎn)生的加性高斯白噪聲，滿足n～N（0，σ2I），σ 為描述噪聲等級(jí)的標(biāo)準(zhǔn)差，I 為單位矩陣.圖像X 和Y 的尺寸分別為M×N 和M/s×N/s.顯然對(duì)于一幅低分辨率圖像Y 而言，X 存在著無(wú)窮多的解與之匹配.為了得到一個(gè)滿意的解X*，先驗(yàn)知識(shí)的引入就變得尤為關(guān)鍵.一般情況下這類問(wèn)題可以描述為一個(gè)最大后驗(yàn)概率方程：

式中：Pi為抽取矩陣，負(fù)責(zé)抽取未知高分辨率圖像X中的i 第個(gè)圖像片，即PiX=xi，xi∈Ra2，a 為圖像片的尺寸；ρ（xi）為第i 個(gè)圖像片xi的先驗(yàn)表達(dá)式，它的具體表示形式因選擇先驗(yàn)的不同而不同，對(duì)應(yīng)成本函數(shù)的求解過(guò)程也不一樣.一般而言，這類問(wèn)題的成本函數(shù)是非凸的，直接求解會(huì)非常困難.常見(jiàn)的思路是為變量xi引入輔助變量，使用“半二次分裂”（Half Quadratic Splitting，HQS）算法求解[22].

高斯混合模型（Gaussian Mixture Model，GMM）因其思想簡(jiǎn)單、推導(dǎo)方便、能準(zhǔn)確描述任意概率密度函數(shù)等特點(diǎn)備受研究人員青睞.近年來(lái)，將GMM 作為先驗(yàn)形式在計(jì)算機(jī)視覺(jué)、圖像處理等領(lǐng)域得到了廣泛應(yīng)用，在圖像分割、恢復(fù)、視頻壓縮等方向展現(xiàn)出了極高的效率[23-24].它的基本形式為：

式中：z∈Rd是一個(gè)d 維隨機(jī)向量；K 為高斯混合模型高斯成分的個(gè)數(shù)；參數(shù)πk、μk和∑k分別表示第k個(gè)高斯成分的權(quán)重系數(shù)、均值向量和協(xié)方差矩陣.第k 個(gè)高斯成分的表達(dá)式為：

與本文算法在形式上相似，但又存在本質(zhì)差異的工作包括PLE[25]、EPLL[26]、LINE[27]、J-GMM[28]和MMPM[29].其中EPLL、J-GMM 均使用高斯混合模型對(duì)外界海量圖像片進(jìn)行建模，進(jìn)而假定未知圖像片由混合模型中的某個(gè)高斯成分生成，然后通過(guò)最大后驗(yàn)概率估計(jì)將該成分找到，最后使用均值向量和協(xié)方差矩陣計(jì)算維納濾波解.然而圖像中存在大量的圖像片，并不服從這一假設(shè).它們需要借助多個(gè)高斯成分或混合模型之外的新成分才能準(zhǔn)確生成.這使得信號(hào)估計(jì)過(guò)程中，僅使用某個(gè)高斯成分的均值向量和協(xié)方差矩陣計(jì)算的維納濾波解不準(zhǔn)確，導(dǎo)致重建圖像中存在噪聲和模糊現(xiàn)象.MMPM 算法與JGMM 算法步驟相同，區(qū)別在于它使用學(xué)生氏分布替換混合模型中的高斯成分，在重建結(jié)果中同樣存在少量噪聲和模糊.PLE 和LINE 算法也從上述假設(shè)出發(fā)，先查找待恢復(fù)圖像片在訓(xùn)練集中的最近鄰域，再通過(guò)這組最近鄰域直接構(gòu)建混合模型中能夠生成對(duì)應(yīng)圖像片的高斯成分.然而查找最近鄰域步驟過(guò)于耗時(shí)，同時(shí)這種硬閾值聚類的形式減弱了訓(xùn)練樣本間的一致性，導(dǎo)致高斯成分所涉及到的參數(shù)不準(zhǔn)確，在重建結(jié)果中易出現(xiàn)噪聲.

本文僅使用輸入圖像構(gòu)建訓(xùn)練集，對(duì)每一個(gè)待超分辨率的圖像片，在訓(xùn)練集中選擇空間位置相近的圖像片進(jìn)行聯(lián)合高斯混合模型訓(xùn)練，利用高斯混合模型，得到每一個(gè)未知的高分辨率圖像片都服從一個(gè)“特定”的高斯分布這一結(jié)論.最后利用混合模型之外某個(gè)高斯分布的均值向量和協(xié)方差矩陣估計(jì)對(duì)應(yīng)的高分辨率圖像片.

2 理想重建圖像自相似性超分辨率

2.1 訓(xùn)練集構(gòu)造

自相似性是圖像自身固有的一種性質(zhì)，它指的是在圖像中任意抽取的圖像片會(huì)在這幅圖像自身其他位置或其他尺度內(nèi)重復(fù)出現(xiàn)的現(xiàn)象.在這一基礎(chǔ)上，對(duì)自相似性進(jìn)行擴(kuò)展.通過(guò)進(jìn)一步實(shí)驗(yàn)，發(fā)現(xiàn)在超分辨率工作中，越是清晰的高分辨率重建圖像，圖像片重復(fù)出現(xiàn)的能力就越強(qiáng)烈；但在含有噪聲、模糊或缺失高頻信息的高分辨率重建圖像中，圖像片的重現(xiàn)能力明顯減弱.如圖1 所示，中間的小圖像為輸入低分辨率圖像，圖1 為其不同的超分辨率版本.對(duì)于4 幅圖像中某個(gè)位置的圖像片，在對(duì)應(yīng)的低分辨率圖像中查找最近鄰域，可以發(fā)現(xiàn)這4 個(gè)來(lái)自不同版本同一位置的圖像片，在低分辨率圖像中的最近鄰域都能夠在這個(gè)位置附近找到.更為重要的是：只有在理想超分辨率圖像中的圖像片，它找到的最近鄰域才與之在外觀上相似；其他版本中這個(gè)圖像片找到的最近鄰域，在外觀上都與之存在差異.在BSD500 數(shù)據(jù)集中進(jìn)行類似的實(shí)驗(yàn)，發(fā)現(xiàn)絕大多數(shù)的圖像都存在上述特點(diǎn).因此可以認(rèn)為在超分辨率算法中，重建高分辨率圖像越清晰，它所體現(xiàn)出的自相似性越強(qiáng)烈；但當(dāng)高分辨率重建結(jié)果中存在噪聲、模糊或缺失高頻信息等因素時(shí)，它所體現(xiàn)出的自相似性會(huì)顯著減弱.

圖1 重建高分辨率圖像片重現(xiàn)現(xiàn)象示意圖Fig.1 The explanation of image patches recurrence in reconstructed high resolution image

借助這一規(guī)律，提出一種新的超分辨率算法，采用迭代的方式，用輸入圖像Y 估計(jì)對(duì)應(yīng)高分辨率圖像X.算法迭代框架如圖2 所示，假定前一次迭代估算的高分辨率圖像X 未滿足算法要求，將其視為理想高分辨率圖像的低頻版本，替換當(dāng)前低頻圖像X′，實(shí)現(xiàn)了X′的更新，然后將X′使用雙三次方法下采樣s 倍，得到與輸入圖像同尺寸的低分辨率圖像Y′.此時(shí)X 為未知的高分辨率圖像，X 和Y′可以視為X 和X′通過(guò)成像模型處理的低分辨率版本，X′和Y′可以視為X 和Y 的低頻版本.

圖2 理想重建結(jié)果自相似性算法的數(shù)據(jù)構(gòu)造Fig.2 Data construction of the ideal reconstruction prior super-resolution algorithm

根據(jù)上述的圖像自相似性擴(kuò)展規(guī)律可知，如果X 和X′相對(duì)于Y 和Y′足夠清晰，那么在X 和X′中抽取的圖像片Xi和（xi∈Ra2，a 為抽取圖像片的尺寸），應(yīng)該能夠在其對(duì)應(yīng)的低分辨率版本Y 和Y′中找到重現(xiàn)，即存在圖像片yj和，其外觀與xi和高度相似，即圖像片xi和在Y 和Y′的圖像片聯(lián)合的概率密度函數(shù)中以最高的概率存在.

基于上述分析，將圖像的超分辨率問(wèn)題構(gòu)造如下：對(duì)于未知的高分辨率圖像片xi，先構(gòu)造訓(xùn)練數(shù)據(jù)集，抽取Y 和Y′中的圖像片進(jìn)行連結(jié)，得到訓(xùn)練數(shù)據(jù)集{yj；}，其中yj和表示分別從Y 和Y′中抽取的第j 個(gè)圖像片.將理想的高分辨率圖像X 中抽取的圖像片xi和缺失高頻成分的高分辨率圖像X′中對(duì)應(yīng)的圖像片相連結(jié)，得到向量[xi；].根據(jù)圖像的自相似規(guī)律可知：[xi；]在訓(xùn)練集合{[yj}中的概率密度函數(shù)中應(yīng)以最高的概率存在.考慮到圖像內(nèi)容本身有很強(qiáng)的連貫一致性，為了使得到的概率密度函數(shù)更準(zhǔn)確，在構(gòu)造xi的訓(xùn)練集時(shí)，我們?cè)赮 和Y′中分別設(shè)定一個(gè)w×w 的滑動(dòng)窗口，其當(dāng)前中心位置與xi位置相同，僅將窗口中的圖像片集合作為xi的訓(xùn)練集，窗口外的內(nèi)容不參與圖像片xi的計(jì)算.考慮到窗口內(nèi)能夠抽取的圖像片有限，參與計(jì)算的樣本可能不足，我們將窗口中的內(nèi)容進(jìn)行旋轉(zhuǎn)和鏡像操作，并從這些旋轉(zhuǎn)和鏡像圖像對(duì)應(yīng)的窗口中抽取圖像片以此擴(kuò)充訓(xùn)練樣本.

2.2 自相似先驗(yàn)設(shè)計(jì)

對(duì)于每個(gè)圖像片xi所使用的訓(xùn)練集合{[yj；y′j]}，yj∈Ra2∈Ra2，引入高斯混合模型逼近訓(xùn)練集的概率密度函數(shù)，如式（6）所示：

然而，在實(shí)際執(zhí)行過(guò)程中，如果對(duì)每一個(gè)高分辨率圖像片的估計(jì)都使用EM 算法進(jìn)行模型訓(xùn)練，會(huì)導(dǎo)致算法的執(zhí)行異常復(fù)雜，不能在可容忍時(shí)間范圍內(nèi)結(jié)束計(jì)算.為了解決這一問(wèn)題，使用參數(shù)自動(dòng)更新的EM 算法進(jìn)行模型訓(xùn)練[30].由于相鄰兩個(gè)高分辨率圖像片存在內(nèi)容重復(fù)，其對(duì)應(yīng)的參數(shù)間有著密切的關(guān)系，后一個(gè)圖像片的參數(shù)集能夠借助前一個(gè)圖像片模型的訓(xùn)練結(jié)果，僅使用新出現(xiàn)的樣本對(duì)參數(shù)集進(jìn)行更新，既能夠快速完成訓(xùn)練，又能夠保證模型的準(zhǔn)確程度.圖3 中算法詳細(xì)地列出了模型參數(shù)更新的具體步驟.

圖3 理想重建圖像超分辨率算法偽代碼Fig.3 The pseudocode of ideal reconstruction prior super resolution algorithm

對(duì)于未知的高分辨率圖像X，把從中抽取的圖像片xi和在圖像X′中相同位置的圖像片進(jìn)行連結(jié)，得到對(duì)應(yīng)的連結(jié)向量[xi；]，它在訓(xùn)練集合的概率密度函數(shù)中存在的概率可以表示為：

進(jìn)而可以發(fā)現(xiàn)xi的條件概率服從一個(gè)特定的高斯分布：

式中：μXi為這個(gè)高斯分布的均值向量，∑Xi為這個(gè)高斯分布的協(xié)方差矩陣，它們的表達(dá)式分別為：

式（12）表示在第i 個(gè)圖像片所對(duì)應(yīng)的高斯混合模型分布中，第個(gè)高斯成分對(duì)應(yīng)的公共因子值最大，N 表示在圖像X 中抽取圖像片的總數(shù).因此圖像片xi對(duì)應(yīng)的特定高斯分布的均值向量μXi和協(xié)方差矩陣∑Xi可以近似表示為：

通過(guò)上述推導(dǎo)，理想的重建圖像中任意抽取的圖像片x 其自相似先驗(yàn)的具體表達(dá)式為：

進(jìn)而，整幅圖像的自相似性先驗(yàn)表示為：

式中：N 為在未知超分辨率圖像X 中抽取的圖像片數(shù)量；Pi為一個(gè)預(yù)先設(shè)定的抽取矩陣，用于抽取X 中的第i 個(gè)圖像片.由于式（15）（16）中所描述的先驗(yàn)知識(shí)是對(duì)未知的高分辨率圖像中的每一個(gè)圖像片在較低尺度中重現(xiàn)的概率進(jìn)行估計(jì)，是對(duì)理想重建高分辨率圖像的一種刻畫(huà)，因此將這一先驗(yàn)知識(shí)稱為理想重建圖像自相似先驗(yàn).

2.3 高分辨率圖像重建

先驗(yàn)的表達(dá)式確定后，該算法的成本函數(shù)就能夠通過(guò)這個(gè)具體先驗(yàn)表達(dá)式進(jìn)一步構(gòu)造出來(lái).在本文的超分辨率重建算法中，要求得到的超分辨率重建結(jié)果在滿足理想重建圖像自相似性先驗(yàn)的同時(shí)，重建的高分辨率圖像在通過(guò)成像式（1）處理后，還應(yīng)與輸入的低分辨率圖像盡可能的相似.為了兼顧這兩個(gè)要求，通過(guò)加權(quán)求和的形式整合這兩項(xiàng)表達(dá)式，將該算法的成本函數(shù)設(shè)計(jì)為：

其中第一項(xiàng)稱為保真項(xiàng)，它能夠使得估計(jì)的高分辨率圖像X 在經(jīng)過(guò)退化模型處理后得到的結(jié)果與觀察圖像盡可能的一致；第二項(xiàng)是先驗(yàn)項(xiàng)，用于約束重建的高分辨率圖像滿足尺度間自相似性.用于兩項(xiàng)間的權(quán)衡.這個(gè)成本函數(shù)的求解較為簡(jiǎn)單，可直接對(duì)式（17）進(jìn)行求導(dǎo)，并令導(dǎo)數(shù)為0，即可得到關(guān)于X 的表達(dá)式，進(jìn)一步整理可以得到超分辨率圖像的最終估計(jì)結(jié)果：

然而在重建高分辨率圖像X 表達(dá)式的計(jì)算過(guò)程中，需要操作的矩陣通常具有極大的規(guī)模，如下采樣矩陣D、濾波矩陣H 和抽取矩陣Pi，這樣的計(jì)算方式占用內(nèi)存空間過(guò)大、耗時(shí)且復(fù)雜，對(duì)于普通計(jì)算設(shè)備而言，極易造成內(nèi)存溢出；同時(shí)也考慮到輸入的低分辨率圖像存在噪聲、模糊等情形.為了解決這一問(wèn)題，嘗試使用“分解”的策略進(jìn)行解決.針對(duì)每一個(gè)圖像片xi，在先驗(yàn)給定的前提下，借助它的后驗(yàn)概率密度函數(shù)進(jìn)行計(jì)算，如式（19）所示：

根據(jù)前述算法的描述，可以完成算法的一次迭代，通過(guò)判斷當(dāng)前X 和X′的差異是否足夠小，以決定算法是否需要執(zhí)行下一次迭代.當(dāng)滿足輸出條件時(shí)，即可直接輸出X 作為超分辨率重建的結(jié)果，這個(gè)超分辨率過(guò)程的偽代碼如圖3 所示.最后，在圖4 中給出了本文算法對(duì)一幅彩色圖像進(jìn)行超分辨率重建的完整過(guò)程.

圖4 理想重建圖像自相似性超分辨率算法重建彩色圖像框架Fig.4 The color image super-resolution framework of the ideal reconstruction self-similarity prior algorithm

3 實(shí)驗(yàn)結(jié)果與分析

通過(guò)主觀視覺(jué)觀察和客觀參數(shù)比較兩種方式驗(yàn)證理想重建圖像自相似性先驗(yàn)超分辨率算法的效率.首先對(duì)算法流程中需要設(shè)定的參數(shù)進(jìn)行說(shuō)明，然后給出本文算法和同類以及前沿算法重建圖像質(zhì)量、消耗時(shí)間的比較，最后對(duì)該算法的性能做進(jìn)一步的理論分析.

3.1 實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)過(guò)程中，為了模擬成像過(guò)程，構(gòu)建理想高分辨率圖像和低分辨率輸入圖像測(cè)試樣本對(duì)，用于測(cè)試算法的性能，我們?cè)谝恍┏Ｓ脺y(cè)試集中隨機(jī)抽取樣本作為理想的高分辨率目標(biāo)，將這些抽取到的圖像用雙三次方法下采樣s 倍，并用高斯低通濾波器（均值為0，方差為0.5）對(duì)它們?yōu)V波，以生成用于輸入的低分辨率圖像.將這些低分辨率圖像輸入到測(cè)試算法中，超分辨率s 倍，得到的重建結(jié)果和計(jì)算過(guò)程消耗的時(shí)間可用于評(píng)價(jià)該算法.一般而言，圖像重建結(jié)果越接近理想目標(biāo)圖像，計(jì)算過(guò)程消耗時(shí)間越少，算法的性能越高.

本文算法在首次迭代執(zhí)行前，僅有輸入圖像Y已知，先將Y 雙三次上采樣s 倍的結(jié)果初始化為X′，再將X′使用雙三次下采樣s 倍用于初始化Y′.由于圖像尺度間的自相似性有隨著尺度的降低而減弱的特性，當(dāng)超分倍數(shù)較大時(shí)，直接放大到目標(biāo)倍數(shù)會(huì)降低重建圖像質(zhì)量，為此我們采用逐級(jí)放大的方式進(jìn)行處理，每次放大2 倍，并將超分辨率結(jié)果作為算法的輸入再次放大，直到達(dá)到目標(biāo)倍數(shù)為止，最后一次放大不足2 倍時(shí)，直接放大到目標(biāo)倍數(shù).對(duì)于輸入的彩色圖像，先將這幅圖像從RGB 空間轉(zhuǎn)換到Y(jié)UV空間，由于代表亮度信息的Y 通道對(duì)人眼較為敏感，用本文提出的理想重建圖像自相似性超分辨率算法進(jìn)行處理；代表顏色信息的U、V 通道對(duì)人眼的刺激相對(duì)遲弱，U、V 通道直接用雙三次上采樣方法放大到目標(biāo)倍數(shù)，再將重建結(jié)果從YUV 空間轉(zhuǎn)換到RGB空間進(jìn)行顯示及保存.

另外，考慮到隨著算法迭代次數(shù)增加，重建結(jié)果中包含噪聲的能級(jí)應(yīng)逐漸減少，將式（20）中描述噪聲等級(jí)的參數(shù)設(shè)定為，（T 為算法的迭代次數(shù)）.由于此算法考察的是圖像自相似性，不同尺度間的圖像片抽取尺寸相同，式（20）中圖像片尺寸參數(shù)設(shè)定為a=7，即抽取尺寸為7×7 的圖像片.算法中的每一個(gè)未知超分辨率圖像片都需要在輸入圖像Y 和它的低頻版本中對(duì)應(yīng)的位置處設(shè)置窗口，以便抽取訓(xùn)練樣本.若窗口尺寸設(shè)置過(guò)大，則樣本間的一致性不強(qiáng)，影響模型的準(zhǔn)確程度；若窗口尺寸設(shè)置過(guò)小，則會(huì)因?yàn)槌槿〉降臉颖緮?shù)量不足，導(dǎo)致模型欠擬合.本文將窗口尺寸設(shè)定為w=32，即每一個(gè)估計(jì)的圖像片都在輸入圖像與之相同中心位置32×32 的窗口中抽取訓(xùn)練樣本.對(duì)于邊界附近的超分辨率圖像片，為了能夠定位到相應(yīng)的窗口，需要對(duì)圖像Y 和Y′做鏡像擴(kuò)展處理.與窗口尺寸相匹配的高斯混合模型中高斯成分的個(gè)數(shù)設(shè)置為K=3.

3.2 主觀觀察結(jié)果

為了驗(yàn)證本文算法的有效性，我們選擇與本文形式類似方法（包括Glasner[8]、GPR[16]、Self-ExSR[17]和MMPM[29]）、借助外界訓(xùn)練集合方法（ScSR[2]、ASDS[31]、A+[4]、SPM[32]和JOR[33]）以及深度學(xué)習(xí)方法（SRCNN[5]、FSRCNN[6]、lapSRN[7]）進(jìn)行了一系列的比對(duì)實(shí)驗(yàn).所選擇的比較算法除Glasner 算法外均從作者主頁(yè)下載，Glasner 算法的代碼為我們使用Matlab2019b 軟件自行編寫，且效果與文獻(xiàn)[8]中給出的結(jié)果基本一致.本文算法和參與比較的算法均在Intel（R）Core（TM）i7-5600 CPU@2.60 GHz，8.00 GB 緩存的硬件環(huán)境，Windows 7 專業(yè)版64 位操作系統(tǒng)，Matlab2019b 的軟件環(huán)境下進(jìn)行實(shí)驗(yàn).

如圖5 和圖6 所示，顯示的是圖像“parrot”和“fence”使用多種不同方法分別放大3 倍和4 倍的結(jié)果.觀察用線框標(biāo)識(shí)出的局部子區(qū)域的放大顯示結(jié)果，可以發(fā)現(xiàn)在顯著邊緣位置、紋理細(xì)節(jié)豐富區(qū)域能夠明顯地保持邊緣和紋理的結(jié)構(gòu)，能恢復(fù)出更多正確的細(xì)節(jié)，使圖像看上去更加清晰、自然.兩組超分辨 率 結(jié)果 中，ScSR、Glasner、Self-ExSR、GPR 以 及SPM 方法重建的超分辨率圖像在顯著邊緣位置都出現(xiàn)了可見(jiàn)的模糊和噪聲.ASDS、A+、JOR、MMPM 和本文提出的方法超分辨結(jié)果較為清晰，在顯著邊緣及紋理區(qū)域附近并未出現(xiàn)可見(jiàn)的噪聲和模糊等形式的偽影.MMPM 方法和我們的方法恢復(fù)出了較多的高頻信息，觀察“parrot”圖像中鸚鵡的眼睛和羽毛區(qū)域以及“fence”圖像中帶有平行結(jié)構(gòu)的“籬笆”，可以看出我們的方法對(duì)圖形結(jié)構(gòu)保持得更加完整，幾乎觀察不到可見(jiàn)的變形.

圖5 圖像“parrot”超分辨率放大3 倍結(jié)果Fig.5 The comparison of super resolution 3×results of the image“parrot”

圖6 圖像“fence”放大4 倍結(jié)果Fig.6 The comparison of super resolution 4×results of the image“fence”

圖7 是方法和深度學(xué)習(xí)方法SRCNN 和lapSRN對(duì)圖像“barbara”超分辨率放大4 倍的比較結(jié)果.測(cè)試圖像“barbara”包含豐富的紋理信息，在超分辨率過(guò)程中，這些紋理結(jié)構(gòu)雖有固定的模式，卻又不盡相同，在超分辨率過(guò)程中極易產(chǎn)生變形或引入噪聲.觀察圖7 可以發(fā)現(xiàn)，我們的方法產(chǎn)生的超分辨率結(jié)果和理想高分辨率圖像最為接近，基本上保持住了紋理區(qū)域的外觀.SRCNN、lapSRN 方法產(chǎn)生的超分辨率結(jié)果都使得紋理的基本結(jié)構(gòu)發(fā)生了嚴(yán)重的變形，且能夠觀察到有明顯噪聲出現(xiàn).

圖7 “barbara”放大4 倍的比較結(jié)果Fig.7 The comparison of super resolution 4×results of the image“barbara”

3.3 客觀評(píng)價(jià)結(jié)果

為了進(jìn)一步說(shuō)明理想圖像自相似性先驗(yàn)超分辨率算法的性能，借助客觀評(píng)價(jià)參數(shù)對(duì)我們的方法和其他方法進(jìn)行比較，主要使用的評(píng)價(jià)指標(biāo)包括峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity Index Measure，SSIM）.一般來(lái)說(shuō)，這兩個(gè)評(píng)價(jià)參數(shù)的數(shù)值越大，代表算法得到的重建圖像質(zhì)量越好.在BSD500 圖像集合中隨機(jī)抽取12 幅圖像，如圖8 所示，這些圖像的內(nèi)容囊括人物、動(dòng)物、建筑物和風(fēng)景等，包含顯著邊緣、復(fù)雜紋理和精細(xì)結(jié)構(gòu)等內(nèi)容，具有極強(qiáng)的代表性.按照前述步驟操作，將這些圖像進(jìn)行超分辨率放大3 倍處理，其客觀參數(shù)比較結(jié)果如表1 所示.

圖8 BSD500 圖像集合中隨機(jī)抽取的12 幅測(cè)試圖像Fig.8 12 testing images selected randomly from BSD500

在表1 中，每一行數(shù)據(jù)代表一幅圖像使用不同方法超分辨率的結(jié)果，每一列代表一種方法超分辨率處理不同圖像的結(jié)果，其中每一幅圖像對(duì)應(yīng)兩行數(shù)據(jù)，第一行為PSNR 結(jié)果，第二行為SSIM 結(jié)果.觀察表1 可以發(fā)現(xiàn)，在PSNR 參數(shù)比較中，表1 中我們的方法有10 張圖像結(jié)果最優(yōu)；SSIM 參數(shù)比較中，我們的方法有11 張圖像結(jié)果最優(yōu)（最優(yōu)結(jié)果均用加粗字體標(biāo)出）.表1 中我們的方法沒(méi)有得到最優(yōu)結(jié)果的圖像，它們的評(píng)價(jià)參數(shù)數(shù)值也相對(duì)較大，都取得了次優(yōu)結(jié)果.另外，觀察表1 中評(píng)價(jià)參數(shù)平均值，可以看出我們方法的PSNR 和SSIM 平均值都排在第1 位，我們方法的PSNR 平均值高于MMPM 算法0.529 db，SSIM 平均值高于MMPM 算法0.030.為了從統(tǒng)計(jì)的角度出發(fā)驗(yàn)證本文算法的有效性，以BSD500 圖像集合全體作為測(cè)試對(duì)象，用本文算法和參與比較的11 種前沿算法分別對(duì)測(cè)試集中的圖像進(jìn)行3 倍放大.其性能比較結(jié)果如圖9 所示，圖中每一個(gè)實(shí)心圓點(diǎn)代表一個(gè)算法，每個(gè)點(diǎn)的橫坐標(biāo)表示算法的平均消耗時(shí)間，縱坐標(biāo)表示算法重建圖像的PSNR 均值.從圖9 中可以看出，本文算法平均PSNR 值最大，圖像質(zhì)量最好.該算法放大一幅BSD500 中的圖像平均消耗時(shí)間約1 min，明顯少于GPR 和ASDS 算法，與Self-ExSR 算法耗時(shí)相近.

圖9 BSD500 圖像集超分辨率放大3 倍的PSNR 均值和平均消耗時(shí)間比較Fig.9 The comparison of 3×super-resolution results in BSD500 by average PSNR and time consuming

表1 圖像超分辨率放大3 倍PSNR、SSIM 比較結(jié)果Tab.1 The comparison of 3×super-resolution results by PSNR and SSIM

3.4 分析討論

首先，聯(lián)合高斯混合模型建模在形式上不同于訓(xùn)練字典下的稀疏算法，它在解決超分辨率問(wèn)題中有先天優(yōu)勢(shì).因?yàn)槌直媛食上裰械臑V波矩陣和下采樣矩陣均為非單位矩陣，在與字典進(jìn)行計(jì)算時(shí)，會(huì)導(dǎo)致訓(xùn)練字典的互相干性增大[24]，降低重建圖像質(zhì)量，而基于聯(lián)合高斯混合模型的超分辨率方法不存在這樣的問(wèn)題.

在挖掘理想重建圖像自相似性的超分辨率算法中，對(duì)每一個(gè)待超分辨率的圖像片，該算法以當(dāng)前圖像片的位置為中心構(gòu)建窗口，僅使用少量的高斯成分對(duì)圖像片空間位置附近的樣本建模.由于這些圖像片位置彼此相鄰，描述的內(nèi)容相似，具有較強(qiáng)的一致性，能使訓(xùn)練得到的高斯混合模型更加準(zhǔn)確.同理，Δik值也會(huì)體現(xiàn)出極強(qiáng)的稀疏性.

最后，已有方法都是將訓(xùn)練得到的高斯混合模型作為先驗(yàn)，并假定所有的圖像片都能由模型中后驗(yàn)概率最高的高斯成分生成.而我們的方法對(duì)這個(gè)高斯混合模型做進(jìn)一步推導(dǎo)，把推導(dǎo)結(jié)論（每個(gè)未知的高分辨率圖像片都服從一個(gè)特定的高斯分布）作為先驗(yàn)知識(shí)，設(shè)計(jì)成本函數(shù).二者的區(qū)別在于后者進(jìn)一步挖掘了后驗(yàn)概率最高的高斯成分，利用了這個(gè)高斯成分的協(xié)方差信息進(jìn)行計(jì)算，使得圖像重建效果優(yōu)于前者.

4 總結(jié)

在超分辨率研究工作中，我們發(fā)現(xiàn)理想重建高分辨率圖像的自相似性體現(xiàn)最為強(qiáng)烈，而受降質(zhì)因素影響的重建高分辨率圖像自相似性會(huì)明顯減弱.

當(dāng)使用高斯混合模型對(duì)這一現(xiàn)象進(jìn)行描述時(shí)，通過(guò)對(duì)模型進(jìn)行推導(dǎo)，可以發(fā)現(xiàn)每一個(gè)理想的高分辨率圖像片的自相似性都符合一個(gè)特定的高斯分布.將這個(gè)規(guī)律作為先驗(yàn)知識(shí)添加到超分辨率框架中，顯著提升了重建超分辨率圖像的質(zhì)量.該方法無(wú)需使用外界圖像進(jìn)行訓(xùn)練，僅通過(guò)輸入圖像和其對(duì)應(yīng)的低頻版本為每個(gè)重建圖像片建模，以一種在線訓(xùn)練的方式聯(lián)合構(gòu)建高斯混合模型.隨著輸入圖像的變化，模型參數(shù)能夠自動(dòng)進(jìn)行調(diào)整，以適應(yīng)新的情況.因此該算法較其他預(yù)測(cè)模型有著更強(qiáng)的魯棒性，尤其適用于數(shù)字電視高清顯示等需要較大超分辨率倍數(shù)但又無(wú)額外參數(shù)存儲(chǔ)裝置的場(chǎng)景.