李 雪，蔣愛(ài)民，劉小峰，施鈴泉

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022）

·微機(jī)軟件·

基于稀疏表示的圖像超分辨率重構(gòu)算法?

李 雪，蔣愛(ài)民，劉小峰，施鈴泉

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022）

為提高單幅圖像的分辨率，提出一種基于稀疏表示的圖像超分辨率重構(gòu)方法。該方法的核心是聯(lián)合訓(xùn)練高分辨率和低分辨率字典，然后利用所得字典求解高、低分辨率下圖像塊共有的稀疏表示系數(shù)。與已有的基于稀疏表示的圖像超分辨重構(gòu)算法相比，該算法在求解稀疏表示系數(shù)時(shí)并未采用拉格朗日乘子將稀疏度和重構(gòu)誤差相結(jié)合，而是利用對(duì)偶模型求解原始的帶約束優(yōu)化問(wèn)題。實(shí)驗(yàn)表明，與其他圖像超分辨率重構(gòu)方法相比，該方法所需手動(dòng)調(diào)節(jié)參數(shù)較少，重構(gòu)效果較好。

稀疏表示；超分辨率重構(gòu)；二階錐規(guī)劃；稀疏編碼

1 引 言

隨著圖像在各行各業(yè)中日益廣泛的應(yīng)用，人們對(duì)圖像分辨率的要求也越來(lái)越高。然而單從硬件方面來(lái)提高傳感器的分辨率代價(jià)昂貴，因此需要在不改變傳感器的前提下，通過(guò)圖像處理算法來(lái)獲得更高空間分辨率的圖像。圖像超分辨率重構(gòu)就是提高圖像分辨率的方法之一。圖像超分辨率（superresolution，SR）重構(gòu)是指由一幅或幾幅低分辨率（low-resolution，LR）圖像重構(gòu)出原始高分辨率（high-resolution，HR）圖像［1-3］的過(guò)程。SR已在遙感成像、視頻監(jiān)控、醫(yī)學(xué)成像、高清電視等領(lǐng)域獲得重大應(yīng)用。

2 圖像超分辨率重構(gòu)方法研究現(xiàn)狀

傳統(tǒng)圖像超分辨率重構(gòu)的方法是通過(guò)融合多幅低分辨率圖像來(lái)恢復(fù)高分辨率圖像。為了達(dá)到重構(gòu)目的，首先需要根據(jù)高分辨率圖像和低分辨率圖像之間的對(duì)應(yīng)關(guān)系建立一個(gè)模型，SR重構(gòu)則是基于這一模型的假設(shè)及先驗(yàn)信息的逆問(wèn)題。由于從高分辨率圖像轉(zhuǎn)換到低分辨率圖像的過(guò)程中丟失了很多信息，重構(gòu)問(wèn)題就變成了一個(gè)欠定問(wèn)題，重構(gòu)結(jié)果并不唯一。為了較為可靠地重構(gòu)高分辨率圖像，研究人員相繼提出了一些解決方法，如最大后驗(yàn)概率法（maximum a-posteriori，MAP）［4］。然而這一方法在放大因子很大或沒(méi)有足夠多的低分辨率圖像（尤其是單幅輸入圖像）時(shí)的效果會(huì)急劇下降［5］。為了解決這一問(wèn)題，研究人員又提出了另一種超分辨率重構(gòu)方法——基于學(xué)習(xí)的超分辨率重構(gòu)方法。這一方法利用學(xué)習(xí)到的共有先驗(yàn)知識(shí)來(lái)預(yù)測(cè)低分辨率和高分辨率圖像塊之間的對(duì)應(yīng)關(guān)系［6-10］。

文獻(xiàn)［6］中提出了一種基于學(xué)習(xí)的圖像超分辨率重構(gòu)方法，這種方法是通過(guò)馬爾可夫隨機(jī)場(chǎng)（Markov Random Field，MRF）來(lái)學(xué)習(xí)、預(yù)測(cè)低分辨率圖像與高分辨率圖像之間的對(duì)應(yīng)關(guān)系。文獻(xiàn)［11］中Sun等人又對(duì)其做了進(jìn)一步改進(jìn)，通過(guò)先驗(yàn)細(xì)節(jié)信息加強(qiáng)了重構(gòu)圖像的邊緣輪廓部分。然而以上兩種方法均需要由大量低分辨率和高分辨率圖像塊構(gòu)成的訓(xùn)練集，并且目標(biāo)高分辨率圖像中的每個(gè)圖像塊都來(lái)自于訓(xùn)練集中與其最匹配的一個(gè)圖像塊。文獻(xiàn)［9］中Chang等人則采用局部線性嵌入法（Locally Linear Embedding，LLE［12］）來(lái)重建目標(biāo)圖像，該圖像中的每個(gè)高分辨率圖像塊都是由訓(xùn)練集中的k個(gè)最近鄰域塊得到的。因此，與前面兩種方法相比，該方法需要較少的訓(xùn)練集。然而k值選取不當(dāng)會(huì)帶來(lái)欠擬合或過(guò)擬合問(wèn)題，從而導(dǎo)致重構(gòu)圖像模糊。

文獻(xiàn)［13］中Yang等人提出了一種利用稀疏表示進(jìn)行圖像超分辨率重構(gòu)的算法。他們通過(guò)一組高、低分辨率圖像間的關(guān)系來(lái)學(xué)習(xí)一組稀疏表示字典，使訓(xùn)練集中的每個(gè)圖像塊都能由所得字典進(jìn)行稀疏表示。在超分辨率重構(gòu)過(guò)程中，對(duì)于輸入的低分辨率圖像中的每個(gè)圖像塊而言，首先獲得其在低分辨率字典下的稀疏表示系數(shù)，然后對(duì)應(yīng)的高分辨率圖像塊可以由高分辨率字典和該稀疏系數(shù)的乘積得到。與前面幾種方法相比較，該方法在保證了足夠先驗(yàn)知識(shí)的同時(shí)減少了重構(gòu)時(shí)所需的數(shù)據(jù)量，提高了算法的效率。

這里仍然延續(xù)文獻(xiàn)［13］所提出的重構(gòu)思路，但是在稀疏編碼部分，通過(guò)將相應(yīng)問(wèn)題轉(zhuǎn)化為二階錐規(guī)劃（Second-Order Cone Programming，SOCP）問(wèn)題，并利用高效數(shù)值算法求解此類(lèi)問(wèn)題。采用這一思路，可以有效避免由于參數(shù)選擇不當(dāng)所導(dǎo)致的算法性能下降。實(shí)驗(yàn)結(jié)果表明，該算法在重構(gòu)圖像主觀視覺(jué)效果上有明顯改進(jìn)，獲得了主客觀均較滿意的超分辨率圖像。

3 基于稀疏表示的圖像超分辨率重構(gòu)算法及實(shí)現(xiàn)

3.1 基于稀疏表示的圖像超分辨率重構(gòu)模型

根據(jù)調(diào)和分析理論，圖像x∈Rn可由一組原子｛fi｝i＝1，...，K線性組合所得，將這些原子作為列向量構(gòu)成字典D∈Rn×K，從而圖像x可以表示為：

其中a∈RK是系數(shù)向量。圖像的稀疏表示理論認(rèn)為在合適的字典D下圖像x總存在稀疏的表示形式，即系數(shù)a中只有少量的非零元素。

單幅圖像超分辨率問(wèn)題可以描述為：已知LR圖像Y，重構(gòu)出對(duì)應(yīng)的理想HR圖像x，問(wèn)題模型如下：

其中S∈Rk×n為下采樣矩陣，H為模糊算子。因?yàn)槌直媛手貥?gòu)是病態(tài)欠定問(wèn)題，滿足以上等式的高分辨率圖像Y具有無(wú)窮多種情況。因此需要一定的先驗(yàn)知識(shí)來(lái)保證解的唯一性和穩(wěn)定性。為了這一目的，可以將信號(hào)的稀疏表示模型引入問(wèn)題的求解過(guò)程。假設(shè)理想的HR圖像塊x能夠表示為x＝Dhah，而其相對(duì)應(yīng)的LR圖像塊y能表示為y＝Dlal。聯(lián)合式（2），得到

如果選擇合適的HR／LR超完備字典對(duì)，則理想HR圖像塊在字典Dh下的稀疏表示可近似由捕獲的LR圖像在字典Dl下的稀疏分解來(lái)表示，即ah≈al。此時(shí)，由y＝Dla求得稀疏表示系數(shù)a，再由x＝Dha來(lái)獲得SR圖像塊。

從上述可知，稀疏表示超分辨率重構(gòu)方法的關(guān)鍵是構(gòu)建適當(dāng)?shù)淖值鋵?duì)和快速精確的稀疏編碼方法。下面主要從這兩個(gè)方面討論基于稀疏表示的單幅圖像超分辨率重構(gòu)。

3.2 稀疏字典對(duì)學(xué)習(xí)

根據(jù)訓(xùn)練樣本X＝｛x1，x2，...，xt｝，學(xué)習(xí)稀疏字典D，如下式

其中Z為X的稀疏表示，l1范數(shù)保證系數(shù)的稀疏性，l2范數(shù)約束重構(gòu)誤差。

為對(duì)高、低分辨率圖像特征塊統(tǒng)一進(jìn)行稀疏關(guān)聯(lián)學(xué)習(xí)，定義訓(xùn)練樣本對(duì)P＝｛Xh，Yl｝，其中Xh＝｛x1，x2，...，xn｝是一組HR圖像塊，Yl＝｛y1，y2，...，yn｝是一組對(duì)應(yīng)的LR圖像特征塊。因?yàn)槿祟?lèi)視覺(jué)對(duì)圖像中的高頻信息比較敏感，為了保留這一信息，可以通過(guò)取LR圖像塊的一階、二階導(dǎo)數(shù)來(lái)獲得對(duì)應(yīng)LR圖像塊的特征信息［9］。

目的是通過(guò)對(duì)的學(xué)習(xí)來(lái)估計(jì)稀疏字典對(duì)，使HR圖像塊和相應(yīng)的LR圖像塊具有相同的稀疏表示。基于以上考慮，構(gòu)建訓(xùn)練問(wèn)題目標(biāo)函數(shù)：

Dh表示HR圖像塊的稀疏字典，Dl為對(duì)應(yīng)的LR圖像塊的稀疏字典。N和M分別是HR／LR圖像塊向量表示方式的維數(shù)，引入是為了平衡HR／LR圖像塊尺度問(wèn)題對(duì)整個(gè)問(wèn)題的影響。式（5）可簡(jiǎn)寫(xiě)為

3.3 基于稀疏編碼的超分辨率模型

在獲得HR／LR超完備字典對(duì)后，則可對(duì)輸入的低分辨率圖像進(jìn)行重構(gòu)。已知每一個(gè)輸入的LR圖像的局部特征塊y，根據(jù)低分辨率字典Dl計(jì)算其稀疏表示系數(shù)a，再根據(jù)高分辨率字典Dh和系數(shù)a來(lái)估計(jì)相應(yīng)的HR圖像塊x。其中的稀疏表示問(wèn)題可以表示為：

其中，F(xiàn)是線性特征提取矩陣。

公式（7）對(duì)每個(gè)圖像塊單獨(dú)進(jìn)行處理，并沒(méi)有考慮相鄰圖像塊間的匹配問(wèn)題。用類(lèi)似文獻(xiàn)［6］中的one-pass算法來(lái)確保其兼容性，對(duì)（7）式進(jìn)行改進(jìn)得到以下優(yōu)化問(wèn)題：

其中P是用于提取當(dāng)前估計(jì)的目標(biāo)塊與其相鄰塊的重疊區(qū)域，w表示已估計(jì)高分辨率圖像塊在重疊區(qū)域的估計(jì)值。

采用基于二階錐規(guī)劃的方法［14］來(lái)求解問(wèn)題（8），該方法可以求解帶有多個(gè)約束條件的稀疏編碼問(wèn)題。為了方便描述，將（8）式重新表述為

其中y1＝Fy，D1＝FDl，Y2＝w，D2＝pDh。求解過(guò)程從初始系數(shù)a0開(kāi)始，采用循環(huán)迭代的方式進(jìn)行。在當(dāng)前迭代中，通過(guò)引入附加項(xiàng)，將（9）中約束條件修改為

其中a（l-1）是最后一次迭代的解。為了保證以上約束條件所定義的集合為一凸集，ck必須滿足，其中λmax（·）表示對(duì)稱矩陣的最大特征值。實(shí)際中，。用（10）式代替式（9），得到

其中λ＝［λ1，λ2］T是拉格朗日乘子。為了獲得對(duì)偶模型，需要在給定的拉格朗日乘子下最小化L（a，λ），這一過(guò)程可以分解為一系列的標(biāo)量?jī)?yōu)化問(wèn)題：

其中M表示系數(shù)a的維數(shù)，上述標(biāo)量?jī)?yōu)化問(wèn)題的最優(yōu)解可以表示為：

其中Z（l）為一集合，包含（14）式中向量a的所有零分量的索引，即Z（l）＝｛n｜an≠0，an∈a｝。p（l）的每個(gè)元素由確定。為了便于求解，引用輔助變量z＝［z1，z2，...zn］T來(lái)表示（15）式中的，則（15）式可以寫(xiě)成

式（16）是二階錐規(guī)劃問(wèn)題，可利用凸優(yōu)化工具包加以求解。假設(shè)λ*是（16）式的最優(yōu)解，新的稀疏系數(shù)可以通過(guò)（14）式獲得，并帶入下一次循環(huán)。待循環(huán)結(jié)束，所得稀疏系數(shù)為a，再根據(jù)x＝Dha重構(gòu)出HR圖像塊的估計(jì)值。

3.4 全局重構(gòu)約束條件

通過(guò)對(duì)每一高分辨率圖像塊求解稀疏系數(shù)，并估計(jì)圖像塊中的像素值，從而獲得高分辨率估計(jì)圖像X0。為了滿足全局重構(gòu)約束Y＝SHX（或使得兩者足夠接近），進(jìn)一步構(gòu)建如下優(yōu)化問(wèn)題：

（17）式可以通過(guò)反投影算法（back-projection，BP）［15-16］求解，迭代公式如下：

其中Xt是第t次迭代后高分辨率圖像的估計(jì)值，p是反投影濾波器，↑s表示因子為s的上采樣運(yùn)算。將迭代得到的結(jié)果X*作為最終的超分辨率圖像估計(jì)值。

整個(gè)超分辨率過(guò)程如下：

算法稀疏表示超分辨率算法

1）輸入：訓(xùn)練字典Dl和Dh，低分辨率圖像Y，圖像塊大小n，重疊像素個(gè)數(shù)m。

2）從Y的左上角逐個(gè)取n×n圖像塊y，并保留m個(gè)像素寬的重疊區(qū)域。

根據(jù)SOCP稀疏編碼方法計(jì)算稀疏表示系數(shù)的估計(jì)值a*。

再由a*計(jì)算高分辨率圖像塊的估計(jì)值x＝Dha*。再把圖像塊x依次排列組成高分辨率圖像X0。

3）結(jié)束

4）用反投影方法找到滿足重構(gòu)約束條件的最佳估計(jì)值X*：

5）輸出：高分辨率圖像X*。

4 實(shí)驗(yàn)仿真與分析

本實(shí)驗(yàn)選擇一些自然圖像作為訓(xùn)練集，進(jìn)行尺度放大2倍的超分辨率實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果與傳統(tǒng)的雙立方差值（Bicubic）法作比較。為了檢驗(yàn)算法性能，采用峰值信噪比（peak signal-to-noise ratio，PSNR）評(píng)價(jià)重構(gòu)圖像質(zhì)量。

4.1 參數(shù)設(shè)計(jì)

對(duì)于彩色圖像，實(shí)驗(yàn)中只取相應(yīng)的亮度通道進(jìn)行處理。從訓(xùn)練圖像集中隨機(jī)選取10000對(duì)高、低分辨率圖像塊進(jìn)行訓(xùn)練，字典中原子總數(shù)設(shè)為1024。每個(gè)圖像塊大小為5×5，水平和垂直方向上相鄰圖像塊間保留若干重疊像素。

4.2 質(zhì)量對(duì)比

對(duì)Lena圖像進(jìn)行重構(gòu)實(shí)驗(yàn)。圖1比較了文中提出的算法（簡(jiǎn)寫(xiě)為SR-SOCP）與雙立方差值（Bicubic）法的重構(gòu)結(jié)果?？梢钥吹?，與Bicubic法重構(gòu)圖像相比，SR-SOCP重構(gòu)圖像整體較為逼真，邊緣清晰，更逼近原始圖像。

在其他參數(shù)不變的情況下，針對(duì)不同重疊像素下重構(gòu)算法的性能進(jìn)行了研究，實(shí)驗(yàn)結(jié)果列于表1中?？梢钥吹剑丿B像素點(diǎn)數(shù)越多，重構(gòu)算法的性能越好。但是，即使在相鄰圖像塊無(wú)重疊像素的情況下，文中所提出的方法仍然要優(yōu)于雙立方差值法。在其他參數(shù)不變的情況下，調(diào)節(jié)稀疏編碼問(wèn)題中的重構(gòu)誤差門(mén)限值εk，所得結(jié)果列于表2中。可以看到，誤差門(mén)限對(duì)重構(gòu)算法性能的影響較小。

圖1 實(shí)驗(yàn)結(jié)果（誤差門(mén)限εk＝0.01，重疊像素設(shè)為4）

表1 超分辨率重構(gòu)圖像的PSNR對(duì)比（誤差門(mén)限εk＝0.01）

表2 超分辨率重構(gòu)圖像的PSNR對(duì)比（重疊像素設(shè)為4）

5 結(jié)束語(yǔ)

針對(duì)單幅低分辨率圖像，提出了一種基于二階錐規(guī)劃（SOCP）的稀疏表示圖像超分辨率重構(gòu)算法。因?yàn)榛赟OCP的稀疏編碼方法可以解決同時(shí)具有多個(gè)重構(gòu)約束條件的稀疏問(wèn)題，并且在稀疏編碼迭代中采用拉格朗日對(duì)偶模型來(lái)解決凸優(yōu)化的子問(wèn)題，因此有利于恢復(fù)原始稀疏信號(hào)，進(jìn)而提高了超分辨率重構(gòu)算法的精確度。實(shí)驗(yàn)仿真表明，從主客觀上本方法與經(jīng)典的雙立方插值法相比，重構(gòu)結(jié)果明顯改善。盡管如此，本方法仍存在一些改進(jìn)之處，比如減少訓(xùn)練樣本集中的圖像個(gè)數(shù)；提高超完備字典的自適應(yīng)性；減小字典尺寸；提高稀疏編碼速度等。這將是未來(lái)的主要優(yōu)化方向。

［1］ELAD M，F(xiàn)EUER A.Restoration of a single superresolution image from several blurred，noisy，and undersampled measured images［J］.IEEE Transactions on Image Processing，1997，6（12）：1646-1658.

［2］GREENSPAN H，OZG，KIRYATIN，et al.Super-resolution in MRI：Proceedings of the IEEE International Symposium on Biomedical Imaging［C］.Washington，ISBI，2002：943-946.

［3］KENNEDY JA，ISRAEL O，F(xiàn)RENKEL A，et al.Superresolution in PET imaging［J］.IEEE Transactions on Medical Imaging，2006，25（2）：137-147.

［4］HARDIE R C，BARNARD K J，ARMSTRONG E E.Joint MAP registration and high-resolution image estimation using a sequence of undersampled images［J］.IEEE Transactions on Image Processing，1997，6（12）：1621-1633.

［5］BAKER S，KANADE T.Limits on super-resolution and how to break them［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（9）：1167-1183.

［6］PICKUP L C，ROBERTS S J，ZISSERMAN A.A sampled texture prior for image super-resolution［C］.in Proceedings of Advances in Neural Information Processing Systems 16（NIPS＇03），S.Thrun，L.Saul，and B.Sch?lkopf，Eds.，MIT Press，Vancouver，British Columbia，Canada，2004：1587-1594.

［7］LIU C，SHUM H，F(xiàn)REEMAN W T.Face hallucination：Theory and practice［J］.International Journal of Computer Vision，2007，75（1）：115-134.

［8］FREEMAN W T，PASZTOR E C，CARMICHAEL O T.Learning low-level vision［J］.International journal of computer vision，2000，40（1）：25-47.

［9］WANG Q，TANG X，SHUM H.Patch based blind image super resolution［C］.proceedings of the tenth IEEE International Conrerence on Computer Vision，2005，Beijing，ICCV，2005，1：709-716.

［10］CHANG H，YEUNG D，XIONG Y.Super-resolution through neighbor embedding：Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004［C］.Washington，CVPR，1：275-282.

［11］SUN J，ZHENG N，TAO H，et al.Image hallucination with primal sketch priors：Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2003［C］.Madison，CVPR，2：11-729-36.

［12］ROWEIS S T，SAUL L K.Nonlinear dimensionality reduction by locally linear embedding［J］.Science，2000，290（5500）：2323-2326.

［13］YANG J，WRIGHT J，HUANG T S，et al.Image superresolution via sparse representation［J］.IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

［14］JIANG A，KWAN H K，ZHU Y.Peak-Error-Constrained Sparse FIR Filter Design Using Iterative SOCP［J］.IEEE Transactions on Signal Processing，2012，60（8）：4035-4044.

［15］CAPEL D.Image Mosaicing and Super-resolution［M］.Univ.Oxford，Oxford，U.K.2001.

［16］IRANIM，PELEG S.Motion analysis for image enhancement：Resolution，occlusion，and transparency［J］.Journal of Visual Communication and Image Representation，1993，4（4）：1912-1993.

Image Super-Resolution Reconstruction Algorithm Based on Sparse Representation

LIXue，JIANG Ai-min，LIU Xiao-feng，SHILing-quan
（College of IoT Engineering，Hohai University，Changzhou 213022，China）

In order to enhance the resolution of single degraded images，amethod of super-resolution reconstruction is proposed via sparse representation in this paper.The core of thismethod is to train high-and low-resolution dictionaries jointly and employ a set of common sparse coefficients to represent high-and low-resolution images under corresponding dictionaries.Compared with the existing image super-resolution reconstruction algorithms based on sparse representation，the proposed method establishes dualmodels to solve the original optimization problem in the stage of sparse coding instead of combining sparsity and reconstruction error by Lagrange multipliers.Experimental results demonstrate that，compared with other approaches，a less number of parameters aremanually set up，and the reconstruction results of thismethod are also improved.

Sparse representation；Image super-resolution；Second-order cone programming；Sparse coding

10.3969／j.issn.1002-2279.2014.01.012

TP391；TP301.6

：A

：1002-2279（2014）01-0041-05

國(guó)家自然科學(xué)基金項(xiàng)目（61101158）；中央高?；究蒲袠I(yè)務(wù)費(fèi)項(xiàng)目（2011B11214）

李雪（1989-），女（滿），遼寧錦州人，碩士研究生，主研方向：數(shù)字圖像處理。

2013-07-22