溫 佳，王慶成，楊亞楠，李 楠

（天津工業(yè)大學 電子與信息工程學院，天津 300387）

單圖像超分辨率重建是圖像處理領(lǐng)域的經(jīng)典研究內(nèi)容。一般來說，它的首要任務是從低分辨率圖像中重建丟失的高頻細節(jié)。傳統(tǒng)的基于插值的超分辨率重建技術(shù)[1-2]已經(jīng)被廣泛運用并具備快速實現(xiàn)的優(yōu)點。但是，面對圖像邊緣、不連續(xù)區(qū)域、高頻特征時，往往不能取得理想的效果。近年來，人們提出了許多具有影響力的基于實例的超分辨率重建方法[3-5]，并取得了不錯的效果，逐漸成為超分辨重建領(lǐng)域的主流方法。該方法的主要思路是：學習樣本庫中對應高、低分辨率圖像塊之間的映射關(guān)系并結(jié)合輸入的低分辨率圖像塊重構(gòu)出丟失的高頻細節(jié)。大多數(shù)方法[6-7]都是基于最近鄰嵌入思想?？偟膩碚f，針對每一個輸入的低分辨率圖像塊從數(shù)據(jù)庫中尋找最為接近的k個圖像塊，再結(jié)合之前學習的映射關(guān)系完成相似塊的線性組合，最終估計出高分辨率圖像塊。雖然這些算法可以得到不錯的結(jié)果，但是難以確定的近鄰數(shù)目還是降低了這類算法的穩(wěn)定性。為了解決這個問題，動態(tài)k近鄰算法[8]人為提出了一種相似判斷依據(jù)，從而可以動態(tài)地確定近鄰數(shù)目。Yang 等[9]利用稀疏編碼實現(xiàn)了圖像的超分辨率重建。該算法假設高、低分辨率圖像具有相同的稀疏表達，并通過高、低分辨率字典的耦合訓練確保具有相同的稀疏系數(shù)。它通過對輸入圖像塊的稀疏表達解決了近鄰數(shù)目的選擇，從而取得了令人印象深刻的結(jié)果。Zeyde 等[10]通過正交匹配和降低維數(shù)的方法進行稀疏系數(shù)的求解，從而提高了效率。除此之外，研究表明在不同尺度間，圖像結(jié)構(gòu)往往會出現(xiàn)重復。利用自然圖像中結(jié)構(gòu)的自相似性[11-12]，可以直接從輸入圖像本身獲得重建信息而不再依靠外部數(shù)據(jù)庫。但是，為了獲得理想重建質(zhì)量，不可避免地消耗過多的內(nèi)存和計算時間。雖然這些算法可以獲得較好的性能，但都假設輸入圖像不含有噪聲，這并不符合實際情況。目前，對含噪圖像的超分辨率重建領(lǐng)域的研究較少。Xie 等[13]通過自適應正則化濾波器來濾除輸入圖像中的噪聲，但是去噪過程中產(chǎn)生的偽影會在重建過程中被放大。基于目前的研究現(xiàn)狀，本文致力于減小在重建過程中噪聲的影響從而提高算法的魯棒性。由于稀疏表達可以使信號能量僅僅集中在個別原子上，因此對噪聲圖像具有一定的魯棒性。另一方面，綜合字典（如K-SVD 字典）通過實例圖像的學習可以重構(gòu)出復雜的局部結(jié)構(gòu)，但是也將消耗大量的計算時間。

圖1 算法流程圖

受此啟發(fā)，本文引入稀疏理論來降低噪聲的影響并通過新的相似塊選擇方案來提高重建速度。具體過程如圖1 所示。整個過程大致可以分為3 個階段：第一階段是字典訓練階段，首先，訓練中的高、低分辨率圖像塊具有相同的尺寸大小，后者是通過訓練圖像先下采樣后插值放大，最后通過圖像分塊得到的。并且訓練圖像是無噪聲的，即訓練過程不受輸入圖像噪聲程度的干擾。由于高分辨率字典是由對應的高、低分辨率圖像塊共同訓練得到的，因此它不僅表示高分辨率圖像的高頻細節(jié)，還表示無噪聲低分辨率圖像的紋理結(jié)構(gòu)。第二階段是高分辨率圖像塊重建階段，重建高分辨率圖像塊的關(guān)鍵在于找到相似的高分辨率圖像塊并完成合理的線性組合。首先，根據(jù)輸入的特征向量可以從匹配對象中自適應地選擇k個相似的字典原子對（）；并計算他們和輸入特征向量之間的相似度差異di。結(jié)合輸入的特征向量、低分辨率字典原子、相似度差異di計算出對應權(quán)值ωi。其次，通過計算可以得到估計的高分辨率圖像塊和去噪后的低分辨率圖像塊。再次，利用所有的估計圖像塊并通過對重疊區(qū)域的平均計算，得到估計的高分辨率圖像和去噪后的低分辨率圖像。最后，結(jié)合迭代反投影（IBP），得到最終重建的高分辨率圖像X*。

1 含噪圖像的快速超分辨重建算法

圖像的退化過程通?？梢悦枋龀晒剑?）。低分辨率圖像Y∈RM×M，是高分辨率圖像X*∈RN×N經(jīng)過下采樣和模糊退化得到的。

其中：D為下采樣因子，B為模糊算子，n為在算法處理過程中隨時都可能存在的噪聲。傳統(tǒng)單幅圖像的超分辨重建算法是從低分辨率圖像Y中盡可能準確地估計出高分辨率圖像X*。

1.1 高、低分辨率字典的訓練

在高、低分辨率字典訓練時，本文使用了77 張標準的自然圖像作為訓練集。部分用以高、低字典對訓練的訓練圖像如圖2 所示。

圖2 部分訓練圖像

首先使用的訓練圖像是不含有噪聲的，其中高分辨率圖像Ih= ｛I｝，與之對應的低分辨率圖像Il= ｛I｝。這里值得注意的是，為了提高相鄰貼片之間的兼容性，使它們具有相同的圖像尺寸，低分辨率圖像先進行下采樣再插值放大，如公式（2）所示：

其中，H為上采樣因子，下采樣、插值放大均使用雙立方插值。分別對高、低分辨圖像｛Ih,Il｝進行分塊處理，圖像塊大小都是w×w。最終，得到高、低分辨率圖像塊｛ph,pl｝。如公式（3）所示。

類似于SRCR[9]中的字典設計思路，假設原始高分辨率圖像和輸入低分辨率圖像分別在耦合字典HD和LD上具有相同的稀疏系數(shù)。和傳統(tǒng)算法不同的是，為了增加對噪聲的抗干擾性，參與高分辨率字典HD訓練的不僅是高分辨率圖像塊HP的紋理結(jié)構(gòu)，低分辨率圖像塊LP的紋理結(jié)構(gòu)也被用來學習。在重建階段，HD可以用來估計高分辨圖像和不含噪聲的低分辨圖像。LD代表了圖像的基本結(jié)構(gòu)，為了提取適當?shù)奶卣?，本文使用簡單有效的一階導數(shù)和二階導數(shù)作為濾波函數(shù)。用于提取特征的4 個濾波器為

基于上面給出的濾波器，可以提取每個圖像塊的4 個不同方向的特征。將4 個特征向量拼接成一個向量并作為低分辨率圖像塊的最終特征表示。

通過上述方法，字典訓練數(shù)據(jù)可以通過以下方式獲得：

其中：（pH,pL）是相應的高、低分辨率圖像對，是的平均值，是的平均值，F(xiàn)（）是由公式（4）提取的特征向量并將4 個特征向量拼接成一個向量。由于高、低分辨率圖像塊提取特征方式的不同，DH∈RN×S和DL∈RM×S并不是簡單的線性連接，其中S是字典中原子的數(shù)目。因此通過使用公式（6）來完成字典聯(lián)合訓練的過程。

其中N和M是向量形式的高、低分辨率圖像貼片的尺寸。在實際訓練過程中，可以將上述公式簡化為

訓練的過程是一個典型的稀疏系數(shù)求解的過程。然而，求解稀疏模型的過程往往需要花費很多的時間。Zeyde 等[10]通過OMP[14]和PCA[15]節(jié)省了字典學習的時間。所以，對于稀疏字典的學習，本文使用Zeyde 等[10]的方法。

1.2 相似塊的選取和權(quán)重計算

首先，將輸入的低分辨率圖像LY通過雙立方插值放大到和原始高分辨率圖像XH相同的尺寸大小。然后將其分割成大小為w×w，數(shù)目為N的重疊低分辨率圖像補丁。

其中Vi是噪聲。假設它是均值為零且方差為σ2的高斯噪聲，由于局部圖像結(jié)構(gòu)具有重復性，可以找到和結(jié)構(gòu)相似的圖像補丁集合｛｝,pl｝，并通過合理的權(quán)值分配重建估計的高分辨率圖像補?。?/p>

其中，權(quán)重向量ωi=［ωi1,ωi2,...,ωik］T，而k是相似圖像補丁的數(shù)目。

通過上述描述，可以得到如下推導：

其中，Vi是假設的均值為零且方差為σ2的高斯噪聲，所以εi和σ2相關(guān)。也就是說，在誤差可控的范圍內(nèi)，通過輸入的低分辨率圖像補丁和選取的相似圖像補丁可以得到合理的權(quán)值分配ωi。因此，重建階段的關(guān)鍵在于從pl選取和輸入圖像補丁結(jié)構(gòu)相似的圖像補丁集合，并獲得合理的權(quán)重分配ωi。傳統(tǒng)算法通過歐式距離來描述這種相似性。雖然計算方法簡單，但是要從龐大的示例庫中為每個輸入尋找相似的圖像補丁，需要花費大量的時間。由于稀疏字典可以使信號的主要成分集中在少許幾個原子上，并且基于稀疏編碼的超分辨重建算法[10]展示了對噪聲良好的魯棒性。因此，本文選擇用稀疏字典代替原始的示例庫并從列原子中選取相似的圖像補丁集合，即（） ∈（Dh,Dl）。

其中：sqrt(.)是開平方操作，sum(A, 1)是矩陣A的按列求和函數(shù)，repmat(a,b) 使a和b具有相同的矩陣維數(shù)，Dnl和）n是標準化后的低分辨率字典和輸入特征向量，F(xiàn)（）n可以由Dnl表示：

其中：α= [α1,α2, … ,αj, … ,αs]，表示低分辨率字典列原子，αj表示和F（）n的相關(guān)性。其中，α的求解公式如下：

公式（16）和（17）展示了每個字典列原子與輸入特征向量之間的相關(guān)性。其中，αj越大，和F（）n之間的相關(guān)性就越強；反之，若αj很小或接近于零，則說明兩者之間幾乎沒有相關(guān)性。通過相似性的強弱選擇k個相似圖像補丁對= 1,2,…,k｝，

其中：abs(.)是求絕對值操作，S ortA（a,k）是將向量a從大到小排序，并返回前k個的索引值。這樣，就從稀疏字典對（Dh,Dnl）中找到了與輸入特征相似的k個圖像補丁對（）。對應的相似度大小βi=［βi1,βi2, … ,βij, … ,βik]計算公式如下：

其中 ，SortB(a,k) 是將向量a從大到小排序，并返回前k個的值。結(jié)合公式（15），本文提出了基于L2 范數(shù)正則化的最小二乘回歸的權(quán)值解法：

其中，?表示點乘。當相似性很強時，限制項會很小，從而得到較大的權(quán)重。相反，當相似性較弱時，限制項會變大，從而獲得較小的權(quán)重。具體過程如下，先計算每組相似圖像補丁之間的差異，即每個相似圖像補丁減去每組最相似的圖像補丁得到ib，再乘以每個相似圖像補丁的相似性iβ，從而得到最終的限制項iC。所以，改進的最小二乘回歸模型如下：

其中：λ是正則化參數(shù)，ωi是需要求解的權(quán)重。通過自適應權(quán)值計算模型，ωi會得到合理的權(quán)值。這是一個L2范數(shù)的約束問題。本文采用0來求解ωi。閉式解表達式如下：

其中：S是線性縮放因子，是線性縮放后的重構(gòu)向量。根據(jù)高分辨率字典的訓練方式，不僅包括估計的高分辨率圖像補丁還包括去噪后的低分辨率圖像補丁。這里值得注意的是，和具有相同的尺度大小。

含噪圖像的快速超分辨重建算法流程如下：

輸入：已訓練的聯(lián)合稀疏字典DH和DL，低分辨率圖像YL，相似塊數(shù)目k，正則化參數(shù)λ；

輸出：高分辨率圖像X*；

初始化：對輸入低分辨率圖像YL作雙立方插值得到與高分辨率圖像XH同樣大小的低分辨圖像，作分塊處理得到低分辨率圖像塊，保證相鄰圖像塊在每個方向均有重疊像素。循環(huán)直到處理完所有的圖像塊：

（2）根據(jù)相關(guān)性系數(shù)α尋找k個相似圖像補丁對（），通過公式（20）、（22）計算得到限制項Ci。（3）通過公式（25）計算得到權(quán)值分配ωi。

（5）通過重疊區(qū)域的加權(quán)平均得到高分辨率圖像和去噪后的低分辨率圖像。

（6）根據(jù)和并結(jié)合公式（29）得到最終估計的高分辨率圖像X*。

2 實驗數(shù)據(jù)和分析

在本節(jié)中，將Set5[16]、Set14[16]和B100[17]作為測試圖像庫。其中，分別包含5、14、100 張用于重建測試的圖片。由于人類對光源的變化更加敏感，因此本文算法只在亮度分量通道上執(zhí)行。首先將圖像轉(zhuǎn)換為YcbCr通道，然后將測試算法應用于Y通道。

2.1 主要參數(shù)

在本節(jié)中，分析算法的主要參數(shù)對實驗結(jié)果的影響。其中包括正則化因子（γ）、字典數(shù)目大小、相似圖像塊個數(shù)。

2.1.1 正則化因子

在本文方法中正則化因子γ是一個非常重要的參數(shù)。所以，通過實驗不同的γ來觀察結(jié)果并選擇最為合適的一個。設置實驗基礎(chǔ)參數(shù)：

（1）放大倍數(shù)×2，字典大小為1024 并且k=24；

（2）放大倍數(shù)×3，字典大小為1024 并且k=8。

采用Set5[16]作為測試圖像庫的實驗結(jié)果如圖3 所示。發(fā)現(xiàn)曲線并不單調(diào)，在γ=0.07時峰值信噪比（PSNR）獲得最優(yōu)值。研究發(fā)現(xiàn)，對于不同的測試圖像庫，正則化因子γ的最優(yōu)值略有不同。因此，本文建議在實驗中設置正則化因子γ=0.07。

圖3 正則化因子對PSNR 的影響

2.1.2 字典大小

在實驗中，字典大小從64 到2048，并且訓練樣本都是從訓練圖像庫中訓練得到的。設置實驗基礎(chǔ)參數(shù)：

（1）放大倍數(shù)×2，γ=0.07并且k=24；

（2）放大倍數(shù)×3，γ=0.07并且k=8。

采用Set5[16]作為測試圖像庫的實驗結(jié)果如圖4 所示。發(fā)現(xiàn)字典數(shù)目越大，重建質(zhì)量就越好。同時，也需要更高的計算成本。在圖像集Set14[16]和B100[17]中也可以得到類似的結(jié)論。為了權(quán)衡重建質(zhì)量和計算成本，接下來實驗中字典大小為1024。結(jié)果如圖4 所示。

2.1.3 相似圖像塊個數(shù)

在相似塊的尋找過程中，需要為每個輸入圖像塊尋找相似成分，而相似圖像塊的個數(shù)k會影響該算法的性能。設置實驗基礎(chǔ)參數(shù)：

（1）放大倍數(shù)×2，字典大小為1024，γ=0.07；

（2）放大倍數(shù)×3，字典大小為1024，γ=0.07。

采用Set5[16]作為測試圖像庫的實驗結(jié)果如圖5 所示，可以發(fā)現(xiàn)在放大倍數(shù)×2 的情況下，當k=24時，到達最佳的重建質(zhì)量。同樣，在放大倍數(shù)×3 的情況下，k=8。隨著k的增大，計算量和內(nèi)存消耗也會隨之增加，重建時間也會明顯增加。在圖像集Set14[16]和B100[17]中也可以得到類似的結(jié)論。所以，經(jīng)過權(quán)衡重構(gòu)質(zhì)量和計算時間，在實驗中當放大倍數(shù)×2 時，設置k=24。當放大倍數(shù)×3 時，設置k=8。結(jié)果如圖5所示。

圖4 字典大小對性能的影響

圖5 相似塊個數(shù)k 對性能的影響

2.2 性能評估

在本節(jié)中，為展示所提算法對噪聲圖像重建效果的提升，并與NE[6]、Zeyde[10]、A+[16]、SRCNN[17]、CSC[18]算法進行比較，將峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）作為客觀評判指標，并給出了算法的重構(gòu)時間，比較方法的代碼從本文作者的主頁下載。試驗過程中，使用相同的參數(shù)設置，圖像塊補丁大小為6×6，重疊區(qū)域為2，正則化因子γ=0.07，字典大小為1024，放大倍數(shù)×2 時，相似塊數(shù)目k=24，放大倍數(shù)×3 和×4 時，相似塊數(shù)目k=8 。

表1 和表2 列出了PSNR 和SSIM 的比較。當標準差σ=0時，算法CSC[18]表現(xiàn)出了最好的性能，但這和實際應用情況不符。而當σ≠0 時，在圖像集Set5[16]、Set14[16]和B100[17]中進行了測試，結(jié)果證明本文提出的算法比其他方法更加具有優(yōu)越性。與CSC[18]相比，當測試集為Set5[16]、放大倍數(shù)×2 時，在σ=10時獲得最小5.94 dB 的PSNR 提升。在σ=20時，獲得最大7.96 dB 的PSNR 提升。同樣也優(yōu)于具有噪聲抑制作用的Zeyde[10]算法，在σ=10時，獲得最小4.58 dB 的PSNR 提升。在σ=20時，獲得最大6.36 dB 的PSNR 提升。當測試集為B100[17]，放大倍數(shù)×3時，與CSC[18]相比，在σ=10時，獲得最小2.39 dB的PSNR 提升。在σ=20時，獲得最大5.40 dB 的PSNR 提升。同樣也優(yōu)于Zeyde[10]算法，在σ=10時，獲得最小0.64 dB 的PSNR 提升。在σ=20時，獲得最大3.81 dB 的PSNR 提升。圖6—8 提供了各種方法的重建圖像，可以發(fā)現(xiàn)本文方法面對噪聲圖像時，具有更強的魯棒性從而獲得更好的重建效果。

2.3 IBP 的影響

該算法結(jié)合迭代反投影（IBP），將去噪后的低分辨率圖像用于提高重建高分辨率圖像的性能。根據(jù)文[20]，IBP 可以提高超分辨率重建的效果，但如果輸入的是含有噪聲的低分辨率圖像，IBP 模型會將噪聲傳播到重建的高分辨率圖像。實驗結(jié)果證明，如果直接輸入含噪聲的低分辨率圖像，IBP 算法性能會變差。結(jié)果如表3 所示，設置的迭代次數(shù)為20。從表3 可以看出，該方法具有優(yōu)越性。其他測試數(shù)據(jù)集Set14[16]和B100[17]也可以獲得類似的結(jié)果。

表1 σ=0，PSNR 和SSIM 的比較結(jié)果

表2 σ ≠0，PSNR 和SSIM 的比較結(jié)果

圖6 Baby 的各種圖像超分辨率方法重建效果對比（放大倍數(shù)×2，σ=10）

圖7 14037 的各種圖像超分辨率方法重建效果對比（放大倍數(shù)×3，σ=10）

圖8 Face 的各種圖像超分辨率方法重建效果對比（放大倍數(shù)×3，σ=10）

表3 IBP 對平均PSNR 和SSIM 的影響（Set5）

2.4 距離懲罰效應

采用權(quán)重限制模型進行權(quán)重的計算。為了驗證對改善超分辨率重建性能的效果，在Set5[16]測試數(shù)據(jù)庫上分別執(zhí)行帶權(quán)重限制和不帶權(quán)重限制的方法，并嘗試不同的正則化因子γ。結(jié)果如圖9 所示，由此可見權(quán)重限制模型獲得了較好的重建效果，其優(yōu)越性是顯而易見的。其他測試數(shù)據(jù)集Set14[16]和B100[17]也可以獲得類似的結(jié)果。

圖9 距離懲罰對平均PSNR (dB)的影響（Set5）

3 結(jié)論與展望

本文提出一種含噪圖像的快速超分辨率重建算法，可以很好解決含噪圖像的超分辨率問題。在字典訓練階段使用無噪聲的示例圖像，所以面對不同噪聲方差的輸入圖像，并不需要重新訓練字典。在訓練的過程中，低分辨率的紋理結(jié)構(gòu)也被用來學習字典，而不是僅僅學習它們的梯度特征。該方法的核心思想在于重建高分辨率圖像的同時也重建了輸入的低分辨率圖像，這將有助于迭代反投影算法[19]進一步提高重建的性能。利用稀疏字典的列原子來計算權(quán)值和重構(gòu)向量，這大大減少了計算時間并通過稀疏表達抑制了噪聲。實驗結(jié)果表明，該方法具有很好的魯棒性。