劉小花 唐貴進

摘要：由于低秩先驗能夠有效地學習圖像數據的冗余和數據的全局結構，因此低秩約束在矩陣填充中得到廣泛應用。以往的研究表明，低秩約束對張量恢復具有顯著影響，這些工作往往通過Tucker秩解決，然而Tucker秩不能捕獲張量的內在相關性。提出一種新的基于張量鏈秩1（Tensor-TrainRank-1，TTRl）分解的逼近張量核范數的鄰近算子。低秩約束能夠很好地捕獲數據的全局結構，但不能利用可視化數據的局部平滑性，因此提出將張量低秩和全變分（total variation，Tv）正則化相結合的超分辨率（super-resolution，SR）重建方法，充分利用圖像冗余性、全局結構信息和圖像局部平滑性，實現圖像的SR重建。實驗結果表明，相比于Tucker低秩和Tv正則化模型（LRTv-sR），該方法在峰值信噪比指標上平均提高了0.2dB，充分驗證了基于TTRl分解的張量低秩約束在超分辨率重建中更能保留彩色圖像的全局結構特性。

關鍵詞：張量低秩;全變分;超分辨率重建

DOI：10.11907/rjd k.192112

中圖分類號：TP317.4 文獻標識碼：A 文章編號：1672-7800（2019）012-0187-05

0引言

圖像超分辨率（super-resolution，SR）重建目的是從一幅或多幅低分辨率（low resolution，LR）圖像中重建高分辨率（high resolution，HR）圖像，以獲得圖像中的更多細節(jié)，主要應用于遙感成像、醫(yī)學診斷及智能監(jiān)控等方面。SR問題本質上可以轉化為圖像退化過程的逆問題，但其本質是不適定的，即存在多幅HR圖像可以通過降采樣生成相同的LR圖像。因此，要從LR圖像中獲得高質量的HR圖像，通常會在圖像重建過程中引入圖像的先驗知識作為約束條件，以得到更優(yōu)解。

現有圖像超分辨率重建方法一般分為基于插值的SR方法、基于重構的圖像SR方法以及基于學習的圖像SR方法3類，其中基于插值的SR（例如經典雙線性插值、雙立方插值（Bicubic Interpolation，BI）和邊緣引導插值方法，）利用基函數或插值核估計HR網格中的未知像素。雖然這些方法非常簡單快捷，但很容易模糊高頻細節(jié)，因此可能導致HR重建圖像中出現明顯的模糊邊緣和不清晰的紋理等失真現象。近年來，為了約束重建過程以提高SR性能引入了許多先驗知識，其中全變分（total variation，TV）平滑先驗方法得到廣泛應用，主要是由于其具有凸性、對圖像移位和旋轉的不變性以及保持邊緣的能力。

基于學習的超分辨率重建方法基本原理是：先構建高/低分辨率圖像樣本庫，然后利用機器學習理論離線學習高，低分辨率樣本之間的映射關系，最后利用這種映射關系指導高分辨率圖像重建。文獻[14]提出了一種基于實例的方法。該方法假定在LR圖像中丟失的高頻細節(jié)可從經過訓練的LR和HR塊對中學習，也就是說，通過學習這些訓練塊對之間的共現關系得到HR圖像。然而，對于不合適的訓練樣本，基于實例的SR方法可能會在合成圖像中產生明顯的偽影和多余的噪聲;Chang等提出了另一種基于學習的SR方法，該方法利用流形學習的局部線性嵌入原理，認為在訓練圖像集中小圖像塊對具有相同的局部幾何，從而減小訓練集規(guī)模。對于從LR到HR圖像的一對多映射，多方面假設并不總是正確;另外，基于深度學習的SR算法也是基于學習的SR方法，Dong等率先提出了基于深度卷積神經網絡的SR算法，利用深度學習與傳統(tǒng)稀疏編碼之間的關系，將圖像塊提取、非線性映射和圖像重建3個階段統(tǒng)一到深度卷積神經網絡框架中，直接學習低分辨率和高分辨率圖像之間的端到端映射。該方法具有很好的重建效果，但其存在上下文信息缺乏關聯、收斂速度慢等問題。近年來，SR問題作為一種稀疏編碼方案得到了擴展和發(fā)展，關注越來越多。楊等提出了一種稀疏表示SR方法，可以自適應地選擇最相關的重建鄰域，從而避免過擬合或欠擬合。但是，當訓練數據庫中沒有紋理時性能就不夠好;文獻[25]提出了一種基于低秩矩陣補全（low-rank matrix completion，LRMC）的方法重建SR圖像。低秩矩陣補全算法最近已被證明能夠有效地從已知小樣本值中估計矩陣中的缺失值。

基于低秩約束能夠很好地捕獲數據的全局結構，但不能利用圖像的局部平滑性，因此本文把TV作為一個正則化項集成到低秩張量補全模型中，并將其應用于圖像超分辨重建問題。為了恢復圖像數據，通常采用基于Tucker秩的核范數和SNN（sum ofnuclear norms）來解決低秩約束問題。該方法首先將張量變換成若干展開矩陣形式，然后用矩陣法恢復丟失的數據，最后將恢復的矩陣重構為張量，以恢復丟失的數據。然而，該方法失去了圖像，幀之間的約束關系，必然導致圖像，幀之間約束關系的丟失。本文所建立的模型是基于一個平衡良好的矩陣化，即張量鏈秩1（Tensor-Train Rank-l，TTRl）分解，它將張量沿張量模排列進行矩陣化，因此能更好地捕獲張量的內在自然關聯性。

1理論基礎

3實驗

將本文提出的方法應用到一組下采樣和模糊彩色圖像中，評估該方法能否成功恢復原HR圖像。為此使用真實的HR圖像模擬LR圖像，如圖2所示。使用標準偏差為0.5的高斯平滑核模糊，然后對模糊圖像進行下采樣，得到與原始HR圖像分辨率一半的LR圖像。通過與相應的原始HR圖像進行對比，評價所有方法對輸人LR圖像重建的質量。

為驗證本文提出方法（稱為LRTV_TTRl）的有效性，采用多種比較方法，包括雙立方插值超分辨率方法（BISR）、基于TV的上采樣超分辨率方法（TVSR）、基于Tucker低秩和全變分正則化的圖像超分辨率（LRTV_SR）方法。

實驗采用的10幅測試圖像來源于Set5和Set14。表l列出這些測試圖像在BISR、TVSR、LRTV_SR和LRT-VSR_TTRl幾種SR算法中得到的重建圖像PSNR和SSIM值。

為測試本文算法在視覺上的效果，選擇baby和bird作為測試圖像，對上述4種SR算法的重建圖像進行視覺對比，見圖3和圖4。通過觀察，本文方法所重建的圖像在保留圖像邊緣時能恢復較多的細節(jié)部分。

進行多組實驗驗證本文方法的有效性，包括應用不同的模糊算子獲得LR圖像。實驗部分將TV約束的權重參數λ1設置為0.05，張量低秩的約束權重參數λ2設置為0.95，懲罰參數p設置為0.1。對于TVSR算法，將張量低秩的約束權重參數λ2和懲罰參數p設置為0，以實現圖像重構。

4結語

為充分利用圖像冗余性、全局結構信息和圖像局部平滑性等先驗信息，本文提出一種基于張量低秩和TV最小化約束的彩色圖像SR重建算法模型。提出了一種新的基于TTRl分解的逼近張量核范數的鄰近算子，捕獲張量數據（即彩色圖像）的內在相關性，獲得圖像的全局結構。由于張量低秩約束沒能利用圖像數據的局部平滑性，因此將張量低秩和TV正則化相結合實現圖像SR重建模型。與多種SR算法進行比較實驗，結果表明本文算法模型得到的重建圖像邊緣和結構信息更加豐富。通過TTRl分解，證明本文用張量核范數最小化方法恢復低階張量的能力。但是，當視覺數據維數較高時本文方法計算成本較高，下一步工作將從計算效率上優(yōu)化本文算法模型。