劉超

摘 要

目前超分辨率的研究分成靜態(tài)圖像超分辨率和動態(tài)圖像超分辨率兩大類，靜態(tài)圖像超分辨率是指利用單張低分辨率圖像內容來重建出高分辨率圖像，本質上高分辨率圖像的高頻成分不能由原有低頻成分算出，故如何補足高頻成分以避免模糊現(xiàn)象是提升視覺質量的關鍵也是研究重點。圖像去噪和超分辨率的目的是為了解決數(shù)字圖像分辨率不足所提出的技術。這個技術主要是應用在某些只能得到單張低分辨率圖像的場合，利用僅有的一張低分辨率圖像來產(chǎn)生應用上所需的高分辨率圖像。稀疏表示作為一種重要的數(shù)據(jù)編碼與表達方式，不僅在人類的視覺認知機理上具有明確的理論依據(jù)，而且在信號表達與重建理論方面得到了嚴格的證明和推導。本文主要采用稀疏表示理論，對圖像去噪和超分辨率重建的相關技術與算法進行研究。

【關鍵詞】圖像去噪 超分辨率 重建 稀疏表示

1 圖像去噪和超分辨率重建的概述

動態(tài)圖像超解析的步驟通常分成二個步驟：第一個步驟是從多張連續(xù)的圖像中，取一張圖像當作我們的目標圖像，然后去計算其它圖像相對于目標圖像的位移差量。第二個步驟是根據(jù)所得到的位移量以及一些額外的信息，如圖像邊緣的方向、圖像的區(qū)域特性等等，最后得到一張高分辨率的圖像。以多張圖像來做超解析的優(yōu)點是可以參考的圖像信息變得多了，不同于靜態(tài)圖像超分辨率的信息僅有單張低分辨率內容。一張數(shù)字圖像經(jīng)過次取樣成低分辨率，再應用靜態(tài)圖像分辨率提高法還原成高分辨率時，再和原始數(shù)字圖像作比較，會發(fā)現(xiàn)兩張圖像有所差異。其差異程度的大小，光以言語形容給人的感覺也許不是那么明確。因此需要一些評估方式來裁決圖像質量的好壞。圖像的質量通常是利用人眼視覺來評估，由于人眼評估屬于主觀評估，因此必須嚴格訂定給分標準并且交由一群專業(yè)評論者給分，其圖像質量的評估數(shù)值取全部評論者給分的平均，其優(yōu)點是符合稀疏表示。另一種質量評估方式為客觀的數(shù)值評估，利用訂定的公式（如：PSNR）來估算圖像的質量，優(yōu)點是容易計算，無須勞師動眾；但缺點是數(shù)值評估不完全吻合視覺上的評估（如：PSNR 高未必代表圖像質量佳）。基于上述不同評估方式各有其優(yōu)缺點，因此國際圖像壓縮標準JPEG2000 在選擇算法規(guī)格時，先以數(shù)值評估PSNR 找出質量最佳的前三名，再利用人眼主觀評估做最終的圖像質量裁決者。

2 稀疏表示的模型與算法

2.1 模型的建立

在重建信號品質評估方面，一般常用的有均方根誤差（Root Mean Square Error，RMSE） 、信號噪聲比（Signal-to-Noise Ratio， SNR） 和信號峰噪聲比（PeakSignal-to-Noise Ratio， PSNR）。

假設f（i，j）表示原始高分辨率圖像信號，f （i，j）表示超解析重建后的信號，信號長度為MxN，則對于任意（i，j）值，f （i，j）和f（i，j）間的誤差定義為：

ε=f （i，j）-f（i，j）

因此，兩張圖像間的總誤差為：

則兩張圖像間的均方根誤差（MSE）為：

而RMSE為MSE的平方根，因此定義如下：

目前ITU-T 的H.264 標準在評估彩色圖像質量時所采用的數(shù)值評估方式，即PSNR的延伸，將RGB 彩色空間轉換到YUV 彩色空間，再分別求出Y，U 和V 元素的PSNR，并給予不同的權重加總平均，即彩色圖像的評估方式。

2.2 以稀疏表示為基礎的高頻增強濾波器算法

由于SISR 方法當中，主要的問題在于高頻區(qū)域模糊不夠明顯，一般高頻信息泛指紋理區(qū)域和圖像邊緣區(qū)域，但是人眼對于紋理區(qū)域的變化并不如圖像邊緣敏感，因此目前一些提出的方法都只處理人眼較為敏感的圖像邊緣區(qū)域。但是如果算法能夠同時兼顧這兩種區(qū)域，則圖像質量將能夠更趨于真正的高分辨率圖像。SISR 解決高頻信息不足的方法一般有兩個，第一個方法是加入新的高頻信息。第二個方法是強化微弱的高頻信息。前述兩個方法都是屬于前者，這類方法都是利用一些假設條件或統(tǒng)計信息來增加新的高頻信息，因此可能造成圖像失真，而失去提高分辨率的意義；反之，如果強化原本就存在于低分辨率圖像中的高頻信息，則圖像比較能夠貼近真正的圖像，由于高頻增強濾波器的主要功能是增強圖像中的高頻，因此，能夠同時突顯圖像紋理和邊緣的高頻信息?；谏鲜龅母拍睿覀冡槍σ淮蝺炔宓慕Y果，提出以稀疏表示為基礎的高頻增強濾波器（HVS based High Emphasis Filter，簡稱HHEF），并利用高低分辨率圖像間對應的關系加入一個后續(xù)補償限制條件。

高頻增強濾波器主要是為了突顯圖像中的高頻信息，因此必須先利用高通濾波器找出圖像中的高頻信息，再將這些高頻信息加諸在原始圖像上，使原始圖像的頻率變化能夠加大，因此圖像視覺質量能夠得到改善。

3 結果分析與討論

3.1 重建結果分析

兩張數(shù)字圖像經(jīng) PSNR 計算后的結果值越大，則我們就認為這兩張數(shù)字圖像越相似；換言之經(jīng)處理過的圖像越佳。注意！！ RMSE 比較低（或相對 SNR 較高）并不意味主觀上重建信號的質量就一定比較高。因為大多數(shù)的圖像最終觀測者皆為人，以人的主觀角度來評估往往是更合適的，因此只可以將這些估算子當成客觀標準來使用。

由于訓練所產(chǎn)生的低解析-高解析對應關系數(shù)據(jù)龐大，因此，要如何快速有效率的從龐大對應數(shù)據(jù)中找出相符的信息，也是一個需要考慮的問題。這個算法是一個相當新穎的概念，但是，重建出高頻信息的過程繁瑣，而且產(chǎn)生的高頻信息未必存在于低分辨率圖像中。

3.2 圖像去噪和超分辨率重建的效果

動態(tài)估測部分，Nimish 以傳統(tǒng)的區(qū)塊比對（block matching）算法為基礎作修改，將每個像素以多個動態(tài)向量來表示，他們提出改變的理由在于傳統(tǒng)區(qū)塊匹配方式如果選用一個像素一個移動向量，有時候并不能夠找出精準的移動向量。另外，Nimish也在區(qū)塊相似評估上加入彩色信息來提高區(qū)塊比對的精準度。經(jīng)過動態(tài)估測后可以得到一張初始化的高分辨率圖像，接著經(jīng)過以Landweber 算法為基礎的迭代算法，將未還原的的像素信息填補回去，使初始高分辨率圖像數(shù)值收斂以獲得最終的高分辨率圖像。

在理想狀況之下，由于重建HR所需要的相關信息都存在，因此在這個狀況之下可以分析出動態(tài)圖像超分辨率的區(qū)塊匹配（block matching）算法是否夠精確。要客觀評估動態(tài)圖像超分辨率可由圖像的數(shù)值評估PSNR和未匹配像素比例（Pixel Mismatch Rate， 以下簡稱PMR）兩個指標。PSNR是一般常用來評估圖像質量的客觀評估準則。而PMR是指重建圖像的像素信息與真正HR未匹配點數(shù)占整張圖像點數(shù)的比例。而半理想狀況B是指仍然滿足理想狀況的第一個條件，LR仍然透過左上角次取樣方式來保留真正的HR像素信息，但是并不一定包含重建所需的四張畫面，因此必須利用多于理想數(shù)目的LR來近似理想圖像數(shù)目下所能提供的數(shù)據(jù)量，如果能夠近似出同樣的像素信息才有可能重建出真正的高分辨率圖像。

由于圖像畫面數(shù)目為已知，所以數(shù)據(jù)長度不需要動態(tài)擴增，而且高/低分辨率圖像的隨機存取機率的頻率較高，因此，以固定長度的數(shù)組結構來儲存圖像序列是一種比較有效率的做法。高/低分辨率圖像率序列儲存的數(shù)據(jù)基于效率的考慮，低分辨率圖像序列存放的圖像信息為RGB 彩色圖像，而高分辨率圖像序列為了降低彩色空間重復轉換的問題，高分辨率圖像序列所儲存的是分辨率強化后的YCbCr 彩色圖像。高分辨率圖像序列所存放的是前一次空間分辨率強化后圖像，而低分辨率圖像序列所存放的是用來重建高分辨率圖像的畫面。由于這些畫面是為了在后續(xù)的動態(tài)估測中找出半精準度位移，因此，低分辨率圖像必須透過內插方式來獲得高分辨率大小的圖像，并將圖像轉換到YCbCr 彩色空間。而高分辨率圖像因為已經(jīng)在圖像大小和彩色空間上滿足條件，因此不需要經(jīng)過如同低分辨率圖像的轉換。假如系統(tǒng)在取得必要的高分辨率參考圖像不存在，則系統(tǒng)會忽略這部分的畫面。

4 結論

本文提出以稀疏表示為基礎的高頻增強濾波器（HHFE）來改善圖像整體的高頻信息，減少模糊進而提升圖像的視覺質量，之后再透過高低分辨率間的取樣關系來進行數(shù)值的校正（IC），使重建HR 像素數(shù)值更趨于真正HR。所以透過本文所提的靜態(tài)圖像超分辨率方法可以在視覺質量和客觀評估PSNR 上獲得改善。上述的實驗結果顯示，本文所提的高頻增強濾波器和補償算法不僅算法簡單、運算量低，而且確實可以在視覺質量和數(shù)值評估上獲得改善。雖然，上述Baboon 的PSNR 數(shù)值改善幅度并不像Moon 和Lena 大，但是其視覺效果仍獲得不少的改善。這也可以看出PSNR 的結果并不是能夠完全的與人眼視覺感受相同。

參考文獻

[1]李博，謝巍.基于自適應分數(shù)階微積分的圖像去噪與增強算法[J].系統(tǒng)工程與電子技術，2016（01）：185-192.

[2]黃麗韶，文海英，顧思思.基于方法噪聲稀疏表字典學習的圖像去噪算法[J].系統(tǒng)仿真學報，2016（01）：154-155.

[3]方敬，肖揚，王東.小波-Contourlet與迭代Cycle Spinning相結合的SAR圖像去噪[J].應用科學學報，2014（06）：605-610.

[4]王海軍.基于PSO_Trainlm BP模型的圖像去噪研究[J].數(shù)學的實踐與認識，2014（21）：137-142.

[5]殷明，吳江敏，于立萍，等. 基于非下采樣四元數(shù)輪廓波變換域的圖像去噪[J]. 計算機應用研究，2014，12：3902-3906.

[6]D.Needell，J.A.Tropp.CoSaMP：Iterative signal recovery from incomplete and inaccurate samples[J].Applied and Computational Harmonic Analysis. 2013（03）：82-83.

[7]Deanna Needell，Roman Vershynin. Uniform Uncertainty Principle and Signal Recovery via Regularized Orthogonal Matching Pursuit[J].Foundations of Computational Mathematics.2014（03）：632-633.