董銀麗 任翠萍

摘要：超分辨率圖像（Super-Resolution Image， SRI）重建技術(shù)是圖像處理領(lǐng)域的熱點(diǎn)問(wèn)題，在多種應(yīng)用領(lǐng)域扮演重要角色。本文介紹了圖像超分辨率重建問(wèn)題的數(shù)學(xué)模型，分析了典型的重建算法在重建中的優(yōu)點(diǎn)及缺點(diǎn)，對(duì)重建的超分辨率圖像質(zhì)量所采用的評(píng)價(jià)方法，進(jìn)行了優(yōu)劣對(duì)比，最后給出了在這一領(lǐng)域研究中亟待解決的問(wèn)題。

關(guān)鍵詞：圖像超分辨率重建;高分辨率圖像;數(shù)學(xué)模型;重建算法;質(zhì)量評(píng)價(jià)

中圖分類號(hào)：TP18 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）17-0188-03

Abstract： Image super-resolution （SR） reconstruction technology is a hot issue in the field of image processing， which plays an important role in many applications. This paper introduces the mathematical model of image super-resolution reconstruction， analyzes the advantages and disadvantages of typical reconstruction algorithms， and discusses and compares the evaluation methods of common image super-resolution reconstruction algorithms. Finally， some problems in this field are discussed.

Key words： image super-resolution reconstruction;low resolution image;high resolution image;mathematical model;reconstruction algorithm;quality evaluation

圖像的分辨率可精確描述一副圖像中物體細(xì)節(jié)的詳細(xì)程度，但圖像分辨率受傳感器中感光器件密度，傳感器與場(chǎng)景之間的運(yùn)動(dòng)、大氣的擾動(dòng)等的影響，目前的研究重點(diǎn)是在不改變現(xiàn)有硬件條件下，如何提高圖像分辨率。

Tsai & Huang在1984年首次利用單幅低分辨率圖像（Low Resolution，LR）中的信息，重建出高分辨率圖像（High Resolution，HR）。圖像超分辨率（Image Super-Resolution， SR）重建技術(shù)的核心思想是利用 LR 圖像序列之間的冗余和互補(bǔ)信息，將相關(guān)的先驗(yàn)信息作為重建過(guò)程的約束條件，重建后的高分辨率圖像，是要求解的目標(biāo)函數(shù)，主要的難點(diǎn)在于細(xì)節(jié)的恢復(fù)。SR重建技術(shù)在圖像分析、醫(yī)療、刑偵等領(lǐng)域，存在重要的實(shí)際應(yīng)用價(jià)值。

本文結(jié)構(gòu)安排： 第1節(jié)超分辨率問(wèn)題的數(shù)學(xué)模型描述;第2節(jié)圖像超分辨率重建算法簡(jiǎn)介;第3節(jié)圖像超分辨率重建算法評(píng)價(jià)方法; 第4節(jié)總結(jié)與展望。

1超分辨率問(wèn)題的數(shù)學(xué)模型描述

低分辨率圖像是由高分辨率圖像經(jīng)過(guò)移動(dòng)扭曲、模糊、降采樣以及噪聲污染得到，整個(gè)降晰過(guò)程可以近似表示成一個(gè)線性過(guò)程[1]， 圖像退化過(guò)程是從原始HR圖像，利用成像系統(tǒng)的自身存在的限定條件及一些方法，退化為L(zhǎng)R圖像的過(guò)程，而SR重建過(guò)程是圖像退化過(guò)程的逆過(guò)程，利用退化所得LR圖像序列中的信息，重建出HR圖像的過(guò)程，SR重建過(guò)程的描述見(jiàn)圖1。圖像的 SR 重建實(shí)際是已知系統(tǒng)的輸出圖像（給定退化圖像和成像系統(tǒng)退化模型），求輸入圖像（原始 HR 圖像），是典型的反問(wèn)題求解。

2圖像超分辨率重建算法

根據(jù)處理域的不同，圖像超分辨率重建算法分為基于頻域的算法和基于空域的算法。

2.1基于頻域的算法

20 世紀(jì) 80 ? 90 年代， 基于頻域的算法是圖像超分辨率重建的主要方法。頻域法是應(yīng)用傅立葉變換（Discrete ?Fourier ?Transform， DFT）的時(shí)延（移位）性，在頻域中對(duì)圖像進(jìn)行插值，利用DFT提取多幅欠采樣、具有亞像素位移圖像中的信息，獲得的高分辨率圖像是以第一幀圖像為基準(zhǔn)。在1990年，Kim等人提出基于加權(quán)遞歸最小二乘法的求解算法，算法進(jìn)一步考慮了噪聲和模糊的影響。在一些算法中，運(yùn)用其他的頻域變換方法來(lái)替代DFT，例如Nguyen應(yīng)用小波變換插值，Rhee應(yīng)用余弦變換插值等。

基于頻域的算法在理論推導(dǎo)和計(jì)算上都有一定的優(yōu)勢(shì)，計(jì)算較為簡(jiǎn)單，容易實(shí)現(xiàn)并行處理。但存在以下缺點(diǎn)：（1）圖像空間不變的噪聲可以處理， 對(duì)過(guò)程中添加的先驗(yàn)信息噪聲，無(wú)法處理;（2）對(duì)運(yùn)用全局整體運(yùn)動(dòng)產(chǎn)生的低分辨率圖像可以處理，但對(duì)具有局部運(yùn)動(dòng)，也就是場(chǎng)景存在相對(duì)運(yùn)動(dòng)的情況，處理效果不理想;（3）基于頻域的理論模型太過(guò)于理想化，對(duì)噪聲過(guò)于敏感，不能充分利用空域先驗(yàn)知識(shí)，在實(shí)際應(yīng)用中不能有效實(shí)現(xiàn)。

2.2 基于空域的算法

基于空域的算法與基于頻域的算法相比較，其優(yōu)點(diǎn)是運(yùn)用的退化模型更簡(jiǎn)單直觀，對(duì)于如運(yùn)動(dòng)、模糊、Markov 隨機(jī)場(chǎng)等先驗(yàn)知識(shí)，可將其方便有效地添加為約束信息。根據(jù)實(shí)現(xiàn)方法分為基于插值、重構(gòu)和學(xué)習(xí)三種方法。

2.2.1插值法

如最近鄰插值， 雙線性插值， 雙三次插值法，插值的過(guò)程中是簡(jiǎn)單的利用了待插值像素點(diǎn)附近的有限多個(gè)像素點(diǎn)信息， 單純的增加了圖像的像素個(gè)數(shù)， 改變了圖像的尺寸，沒(méi)有恢復(fù)圖像在采樣的過(guò)程中損失的高頻細(xì)節(jié)信息，存在鋸齒偽影和紋理模糊等問(wèn)題。

2.2.2重構(gòu)法

重構(gòu)法是由多幀LR圖像序列的信息重建HR的過(guò)程，重構(gòu)的過(guò)程步驟為：1）從同一場(chǎng)景中獲取LR圖像序列;2）亞像素運(yùn)動(dòng)估計(jì)，計(jì)算序列中LR圖像與參考圖像之間的運(yùn)動(dòng)參數(shù);3）選擇合適SR圖像重建算法，對(duì)LR圖像序列進(jìn)行重建，得到分辨率增強(qiáng)的SR圖像。

重構(gòu)算法是從低分辨率圖像到高分辨率圖像之間的映射，可應(yīng)用不同的規(guī)整化方法對(duì)解的可行域進(jìn)行約束。在相同的退化模型中，利用重建后的高分辨率圖像，再現(xiàn)真實(shí)到的低分辨率圖像，可稱之為經(jīng)退化模型產(chǎn)生的低分辨率圖像，通過(guò)比較真實(shí)得到的低分辨率圖像與經(jīng)退化模型產(chǎn)生的低分辨率圖像的差距，通過(guò)不斷迭代修改得到的高分辨率圖像，使兩個(gè)低分辨率圖像間的差距趨于足夠小，則高分辨圖像重建完畢。

其代表性方法主要有最大后驗(yàn)概率估計(jì)（MAP）法、自適應(yīng)濾波器法、凸影投影法（POCS）法、迭代反投影（IBP）法等[2][3]。算法缺點(diǎn)是因?yàn)樘砑蛹s束信息，導(dǎo)致基于重構(gòu)的方法通常計(jì)算量大， 求解困難， 耗時(shí)較長(zhǎng)。

2.2.3學(xué)習(xí)法

基于學(xué)習(xí)的超分辨率算法，其基本原理是通過(guò)樣本學(xué)習(xí)，建立高分辨率與低分辨率圖像之間的共生模型，在此基礎(chǔ)上為低分辨率圖像“添加”出高頻細(xì)節(jié)的方法。學(xué)習(xí)法包括基于淺層學(xué)習(xí)與基于深度學(xué)習(xí)的兩種放方法。

淺層學(xué)習(xí)的方法主要是根據(jù)經(jīng)典的機(jī)器學(xué)習(xí)算法衍生的，利用底層算法獲取數(shù)據(jù)的一部分特征，局部地估計(jì)輸出高分辨率圖片的細(xì)節(jié)， 如自相似算法， 基于樣例學(xué)習(xí)，利用稀疏編碼理論等。

基于樣例學(xué)習(xí)的超分辨率算法是由Freeman等人率先提出，算法核心在于指出在圖像局部空間鄰域中存在大量的自相似塊。圖像的自相似算法主要應(yīng)用于自然圖像，由于大多數(shù)的自然圖像具有自相似性，也就是每個(gè)小局部圖像，在圖像自身的其他位置極易找到與之相似的圖像。在算法中利用圖像的自相似性特性，用輸入圖像本身構(gòu)造訓(xùn)練集合，重建高分辨率圖像。

自相似算法最主要的問(wèn)題是樣本量不足，Huang等人通過(guò)對(duì)待放大圖像做空間幾何變形的方法來(lái)擴(kuò)充圖像樣本空間。文獻(xiàn)[4]在圖像超分辨率重建過(guò)程中，運(yùn)用多任務(wù)學(xué)習(xí)的思想，每一個(gè)任務(wù)是指運(yùn)用每一個(gè)低分辨率圖像建立超分辨率圖像的過(guò)程。算法的優(yōu)點(diǎn)在于，利用參數(shù)來(lái)描述相似圖像超分辨率過(guò)程中的共性及差異，算法中所有參數(shù)無(wú)須人工設(shè)置，都以最優(yōu)化的方式求解。

Yang等提出的基于稀疏編碼理論的學(xué)習(xí)方法，將高分辨率圖像與低分辨率圖像塊進(jìn)行聯(lián)合訓(xùn)練，得到相應(yīng)的高分辨率字典與低分辨率字典，利用低分辨率圖像塊，稀疏表示系數(shù)和高分辨率字典，通過(guò)學(xué)習(xí)字典之間的映射關(guān)系重構(gòu)HR圖像。在求解稀疏系數(shù)的過(guò)程中，以隨機(jī)的方式選擇字典中的原子，會(huì)導(dǎo)致擬合中包含與輸入的HR圖像差異較大的原子，重建處出的HR圖像在顯著邊緣附近存在噪聲。同時(shí)，在稀疏表示的字典學(xué)習(xí)中，使用同一個(gè)字典對(duì)HR圖像進(jìn)行重建，由于沒(méi)有考慮圖像塊的結(jié)構(gòu)性及殘差，在重建HR圖像的細(xì)節(jié)信息方面存在缺陷。針對(duì)缺陷，文獻(xiàn)[5][6]中Ahmed 等和 Farhadifard 等提出定向結(jié)構(gòu)字典學(xué)習(xí)方法，通過(guò)已知的圖像塊模板，對(duì)所有圖像塊進(jìn)行聚類，訓(xùn)練每類對(duì)應(yīng)的字典。Yeganli 等和 Yang 等提出的算法中，圖像塊聚類是利用每個(gè)圖像塊的主方向角，訓(xùn)練每類對(duì)應(yīng)的字典。Nazzal提出在傳統(tǒng)的殘差字典學(xué)習(xí)基礎(chǔ)上，建立基于殘差的多方向字典學(xué)習(xí)法，深度學(xué)習(xí)通過(guò)深層網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)輸入數(shù)據(jù)的抽象特征，通過(guò)反向傳播算法來(lái)調(diào)整網(wǎng)絡(luò)參數(shù)，利用加深或者加寬網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)更為復(fù)雜的映射關(guān)系，處理大量或者高維的數(shù)據(jù)。

Dong等率先將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像超分辨率（SRCNN），算法中將輸入圖像放大到與輸出相同的尺寸后，將輸入圖像輸入網(wǎng)絡(luò)，這種設(shè)計(jì)使得卷積操作都在高分辨率圖像上進(jìn)行。為了提升SRCNN算法的速度，Dong等在算法中，將反卷積操作加入算法，提出基于反卷積的快速圖像超分辨率重建算法，特征提取算法直接在LR圖像上進(jìn)行，引入反卷積層在網(wǎng)絡(luò)輸出層，重構(gòu)HR圖像，經(jīng)過(guò)改進(jìn)的算法速度是SRCNN的17.36倍，但重建效果與SRCNN相近[7-8]。

基于亞像素卷積神經(jīng)網(wǎng)絡(luò)，Shi等建立了實(shí)時(shí)單圖像和視頻超分辨率（ESPCN）的高分辨率圖像重建算法，算法中運(yùn)用亞像素卷積的上采樣方式，通過(guò)將低分辨率圖像中提取到的特征圖重新排列，得到高分辨率圖像，在保證較好視覺(jué)效果的前提下，滿足實(shí)時(shí)視頻處理的要求[9]。

3圖像超分辨率重建算法評(píng)價(jià)方法

3.1評(píng)價(jià)方法分類

由于 LR 圖像和重建圖像的尺寸不同，準(zhǔn)確評(píng)價(jià)重建圖像的質(zhì)量，研究出評(píng)價(jià)更快速且符合人類視覺(jué)感知的 SR重建圖像質(zhì)量評(píng)價(jià)方法是目前研究的熱點(diǎn)。重建圖像的質(zhì)量評(píng)價(jià)可檢驗(yàn)SR 重建算法好壞，優(yōu)化重建算法中的參數(shù)，常用評(píng)價(jià)方法包括主觀評(píng)價(jià)方法和客觀評(píng)價(jià)法。

主觀評(píng)價(jià)方法是指人們通過(guò)眼睛觀察和主觀感受兩方面，對(duì)圖像的質(zhì)量好壞做出評(píng)價(jià)。由于主觀性較強(qiáng)，導(dǎo)致評(píng)價(jià)結(jié)果存在較大的差異。常用的主觀評(píng)價(jià)方法：ACR-HRR、SSCQE、DSCQS以及 DSIS;要得出符合大眾的評(píng)價(jià)結(jié)果，需要收集大量數(shù)據(jù)進(jìn)行分析，所需時(shí)間成本和人力成本高的缺陷。

客觀評(píng)價(jià)方法通過(guò)一些客觀衡量指標(biāo)對(duì)圖像質(zhì)量進(jìn)行定性度量，常用客觀評(píng)價(jià)方法：均方誤差法（Mean Square Error， MSE）、峰值信噪比法 （Peak-Signal-to-Noise， ?PSNR）、結(jié)構(gòu)相似性度量法 （Structural ?Similarity ?Index Measurement， SSIM）、自然圖像評(píng)價(jià)質(zhì)量法（Natural Image Quality Evaluator，NIQE）、知覺(jué)指數(shù)法（Perceptual Index，PI）、無(wú)參考圖像質(zhì)量評(píng)價(jià)法（Distortion Identification-based Image Verity and INtegrity Evaluation ?DIIVINE）、信息保真度等[10]。

3.2客觀評(píng)價(jià)方法分析

MSE和PSNR的原理相同，失真圖像與原始圖像的相似性通過(guò)計(jì)算對(duì)應(yīng)像素點(diǎn)之間的差距來(lái)衡量。優(yōu)點(diǎn)是計(jì)算較為簡(jiǎn)便，缺點(diǎn)是因?yàn)橹豢紤]單個(gè)像素與單個(gè)像素的差異，沒(méi)有考慮影響人類視覺(jué)特性及圖像特征紋理的因素，大量的實(shí)驗(yàn)結(jié)果表明，MSE 和 PSNR 的評(píng)價(jià)結(jié)果和主觀評(píng)價(jià)方法的結(jié)果無(wú)法完全一致。

結(jié)構(gòu)相似度度量方法是運(yùn)用結(jié)構(gòu)相似度指標(biāo)，量化失真圖像和原始圖像之間的差異，評(píng)價(jià)失真圖像的質(zhì)量好壞，描述圖像的質(zhì)量，用亮度、對(duì)比度、結(jié)構(gòu)三項(xiàng)信息相結(jié)合，與 MSE和 PSNR相比較，結(jié)構(gòu)相似度度量方法與人類視覺(jué)特性更符合。

Moorthy根據(jù)自然場(chǎng)景統(tǒng)計(jì)特性，提出無(wú)參考圖像質(zhì)量評(píng)價(jià) （Distortion Identification-based Image Verity and INtegrity Evaluation ?DIIVINE）方法，利用支持向量機(jī)模型鑒別圖像的失真類別，根據(jù)具體失真類別，使用支持向量回歸模型評(píng)價(jià)圖像的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，該方法評(píng)價(jià)結(jié)果和主觀評(píng)價(jià)方法的結(jié)果具有很高的一致性，存在的問(wèn)題是不能將把所有的失真類別都考慮在內(nèi)。

NIQE 和 PI的方法基礎(chǔ)是人的視覺(jué)感受，有時(shí)直接用人眼的視覺(jué)感受作為指標(biāo)，圖像敏銳度越高、越自然， NIQE 值或 PI 值就越大， PI 的值是在 NIQE 的基礎(chǔ)上計(jì)算得到。在近來(lái)的 SR 圖像質(zhì)量評(píng)價(jià)研究中，直接用人眼的視覺(jué)感受作為指標(biāo)逐漸成為主流的選擇， PI 也成為最主要的選擇。

4總結(jié)與展望

圖像超分辨率領(lǐng)域的理論框架已經(jīng)建立，出現(xiàn)了很多研究成果，但還面臨以下方面的問(wèn)題需要改進(jìn)與解決：如何提升超分辨率系統(tǒng)的魯棒性;重建出高質(zhì)量的高分辨率輸出圖像，建立與主觀評(píng)價(jià)法相一致，且易于操作的客觀評(píng)價(jià)法還有待改進(jìn);在超分辨率重建系統(tǒng)中，存在計(jì)算量很大的求逆過(guò)程，在實(shí)際應(yīng)用中， 需要開(kāi)發(fā)更快速SR算法，目前在平移運(yùn)動(dòng)模型下的頻率域已有高效算法，其他運(yùn)動(dòng)模型下的高效算法還未見(jiàn)報(bào)道;目前的重建算法在重建高分辨率圖像時(shí)，使用較小的放大倍數(shù)，在較大放大倍數(shù)條件下，得到的重建圖像存在平滑模糊的問(wèn)題，目前深度學(xué)習(xí)研究超分辨率圖像重建的重點(diǎn)，在較大放大倍數(shù)條件下，如何利用深度學(xué)習(xí)增強(qiáng)算法的重建性能。

參考文獻(xiàn)：

[1] 董彬.圖像反問(wèn)題中的數(shù)學(xué)與深度學(xué)習(xí)方法[J].計(jì)算數(shù)學(xué)，2019，41（4）：343-366.

[2] 杜玉萍，劉嚴(yán)嚴(yán).基于POCS的微掃描超分辨率圖像重建算法研究[J].光電技術(shù)應(yīng)用，2019，34（6）：25-28，44.

[3] 劉瑞.基于雙邊濾波器的圖像超分辨率重建[J].科技資訊，2013，11（18）：4-5.

[4] 李鍵紅，吳亞榕，呂巨建.基于自相似性與多任務(wù)高斯過(guò)程回歸的單幀圖像超分辨率重建[J].光學(xué)精密工程，2018，26（11）：2814-2826.

[5] 練秋生，石保順，陳書(shū)貞.字典學(xué)習(xí)模型、算法及其應(yīng)用研究進(jìn)展[J].自動(dòng)化學(xué)報(bào)，2015，41（2）：240-260.

[6] 韓玉蘭，趙永平，王啟松，等.稀疏表示下的噪聲圖像超分辨率重構(gòu)[J].光學(xué)精密工程，2017，25（6）：1619-1626.

[7] Dong C，Loy C C，He K M，et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016，38（2）：295-307.

[8] Shi W Z，Caballero J，Huszar F，et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），June 27-30， 2016. Las Vegas， NV， USA. IEEE， 2016： 1874-1883.

[9] Wang X T，Yu K，Wu S X，et al.ESRGAN： enhanced super-resolution generative adversarial networks[M]//Lecture Notes in Computer Science. Cham： Springer International Publishing， 2019： 63-79.

[10] 伍新洲，袁寧徽，沈立.一種高效的多模型圖像超分辨率框架[J].集成技術(shù)，2019，8（5）：49-57.

【通聯(lián)編輯：唐一東】