陳紅，周耀東

（西華大學(xué)計算機(jī)與軟件工程學(xué)院，成都610039）

0 引言

人們生活逐漸被網(wǎng)絡(luò)滲透，數(shù)字圖像作為可視化的信息載體得到了高度關(guān)注。而在數(shù)字成像系統(tǒng)中超分辨率的研究是很重要的探索方向，尤其是在醫(yī)療、監(jiān)控、壓縮等領(lǐng)域。圖像超分辨技術(shù)按退化原理可以分為監(jiān)督退化的圖像超分辨率和無監(jiān)督退化的圖像超分辨率。監(jiān)督退化是先假設(shè)出了一個圖像退化模型，這個模型模擬了自然環(huán)境下的高分辨率圖像如何退化為人眼觀察到的低分辨率圖像[3-4]，然后經(jīng)過逆過程得到超分辨率結(jié)果。其常用的有兩種模型，一種是先用模糊內(nèi)核與高分辨率圖像卷積，再使用具有縮放因子的雙三次下采樣器作用于卷積后的高分辨率圖像得到小尺寸的低分辨率圖像，最后再加上一加性高斯白噪聲(AWGN)。Kim 等人[3]采用另一種簡化的模型，直接把高分辨率圖像通過雙三次下采樣器得到退化圖像。無監(jiān)督退化的提出是為了仿制真實(shí)的低分辨到高分辨的超分過程，提出的模型與現(xiàn)實(shí)的情況存在很大的區(qū)別。本文著重對圖像超分辨率方法分兩類進(jìn)行闡述和分析，以向人們展示圖像超分辨率技術(shù)的發(fā)展方向和應(yīng)用前景。

1 監(jiān)督退化的圖像超分辨率

監(jiān)督學(xué)習(xí)的圖像超分辨率，基本上是學(xué)習(xí)了人為設(shè)計的圖像降質(zhì)過程的逆過程，需要先構(gòu)成LR-HR 的圖像對，采用雙三次下采樣的方法將高分辨率圖像縮小為低分辨率圖像，這種方法是現(xiàn)階段主要的研究方式。監(jiān)督學(xué)習(xí)是從成對的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個函數(shù)（模型參數(shù)），輸入一個低分辨率圖像通過這個函數(shù)得到高分辨率圖像；監(jiān)督學(xué)習(xí)的訓(xùn)練集要求包括輸入輸出，也可以說是低分辨率圖像和高分辨率圖像；訓(xùn)練集中的目標(biāo)是由人標(biāo)注的。監(jiān)督學(xué)習(xí)就是最常見的分類問題，通過已有的訓(xùn)練樣本（即已知數(shù)據(jù)及其對應(yīng)的輸出）去訓(xùn)練得到一個最優(yōu)模型（這個模型屬于某個函數(shù)的集合，最優(yōu)表示某個評價準(zhǔn)則下是最佳的），再利用這個模型將所有的輸入映射為相應(yīng)的輸出，對輸出進(jìn)行簡單的判斷從而實(shí)現(xiàn)分類的目的。監(jiān)督學(xué)習(xí)的目標(biāo)往往是讓計算機(jī)去學(xué)習(xí)我們已經(jīng)創(chuàng)建好的分類系統(tǒng)（模型），但是在超分辨中是為了學(xué)習(xí)低到高的映射關(guān)系，輸入一張低分辨率圖像最后可以得到一張放大的高清圖像。

從基于傳統(tǒng)的字典學(xué)習(xí)到基于深度學(xué)習(xí)的超分辨率方法已經(jīng)很成熟了，Yang 等人[1]提出了基于圖像塊的稀疏表示圖像超分辨，明顯降低了計算成本，顯著加快算法速度。文獻(xiàn)[24-25]中Freedman 等人[6]提出了基于示例的超分辨框架，不依賴外部示例數(shù)據(jù)庫，也不使

用整個輸入圖像作為示例補(bǔ)丁的源，而是在自然圖像上遵循局部自相似假設(shè)，并從輸入圖像中極其局部的區(qū)域提取補(bǔ)丁。大量從外部低分辨率和高分辨率示例圖像對中學(xué)習(xí)映射功能[1,2,9-10]。近年來，許多基于深度學(xué)習(xí)的圖像超分辨在網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)策略、參數(shù)效率上提出創(chuàng)新[3,11-17]。Dong 等人[11]開創(chuàng)了在超分辨率工作中運(yùn)用深度學(xué)習(xí)的先河，結(jié)構(gòu)簡單，僅僅使用了三個卷積層。Shi 等人[12]對SRCNN 提出了改進(jìn)，為了降低復(fù)雜度，直接在低分辨率圖像尺寸上提取特征，最后使用亞像素卷積層放大得到高分辨率圖像。Ledig 等人[15]為了增強(qiáng)細(xì)節(jié)信息，提出了感知損失函數(shù)。下面介紹兩種常用的監(jiān)督退化學(xué)習(xí)的超分辨方法。

1.1 基于字典學(xué)習(xí)的超分辨

對超分辨率方法的字典訓(xùn)練，預(yù)先構(gòu)建高低分辨率圖像對，由于在現(xiàn)實(shí)生活中真實(shí)的實(shí)驗(yàn)數(shù)據(jù)很難采集，所以將清晰的圖像進(jìn)行下采樣和添加加性高斯白噪聲等操作得到低分辨率圖像。設(shè)Y∈Rn表示為原始高分辨率圖像，X∈Rm表示為降質(zhì)處理后得到的低分辨率圖像，HR 圖像和LR 圖像之間的關(guān)系可以表示為：

S 表示下采樣因子，B 為模糊算子，n 為加性高斯白噪聲。

將低分辨率圖像X∈Rn圖像雙三次方插值得到和高分辨率圖像相同大小的低分辨率圖像M∈Rn。將所有的M 圖像分成若干個3×3 或者5×5 之類的小塊，小塊之間有1×1 或者2×2 之類的重疊區(qū)域，對應(yīng)的Y 圖像同樣對應(yīng)坐標(biāo)位置，分成小塊。對低分辨率圖像塊做特征提取操作，通過4 個濾波器提取低分辨率塊圖像的特征信息，4 個濾波器依次定義為：

每個圖像塊可以產(chǎn)生相應(yīng)地4 個特征向量，合并后得到最后的特征表示。因?yàn)槊總€低分辨率圖像塊的特征表示都將其鄰近信息編碼進(jìn)去，這將更好地促進(jìn)最終SR 重建圖像的相鄰塊之間相互兼容。

接下來隨機(jī)初始化字典Dh和Dl并訓(xùn)練。訓(xùn)練過程如下：

上面方法是對兩個字典分開訓(xùn)練，式中?1范數(shù)‖ ‖·1為了保證稀疏度，?2范數(shù)‖ ‖·2對字典的列向量進(jìn)行約束。

通過對兩字典同時訓(xùn)練可以節(jié)省時間，Yang 等人采樣聯(lián)合字典訓(xùn)練，假定對高分辨率字典和低分辨率字典的稀疏表示是相似的，則可以用相同的編碼來表示高分辨率和低分辨率圖像塊，上面公式聯(lián)合得到：

式中N 和M 分別表示Y 和X 向量形式的維度，接下來一般采用交替優(yōu)化方法，先對字典固定，更新Z 值：

最終得到D 和Z。

1.2 基于深度學(xué)習(xí)的超分辨

最近幾年深度學(xué)習(xí)在處理圖像、文本、語音的任務(wù)上表現(xiàn)出了一定的優(yōu)勢，所以基于深度學(xué)習(xí)做超分辨也得到了廣泛關(guān)注，涌現(xiàn)了大量的文章[31-35]。以下是對近年基于深度學(xué)習(xí)超分辨方法的部分分析，表1 是部分分類。

影響超分辨效果的因素有很多，例如數(shù)據(jù)集的多少、學(xué)習(xí)策略、評價指標(biāo)等。這幾年在基于深度學(xué)習(xí)的方法中這些因素都有體現(xiàn)，文獻(xiàn)[21]和[22]在網(wǎng)絡(luò)設(shè)計上改進(jìn)，文獻(xiàn)[23]使用感知損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)。雖然改進(jìn)方法很多，但是大致的框架流程是差不多，先提取圖像塊特征，建立映射關(guān)系，最后圖像重建。圖1 展示了大致的流程：

圖1 基于深度學(xué)習(xí)超分辨網(wǎng)絡(luò)結(jié)構(gòu)

圖1 是最簡單的直接學(xué)習(xí)低分辨率到高分辨率映射的網(wǎng)絡(luò)結(jié)構(gòu)，提取特征是將圖像分成小塊提取特征，中間的卷積網(wǎng)絡(luò)可以看做許多的卷積層，通過不斷地訓(xùn)練調(diào)整參數(shù)，最后低分辨率圖像通過學(xué)習(xí)的參數(shù)得到高分辨率圖像。深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的主要模塊是卷積，池化，激活，這是一個標(biāo)準(zhǔn)的非線性變換模塊。隨著深度學(xué)習(xí)的發(fā)展，更深的結(jié)構(gòu)模型，意味著更好的非線性表達(dá)能力，可以學(xué)習(xí)更加復(fù)雜的變換，從而可以擬合更加復(fù)雜的特征輸入。然而隨著網(wǎng)絡(luò)深度的加深可能導(dǎo)致，梯度不穩(wěn)定，這就有可能出現(xiàn)網(wǎng)絡(luò)加深，性能反而開始下降。殘差網(wǎng)絡(luò)[17]的提出，解決了之前網(wǎng)絡(luò)結(jié)構(gòu)較深時無法訓(xùn)練的問題，也提高了性能。文獻(xiàn)[26]結(jié)合了之前的字典學(xué)習(xí)提出了的殘差字典學(xué)習(xí)，將低分辨圖像與高分辨圖像的殘差高頻信息學(xué)習(xí)出來。圖2展示了基于殘差學(xué)習(xí)的圖像超分辨。

圖2 基于殘差學(xué)習(xí)的超分辨網(wǎng)絡(luò)

圖2 中網(wǎng)絡(luò)輸入的是低分辨率圖像通過插值后變成目標(biāo)像素的低分辨率圖像，再將這個圖像與網(wǎng)絡(luò)學(xué)到的殘差相加得到最終的輸出。殘差網(wǎng)絡(luò)用來處理超分辨問題再合適不過，其原因在于輸入的低分辨率圖像和輸出的高分辨率圖像在很大程度上是相似的，也就是指低分辨率圖像攜帶的低頻信息與高分辨率圖像的低頻信息相近，在訓(xùn)練階段帶上這冗余部分會多花費(fèi)大量的時間，實(shí)際上我們只需要學(xué)習(xí)高分辨率圖像和低分辨率圖像之間高頻部分的殘差圖像即可。之后改進(jìn)基于殘差學(xué)習(xí)的網(wǎng)絡(luò)提出了很多方法，何愷明[16]第一次將遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)融入圖像超分辨任務(wù)，而Tai等人[18]對一些殘差網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行了分析調(diào)整，提高了網(wǎng)絡(luò)性能。

2 無監(jiān)督退化的圖像超分辨率

深入了解一些如今做超分的方法，會發(fā)現(xiàn)大家都是先將原圖HR 進(jìn)行下采樣得到LR，再用LR 作為輸入，經(jīng)過設(shè)計的超分算法，得到SR，與原來的HR 計算圖像質(zhì)量指標(biāo)，如PSNR、SSIM 等。這個流程跟我們的實(shí)際應(yīng)用場景相差甚遠(yuǎn)，需要做超分的輸入圖片，大多數(shù)都沒有經(jīng)過下采樣，即使是有圖像質(zhì)量壓縮，模式也是未可知的，遠(yuǎn)遠(yuǎn)不是用某個函數(shù)下采樣就能模擬出來。所以針對現(xiàn)實(shí)生活中低分辨率圖像的模糊核未知且對應(yīng)的高分辨率圖像不存在的問題提出了無監(jiān)督退化學(xué)習(xí)，所謂無監(jiān)督的訓(xùn)練，就是指在訓(xùn)練過程是不需要配對的圖像對去用于訓(xùn)練。

目前無監(jiān)督超分辨率方法很少，Zhang[19]設(shè)計了一個新的SISR 退化模型，利用現(xiàn)有的盲去模糊方法進(jìn)行模糊核估計，文章給出的實(shí)驗(yàn)效果很好，但是經(jīng)過實(shí)驗(yàn)后發(fā)現(xiàn)，在未知模糊核的情況下效果仍待改進(jìn)。自2014 年Ian Goodfellow 提出了GAN（Generative Adver?sarial Network）以來，對GAN 的研究可謂如火如荼，各種GAN 的變體[28-30]不斷涌現(xiàn)。Kupyn 等人[27]實(shí)現(xiàn)了一種基于GAN 盲運(yùn)動去模糊的方法，即在沒有關(guān)于模糊核信息的前提下，給定模糊圖像，復(fù)原清晰圖像。Ledig等人[15]利用GAN 增強(qiáng)了超分效果，提出了感知損失函數(shù)，它包含了對抗損失和內(nèi)容損失，對抗損失采用了一個判別器網(wǎng)絡(luò)，使結(jié)果更加接近原始自然圖像，但它不是無監(jiān)督退化的方法。最近Zhao 等人[2]提出了一種無監(jiān)督退化學(xué)習(xí)的單圖像超分辨，利用生成對抗網(wǎng)絡(luò)模擬真實(shí)的超分辨過程。生成對抗網(wǎng)絡(luò)主要分成兩個部分，一個是生成器，顧名思義它的功能是生成數(shù)據(jù)；一個是判別器，用來判斷生成的數(shù)據(jù)的真假。如圖3 顯示了簡單的無監(jiān)督退化超分辨生成對抗結(jié)構(gòu)。

在這個網(wǎng)絡(luò)中，雙向結(jié)構(gòu)一致性被利用于去訓(xùn)練退化和超分辨率重構(gòu)網(wǎng)絡(luò)，以一種非監(jiān)督的方式，退化網(wǎng)絡(luò)可以通過使用生成對抗網(wǎng)絡(luò)去建模從高分辨率到低分辨率的退化過程，然后這些生成的逼真的低分辨率圖像和現(xiàn)實(shí)生活中的高分辨率圖像用于去訓(xùn)練超分辨率重構(gòu)的網(wǎng)絡(luò)，形成第一個循環(huán)。然后在第二個逆循環(huán)中，實(shí)際生活中的低分辨率圖像被用于進(jìn)一步去穩(wěn)定SR 重構(gòu)和退化網(wǎng)絡(luò)的訓(xùn)練。在合成的和實(shí)際生活的圖像上的大量實(shí)驗(yàn)表明提出的算法在對比最先進(jìn)的單圖像超分辨率方法都能變現(xiàn)更出色。

圖3 無監(jiān)督學(xué)習(xí)超分辨網(wǎng)絡(luò)

3 結(jié)語

現(xiàn)代社會網(wǎng)絡(luò)迅猛發(fā)展，通過圖片、視頻展示和傳遞信息成為一種日常的操作。因而對圖像質(zhì)量的要求也越來越高，由于設(shè)備、技術(shù)、距離等限制，導(dǎo)致許多成像系統(tǒng)所得到的圖像不能滿足實(shí)際需要，所以圖像超分辨率技術(shù)的出現(xiàn)可以解決這些問題。圖像超分辨率在視頻、遙感、醫(yī)學(xué)和安全監(jiān)控等領(lǐng)域具都有十分重要的應(yīng)用，另外其應(yīng)用也逐步涉及到其他各個領(lǐng)域。在高清數(shù)字電視方面采用超分辨率技術(shù)會進(jìn)一步減少成本，提高畫面的質(zhì)量。超分辨率技術(shù)在采集軍事與氣象遙感圖像應(yīng)用可實(shí)現(xiàn)高于系統(tǒng)分辨率的圖像觀測。在醫(yī)學(xué)成像系統(tǒng)中（如CT、MRI 和超聲波儀器等），可以用圖像超分辨率技術(shù)來提高圖像質(zhì)量，對病變目標(biāo)進(jìn)行仔細(xì)的檢測。在銀行、證券等部門的安全監(jiān)控系統(tǒng)中，當(dāng)有異常情況發(fā)生后，可對監(jiān)控錄像進(jìn)行超分辨率重建，提高圖像要害部分的分辨率，從而為事件的處理提供重要的線索。單圖像超分辨率是一個具有挑戰(zhàn)性的研究問題，具有重要的現(xiàn)實(shí)生活應(yīng)用，在未來超分辨技術(shù)廣泛的應(yīng)用前景必然會推動這一技術(shù)不斷發(fā)展。

深度卷積神經(jīng)網(wǎng)絡(luò)在單幅圖像上的超分辨率取得了非常好的效果，人們在網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)策略等方面，提出了不同的方法，并獲得了令人振奮的創(chuàng)新。未來既可以從無監(jiān)督退化學(xué)習(xí)的方面進(jìn)行改進(jìn)，也可以改進(jìn)損失函數(shù)來提升性能。