楊 航

（中國科學(xué)院長春光學(xué)精密機械與物理研究所, 吉林 長春 130033）

1 引 言

在圖像的獲取和傳輸過程中，受各種因素影響，如大氣的湍流效應(yīng)、攝像設(shè)備中光學(xué)系統(tǒng)的衍射、光學(xué)系統(tǒng)的像差、 成像設(shè)備與物體之間的相對運動、離焦等問題，都難免會造成圖像的失真，由這些因素引起的質(zhì)量下降通常稱為圖像退化。由于圖像的退化，觀測到的圖像會丟失很多有價值的信息，同時對比度會變差，其典型表現(xiàn)是圖像出現(xiàn)模糊失真以及附加噪聲。為此，必須對退化的圖像進行處理，估計出真實的原始圖像，這一過程就稱為圖像復(fù)原。

在數(shù)字圖像處理領(lǐng)域，圖像復(fù)原算法的研究是一個重要但又難以解決的問題。近半個世紀(jì)以來，圖像復(fù)原問題始終是相關(guān)領(lǐng)域研究的熱點之一，不僅具有理論挑戰(zhàn)性也具有重要的實際應(yīng)用價值。圖像復(fù)原作為一種改善圖像質(zhì)量的技術(shù)，從失真和降質(zhì)的觀測量來估計原始圖像，盡量降低和消除圖像的失真和噪聲。這對于圖像的進一步研究和應(yīng)用，諸如特征提取、自動識別和圖像分析等都是極具價值的。近50 年來，圖像復(fù)原的應(yīng)用范圍已經(jīng)涵蓋了諸如天文觀測[1]、醫(yī)學(xué)影像[2]、空間探索[3]、軍事科學(xué)[3]、遙感遙測[4]、生物科學(xué)[5]及工業(yè)視覺[6]等眾多科學(xué)和技術(shù)領(lǐng)域。

在實際問題中，點擴散函數(shù)是一個低通濾波器，其會使輸入圖像的高頻成分受到抑制甚至丟失，圖像復(fù)原是一個數(shù)學(xué)反問題，其目的是要“找回”丟失的成分。在圖像復(fù)原過程中，觀測圖像中的噪聲往往會被放大，這意味著圖像復(fù)原的結(jié)果可能偏離真實的解。為了盡可能獲得真實的解，圖像復(fù)原要考慮對噪聲的抑制，這就需要在清晰度和噪聲放大之間做出適當(dāng)?shù)钠胶狻?/p>

圖像復(fù)原問題根據(jù)已知條件的不同可以分為兩類：非盲圖像復(fù)原（點擴散函數(shù)已知）和盲圖像復(fù)原（點擴散函數(shù)未知）。 非盲圖像復(fù)原，也稱之為反卷積（deconvolution），是在點擴散函數(shù)已知的情況下，由觀測圖像（模糊圖像），通過數(shù)學(xué)運算，估計出清晰圖像的方法，非盲復(fù)原更關(guān)注的是如何在噪聲干擾的情況下，能夠有效地恢復(fù)出清晰圖像。 與非盲圖像復(fù)原不同的是，盲圖像復(fù)原是在點擴散函數(shù)未知的情況下，關(guān)注如何能夠快速有效地估計出點擴散函數(shù)和清晰圖像。

生活中常見的模糊圖像都是點擴散函數(shù)未知的情況，大多采用盲復(fù)原方法進行處理。從問題表面上看，盲復(fù)原的難度更大，因為清晰圖像未知，點擴散函數(shù)也未知，但是因此斷言非盲圖像復(fù)原的研究價值沒有盲復(fù)原的高是片面的，恰恰相反，這更能說明非盲復(fù)原的重要性，因為非盲復(fù)原才是盲復(fù)原的核心內(nèi)容。絕大多數(shù)的盲復(fù)原方法是交替求解點擴散函數(shù)和圖像，從而逐步恢復(fù)原始圖像，即先固定點擴散函數(shù)估計圖像（非盲圖像復(fù)原問題），然后固定圖像求解點擴散函數(shù)。由此可以看出，非盲復(fù)原算法是盲圖像復(fù)原方法中不可或缺的步驟。當(dāng)然隨著深度學(xué)習(xí)的發(fā)展，也出現(xiàn)了一些由端到端網(wǎng)絡(luò)直接獲取清晰圖像的盲圖像復(fù)原方法，但若能估計出來點擴散函數(shù)，采用非盲圖像復(fù)原的方法則要優(yōu)于端到端、由模糊圖像直接生成清晰圖像的深度學(xué)習(xí)方法。另外，在很多研究領(lǐng)域，圖像的降質(zhì)過程有較好的理論模型支撐（例如光學(xué)稀疏孔徑成像[7]等），即在這種情況下，點擴散函數(shù)可以通過理論分析和計算得到，因此就省略了盲復(fù)原中點擴散函數(shù)估計過程，使得這些問題直接簡化為一個非盲圖像復(fù)原問題。

綜上可知，研究非盲圖像復(fù)原方法在實際應(yīng)用和理論研究中都具有很高價值和意義。

本文將非盲圖像復(fù)原方法分為傳統(tǒng)方法和深度學(xué)習(xí)方法進行闡述。在傳統(tǒng)方法中，又將其分為兩大類：直接反卷積法和迭代法，最后，探討了圖像復(fù)原中的一些其他問題。

2 非盲圖像復(fù)原中的傳統(tǒng)方法

如果不考慮非線性退化的影響，由模糊造成的圖像降質(zhì)是一個線性時不變系統(tǒng)，其數(shù)學(xué)模型為：

其中B為觀測圖像（模糊圖像），k為點擴散函數(shù)（又稱為模糊核），L為清晰圖像，γ為加性噪聲，“*”表示循環(huán)卷積，圖像模糊的基本過程如圖1所示：

圖1 線性時不變系統(tǒng)示意圖Fig. 1 Diagram of linear time invariant system

2.1 直接法

根據(jù)卷積定理，式（1）可以在傅立葉（Fourier）域?qū)懗梢环N更加適合計算的形式：

吉洪諾夫（Tikhonov）正則化[9]采用頻域截斷的方式，抑制點擴散函數(shù)在高頻處的能量衰減造成的噪聲能量放大，其復(fù)原公式為：

吉洪諾夫正則化將圖像平滑的性質(zhì)作為約束，會導(dǎo)致復(fù)原圖像的邊緣不清晰，當(dāng)正則化參數(shù)選取不當(dāng)時，會產(chǎn)生較嚴(yán)重的振鈴效應(yīng)。但是因其計算效率較高，在噪聲水平不高的情況下，應(yīng)用廣泛。

維納（Wiener）濾波[9]是基于最小均方誤差準(zhǔn)則的一種線性濾波方法，其表達式為：

其中SL和Sγ分別為清晰圖像和噪聲的功率譜，顯然這在實際問題中是無法得到的，因此在具體應(yīng)用時常用額外的手段去獲取的近似值。維納濾波依然不能有效處理噪聲放大問題。

隨著多尺度分析，特別是小波分析的發(fā)展，采用小波分解進行非盲圖像復(fù)原成為熱點[10-13]， 例如，Donoho 等人[13]提出一種小波漣漪卷積方法，通過引入一個與尺度相關(guān)的漣漪函數(shù)來參與解卷積，Kalifa 等人[14]提出了一種匹配卷積核頻域性質(zhì)的鏡像小波，進而通過閾值收縮來達到抑制噪聲的目的。這些方法都是通過將小波技術(shù)融合到解卷積的過程中，沒有達到去卷積和抑制噪聲兩者之間的平衡，噪聲去除效果不佳，而且算法的步驟較為復(fù)雜，數(shù)學(xué)推導(dǎo)繁瑣，在實踐中不易執(zhí)行。

在2004 年，Neelamani 等人[15]提出了一種將去卷積和去噪分離的方法，其思想較直接：首先采用吉洪諾夫正則化進行解卷積，此時選擇一個較小的正則化參數(shù)，目的是保留絕大部分圖像信息，但是遺留下的噪聲也較多， 然后，再使用小波分析對解卷積之后的圖像進行去噪，得到最終的復(fù)原圖像，這個方法稱之為ForWaRD，其流程圖如圖2 所示。值得注意的是：其小波去噪方法不是通過簡單的小波系數(shù)閾值收縮實現(xiàn)的，而是采用兩步法。首先，對解卷積圖像進行小波系數(shù)硬閾值收縮，得到預(yù)估計圖像，然后，再依靠預(yù)估計圖像構(gòu)造小波域維納收縮因子，接著，再對解卷積圖像的小波系數(shù)進行維納濾波，最后，通過逆小波變換得到復(fù)原后的圖像。ForWaRD 方法不僅在當(dāng)時取得了較好的處理效果，更重要的是其引領(lǐng)了非盲圖像復(fù)原的一次重要革新，其后絕大多數(shù)直接法都采用了類似的思路，即先解卷積，然后再去噪。

圖2 ForWaRD 算法流程圖Fig. 2 Flow chart of ForWaRD algorithm

雖然ForWaRD 算法在非盲圖像復(fù)原思路轉(zhuǎn)變上起到了很大的作用，但是由于二維張量小波只能有效地處理圖像中各向同性的奇異對象，對于不規(guī)則邊緣和紋理等各項異性特征沒有較好的非線性擬合能力，因此，學(xué)者們用更加有效的圖像分析工具來替代小波變換，由此產(chǎn)生了很多新的方法。

隨著小波熱潮發(fā)展起來的多尺度幾何分析，逐步成為了圖像處理的有效工具，例如曲波[16]（curvelet）、輪廓波[17]（contourlet），剪切波[18]（shearlet）和波原子[19]（wave atom）等，這些變換本質(zhì)上和小波變換一樣，是一種人為構(gòu)造出來的固定基底，用以對二維圖像進行稀疏化表示，他們的優(yōu)勢在于可以對圖像的邊緣/紋理有較強的非線性逼近能力，因此，在各類圖像問題中得到了廣泛應(yīng)用。在非盲圖像復(fù)原領(lǐng)域，也得到了較ForWaRD 更有效的擴展算法[20-22]。每種多尺度方法都在某一方面具備較好的圖像信息表達能力，但也有各自的局限，例如曲波[20]能夠?qū)D像中的邊緣有效的稀疏表示，而對紋理等信息不能很好處理，反之，波原子[22]雖然對模式化的紋理有最有效的非線性逼近能力，但是對普通曲線的處理要弱于其他多尺度變換。

基于多尺度變換域的高斯混合模型（Gaussian Scale Mixtures, GSM）[23-24]在圖像復(fù)原方面也取得了不錯的效果，基本思想是先對模糊圖像進行解卷積，然后對解卷積圖像進行多尺度分解，最后在多尺度金字塔和完備（或超完備）基底系數(shù)中應(yīng)用高斯混合模型，對變換系數(shù)進行濾波，進而達到抑制噪聲的效果。這類方法的代表：SV-GSM[24]（Space Variant GSM）方法是當(dāng)時最好的圖像復(fù)原方法之一。Xue 等人[25]提出了一種基于正則化的Stein 無偏風(fēng)險估計（SURE）的最小化方法，稱之為SURE-LET 方法。該方法首先使用多個維納濾波器作為基本函數(shù)，然后，使用非抽取的Haar 小波閾值，線性地參數(shù)化復(fù)原過程，利用SURE 的二次性和線性參數(shù)化，將復(fù)原問題最終歸結(jié)為求解一個線性方程組，而這個線性方程組的解即為真實圖像的最優(yōu)無偏估計。SURE-LET方法有著獨特的濾波手段，因此在小波類方法中取得了最佳結(jié)果，類似的思想也可以推廣到其他多尺度分析方法中。

與固定基底不同，文獻[26-27]提出了依據(jù)圖像內(nèi)容自適應(yīng)構(gòu)造基底的方法，例如基于形狀自適應(yīng)離散余弦變換的SA-DCT 方法[27]。在圖像局部使用非參數(shù)局部多項式來逼近圖像，雖然處理效果受限于表示工具，但是也為圖像分析的自適應(yīng)基底提供了思路。遺漏噪聲與普通的高斯加性白噪聲不同，其隨機變量的概率分布不具備相同的方差，因此普通的去噪方法無法直接應(yīng)用到非盲圖像復(fù)原中， 而非局部均值濾波[28]（Non Local Means Filter，NLMF）因為具有較強的紋理保護能力和濾波能力，獲得了學(xué)者的重視，并將其用于解決圖像復(fù)原問題[29]，有效恢復(fù)模糊圖像中的紋理信息。

在圖像處理領(lǐng)域，自適應(yīng)基底和非局部特征被廣泛關(guān)注，一種將二者有機結(jié)合的圖像處理技術(shù)應(yīng)運而生—三維塊匹配濾波[30]（Block Matching 3D filtering，BM3D）。該方法是傳統(tǒng)方法中去噪效果最好的算法之一。該算法的思想與NLMeans 類似，也是在圖像中尋找相似塊進行濾波，不同的是，在得到足夠多的相似塊之后，將其堆成一個三維數(shù)據(jù)（一個組），并對這個三維數(shù)據(jù)進行三維（3D）濾波，之后將濾波后的數(shù)據(jù)返回到各自的圖像位置并融合（因為一個像素點可以多次被匹配到不同的組中）。

BM3D 算法在圖像去噪領(lǐng)域均取得了巨大的成功，因此將BM3D 方法用于遺漏噪聲的濾除也成為了很自然的做法。學(xué)者們提出了BM3DDEB[31]用于圖像反卷積，該算法至今也是圖像復(fù)原問題首選方法之一，其流程圖如圖3 所示。

圖3 基于BM3D 的圖像復(fù)原方法流程圖[31]Fig. 3 Flow chart of image restoration method based on BM3D[31]

直接圖像復(fù)原法，其重點在于遺漏噪聲的去除，但并不是所有去噪的方法都是固定模式，每種方法都有自己獨特的去噪技巧，從而才能獲得最佳的復(fù)原效果。

為了對直接法的復(fù)原效果進行更好地總結(jié)，采用6 組標(biāo)準(zhǔn)實驗設(shè)置，對8 種代表性直接法進行實驗對比，8 種算法分別為：ForWaRD[15]、Shear-Dec[21]、 GSM[23]、 SV-GSM[24]、 LPA-ICI[26]、 SADCT[27]、SURE-LET[25]以及BM3DDEB[31]。采用改進的信噪比[32]（Improvement in Signal-to-Noise Ratio，ISNR）作為算法的評價標(biāo)準(zhǔn)，單位是分貝（dB）。ISNR 的計算公式為：

由式（7）可看出，相對于峰值信噪比（PSNR）的計算公式，ISNR 的計算增加了模糊圖像B信息，這樣更能反映復(fù)原圖像對模糊圖像的改善程度。

表1 給出了每組實驗的參數(shù)設(shè)置，其中BSNR（Blurred Signal-to-Noise Ratio）表示模糊信噪比，其計算公式為：

表1 實驗設(shè)置Tab.1 Experimental settings

其中，Var(B)表示模糊圖像B的方差，H和W分別表示圖像的高和寬，σ表示噪聲的標(biāo)準(zhǔn)差。

表2 顯示了8 種算法的復(fù)原結(jié)果，其中標(biāo)下劃線數(shù)值表示該組實驗中最優(yōu)的結(jié)果，加粗?jǐn)?shù)值表述次最優(yōu)的結(jié)果，從表2 可以明顯看出，BM3DDEB[31]具有最大的優(yōu)勢。表2 中的數(shù)據(jù)來源于文獻[21,25,31,33]。

表2 8 種直接法輸出ISNR 的對比Tab.2 Comparison of ISNR output by eight methods

直接法的優(yōu)點在于其思想簡潔，計算復(fù)雜度較低，便于應(yīng)用；缺點是由于遺漏噪聲不同于高斯白噪聲。因此，單獨去噪無法達到滿意的效果，常常伴有振鈴效應(yīng)或者噪聲濾波不完全的情況。因此，很多學(xué)者把提升非盲圖像復(fù)原效果的重點放在了迭代法上。

2.2 迭代法

非盲圖像復(fù)原的迭代求解法的核心思想是將清晰圖像的估計視作一個優(yōu)化問題的最優(yōu)解， 通過設(shè)計一種迭代格式來求解該最優(yōu)化問題，進而達到圖像復(fù)原的目的[34-38]。

Lucy- Richardson (LR)法[39]是迭代法的早期代表之一，其假設(shè)圖像服從泊松（Possion）分布，采用最大似然估計，得到如下一種迭代格式：

其中“ ?”表示相關(guān)運算。LR 方法容易受到噪聲的影響，同時復(fù)原圖像往往會進一步放大噪聲，不適用于低信噪比的情況。Whyte 等人[40]針對部分飽和的模糊圖像，引入一個響應(yīng)函數(shù)用來辨識飽和與非飽和像素點，進而提出了一種改進型的LR 迭代法。

全變差（Total Variation，TV）正則化是另一種重要的圖像處理模型[41]，在圖像去噪[42]，圖像復(fù)原[43]，圖像分割[44]，圖像超分辨[45]等領(lǐng)域都有著廣泛的應(yīng)用。全變差模型本質(zhì)上是一種對圖像的梯度進行約束（或者也可以稱為將圖像的梯度信息作為先驗）的一種最優(yōu)化問題，在圖像復(fù)原問題上的數(shù)學(xué)表達式為:

其中 ?表示梯度算子，?L=(?xL,?yL)，?x和?y分別表示x和y方向的偏導(dǎo)算子，‖·‖def表示自定義的范數(shù)，λ＞0稱 為正則化參數(shù)， 而亦稱作正則項，稱為保真項。

1994 年，Osher 團隊[46]提出了求解圖像復(fù)原問題的ROF (Rudin-Osher-Fatemi)模型，即基于全變差范數(shù)的最優(yōu)化模型。為了求解這種全變差圖像復(fù)原模型，早期的求解方法采用了偏微分方程的求解模式，將優(yōu)化問題轉(zhuǎn)化為Euler Lagrange方程，進行求解[47]。這類方法計算復(fù)雜度高，迭代收斂慢。隨著壓縮感知帶來的熱潮，學(xué)者們提出了大量的最優(yōu)化方法來求解這類模型， 進而也推動了全變差模型在圖像復(fù)原領(lǐng)域的發(fā)展。以美國學(xué)者Osher 團隊為首，率先提出了分離變量的思想[48]，使用Bregman 迭代方法，開創(chuàng)了一種快速求解全變差優(yōu)化模型的理論，大大推動了迭代法的發(fā)展。這類算法包括Split Bregman 法[49]， 閾值收縮法[42,50-51]，Landweber 法[52]，ADMM[53](Alternating Direction Method of Multipliers)法等。分離變量的核心思想是通過引入一組中間變量，將不易直接求解的問題轉(zhuǎn)化為交替迭代求解多個易求解的子問題，例如在文獻[34]中，作者提出了一種快速求解全變差圖像復(fù)原模型方法（FTVd），通過引入一組中間變量 ，將式（10）改寫為：

之后采用交替迭代法，得到兩個子優(yōu)化問題：

這兩個子問題在數(shù)學(xué)上都有解析解（closed form解），即：

通過式（14）～式（15）的交替迭代，就可以較容易得到最后的復(fù)原結(jié)果。

對于式（10）中的正則項，可以根據(jù)需要定義不同的范數(shù)，例如l1范數(shù)[49](各向異性全變差)，l2范數(shù)[34,54]（各向同性全變差），也可以是非凸正則項[55]：，甚至可以是“l(fā)0” 范數(shù)[56-57]。這種分離變量的優(yōu)化技巧大大提高了全變差模型的求解速度和收斂性，受到了學(xué)者們的持續(xù)關(guān)注，但是全變差最優(yōu)化模型的本質(zhì)問題沒有得到改變，即該模型期望問題的最優(yōu)解具有最小的梯度能量。這就會導(dǎo)致圖像中細節(jié)信息丟失、紋理信息損失、圖像過于平滑等問題。

從理論上分析，基于全變差的圖像約束利用了圖像中大部分是平滑區(qū)域的性質(zhì)，對梯度進行約束，可以使獲取的圖像盡可能的平滑，進而抑制噪聲。同理，如果期望獲取的圖像具有某一方面特殊的性質(zhì)，那么就可以提出相應(yīng)的正則項（圖像先驗）。

隨著壓縮感知[56]的提出，圖像稀疏性的研究進入了一個高峰期。壓縮感知理論表明，如果一個信號（圖像）是稀疏的（非零元素較少），那么該信號（圖像）就是可以壓縮采樣的，即通過壓縮采樣后是可以精確復(fù)原的。雖然圖像本身并不稀疏，但是在一些特定的變換下，其變換系數(shù)可以是稀疏的。這一理論對圖像復(fù)原問題提供了新的思路，同時基于稀疏性的各種優(yōu)化模型和迭代格式不斷提出，大大豐富了圖像復(fù)原的研究。

因此，在全變差模型取得成功的同時，用于圖像稀疏性表達的多尺度分析方法，例如小波、曲波等，也被應(yīng)用到迭代法中，即作為對圖像的特征約束，構(gòu)造相應(yīng)的最優(yōu)化問題，例如：在文獻[58]中提出一種基于小波正則化的快速迭代閾值方法，其最優(yōu)化問題表達式為:

其中W表示正交小波變換。類似的方法還有很多，可以參考文獻[59-63]。同時，也有將小波、曲波和全變差組合在一起構(gòu)造的新方法[64-65]，其基本思想是將圖像分成多個部分，每個部分用特定的先驗進行約束，例如可以將圖像分成紋理部分和平滑部分，紋理部分可以采用波原子先驗，而平滑部分可以采用全變差先驗。

從迭代法的迭代格式可以發(fā)現(xiàn)，大多數(shù)迭代法的核心主要包含兩個步驟：一個是對卷積的處理（式（15）），一個是濾波處理（式（14）），這和直接法相似，其本質(zhì)的不同在于迭代法將前一次濾波的結(jié)果，反饋到下一次的解卷積中，讓解卷積的結(jié)果不僅僅取決于模糊圖像，也更加貼近前一次濾波（去噪）的結(jié)果。經(jīng)過反復(fù)多次迭代，最終收斂到的結(jié)果能夠在解卷積和去噪之間達到平衡。

經(jīng)此分析，很多對噪聲具有較好濾除性能的方法均可能在迭代法中得到應(yīng)用，這些濾波或者去噪方法的引入也提升了非盲圖像復(fù)原的效果。

字典學(xué)習(xí)[66-67]（dictionary learning）是一種針對單幅圖像構(gòu)造自適應(yīng)基底的方法，即字典為一組通過當(dāng)前圖像自適應(yīng)學(xué)習(xí)出來的基底，最早用于圖像的稀疏表示，其求解字典的模型為：

其中 Φ表示需要求解的字典，其需要通過圖像L和求解最優(yōu)化問題得到，c是圖像L相對于字典表示的系數(shù)，目的是要求c是稀疏的（元素盡可能為0 或者接近0）。圖4 顯示了圖像復(fù)原算法中學(xué)習(xí)到的字典[68]。Elad 等人[67]采用KSVD（Kmeans Singular Value Decomposition）的方法獲得了較好的冗余字典，并在圖像去噪、圖像修補、圖像復(fù)原等領(lǐng)域都受到了關(guān)注。在非盲圖像復(fù)原中， CSR[69]、NCSR[70]、GSR[71]等為最具代表性的字典學(xué)習(xí)類方法，其一般最優(yōu)化模型為：

圖4 非盲圖像復(fù)原算法中學(xué)習(xí)到的字典[68]。（a）Barbara 圖像復(fù)原局部圖；（b）學(xué)習(xí)到的字典。Fig. 4 Learned dictionary from non-blind image restoration algorithm[68]. (a) Partial restoration image for Barbara image; (b) the learned dictionary

對于不同的字典學(xué)習(xí)類算法，主要是對正則項進行改進，例如中心稀疏表示[69]（Centralized Sparse Representation，CSR）模型在式（18）的基礎(chǔ)上添加了中心約束項：

其中p為1 或者2， β為c的較好估計[69]，新增加的約束項可以在有噪聲干擾的情況下，使學(xué)習(xí)到的字典更魯棒。在CSR 的基礎(chǔ)上進一步改善正則項，得到NCSR[70]：

NSCR 算法雖然刪除了系數(shù)稀疏約束項，但是在字典學(xué)習(xí)方法上通過K均值（K-means）聚類和主成分分析（PCA）對學(xué)習(xí)到的字典進行聚類，并采用非局部思想對β 進行更新，能夠取得更優(yōu)的復(fù)原效果。GSR[71]算法提出了一種新的約束，將塊相似和自適應(yīng)字典學(xué)習(xí)相結(jié)合，構(gòu)建相似組（圖5（彩圖見期刊電子版）給出了相似組構(gòu)建的圖示），對圖像進行稀疏編碼，進而提升圖像的表示能力，并取得了當(dāng)時最優(yōu)的復(fù)原效果。

圖5 組建構(gòu)的圖解[71]Fig. 5 Illustration of group construction[71]

塊相似的方法也很自然地應(yīng)用到了圖像復(fù)原中[72-73]，特別是基于BM3D 的IDDBM3D[73]算法，更是取得了當(dāng)時最高水平的結(jié)果（目前也是傳統(tǒng)方法中最好的方法之一）。該方法將BM3D 濾波融入到一個兩步迭代格式中，一個子問題用于去噪，一個子問題用于解卷積，將解卷積和去噪解耦，交替迭代。文獻[73]證明了該迭代格式是收斂的。IDDBM3D 對各類點擴散函數(shù)和各種噪聲水平都有著很強的適應(yīng)性，同時計算復(fù)雜度不高，能夠廣泛應(yīng)用到各種實際問題中。

低秩（low rank）方法是在塊匹配的基礎(chǔ)上發(fā)展起來的，其思想是將匹配到的相似塊轉(zhuǎn)換成一維向量（與圖5 中堆棧部分類似），然后進行奇異值分解，并對奇異值進行抑制（軟閾值或者硬閾值），進而達到濾波的效果。這種方法雖然與BM3D在某種程度上相似，但是基于SVD 的方法比3D濾波更能發(fā)揮圖像塊之間的相似性作用，因此取得了更好的處理效果[74]。低秩方法可以認(rèn)為是核范數(shù)[75]（nuclear norm）約束的一種形式（一個矩陣的核范數(shù)定義為該矩陣的所有奇異值的和）。 將低秩方法用于圖像復(fù)原的數(shù)學(xué)模型可以寫為：

其中U和V是正交矩陣， Σ為奇異值矩陣?；诘椭鹊膹?fù)原方法（Low Rank based Deconvolution，LRD）[76]通過設(shè)計一種交替迭代法，將低秩濾波有效地整合到圖像復(fù)原問題中，并在正則化參數(shù)的選取上采用自適應(yīng)方法，取得了與GSR[71]算法同等效果。

無論是字典學(xué)習(xí)還是塊匹配（包括低秩）等，都需要較大的計算量，再加上迭代法需要這些過程多次反復(fù)，所以要花費大量的計算時間。為了降低計算復(fù)雜度，同時又能夠使其達到可接受的復(fù)原效果，一些快速濾波方法被引入到圖像復(fù)原中。 邊緣保持濾波器一直是計算機圖形圖像領(lǐng)域最受重視的研究之一，其目的是對圖像進行平滑并且要保持邊緣不模糊。雙邊濾波[77]、非局部均值濾波[28]、引導(dǎo)濾波等[78]都是這類濾波器的典型代表。但是由于快速邊緣保持濾波器去除遺漏噪聲的能力相對較弱， 因此不適于用直接法進行圖像復(fù)原，而迭代法則能夠通過循環(huán)反饋，層層遞進的方式，讓快速邊緣保持濾波器在圖像復(fù)原中發(fā)揮作用[33,79]?；谶吘壉３譃V波器的非盲圖像復(fù)原模型一般可以寫為：

其中EWF（Edge Ware Filter）表示邊緣保持濾波器。

該模型可轉(zhuǎn)化為如下迭代格式進行求解：

當(dāng)然，迭代方式也可以采用其他分離變量的迭代格式，如Landweber[52]、ADMM[52]等。

在傳統(tǒng)方法中，機器學(xué)習(xí)的方法[80-81]也占有一席之地。不同于深度學(xué)習(xí)技術(shù)，這類方法主要使用傳統(tǒng)的機器學(xué)習(xí)技術(shù)，例如高斯混合模型[82]、隨機場[83]等。Roth 和Black[83]最先通過學(xué)習(xí)表達性強的高階馬爾科夫隨機場（Markov Random Field，MRF）先驗對圖像建模，提出了專家場（Fields of Experts，F(xiàn)oE）框架。該框架下MRF 中所有的濾波器參數(shù)均由訓(xùn)練數(shù)據(jù)得到，但該方法由于目標(biāo)函數(shù)的難解性，學(xué)習(xí)過程中使用了對比散度，導(dǎo)致該模型學(xué)習(xí)非常困難。Zoran 和Weiss 等人[82]提出了期望塊對數(shù)似然（Expected Patch Log Likelihood，EPLL）模型。該模型首先使用高斯混合模型從大量自然圖像塊中學(xué)習(xí)到圖像的先驗，并采用最大后驗（Maximum A-Posteriori，MAP）估計來對圖像進行濾波，通過EM 迭代來求解。EPLL方法最大的特點是不對整幅圖像進行全局對數(shù)似然近似，而是對局部圖像塊（patch）進行建模，不僅降低了學(xué)習(xí)難度同時也提升了復(fù)原效果。該方法也是比較常用的學(xué)習(xí)類方法之一。收縮場[84]（Shrinkage fields）方法將隨機場與最優(yōu)化方法相結(jié)合，提出了級聯(lián)收縮場模型，學(xué)習(xí)出用于圖像恢復(fù)的有效圖像濾波器和收縮函數(shù)。Chen等[85]通過參數(shù)化線性濾波器和訓(xùn)練非線性反應(yīng)擴散模型來實現(xiàn)圖像復(fù)原。雖然這些方法獲得了不錯的圖像質(zhì)量，但這些學(xué)習(xí)到的先驗知識或懲罰函數(shù)通常需要設(shè)計復(fù)雜的數(shù)值算法。

迭代法的復(fù)原效果主要取決于3 個因素：（1） 正則項（圖像先驗）的選取；（2） 迭代格式的設(shè)計（關(guān)系到是否收斂、收斂精度和速度）；（3） 正則化參數(shù)的選取。其中正則化參數(shù)十分重要，首先迭代法的收斂性需要依靠正則化參數(shù)，在正則化參數(shù)超出某個范圍時，迭代法是不收斂的或者說最優(yōu)化問題本身將是不適定的，其次，正則化參數(shù)直接關(guān)系到迭代法是否能收斂到最優(yōu)結(jié)果，即能否獲得與真實清晰圖像最接近的結(jié)果。正則化參數(shù)選取方面的研究相對較少，雖然有一些論文給出了一些準(zhǔn)則，例如NSCR[70]、GFD[33]等，但是到現(xiàn)今為止，并沒有一種通用的理論或者方法能自適應(yīng)計算出正則化參數(shù)。因為正則化參數(shù)涉及到清晰圖像、噪聲以及點擴散函數(shù)3 方面綜合影響，具有較高的復(fù)雜性。

與直接法類似，為了對迭代法的復(fù)原效果進行更好的總結(jié)，采用6 組標(biāo)準(zhǔn)實驗設(shè)置（見表3），分別對4 幅標(biāo)準(zhǔn)圖像：Cameraman、House、Lena 和Barbara 進行實驗，對8 種代表性迭代法進行實驗對比：L0-Abs[62]、 CGMK[36]、 TVMM[34]、 GFD[33]、NCSR[70]、 GSR[71]、 IDDBM3D[73]、 LRD[76]，另外，為了與直接法進行一定的比較，在對比中加入了BM3DDEB[31]算法的結(jié)果，算法的評價標(biāo)準(zhǔn)依然采用ISNR。

表3 迭代法實驗設(shè)置Tab.3 Experimental setup for iterative methods

表4 給出了以上9 種算法的復(fù)原結(jié)果，其中標(biāo)下劃線數(shù)值表示該組實驗中最優(yōu)的結(jié)果，加粗?jǐn)?shù)值表示次最優(yōu)的結(jié)果，從中可以明顯看出，GSR[71]和LRD[76]算法具有較大的優(yōu)勢。表4中的數(shù)據(jù)來源于文獻[33,71,73,76]。

表4 迭代法實驗對比 ISNRTab.4 Experimental comparison of ISNR (單位:dB)

3 非盲圖像復(fù)原中的深度學(xué)習(xí)方法

近年來， 深度學(xué)習(xí)技術(shù)為計算機視覺各個領(lǐng)域帶來了巨大的變革。深度學(xué)習(xí)能夠使用高度非線性的復(fù)雜結(jié)構(gòu)學(xué)習(xí)出需要的圖像特征，大大提升了圖像理解的能力。不同于依賴物理模型的傳統(tǒng)方法，深度學(xué)習(xí)是一類由數(shù)據(jù)驅(qū)動的方法，其通過訓(xùn)練找到輸入與輸出之間的映射關(guān)系，解決了許多傳統(tǒng)方法很難處理的問題，并在核心指標(biāo)上帶來了質(zhì)的提升。因此用深度學(xué)習(xí)技術(shù)進行圖像復(fù)原已經(jīng)成為主流，越來越多的學(xué)者專注于研究利用深度網(wǎng)絡(luò)模型來提升圖像的復(fù)原效果[86-88]。

多層感知機方法[89]（Multi-Layer Perceptron，MLP）是較早采用深度網(wǎng)絡(luò)進行非盲圖像復(fù)原的方法，但并不適用于圖像處理的卷積網(wǎng)絡(luò)，而是適用于帶有多個隱層的全連接網(wǎng)絡(luò)。該方法首先用吉洪諾夫正則化解卷積，然后對解卷積之后的圖像利用MLP 進行去噪。學(xué)習(xí)過程中，將解卷積之后的圖像和清晰圖像作為訓(xùn)練集，取得了和IDDBM3D 同等水平的效果。但是MLP方法存在一個問題：對于每一個點擴散函數(shù)和噪聲水平，都要單獨訓(xùn)練一個網(wǎng)絡(luò)，這大大限制了其應(yīng)用性，Xu 等人[90]也采用多層感知機的方法進行圖像復(fù)原。與MLP 方法不同的是，該方法中使用一個解卷積網(wǎng)絡(luò)來代替吉洪諾夫正則化，并將解卷積的結(jié)果輸入到一個去噪網(wǎng)絡(luò)中。以上利用深度網(wǎng)絡(luò)進行非盲圖像復(fù)原的方法可以歸類為直接法。

目前基于深度學(xué)習(xí)的非盲圖像復(fù)原方法以迭代法[91-93]為主。2017 年，Kai Zhang 團隊[93]和Jinshan Pan 團隊[94]先后將卷積深度網(wǎng)絡(luò)與傳統(tǒng)迭代方法相結(jié)合，將深度網(wǎng)絡(luò)作為去噪工具，構(gòu)造非盲圖像復(fù)原方法。這類方法與傳統(tǒng)的迭代法屬于同一種思路，優(yōu)點是通過端到端的卷積網(wǎng)絡(luò)的非線性擬合能力提升整體復(fù)原效果，去噪網(wǎng)絡(luò)均采用全卷積結(jié)構(gòu)，由卷積層，整流線性單元（Rectified Linear Unit，ReLU）層和批量標(biāo)準(zhǔn)化（Batch Normalization，BN）層組成，例如，在文獻[93]中，作者使用一個端到端的殘差卷積網(wǎng)絡(luò)完成解卷之后的去噪，其去噪網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。

圖6 文獻[93]中使用的去噪網(wǎng)絡(luò)結(jié)構(gòu)Fig. 6 Denoising Network structure[93]

Weisheng Dong 團隊[95]在2019 年提出了采用Unet[96]結(jié)構(gòu)的濾波網(wǎng)絡(luò)進行反卷積，核心思想是將Unet 網(wǎng)絡(luò)整合到一種迭代格式中，但每層迭代中的Unet 網(wǎng)絡(luò)單獨訓(xùn)練參數(shù)，進而達到提升圖像復(fù)原效果的目的。絕大多數(shù)的卷積網(wǎng)絡(luò)參數(shù)都是實數(shù)，而Quan 等人[97]首次提出一種復(fù)值（Complex Value，CV）卷積網(wǎng)絡(luò)作為去噪方法（CV-CNN）。結(jié)合逆濾波和最優(yōu)化格式獲得復(fù)原圖像，是當(dāng)前復(fù)原效果最好的算法之一，其算法流程如圖7 所示。

圖7 基于CV-CNN 網(wǎng)絡(luò)的圖像復(fù)原框架[97]Fig. 7 The image restoration framework based on CV-CNN network[97]

Chen 等人[98]提出一種處理夜景模糊圖像的非盲復(fù)原方法，核心是提出一個深度卷積網(wǎng)絡(luò)學(xué)習(xí)置信度圖（confidence map）。該置信圖表示每個像素點對復(fù)原的影響程度，并利用共軛梯度法進行解卷積，然后再用一個深度卷積網(wǎng)絡(luò)抑制解卷積后的噪聲和振鈴。另一個值得注意的是，這篇論文還提出了一種通過深度網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)正則化參數(shù)的方法，這為參數(shù)的自適應(yīng)確定提供了一種研究思路。以上介紹的深度學(xué)習(xí)方法和傳統(tǒng)迭代法本質(zhì)上類似，都是將深度網(wǎng)絡(luò)作為遺漏噪聲濾波器來使用， 運用卷積網(wǎng)絡(luò)強大的非線性擬合能力，結(jié)合傳統(tǒng)的迭代格式，在復(fù)原效果的提升上取得了長足的進步。

另外，很多非盲圖像問題是在對噪聲水平有一定認(rèn)知的情況下進行的，而VEM 方法[99]提出了一種能處理噪聲強度不確定（也稱之為盲噪聲）的深度學(xué)習(xí)方法。該方法基于變分期望最大化框架，將噪聲強度估計與圖像先驗不確定性量化進行整合。而文獻[97,100]中的方法同樣適用于這種盲噪聲的復(fù)原問題。 DWDN[101]方法在深層特征空間中探索維納（Wiener）反卷積，并根據(jù)模糊特征自適應(yīng)估計噪聲水平，確保訓(xùn)練單個模型能夠處理不同級別的噪聲。該方法首先從模糊圖像中提取有用的特征信息，然后在（深層）特征空間中進行維納反卷積，最后再使用一個多尺度的端到端網(wǎng)絡(luò)進行圖像的復(fù)原（非迭代法），DWDN 方法取得了非常好的復(fù)原效果。

深度圖像先驗[102]（deep image prior）是一種對深度網(wǎng)絡(luò)本質(zhì)的探索，認(rèn)為圖像的統(tǒng)計學(xué)信息是被卷積的圖像產(chǎn)生的而不是被網(wǎng)絡(luò)學(xué)習(xí)得到的，因此能夠利用未被訓(xùn)練的卷積網(wǎng)絡(luò)來處理圖像復(fù)原問題[103-105]。 該模型不需要訓(xùn)練數(shù)據(jù), 只需要一張模糊圖像和一個合適的網(wǎng)絡(luò)即可，通過對目標(biāo)函數(shù)的迭代來優(yōu)化網(wǎng)絡(luò)參數(shù)，最終達到復(fù)原目的。該類方法最大的問題是迭代次數(shù)多，速度慢，且何時迭代終止沒有理論依據(jù)[106-108]。

在傳統(tǒng)方法中，利用機器學(xué)習(xí)方法的復(fù)原思想，例如 EPLL[82]、CSF[84]等，在深度學(xué)習(xí)領(lǐng)域也得到了進一步的延伸，如文獻[109-111]等方法，通過深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一系列的濾波器、懲罰函數(shù)（正則項），以及保真項等來進一步降低圖像的重構(gòu)誤差，提升圖像復(fù)原效果。特別是SV-MAP[110]方法是當(dāng)前圖像復(fù)原領(lǐng)域中最好的方法之一。與現(xiàn)有的專注于改進保真項或正則化項的方法不同，SV-MAP 方法是在統(tǒng)一的MAP 框架中聯(lián)合學(xué)習(xí)這兩個項。為了增強模型的性能，作者提出了針對每一個圖像像素的自適應(yīng)保真網(wǎng)絡(luò)Ds和自適應(yīng)正則項網(wǎng)絡(luò)Rs：

通過實驗表明，聯(lián)合學(xué)習(xí)保真項和正則化項比單獨學(xué)習(xí)其中一項更有效，特別是在具有挑戰(zhàn)性的情況下，效果更加明顯。

為了比較各種深度學(xué)習(xí)方法在非盲圖像復(fù)原中的效果，進行了8 組實驗對比。利用3 個被廣泛采用的數(shù)據(jù)集作對比實驗，分別是Levin 數(shù)據(jù)集[106]、Sun 數(shù)據(jù)集[107]和Martin 數(shù)據(jù)集[108]。這3 個數(shù)據(jù)集包括多種類型的清晰圖像和點擴散函數(shù)。與絕大多數(shù)文獻的對比實驗配準(zhǔn)相同，設(shè)置加性噪聲的標(biāo)準(zhǔn)差如下：針對Levin 數(shù)據(jù)集[106]，標(biāo)準(zhǔn)差水平分別設(shè)置為1%、3%和5%， 針對Sun數(shù)據(jù)集[107]和Martin 數(shù)據(jù)集[108]，標(biāo)準(zhǔn)差水平分別設(shè) 置為1%和5%。

對比實驗包括11 種基于深度學(xué)習(xí)的圖像復(fù)原方法，分別是：MLP[89]、LDT[109]、FCN[94]、IRCNN[93]、FDN[87]、FNBD[88]、RGDN[92]、VEM[99]、DWDN[101]、CV-CNN[97]以及SV-MAP[110]，另外為了能夠和傳統(tǒng)方法進行比較，在對比實驗中也加入了兩種機器學(xué)習(xí)類的傳統(tǒng)方法：EPLL[82]和CSF[84]。

對比實驗采用的評價指標(biāo)是PSNR 和SSIM[112]，表5 中每一種方法實驗結(jié)果的第一行是PSNR值，單位是分貝（dB），第二行是SSIM 值（無單位）。依然將每組實驗中最好的結(jié)果標(biāo)記為下劃線，次最優(yōu)的結(jié)果標(biāo)記為加粗。(表5 中的數(shù)據(jù)來源于文獻[97,101,110])。

表5 深度學(xué)習(xí)方法的實驗對比Tab.5 Experimental comparison of deep learning of different methods

4 其他非盲圖像復(fù)原方法

針對非盲圖像復(fù)原的一些特殊問題，如點擴散函數(shù)不確定、點擴散函數(shù)全局不一致等問題，也產(chǎn)生了一些相應(yīng)的非盲圖像復(fù)原算法。

4.1 點擴散函數(shù)不確定問題

絕大多數(shù)非盲圖像復(fù)原都是在點擴散函數(shù)準(zhǔn)確獲得的前提下進行的，但是在很多實際應(yīng)用中，已知的點擴散函數(shù)與真實點擴散函數(shù)存在偏差，例如在盲復(fù)原過程中，估計出的點擴散函數(shù)與真實值是有誤差的，因此在這種情況下如何能夠更準(zhǔn)確地估計清晰圖像，是一個值得思考的問題。目前這方面的算法并不多，文獻[113-116]是其中具有代表性的論文。其中Ji 等人[114]利用傳統(tǒng)迭代方法，利用框架波（framelet）和離散余弦變換（Discrete Cosine Transform，DCT）對圖像和振鈴分別進行稀疏表示，進而達到抑制點擴散函數(shù)誤差的目的。但是受制于傳統(tǒng)先驗的局限性，該方法的適用性受到限制。Vasu 等人[115]首先使用多組正則化參數(shù)，利用全變差模型對模糊圖像進行非盲圖像復(fù)原，然后構(gòu)建一個深度融合網(wǎng)絡(luò)，將這些全變差模型復(fù)原后的圖像作為輸入，輸出圖像為清晰圖像，其核心思想是利用不同正則化參數(shù)獲取的初始圖像在頻域信息上具有互補性。該方法的流程圖見圖8。

圖8 Vasu 等人提出的網(wǎng)絡(luò)結(jié)構(gòu)[115]Fig. 8 The network structure proposed by Vasu[115]

Nan 等人[116]，通過構(gòu)造一個最優(yōu)化模型，設(shè)置兩個正則項，分別對應(yīng)清晰圖像的先驗和由點擴散函數(shù)誤差引起的校正項先驗（在思想上和文獻[114]有一定的相似）：

其中L為清晰圖像，u為校正圖像，表示帶有誤差的點擴散函數(shù)， ? 和 φ均采用了深度特征先驗。該模型通過分離變量法，構(gòu)建多個子優(yōu)化問題來求解，特別是在求解校正圖像時，采用了雙通道的Unet[96]模型。

以上兩種基于深度學(xué)習(xí)的方法各有優(yōu)點，Vasu 等人[115]的方法簡潔明確易懂，但缺少足夠的理論支撐，而Nan 等人[116]的方法通過迭代求解，雖然效果較好，但是復(fù)雜度相對較高。

4.2 全局非一致模糊問題

絕大多數(shù)非盲復(fù)原問題都是一致模糊問題，即對于所有像素而言，點擴散函數(shù)是相同的。而在一些實際問題中，點擴散函數(shù)隨著空間位置的不同而不同，這種問題稱之為全局非一致模糊問題。實際上很多全局一致模糊復(fù)原方法都可以擴展到全局非一致問題中，特別是圖像的迭代格式、圖像的正則項（包括圖像先驗）等，都具有可擴展性，最大的差別在于解卷積時，不再采用類似吉洪諾夫正則化或者維納正則化這種基于傅立葉變換的快速計算模式，而是需要較為復(fù)雜的一些矩陣運算[117-119]。例如Tai 等人[118]在傳統(tǒng)的LR迭代基礎(chǔ)上添加新的正則項，并改進LR 的迭代格式以適應(yīng)這種空間變化點擴散函數(shù)的圖像復(fù)原。這種非一致點擴散復(fù)原問題在盲圖像復(fù)原中討論較多[120-121]，特別是隨著深度學(xué)習(xí)的發(fā)展，采用生成對抗網(wǎng)絡(luò)(Generative Adversarial Net，GAN)[121]處理這類問題成為主流，即不再需要估計點擴散函數(shù)，而是直接由模糊圖像生成清晰圖像。對于GAN 等相關(guān)的生成網(wǎng)絡(luò)，在非盲圖像復(fù)原的實際應(yīng)用中有著重要的價值，當(dāng)光學(xué)系統(tǒng)和觀測場景較為穩(wěn)定時，點擴散函數(shù)形式較為固定，因此可以通過針對性的端到端訓(xùn)練，將點擴散函數(shù)的信息融合到網(wǎng)絡(luò)中，從而避免了傳統(tǒng)方法中的反卷積運算，降低運算量，同時能夠獲得復(fù)原質(zhì)量較高的圖像。另外，依靠生成網(wǎng)絡(luò)的泛化能力，也可以應(yīng)對點擴散函數(shù)有限變化的情況，這相對于其他依賴反卷積的方法具有很大的優(yōu)勢。

4.3 其他

值得注意的是，在盲圖像復(fù)原中也有一些新穎的先驗，例如暗通道先驗[122]、L0先驗[57]、局部最大梯度先驗[123](Local Maximum Gradient Prior)等，雖然沒有單獨提出作為非盲圖像復(fù)原算法，但是也具有一定的參考價值。

5 總結(jié)與展望

本文依據(jù)非盲圖像復(fù)原的發(fā)展脈絡(luò)，將主要的復(fù)原方法按照傳統(tǒng)方法和深度學(xué)習(xí)方法分別進行概括總結(jié)。在傳統(tǒng)方法中，按照算法的特點分為直接法和迭代法，描述并分析了主要算法的優(yōu)缺點并給出實驗對比。從中可以看出，全變差模型、小波模型、自適應(yīng)基底模型（包括字典學(xué)習(xí)模型）、塊相似模型和機器學(xué)習(xí)模型是學(xué)者們研究的重點，也能夠代表主要的非盲圖像復(fù)原方法。在深度學(xué)習(xí)方法中，主要總結(jié)了近年來具有代表性的一些網(wǎng)絡(luò)結(jié)構(gòu)和模型，并同樣給出了實驗對比。從深度學(xué)習(xí)算法總結(jié)中可以發(fā)現(xiàn)，一部分深度學(xué)習(xí)方法是傳統(tǒng)方法在深度學(xué)習(xí)領(lǐng)域的延伸，例如MLP 方法是直接法的延伸、FCN 和IRCNN是迭代法的延伸、SV-MAP 是機器學(xué)習(xí)方法的延伸，等。由此可以看出，基于深度學(xué)習(xí)的圖像復(fù)原方法并不是獨立于傳統(tǒng)方法存在的，而是與傳統(tǒng)方法有著千絲萬縷的聯(lián)系，掌握好傳統(tǒng)方法的精髓，也可以在深度學(xué)習(xí)領(lǐng)域有較大的施展空間。

對于非盲圖像復(fù)原而言，解卷積和抑制噪聲是一對矛盾體，如何平衡好這兩者，構(gòu)造合適的算法結(jié)構(gòu)是研究的重點。 同時遺漏噪聲的處理能力是一個算法能否取得較高評價指標(biāo)的核心因素，正則化參數(shù)選取也是影響算法的重要因素，需要將一些研究注意力放在這幾個方面。

現(xiàn)在絕大多數(shù)方法（包括一部分深度學(xué)習(xí)方法）依賴于圖像模糊的物理模型，而物理模型往往是實際問題的簡化，具有一定的局限性，因此解決如何面向?qū)嶋H問題的應(yīng)用是非盲圖像復(fù)原算法研究的一個重要問題，即在物理模型存在一定誤差的情況下，圖像復(fù)原方法依然有效。

隨著計算機視覺的迅猛發(fā)展，深度學(xué)習(xí)技術(shù)也發(fā)揮著越來越重要的作用，很多傳統(tǒng)方法很難處理的問題，深度學(xué)習(xí)方法都能夠給出一定的解答。從以上實驗對比可以發(fā)現(xiàn)，在一些標(biāo)準(zhǔn)數(shù)據(jù)庫上，深度學(xué)習(xí)方法在效果上已經(jīng)大大領(lǐng)先傳統(tǒng)方法，而其泛化性也在隨著網(wǎng)絡(luò)模型的更新，不斷改善。這種由數(shù)據(jù)驅(qū)動的處理思想，已經(jīng)成為非盲圖像復(fù)原發(fā)展的主流，也給一些傳統(tǒng)思路難以解決的問題帶來了新的希望，例如基于傳統(tǒng)圖像復(fù)原思想進行深度學(xué)習(xí)“升級”的方法取得了高質(zhì)量的復(fù)原效果，在天文、生物醫(yī)藥等需要高精度圖像的領(lǐng)域可以獲得較大的關(guān)注，基于生成對抗網(wǎng)絡(luò)及其相關(guān)網(wǎng)絡(luò)可以在視頻監(jiān)控等環(huán)境較為單一，但實時度需求較高的問題中得到廣泛的應(yīng)用。