劉萬軍，張正寰，曲海成

遼寧工程技術大學 軟件學院，遼寧 葫蘆島125105

圖像去模糊在計算機視覺界占有重要地位，也是圖像增強領域的核心內容。通常是在圖像的成像過程中，拍攝相機等由于抖動、長時間曝光以及失焦等原因，無法清晰捕獲到目標物體，從而導致最終呈現出來的圖像質量大幅度減退，無法達到使用標準。為此，圖像去模糊算法得以產生并發(fā)展，其目的是將原始的模糊圖像通過算法處理，逐步恢復出清晰潛像，進而使最終的清晰圖像能夠直接被利用。對畫質復原的需求促進了去模糊技術的探索與進步，并逐步在動態(tài)場景[1]中應用，包括醫(yī)療成像、航空拍攝、刑事偵查、交通抓拍和監(jiān)控分析在內的眾多行業(yè)領域無不需要該項技術的支撐。

近年來去模糊研究已經分化出多個理論分支，主要有：（1）基于濾波的去模糊算法，該算法主要以逆濾波法、維納濾波等為主；（2）基于統計的去模糊算法，該方法主要通過求取條件概率最大化，進行圖像修復，如采用變分貝葉斯原理的復原算法；（3）基于正則化的去模糊算法，低質量圖像可看成模糊算子在真實圖像上卷積加噪聲形成，因此可以將復原當作其逆運算來處理，鑒于出現的模糊矩陣病態(tài)程度較高，可將其復原看成是在求解大規(guī)模病態(tài)逆問題的模型。這就需要正則化約束[2]來解決，基于正則化[3]的研究方法也是學者們研究的重點；（4）基于GAN的去模糊算法，在GAN被提出之后，研究人員將其引入到去模糊中并獲得了成功。該算法可在非成對數據集（即真實拍攝的模糊圖像）上訓練，進而避免合成模糊圖像訓練帶來的誤差；（5）基于卷積神經網絡的去模糊算法，早期有研究者開創(chuàng)性地將自然圖像先驗[4]應用在抑制偽影和提高圖像質量上。Sun等人[5]則將深度學習融入到非均勻模糊分布概率的預測中，進而得到一系列該領域的先進算法。

Nah等人[6]在處理模糊的過程中采用多尺度卷積神經網絡并取得了較好成果，其實驗從模糊圖像的粗尺度開始，通過卷積神經網絡，逐層進行恢復，最終在全分辨率下獲得高質量目標圖像。通過對這些方法進行研究，不難發(fā)現在成熟的多尺度中，由于其目標是解決相同的問題，所以對應的求解器和不同尺度之間的參數通常都是相同的。隨著研究的深入，證實了引起算法和模型不穩(wěn)定的主要原因是不同尺度上參數的變化，同時會引發(fā)無約束解空間等額外問題。在不同尺度上單獨進行調參，又有可能因為過擬合而導致方案只能針對特定的模糊圖像甚至只能在某些固定的運動尺度上進行去模糊處理。綜上所述，基于CNN的圖像去模糊算法仍然是該實驗的首選方案，在不同尺度上進行參數調整、解決現有問題是研究和優(yōu)化關鍵所在。

本文提出在網絡不同尺度間共享權重，不僅能夠顯著降低實驗的訓練難度，并且在模型的穩(wěn)定性提升方面發(fā)揮了作用。對于模型訓練，該方案在減少訓練參數方面的效果非常顯著，因為在涉及到多尺度模型訓練時，即使是在訓練數據規(guī)模相當的情況下，如果優(yōu)先采取權重共享的方式，其效果等價于多次使用同樣規(guī)模數據來進行參數的學習，這在一定程度上類似于對數據進行了規(guī)模性擴充。為進一步提升網絡層捕獲特征的能力，在當前網絡結構中融入了密集塊，同時深度遞歸模塊內部的隱藏層不僅能夠及時捕獲有益信息，而且會按照不同比例對圖像進行恢復。

1 圖像去模糊模型

1.1 圖像去模糊通用模型

通常對圖像去模糊算法的定義為：

公式（1）主要從模糊圖像的形成過程出發(fā)，解釋了清晰圖像如何被模糊因子影響以及這一過程給去模糊處理帶來的啟發(fā)。參數b和s分別代表的是模糊圖像與原本清晰的真實圖像，k代表的是模糊核，n通常指的是高斯白噪聲或其他椒鹽噪聲，?代表的是卷積算子，指模糊核在清晰圖像上的卷積操作。即原本清晰的圖像經過模糊算子的一系列卷積操作，然后在噪聲的作用下就形成了經典的模糊圖像，圖像的去模糊操作則是從這種已經退化的圖像b中恢復出s來，即公式（1）的某種逆操作。

近年來隨著深度神經網絡的研究和發(fā)展，Sun等人使用這種網絡結構對模糊的方向和寬度進行預測，Schuler等人[7]則遵循由粗到精的策略將多個CNN進行堆疊，以此模擬迭代和優(yōu)化過程，Chakrabarti則預測了頻域中的反卷積核，以上諸多子問題的研究使得深度神經網絡在圖像去模糊中的應用得到推廣和加強。并且以上方法都是在遵循傳統框架的基礎上，對網絡結構中的幾個部分用CNN進行了替換。

1.2 多尺度網絡下的圖像去模糊模型

多尺度卷積神經網絡和級聯優(yōu)化網絡[8]均是從較小尺度開始，逐步細化輸出，以此來達到簡化訓練的目的，以上算法分別在圖像去模糊和圖像合成方面取得了成功，這也成為當前選擇使用多尺度卷積神經網絡的主要原因。在近些年來比較經典的多尺度圖像去模糊網絡中，網絡的輸入都是以均勻模糊或者運動造成的模糊圖像為主，將這類圖像按照不同比例作為輸入，再經過不同方案的卷積網絡做進一步的銳化處理，當被輸入的圖像經過多個不同尺度深度神經網絡的迭代處理，最后在全分辨率下獲得的最清晰圖像作為最終的輸出結果。在這種遵循傳統的由粗到精的策略中，網絡跨多個尺度，在每個尺度網絡最終會有一個潛在清晰圖像產生，將其作為圖像去模糊任務的一個子問題，該子問題取一個模糊的圖像和一個初始去模糊結果（通過上采樣）作為輸入，進一步估計出該尺度下的清晰圖像，過程可表示為：

公式（2）是對多尺度網絡下圖像去模糊處理的詳細定義，參數i用來表示網絡層尺度scale的索引，當索引的值為1的時候，表示此時的狀態(tài)為最小尺度。參數Bi和Di則是表示在第i尺度下需要修復的模糊圖像和處理后的潛在清晰圖像，用NetMS表示該結構中的網絡，參數θMS是它的訓練參數，下標是多尺度Multi-Scale的首字母縮寫。這種多尺度的網絡結構具有遞歸的特點，其中的參數hi用來捕獲圖像的結構和其他內部信息，為滿足實驗需要，該參數需要從較粗尺度開始，按照由粗到細的順序在不同尺度之間流動。公式中(i+1)↑是用來表示將特征映射的尺度從第(i+1)階調整至第i階的算子。

1.3 融合DenseNet的多尺度圖像去模糊模型

融合DenseNet結構的圖像多尺度去模糊網絡結構如圖1所示。近年來編碼器-解碼器[9]結構對計算機視覺方面的貢獻[10]越來越多，受此啟發(fā)，本文將這種結構引入圖像去模糊中。編解碼器網絡是一種對稱的CNN結構，它的前半部分被稱為編碼器，主要由多個卷積層和池化層組成，目的是將數據轉換為空間較小、特征映射信道較多的結構。后半部分這種包含多個上采樣層與卷積層的結構則是被稱為解碼器的部分，該結構位于整體的后半部分，并且在最后會添加一層用于對圖像像素進行分類的激活函數，該函數會再將其轉回最初輸入時的狀態(tài)，這樣有利于梯度傳播并且能夠加速收斂。編碼器部分包含的多個卷積層階段，在解碼器模塊中會使用一系列反卷積層[11]或者通過調整大小來實現，在每一層之外插入額外的卷積層以進一步增加深度。實驗證明現有的編碼器-解碼器結構并不能在這種新的網絡結構中發(fā)揮最佳效果，首先是在去模糊這類圖像任務中，需要保留較大的感受野，因此只能通過不斷增加編解碼器的層次來應對劇烈的運動，從而會導致結構的層次堆積得更多。另外，在實踐中直接引用這種原始編解碼器的做法并不妥當，因為其在增加參數的過程中會使用大量的中間特征通道。除此之外，這種編解碼器結構中特征映射的空間尺寸過小，不能夠完整保留重建所需的空間信息。最后，在結構中添加更多的卷積層會導致網絡的收斂速度大幅度減緩。為此，本文提出采用一種改進后的編解碼器結構，該結構包含具有捕獲深層特征信息的密集塊（DenseBlock），在引入密集塊并作為編解碼器主要結構的過程中，根據訓練需要對其進行了優(yōu)化，與傳統的殘差塊（ResBlock）相比較，密集塊可更進一步提升網絡層捕獲特征的能力。最初的殘差網絡及本文使用的密集塊結構如圖2所示。

圖1 融合DenseNet的多尺度圖像去模糊網絡結構Fig.1 Network structure of image deblurring based on multi-scale deep neural network

圖2 殘差塊和密集塊結構Fig.2 Structure of residual block and dense block

圖2 分別為原始的殘差塊和當前所使用的密集塊結構，可以看出殘差塊主要包括兩個內核數相等的卷積層及激活函數ReLU，而密集塊是殘差塊的一種變體和改進，在本實驗中表現更為良好。

本文網絡結構中融合的密集塊和編解碼器，能將二者優(yōu)點放大，并在訓練中產生積極作用，隨之產生的較大感受野對于運動圖像的去模糊至關重要。網絡結構中的圖像Bk表示在高斯金字塔第k尺度上輸入的需要被復原的模糊圖像，Dk和Sk則分別表示該尺度上初始去模糊得到的結果以及真實的清晰圖像。上下不同尺度圖像之間執(zhí)行一次0.5倍的下采樣，除第三層以外，每層輸入都是模糊圖像和上一層輸出清晰圖像經上采樣以后兩者的結合。本文對卷積層采取交叉跳躍連接，變成密集連接的DenseNet網絡[12]，可以更輕松地訓練模型從而獲得最佳質量以減少損失。網絡中編碼器密集塊（圖1中Encoder-DenseBlock）包含一個步長均為2的卷積層和3個密集塊，可以將上一層的內核數量增加一倍，并采用降采樣將特征映射的數量減半。與之相對的另一部分稱為解碼器密集塊（圖1中Decoder-Dense-Block），與編碼器密集塊對稱，每個解碼器密集塊包含3個密集塊和一個反卷積層，它的作用則是相反的，可以將前半部分被減半的特征映射數量增加一倍，與此同時在通道數量方面執(zhí)行減半操作。

為進一步保證模型恢復效果，對傳統多尺度網絡層內部也進行了改進操作，將網絡層不同尺度之間的連接采取深度遞歸模塊來實現，通過將卷積操作插入到包含隱藏狀態(tài)的遞歸模塊來實現。通常這種不同尺度之間遞歸網絡的選擇靈活性較大，比如遞歸神經網絡中常用的RNN、LSTM[13]和GRU（門控遞歸單元），LSTM和GRU相對CNN來說，能有效防止梯度彌散，因此前兩者在此類實驗中通常比普通CNN使用率更高。該模塊主要用于獲取網絡的狀態(tài)并將其傳遞給下一個尺度，本文選擇ConvGRU，因為ConvGRU擁有更快的訓練速度和更小的內存需求，結果也表明這種帶卷積的門控遞歸單元表現更佳。另外，不同尺度間圖像在傳遞的過程中有一次上采樣操作，此時上采樣算子的選擇也出現了多樣性，比如常見的包括使用反卷積、亞像素卷積[14]或者圖像大小調整等，為了進一步確保圖像邊緣平滑，取得主觀視覺上的良好效果且不影響計算結果的精度，采用了雙三次線性插值。此外，所有卷積操作均使用5×5大小的卷積核。

網絡結構可表示為：

NetEN和NetDE分別代表的是帶有參數θEN和θDE的編解碼器網絡，網絡主體結構中編碼器密集塊和解碼器密集塊的兩個階段分別被用在NetEN和NetDE中。參數θGRU用在ConvGRU中，遞歸模塊中用于表示隱藏狀態(tài)的參數hi包含大量的中間結果和模糊模式等有用信息，并且該參數在不同尺度上流動，主要作用是負責尺度的進一步精細化。

該模型共包含3個尺度，第(i+1)個尺度的大小是第i個尺度大小的1/2。對于包含密集塊的編碼器-解碼器網絡，在編碼器部分是3個編碼器密集塊，中間的遞歸模塊是一個卷積的GRU，接下來的解碼器部分又是3個解碼器密集塊，經實驗證實，這樣的網絡結構可使訓練和測試達到最佳效果。網絡層最前端的第一個輸入模塊能夠產生一個通道的特征映射，而每層最后一個輸出模塊則是將前面的映射作為輸入并生成輸出圖像。這3個編碼器密集塊的內核分別為32、64和128，3個解碼器密集塊的內核分別為128、64和32。將存在于編碼器密集塊中的卷積層和解碼器密集塊中的反卷積層的步長均定為2，其他層的步長均為1，并且在所有層的激活都選擇使用ReLU函數，內核設為5。通過整個實驗發(fā)現使用這種循環(huán)迭代的深度神經網絡，可綜合上述諸多優(yōu)點，從而使得在這種端到端的深度圖像去模糊框架下，在模型的訓練方面時間比原來節(jié)約了3/4，并且訓練的參數大約為原來的1/3即可實現類似的恢復，除此之外，實驗方法在數量和質量上都能夠比現有的方法提升更高。

1.4 損失值計算

本文采用歐幾里德范數損失對網絡結構中輸出的去模糊結果圖像和真實圖像之間的進行損失計算（使用雙三次線性插值降采樣到相同大小），可表示為：

2 實驗及結果分析

2.1 訓練數據集

圖像去模糊中的數據集創(chuàng)建較為復雜，因為圖像有均勻模糊和非均勻模糊之分，后者亦被稱為運動模糊。為創(chuàng)建規(guī)模較大且有參照的數據集，在傳統的基于學習的方法[15]中，使用不同的模糊核去卷積真實的尖銳圖像，進一步合成均勻/非均勻模糊圖像。由于這一過程簡化了成像模型，合成的數據與真實攝像機采集的數據仍然存在較大差異。近年來，有研究人員提出，可借助高速攝像機在拍攝中對連續(xù)短曝光幀進行均值化處理，用來近似長曝光的模糊幀，從而生成對應的模糊圖像。實際應用中這種方法生成的幀更加接近真實運動模糊圖像，因為它能夠模擬出比較復雜的相機抖動和被拍攝物體的運動。為了對所涉及到的網絡結構進行公平比較和驗證，實驗選擇與Nah等人相同的策略，使用GOPRO數據集來訓練該網絡，該數據集屬于大型去模糊數據集，其中共包含3 214對清晰/模糊（sharp/blur）圖像，并且也將其中的2 103對圖像用來訓練并生成模型，剩下的1 111對則是用來進行模型的測試與評估。

2.2 模型訓練

實驗采用Tensorflow[16]深度學習框架，在GTX 1080Ti GPU上進行訓練。在該網絡模型訓練過程中，選擇使用Adam優(yōu)化器，對其參數的設定分別為β1=0.9，β2=0.999，ε=10-8。并將衰減系數設定為0.3，當處于2 000個epochs的時候，學習率會從0.000 1衰減至1E-6，根據以往經驗，epochs達到2 000時候足以收斂，作為訓練過程中的迭代輸入，每次隨機抽取16幅模糊圖像，將其不定順序裁剪成寬高均為256的像素點，同時，在對應的尖銳圖像上也產生相同斑點。實驗變量采用Xavier初始化方法，上述參數對實驗都是固定的。實驗涉及到網絡層之間的遞歸，梯度裁剪只針對其中的ConvGRU模塊的權值進行穩(wěn)定訓練。模型對圖像的處理能力由計算機硬件配置決定，原則上只要GPU內存足夠大，可以輸入任意大小的圖像，當前實驗測試GOPRO數據集中的一張1 280×720大小的圖像約耗時1.92 s。

為了客觀全面地評價這種尺度遞歸網絡，實驗專門設置了不同的基線模型進行測試，并且將所有卷積層的核大小設為3，以便在對整個網絡結構進行評價時能夠獲得合理的效率。在評價單尺度模型SS（Single Scale）時，采用當前模型相同結構，為避免出現因卷積層數量不等造成的誤差，使用一個卷積層來替換當前遞歸模塊。模型SC（Scale-Cascaded）則完全按照Nah等人的策略設計，是包含三個獨立網絡的尺度級聯結構，內部每層網絡都和單尺度模型SS結構類似，正是這個原因，其可訓練參數達到SS模型的三倍之多。模型SW（Shared Weight）中不包含遞歸模塊，因此該模型在此處的作用相當于SC的一個共享權重版本，SR-1、SR-2和SR-3表示包含遞歸模塊，且尺度的值分別為1、2和3的網絡，各基線模型在測試數據集上的測試結果見表1。

表1 基線模型的定量測試結果Table 1 Quantitative test results of baseline model

觀察表1可知，各模型表現相差較大。首先，測試結果表明了多尺度策略對于圖像的去模糊是非常有效的，其中SS模型使用的結構和參數均與本文相同，但是相比本文，模型SS在PSNR方面表現的更差（28.40 dB vs 29.98 dB），這種單尺度模型SS可以從嚴重模糊的圖像中恢復出比較清晰的結構，但是字符等細節(jié)仍然不夠清楚，無法真正識別。然而，當選擇使用尺度為2的模型時，結果得到了大幅度提升，因為圖像的多尺度信息已經有效合并。尺度為3的包含遞歸模塊的模型是當前參與對比的模型中結果表現最好的。但是尺度設為4的時候結果卻大幅度下降，因此尺度為3是最佳選擇。

通過對比實驗還發(fā)現，每個尺度上獨立設置參數是不必要的，甚至這樣的做法是有害的，事實表明，模型SC比模型SW和SR-3表現得更差。通過分析發(fā)現其根本原因在于，雖然更大規(guī)模的參數能夠產生更大的模型，但同時這也需要更長的訓練時間和更大的訓練數據集。在固定的數據集和訓練周期等約束條件下，模型SC可能無法得到最優(yōu)訓練。對包含遞歸模塊的網絡進行了不同尺度下測試結果表明，在模型SR-3上的使用效果最好。

2.3 在數據集GOPRO上進行測試

為了對模型的學習能力和泛化能力進一步檢驗，選取數據集GOPRO上未參與訓練的test部分，共計1 111對尖銳/模糊圖像，作為模型有參照測試的數據。并在定量定性條件下與以往的方法進行了比較，測試結果中將同等條件下得到的PSNR和SSIM作為評價指標。由于文中所設計模型處理的是由相機在拍攝過程中抖動或物理運動等造成的模糊（即動態(tài)去模糊），因此和傳統的均勻去模糊模型相比較是不公平的，在設計對比實驗的過程中，參考近年來在運動模糊處理方面最新成果，主要有三種算法，包括文獻[1]中的DSD算法、文獻[5]中的NMBR算法和文獻[6]中的MS-DSD算法。DSD是較早的動態(tài)場景去模糊算法，NMBR和MS-DSD算法在去模糊的過程中均選擇使用CNN來估計模糊核，并采用傳統的反卷積法來恢復清晰圖像。按照不同算法作者所提供的操作和默認的參數進行在GOPRO數據集上進行二次實驗，定量實驗的結果見表2。

表2 不同算法在GOPRO數據集上的測試結果Table 2 Test results of different algorithms on GOPRO dataset

通過表2可以得出，在評價指標PSNR、SSIM和時間上，相比DSD、NMBR和MS-DSD算法產生的結果，當前算法訓練的模型所產生的結果質量更高。為了更直觀體現該算法在視覺任務中的先進性，將部分測試結果進行展示，仍然將PSNR和SSIM作為算法評價指標，測試結果如圖3所示。

圖3 其他文獻算法與本文算法結果對比Fig.3 Comparison of results between other algorithms and proposed algorithm

圖3 為GOPRO數據集上三種不同圖像，將其分別在NMBR算法MS-DSD算法和本文算法進行定量和定性測試，由上至下，各行的圖片分別代表的是輸入的模糊圖像、NMBR算法測試結果、MS-DSD算法測試結果和本文算法測試結果。顯然，本文算法在評價指標和主觀視覺方面表現明顯優(yōu)于其他算法。

2.4 在Kohler數據集上測試

Kohler[17]數據集包含4組不同圖像，是典型的盲去模糊數據集。每組圖像分別由12種不同模糊核在同一清晰圖像上卷積而成。因此該數據集對于考察模型的去模糊能力非常重要，也是眾多去模糊算法必選數據集。選取其中兩組圖像進行去模糊測試和比較，仍然通過PSNR和SSIM對去模糊后的結果圖像進行評價，不同算法在Kohler數據集上的實驗結果見表3。

表3 不同算法在Kholer數據集上的測試結果Table 3 Test results of different algorithms on Kholer dataset

圖4 （a）～（d）分別表示處理前的模糊圖像、采用MS-DSD算法處理后得到的結果圖像、采用本文算法處理后得到的結果圖像以及真實的清晰圖像。顯然，本文算法處理后的鐘表盤和屋檐等在細節(jié)方面清晰度高于Nah等人的MS-DSD算法，表明其在處理復雜模糊核方面具有較強的魯棒性。

圖4 Kohler數據集測試結果Fig.4 Test results of Kohler dataset

2.5 在Lai數據集上測試

Lai[18]數據集不同于GOPRO和Kohler數據集，它的提出是為了進一步研究符合真實運動規(guī)律的模糊圖像。該數據集的不同之處在于，其中Real Dataset部分是真實場景下由運動形成的模糊圖像，不同于以往采用模糊核卷積形成的運動模糊，因而能夠徹底表達出真實運動模糊的復雜性，從而得出的實驗結果更具說服力，也更加符合實際場景。

由于Lai數據集中Real Dataset部分圖像為真實運動下的模糊圖像，沒有清晰圖像作為對比，因而無法在該數據集上對本文方法進行有參考評價。但是通過視覺觀察可知，對圖像中細節(jié)部分的復原效果方面，本文方法仍然優(yōu)于NMBR和MS-DSD算法，具體結果如圖5所示。

圖5 Lai數據集測試結果Fig.5 Test results of Lai dataset

通過對比在數據集Lai上的測試結果，可以看出本文方法明顯優(yōu)于其他兩種算法，在圖像中，本文去模糊結果分別在建筑文字、標識文本和女孩眼睛等部位獲得了更好的復原效果。

3 結論

本文以多尺度神經網絡下圖像去模糊算法為基礎，通過對當前流行算法進行評測，發(fā)現在不同尺度間調參會引發(fā)參數過大、穩(wěn)定性降低、無約束解空間等問題。在總結引起算法穩(wěn)定性差及參數過大等原因之后，提出跨尺度共享網絡權重的方案。在改進網絡參數設定的過程中將融合密集塊的編解碼器結構引入其中，對網絡結構進行優(yōu)化，借助深度遞歸神經網絡實現了不同尺度間的參數傳遞。在對當前算法進行評價的過程中，將其在大型公開數據集GOPRO上訓練，得到訓練參數減少2/3、訓練時間節(jié)省近3/4的新模型，并在GOPRO和Kohler等數據集上同當前較為先進的3種算法做了比較。結果表明，在PSNR、SSIM和模糊處理時間Time上，本文方法明顯優(yōu)于其他方法，處理后的圖像在視覺上也取得了更為良好的效果。通過在不同模糊核上的表現，表明本文方法在單幅圖像運動模糊的去除方面具有明顯優(yōu)勢。