陳加保，熊邦書，況發(fā)，章照中

南昌航空大學(xué)圖像處理與模式識別省重點(diǎn)實(shí)驗(yàn)室，南昌 330063

0 引言

隨著低成本成像設(shè)備的普及，圖像獲取日益方便，已經(jīng)成為各行各業(yè)表達(dá)信息的主要方式。然而，自然圖像在成像過程中，會受到天氣雨霧、大氣光線、鏡頭失焦、鏡頭抖動和物體運(yùn)動等方面的干擾，造成圖像模糊。圖像模糊大致可以分為3 大類：大氣模糊、散焦模糊和運(yùn)動模糊。在工業(yè)運(yùn)用上，由于相機(jī)拍攝時抖動或目標(biāo)物體運(yùn)動，經(jīng)常產(chǎn)生運(yùn)動模糊現(xiàn)象，這在一定程度上影響了計(jì)算機(jī)視覺任務(wù)（圖像分類（Fish 等，2021）、目標(biāo)檢測（Oyedotun 等，2021）和圖像分割（Liu 等，2018））的處理效果。因此，運(yùn)動圖像去模糊對計(jì)算機(jī)視覺任務(wù)十分重要。

運(yùn)動圖像去模糊（吳迪等，2020；Suin 等，2020；Wang和Su，2022）可以分為非盲去模糊和盲去模糊。非盲去模糊是模糊核已知的一種去模糊方法，其不需要求解模糊核，可在去除噪聲后直接將模糊核與模糊圖像進(jìn)行反卷積，得到清晰圖像。這類方法過程簡單，效果好，但前提是模糊核已知。盲去模糊則是模糊核未知的一種去模糊方法，其需要先估計(jì)模糊核的大小，然后利用非盲去模糊方法進(jìn)行去模糊處理。此類方法較為復(fù)雜，計(jì)算量大且耗時。由于真實(shí)場景下模糊核是未知的，去模糊的絕大多數(shù)情況都是盲去模糊，本文方法屬于盲去模糊。

運(yùn)動圖像盲去模糊方法（Pan 等，2016；Yang 和Ji，2019）可分為兩大類：間接去模糊和直接去模糊。間接去模糊方法是利用不同的圖像先驗(yàn)信息，建立圖像復(fù)原的約束條件進(jìn)行復(fù)原圖像的一類方法。?roubek 和Kotera（2020）提出了非參數(shù)的模糊先驗(yàn)，由曲線段組成，可微、可嵌入到大多數(shù)模糊問題的優(yōu)化中。Ju 等人（2021）提出一個局部線性先驗(yàn)，其與大氣散射模型（atmospheric scattering model，ASM）結(jié)合，得到一個新的圖像復(fù)原公式（recovery formula，RF），并引入了向?qū)綖V波器來消除由于圖像分塊造成的負(fù)面影響。Liu 等人（2022）利用清晰圖像的簡化亮通道先驗(yàn)比模糊圖像的次方根更小的原理，提出了簡化極值信道先驗(yàn)（simplified extremal channel prior，SECP）。間接去模糊方法利用先驗(yàn)知識提升復(fù)原圖像的效果，在某一程度上效果很好。但實(shí)際場景下的圖像模糊因素復(fù)雜多樣，且圖像先驗(yàn)知識層出不窮（Bahat 等，2017；邱楓等，2019；Ahmad等，2021），計(jì)算量大且訓(xùn)練時間長，不利于真實(shí)場景下的測試。

考慮到上述問題，學(xué)者們開始逐漸使用直接去模糊的方法去除真實(shí)場景下的運(yùn)動模糊。此類方法（Chakrabarti，2016；Zamir 等，2021）無需考慮某些特定的圖像先驗(yàn)，利用深度學(xué)習(xí)算法的非線性特點(diǎn)，直接學(xué)習(xí)模糊圖像到清晰圖像的映射，達(dá)到去模糊效果。Nah等人（2017）采用3個不同的尺度結(jié)構(gòu)，每個尺度使用連續(xù)19 個殘差塊，在不同尺度獲取圖像的空間信息，逐步恢復(fù)出清晰圖像，有效增強(qiáng)了模型的去模糊性能。在多尺度網(wǎng)絡(luò)基礎(chǔ)上，使用了長短期記憶網(wǎng)絡(luò)，獲得了更好的特征保留效果，并設(shè)計(jì)了參數(shù)共享技術(shù)，減少了模型處理時間。Gao 等人（2019）在Tao 等人（2018）方法的基礎(chǔ)上，利用參數(shù)全部共享會忽略特征的尺度變化的特性，提出了選擇性參數(shù)共享策略，在特征進(jìn)行上下采樣時，網(wǎng)絡(luò)不進(jìn)行參數(shù)共享，特征進(jìn)行增強(qiáng)操作時，進(jìn)行參數(shù)共享，進(jìn)一步提升了模型去模糊性能。Ye 等人（2020）提出了一種新的尺度迭代結(jié)構(gòu)，與以前的固定級別架構(gòu)相比，網(wǎng)絡(luò)通過應(yīng)用不同的迭代來進(jìn)行訓(xùn)練和預(yù)測，并在不同的尺度上共享權(quán)重，從而更加靈活。Zhang 等人（2020）提出一個新方法，由兩個生成對抗網(wǎng)絡(luò)（generative adversarial networks，GANs）模型組成，一個用于生成模糊圖像，另一個用于去模糊圖像。用第1 個模型指導(dǎo)第2 個模型如何去模糊。如此設(shè)計(jì)用于解決現(xiàn)在大多數(shù)的去模糊模型都是基于清晰與模糊的圖像對的有監(jiān)督訓(xùn)練，而模糊圖像的生成是人為的，難以模擬真實(shí)場景下的模糊效果。Cho 等人（2021）提出基于單編解碼器的U 型網(wǎng)絡(luò)MIMOUNe（tmulti-input multi-output UNet），采集多尺度輸入圖像，引入不對稱特征融合，提取不同尺度的特征，并在編碼器和解碼器之間融合多尺度信息流，實(shí)現(xiàn)了多尺度特征的有效融合。Kim 等人（2023）提出了一種新的多尺度階段網(wǎng)絡(luò)MSSNet（multi-scale stage network），使用反映模糊尺度的階段配置、跨尺度信息和基于像素變遷的多尺度，在復(fù)原質(zhì)量、網(wǎng)絡(luò)大小和計(jì)算時間都有較好的性能?，F(xiàn)有直接去模糊方法結(jié)構(gòu)多樣，但由于模糊在不同尺度上的特性，多尺度有更好的去模糊效果，但一直存在高低層特征信息融合不充分的問題，導(dǎo)致去模糊的效果仍有待提升。

針對上述問題，本文提出了基于深度特征融合注意力的雙尺度運(yùn)動去模糊網(wǎng)絡(luò)（double-scale network with deep feature fusion attention，DFFA-Net）。首先，設(shè)計(jì)雙尺度網(wǎng)絡(luò)，在低尺度上增加對模糊區(qū)域的注意，在高尺度上提升網(wǎng)絡(luò)的細(xì)節(jié)恢復(fù)能力。其次，設(shè)計(jì)深度特征融合注意力模塊，通過融合全尺度特征、構(gòu)建通道注意力，將高低層特征信息進(jìn)行充分融合，使得模型在去模糊的同時也可以較好地保持細(xì)節(jié)。最后，為使網(wǎng)絡(luò)更有效地恢復(fù)高頻細(xì)節(jié)，將感知損失函數(shù)替換為頻域損失函數(shù)，且引入多尺度損失，提升網(wǎng)絡(luò)對模糊特征的敏感程度，增強(qiáng)了模型的細(xì)節(jié)恢復(fù)能力。對比實(shí)驗(yàn)結(jié)果表明，在3 個不同數(shù)據(jù)集上與12 種經(jīng)典方法進(jìn)行比較，本文算法復(fù)原圖像清晰，泛化性好。

1 相關(guān)理論

1.1 運(yùn)動模糊圖像退化模型

圖像成像時目標(biāo)物體運(yùn)動或是設(shè)備移動，會造成成像圖像退化，得到運(yùn)動模糊圖像，該過程可建模為

式中，y表示運(yùn)動模糊圖像，x表示原始清晰圖像，k為模糊核，n為噪聲，?為卷積操作。去模糊等效于求解式（1）中的x值，然而在真實(shí)場景下，式（1）中k與n均未知，求解是個病態(tài)問題，直接求解效果不好且計(jì)算量極大。由于深度學(xué)習(xí)方法可以學(xué)習(xí)數(shù)據(jù)的內(nèi)在特征，自動構(gòu)建出模糊圖像和清晰圖像之間的非線性映射關(guān)系，因此本文采用深度學(xué)習(xí)的方法進(jìn)行運(yùn)動去模糊。

1.2 多尺度網(wǎng)絡(luò)

單尺度網(wǎng)絡(luò)（Kupyn 等，2018；Purohit 和Rajagopalan，2020；Tsai 等，2021）結(jié)構(gòu)如圖1（a）所示，其為單輸入單輸出結(jié)構(gòu)。輸入固定分辨率的圖像，通過網(wǎng)絡(luò)得到一個輸出。這種網(wǎng)絡(luò)結(jié)構(gòu)簡單、易實(shí)現(xiàn)且計(jì)算速度快。但由于僅使用單個分辨率圖像，網(wǎng)絡(luò)的去模糊效果不佳。

圖1 各網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Schematic diagram of several networks structure（（a）single scale structure；（b）multi-scale structure of multi-network；（c）multi-scale structure with single input and single network；（d）multi-scale structure with single-network and multiple inputs）

多尺度模型是指在模型中通過下采樣方法，將圖像轉(zhuǎn)化為不同分辨率圖像，再將所有分辨率圖像依次作為輸入放進(jìn)網(wǎng)絡(luò)，形成多輸入多輸出的模型設(shè)計(jì)結(jié)構(gòu)。當(dāng)對于不同的分辨率圖像使用不同的模型時，結(jié)構(gòu)如圖1（b）所示。這種方法的優(yōu)點(diǎn)是去模糊性能強(qiáng)，缺點(diǎn)是參數(shù)與計(jì)算量極大，如DMCNN（dynamic multi-pooling convolutional neural network）方法（Nah 等，2017）。當(dāng)對于不同的分辨率圖像使用同一個模型，結(jié)構(gòu)如圖1（c）所示。這種方法的優(yōu)點(diǎn)是去模糊性能強(qiáng)，計(jì)算量得到了縮減，缺點(diǎn)仍然是參數(shù)與計(jì)算量較大，如SRN（scale-recurrent network）（Tao 等，2018）和PSSSRN（parameter selective sharing network）（Gao 等，2019）方法。如果在輸入時一次將所有分辨率圖像輸入網(wǎng)絡(luò)，結(jié)構(gòu)如圖1（d）所示。這種方法的優(yōu)點(diǎn)是不需要重復(fù)對網(wǎng)絡(luò)進(jìn)行計(jì)算，計(jì)算量得到了縮減，不足之處是不能夠獲取不同分辨率圖像的差異，如MIMOUNet方法。

2 本文方法

基于深度特征融合注意力的雙尺度網(wǎng)絡(luò)如圖2所示，受MIMOUNet 啟發(fā)，在其基礎(chǔ)上，采用雙尺度結(jié)構(gòu)（如圖3 所示），同時引入了自提的深度特征融合注意力（圖2 中M3），最后引入多尺度損失，改進(jìn)了損失函數(shù)。

圖2 深度特征融合注意力的雙尺度網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Improved double-scale network structure diagram for deep feature fusion attention

圖3 雙尺度網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The architecture of improved multi-scale network

網(wǎng)絡(luò)整體結(jié)構(gòu)如圖2 中M1 所示，高尺度圖像H1 下采樣后得到低尺度圖像L1，L1 經(jīng)主體結(jié)構(gòu)M2得到去模糊圖像L2，L2 與高尺度圖像H1 拼接后經(jīng)M2 得到去模糊圖像H2。這種雙尺度結(jié)構(gòu)利用了圖像多尺度空間信息，使得網(wǎng)絡(luò)精準(zhǔn)把握圖像的模糊信息，有效降低訓(xùn)練難度。

圖2 中深度特征融合注意力模塊M3 融合高低層特征信息。首先拼接全尺寸信息C1-C4，其次使用卷積和通道注意力得到融合信息C，將C與Cn疊加得到Cn+1。Cn+1很好地融合了各個尺度的特征信息，使網(wǎng)絡(luò)的去模糊和細(xì)節(jié)恢復(fù)能力更好。

在雙尺度的結(jié)構(gòu)基礎(chǔ)上，使用內(nèi)容損失和頻域損失計(jì)算總的損失量，并改進(jìn)各個尺度的損失權(quán)重，使模型更加注重高尺度上的損失。

2.1 雙尺度網(wǎng)絡(luò)

本文設(shè)計(jì)了如圖3 所示的雙尺度網(wǎng)絡(luò)，有低尺度L和高尺度H兩個尺度。低尺度圖像L1 經(jīng)網(wǎng)絡(luò)M2 得到去模糊圖像L2，增加了對模糊的注意力，大幅度去除模糊；L2 與高尺度圖像H1 拼接后，經(jīng)M2得到去模糊圖像H2，增加去模糊圖像的高頻細(xì)節(jié)，H2則為最后輸出的去模糊圖像。

M2具體結(jié)構(gòu)如圖4所示，使用編碼器的多個殘差塊提取圖像特征，得到不同尺寸的融合信息（Z12—Z43），作為解碼器輸入。解碼器使用轉(zhuǎn)置卷積與連續(xù)20 個殘差模塊恢復(fù)圖像尺寸與通道，得到殘差圖像，最后將殘差圖像與模糊圖像疊加得到去模糊圖像。

圖4 網(wǎng)絡(luò)M2結(jié)構(gòu)Fig.4 The structure of M2

圖5 是模糊圖像通過雙尺度網(wǎng)絡(luò)后得到的內(nèi)部特征圖。從圖5 可以看出，圖5（c）中去模糊圖像L2與圖5（a）模糊圖像相比，去除了大部分的模糊，但存在高頻細(xì)節(jié)的丟失，圖5（d）中去模糊圖像H2 相比圖5（c）中去模糊圖像L2更加清晰，說明高頻細(xì)節(jié)恢復(fù)得更好。雙尺度網(wǎng)絡(luò)結(jié)構(gòu)在低尺度上增加對模糊區(qū)域的注意力，在高尺度上提升網(wǎng)絡(luò)的高頻細(xì)節(jié)恢復(fù)能力，提升了模型的去模糊性能。

圖5 雙尺度內(nèi)部特征圖輸出Fig.5 The output of multi-scale internal feature map（（a）blur image；（b）clear image；（c）the ouput of scale L2；（d）the output of scale H2）

2.2 深度特征融合注意力模塊

為減少特征信息丟失（Zhang 等，2019；Park 等，2020；Huang 等，2020），提升網(wǎng)絡(luò)的特征提取能力，本文提出了深度特征融合注意力模塊，如圖6 所示。首先，通過全尺度特征提取結(jié)構(gòu)，對不同尺度下的特征信息C1-C4進(jìn)行拼接。其次，利用1 × 1卷積層對通道進(jìn)行降維，3 × 3 卷積層提取特征。再次，通過通道注意力獲取通道權(quán)重，得到全尺度特征注意力。最后，全尺度特征注意力與上一級的解碼輸出Cn相加，得到深度特征融合注意力Cn+1。該模塊通過融合低層紋理信息和高層語義信息，顯著提升了模型的去模糊效果。

圖7 是深度特征融合注意力模塊的去模糊效果對比圖，從圖7（b）和圖7（c）的對比中可以看出，使用深度特征融合注意力模塊在某些局部不會出現(xiàn)色度失衡，表明其在去除運(yùn)動模糊上有較好的效果。

圖7 深度特征融合注意力去模糊對比圖Fig.7 The deblurring comparision of deep feature fusion attention model（（a）blur image；（b）no-adding deep feature fusion attention model；（c）adding deep feature fusion attention model）

圖8 是深度特征融合注意力模塊內(nèi)部的各輸出特征圖。圖8（a）—（d）分別表示圖6 中C1、C、Cn和Cn+1位置上的特征圖；圖8（e）—（h）分別是對應(yīng)的第4通道圖像。從圖8（e）和圖8（h）的對比中可以看出，經(jīng)過深度特征融合注意力模塊，特征更加尖銳稀疏，集中于模糊區(qū)域，說明深度特征融合注意力模塊可以強(qiáng)化網(wǎng)絡(luò)特征提取能力，使特征信息融合更加充分，增強(qiáng)去模糊效果。

圖8 深度特征融合注意力模塊內(nèi)部各輸出特征圖Fig.8 The internal feature map of deep feature fusion attention module output（（a）the output of C1；（b）the output of C；（c）the output of Cn；（d）the input of Cn+1；（e）the output of C1 in the fourth channel；（f）the output of C in the fourth channel；（g）the output of Cn in the fourth channel；（h）the input of Cn+1 in the fourth channel）

2.3 損失函數(shù)

為解決復(fù)原圖像存在均值模糊和高頻細(xì)節(jié)信息少的問題（Fuoli 等，2021），本文將內(nèi)容損失和頻域損失結(jié)合作為總的損失函數(shù)，具體為

式中，Ltotal表示全部損失，Lcontent表示內(nèi)容損失，Lfrequency表示頻域損失，α是頻域損失的權(quán)重，值為0.1。為進(jìn)一步增強(qiáng)高頻細(xì)節(jié)，本文改進(jìn)了損失權(quán)重，使模型對不同尺度的損失有不同的關(guān)注度，形成了多尺度損失。

內(nèi)容損失的計(jì)算有平均絕對誤差（mean absolute error，MAE）和均方誤差（mean square error，MSE）兩大經(jīng)典方法。由于均方誤差MSE 在誤差較大時，模型會增大懲罰力度，導(dǎo)致對異常點(diǎn)敏感，不利于恢復(fù)模糊圖像的細(xì)節(jié)。因此，本文選擇平均絕對誤差MAE 作為內(nèi)容損失函數(shù)，結(jié)合多尺度，計(jì)算清晰圖像與復(fù)原圖像各像素絕對差值，得到多尺度內(nèi)容損失為

式中，K是復(fù)原尺度，取值區(qū)間為［1，2］，尺度1（K=1）損失占比為0.5，尺度2（K=2）損失占比為1；M是圖像高度，N是圖像寬度，f(i，j)是清晰圖像，f′(i，j)是復(fù)原圖像。

為了減少復(fù)原圖像與清晰圖像在頻域空間的差異，得到更多細(xì)節(jié)圖像，使用頻域損失。首先對復(fù)原圖像與清晰圖像進(jìn)行二維傅里葉變換，然后計(jì)算兩者之間的平均絕對誤差，最后與多尺度權(quán)值相乘，得到多尺度頻域損失，計(jì)算為

式中，F(xiàn)′(i，j)是復(fù)原圖像的傅里葉變換，F(xiàn)(i，j)是清晰圖像的傅里葉變換。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與評價方法

本文使用接近真實(shí)模糊情況的GoPro 數(shù)據(jù)集進(jìn)行訓(xùn)練與測試，該數(shù)據(jù)集共包含3 214對模糊和清晰的圖像，圖像尺寸為720 × 1 280 像素，其中2 103 幅圖像對用于訓(xùn)練，1 111幅圖像對用于測試。

本文采用峰值信噪比（peak signal-to-noise ratio，PSNR）和結(jié)構(gòu)相似度（structural similarity，SSIM）作為圖像去模糊質(zhì)量的評價指標(biāo)。PSNR 從像素層次上衡量復(fù)原圖像與真實(shí)圖像的差異，值越大代表效果越好。SSIM 從亮度、結(jié)構(gòu)信息和對比度3 個方面衡量復(fù)原圖像與真實(shí)圖像的相似度，值越接近于1，圖像越相似。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

本文模型基于PyTorch 深度學(xué)習(xí)框架，使用Python 語言實(shí)現(xiàn)，在配有NVIDIA GeForce GTX 1080TI GPU 的Linux 系統(tǒng)上進(jìn)行訓(xùn)練與測試。訓(xùn)練過程中使用Adam優(yōu)化器，訓(xùn)練周期數(shù)量為2 000，學(xué)習(xí)率從10-4到10-7線性衰減，使用水平與垂直翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)。為了加快訓(xùn)練，將輸入圖像裁剪為256 × 256像素的圖像塊，像素值進(jìn)行歸一化。

3.3 消融實(shí)驗(yàn)

為驗(yàn)證本文方法中雙尺度網(wǎng)絡(luò)結(jié)構(gòu)、深度特征融合注意力模塊DFFM 和本文損失函數(shù)Lossour的有效性，進(jìn)行消融實(shí)驗(yàn)。表1 給出了不同模型結(jié)構(gòu)對模型性能的影響，從表1 可看出，加上雙尺度和DFFM 的方法比單獨(dú)加上雙尺度和單獨(dú)加上DFFM 的方法，在PSNR、SSIM 上都有提升，這表明雙尺度和深度特征融合注意力模塊DFFM 可以帶來更好的去模糊性能，細(xì)節(jié)恢復(fù)效果更好。當(dāng)使用本文損失函數(shù)時，從表1 中可以看出，該損失函數(shù)對復(fù)原圖像的高頻細(xì)節(jié)信息有較好的復(fù)原效果。

表1 不同模型結(jié)構(gòu)對模型性能的影響Table 1 Influence of different model structures on model performance

在訓(xùn)練過程中，多尺度會需要大量的顯存來保存臨時參數(shù)，同時多尺度間的信息融合操作（通道疊加或逐元素相加）會大大影響速度。表2 給出了模型的參數(shù)對比情況，雙尺度在參數(shù)量與推理時間上表現(xiàn)出一定的優(yōu)勢，說明雙尺度可以有效降低訓(xùn)練難度。

表2 雙尺度與三尺度模型參數(shù)對比Table 2 The comparison of double-scale with three-scale on model performance

3.4 經(jīng)典方法對比

3.4.1 GoPro數(shù)據(jù)集

與12 種經(jīng)典的圖像去模糊方法進(jìn)行對比，驗(yàn)證本文方法的有效性。包括DMCNN、DeblurGAN（deblur generative adversarial network）、SRN、DMPHN（deep stacked multi-patch hierarchical network）、SVRNN（structured variational recurrent neural network）、DeBlurGANv2、PSSSRN、SIUN（scale-iterative upscaling network）、MTRNN（multi-temporal recurrent neural networks）、BANet（blur-aware attention networks）、MIMOUNet 和SharpGAN（sharp generative adversarial network）。表3給出了各方法的去模糊對比結(jié)果，可以看出，DMCNN、DeblurGAN、SVRNN、DeBlurGANv2 和SharpGAN 的PSNR 與SSIM 都比較小，說明這些方法的去模糊性能較差。在PSNR 上，本文方法比DMCNN 方法提高了3.61 dB，比SRN 方法提高了2.29 dB，比PSSSRN 方法提高了0.98 dB；與BANet 方法相比，PSNR 提升了0.11 dB，SSIM 提升了0.002；與最新的MIMOUNet方法相比，PSNR提升了0.10 dB，SSIM 提升了0.001，說明本文方法在去模糊效果與高頻細(xì)節(jié)的恢復(fù)有最佳表現(xiàn)。

表3 在GoPro數(shù)據(jù)集上各方法的去模糊數(shù)據(jù)Table 3 Defurring data of several methods on GoPro dataset

為驗(yàn)證本文方法的去模糊效果，選取GoPro 測試集中兩幅具有代表性的圖像，選擇了9 種經(jīng)典方法與本文方法進(jìn)行去模糊性能對比，結(jié)果如圖9 所示?？梢钥闯觯瑢τ谀：龍D像1 中的車牌號，DMCNN、SVRNN 和DeBlurGANv2 方法的復(fù)原圖像仍然存在明顯的模糊情況，其他5 種方法也都存在些許模糊感，而本文方法的清晰程度最佳；對于模糊圖像2中的電話號碼，只有PSSSRN、MIMOUNet以及本文方法這3 種方法可以清晰地復(fù)原出數(shù)字872-3300，且本文方法的復(fù)原結(jié)果最清晰。上述結(jié)果說明，本文方法在公共數(shù)據(jù)GoPro 上，與其他9 種主流方法對比，去模糊效果最好。

3.4.2 Kohler數(shù)據(jù)集

Kohler 數(shù)據(jù)集（K?hler 等，2012）總共包含48 幅模糊圖像，圖像尺寸為800 × 800像素，其中有4幅基礎(chǔ)圖像和12 種不同的運(yùn)動模糊核，每一幅模糊圖像都由基礎(chǔ)圖像與模糊核進(jìn)行卷積得到。使用Kohler數(shù)據(jù)集對在GoPro 上訓(xùn)練好的模型進(jìn)行測試，同時與7 種經(jīng)典算法對比，驗(yàn)證模型的魯棒性。從數(shù)據(jù)集中選取最具代表性的模糊圖像，與各方法的對比結(jié)果如圖10 所示。從圖10 可以看出，SRN、DMPHN、MTRNN 和MIMOUNet 方法在月亮與星星處都非常模糊。SIUN、PSSSRN 和本文方法都較為清晰，而本文的清晰程度最高，這表明本文方法對比其他主流方法，魯棒性更好。

圖10 各方法在Kohler數(shù)據(jù)集上的對比Fig.10 The contrast effects of restoration methods on Kohler dataset

3.4.3 Lai數(shù)據(jù)集

Lai 數(shù)據(jù)集（Lai 等，2016）是由不同拍攝者使用不同設(shè)備，在不同真實(shí)場景下獲取不同尺寸的真實(shí)圖像集，共100 幅圖像。為進(jìn)一步驗(yàn)證本文方法的去模糊性能，選取其中兩幅最具代表性的圖像進(jìn)行測試，結(jié)果如圖11所示。

圖11 各方法在Lai數(shù)據(jù)集上的去模糊效果對比Fig.11 The comparison effect of restoration methods on Lai dataset

從圖11 可以看出，對于模糊圖像1，除了DeBlurGANv2、PSSSRN、SIUN 和本文算法外，其他算法如DMPHN、BANet、MTRNN 和MIMOUNet 均不能在真實(shí)模糊圖像上有很好的去模糊效果。在DeBlurGANv2 方法中，字母BA 處存在明顯凸現(xiàn)，數(shù)字5 的左下角有偽影，存在一定程度的模糊。在SIUN 方法中，字母ALCON 處出現(xiàn)了橫條狀波浪的模糊，而本文方法的復(fù)原效果看起來更加真實(shí)。對于模糊圖像2，除DeBlurganv2和本文方法外，其他所有方法在五角星處都出現(xiàn)了偽影，同時在數(shù)字3 處，DeBlurGANv2 方法仍然出現(xiàn)偽影，而本文方法不存在任何形式的偽影，由此可以看出，本文方法在真實(shí)模糊場景下的圖像中，去模糊的效果最佳。

4 結(jié)論

針對現(xiàn)有方法去運(yùn)動模糊效果不佳，運(yùn)動圖像去模糊質(zhì)量有待提升，本文提出了一種基于深度特征融合注意力的雙尺度圖像去模糊算法。1）設(shè)計(jì)了雙尺度網(wǎng)絡(luò)，利用低尺度圖像具有更小尺度模糊的特性，增加了網(wǎng)絡(luò)對模糊特征的注意力，利用高尺度圖像加強(qiáng)了復(fù)原圖像高頻細(xì)節(jié)恢復(fù)，增強(qiáng)了模型去模糊性能與真實(shí)圖像去模糊時的泛化性。2）構(gòu)建了深度特征融合注意力模塊，將高低層所有特征信息進(jìn)行融合，有效利用了網(wǎng)絡(luò)提取的所有特征信息，增強(qiáng)了模型去模糊性能。3）改進(jìn)了損失函數(shù)，引入了多尺度損失，使模型更關(guān)注高頻細(xì)節(jié)的恢復(fù)。實(shí)驗(yàn)結(jié)果表明，本文方法可以對模糊圖像進(jìn)行有效去模糊，同時與目前最新的方法MIMOUNet相比，不僅在公共數(shù)據(jù)集GoPro 上評價指標(biāo)有較大提升，而且在真實(shí)圖像上去模糊的泛化性也更好。

本文方法具有更好的運(yùn)動去模糊性能，提升了復(fù)原圖像的質(zhì)量，但針對復(fù)雜場景下不同目標(biāo)模糊程度不一時，復(fù)原圖像存在模糊殘影，對高頻細(xì)節(jié)恢復(fù)不佳，這將是未來努力的方向。