張乾俊，廉佐政，趙紅艷

一種基于U-Net的圖像去模糊方法

張乾俊，廉佐政，趙紅艷

（齊齊哈爾大學(xué) 計(jì)算機(jī)與控制工程學(xué)院，黑龍江 齊齊哈爾 161006）

針對(duì)現(xiàn)有深度學(xué)習(xí)的圖像去模糊方法存在網(wǎng)絡(luò)接受域小、制約去模糊效果的問題，提出了一種改進(jìn)的U-Net（U形卷積神經(jīng)網(wǎng)絡(luò)）模型，該模型使用深度可分離卷積實(shí)現(xiàn)標(biāo)準(zhǔn)卷積操作，以減少模型計(jì)算和參數(shù)．模型中嵌入小波變換，分離圖像的上下文和紋理信息，降低模型訓(xùn)練的難度．設(shè)計(jì)的密集多接受域通道模塊可以提取圖像細(xì)節(jié)信息，從而提高小波重構(gòu)圖像的質(zhì)量．實(shí)驗(yàn)表明，該方法在峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）方面具有較好的性能，模型參數(shù)較少，圖像恢復(fù)時(shí)間較短．

深度可分離卷積；U-Net模型；密集多接受域通道模塊；小波變換

目前，模糊圖像廣泛存在，引起圖像模糊的原因很多，如光學(xué)系統(tǒng)的像差、成像過(guò)程中目標(biāo)的相對(duì)運(yùn)動(dòng)、低光照、環(huán)境噪聲等．這些模糊圖像不僅主觀上影響視覺體驗(yàn)，而且影響了目標(biāo)檢測(cè)等后續(xù)的視覺任務(wù)．因此，圖像去模糊是計(jì)算機(jī)視覺中的一個(gè)關(guān)鍵性問題．圖像模糊問題的解決方法主要包括非盲和盲去模糊兩大類，前者需要已知圖像的模糊過(guò)程，來(lái)確定模糊核函數(shù)，后者則不需要．在實(shí)際應(yīng)用中，模糊圖像的模糊過(guò)程大多是未知的，因此盲去模糊方法應(yīng)用廣泛．傳統(tǒng)的盲去模糊方法大多采用正則化和手工制作圖像先驗(yàn)來(lái)估計(jì)模糊核，再用迭代優(yōu)化的方式逐步恢復(fù)清晰圖片，這就涉及復(fù)雜模糊核的估計(jì)，導(dǎo)致去模糊的過(guò)程繁瑣，實(shí)時(shí)性差，算法的性能不高．隨著深度學(xué)習(xí)快速發(fā)展，基于深度學(xué)習(xí)的盲去模糊方法[1]已逐步得到應(yīng)用．歐陽(yáng)寧[2]等基于對(duì)抗網(wǎng)絡(luò)提出一種基于自適應(yīng)殘差的運(yùn)動(dòng)圖像去模糊方法，能夠重建出紋理細(xì)節(jié)豐富的高質(zhì)量圖像．Nah[3]等提出基于深度學(xué)習(xí)端到端去除圖像模糊，用多尺度卷積神經(jīng)網(wǎng)絡(luò)直接從模糊圖像恢復(fù)到清晰圖像．毛勇[4]等用生成對(duì)抗網(wǎng)絡(luò)設(shè)計(jì)車牌去運(yùn)動(dòng)模糊模型，有效去除合成運(yùn)動(dòng)模糊圖像和真實(shí)場(chǎng)景下運(yùn)動(dòng)模糊圖像中存在的運(yùn)動(dòng)模糊．Tao[5]等提出一種基于高分辨率特征保持的圖像去模糊網(wǎng)絡(luò)，并行連接由高至低各分辨率特征子網(wǎng)絡(luò)，無(wú)需由低分辨率到高分辨率的重建過(guò)程．Zhang[6]等使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）學(xué)習(xí)每個(gè)位置的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）的像素權(quán)重，來(lái)增加接受域．用RNN或CNN只能捕獲小部分領(lǐng)域信息，無(wú)法有效獲得全局上下文依賴信息．Zeng[7]等采用了密集網(wǎng)絡(luò)來(lái)進(jìn)行圖像的去模糊，可以避免梯度消失問題．

文獻(xiàn)[1-7]的方法存在網(wǎng)絡(luò)的接受域較小的問題，不能獲取更多的圖像信息，影響了圖像的去模糊效果．本文針對(duì)這些問題，提出新的方法，即構(gòu)建了U-Net（U-shaped Convolutional Neural Network）模型，分析了去模糊原理，并通過(guò)實(shí)驗(yàn)進(jìn)行效果評(píng)估，驗(yàn)證了該方法具有良好的去模糊效果．

1 基于U-Net的去圖像運(yùn)動(dòng)模糊方法

1.1 模型設(shè)計(jì)

本文設(shè)計(jì)的模型見圖1．該模型由深度可分離卷積、深度可分離殘差卷積、哈爾小波變換、密集多接受域通道模塊組成．模型左側(cè)為編碼器，右側(cè)為解碼器．為了減少網(wǎng)絡(luò)模型中參數(shù)，編碼器用深度可分離卷積實(shí)現(xiàn)卷積操作，用深度可分離殘差卷積完成殘差卷積．使用二維離散哈爾小波來(lái)實(shí)現(xiàn)下采樣，以獲取到圖像不同頻率的上下文和紋理信息，降低計(jì)算復(fù)雜性，減少訓(xùn)練難度．在深層編碼時(shí)使用了密集多接受域通道模塊，來(lái)獲取不同尺度的圖像信息，緩解梯度消失、重用特性的出現(xiàn)．在解碼階段，用哈爾小波的逆變換來(lái)實(shí)現(xiàn)上采樣過(guò)程，減少圖像信息的損失．再通過(guò)深度可分離卷積和深度可分離殘差卷積對(duì)圖像進(jìn)行有效重建．對(duì)模型的關(guān)鍵部分小波變換及其逆變換、密集多接受域通道模塊進(jìn)行分析．

圖1 模型設(shè)計(jì)

1.2 哈爾小波變換及其逆變換

哈爾小波是小波變換中最易于實(shí)現(xiàn)、操作簡(jiǎn)單的一種變換，因此本文用二維離散哈爾小波變換及其逆變換實(shí)現(xiàn)圖像下采樣和上采樣操作，即實(shí)現(xiàn)圖像的分解和重構(gòu)，其過(guò)程見圖2．圖2左半部完成小波變換，首先沿著列方向進(jìn)行行濾波，再進(jìn)行下采樣，然后將得到的濾波結(jié)果沿著行方向進(jìn)行列濾波，再下采樣，從而獲得4個(gè)不同的頻帶，一個(gè)近似分量A，水平、垂直、對(duì)角等方向的３個(gè)細(xì)節(jié)分量H，V，D．圖2右半部完成小波逆變換，首先對(duì)D，V進(jìn)行上采樣，再沿著列方向進(jìn)行行濾波，H，A也做同樣的操作．然后將其結(jié)果進(jìn)行上采樣，再沿著行方向進(jìn)行列濾波，最后將濾波結(jié)果融合，得到重構(gòu)的去模糊圖像．這個(gè)過(guò)程中不僅避免圖像信息丟失，且會(huì)生成更多的高頻信息．因此，可以獲得清晰的圖像．

圖2 小波變換及其逆變換

1.3 密集多接受域通道模塊

為提取圖像的深層語(yǔ)義信息，提高圖像去模糊的性能，提出密集多接受域模塊．密集多接受域通道模塊，由4個(gè)多接受域通道塊和1個(gè)瓶頸層組成（見圖３）．通過(guò)多接受域通道塊來(lái)提取圖像的語(yǔ)義特征，再用瓶頸層來(lái)減少特征輸入的數(shù)量，來(lái)提高模型的緊湊性和計(jì)算效率．用密集連接的方式，來(lái)加強(qiáng)圖像特征的傳遞，更加有效地利用圖像特征．密集多接受域通道模塊表示為

式中：表示串聯(lián)層混合的接受域塊所產(chǎn)生的特征圖；表示將多個(gè)輸入張量轉(zhuǎn)化為單個(gè)張量；表示瓶頸層的輸出；為瓶頸層的超參數(shù)，瓶頸層采用的濾波器大小為1×1．

圖4 多接收域通道塊

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)準(zhǔn)備

本文使用了GOPRO數(shù)據(jù)集[8]來(lái)訓(xùn)練本文的模型，它由3 214模糊清晰圖像對(duì)組成，包含了22個(gè)不同的場(chǎng)景．選用2 103對(duì)圖像作為訓(xùn)練集，1 111對(duì)圖像作為測(cè)試集．為了提高模型的泛化能力，對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)操作，分別采用隨機(jī)旋轉(zhuǎn)，隨機(jī)左右、上下翻轉(zhuǎn)，高斯噪聲，旋轉(zhuǎn)角度為90°，180°，270°，噪聲均值為0，方差為0.000 1．

2.2 損失函數(shù)

圖像去模糊采用均方誤差（MSE）損失作為常用指標(biāo)，通過(guò)使用歐式距離來(lái)測(cè)量預(yù)測(cè)值與實(shí)際值之間的差值

同時(shí)為獲得圖像邊緣細(xì)節(jié)信息，使用了SSIM損失函數(shù)[10]

2.3 效果評(píng)價(jià)

使用峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）來(lái)作為評(píng)價(jià)指標(biāo)，它們的值越大，代表圖像的質(zhì)量就越好，計(jì)算公式

本文方法的平均PSNR和平均SSIM與其它方法的比較情況見表1．通過(guò)比較發(fā)現(xiàn)，本文方法在PSNR和SSIM方面優(yōu)于其他方法，比文獻(xiàn)[5]的PSNR高0.59，SSIM高0.014．

表1 各算法在數(shù)據(jù)集上的定量評(píng)估

本文方法在GOPRO測(cè)試數(shù)據(jù)集上所用的時(shí)間、模型參數(shù)大小見表2．本文比文獻(xiàn)[3]和文獻(xiàn)[5]的所需的時(shí)間更少，模型參數(shù)更?。?/p>

表2 各算法在數(shù)據(jù)集上的運(yùn)行時(shí)間和網(wǎng)絡(luò)模型大小

3 結(jié)語(yǔ)

本文提出了一種基于改進(jìn)U-Net模型的圖像去模糊方法，該方法引入了二維離散哈爾小波，并設(shè)計(jì)了密集多接受域通道塊．模型中的下采樣采用小波變換，上采樣采用小波逆變換，從而獲得了更多的圖像細(xì)節(jié)，降低了計(jì)算復(fù)雜度．密集多接受域通道塊以密集連接方式連接多個(gè)接收通道塊，增強(qiáng)了網(wǎng)絡(luò)的傳輸能力．本文的方法不僅可以顯著降低模型的參數(shù)，而且可以減少模型恢復(fù)清晰圖像的運(yùn)行時(shí)間，達(dá)到良好的圖像去模糊效果．

[1] 潘金山．基于深度學(xué)習(xí)的圖像去模糊方法研究進(jìn)展[J]．計(jì)算機(jī)科學(xué)，2021，48（3）：9-13．

[2] 歐陽(yáng)寧，鄧超陽(yáng)，林樂平．基于自適應(yīng)殘差的運(yùn)動(dòng)圖像去模糊[J]．計(jì)算機(jī)工程與設(shè)計(jì)，2021，42（6）：1684-1690．

[3] Nah S，Kim T H，Lee K M．Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring[C]// IEEE Computer Society．2017 IEEE Conference on Computer Vision and Pattern Recognition．Honolulu，USA：IEEE，2017.

[4] 毛勇，陳華華．基于深度學(xué)習(xí)的車牌圖像去運(yùn)動(dòng)模糊技術(shù)[J]．杭州電子科技大學(xué)學(xué)報(bào)，2018，38（5）：33-37．

[5] Tao X，Gao H，Wang Y，et al．Scale-recurrent Network for Deep Image Deblurring[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition．Salt Lake City，USA：IEEE，2018．

[6] Zhang J，Pan J，Ren J，et al．Dynamic Scene Deblurring Using Spatially Variant Recurrent Neural Networks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）．Salt Lake City，USA：IEEE，2018．

[7] Zeng Tao，Diao Changyu．Single Image Motion Deblurring Based On Modified DenseNet[C]//2020 2nd International Conference on Machine Learning，Big Data and Business Intelligence（MLBDBI）．Chengdu：Institute of Electrical and Electronics Engineers Inc，2020．

[8] 黃彥寧，李偉紅，崔金凱，等．強(qiáng)邊緣提取網(wǎng)絡(luò)用于非均勻運(yùn)動(dòng)模糊圖像盲復(fù)原[J]．自動(dòng)化學(xué)報(bào)，2021，47（11）：1-17．

[9] Liu H L，Tian X．AEGD：Adaptive Gradient Decent with Energy[J/OL]．a(chǎn)rXiv preprint arXiv 2020，1（1）：1-25. https://arxiv.org/abs/2010.05109.

[10] Wang Z，Bovik A C，Sheikh H R，et al．Image quality assessment:from error visibility to structural sim-ilarity[J]. IEEETransactions on Image Processing，2004，13（4）：600-612.

An image deblurring method based on U-Net

ZHANG Qianjun，LIAN Zuozheng，ZHAO Hongyan

（School of Computer and Control Engineering，Qiqihar University，Qiqihar 161006，China）

The existing deep learning image deblurring methods have the problems of small network receptive field and restricting the deblurring effect，an improved U-Net（U-shaped Convolutional Neural Network）model is proposed．The model uses depth-wise separable convolution to archive standard convolution operation to reduce model calculations and parameters．The wavelet transform is embedded in the U-Net model to separate the context and texture information of the image and reduce the difficulty of model training．In order to improve the image quality of wavelet reconstruction，dense multi-receptive field channel module is used to extract image detail information．Experiments show that the image deblurring method has better performance in PSNR（peak signal-to-noise ratio）and SSIM（structural similarity），with fewer model parameters and shorter recovery time.

depth-wise separable convolution；U-Net model；dense multi-receptive field channel module；wavelet transform

1007-9831（2022）05-0047-05

TP391

A

10.3969/j.issn.1007-9831.2022.05.008

2022-01-20

黑龍江省高等教育教學(xué)改革研究項(xiàng)目（SJGY20200770，SJGY20190710）；齊齊哈爾大學(xué)教育科學(xué)研究項(xiàng)目（ZD201802）

張乾俊（1996-），男，陜西漢中人，在讀碩士，從事深度學(xué)習(xí)應(yīng)用研究．E-mail：1123495150@qq.com

廉佐政（1977-），男，黑龍江海倫人，副教授，碩士，從事機(jī)器學(xué)習(xí)與人工智能應(yīng)用研究．E-mail：lianzuozheng@163.com