劉婷 張辰 章宜玉

摘要：由于盲去模糊任務中存在模糊信息和內容信息的糾纏，因此從模糊圖像中直接恢復尖銳的潛圖像具有很大的挑戰(zhàn)性?？紤]到在高維特征圖中，模糊信息主要存在于低頻區(qū)域，而內容信息存在于高頻區(qū)域。該文研究一種從頻率的角度實現解糾纏的編解碼器模型，并將其命名為頻率解糾纏蒸餾圖像去模糊網絡（FDDN）。首先，對傳統(tǒng)的蒸餾塊進行了改進，將頻率分割塊（FSB）嵌入到蒸餾塊中，以分離出低頻和高頻區(qū)域。其次，改進后的蒸餾塊稱為頻率蒸餾塊（FDB），可以遞歸地提取低頻特征，將模糊信息從內容信息中分離出來，從而提高恢復后的圖像質量。此外，為了降低網絡的復雜度，保證特征圖的高維性，將頻率蒸餾塊（FDB）放置在編碼的終端。

關鍵詞：去模糊;超分辨率;分頻

中圖分類號：TP3? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）19-0079-03

1引言

日常生活中存在很多圖像模糊類型，如運動模糊、高斯模糊、散焦模糊等。在進行圖像的拍攝時，一般很難長時間保持攝像設備的穩(wěn)定，一般會存在抖動等現象。道路上的交通電子抓拍違規(guī)車輛、拍攝抓拍嫌疑人等場景領域，圖像的運動模糊進行圖像復原是具有非常重要的意義。在進行圖像去模糊時，一般可以用公式（1）表示[1];B表示模糊的圖像，i表示清晰的圖像，k表示模糊因子，n表示隨機噪聲。不同的場景下K的形式不同，因此可以將其分為兩個大的分支：圖像非盲去模糊和圖像盲去模糊。非盲去模糊是在已知K和B的情況下反解出清晰的圖像I，這是一個較為容易的過程。而圖像盲去模糊是在僅知模糊圖像的情況下估計出清晰圖像I， 由此可見非盲去模糊顯然是一個計算機視覺中的不適定問題[2]。較為傳統(tǒng)的方法就是同時估計模糊核與清晰圖像，這些方法借助一些假定的先驗知識來限制模糊因子的不確定性，這樣就把盲去模糊問題轉化成了非盲問題。比如，Chen L認為模糊會導致圖像的梯度改變，因此不斷地更新梯度來恢復清晰圖像。但很顯然這些假定的先驗知識很有局限性，很難完整地表達真實場景下的模糊情況。因此不具備泛化能力。

B = K*I +n? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

科研工作人員近十幾年在模糊處理問題的研究中，大多數情況下都是利用模糊核估計和能量函數最小化兩步，并且對于這一研究付出了很多努力。盡管如此，把模糊圖像中的模糊處理掉，變成清晰程度很高的圖像，仍然還是比較困難的。由于多目標運動、拍攝時抖動、場景的變化等問題導致模糊還原這個問題是很不適定的。故而計算機視覺在模糊還原問題上的研究仍然還是一個熱點[3]。

綜上所述，卷積神經網絡在解決去模糊取得了不錯的效果，在一定程度上解決了圖像復原所面臨的一些難題，但是還有許多地方需要進一步探討和研究。隨著深度學習的發(fā)展，諸多方法則不再預測模糊核，而是直接通過構建一個編碼到解碼結構的端到端恢復清晰圖像。

2算法研究

2.1 多尺度卷積分頻模塊降低卷積神經網絡中的空間冗余算法研究

隨著深度學習的發(fā)展，圖像去模糊也得到了很大的效果提升。并且隨著網絡深度的增加以及多尺度圖像的輸入，是非常有效果的。雖然增加網絡深度和采用多尺度圖像輸入網絡可以顯著提高性能，但也會導致問題。首先，隨著參數數量的增加，加深的網絡會出現訓練困難。其次，過度密集的跳過連接會使網絡變得過于復雜，從而導致速度變慢和內存負擔過重。因此為了做到輕量級的實時去模糊算法，通過RFDN、LMFN等諸多算法表明在圖像修復任務中蒸餾塊級通過將特征分成多個支流的并逐步集成，以協(xié)同工作，該多流結構通過將重要的通道從主干道直接傳輸到特征融合部分，將不重要的通道特征通過支流繼續(xù)進行特征提取，最后到達特征融合部分，這種多流的結構能夠更全面地保留住圖像的原始細節(jié)信息，并有助于降低網絡復雜度，加快模型訓練速度。但是在分流引導中，這只是簡單地通過設定固定的參數，對將特征從通道的維度進行分流，這很明顯是不靈活的，對更偏向保留哪一部分通道的特征也是不可解釋的，完全靠實驗效果來驗證有效性[4]。在模糊圖像中，大部分的模糊信息都存在圖像的低頻區(qū)域;而大部分的輪廓信息、結構信息則存在于圖像的高頻區(qū)域。那么如果在蒸餾的過程中，主動保留的通道部分是高頻區(qū)域，并將低頻區(qū)域繼續(xù)送到其他支流繼續(xù)進行特征提取，不僅可以增大這部分特征的感受野，而且可以在特征提取下采樣的過程中弱化模糊現象。因此我們將特征在通道維度上進行高低頻的篩選來決定蒸餾的特征傳送方式。通過分頻篩選方式進行圖像去模糊，分頻篩選是提高圖像清晰度的一種比較有效的方式[5]。在實際應用場景中，我們都是試圖采用實時性和可靠性比較高的算法，而分頻篩選的處理方式恰好在這兩個方面有一定優(yōu)勢。此算法縮短了運動圖像模糊還原的計算時間，提高了時效性，也豐富了計算機視覺在實際問題中的解決方法。同時，我們可提出根據混合特征圖的頻率進行分解，并設計一種新的多尺度卷積操作來存儲和處理以較低空間分辨率的空間“較慢”變化的特征圖，降低了內存和計算成本。與現有的方法不同，它被表現為一個單一的、通用的、即插即用的卷積單元，可以用來直接替代（普通的）卷積，而無須在網絡體系結構中進行任何調整，它也是正交和互補的方法，同時可以有更好的拓撲或減少通道冗余，如群或深度卷積。實驗表明，通過簡單地用多尺度替換卷積，可以提高圖像和視頻識別任務的準確性，降低內存和計算成本[6]。

一般，用[X∈Rc*h*w]表示輸入的特征向量，其中X可分解為高頻部分和低頻部分，可表示為[{XH，XL}]。低頻的部分[XL∈Rα*c*h*w]表示整體的架構，高頻部分[XH∈R（1-α）c*h*w]表示細節(jié)部分，其中[α∈[0，1]]表示通道被分配到低頻部分的比率[7]。

其設計的目標是有效地處理相應頻張量中的低頻和高頻，同時實現有效的頻間通信。設X，Y是分解的輸入和輸出張量，然后輸出Y={Y，[YH]，[YL]}的高頻和低頻特征圖，[YL]分別由[YH=YH->H+YL->H]和[YL=YH->L+YL->L]給出。

2.2 關于輕量型超分辨率模型算法研究

圖像超分取得了極大的進展，盡管基于CNN的方法取得了極好的性能與視覺效果，但是這些模型難以部署到端側設備（高計算量、高內存占用）。為解決上述問題，已有各種不同的快速而輕量型的CNN模型提出，IDN（Information Distillation Network， IDN）是其中的佼佼者，它采用通道分離的方式提取蒸餾特征。然而，我們并不知道這個操作是如何有利于高效單圖超分（SISR）的[8];單圖像超分辨率（SISR）的最新進展探索了卷積神經網絡（CNN）的力量，以獲得更好的性能。盡管基于CNN的方法取得了巨大的成功，但由于需要大量的計算，要將這些方法應用于邊緣設備并不容易。為了解決這一問題，人們提出了各種快速和輕量級的CNN模型。信息蒸餾網絡是最先進的方法之一，它采用信道分割操作來提取蒸餾后的特征。然而，該算法[8]對于如何設計出高效SISR模型暫未提出，后續(xù)論文提出了特征蒸餾連接（FDC）[9]，它在功能上等同于通道分裂操作，同時更輕量級和靈活。在FDC的基礎上，我們可以重新考慮信息多蒸餾網絡（IMDN），并提出了一個輕量級和精確的SISR模型，稱為殘余特征蒸餾網絡（RFDN）[10]。

3實驗結果

為了更有力地證明頻率解糾纏蒸餾圖像去模糊網絡（FDDN）的有效性并避免該網絡由于過擬合而僅在特定數據集上具有優(yōu)異性能的情況，我們將在三個不同的數據集上進行比較實驗。GoPro數據集使用GoProHero4相機以每秒240幀（fps）的速度捕捉視頻序列[11]。該數據集由3214對模糊和尖銳的圖像組成，分辨率為1280×720。其中，有1111對作為測試集。不同于使用模糊核對一個清晰的圖像進行卷積以獲得一個模糊的圖像，GoPro遵循在模糊的圖像生成過程中的近似相機成像過程，并在一定的曝光時間內集成連續(xù)的幀，以突出顯示曝光時間。物體內部的運動是由位移引起的偽影引起的，從而產生一個模糊的圖像，而不是假設一個特定的運動并設計一個復雜的模糊核。因此，在數據集中只有成對的尖銳/模糊的圖像對，并且沒有模糊核。這種無核估計的去模糊數據集與傳統(tǒng)的具有均勻模糊核的合成去模糊數據集相比，出現在前景中，靜態(tài)背景顯示出更真實的空間模糊變化。HIDE數據集是精心構建的人類感知的圖像去模糊，涵蓋了廣泛的場景運動。HIDE數據集有8422對尖銳和模糊的圖像對，廣泛地注釋了65784個人類邊界框。為了評估的目的，這些圖像被分成單獨的訓練集和測試集。經過隨機選擇，我們得到了一個包含6397個訓練圖像和2025個測試圖像的獨特分割，圖3中最后一列去模糊算法為本文研究算法結果展示。

4總結

圖像去模糊處理是保證圖像質量的重要技術手段。本文希望從頻率的角度實現模糊信息和內容信息的解糾纏。因此，我們提出了頻率解糾纏蒸餾圖像去模糊網絡（FDDN），它有三個貢獻：首先，提出了頻率分割塊（FSB），它可以在消音通道中提取高頻和低頻。第二，頻率蒸餾塊（FDB），它是頻率分割塊（FSB）和蒸餾塊的組合。FDB可以看作是一種基于頻率的解糾纏方法。FDB通過直接保持高頻特征，并將低頻特征發(fā)送到遞歸蒸餾過程中，從而逐步蒸餾出有用的特征。第三，利用合成數據集和真實圖像對運動去模糊的任務進行了廣泛的實驗，并取得了有效的結果。我們發(fā)現FDDN具有良好的泛化能力，可以有效地恢復模糊區(qū)域的細節(jié)。

參考文獻：

[1] 吳慶，肖力，孫志剛.基于運動檢測的圖像去模糊算法[J].計算機與現代化，2013（12）：4.

[2] 張磊，王廣生.運動模糊圖像重構的算法及其并行化處理研究[J].現代電子技術，2008（10）：153-155+158.

[3] 吉訓生，滕彬.基于生成對抗網絡的行人異常行為圖像去模糊算法研究[J].光電工程， 2021，48（6）：11.

[4] 蘇秉華，金偉其，牛麗紅，等.超分辨率圖像復原及其進展[J].光學技術，2001，27（1）：4.

[5] Liu Y， GuoJ，Yang S， et al. Frequency Disentanglement Distillation Image Deblurring Network[J].Sensors， 2021，21（14）：4702.

[6] 劉微.運動模糊圖像恢復算法的研究與實現[D].中國科學院長春光學精密機械與物理研究所，2006.

[7] 洪漢玉， 張?zhí)煨? 基于多分辨率盲目去卷積的氣動光學效應退化圖像復原算法[J].計算機學報，2004，27（7）：12.

[8] 張曉玲，沈蘭蓀.超分辨率圖像復原技術的研究進展[J].測控技術， 2005， 24（5）：1-5.

[9] Nah S， Hyun Kim T， Mu Lee K. Deep multi-scale convolutional neural network for dynamic scene deblurring[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 3883-3891.

[10] Aittala M， Durand F. Burst image deblurring using permutation invariant convolutional neural networks[C]. Proceedings of the European Conference on Computer Vision （ECCV）， 2018： 731-747.

[11] 王輝，楊杰，黎明，等.一種基于神經網絡的圖像復原方法[J].紅外與激光工程，2006（z4）：5.

收稿日期：2022-03-20

基金項目：該文系2021年度湖南省教育廳科學研究項目：基于多尺度卷積和超分辨率分頻模型圖像去模糊算法研究（項目編號：21C1366）

作者簡介：劉婷（1990—），女，湖南婁底人，助教，碩士，主要從事人工智能、數據分析、軟件技術方面研究。