亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Transformer 和多尺度CNN 的圖像去模糊

        2023-09-18 04:36:00李現(xiàn)國
        計算機工程 2023年9期
        關鍵詞:特征融合模型

        李現(xiàn)國,李 濱

        (1.天津工業(yè)大學 電子與信息工程學院,天津 300387;2.天津市光電檢測技術與系統(tǒng)重點實驗室,天津 300387)

        0 概述

        圖像去模糊是利用圖像處理技術將模糊圖像恢復成有清晰邊緣結構和豐富細節(jié)的圖像。由于造成圖像模糊的原因很多,因此圖像去模糊問題是一個有多個未知解的高度不適定問題。在圖像去模糊任務中,傳統(tǒng)方法多數(shù)是將其建模為模糊核估計問題進行求解,但在現(xiàn)實世界中模糊核是未知的且非常復雜,最終會因為模糊核估計的不準確而導致模糊圖像的恢復效果不佳。傳統(tǒng)圖像去模糊方法主要有基于最大后驗概率(Maximum A Posterior,MAP)[1-3]、基于變分貝葉斯(Variational Bayesian,VB)[4-5]和基于LMS 自適應算法[6]。通過將原始圖像與模糊核的聯(lián)合后驗概率在圖像空間邊際化,然后求解模糊核的邊際分布,進而實現(xiàn)圖像盲復原。傳統(tǒng)圖像去模糊研究通常集中于解決簡單的相機抖動或者目標運動產(chǎn)生的模糊問題,僅在特定模糊圖像上具有良好的效果。

        近年來,學者們對基于卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)的圖像去模糊方法進行了廣泛研究[7-9]。早期,基于CNN 的圖像去模糊方法將CNN 作為模糊核估計器,構建基于CNN 的模糊核估計和基于核反卷積的兩階段圖像去模糊框架[10-11]。JIAN 等[11]提出使用CNN 估計運動模糊的空間變化核,去除非均勻模糊,但由于模糊特性復雜,模糊核估計方法在實際場景中不能很好地恢復模糊圖像。目前,基于CNN 的圖像去模糊方法旨在以端到端方式直接學習模糊-清晰圖像對之間的復雜關系[12-14]。KUPYN 等[12]提出DeblurGAN,基于GAN 和內(nèi)容損失,以單尺度的方式實現(xiàn)圖像去模糊。盡管單尺度在去模糊效率上表現(xiàn)良好,但由于未能提取多種特征信息,導致去模糊性能和恢復圖像細節(jié)上效果欠佳。NAH 等[13]基于coarse-to-fine 策略,引入一種用于動態(tài)場景去模糊的深度多尺度CNN 網(wǎng)絡DeepDeblur,在不估計任何模糊核的情況下提取圖像多尺度信息,直接從模糊圖像中恢復清晰圖像。ZHAO 等[14]提出一種輕量化和實時的無監(jiān)督圖像盲去模糊方法FCL-GAN,既沒有圖像域限制,也沒有圖像分辨率限制,保證了輕量化和性能優(yōu)勢。ZHAO 等[15]提出一種用于盲運動去模糊的通用無監(jiān)督顏色保留網(wǎng)絡CRNet,易于擴展到其他受色彩影響的畸變?nèi)蝿?,同時引入模糊偏移估計和自適應模糊校正,改進去模糊任務。

        雖然CNN 在單圖像去模糊領域取得了良好的效果,但存在以下問題:1)卷積算子的感受野有限,難以捕獲到遠程像素的信息,若要增加感受野,則只能增加網(wǎng)絡深度,然而會造成計算量過大和信息丟失問題;2)卷積核在推理時有靜態(tài)權值,不能靈活地適應輸入內(nèi)容。受Transformer[16-17]具有全局信息建模特性的啟發(fā),DOSOVITSKIY等[18]提出視覺Transformer(Vision Transformer,ViT)來執(zhí)行圖像識別任務,以具有位置嵌入的2D 圖像塊為輸入,在大數(shù)據(jù)集上進行預訓練,取得了與基于CNN 的方法相當?shù)男阅堋OUVRON 等[19]將Transformer 與蒸餾方法相結合,提出一種高效的圖像Transformer(DeiT),可在中型數(shù)據(jù)集上訓練Transformer,具有較好的魯棒性。

        受UNet多尺度單圖像去模糊[20]和Transformer[16,21-22]工作的啟發(fā),本文將Transformer 引入CNN 網(wǎng)絡,但直接將Transformer 嵌入CNN 網(wǎng)絡存在以下問題:1)嵌入后應用CNN 網(wǎng)絡的訓練策略因Transformer參數(shù)量過多導致無法訓練;2)應用局部方式計算多頭自注意力(Multi-Head Self-Attention,MHSA)會造成局部窗口之間缺少信息聯(lián)系且去模糊效果差。針對上述問題,本文提出一種基于Transformer 和多尺度CNN 的圖像去模糊網(wǎng)絡(T-MIMO-UNet)。利用CNN 網(wǎng)絡提取空間特征,同時對輸入圖像進行下采樣得到多尺度的特征圖,通過將多尺度特征相互融合和補充,有效利用每個尺度的信息,更好地處理各種圖像模糊問題。設計一種局部增強Transformer 模塊(Enhanced Local Transformer Module,EL-TM),能夠利用Transformer 的全局特性有效獲取全局信息。當每個尺度的特征輸入到EL-TM 中進行全局建模時,針對輸入圖像尺寸過大的問題,設計一種局部多頭自注意力計算網(wǎng)絡(Local Multi-Head Self-Attention Network,L-MHSAN),采用窗口的方式在局部逐塊計算MHSA,以解決圖像尺寸過大導致的訓練難度增加的問題。針對在L-MHSAN 中劃分窗口計算MHSA 后跨窗口的信息交互消失問題,設計一種增強前饋網(wǎng)絡(Enhanced Feed-Forward Network,EFFN),通過增加深度可分離卷積層,促進不同窗口之間的信息交互,有效獲取全局信息,提升圖像清晰度和計算效率。

        1 圖像去模糊網(wǎng)絡

        本文提出的T-MIMO-UNet 結構如圖1 所示。該網(wǎng)絡主要由多尺度輸入編碼器、EL-TM、非對稱特征融合(Asymmetric Feature Fusion,AFF)模塊和多尺度輸出解碼器組成,其中,編碼器采用兩個編碼塊(Encoder Block,EB),解碼器采用3 個解碼 塊(Decoder Block,DB),EL-TM采用12 個局部增強Transformer 層(Enhanced Local Transformer Layer,EL-TL)。

        T-MIMO-UNet 建立在基于編碼器-解碼器的單一UNet 架構上,可充分利用CNN 從圖像中提取的多尺度空間特征。此外,為了捕獲全局依賴關系,利用Transformer 編碼器對全局空間進行建模,并基于EL-TM 進行局部窗口之間的信息交互,實現(xiàn)多尺度去模糊。

        1.1 多尺度輸入編碼器

        多尺度架構可以有效地處理不同程度的圖像模糊[23],同時各種基于CNN 的去模糊方法[13,24-25]也都采用將不同尺度的模糊圖像作為網(wǎng)絡的基本輸入。在T-MIMO-UNet 的編碼器中,通過編碼塊將不同尺度的模糊圖像作為輸入,其中,EB1由卷積層、殘差塊構成,EB2由卷積層、特征融合模塊(FAM)[20]和殘差塊構成,已有實驗[20]證明了FAM 能夠提高模型性能。

        使用多尺度策略作為單個U-Net 的輸入,將原始尺度的模糊圖像B1進行2 次1/2 下采樣,得到另外2 個尺度的模糊圖像B2和B3。B1和B2尺度的模糊圖像通過EB1和EB2提取特征,B3尺度的模糊圖像在經(jīng)過預處理后輸入Transformer架構EL-TM 進行全局特征建模。此外,除了在每個尺度的編碼器或EL-TM 中提取特征外,對于B2和B3尺度,還會分別從上面尺度的模糊圖像中提取縮小的特征,然后將這2 種特征融合,2種信息相互補充,更有助于處理圖像模糊問題。

        在每個尺度的編碼器或Transformer 模塊中提取特征時,使用淺卷積模塊(Shallow Convolution Module,SCM)[20]對下采樣圖像B2和B3進行特征提取處理。SCM 使用2 個堆疊的3×3 和1×1 的卷積層,然后在最后一個1×1 卷積層中將提取的特征與輸入的當前尺度圖像連接起來,再使用一個1×1 卷積層進一步細化連接,經(jīng)過SCM 的輸出用Zk,out表示。

        對于原始尺度的模糊圖像B1,沒有使用SCM,而是直接輸入編碼塊EB1。對于使用了SCM 的模糊圖像B2,將SCM 的輸出Z2,out與B1尺度的編碼器輸出E1,out使用FAM 進行融合,在融合前使用stride 取值為2 的卷積層以保證2 個特征具有相同的尺寸,最后使用1 個殘差塊繼續(xù)細化特征。

        對于B3尺度的模糊圖像,將此時SCM 的輸出Z3,out與B2尺度的編碼器輸出E2,out進行特征融合,此時的特征圖經(jīng)過多次淺層特征提取和前2 個尺度的卷積特征提取后,每個像素具備了更深的感受野,這時輸入EL-TM 利用Transformer 的全局特征信息建模能力,進一步學習與全局感受野的遠程相關性,之后將提取的全局特征輸入殘差塊。

        1.2 局部增強Transformer 模塊

        自Transformer 架構[16]被應用于深度學習領域以來,其全局信息建模特性引起了學者們的廣泛關注。CNN 作為視覺領域的通用主干網(wǎng)絡,在圖像去模糊任務中應用廣泛,但CNN 卷積算子存在感受野有限的問題,隨著網(wǎng)絡層數(shù)的不斷加深,CNN 這一問題體現(xiàn)的越發(fā)明顯,Transformer 的全局性可以緩解這一缺陷。在處理模糊圖像時,Transformer往往因數(shù)據(jù)集中過大的圖像尺寸而造成計算復雜度過高,最終使去模糊的視覺任務失敗。為了增強Transformer 架構在去模糊領域的通用性,設計一種局部增強Transformer 模塊,如圖2 所示。局部增強Transformer 模塊由多個局部增強Transformer 層構成。每個局部增強Transformer層由L-MHSAN 和EFFN 構成。

        圖2 局部增強Transformer 模塊結構Fig.2 Structure of the enhanced local Transformer module

        在T-MIMO-UNet 結構中,將B1和B2尺度提取的特征與B3尺度融合,然后將所獲得的特征圖I?RN×D通過EL-TM 進一步進行特征提取,其中,N表示輸入分辨率H×W,H表示圖像高度,W表示圖像寬度,D表示輸入通道數(shù)。

        B3尺度的圖像特征在與其他尺度特征相加并輸入局部增強Transformer 模塊計算MHSA 前,需要經(jīng)過淺卷積模塊的處理,處理后的圖像與B2尺度的編碼器輸出E2,out相融合。由于圖像去模糊數(shù)據(jù)集的大尺寸特性導致計算MHSA 時計算量過大,大大增加了訓練難度。為了解決這個問題,在局部增強Transformer 層中設計了一種局部多頭自注意力計算網(wǎng)絡。

        局部多頭自注意力計算網(wǎng)絡結構如圖3 所示。首先讀取融合特征的維度并進行記錄,由于融合特征仍然與圖像維度一致,即(Y,H,W,D),其中,Y表示圖像批處理大小。使用Flatten 操作將圖像的寬度、高度等展開成一維數(shù)據(jù)的形式,即(Y,D,H×W),之后將展開后的數(shù)據(jù)形式轉換為(Y,H×W,D),便可將融合后的圖像特征輸入局部增強Transformer 層計算MHSA。

        圖3 局部多頭自注意力計算網(wǎng)絡結構Fig.3 Structure of the local multi-head self-attention network

        圖像特征輸入局部增強Transformer 層后,局部多頭自注意力計算網(wǎng)絡將特征圖I?RN×D劃分成P個不重疊的窗口I→{I1,I2,…,IP},窗口個數(shù)P的計算公式如式(1)所示。在每個窗口中獨立計算多頭自注意力。針對一個局部窗口特征圖X?RM2×D,Query、Key、Value 矩陣Q、K、V計算公式如式(2)所示?;诰植看翱诘淖宰⒁饬τ嬎愎饺缡剑?)所示。將AQ,K,V并行計算C次并連接,得到多頭自注意力計算結果AQ,K,V,然后經(jīng)過窗口特征合并操作重構得到中間特征fM,計算公式如式(4)所示。

        其中:M2表示被劃分的窗口尺寸;PQ、PK、PV分別表示在不同窗口共享的投影矩陣;d表示,C為多頭自注意力的頭數(shù)量;View 表示重構操作;Window-reverse表示窗口特征合并操作;fM特征維度為(Y,H,W,D)。

        將多頭自注意力在局部不重疊的窗口中分別計算時,不同窗口之間信息交互會消失,跨窗口之間沒有信息交流會限制建模能力。為了解決這個問題,在局部增強Transformer 層中的前饋網(wǎng)絡(Feed-Forward Network,F(xiàn)FN)結構上進行改進,設計一種增強前饋網(wǎng)絡,在2 個全連接層間增加了2 個深度可分離卷積層(Depthwise separable Convolution,DepthConv),并合理利用跳躍連接與輸入特征建立聯(lián)系。增強前饋網(wǎng)絡結構如圖4 所示。

        圖4 增強前饋網(wǎng)絡結構Fig.4 Structure of the enhanced feed-forward network

        首先,對于輸入的中間特征fM,經(jīng)過第1 個全連接層,再經(jīng)過正則化和激活操作輸入第1 個深度可分離卷積層后以殘差的方式進行跳躍連接得到中間特征計算的第1 個階段的計算結果,計算過程可表示如下:

        其中:LN 表示全連接操作;DepthConv 表示深度可分離卷積操作。

        然后,fM,1經(jīng)過正則化操作和第2 個深度可分離卷積層,通過殘差相加得到中間特征計算的第2 個階段的計算結果fM,2,fM、fM,1和fM,2跳躍連接得到中間特征計算的第3 個階段的計算結果fM,3,即:

        最后,fM,3經(jīng)過第2 個全連接層和正則化、卷積操作后與fI相加得到EL-TL 模塊最終提取的特征fF。

        深度可分離卷積不僅能增強局部性,而且能增加窗口之間特征的局部信息交互[26],同時相對于普通卷積而言,深度可分離卷積能有效減少模型的參數(shù)量。

        1.3 非對稱特征融合模塊

        使用AFF 模塊[20]將編碼器中提取的特征進行融合。特征融合策略沒有使用對稱融合[27]及只進行相鄰2 個尺度的特征融合[13],而是將3 個尺度的特征再次進行融合輸入至DB1和DB2。

        1.4 多尺度輸出解碼器

        使用上采樣或下采樣操作將不同尺度的特征輸入AFF 模塊進行特征融合后,將這些特征輸入網(wǎng)絡解碼端,對每個尺寸的圖像進行重建。解碼器依然采用單個U 形網(wǎng)絡模擬多級聯(lián)U 型網(wǎng)絡輸出不同尺度的去模糊圖像。解碼塊均由卷積層和殘差塊構成。由于解碼塊的輸出是一個特征圖而不是一幅圖像,因此在重建每一層圖像時,使用一個卷積層作為生成圖像的映射函數(shù)。在實驗過程中,因無需B2和B3尺度的去模糊圖像S2和S3,本文模型只將原始B1尺度進行去模糊,輸出S1在后面的實驗中進行對比。

        2 實驗與結果分析

        網(wǎng)絡模 型在訓 練時使 用Intel?Xeon?Silver 4210 CPU @ 2.20 GHz 硬件平臺,內(nèi)存為93.1 GB,GTX1080Ti 11 GB。軟件環(huán)境為Ubuntu18.04 操作系統(tǒng),深度學習環(huán)境為PyTorch1.4.0。

        2.1 數(shù)據(jù)集和實現(xiàn)細節(jié)

        使用GoPro[13]訓練數(shù)據(jù)集來訓練網(wǎng)絡,訓練數(shù)據(jù)集中包括2 103 對模糊和清晰的圖像對;使用GoPro 測試數(shù)據(jù)集來測試網(wǎng)絡,測試數(shù)據(jù)集中包括1 111 對圖像 對。此外,在RealBlur[28]真實場 景數(shù)據(jù)集中測試了模型的有效性,RealBlur 測試數(shù)據(jù)集包含RealBlur-R 和RealBlur-J 這2 個子數(shù)據(jù)集,每個數(shù)據(jù)集包括980 對圖像對。

        網(wǎng)絡訓練的初始學習率為10-4,之后每迭代訓練500 輪就下降50%。對于每次迭代訓練,都將圖像隨機剪切為256×256 像素。為了使模型充分收斂,在GoPro 訓練數(shù)據(jù)集中進行3 000 輪的迭代訓練,以使模型收斂。

        2.2 損失函數(shù)

        在優(yōu)化網(wǎng)絡參數(shù)時,使用多尺度內(nèi)容損失函數(shù)[13],定義如下:

        其中:K表示尺度;SK和GK分別表示模型預測的清晰圖像和真實清晰圖像;使用每一輪計算的損失次數(shù)tK進行歸一化處理。

        研究表明:增加輔助損失項可以提高模型性能,且最小化特征空間中輸入和輸出之間距離的輔助損失項已在圖像恢復任務中得到廣泛應用,并取得了良好的效果[29]。去模糊主要是恢復圖像高頻分量的特性,使用多尺度頻率重建(Multi-Scale Frequency Reconstruction,MSFR)損失函 數(shù)[20]作為輔 助損失項。尺度頻率重建損失函數(shù)能夠測量頻域中多尺度真實圖像和去模糊圖像之間的L1 距離,定義如下:

        其中:FT 表示快速傅里葉變換。

        網(wǎng)絡訓練的損失函數(shù)可表示如下:

        2.3 去模糊定量效果分析

        將T-MIMO-UNet與DeblurGAN[12]、DeepDeblur[13]、FCL-GAN[14]、CRNet[15]、MIMO-UNet[20]、MIMOUNet+[20]、PSS-NSC[24]、SRN[25]、DMPHN[30]、MPRNet[31]、DeblurGAN-v2[32]等經(jīng)典的去模糊網(wǎng)絡進行比較,定量地分析其性能。為了實現(xiàn)計算復雜度和去模糊精度之間的權衡,同時提出T-MIMO-UNet 的變體,即T-MIMO-UNet+和T-MIMO-UNet++,其中,T-MIMOUNet 中使用10 個殘差塊和12 個EL-TM,T-MIMOUNet+中使用20 個殘差塊和6 個EL-TM,T-MIMOUNet++是在T-MIMO-UNet+的基礎上將EFFN 中的深度可分離卷積替換成普通卷積。在GoPro 測試數(shù)據(jù)集上與其他網(wǎng)絡的測試結果比較如表1 所示,其中,粗體表示每列最優(yōu)值,下劃線表示每列次優(yōu)值。由表1 可以看出:與MIMO-UNet 基礎網(wǎng)絡相比,T-MIMO-UNet 及其2 個變體網(wǎng)絡的峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)分別提升了0.39 dB、0.54 dB、0.66 dB;與DeepDeblur、DeblurGAN、SRN網(wǎng)絡相比,T-MIMO-UNet 的PSNR 分別提升了2.89 dB、3.42 dB、1.86 dB;特別是在平均SSIM 指標上,T-MIMO-UNet 及其變體網(wǎng)絡明顯優(yōu)于對比網(wǎng)絡;與MPRNet 網(wǎng)絡相比,T-MIMO-UNet 及其變體網(wǎng)絡盡管PSNR 略有欠缺,但在模型參數(shù)量和去模糊處理時間上有更好的表現(xiàn),T-MIMO-UNet 參數(shù)量減少為MPRNet 的1/2,處理時間減少為MPRNet 的1/8。

        表1 在GoPro 測試數(shù)據(jù)集上的測試結果比較 Table 1 Comparison of test results on the GoPro test dataset

        為了驗證多尺度策略去模糊性能的優(yōu)越性,與基 于CNN 的單尺 度去模 糊網(wǎng)絡Deblur-GAN[12]、SDWNet[33]和基于 雙尺度 策略的 去模糊網(wǎng)絡DeblurGAN-v2[32]進行比較。在GoPro 測試數(shù)據(jù)集上單尺度、雙尺度與多尺度定量性能比較結果如表2所示。由表2 可以看出,多尺度特征提取方式優(yōu)于單尺度和雙尺度特征提取方式,驗證了多尺度信息提取的優(yōu)勢。

        表2 在GoPro 測試數(shù)據(jù)集上單尺度、雙尺度與多尺度定量性能比較 Table 2 Comparison of quantitative performance among single-scale,double-scale and multi-scale on the GoPro test dataset

        為了驗證T-MIMO-UNet 在真實場景中的有效性,在RealBlur 測試數(shù)據(jù)集[28]上將T-MIMO-UNet 與DeblurGAN[12]、DeepDeblur[13]、FCL-GAN[14]、MIMOUNet[20]、MIMO-UNet+[20]、SRN[25]、DMPHN[30]、MPRNet[31]、DeblurGAN-v2[32]等經(jīng)典的去模糊網(wǎng)絡進行比較,平均PSNR 和SSIM 定量比較結果如表3 所示,其中,粗體表示每列最優(yōu)值,下劃線表示每列次優(yōu)值,可以看出T-MIMO-UNet 及其變體網(wǎng)絡仍然取得了比較好的效果,PSNR 和SSIM 值非常接近MPRNet。

        表3 在RealBlur 測試數(shù)據(jù)集上的平均PSNR 和SSIM Table 3 Average PSNR and SSIM on the RealBlur test dataset

        2.4 去模糊定性結果分析和消融實驗

        對T-MIMO-UNet 的圖像去模糊效果進行主觀分析,并將其與其他網(wǎng)絡的圖像去模糊效果進行比較,如圖5 所示,為了充分展示去模糊效果,放大了圖中的細節(jié)。由圖5 可以看出,與其他網(wǎng)絡的去模糊結果相比,T-MIMO-UNet 獲取的去模糊圖像紋理更清晰,視覺效果更好。

        圖5 在GoPro 測試數(shù)據(jù)集上的去模糊效果Fig.5 Deblurring effects on the GoPro test dataset

        為了證明增強前饋網(wǎng)絡中使用深度可分離卷積對于降低網(wǎng)絡模型參數(shù)量的有效性,在T-MIMOUNet 中將深度可分離卷積替換為普通卷積進行性能對比實驗,實驗結果如表4 所示。由表4 可以看出,對于T-MIMO-UNet,在增強前饋網(wǎng)絡中使用傳統(tǒng)卷積時,相比使用深度可分離卷積的網(wǎng)絡模型的PSNR 提升了0.09%,參數(shù)量提升了5.6%。在參數(shù)量上使用深度分離卷積的網(wǎng)絡模型具備較大的優(yōu)勢,滿足部分場景中需要模型規(guī)模小、運行速度快的需求。此外,使用深度分離卷積的網(wǎng)絡模型能夠增加窗口之間特征的局部信息交互。因此,根據(jù)綜合性能和模型參數(shù)量,在T-MIMO-UNet 模型中使用深度可分離卷積。

        表4 深度可分離卷積與普通卷積的性能對比 Table 4 Performance comparison between depthwise separable convolution and ordinary convolution

        為了驗證所設計的EL-TM 的有效性,并驗證所使用EL-TM 中EL-TL 數(shù)量的最優(yōu)選擇,針對EL-TM中EL-TL 數(shù)量在GoPro 測試數(shù)據(jù)集上進行消融實驗,實驗結果如表5 所示。當EL-TL 數(shù)量為0 時表示沒有使用本文提出的EL-TM 時的網(wǎng)絡模型性能,由表5 可以看出,加入了EL-TM 的網(wǎng)絡模型相比未加入EL-TM 的網(wǎng)絡模型在性能上有了明顯的提升,且隨著EL-TL 數(shù)量的增加性能逐漸提升。但在EL-TL數(shù)量大于12 后,由于網(wǎng)絡模型的復雜度提升,在本文設定的硬件條件下難以進行訓練,因此選擇ELTL 數(shù)量為12 與CNN 結合作為最終模型。需要說明的是:若硬件條件允許,則可繼續(xù)增加網(wǎng)絡模型中的EL-TL 數(shù)量,從而取得更好的PSNR 和SSIM 性能。

        表5 在GoPro 測試數(shù)據(jù)集上的EL-TM 消融實驗結果 Table 5 Ablation experimental results of EL-TM on the GoPro test dataset

        3 結束語

        本文提出一個新的去模糊網(wǎng)絡T-MIMOUNet,將Transformer 整合到基于CNN 的UNet,實現(xiàn)動態(tài)場景下的單圖像盲去模糊,不僅繼承了CNN 在建模局部上下文信息方面的優(yōu)勢,而且還利用了Transformer 學習全局語義相關性。在GoPro 和RealBlur 測試數(shù)據(jù)集上的實驗結果驗證了T-MIMO-UNet 的有效性。后續(xù)將繼續(xù)對視覺Transformer 進行研究,探索結合多尺度CNN 與視覺Transformer 的網(wǎng)絡模型,進一步提升其在動態(tài)場景下的去模糊性能。

        猜你喜歡
        特征融合模型
        一半模型
        村企黨建聯(lián)建融合共贏
        融合菜
        從創(chuàng)新出發(fā),與高考數(shù)列相遇、融合
        重要模型『一線三等角』
        《融合》
        重尾非線性自回歸模型自加權M-估計的漸近分布
        如何表達“特征”
        不忠誠的四個特征
        當代陜西(2019年10期)2019-06-03 10:12:04
        抓住特征巧觀察
        91在线区啪国自产网页| 真人做爰片免费观看播放| 亚洲欧美日韩中文无线码| 精品人伦一区二区三区蜜桃麻豆| 亚洲av乱码国产精品观看麻豆| 亚洲一区二区三区,日本| 国产成人a人亚洲精品无码| 日韩爱爱网站| 久久精品av一区二区免费| 美腿丝袜在线一区二区| 国产三级精品三级在线观看| 一区二区无码中出| 97超碰国产一区二区三区| 国精产品一区一区三区| 青青久在线视频免费观看| 亚洲高清有码在线观看| 亚洲成人av一区二区| 深夜福利啪啪片| 久久久无码一区二区三区| 一区二区三无码| 91亚洲国产成人精品一区.| 无码欧美毛片一区二区三| 欧美激情二区| 小草手机视频在线观看| 午夜人妻久久久久久久久| 国产白丝无码视频在线观看| 亚洲三级在线播放| 久久精品免费视频亚洲| 亚洲av片在线观看| 欧美日韩国产综合aⅴ| 国产精品日本中文在线| 国产在线无码不卡影视影院| 亚洲av无码av吞精久久| 亚洲日本VA午夜在线电影| 国产成人亚洲一区二区| 精品水蜜桃久久久久久久| 国产av一区二区三区区别| 丝袜av乱码字幕三级人妻| 亚洲熟妇少妇任你躁在线观看无码| 亚洲欧美日韩综合在线观看| 亚洲中文字幕国产剧情|