亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種基于注意機(jī)制的金字塔去雨網(wǎng)絡(luò)研究

        2021-08-05 11:47:16柴國(guó)強(qiáng)王召巴丁長(zhǎng)明肖劍平
        關(guān)鍵詞:局域條紋卷積

        柴國(guó)強(qiáng),王召巴,丁長(zhǎng)明,肖劍平,蘆 賓

        (1. 中北大學(xué) 信息與通信工程學(xué)院,山西 太原 030051; 2. 山西師范大學(xué) 物理與信息工程學(xué)院,山西 臨汾 041000;3. 上海杰普軟件科技有限公司,上海 200436; 4. 深圳市捷易檢測(cè)服務(wù)有限責(zé)任公司,廣東 深圳 518040)

        0 引 言

        下雨是生活中常見(jiàn)的自然現(xiàn)象,往往會(huì)造成視線模糊和能見(jiàn)度下降,從而對(duì)基于干凈圖像的目標(biāo)跟蹤、交通路標(biāo)識(shí)別、室外監(jiān)控等計(jì)算機(jī)視覺(jué)算法帶來(lái)負(fù)面影響[1-3]. 為了保證各種算法在不同條件下的有效性,需要對(duì)雨圖像預(yù)先進(jìn)行去雨處理. 因此,圖像去雨吸引了廣大學(xué)者的研究,并且取得了一定成果. 根據(jù)處理對(duì)象的不同,去雨方法主要可以分為兩類: 基于視頻的去雨方法和基于單幅圖像的去雨方法. 基于視頻的方法可以充分利用連續(xù)圖像中雨條紋的時(shí)空特性,根據(jù)這些特性分析雨條紋與背景圖像的差異從而將其去除. 與之對(duì)應(yīng),基于單幅圖像的方法因無(wú)法獲取時(shí)空信息,更加具有挑戰(zhàn)性.

        單幅圖像去雨根據(jù)是否使用數(shù)據(jù)集進(jìn)行訓(xùn)練分為傳統(tǒng)方法和深度學(xué)習(xí)方法. 傳統(tǒng)方法中,Luo等[4]利用稀疏編碼,通過(guò)字典學(xué)習(xí)來(lái)分離雨條紋和背景圖像; Kang等[5]利用雙邊濾波器將雨圖分解為低頻和高頻分量進(jìn)行去雨; Wang等[6]定義了一個(gè)3層的分層方案來(lái)檢測(cè)和去除單個(gè)圖像中的雨或雪. 深度學(xué)習(xí)算法中; Zhang等[7]提出了一種同時(shí)執(zhí)行單圖像超分辨率和雨水去除的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu); Xia等[8]提出了一種簡(jiǎn)化的殘差稠密網(wǎng)絡(luò)來(lái)學(xué)習(xí)雨圖像和相應(yīng)干凈圖像之間的殘差; Yang等[9]設(shè)計(jì)了一個(gè)遞歸小波學(xué)習(xí)網(wǎng)絡(luò)來(lái)去除無(wú)標(biāo)度雨帶; Zhang等[10]利用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行去雨,同時(shí)利用感知損失提升去雨效果. 盡管現(xiàn)有方法在去雨方面取得了不錯(cuò)進(jìn)展,但是,就去雨質(zhì)量方面仍然有較大提升空間. 本文提出一種基于金字塔模型的注意力網(wǎng)絡(luò)進(jìn)行去雨,在去除雨條紋的同時(shí)保證了背景紋理的恢復(fù).

        1 網(wǎng)絡(luò)結(jié)構(gòu)

        1.1 對(duì)稱金字塔結(jié)構(gòu)

        圖像金字塔是圖像多尺度的一種表達(dá)形式,使用不同分辨率來(lái)聚合圖像特征. 隨著金子塔的遞進(jìn),圖像分辨率逐漸降低,圖像尺度越小. 對(duì)于高維度的問(wèn)題,如圖像分類,則只需將圖像一直降采樣即可. 對(duì)于低維度問(wèn)題,如生成超分辨率圖像以及本文所處理的圖像去雨,還需將低分辨率的圖像上采樣到原始尺寸或者更大.

        本文采用基于圖 1 所示的網(wǎng)絡(luò)進(jìn)行去雨,預(yù)處理卷積層將3維雨圖像提升至128維,非局域卷積模塊有助于提升網(wǎng)絡(luò)的長(zhǎng)期記憶能力,雨條紋檢測(cè)網(wǎng)絡(luò)用來(lái)確定降雨區(qū)域,使后續(xù)模塊對(duì)于雨條紋區(qū)域給予有意識(shí)的關(guān)注. 對(duì)稱金字塔中前一部分對(duì)圖像下采樣,生成各種尺寸的特征圖,后一部分對(duì)圖像進(jìn)行上采樣,將圖像尺寸逐漸恢復(fù)至原始尺寸. 在降采樣和上采用過(guò)程中,相同尺寸的特征圖通過(guò)跳線連接,使得低維度特征可以在高維度復(fù)用,在保證細(xì)節(jié)特征傳遞的同時(shí),增強(qiáng)網(wǎng)絡(luò)的穩(wěn)定性.

        圖 1 基于注意機(jī)制的金字塔去雨網(wǎng)絡(luò)結(jié)構(gòu)

        1.2 雨條紋檢測(cè)網(wǎng)絡(luò)

        為了使網(wǎng)絡(luò)可以將更多的關(guān)注放在雨條紋區(qū)域,本文設(shè)計(jì)了一個(gè)具有不同擴(kuò)張因子空洞卷積的多通道網(wǎng)絡(luò)進(jìn)行雨條紋檢測(cè). 如圖 2 所示,檢測(cè)網(wǎng)絡(luò)共有3個(gè)卷積通道,每個(gè)通道卷積核具有不同擴(kuò)張因子,最后通過(guò)一個(gè)卷積層實(shí)現(xiàn)特征聚合. 通過(guò)不同的擴(kuò)張因子,在不損失分辨率的情況下增加其感受野,捕獲多尺度上下文信息. 其中每個(gè)通道的卷積核尺寸均為3×3,卷積擴(kuò)張因子分別為1、3、5.

        圖 2 雨條紋檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

        為了更好地利用卷積層之間的相互依賴關(guān)系,在每個(gè)通道的末端應(yīng)用了擠壓激勵(lì)網(wǎng)絡(luò)(SeNet)[11]. 與傳統(tǒng)的只考慮空間信息的卷積相比,SeNet通過(guò)對(duì)信道分配不同的權(quán)值來(lái)融合空間信息和信道信息. SeNet主要有擠壓和激勵(lì)兩步組成,在擠壓操作中,在保證通道數(shù)量不變的前提下利用全局池化對(duì)特征圖進(jìn)行壓縮,每個(gè)特征圖用一個(gè)權(quán)值表征; 在激勵(lì)操作中,通過(guò)全連接對(duì)擠壓操作的結(jié)果進(jìn)行處理得到每個(gè)通道的權(quán)重,將權(quán)重與對(duì)應(yīng)通道進(jìn)行相乘實(shí)現(xiàn)特征的重標(biāo)定. SeNet將通道信息融入每個(gè)特征圖,提高網(wǎng)絡(luò)的表征能力.

        為了得到雨條紋檢測(cè)網(wǎng)絡(luò)的監(jiān)督信息,將雨圖像與背景圖像相減,然后將得到的結(jié)果做二值化處理,其中1代表有雨區(qū)域,0代表無(wú)雨區(qū)域,最后將此二值化結(jié)果作為注意圖網(wǎng)絡(luò)的監(jiān)督信息,這樣就可以使注意圖網(wǎng)絡(luò)檢測(cè)出雨條紋,從而指導(dǎo)網(wǎng)絡(luò)將更多注意力放在降雨區(qū)域.圖 3 為雨圖像、背景圖像和利用檢測(cè)網(wǎng)絡(luò)識(shí)別出的降雨區(qū)域,從檢測(cè)結(jié)果中可以看出,檢測(cè)網(wǎng)絡(luò)幾乎識(shí)別出所有雨條紋區(qū)域.

        圖 3 雨條紋檢測(cè)網(wǎng)絡(luò)結(jié)果Fig.3 Result of rain streaks detection network

        1.3 非局域卷積模塊

        非局域神經(jīng)網(wǎng)絡(luò)具有出色的捕捉圖像長(zhǎng)時(shí)記憶的能力,對(duì)高維度計(jì)算機(jī)視覺(jué)任務(wù)非常有用[12]. 在嵌入式空間中,應(yīng)用擴(kuò)展高斯函數(shù)來(lái)計(jì)算相似度[12],非局域運(yùn)算可以表述為

        (1)

        式中:X為前面特征層的輸出結(jié)果;F(1)(·)為核大小為1×1的帶激活函數(shù)的卷積層; T為矩陣的轉(zhuǎn)置.利用卷積實(shí)現(xiàn)非局域操作的網(wǎng)絡(luò)結(jié)構(gòu)如圖 4 所示,其中f表示softmax激活函數(shù).

        圖 4 非局域卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

        傳統(tǒng)的全局級(jí)非局域操作可能會(huì)導(dǎo)致不可接受的計(jì)算負(fù)擔(dān),特別是當(dāng)一個(gè)特征映射的尺寸較大時(shí). 此外,文獻(xiàn)[13]證明了具有適當(dāng)鄰域大小的非局域操作對(duì)于圖像去噪、超分辨率生成等低維度任務(wù)更有優(yōu)勢(shì). 因此,在本文處理中,非局域操作是分區(qū)域進(jìn)行的. 首先將輸入特征映射到一個(gè)網(wǎng)格的區(qū)域(如圖 4 所示,輸入特性映射分為4個(gè)大小相同分區(qū)),然后在各個(gè)局域上進(jìn)行處理,最后將特征進(jìn)行合并.

        1.4 目標(biāo)函數(shù)

        本文結(jié)合圖像目標(biāo)函數(shù)、感知目標(biāo)函數(shù)、結(jié)構(gòu)相似目標(biāo)函數(shù)以及注意圖目標(biāo)函數(shù)來(lái)確保生成圖像既可以去除雨條紋,又可以符合人類感知. 其中圖像目標(biāo)函數(shù)衡量去雨圖像和背景圖像每個(gè)像素之間的絕對(duì)誤差,是一種低維度的像素級(jí)目標(biāo)函數(shù),其定義為

        L1=LMSE(G(x)-y),

        (2)

        式中:x為雨圖像;G(x)為網(wǎng)絡(luò)去雨圖像;y為背景圖. 感知目標(biāo)函數(shù)衡量?jī)烧咴诟呔S度特征圖的差異,在高分辨率圖像重構(gòu)、目標(biāo)分類具有廣泛應(yīng)用. 本文采用在ImageNet上預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)分別對(duì)去雨圖像和背景圖像進(jìn)行高維特征提取,感知目標(biāo)函定義為

        (3)

        式中:VGGi為通過(guò)VGG16提取的第i層特征. 結(jié)構(gòu)相似目標(biāo)函數(shù)綜合亮度、對(duì)比度和結(jié)構(gòu)來(lái)衡量?jī)煞鶊D像差異,其定義為

        LSSIM=1-SSIM(G(x),y),

        (4)

        式中:SSIM為結(jié)構(gòu)相似度指標(biāo),SSIM越高表示兩幅圖像越相似,兩幅完全相同的圖像其SSIM為1.注意圖目標(biāo)函數(shù)用來(lái)訓(xùn)練雨條紋檢測(cè)網(wǎng)絡(luò),其定義為

        Latt=LMSE(MAAM(x)-M(x)),

        (5)

        式中:MAAM(x)為雨條紋檢測(cè)網(wǎng)絡(luò)的輸出;M(x)為二值雨條紋圖像. 總體目標(biāo)函數(shù)為

        L=L1+Lssim+Lper+Latt.

        (6)

        2 訓(xùn)練細(xì)節(jié)及結(jié)果分析

        2.1 訓(xùn)練細(xì)節(jié)

        由于光照、大氣散射等不確定性因素,無(wú)法獲取降雨圖像與其對(duì)應(yīng)的背景圖像,本文利用文獻(xiàn)[14]中提供的兩組數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練,其中Rain100L包含200組訓(xùn)練圖像對(duì)和100組測(cè)試圖像對(duì),每張雨圖像包含1種雨條紋,Rain100H包含1 800組訓(xùn)練圖像對(duì)和100組測(cè)試圖像對(duì),每張雨圖像包含5種雨條紋.

        本文利用深度學(xué)習(xí)框架Pytorch作為網(wǎng)絡(luò)搭建工具,使用ADAM優(yōu)化器來(lái)訓(xùn)練模型,并且將其參數(shù)分別設(shè)置為0.9和0.99. 初始化學(xué)習(xí)率為0.001,每訓(xùn)練40個(gè)epoch后學(xué)習(xí)率降低10倍,模型一共訓(xùn)練100個(gè)epoch. 為了對(duì)比不同方法在合成數(shù)據(jù)集上的去雨效果,采用兩種常用的圖像評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行定量分析,即結(jié)構(gòu)相似度(SSIM)和峰值信噪比(PSNR). 將本文算法去雨結(jié)果與基于傳統(tǒng)優(yōu)化算法的DSC[4]和兩種基于深度學(xué)習(xí)的算法JORDER[14]和SPANet[15]進(jìn)行了對(duì)比.

        2.2 結(jié)果分析

        表 1 列出了不同方法在訓(xùn)練數(shù)據(jù)集上去雨效果的定量比較結(jié)果. 可以看出,本文方法在Rain100H和Rain100L兩個(gè)數(shù)據(jù)集上都取得了最好結(jié)果,與其他方法相比,優(yōu)勢(shì)較大,驗(yàn)證了本文方法有效性.

        表 1 不同方法去雨效果定量比較Tab.1 The quantitative comparison of different deraining methods

        圖 5 為不同方法去雨效果的可視化結(jié)果. 為了說(shuō)明本文算法的有效性,選擇情況較為復(fù)雜的雨圖像. 從圖中可以看出,基于傳統(tǒng)優(yōu)化的DSC幾乎無(wú)法去除雨條紋,JORDER和SPANet雖然去除了大部分雨條紋,但是有很多偽影的產(chǎn)生. 與其他方法相比,本文方法在去除雨條紋的同時(shí)更好地保留了背景信息.

        圖 5 不同方法去雨效果可視化對(duì)比Fig.5 The visual comparison of different deraining methods

        3 結(jié)束語(yǔ)

        本文提出一種基于注意機(jī)制的金字塔去雨網(wǎng)絡(luò),是一種以降雨圖像為輸入,去雨圖像為輸出的端到端的深度學(xué)習(xí)網(wǎng)絡(luò). 該網(wǎng)絡(luò)以金字塔結(jié)構(gòu)為主體,首先采用非局域神經(jīng)網(wǎng)絡(luò)增強(qiáng)圖像的長(zhǎng)時(shí)記憶; 然后利用多通道的聚合技術(shù)和擠壓激勵(lì)網(wǎng)絡(luò)檢測(cè)雨條紋,其中不同通道采用不同的卷積擴(kuò)張因子擴(kuò)大網(wǎng)絡(luò)的感受野,擠壓激勵(lì)網(wǎng)絡(luò)的使用進(jìn)一步提高了網(wǎng)絡(luò)表征能力,生成的注意圖可以使后續(xù)網(wǎng)絡(luò)給予雨條紋區(qū)域有意識(shí)關(guān)注; 最后通過(guò)對(duì)稱的金字塔網(wǎng)絡(luò)完成雨條紋的去除. 與現(xiàn)有方法相比,本文方法在峰值信噪比和結(jié)構(gòu)相似度都取得更好結(jié)果,去雨結(jié)果的可視化對(duì)比也驗(yàn)證了本文算法的有效性.

        猜你喜歡
        局域條紋卷積
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        誰(shuí)是窮橫條紋衣服的人
        小福爾摩斯(2019年2期)2019-09-10 07:22:44
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        別急!丟了條紋的斑馬(上)
        別急!丟了條紋的斑馬(下)
        局域積分散列最近鄰查找算法
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        PET成像的高分辨率快速局域重建算法的建立
        基于局域波法和LSSVM的短期負(fù)荷預(yù)測(cè)
        基于非正交變換的局域波束空時(shí)自適應(yīng)處理
        亚洲高清中文字幕视频| 亚洲va在线va天堂va四虎| 中文字幕一区二区va| 国产一区亚洲二区三区极品| 又粗又硬又大又爽免费视频播放| 天堂а√在线最新版中文| 红杏性无码免费专区| 国产精品自拍视频在线| 国产在线精品一区二区三区| 精品久久久久久777米琪桃花| 亚洲精品成人网线在线播放va| 美女把内衣内裤脱了给男人舔| 日韩 亚洲 制服 欧美 综合 | 久久精品国产第一区二区三区| 思思99热| 亚洲av天堂在线免费观看| 国产精品永久久久久久久久久| 三上悠亚久久精品| 日本国产一区二区三区在线观看| 人妖啪啪综合av一区| 妺妺窝人体色www聚色窝仙踪| 手机看片久久国产免费| 女同国产日韩精品在线| 一区二区三区人妻少妇| 8av国产精品爽爽ⅴa在线观看| 亚洲欧美日韩中文字幕网址| 国产一区二区不卡av| 久久精品国产亚洲av麻豆图片| 亚洲综合色丁香婷婷六月图片| 欧美操逼视频| 99国产精品丝袜久久久久| 亚洲综合新区一区二区| 粉嫩av国产一区二区三区| 97久久精品人人做人人爽| 无码三级国产三级在线电影| 九九久久精品国产免费av| 亚洲色成人网站www永久四虎| 久久久AV无码精品免费| 青青操视频手机在线免费观看| 免费人成年激情视频在线观看| 国产最新网站|