亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于改進(jìn)注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)圖像修復(fù)研究

        2022-06-23 09:18:02張劍飛夏萬(wàn)貴
        關(guān)鍵詞:紋理注意力語(yǔ)義

        張劍飛,張 灑,夏萬(wàn)貴

        (黑龍江科技大學(xué) 計(jì)算機(jī)與信息工程學(xué)院,哈爾濱 150022)

        0 引言

        圖像修復(fù)是利用破損圖像和訓(xùn)練圖像,獲取數(shù)據(jù)中的結(jié)構(gòu)紋理信息,將破損圖像進(jìn)行填充。近年來(lái)被廣泛地應(yīng)用于諸多專(zhuān)業(yè)技術(shù)領(lǐng)域,目前已成為智能圖像處理、神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺(jué)等方面的研究熱點(diǎn)。傳統(tǒng)圖像修復(fù)方法主要有基于紋理和基于樣本塊,經(jīng)典模型有基于偏微分方程的BSCB模型、填充的Criminisi算法模型等。但這些方法大多存在缺少高級(jí)語(yǔ)義信息且與原圖結(jié)構(gòu)相似度不高等問(wèn)題。近年來(lái),深度學(xué)習(xí)的圖像修復(fù)方法取得了許多突破性進(jìn)展,Goodfollow 的上下文自動(dòng)編碼器(Content Encoder,CE),首次將生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)應(yīng)用于圖像修復(fù),對(duì)圖像上下文語(yǔ)義信息做出預(yù)測(cè),但修復(fù)的圖像存在明顯偽影。為了更好地獲取高級(jí)語(yǔ)義信息,在全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Network,F(xiàn)CN)式的特征值逐點(diǎn)相加的基礎(chǔ)上,出現(xiàn)了使用U-Net網(wǎng)絡(luò),Yan 等人在U-Net 的解碼器中添加了一個(gè)轉(zhuǎn)移連接層、即網(wǎng)絡(luò)為Shift-Net,有效地結(jié)合圖像中相隔較遠(yuǎn)的特征進(jìn)行圖像修復(fù),但當(dāng)破損孔洞過(guò)大時(shí),存在細(xì)節(jié)紋理不清晰的問(wèn)題。Hu 等人提出了擠壓和激勵(lì)網(wǎng)絡(luò)(Squeeze-and-Excitation Network,SENet),擴(kuò)大感受野,將重要的特征進(jìn)行強(qiáng)化來(lái)提高準(zhǔn)確率權(quán)重。

        針對(duì)目前圖像修復(fù)中存在語(yǔ)義不連貫、紋理不清晰的現(xiàn)象,本文構(gòu)建了一個(gè)以U-Net 為基礎(chǔ)模型添加轉(zhuǎn)移連接層和改進(jìn)的通道注意進(jìn)行精細(xì)修復(fù)的圖像修復(fù)方法,旨在獲得具有高級(jí)語(yǔ)義和清晰紋理的修復(fù)圖像。

        1 基于改進(jìn)注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)圖像修復(fù)

        注意力機(jī)制分為空間注意力(Spatial attention,SA)和通道注意力(Channel attention,CA),2 種注意力機(jī)制對(duì)于資源分配的級(jí)別不一樣。SA 定位感興趣區(qū)域進(jìn)行變換獲取權(quán)重,而CA 則是在于分配各個(gè)卷積通道之間的資源,兩者對(duì)于不同部分均有側(cè)重,為了結(jié)合兩者優(yōu)點(diǎn),本文使用了空間注意力與通道注意力結(jié)合的注意力機(jī)制,空間上采用轉(zhuǎn)移連接層,改變了原本修復(fù)只能從破損圖片周?chē)c(diǎn)像素進(jìn)行補(bǔ)全,跨越空間限制,尋找與之最相似的點(diǎn)。通道上采用改進(jìn)的SE block,首先通過(guò)對(duì)資源分配不同比重,然后專(zhuān)注于圖像的待修復(fù)區(qū)域,借助于通道和空間注意力的結(jié)合,更好獲取圖像全局和局部特征。

        1.1 模型框架

        為了使圖像修復(fù)結(jié)果具有更好的語(yǔ)義表達(dá)和更精細(xì)的結(jié)構(gòu)紋理,本文提出了基于改進(jìn)注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)兩階段圖像修復(fù)方法。網(wǎng)絡(luò)整體采用2 階段修復(fù),生成器以U-Net 網(wǎng)絡(luò)架構(gòu)為基礎(chǔ),編碼器、解碼器都采用步長(zhǎng)為2、4×4 的卷積。為充分學(xué)習(xí)圖像特征,提高編碼器中特征的利用率,在編碼階段引入多尺度卷積與通道注意力結(jié)合,進(jìn)行通道特征權(quán)重的重新標(biāo)定,同時(shí)為了克服長(zhǎng)距離對(duì)于信息的依賴(lài),將第層和第層之間通過(guò)跳躍連接后再傳遞給下一層,對(duì)圖像進(jìn)行空間特征的重排,保持圖像信息的連貫性。至此得到修復(fù)粗糙圖像,同時(shí)計(jì)算重建損失函數(shù)和指導(dǎo)損失函數(shù)。將粗糙網(wǎng)絡(luò)修復(fù)的圖像和真實(shí)圖片輸入VGG16 網(wǎng)絡(luò)中進(jìn)行特征提取分析,然后通過(guò)鑒別器DCGAN 鑒定圖像的真假,若為假,給生成器反饋重新進(jìn)行圖像修復(fù),通過(guò)設(shè)置學(xué)習(xí)率、迭代次數(shù)和損失函數(shù)來(lái)約束生成器不斷重復(fù)進(jìn)行圖像學(xué)習(xí),直至鑒別器無(wú)法確認(rèn)生成器輸入圖像的真假,即完成了圖像修復(fù)過(guò)程。本文的網(wǎng)絡(luò)模型框架如圖1 所示。

        圖1 本文的網(wǎng)絡(luò)模型框架Fig.1 The network model framework of this paper

        1.2 改進(jìn)SE block 模型

        為了增加在不同尺度卷積得到的特征,同時(shí)不增加參數(shù)數(shù)量,減少計(jì)算時(shí)間,所以在原來(lái)SE block的基礎(chǔ)上同時(shí)進(jìn)行卷積和擴(kuò)張卷積,用大小為3、5、7 的卷積核,但使用2 個(gè)3×3 的卷積核來(lái)模擬5×5的卷積核,用3 個(gè)3×3 的卷積核來(lái)模擬7×7 的卷積核。為了擴(kuò)大感受野,增加特征圖的均衡性,采用膨脹卷積,卷積采用膨脹系數(shù)為2、步長(zhǎng)為2、同樣用2個(gè)3×3 的膨脹卷積來(lái)模擬5×5 的膨脹卷積,2 個(gè)3×3 的膨脹卷積來(lái)模擬7×7 的膨脹卷積,對(duì)于不同尺度卷積結(jié)果級(jí)連。同時(shí)為了增加特征的全局和局部一致性,對(duì)圖像進(jìn)行3×3、5×5、7×7 的卷積,這里的3×3、5×5、7×7 的膨脹卷積,通過(guò)函數(shù)分別得到不同局部之間的關(guān)系為:,,,,,。與此同時(shí),為了得到圖像特征之間更加均衡有效的依賴(lài)關(guān)系,通過(guò)左側(cè)基礎(chǔ)SE block 進(jìn)行通道注意力操作,并從全局池化Global Average Pooling 中得到通道特征Z,過(guò)程可以表示為:

        通過(guò)上述過(guò)程得到新特征圖F,則此過(guò)程可以表示為:

        其中,(·)指激活函數(shù),σ(·)指激活函數(shù)。與右側(cè)多尺度卷積結(jié)合得到關(guān)系,此過(guò)程可以表示為:

        其中,“?”是張量積,(·)為合并連接。融合的特征圖進(jìn)行運(yùn)算,特征權(quán)重進(jìn)行重新標(biāo)定,最終完成了通道資源的分配,通過(guò)跳躍連接將原始圖和進(jìn)行連接,則圖像可以表示為:

        其中,是圖像的比例縮放運(yùn)算、即,“⊕”是通道連接。至此,通過(guò)對(duì)通道上像素點(diǎn)的權(quán)重重新標(biāo)定和不同尺度得到特征結(jié)合,完成這一階段圖像修復(fù)得到。原始的SE block 使用作為激活函數(shù),但是當(dāng)輸入值為負(fù)值時(shí),會(huì)導(dǎo)致神經(jīng)元不再學(xué)習(xí),且訓(xùn)練速度較慢,因此,在改進(jìn)的結(jié)構(gòu)中使用作為激活函數(shù)。改進(jìn)SE block 的模型圖,如圖2 所示。

        圖2 改進(jìn)的SE block 模型圖Fig.2 Improved SE block model

        1.3 改進(jìn)損失函數(shù)

        為了使修復(fù)后圖像與原圖像在風(fēng)格上統(tǒng)一,紋理細(xì)節(jié)更清晰,在原本損失函數(shù)的基礎(chǔ)上加入指導(dǎo)損失函數(shù)和風(fēng)格損失函數(shù)。圖像修復(fù)的基本損失函數(shù)有重建損失函數(shù)和對(duì)抗損失函數(shù)。這里的重建損失函數(shù)表示為:

        其中,是特征向量;是網(wǎng)絡(luò)的第層;是需要學(xué)習(xí)的模型參數(shù);I是真實(shí)圖像。

        對(duì)抗損失函數(shù)表示為:

        其中,是生成器;是鑒別器; I指真實(shí)圖像;是特征向量;是網(wǎng)絡(luò)的第層;是需要學(xué)習(xí)的模型參數(shù);pI)是真實(shí)圖像的分布; pI)是破損圖像的分布。由于引入了轉(zhuǎn)移連接層,則加入指導(dǎo)損失函數(shù),指導(dǎo)損失函數(shù)表示為:

        其中,是缺失區(qū)域;是圖像全部區(qū)域;Φ是層特征圖;Φ是層特征圖;是破損圖片;I是真實(shí)圖像。進(jìn)行圖像訓(xùn)練時(shí)需要尋找某類(lèi)圖片的風(fēng)格,便于圖像修復(fù)。

        進(jìn)一步地,研究推得的風(fēng)格損失函可寫(xiě)為:

        最終將多種損失函數(shù)結(jié)合起來(lái)作為整體損失函數(shù),定義為:

        其中,1 為重構(gòu)損失;L為對(duì)抗損失;L為指導(dǎo)損失;L為風(fēng)格損失; λ,λ,λ,λ分別為各損失函數(shù)的參數(shù);參數(shù)初始化時(shí), λ=1,λ=0002,λ=001, λ=10。

        2 實(shí)驗(yàn)結(jié)果與分析

        2.1 數(shù)據(jù)集及環(huán)境配置

        本文采用了2 種國(guó)際標(biāo)準(zhǔn)數(shù)據(jù)集,即Celeb A人臉數(shù)據(jù)集和Places2 場(chǎng)景數(shù)據(jù)集。其中,Celeb A的每張人臉數(shù)據(jù)都進(jìn)行了特征標(biāo)注,Places2 數(shù)據(jù)集中含有400 多個(gè)場(chǎng)景,可以滿(mǎn)足對(duì)于數(shù)據(jù)多樣性的需求。本文的運(yùn)行設(shè)備為:中央處理器是Intel 10th i7,顯卡是GPU GeForce GTX 1650Ti。文中的運(yùn)行環(huán)境使用Pytorch+Tensflow1.4 框架,搭配Python 的多個(gè)庫(kù)進(jìn)行實(shí)驗(yàn)驗(yàn)證與分析。

        數(shù)據(jù)的預(yù)處理過(guò)程:任意尺寸的圖像輸入,經(jīng)過(guò)預(yù)處理,將圖像裁剪成分辨率為256×256 的統(tǒng)一圖像大小。將輸入圖像分別與掩碼和隨機(jī)掩碼進(jìn)行結(jié)合,模擬破損圖像。

        2.2 評(píng)價(jià)指標(biāo)

        圖像修復(fù)處理的過(guò)程中,評(píng)價(jià)圖像修復(fù)質(zhì)量有2 個(gè)指標(biāo):峰值信噪比(Peak Signal to Noise Ratio,)和結(jié)構(gòu)相似性(Structural Similarity,)。其中,通常用于描述各種形式的信號(hào)的質(zhì)量屬性,值越大,說(shuō)明圖像信號(hào)質(zhì)量越高??捎扇缦鹿接?jì)算求得:

        其中,指圖像點(diǎn)顏色的最大值,為均方差。設(shè)有2 幅的單色圖像、,這里對(duì)的數(shù)學(xué)定義可以表示為:

        其中,(,) 是真實(shí)圖像的像素點(diǎn),(,)是通過(guò)修復(fù)得到圖像的像素點(diǎn)。

        結(jié)構(gòu)相似性()是一種衡量2 幅圖像相似度的指標(biāo),主要通過(guò)亮度、對(duì)比度和結(jié)構(gòu)三方面來(lái)度量圖像之間的相似性。結(jié)構(gòu)相似性的范圍為[0,1],當(dāng)2 幅圖像一模一樣時(shí),的值為1,即當(dāng)值越大,圖像相似性越高。研究推得的數(shù)學(xué)計(jì)算公式為:

        2.3 實(shí)驗(yàn)結(jié)果

        采用2 種不同的數(shù)據(jù)集與中心掩碼模擬受損圖像,通過(guò)對(duì)原始圖像GT、破損圖像、CE 修復(fù)圖像、Shift-Net 修復(fù)圖像和本文提出方法的修復(fù)圖像的有效性進(jìn)行對(duì)比,挑選有代表性的實(shí)驗(yàn)結(jié)果加以對(duì)比說(shuō)明,實(shí)驗(yàn)結(jié)果如圖3 所示。

        圖3 實(shí)驗(yàn)結(jié)果圖Fig.3 Experimental results

        圖3(c)中CE 使用上下文自動(dòng)編碼器的生成對(duì)抗網(wǎng)絡(luò),對(duì)于大面積缺失圖像,修復(fù)結(jié)果容易出現(xiàn)偽影,不能產(chǎn)生復(fù)雜的紋理結(jié)構(gòu),對(duì)于圖像在有些地方有嚴(yán)重失真現(xiàn)象,如圖3(b)所示的第一幅圖像,左、右2 只眼睛瞳孔顏色不一致。觀(guān)察圖3(c)第一幅圖像發(fā)現(xiàn),出現(xiàn)了明顯的偽影、以及鼻子的失真。觀(guān)察圖3(b)的第四幅圖像可知,有明顯的偽影以及缺少細(xì)節(jié)紋理。圖3(d)中,Shift-Net 采用了轉(zhuǎn)移連接層,通過(guò)跳躍連接,使特征圖具有良好的全局性,修復(fù)圖片看起來(lái)更加真實(shí),但是缺少對(duì)于細(xì)節(jié)處理、過(guò)于簡(jiǎn)單,局部有小范圍的偽影,如圖3(d)所示的第一幅圖像,鼻子處有小部分偽影。另見(jiàn)圖3(c)的第四幅圖像可知,整體顏色一致,但是缺少一些內(nèi)容語(yǔ)義,處理簡(jiǎn)單,修復(fù)部分缺少與右側(cè)對(duì)稱(chēng)的窗戶(hù)。本文添加了轉(zhuǎn)移連接層和改進(jìn)的通道注意力,對(duì)于特征權(quán)重重新分配,得到圖像在語(yǔ)義和紋理細(xì)節(jié)上優(yōu)于其他2 種方法。表1 則為在2 種不同數(shù)據(jù)集中,采用中心掩碼的圖像修復(fù),利用評(píng)價(jià)指標(biāo)對(duì)結(jié)果進(jìn)行定量分析。由表1 可知,本文在像素與結(jié)構(gòu)上優(yōu)于其他方法。

        表1 采用中心掩碼不同算法的比較Tab.1 Comparison of different algorithms using center mask

        3 結(jié)束語(yǔ)

        本文以生成對(duì)抗網(wǎng)絡(luò)為基礎(chǔ)框架,對(duì)模型進(jìn)行改進(jìn),生成器采用具有對(duì)稱(chēng)性的U-Net,在此基礎(chǔ)上對(duì)于目前圖像修復(fù)中存在語(yǔ)義不連貫、紋理不清晰的問(wèn)題,引入改進(jìn)的通道注意力,采用了多尺度和更大感受野與SE-block 結(jié)合的方法,進(jìn)行通道特征的調(diào)整,重定特征權(quán)重;其次添加轉(zhuǎn)移連接層,借助于U-Net 的跳躍連接確定破損區(qū)域的最相似點(diǎn)進(jìn)行修復(fù);最后在損失函數(shù)上增加了指導(dǎo)損失函數(shù)和風(fēng)格損失函數(shù),加強(qiáng)已知區(qū)域與破損區(qū)域之間的約束關(guān)系。通過(guò)實(shí)驗(yàn)結(jié)果可知,對(duì)于語(yǔ)義不連貫、紋理不清晰的破損圖像,修復(fù)取得了較好的效果。

        猜你喜歡
        紋理注意力語(yǔ)義
        讓注意力“飛”回來(lái)
        基于BM3D的復(fù)雜紋理區(qū)域圖像去噪
        軟件(2020年3期)2020-04-20 01:45:18
        語(yǔ)言與語(yǔ)義
        使用紋理疊加添加藝術(shù)畫(huà)特效
        TEXTURE ON TEXTURE質(zhì)地上的紋理
        Coco薇(2017年8期)2017-08-03 15:23:38
        “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
        A Beautiful Way Of Looking At Things
        “上”與“下”語(yǔ)義的不對(duì)稱(chēng)性及其認(rèn)知闡釋
        消除凹凸紋理有妙招!
        Coco薇(2015年5期)2016-03-29 23:22:15
        認(rèn)知范疇模糊與語(yǔ)義模糊
        女人被狂躁c到高潮视频| 国产一区二区三区视频了| 丝袜美腿在线播放一区二区| 丰满人妻久久中文字幕| 丝袜美腿亚洲综合在线播放| 国产高清成人在线观看视频| 亚洲综合久久精品无码色欲| 亚洲人成亚洲人成在线观看| 蜜桃在线一区二区三区| 亚洲一区精品在线中文字幕| 女人被狂躁c到高潮| 人妻在卧室被老板疯狂进入国产| 午夜在线观看有码无码| 亚洲一区二区在线观看av| 乱子轮熟睡1区| 7777精品伊人久久久大香线蕉| 亚洲a人片在线观看网址| 女同在线网站免费观看| 胸大美女又黄的网站| 久久这里只精品国产免费10| 人妻无码中文专区久久AV| 精品福利一区二区三区| 一道本久久综合久久鬼色| 国产成人精品日本亚洲专区61| 欧美粗大无套gay| 亚洲中文字幕精品久久久久久直播| 亚洲婷婷久久播66性av| 无码爆乳护士让我爽| 婷婷丁香社区| 国内自拍第一区二区三区| 国产精品亚洲三级一区二区三区 | 网站在线观看视频一区二区| av一区二区三区在线| 婷婷亚洲久悠悠色悠在线播放| 亚洲精品成AV无在线观看| 在线观看亚洲视频一区二区| 亚洲午夜成人精品无码色欲| 久久久噜噜噜久久中文字幕色伊伊 | 末发育娇小性色xxxxx视频| 精品国产高清a毛片| 按摩师玩弄少妇到高潮av|