亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于卷積神經(jīng)網(wǎng)絡(luò)的圖像紋理的超分辨率重建

        2017-11-02 01:24:53雪,韓
        關(guān)鍵詞:低分辨率紋理分辨率

        蔣 雪,韓 芳

        (東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院,上海 201600)

        基于卷積神經(jīng)網(wǎng)絡(luò)的圖像紋理的超分辨率重建

        蔣 雪,韓 芳

        (東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院,上海 201600)

        目前,深度學(xué)習(xí)已經(jīng)在圖像超分辨率重建上表現(xiàn)出不錯(cuò)的性能,但是對(duì)某些紋理細(xì)節(jié)還原度不高。針對(duì)此問題,提出了基于卷積神經(jīng)網(wǎng)絡(luò)的紋理的超分辨率重建算法。首先用梯度算子提取圖像的紋理特征,再將圖像按照紋理進(jìn)行分類,最后用卷積神經(jīng)網(wǎng)絡(luò)對(duì)同一類別的樣本集進(jìn)行超分辨率重建。實(shí)驗(yàn)證明,該算法能夠恢復(fù)一定的紋理信息,而且對(duì)同類紋理的重建結(jié)果優(yōu)于已有算法。

        圖像處理;卷積神經(jīng)網(wǎng)絡(luò);超分辨率重建;紋理特征

        0 引言

        超分辨率圖像重建(Super-Resolution Image Reconstruction,SRIR或SR)就是圖像復(fù)原的一種,它通過信號(hào)處理或者圖像處理的方法,將低分辨率(Low-Resolution,LR)圖像或序列轉(zhuǎn)化為高分辨率(High-Resolution,HR)圖像。圖像分辨率是指單位英寸中所包含的像素點(diǎn)數(shù),是評(píng)判圖像質(zhì)量的一個(gè)重要指標(biāo)。所以較高分辨率的圖像包含更多的信息,能夠提供更豐富的細(xì)節(jié)。

        圖像成像的基本理念是通過圖像重建模型生成的HR圖像與原本的LR輸入圖像盡可能地一致。最初,Harris和Goodman通過對(duì)單幅圖像進(jìn)行線性插值和樣條函數(shù)插值實(shí)現(xiàn)了單幅圖像超分辨率(Single Image Super-Resolution, SISR)重建。但是圖像插值的方法主要是增強(qiáng)了邊緣信息,而包含的信息量沒有相應(yīng)地提高。

        基于學(xué)習(xí)的單幀超分辨率問題是近年來(lái)研究的一個(gè)熱點(diǎn),又稱為基于樣例(Example-based)的超分辨率。典型的有稀疏表達(dá)[1](Sparse Representation)和機(jī)器學(xué)習(xí)的方法。稀疏表達(dá)是分別訓(xùn)練高分辨率和低分辨率圖像塊字典(過完備基),使得任意的圖像塊都能用此字典線性稀疏地表達(dá),并且同一個(gè)圖像塊對(duì)應(yīng)的低分辨率和高分辨率字典的線性表達(dá)式一致。機(jī)器學(xué)習(xí)的方法是通過訓(xùn)練大量的樣本對(duì),建立高低分辨率圖像之間的映射關(guān)系。例如,F(xiàn)REEMAN W T[2]的馬爾科夫隨機(jī)場(chǎng)(Markov Random Field, MRF)以及Dong Chao[3]等人的超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Super-Resolution Convolutional Neural Network,SRCNN)。

        1 本文算法

        目前,基于樣例的超分辨率算法都是以各種類型的圖像作為樣例,例如稀疏表達(dá)的方法是希望建立一個(gè)完備的字典,任意的低分辨率圖像都能通過此字典進(jìn)行線性的表達(dá)而得到高分辨率圖像?;诰矸e神經(jīng)網(wǎng)絡(luò)的算法也是將各種類型的圖像作為樣本集,希望任何圖像都能通過此網(wǎng)絡(luò)得到超分辨率重建。然而,實(shí)際情況是此類算法只能對(duì)圖像進(jìn)行一定程度的還原,或者說(shuō)只能恢復(fù)某些圖像塊。

        通過對(duì)超分辨率重建算法的研究發(fā)現(xiàn),大部分模型對(duì)邊緣的識(shí)別度高,能夠恢復(fù)一定的邊緣信息,但是對(duì)紋理豐富的圖像塊的還原度較差。例如,有連續(xù)邊緣的圖像、邊緣不平滑的圖像等。再對(duì)這些圖像塊做進(jìn)一步研究,發(fā)現(xiàn)具有同樣紋理特征的HR,其對(duì)應(yīng)的LR的恢復(fù)偏差也類似。如圖1所示,圖1(a)是原圖,圖1(b)是用卷積神經(jīng)網(wǎng)絡(luò)重建的HR,圖1(c)是兩圖的恢復(fù)偏差?;疑南袼攸c(diǎn)表示兩圖的像素值基本相等,白色表示重建的像素值偏亮,黑色相反。從圖1可以發(fā)現(xiàn)恢復(fù)偏差圖像具有明暗線條相間的特征,而且有一部分圖像的恢復(fù)偏差都具有此特征。假設(shè)具有相同恢復(fù)偏差的圖像塊也具有相同的從低分辨率到高分辨率的映射關(guān)系。因此,本文的算法是針對(duì)具有相同紋理特征的圖像進(jìn)行超分辨率重建,訓(xùn)練出的模型只還原此類紋理特征。

        圖1 用卷積神經(jīng)網(wǎng)絡(luò)重建后與原始圖像的偏差

        本文的算法主要分為兩個(gè)步驟:先對(duì)圖像樣本進(jìn)行紋理分類,再用卷積神經(jīng)網(wǎng)絡(luò)對(duì)同種類型的樣本進(jìn)行訓(xùn)練。

        1.1 紋理分類

        紋理是指圖像中局部或者整體在分布上具有某種規(guī)律的特征現(xiàn)象。紋理特征提取就是用定量化的數(shù)字來(lái)表示這種規(guī)律的特征分布。紋理特征可分為4種類型:統(tǒng)計(jì)型、模型型、信號(hào)處理型和結(jié)構(gòu)型。統(tǒng)計(jì)的方法[4]是基于像元及其鄰域的灰度屬性, 研究像元及其鄰域內(nèi)灰度的一階、二階或高階統(tǒng)計(jì)特性。本文就是采用此類算法,用梯度算子得到圖像的灰度的一階特性,再對(duì)此特性進(jìn)行統(tǒng)計(jì)得到特征表示量。

        梯度算子是圖像處理中經(jīng)常使用的一階導(dǎo)數(shù)方法。用灰度導(dǎo)數(shù)的大小來(lái)表示灰度變化,其計(jì)算公式為:

        (1)

        dx(i,j)=[I(i+1,j)-I(i-1,j)]/2

        (2)

        dy(i,j)=[I(i,j+1)-I(i,j-1)]/2

        (3)

        (4)

        (5)

        1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法

        目前,卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在圖像超分辨率重建上表現(xiàn)出不錯(cuò)的性能,如SRCNN、FSRCNN[5]和VDSR[6]。FSRCNN的網(wǎng)絡(luò)層采用較小的卷積核,輸入采用沒有用插值算法放大的原始低分辨率圖像,通過減小特征圖的大小和需要訓(xùn)練的參數(shù)來(lái)提高網(wǎng)絡(luò)訓(xùn)練的速度。而VDSR是一個(gè)20層的卷積神經(jīng)網(wǎng)絡(luò),通過增加網(wǎng)絡(luò)的層數(shù)來(lái)提高超分辨率模型的性能。

        一般的超分辨率模型都是根據(jù)圖像特征的線性組合得到重構(gòu)圖像HR,但是在經(jīng)過多層的特征提取后,很難保證能完全保留輸入的所有細(xì)節(jié)。于是VDSR里提到用殘差學(xué)習(xí)(Residual-Learning)來(lái)解決這個(gè)問題。由于輸入圖像和輸出圖像很大程度上相似,因此將輸出圖像與輸入圖像之差作為殘差圖像。網(wǎng)絡(luò)只需重構(gòu)出殘差圖像,而不用完全恢復(fù)圖像的所有細(xì)節(jié)。實(shí)驗(yàn)證明,用殘差學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò),會(huì)達(dá)到更好的重構(gòu)效果,所以本文也采用了此法。

        圖2 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率模型

        網(wǎng)絡(luò)模型設(shè)定為7層的卷積神經(jīng)網(wǎng)絡(luò),每層的卷積核大小為3,前6層的卷積核數(shù)量為64,最后一層為1,激活函數(shù)采用修正線性單元(Rectified Linear Unit,ReLU),卷積層的表達(dá)式如下:

        (6)

        (7)

        2 實(shí)驗(yàn)結(jié)果及分析

        2.1 實(shí)驗(yàn)設(shè)置

        神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是在caffe上進(jìn)行,GPU為GTX-960,設(shè)定的初始學(xué)習(xí)率為0.000 1,學(xué)習(xí)方法采用隨機(jī)梯度下降法。在訓(xùn)練過程中,若訓(xùn)練測(cè)試集的準(zhǔn)確率在一段時(shí)間內(nèi)沒有下降,將學(xué)習(xí)率下調(diào)50%。最后訓(xùn)練的迭代次數(shù)為850 000,選擇測(cè)試集準(zhǔn)確度最高的模型作為最終模型。

        2.2 實(shí)驗(yàn)結(jié)果與分析

        在實(shí)驗(yàn)結(jié)果中,選取圖像庫(kù)Set5里紋理較為豐富的圖像塊作為測(cè)試集,并與雙三次插值法、SCSR[1]、SRCNN以及VDSR作比較。圖3和圖4表示了當(dāng)放大倍數(shù)為3時(shí)各圖像塊的還原效果以及客觀評(píng)價(jià)指標(biāo)峰信噪比(Peak Signal to Noise Ratio, PSNR)??梢杂^察到,本文算法能夠恢復(fù)一定的紋理細(xì)節(jié),并且對(duì)紋理信息豐富的圖像塊具有更優(yōu)越的復(fù)原效果。

        圖3 選自Set5里baby的圖像塊的超分辨率重建結(jié)果

        圖4 選自Set5里butterfly的圖像塊的超分辨率重建結(jié)果

        PSNR是比較兩個(gè)圖像相似度的評(píng)價(jià)指標(biāo),對(duì)兩個(gè)圖像相同位置的像素值之差進(jìn)行定量計(jì)算,PSNR值越高說(shuō)明恢復(fù)的圖像越接近原圖像。此外,還有一種評(píng)價(jià)圖像相似度的指標(biāo):結(jié)構(gòu)相似性(Structural Similarity, SSIM)。相比PSNR只考慮單個(gè)像素值的誤差,SSIM是從圖像全局出發(fā)來(lái)對(duì)圖像的結(jié)構(gòu)進(jìn)行相似性評(píng)價(jià)。SSIM越高說(shuō)明兩個(gè)圖像的結(jié)構(gòu)越相似。本文采取這兩種評(píng)價(jià)指標(biāo),選取Set5和Set14里紋理較為豐富的圖像塊,進(jìn)一步對(duì)上述5個(gè)算法作比較。由表1和表2可以看出,對(duì)于同類的圖像塊,本文算法在圖像像素值和圖像結(jié)構(gòu)相似度上都高于其他算法,說(shuō)明本文算法的確對(duì)相同類型的圖像塊具有更好的還原效果。

        表1 不同算法實(shí)驗(yàn)結(jié)果的PSNR對(duì)比

        表2 不同算法實(shí)驗(yàn)結(jié)果的SSIM對(duì)比

        實(shí)驗(yàn)證明,基于紋理的超分辨率重建算法對(duì)相同特征紋理的重建結(jié)果優(yōu)于普通的超分辨率算法。針對(duì)某種紋理特征的超分辨率模型能夠提高此類紋理圖像的復(fù)原效果。并且本文使用的分類方法提取的數(shù)據(jù)集占總數(shù)據(jù)集的20%,同時(shí)平均提高了0.1的PSNR值。由此推斷,如果采用同一類別相似度更高的分類方法對(duì)數(shù)據(jù)集進(jìn)行更細(xì)致的劃分,應(yīng)該會(huì)進(jìn)一步地提高超分辨率模型的性能。這也是未來(lái)需要探討的問題。

        3 結(jié)論

        本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的紋理的超分辨率重建方法,先對(duì)圖像進(jìn)行紋理特征的分類,再針對(duì)一種類型的圖像構(gòu)建超分辨率模型。對(duì)于同類的紋理圖像,本文的算法優(yōu)于目前已有的算法。但是,此方法有一些需要改進(jìn)之處。對(duì)紋理特征分類,目的是使相同類型的圖像塊具有相同的從低分辨率到高分辨率的映射關(guān)系,但是本文的分類方法并不能完全達(dá)到這個(gè)效果。所以還需進(jìn)一步地改進(jìn)紋理的分類方法。

        [1] Yang Jianchao, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2010, 19(11):2861-2873.

        [2] FREEMAN W T,PASZTOR E C. Learning low-level vision[J]. International Journal of Computer Vision, 2000, 40(1):25-47.

        [3] Dong Chao, CHEN C L, He Kaiming, et al. Learning a deep convolutional network for image super-resolution[C]. European Conference on Computer Vision (ECCV),2014, 8692:184-199.

        [4] 劉麗, 匡綱要. 圖像紋理特征提取方法綜述[J]. 中國(guó)圖象圖形學(xué)報(bào), 2009, 14(4):622-635.

        [5] Dong Chao, Chen C L, Tang Xiaoou. Accelerating the super-resolution convolutional neural network[C]. European Conference on Computer Vision (ECCV), 2016,9906: 391-407.

        [6] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[J]. CVPR 2016, 2016:1646-1654.

        Image texture super-resolution reconstruction based on convolutional neural network

        Jiang Xue, Han Fang

        (School of Information Science and Technology, Donghua University, Shanghai 201600, China)

        At present, deep learning performs well in super resolution reconstruction. However, some texture information is not reconstructed well enough. To solve this problem, we proposed a texture super-resolution reconstruction algorithm based on convolution neural network (CNN). We firstly extract texture features using gradient operator and classify the images according to their texture features. And then, for the same category of image samples, a super-resolution reconstruction model is built based on CNN. The experiments show that this algorithm can restore some texture information very well, and the results are better than other algorithms.

        image processing; convolutional neural network(CNN); super-resolution reconstruction; texture feature

        TP183

        A

        10.19358/j.issn.1674- 7720.2017.20.017

        蔣雪,韓芳.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像紋理的超分辨率重建[J].微型機(jī)與應(yīng)用,2017,36(20):57-60.

        2017-03-25)

        蔣雪(1993-),女,碩士,主要研究方向:深度學(xué)習(xí)、圖像超分辨率。

        韓芳(1981-),通信作者,女,博士,副教授,主要研究方向:神經(jīng)動(dòng)力學(xué)、智能算法、深度學(xué)習(xí)等。E-mail:yadiahan@163.com。

        猜你喜歡
        低分辨率紋理分辨率
        基于全局和局部特征集成的低分辨率人臉識(shí)別方法
        紅外熱成像中低分辨率行人小目標(biāo)檢測(cè)方法
        基于偏移學(xué)習(xí)的低分辨率人體姿態(tài)估計(jì)
        基于BM3D的復(fù)雜紋理區(qū)域圖像去噪
        軟件(2020年3期)2020-04-20 01:45:18
        EM算法的參數(shù)分辨率
        使用紋理疊加添加藝術(shù)畫特效
        原生VS最大那些混淆視聽的“分辨率”概念
        樹木的低分辨率三維模型資源創(chuàng)建實(shí)踐
        TEXTURE ON TEXTURE質(zhì)地上的紋理
        Coco薇(2017年8期)2017-08-03 15:23:38
        基于深度特征學(xué)習(xí)的圖像超分辨率重建
        欧美日韩激情在线一区二区| 日产学生妹在线观看| 亚洲精品国产av成拍色拍| 中文AV怡红院| 国产精品久久三级精品| 日日碰狠狠添天天爽超碰97久久 | 亚洲一区二区三区av无码| 狠狠综合久久av一区二区蜜桃| 亚洲国产av精品一区二区蜜芽| 日产国产精品亚洲系列| 久久国产精品老女人| 中文字幕人成乱码中文| 日韩无码专区| 好吊色欧美一区二区三区四区| 婷婷第四色| 国产亚洲精品视频网站| 亚洲熟妇无码av在线播放| 又色又爽又黄又硬的视频免费观看 | 国产成人av 综合 亚洲| 国产91在线|亚洲| 美女偷拍一区二区三区| 国产免费三级av在线| 毛片大全真人在线| 亚洲羞羞视频| 国内自拍第一区二区三区| 中文字幕乱码熟女人妻在线| 水蜜桃精品一二三| 日韩五十路| 按摩少妇高潮在线一区| 亚洲中文字幕久久精品品| 亚洲av无码专区在线观看下载| 国产精品久久久久久妇女6080| 久久久久无码中文字幕| 少妇人妻字幕精品毛片专区| 97人人模人人爽人人喊网| 娇妻玩4p被三个男人伺候电影| 国产亚洲av人片在线播放| 淫片一区二区三区av| 天天躁日日躁狠狠躁av| 亚洲欧美日韩国产综合专区 | 多毛小伙内射老太婆|