亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于雙通道卷積神經(jīng)網(wǎng)絡(luò)的圖像單失真類型判定方法

        2021-07-02 08:55:00閆鈞華呂向陽王高飛
        計(jì)算機(jī)應(yīng)用 2021年6期
        關(guān)鍵詞:準(zhǔn)確率卷積精度

        閆鈞華,侯 平,張 寅,呂向陽,馬 越,王高飛

        (1.空間光電探測與感知工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室(南京航空航天大學(xué)),南京 211106;2.南京航空航天大學(xué)航天學(xué)院,南京 211106)

        (?通信作者電子郵箱yjh9758@126.com)

        0 引言

        圖像在采集、傳輸、處理等過程中都有可能出現(xiàn)不同類型的失真,如:拍攝時(shí)因?yàn)楣庹詹痪鶆虻茸匀粭l件或相機(jī)的傳感器件質(zhì)量,使得圖像上出現(xiàn)噪聲點(diǎn);在拍攝過程中相機(jī)未聚焦或相機(jī)抖動(dòng)造成圖像模糊;在傳輸過程中因?yàn)閹捪拗菩枰獙?duì)圖像進(jìn)行壓縮引入壓縮失真。圖像單失真是指在一幅原始圖像中引入一種失真類型。本文使用的主要是高斯噪聲、高斯模糊、JPEG、JPEG200 和快速衰落失真(fast fading)這五種典型失真類型?;旌鲜д骖愋褪侵付喾N圖像失真類型之間的耦合,并非對(duì)兩種單失真類型進(jìn)行線性疊加就能得到。在研究不同失真類型耦合最終對(duì)圖像會(huì)造成怎樣的影響時(shí),需要知道單失真類型會(huì)對(duì)原始圖像質(zhì)量造成怎樣的退化。因此,圖像單失真類型判定研究對(duì)后續(xù)混合失真類型判定的研究及圖像質(zhì)量評(píng)價(jià)、光學(xué)鏈路修正等領(lǐng)域都有非常重要的指導(dǎo)意義。

        目前針對(duì)圖像單失真類型判定研究主要基于支持向量機(jī)(Support Vector Machine,SVM)與卷積 神經(jīng)網(wǎng) 絡(luò)(Convolutional Neural Network,CNN)來實(shí)現(xiàn)的。Moorthy 等[1]提出了BIQI(Blind Image Quality Indices)算法,該算法通過提取圖像在小波域的自然場景統(tǒng)計(jì)(Natural Scene Statistics,NSS)特征,利用支持向量機(jī)(SVM)得到單失真圖像屬于每個(gè)失真類型的概率;Moorthy 等[2]證明了不同失真類型會(huì)改變圖像的自然場景統(tǒng)計(jì)特征,提出了SVM-GGD(SVM based on Generalized Gaussian Distribution)算法,使用廣義高斯分布(GGD)來量化圖像的失真特征,利用SVM 實(shí)現(xiàn)圖像單失真類型判定;Moorthy 等[3]提出了BRISQUE(Blind Reference Image Spatial QUality Evaluator)算法,該算法在空域提取了圖像的結(jié)構(gòu)特征和方向特征,利用SVM 實(shí)現(xiàn)圖像單失真類型判定;Chetouani 等[4]提出了IQMs(Image Quality Measures)算法,該算法依據(jù)不同的圖像質(zhì)量評(píng)價(jià)方法從原始圖像和退化圖像中得到質(zhì)量評(píng)價(jià)作為特征,通過分類器LDA(Linear Discriminant Analysis)實(shí)現(xiàn)對(duì)圖像單失真類型的判定;Mittal等[5]提出了DIVINE(Distortion Identification-based image Verity and INtegrity Evaluation)算法,該算法首先對(duì)圖像進(jìn)行多尺度小波分解,然后對(duì)這些參數(shù)進(jìn)一步統(tǒng)計(jì)其特性作為特征,最后利用特征對(duì)單失真圖像進(jìn)行失真類型判定。Kang等[6]提出了IQA-CNN+(Image Quality Assessment based on CNN)算法,該算法使用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)對(duì)失真圖像進(jìn)行訓(xùn)練確定模型并最終實(shí)現(xiàn)單失真圖像失真類型的判定和圖像質(zhì)量評(píng)價(jià),由于網(wǎng)絡(luò)深度比較淺,同時(shí)網(wǎng)絡(luò)使用共享卷積層和全連接層,所以最終結(jié)果仍有很大提升空間;Wang 等[7]提出了CNN-SWA(result Selective Weighted Average based on CNN)算法,該算法對(duì)原始圖像塊進(jìn)行不同感受野的特征提取,將深度特征圖進(jìn)行最大值和平均值池化,對(duì)特征信息進(jìn)行融合并通過分類器實(shí)現(xiàn)圖像的單失真類型判定;鄔美銀等[8]提出了VIDC-CNN(Video and Image Distortion Classfication based on CNN)算法,該算法通過單任務(wù)卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)視頻圖像失真檢測及分類,相較于IQA-CNN+算法,圖像失真類型的判定準(zhǔn)確率明顯上升;Ma 等[9]提出了MEON(Multi-task End-to-end Optimized deep Neural network)算法,該算法相較于IQACNN+算法則是將全連接層基于不同的任務(wù)分離,同時(shí)使用自己提出的GDN(Generalized Divisive Normalization)函數(shù)作為激活函數(shù)最終實(shí)現(xiàn)單失真圖像的失真類型判定;Liang等[10]提出了MLLnet(CNN-based Multi-Label Learning model)算法,該算法通過問題轉(zhuǎn)化的思想,將圖像的失真判定問題轉(zhuǎn)化為多分類問題,最終通過卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)圖像失真類型的判定。使用支持向量機(jī)對(duì)圖像失真類型判定精度的高低取決于特征提取的好壞,同時(shí)受到樣本集場景的影響,其算法的魯棒性要弱于卷積神經(jīng)網(wǎng)絡(luò)的算法。而現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)相關(guān)算法因?yàn)榫W(wǎng)絡(luò)輸入是原始圖像,沒有注重失真類型對(duì)圖像高頻信息的影響,因此判定精度仍有很大提升空間。

        針對(duì)圖像單失真類型判定平均精度較低的問題,結(jié)合大部分失真類型對(duì)圖像的影響主要是高頻信息的損失,本文提出了一種基于雙通道的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)單失真類型判定方法。實(shí)驗(yàn)結(jié)果表明所提方法能夠準(zhǔn)確地判定出圖像中存在的單失真類型。

        1 圖像單失真類型判定網(wǎng)絡(luò)結(jié)構(gòu)

        本文提出的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

        圖1 基于雙通道卷積神經(jīng)網(wǎng)絡(luò)的算法結(jié)構(gòu)Fig.1 Algorithm structure based on two-channel convolutional neural network

        首先,從原始圖像中裁剪一個(gè)大小為112×112具有最大信息熵的圖像塊,同時(shí)對(duì)圖像塊進(jìn)行小波變換提取水平、豎直以及對(duì)角的高頻信息子特征圖,將三個(gè)方向的高頻信息子特征圖疊加得到能夠反映圖像失真類型的高頻信息特征圖;然后,將原始圖像塊和對(duì)應(yīng)高頻信息特征圖分別輸入到各自卷積層中,原始圖像分別輸入到感受野為3×3、5×5、7×7 三個(gè)通道的卷積層中,高頻信息特征圖輸入到感受野為5×5的卷積層中得到深層特征圖;接著,將原始圖像塊的深層特征圖與高頻信息特征圖的深層特征圖進(jìn)行融合并輸入到全連接層中,全連接層各層神經(jīng)元個(gè)數(shù)分別為4 096、1 024、4;最后,將全連接層最后一層的結(jié)果輸入Softmax 分類器中得到圖像的失真概率分布。

        2 圖像單失真類型判定算法

        2.1 高頻信息圖提取

        圖像失真主要是因?yàn)閳D像高頻信息的丟失[11],為了使網(wǎng)絡(luò)能夠更加快速有效地提取出圖像中的失真特征,本文采用小波變換提取出能夠反映出圖像失真類型的高頻信息圖作為網(wǎng)絡(luò)一個(gè)輸入。

        小波變換可以看作是一種卷積變換,給出一幅失真圖像X,利用4個(gè)卷積濾波器進(jìn)行小波變換,即:低通濾波器fLL和3個(gè)高通濾波器fLH、fHL、fHH。經(jīng)過小波變換將圖像X分解成4幅子帶圖像,即低頻圖像XLL和3 幅高頻子帶圖像XLH、XHL、XHH,這4個(gè)濾波器具有固定參數(shù)。本文采用Haar小波變換對(duì)圖像進(jìn)行分解。4個(gè)濾波器的定義如下:

        由式(1)可知,fLL、fLH、fHL、fHH彼此相互正交,且均為2×2的可逆矩陣,因此Haar小波變換操作定義如下:

        式中:?表示卷積操作;↓2表示值為2 的下采樣因子。取XLH、XHL、XHH高頻子帶圖像疊加并求均值,得到失真圖像對(duì)應(yīng)高頻信息圖Xfeature,各子帶圖像XLL、XLH、XHL、XHH在位置(i,j)的像素值及高頻信息圖Xfeature可根據(jù)式(3)進(jìn)行計(jì)算。

        不同失真類型的高頻信息圖如圖2 所示。由圖2 可以看出,與參考圖像的高頻信息圖(圖2(b))相比,高斯模糊圖像的高頻信息圖(圖2(d))圖像中物體邊緣細(xì)節(jié)信息丟失比較嚴(yán)重;高斯噪聲圖像(圖2(f))因?yàn)樵肼朁c(diǎn)的加入覆蓋了圖像細(xì)節(jié)信息,從高斯噪聲的高頻信息圖中基本辨別不出物體邊緣信息;JPEG 高頻信息圖(圖2(h))中不僅存在細(xì)節(jié)損失,同時(shí)存在“馬賽克”失真特征;JPEG2000 高頻信息圖(圖2(j))與JPEG 高頻信息圖相比,圖像細(xì)節(jié)特征更加清晰,但從高頻圖中可以非常明顯看出原圖像中存在非常明顯的“塊效應(yīng)”現(xiàn)象;fast fading 高頻信息圖(圖2(l))中存在非常明顯“殘影”特征。將這些不同失真類型的高頻信息圖輸入網(wǎng)絡(luò),有助于網(wǎng)絡(luò)能夠更快提取不同失真類型的失真特征。

        圖2 不同失真類型圖像的高頻信息圖對(duì)比Fig.2 Comparison of high-frequency information maps with different distortion types of images

        2.2 樣本標(biāo)簽

        每幅失真圖像對(duì)應(yīng)失真類型標(biāo)簽采用獨(dú)熱編碼。假設(shè)Xlabel={x1,x2,x3,x4,x5} 中各元素分別代表JPEG2000、JPEG、高斯白噪聲(White Gaussian Noise,WN)、高斯模糊(Gaussian blur,Gblur)和快速衰落失真(fast fading)這五種失真類型。當(dāng)單失真圖像存在某種失真類型時(shí),則對(duì)應(yīng)元素值為1;如果不存在該種失真類型時(shí),則對(duì)應(yīng)元素值為0。具體標(biāo)簽設(shè)定方式如表1所示。

        表1 單失真類型標(biāo)簽設(shè)定Tab.1 Single distortion type label setting

        2.3 圖像特征提取

        為了加快網(wǎng)絡(luò)訓(xùn)練以及提升判定精度,本文將原始圖像與對(duì)應(yīng)高頻信息圖作為網(wǎng)絡(luò)輸入。高頻信息圖能夠幫助網(wǎng)絡(luò)更加準(zhǔn)確快速地提取失真的高頻特征,加快網(wǎng)絡(luò)訓(xùn)練,有助于提升算法判定精度。為了能夠更加有效地提取圖像局部和整體特征,本文采用多感受野的卷積層提取原始圖像的失真特征。

        特征提取的網(wǎng)絡(luò)結(jié)構(gòu)細(xì)節(jié)如圖3 所示,參照Inception[12]網(wǎng)絡(luò)對(duì)原始圖像使用三種不同感受野的卷積層結(jié)構(gòu)設(shè)計(jì),從左往右分別代表對(duì)原始圖像進(jìn)行感受野為3×3、5×5 和7×7 的特征提取。高頻信息圖則采用單通道、感受野為5×5 的卷積層結(jié)構(gòu)對(duì)高頻信息圖進(jìn)行特征提取。為了能夠減少網(wǎng)絡(luò)模型中的參數(shù),參照VGG[13]卷積核采用堆疊方式將3×3的小卷積核替代尺寸為5×5和7×7大卷積核。將原始圖像三種不同感受野的深度特征圖及高頻信息圖的深度特征圖拉伸成一維向量,把代表不同特征信息的一維向量進(jìn)行拼接融合。

        圖3 卷積層結(jié)構(gòu)Fig.3 Structure of convolutional layer

        2.4 圖像失真類型判定

        全連接層能夠?qū)Σ煌惺芤暗纳疃忍卣餍畔⑦M(jìn)行有效融合與提煉,最后將全連接層最后一層的值輸入Softmax 分類器中,實(shí)現(xiàn)失真類型判定。為了防止網(wǎng)絡(luò)出現(xiàn)過擬合的情況,全連接層采用線性整流函數(shù)(Rectified Linear Unit,ReLU)[14]和dropout[15]的組合方式。同時(shí)dropout的舍棄概率為0.5。

        ReLU 激活函數(shù)能將神經(jīng)元中小于0 的神經(jīng)元置為0,保證了神經(jīng)元之間的稀疏性,同時(shí)也防止了網(wǎng)絡(luò)過擬合。ReLU激活函數(shù)定義如式(4)所示。

        最終,全連接層最后一層的神經(jīng)元值輸入Softmax 函數(shù)分類器得出圖像失真類型。Softmax 函數(shù)分類器定義如式(5)所示。

        式中:j代表需要判定的失真類型數(shù)量;xi代表全連接層最后一層的第i個(gè)神經(jīng)元值;pi代表第i個(gè)神經(jīng)元的圖像失真類型概率值。

        2.5 雙通道網(wǎng)絡(luò)參數(shù)更新

        網(wǎng)絡(luò)模型使用Softmax 交叉熵函數(shù)作為損失函數(shù),采用隨機(jī)梯度下降更新卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù),具體損失函數(shù)J定義如下:

        式(6)中:y表示通過lable設(shè)定的標(biāo)簽值。式(7)中:m表示每個(gè)批中的圖像數(shù)量;n代表失真類別數(shù)量;pmi代表第m幅圖像中第i個(gè)神經(jīng)元的圖像失真類型概率值。式(8)中表示關(guān)于超參數(shù)ω的正則化;λ為正則化參數(shù),取值為0.001。

        通過隨機(jī)梯度下降方法自適應(yīng)地更新每個(gè)參數(shù)。網(wǎng)絡(luò)中所有權(quán)重參數(shù)更新方式如下:

        式中:α是學(xué)習(xí)速率,取值為0.02;l是網(wǎng)絡(luò)每一層的序號(hào)。

        3 實(shí)驗(yàn)與結(jié)果分析

        LIVE(Laboratory for Image and Video Engineering)數(shù) 據(jù)庫[16]共包含28幅彩色參考圖像和779幅彩色失真圖像。失真圖像包含五種失真類型:高斯白噪聲(WN)、高斯模糊(Gblur)、JPEG 壓縮失真、JPEG2000 壓縮失真、快速衰落失真(fast fading)。為了增加訓(xùn)練樣本數(shù)量,采用旋轉(zhuǎn)、鏡像以及隨機(jī)裁剪等方式擴(kuò)充數(shù)據(jù)集。

        本文將擴(kuò)充的LIVE數(shù)據(jù)庫中所有樣本的80%用于訓(xùn)練,10%用于驗(yàn)證,10%用于測試,訓(xùn)練次數(shù)為30 000,最終得到圖像單失真類型判定的準(zhǔn)確率。實(shí)驗(yàn)所在測試平臺(tái)為:E5-2640 處理器,主頻2.40 GB,GTX1080Ti 顯卡,顯存11 GB,內(nèi)存64 GB。操作系統(tǒng)為Windows 7,實(shí)驗(yàn)軟件為Matlab 以及Python3.6.1+Tensorflow1.9.0(GPU版本)。

        3.1 網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比實(shí)驗(yàn)

        為了更好地確定網(wǎng)絡(luò)整體結(jié)構(gòu),使用控制變量法,調(diào)整網(wǎng)絡(luò)輸入通道數(shù)量進(jìn)行實(shí)驗(yàn)。不同網(wǎng)絡(luò)結(jié)構(gòu)在LIVE 數(shù)據(jù)庫上的判定準(zhǔn)確率對(duì)比如表2所示。由表2可以看出,通過對(duì)失真類型判定的準(zhǔn)確率進(jìn)行比較可知,將原始圖像與對(duì)應(yīng)的高頻信息圖作為網(wǎng)絡(luò)輸入的判定結(jié)果更好。因此本文采用將原始圖像和高頻信息圖作為網(wǎng)絡(luò)輸入。

        表2 不同網(wǎng)絡(luò)結(jié)構(gòu)在LIVE數(shù)據(jù)庫上的判定準(zhǔn)確率對(duì)比 單位:%Tab.2 Judgement accuracy comparison of of different network structures on LIVE database unit:%

        3.2 不同方法在LIVE數(shù)據(jù)庫上的判定結(jié)果比較

        現(xiàn)有五種圖像單失真類型判定方法:BIQI、DIVINE、BRISQUE、MOGIQA(no reference Image Quality Assessment based on Multi Order Gradients)[17]、VIDC-CNN,這五種單失真類型判定方法在LIVE 數(shù)據(jù)庫中的失真類型判定結(jié)果如表3所示。將本文方法與這五種圖像單失真類型判定方法進(jìn)行比較,表3 中,:加粗表示在圖像失真類型判定方法中判定準(zhǔn)確率排在前三名的方法,加下劃線表示最優(yōu)。從表3 可以看出,本文所提出的方法具有較高的圖像單失真類型判定精度。在對(duì)LIVE數(shù)據(jù)庫所有失真類型判定中,本文方法對(duì)高斯白噪聲的判定精度最高,達(dá)到了100%;對(duì)于fast fading 的判定精度為86.46%,相較于其他失真類型判定方法對(duì)fast fading 的判定精度,本文方法的判定結(jié)果仍為最優(yōu)。整體上來說,本文方法對(duì)各失真類型的判定準(zhǔn)確率都排在前三的位置,針對(duì)五種失真類型判定平均準(zhǔn)確率達(dá)到95.21%,并且對(duì)JPEG2000 和快速衰落失真這兩種失真類型的判定精度相較其他五種圖像單失真類型判定方法分別提升了至少6.69 個(gè)百分點(diǎn)和2.46 個(gè)百分點(diǎn),表明本文方法對(duì)圖像單失真類型的判定較為精確。

        表3 不同單失真類型判定方法在LIVE數(shù)據(jù)庫上的判定準(zhǔn)確率對(duì)比 單位:%Tab.3 Judgement accuracy comparison of different single distortion type judgment methods on LIVE database unit:%

        3.3 雙通道卷積神經(jīng)網(wǎng)絡(luò)在LIVE數(shù)據(jù)庫上的判定結(jié)果

        圖4 以混淆矩陣的形式給出了本文方法對(duì)LIVE 數(shù)據(jù)庫中不同失真類型的判定結(jié)果。

        由圖4 可以看出,本文方法對(duì)JPEG、WN、Gblur 三種失真類型判定的準(zhǔn)確率均超過了0.95;但fast fading 失真與JPEG2000 失真相互之間出現(xiàn)誤判,將fast fading 誤判為JPEG2000 的比例是0.125,將JPEG2000 誤判為fast fading 失真的比例是0.041 7。因?yàn)閒ast fading失真圖像是由JPEG2000壓縮與數(shù)據(jù)包丟失仿真而來,所以兩種失真類型存在相似的失真特征使得判定精度較低,因此BIQI、DIVINE、BRISQUE、MOGIQA 以及VIDC-CNN 這五種單失真類型判定方法對(duì)JPEG2000 判定精度均低于90%,對(duì)fast fading 判定精度均低于85%。同時(shí),本文方法對(duì)JPEG2000的判定精度為94.79%,對(duì)fast fading 的判定精度為86.46%,表明本文方法對(duì)LIVE 數(shù)據(jù)中圖像的失真類型判定更加精確。

        圖4 不同失真類型判定結(jié)果的混淆矩陣Fig.4 Confusion matrix of judgement results of different distortion types

        4 結(jié)語

        為了實(shí)現(xiàn)圖像單失真類型的判定,本文提出了一種基于雙通道的卷積神經(jīng)網(wǎng)絡(luò)方法判定圖像單失真類型。該方法從失真圖像和對(duì)應(yīng)的高頻信息圖中提取深度特征信息,將深度特征信息進(jìn)行融合并輸入到全連接層中,通過Softmax 函數(shù)分類器最終實(shí)現(xiàn)圖像單失真類型判定。在LIVE數(shù)據(jù)庫中,圖像失真類型判定準(zhǔn)確率達(dá)到了95.21%,表明本文方法對(duì)單失真圖像的失真類型判定具有較高的準(zhǔn)確性。在圖像失真類型判定領(lǐng)域,本文方法可作為研究圖像混合失真類型判定的參考,擴(kuò)展進(jìn)一步的應(yīng)用。

        猜你喜歡
        準(zhǔn)確率卷積精度
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
        健康之家(2021年19期)2021-05-23 11:17:39
        不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
        2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
        基于DSPIC33F微處理器的采集精度的提高
        電子制作(2018年11期)2018-08-04 03:25:38
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        GPS/GLONASS/BDS組合PPP精度分析
        改進(jìn)的Goldschmidt雙精度浮點(diǎn)除法器
        亚洲大尺度在线观看| 亚洲国产a∨无码中文777| 奇米影视7777久久精品| 国产精品成人免费视频网站京东| 人妻无码在线免费| 高清成人在线视频播放| 完整版免费av片| 免费a级毛片永久免费| 亚洲AV永久无码精品导航| 日韩人妻免费一区二区三区| 女同精品一区二区久久| 午夜福利试看120秒体验区| 99视频一区| 性色av手机在线观看| 久久综合精品人妻一区二区三区| 无码av天堂一区二区三区| 日本护士xxxxhd少妇| 日本强伦姧人妻一区二区| 欧美性巨大╳╳╳╳╳高跟鞋| 一本久道久久综合久久| 男女做爰猛烈啪啪吃奶动| 五月天激情小说| 国产精品一区二区av白丝在线| 中文字幕国产亚洲一区| 人妻 色综合网站| 久久综合五月天| 淫秽在线中国国产视频| 国产精品无码一区二区三级| 女女女女bbbbbb毛片在线| 亚洲av午夜成人片精品| 天堂免费av在线播放| 亚洲成av人片在www| 国产在线精品一区二区在线看| 精品日本免费观看一区二区三区| 欧美v国产v亚洲v日韩九九| 国产suv精品一区二人妻| 欧美洲精品亚洲精品中文字幕| 日本久久精品视频免费| 亚洲国产精品综合久久网络 | 久久久久久国产精品无码超碰动画| 欧美xxxx新一区二区三区|