史再峰 ，佟博文，孔凡寧，康 泰，羅 韜

(1.天津大學(xué)微電子學(xué)院，天津 300072；2.天津市成像與感知微電子技術(shù)重點(diǎn)實(shí)驗(yàn)室，天津 300072；3.天津大學(xué)智能與計(jì)算學(xué)部，天津 300072)

隨著多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，圖像信息逐漸成為人們?nèi)粘＋@取外界信息的最主要媒介.客觀圖像質(zhì)量評(píng)價(jià)方法(image quality assessment，IQA)旨在利用機(jī)器代替人類自動(dòng)評(píng)價(jià)圖像質(zhì)量，是計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)基礎(chǔ)性研究.高精度的全參考圖像質(zhì)量評(píng)價(jià)方法對(duì)圖像壓縮[1]、圖像增強(qiáng)[2]、圖像拼接[3]以及圖像生成等[4]任務(wù)具有指導(dǎo)作用，具備很高的實(shí)用價(jià)值.傳統(tǒng)方法通過(guò)設(shè)計(jì)特征描述符獲取信號(hào)保真度、結(jié)構(gòu)相似度[5-7]、梯度[8-9]、色度[10]等自然場(chǎng)景統(tǒng)計(jì)量(natural scene statistics)而后通過(guò)池化、支持向量機(jī)(support vector machines)等方式對(duì)空頻域特征進(jìn)行融合，對(duì)于一些特定失真類型效果較好.然而，在應(yīng)對(duì)復(fù)雜的圖像失真類型和信息豐富的圖像內(nèi)容時(shí)，特征提取的角度相對(duì)片面，難以充分表征圖像失真信息，同時(shí)特征融合的效果有待提升，與人類主觀評(píng)價(jià)的一致性較差[11].

基于深度學(xué)習(xí)的方法通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式自動(dòng)獲取圖像特征，Zhang 等[12]已經(jīng)用實(shí)驗(yàn)證明在大型數(shù)據(jù)集上訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)提取的多通道特征比傳統(tǒng)的圖像質(zhì)量評(píng)價(jià)特征描述符更加有效，并且可以作為圖像質(zhì)量感知量化的基礎(chǔ).Gao 等[13]提出了DeepSim，首先利用深度卷積神經(jīng)網(wǎng)絡(luò)提取兩幅圖像的分層特征，然后評(píng)估多層特征的局部相似性，并將局部相似性匯總到最終質(zhì)量分?jǐn)?shù).Ding 等[14]利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)提取分層特征，將圖像轉(zhuǎn)換為多尺度的超完備表示，從紋理相似性和結(jié)構(gòu)相似性等角度評(píng)估所提取得到的多通道特征圖，將其映射為圖像質(zhì)量分?jǐn)?shù)，實(shí)現(xiàn)了比DeepSim 更好的性能.

圖像質(zhì)量評(píng)價(jià)任務(wù)具有需要符合人類主觀感知的特殊性，將深度學(xué)習(xí)與人類的視覺感知機(jī)制相結(jié)合是進(jìn)一步提升全參考圖像質(zhì)量評(píng)價(jià)效果的關(guān)鍵[15].注意力機(jī)制表明人類在觀察圖像時(shí)，對(duì)不同空間的關(guān)注度不同.Zhang 等[16]利用該特性在計(jì)算局部質(zhì)量圖和匯集質(zhì)量得分時(shí)用加權(quán)函數(shù)反映局部區(qū)域重要性.Shi 等[17]提出了一種基于邊緣特征分割的全參考圖像質(zhì)量評(píng)估方法，用不同特征描述不同區(qū)域的像素，有效地提升了算法性能，這些研究表明合理利用視覺注意力是提升特征提取效果的關(guān)鍵.

視覺感知是一個(gè)分層的過(guò)程，人類在理解圖像信息時(shí)存在自下而上的分層感知過(guò)程，即先理解圖像底層紋理，然后獲得局部區(qū)域信息，最后形成復(fù)雜的圖像高級(jí)語(yǔ)義信息[18]，不同特征的重要性差異應(yīng)該在特征融合過(guò)程中得以體現(xiàn).

基于上述分析，本文提出了基于雙重注意力機(jī)制和分層感知表征的全參考圖像質(zhì)量評(píng)價(jià)方法.該方法基于人類視覺系統(tǒng)(human visual system，HVS)分層感知以及非線性的特點(diǎn)，利用卷積神經(jīng)網(wǎng)絡(luò)提取的分層多通道特征對(duì)圖像信息進(jìn)行分層感知表征，符合HVS 在感知圖像信息時(shí)由淺入深的過(guò)程.將空間注意力機(jī)制[19]引入分層特征提取網(wǎng)絡(luò)中，其內(nèi)部含有可學(xué)習(xí)參數(shù)，能夠通過(guò)訓(xùn)練迭代對(duì)特征圖在同一通道中不同位置像素進(jìn)行加權(quán)處理，提升多通道特征的表征能力.基于通道注意力機(jī)制[20]設(shè)計(jì)了分組通道注意力模塊(group channel attention block，GCAB)優(yōu)化特征融合過(guò)程，加強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)在通道維度的建模能力，可以自適應(yīng)地校準(zhǔn)不同通道的感知差異特征在評(píng)價(jià)圖像質(zhì)量時(shí)的重要性差異，提升特征融合的效果.

1 本文方法

1.1 方法整體結(jié)構(gòu)

HVS 是一個(gè)高度復(fù)雜的非線性系統(tǒng)，感知距離在像素空間中并非是均勻的，人類在感知圖像信息時(shí)對(duì)于二維空間的關(guān)注度也存在差異[21].圖像失真會(huì)導(dǎo)致不同空間的像素和不同級(jí)別的特征產(chǎn)生差異性退化，在圖像質(zhì)量評(píng)價(jià)問(wèn)題中表現(xiàn)為不同區(qū)域的像素?cái)?shù)據(jù)和不同級(jí)別的特征對(duì)于圖像質(zhì)量的影響程度是不同的.在深度學(xué)習(xí)領(lǐng)域，注意力機(jī)制可以嵌入到卷積神經(jīng)網(wǎng)絡(luò)中，反映HVS 對(duì)于區(qū)域或特征的敏感性.本文引入注意力機(jī)制，所提出的方法命名為DAHF-IQA，其整體結(jié)構(gòu)如圖1 所示.主要包括特征提取和特征融合兩個(gè)階段.

圖1 DAHF-IQA的整體結(jié)構(gòu)Fig.1 Overview of the proposed image quality assessment method based on dual attention and hierarchical features

在特征提取階段，首先利用空間注意力分層特征提取網(wǎng)絡(luò)分別對(duì)參考和失真圖像進(jìn)行特征提取，通過(guò)非線性映射將圖像轉(zhuǎn)換為多通道的分層特征，作為圖像信息的分層感知表征.特征提取網(wǎng)絡(luò)采用了Siamese 結(jié)構(gòu)，即共享權(quán)重的一對(duì)結(jié)構(gòu)相同的網(wǎng)絡(luò)，將參考圖像和失真圖像映射到同一感知空間，建模感知映射的非線性關(guān)系.為了在特征提取階段盡量多地保留圖像信息，特征提取網(wǎng)絡(luò)會(huì)從參考圖像和失真圖像中提取內(nèi)容豐富的3 個(gè)級(jí)別的多通道特征圖作為圖像信息的分層感知表征.之后將分層的多級(jí)別特征進(jìn)行池化變?yōu)橄嗤叽纾⑦M(jìn)行拼接.在映射到同一感知空間后，感知特征經(jīng)過(guò)相減得到分層感知差異特征，作為圖像失真信息的表征.

在特征融合階段，由于失真對(duì)于不同級(jí)別的特征的影響程度有所差異，不同級(jí)別的特征圖以及同一級(jí)別內(nèi)部不同通道的特征圖對(duì)圖像質(zhì)量評(píng)估具有不同的重要性.筆者設(shè)計(jì)了通道注意力特征融合網(wǎng)絡(luò)將分層的差異特征進(jìn)行融合，突出對(duì)于圖像質(zhì)量影響較大的通道特征，忽略冗余特征.首先通過(guò)設(shè)計(jì)分組通道注意力模塊整合通道維度信息，對(duì)分層感知差異特征進(jìn)行加權(quán)處理，之后利用卷積和池化層對(duì)加權(quán)后的特征進(jìn)行逐步降維，將失真圖像最終映射為客觀質(zhì)量評(píng)價(jià)分?jǐn)?shù).

1.2 空間注意力分層特征提取網(wǎng)絡(luò)

人類的視覺注意力在二維空間上的側(cè)重區(qū)域存在差異，在進(jìn)行圖像質(zhì)量評(píng)價(jià)的過(guò)程中表現(xiàn)為對(duì)于失真所在的空間區(qū)域的關(guān)注度更高，因此空間注意力被集成到特征提取網(wǎng)絡(luò)中以改進(jìn)特征提取效果.所提出的空間注意力分層特征提取網(wǎng)絡(luò)主要由殘差模塊(residual block，ResB)和空間注意力模塊(spatial attention block，SAB)構(gòu)成.

1.2.1 殘差模塊和空間注意力模塊

為了有效解決深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)的梯度消失問(wèn)題，殘差模塊[22]被集成到特征提取網(wǎng)絡(luò)中，其殘差性體現(xiàn)在主分支網(wǎng)絡(luò)建模的是輸出特征與輸入特征的差值關(guān)系.如圖2 所示，殘差模塊的跳躍分支由1×1 卷積構(gòu)成，主分支由兩層3×3 卷積層和批量歸一化層以及激活函數(shù)ReLU 函數(shù)所實(shí)現(xiàn)，批量歸一化層的作用是防止梯度爆炸，與此同時(shí)加速網(wǎng)絡(luò)收斂速度.特征經(jīng)過(guò)殘差模塊的計(jì)算過(guò)程可以表示為

圖2 殘差模塊和空間注意力模塊的結(jié)構(gòu)Fig.2 Structure of residual block and spatial attention block

式中：Xin為輸入特征；F 表示主分支的兩層卷積網(wǎng)絡(luò)；Xout為輸出殘差模塊特征；θ為主分支卷積層權(quán)重.

空間注意力模塊旨在對(duì)視覺注意力在二維空間的非均勻特性進(jìn)行建模表征.在該模塊內(nèi)，輸入特征圖首先通過(guò)全局池化和平均池化降維，聚合通道維度的信息，并將結(jié)果基于通道進(jìn)行拼接為一個(gè)兩通道的特征圖，然后經(jīng)過(guò)一層卷積降維成單個(gè)通道，作為空間特征權(quán)重，經(jīng)過(guò)sigmoid 激活后生成空間注意力特征圖，然后將輸入特征圖與空間注意力特征圖相乘，得到最終生成的空間加權(quán)后的特征.該過(guò)程可以表示為

式中：Fin為輸入到SAB 模塊的特征；AP 表示平均池化；Sig 表示sigmoid；MP 表示最大池化；Cov 表示卷積操作；Ms為空間注意力權(quán)重；Fout為從空間注意力模塊輸出的特征.

1.2.2 分層感知表征

卷積神經(jīng)網(wǎng)絡(luò)對(duì)于圖像的處理過(guò)程與人類視覺系統(tǒng)對(duì)視覺信號(hào)的層次化感知過(guò)程具有相似之處，同樣存在一個(gè)從理解圖像低級(jí)簡(jiǎn)單特征到形成高級(jí)復(fù)雜特征的一個(gè)逐漸加深的過(guò)程.網(wǎng)絡(luò)的不同層級(jí)特征具有不同的感受野和視覺復(fù)雜度，隨著網(wǎng)絡(luò)層數(shù)的增加，感受野逐漸擴(kuò)大，特征圖的抽象程度逐漸增高，但在逐步形成高級(jí)的特征過(guò)程中會(huì)丟失圖像的底層紋理細(xì)節(jié).對(duì)于圖像分類等高級(jí)計(jì)算機(jī)視覺任務(wù)，往往僅需要利用深層的語(yǔ)義特征.但在表征圖像失真信息時(shí)，由于失真類型復(fù)雜，僅利用單一級(jí)別的特征難以充分表征復(fù)雜的圖像的失真信息.深度神經(jīng)網(wǎng)絡(luò)的不同層級(jí)特征對(duì)圖像質(zhì)量評(píng)價(jià)的作用分別在于：較低層級(jí)特征可以更好地表征圖像底層特征(如局部紋理、邊緣、形狀等)在圖像失真過(guò)程所產(chǎn)生的退化，較高層級(jí)的特征可以更好地表征圖像高級(jí)信息(如空間位置信息、語(yǔ)義信息等)由于圖像失真導(dǎo)致的退化.因此筆者將不同級(jí)別的特征在通道維度進(jìn)行拼合，將多尺度和視覺復(fù)雜度的特征圖共同作為圖像信息的表征，該過(guò)程可以表示為

式中：E 表示特征提取網(wǎng)絡(luò)；θe為特征提取網(wǎng)絡(luò)的參數(shù)；I 為輸入到特征提取網(wǎng)絡(luò)的圖像；Fli為第i 級(jí)的特征.圖像經(jīng)過(guò)空間注意力分層特征提取網(wǎng)絡(luò)的處理后變?yōu)槎嗉?jí)感知特征，實(shí)現(xiàn)了非線性映射.在同一感知空間內(nèi)，將失真圖像和參考圖像的感知特征進(jìn)行對(duì)應(yīng)元素相減，獲得分層的感知差異特征，該過(guò)程可表示為

式中：Fdiff為感知差異特征；Iref為參考圖像；Idist為失真圖像.

1.3 通道注意力特征融合網(wǎng)絡(luò)

在圖像質(zhì)量評(píng)價(jià)過(guò)程中，圖像失真會(huì)導(dǎo)致不同層級(jí)的特征產(chǎn)生差異性的退化，不同層級(jí)特征對(duì)最終圖像質(zhì)量好壞的影響標(biāo)準(zhǔn)十分復(fù)雜，受失真類型和失真程度的影響較大，但無(wú)論在哪一層級(jí)上，參考圖像和失真圖像特征間的更大差異都意味著圖像的失真更加嚴(yán)重.在進(jìn)行特征融合時(shí)，為了使得有效的特征圖得到更大的通道權(quán)重，無(wú)效或效果小的特征圖獲得較小的通道權(quán)重，筆者設(shè)計(jì)了分組通道注意力模塊GCAB，其結(jié)構(gòu)如圖3 所示.由于感知差異特征內(nèi)部不同級(jí)別的特征具有不同的尺度和視覺復(fù)雜度，直接計(jì)算全部通道特征圖的通道注意力權(quán)重的方式具有局限性，受金字塔分割注意力機(jī)制[23]的啟發(fā)，本文所設(shè)計(jì)的模塊將輸入多通道特征按特征等級(jí)進(jìn)行分組，然后利用通道注意力權(quán)重模塊提取不同等級(jí)特征圖的注意力.輸入特征被分為F1、F2、F33 組.每組內(nèi)部的通道注意力特征權(quán)重符Cawgi計(jì)算過(guò)程可以表示為

圖3 分組通道注意力模塊的結(jié)構(gòu)Fig.3 Structure of group channel attention block

在通道注意力權(quán)重模塊CAWeight 中，特征圖先由平均池化和最大池化在空間維度上壓縮，從而將特征映射的空間信息聚合，得到兩個(gè)低維向量，再將向量送入到多層感知機(jī)(multi-layer perceptron，MLP)中，對(duì)低維向量權(quán)重通過(guò)迭代進(jìn)行調(diào)整，并將低維向量對(duì)應(yīng)元素相加，得到注意力向量.利用sigmoid 重新校準(zhǔn)通道方向的注意力向量，合并生成通道注意力權(quán)重，其計(jì)算過(guò)程可表示為

為了實(shí)現(xiàn)不同組別間通道注意信息的交互，在不破壞原有通道注意向量的情況下融合交叉維度向量，即

式中Z 為拼合后的特征向量.在緊湊的分組通道注意力特征權(quán)重符Zi的指導(dǎo)下，跨通道使用軟注意，從而自適應(yīng)地選擇不同的特征級(jí)別.軟賦值權(quán)重計(jì)算式為

式中：n 為通道數(shù)；Softmax 用于獲取全部通道的重新校準(zhǔn)權(quán)重Catti，通過(guò)重新校準(zhǔn)權(quán)重實(shí)現(xiàn)了組別內(nèi)部通道和其他組別通道之間的交互.重新校準(zhǔn)后的分組通道注意力權(quán)重體現(xiàn)了網(wǎng)絡(luò)對(duì)于多通道的分層感知差異特征的關(guān)注程度.然后，將重新校準(zhǔn)權(quán)重與相應(yīng)級(jí)別的特征圖相乘，輸出通道加權(quán)后的特征，計(jì)算過(guò)程可以表示為

經(jīng)過(guò)GCAB 之后通過(guò)堆疊卷積層和池化層，對(duì)加權(quán)后的特征進(jìn)行不斷的降維，最終經(jīng)過(guò)全連接層輸出圖像所對(duì)應(yīng)的客觀質(zhì)量評(píng)估分?jǐn)?shù)Q.筆者選用MAE 損失函數(shù)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行迭代，該過(guò)程可以表示為

式中MOS 代表圖像的主觀評(píng)分標(biāo)簽值.

2 實(shí)驗(yàn)設(shè)置與結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境、數(shù)據(jù)集與訓(xùn)練設(shè)置

2.1.1 數(shù)據(jù)集的準(zhǔn)備

實(shí)驗(yàn)中模型訓(xùn)練和測(cè)試環(huán)境為：Windows10 系統(tǒng)，CPU 型號(hào)為Intel Core i5-9400F，GPU 型號(hào)為NVIDIA GeForce RTX 2080 8 GB，使用的PyTorch版本為1.6.0，CUDA 版本為11.0.

在圖像質(zhì)量評(píng)價(jià)領(lǐng)域的諸多數(shù)據(jù)集中，本文采用3 個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集LIVE[24]、CSIQ[25]、TID2013[26]對(duì)所提出的網(wǎng)絡(luò)進(jìn)行訓(xùn)練和驗(yàn)證.這些數(shù)據(jù)集的標(biāo)簽是平均主觀得分(MOS)或平均主觀得分差(DMOS).較高的MOS 或較低的DMOS 表示相應(yīng)的圖像具有較高的感知質(zhì)量.其中LIVE 數(shù)據(jù)集有5 種失真類型，每種失真類型有4～5 個(gè)失真級(jí)別，共包含由29幅原始圖像生成的779 幅失真圖像.CSIQ 數(shù)據(jù)集有6 種失真類型，每種失真類型有4～5 個(gè)失真級(jí)別，共包含由 30 幅原始圖像生成的 866 幅失真圖像.TID2013 數(shù)據(jù)集具有24 種不同的失真，每種失真有5 種不同的級(jí)別，共含有由25 張參考圖像生成的3 000 張扭曲的圖像，比LIVE 數(shù)據(jù)集和CSIQ 數(shù)據(jù)集大得多，也是所選用的全參考圖像質(zhì)量評(píng)價(jià)的數(shù)據(jù)集中難度最大的一個(gè).

2.1.2 網(wǎng)絡(luò)訓(xùn)練及參數(shù)設(shè)置

所提出的網(wǎng)絡(luò)在PyTorch 中進(jìn)行加速訓(xùn)練，為了優(yōu)化訓(xùn)練過(guò)程，使用ADAM[27]算法對(duì)網(wǎng)絡(luò)參數(shù)向量進(jìn)行更新，ADAM 算法中的超參數(shù)設(shè)置如下：β1＝0.9，β2＝0.999，ε＝1×10-4.學(xué)習(xí)率初始化為1×10-5.在每個(gè)數(shù)據(jù)集中隨機(jī)選擇80%的失真圖像用于訓(xùn)練，20%用于測(cè)試.在訓(xùn)練和測(cè)試過(guò)程中，數(shù)據(jù)集基于參考圖像進(jìn)行了數(shù)據(jù)集分割，避免產(chǎn)生內(nèi)容重疊.

2.2 對(duì)比實(shí)驗(yàn)結(jié)果分析

2.2.1 評(píng)價(jià)指標(biāo)

本文采用了2 個(gè)通用性能評(píng)估指標(biāo)：斯皮爾曼相關(guān)系數(shù)(Spearman rank-order correlation coefficient，SROCC)和皮爾森線性相關(guān)系數(shù)(Pearson linear correlation coefficient，PLCC)對(duì)DAHF-IQA 的性能進(jìn)行客觀的量化分析.其中SROCC 僅與圖像質(zhì)量分?jǐn)?shù)的排序有關(guān)，可以有效衡量IQA 模型的預(yù)測(cè)單調(diào)性，其計(jì)算公式為

式中：L 為數(shù)據(jù)集中失真圖像的數(shù)量；mi為第i 幅失真圖像在數(shù)據(jù)集上的客觀質(zhì)量評(píng)分序列中的分?jǐn)?shù)排名；ni為失真圖像在該數(shù)據(jù)集上的主觀質(zhì)量評(píng)分序列中的分?jǐn)?shù)排名.

與SROCC 所不同，PLCC 并非關(guān)注客觀IQA 方法的預(yù)測(cè)單調(diào)性，而是用于描述主觀預(yù)測(cè)分?jǐn)?shù)與客觀預(yù)測(cè)分?jǐn)?shù)序列的線性相關(guān)性.PLCC 的計(jì)算過(guò)程可以表述為

式中：pi和i分別為數(shù)據(jù)集中第i 幅失真圖像的主觀和客觀圖像質(zhì)量評(píng)分值；pm和m分別為數(shù)據(jù)集中失真圖像的主觀質(zhì)量評(píng)分的平均值以及客觀質(zhì)量評(píng)分的平均值.

對(duì)于以上兩種圖像質(zhì)量評(píng)價(jià)指標(biāo)，其取值范圍均在0～1 之間.指標(biāo)的值更大可以說(shuō)明IQA 方法性能更優(yōu)秀，與人類主觀評(píng)價(jià)在單調(diào)性和線性度等方面的一致性更好.

2.2.2 整體性能對(duì)比與分析

在前文所述的數(shù)據(jù)集上將DAHF-IQA 與一些經(jīng)典的全參考IQA 方法進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1 所示.從表中可以看出所提出的方法在3 個(gè)數(shù)據(jù)集上的SROCC 和PLCC 均高于0.930.相較于考慮信號(hào)保真度的PSNR，DAHF-IQA 在各個(gè)數(shù)據(jù)集上都取得了較大的領(lǐng)先，在TID2013 數(shù)據(jù)集上的SROCC值提升了0.302，從信號(hào)保真度的角度評(píng)價(jià)圖像質(zhì)量的方法未考慮HVS 感知圖像信息的機(jī)制，與人的主觀判斷差距較大，而DAHF-IQA 采用分層感知差異特征表征失真信息，從多個(gè)視覺復(fù)雜度評(píng)估了參考圖像和失真圖像的差異，符合HVS 分層感知的特點(diǎn)，產(chǎn)生了與人類主觀更一致的結(jié)果.相較于考慮圖像結(jié)構(gòu)相似性的SSIM[5]、DOG-SSIM[6]、DSSIM[7]等方法，所提出的方法在3 個(gè)數(shù)據(jù)集上同樣取得了較大的性能提升，這是由于DAHF-IQA 通過(guò)連續(xù)卷積和池化提取圖像局部特征，極大地豐富了感受野，比通過(guò)手工劃分圖像區(qū)域并運(yùn)用統(tǒng)計(jì)方差計(jì)算圖像結(jié)構(gòu)相似性的方式更加有效.相較于在圖像質(zhì)量評(píng)價(jià)過(guò)程中考慮了梯度信息的FSIM[8]、GMSD[9]，以及利用了色度信息的MDSI[10]，DAHF-IQA 在3 個(gè)數(shù)據(jù)集上同樣具有性能優(yōu)勢(shì)，原因在于所設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式從多個(gè)通道對(duì)圖像進(jìn)行特征提取，在輸入階段將圖像視為3 個(gè)顏色通道的輸入，已經(jīng)考慮了圖像色度等信息，同時(shí)在特征下采樣的過(guò)程中，特征通道數(shù)不斷增加，評(píng)判圖像質(zhì)量的角度更加全面.與同樣使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像分層多級(jí)特征的方法DeepSim[13]和DISTS[14]等方法相比，本文方法通過(guò)引入雙重注意力建模人在評(píng)價(jià)圖像質(zhì)量時(shí)的注意力模型，對(duì)圖像特征提取和融合過(guò)程進(jìn)行了改進(jìn)，同樣取得了一定的性能提升，在TID2013 數(shù)據(jù)集上的SROCC 值分別提升了0.092 和0.108.DAHFIQA 在6 項(xiàng)指標(biāo)排名中的5 項(xiàng)位于所有對(duì)比方法的前3 位，充分體現(xiàn)了DAHF-IQA 的性能優(yōu)勢(shì).

表1 不同模型在3個(gè)數(shù)據(jù)集上評(píng)估結(jié)果對(duì)比Tab.1 Comparison of evaluation results of different models on three datasets

為了直觀描述主觀圖像質(zhì)量評(píng)分與客觀圖像質(zhì)量評(píng)分的關(guān)系，筆者繪制了DAHF-IQA 在3 個(gè)數(shù)據(jù)集上的預(yù)測(cè)散點(diǎn)圖，實(shí)驗(yàn)結(jié)果如圖4 所示，圖中藍(lán)色圓點(diǎn)代表數(shù)據(jù)集中的圖像，斜線為數(shù)據(jù)點(diǎn)的線性擬合結(jié)果，橫軸代表客觀圖像質(zhì)量評(píng)價(jià)方法對(duì)失真圖像的客觀預(yù)測(cè)得分，縱軸代表數(shù)據(jù)集中的主觀標(biāo)簽值.從圖中可以看出，相較于SSIM，DAHF-IQA 的散點(diǎn)更好地集中于擬合曲線周圍，離散點(diǎn)數(shù)量大大減少，實(shí)驗(yàn)結(jié)果直觀證明DAHF-IQA 的客觀預(yù)測(cè)質(zhì)量分?jǐn)?shù)與人類主觀評(píng)分的一致性良好.

圖4 SSIM與DAHF-IQA的散點(diǎn)圖Fig.4 Scatter plots of SSIM and DAHF-IQA

2.2.3 不同失真類型的性能對(duì)比

一個(gè)優(yōu)秀的圖像質(zhì)量評(píng)價(jià)方法應(yīng)該對(duì)不同的失真類型均具有良好的魯棒性，TID2013 數(shù)據(jù)集有24種失真類型.為了展示所提出的方法應(yīng)對(duì)不同失真類型圖像的效果，筆者在TID2013 數(shù)據(jù)集上進(jìn)行了針對(duì)不同失真類型的實(shí)驗(yàn)，結(jié)果如表2 所示.可以看出DAHF-IQA 在其中的16 種失真類型上位于所有對(duì)比方法的前2 位.在一些對(duì)比方法表現(xiàn)較差的#7(量化噪聲)、#15(局部塊狀失真)、#16(平均漂移)等失真類型上提升十分明顯.經(jīng)典方法針對(duì)一些特定的失真類型達(dá)到了極高的水平，但往往對(duì)某種特定失真類型表現(xiàn)出較弱的性能，如VSI 在#11(高斯噪聲)和#12(JP2K 失真)等類型上達(dá)到最優(yōu)水平，但它對(duì)#17(對(duì)比度變化)等失真表現(xiàn)很差.SPSIM 由于利用超像素評(píng)價(jià)圖像質(zhì)量，在#24(稀疏采樣與重建)表現(xiàn)較好，但它對(duì)#15(局部塊狀失真)表現(xiàn)較差.DAHF-IQA 采用分層感知的策略表征圖像信息，對(duì)眾多的失真類型無(wú)一表現(xiàn)出過(guò)于明顯的性能劣勢(shì)，證明了本文提出的方法特征表征能力強(qiáng)，特征融合過(guò)程合理，對(duì)于復(fù)雜失真的魯棒性更好.

表2 針對(duì)單一失真類型的SROCC比較Tab.2 Comparison of SROCC for a single distortion type

2.3 空間注意力權(quán)重可視化分析

本文使用的空間注意力模塊可以通過(guò)聚合通道維度的信息生成空間注意力權(quán)重，對(duì)特征圖進(jìn)行空間上的自適應(yīng)加權(quán)處理.空間注意力權(quán)重Ms可以反映經(jīng)過(guò)在數(shù)據(jù)集上訓(xùn)練后，分層特征提取網(wǎng)絡(luò)對(duì)于圖像不同區(qū)域的關(guān)注程度.為了更加直觀地展示空間注意力模塊經(jīng)過(guò)訓(xùn)練迭代所學(xué)到的信息，筆者選取了TID2013 數(shù)據(jù)集中的5 類失真圖像，并對(duì)空間注意力權(quán)重進(jìn)行了可視化，結(jié)果如圖5 和圖6 所示.

圖5 空間注意力權(quán)重可視化1Fig.5 Visualization 1 of spatial attention weight

圖6 空間注意力權(quán)重可視化2Fig.6 Visualization 2 of spatial attention weight

圖5(a)～(e)以及圖6(a)～(e)分別為參考圖像、局部塊狀扭曲失真圖像、高斯模糊失真圖像、JPEG2000 壓縮失真圖像、空間相關(guān)噪聲失真圖像.圖5(f)～(j)以及圖6(f)～(j)分別為特征提取網(wǎng)絡(luò)生成的空間注意力權(quán)重圖.通過(guò)圖5(f)與圖5(g)的對(duì)比結(jié)果以及圖6(f)與圖6(g)的對(duì)比結(jié)果，可以發(fā)現(xiàn)空間權(quán)重圖準(zhǔn)確地定位了紅色方框所標(biāo)注的局部塊狀扭曲失真的位置.同樣，通過(guò)圖 5(f)與圖5(h)的對(duì)比結(jié)果以及圖6(f)與圖6(h)的對(duì)比結(jié)果，可以看出空間注意力權(quán)重圖很好地反映了由于模糊失真而被破壞的圖像紋理所在的區(qū)域.另外，通過(guò)圖5(f)與圖5(i)的對(duì)比結(jié)果以及圖6(f)與圖6(i)的對(duì)比結(jié)果，可以發(fā)現(xiàn)空間注意力權(quán)重圖有效地定位了JPEG2000 壓縮導(dǎo)致的方塊效應(yīng)所在的位置.最后，通過(guò)圖5(f)與圖5(j)的對(duì)比結(jié)果以及圖6(f)與圖6(j)的對(duì)比結(jié)果，可以發(fā)現(xiàn)空間注意力權(quán)重圖中增加的像素點(diǎn)定位了失真圖像中所添加的空間相關(guān)噪聲的位置.這些可視化結(jié)果直觀展現(xiàn)了空間注意力機(jī)制在處理不同失真類型的圖像時(shí)均有顯著效果，可以在特征提取階段建模人類對(duì)于圖像不同空間區(qū)域的關(guān)注度差異，使特征提取網(wǎng)絡(luò)所提取的分層感知特征可以更充分表征圖像的失真信息.

2.4 消融實(shí)驗(yàn)及結(jié)果分析

為了證明所提出的各項(xiàng)改進(jìn)策略的有效性，并評(píng)估各項(xiàng)改進(jìn)措施對(duì)圖像質(zhì)量評(píng)價(jià)方法的提升效果，筆者在CSIQ 數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn).將去除了雙重注意力機(jī)制模塊且僅保留分層特征的網(wǎng)絡(luò)結(jié)構(gòu)作為基線網(wǎng)絡(luò)，在此基礎(chǔ)上逐步增加改進(jìn)策略.

實(shí)驗(yàn)結(jié)果如圖7 所示，可見在基線網(wǎng)絡(luò)情況下，SROCC 值為0.926，已經(jīng)優(yōu)于SSIM、PSNR 等傳統(tǒng)方法，證明了所采用的分層感知表征的有效性.在基線網(wǎng)絡(luò)的基礎(chǔ)上引入空間注意力機(jī)制后，SROCC 達(dá)到0.943，相比基線網(wǎng)絡(luò)提升了0.017，在特征提取階段引入空間注意力機(jī)制有效加強(qiáng)特征提取效果，增強(qiáng)了分層特征對(duì)于失真信息的表征能力.在基線網(wǎng)絡(luò)的基礎(chǔ)上加入分組通道注意力模塊后，SROCC 達(dá)到0.954，相較基線網(wǎng)絡(luò)提升了0.028，印證了所設(shè)計(jì)的分組通道注意力模塊可以有效對(duì)多通道特征融合過(guò)程進(jìn)行優(yōu)化.在使用全部改進(jìn)策略后，SROCC 達(dá)到了最高的0.963.總之，所有改進(jìn)策略均使得IQA 方法表現(xiàn)出高于基線網(wǎng)絡(luò)的性能，證明了每一項(xiàng)改進(jìn)策略的有效性.此外，引入雙重注意力機(jī)制的改進(jìn)策略的組合可以產(chǎn)生優(yōu)于引入單個(gè)注意力的性能，證明了兩種改進(jìn)機(jī)制可以相互促進(jìn)，使圖像質(zhì)量評(píng)價(jià)效果有更大的提升.

圖7 消融實(shí)驗(yàn)結(jié)果Fig.7 Results of ablation study

3 結(jié) 語(yǔ)

本文提出了一種基于雙重注意力機(jī)制和分層感知表征的全參考圖像質(zhì)量評(píng)價(jià)方法.該方法采用分層表征的策略從不同的尺度和視覺復(fù)雜度對(duì)參考圖像和失真圖像的信息進(jìn)行表征，以模擬人類視覺系統(tǒng)在感知圖像信息時(shí)由淺入深的過(guò)程.利用空間注意力機(jī)制對(duì)特征圖的重點(diǎn)區(qū)域進(jìn)行校正，強(qiáng)化了多通道特征對(duì)圖像失真信息的表達(dá)能力；同時(shí)采用分組通道注意力模塊對(duì)分層感知特征的權(quán)重進(jìn)行自適應(yīng)校準(zhǔn)，優(yōu)化了特征融合過(guò)程.可視化實(shí)驗(yàn)及消融實(shí)驗(yàn)的結(jié)果證明，引入雙重注意力機(jī)制可有效提升圖像質(zhì)量評(píng)價(jià)方法的性能.在3 個(gè)標(biāo)準(zhǔn)評(píng)測(cè)數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果證明，本文所提出的DAHF-IQA 與人類主觀評(píng)價(jià)具有更好的一致性.不同類型失真實(shí)驗(yàn)結(jié)果證明，本文提出的方法可以有效應(yīng)對(duì)多種復(fù)雜的圖像失真類型.