王 斌，蔣圣超，卓浩澤，李泰霖，王飛風(fēng)

（廣西電網(wǎng)有限責(zé)任公司電力科學(xué)研究院 廣西電力裝備智能控制與運(yùn)維重點(diǎn)實(shí)驗(yàn)室，廣西 南寧 530023）

0 引言

近年來，隨著多媒體技術(shù)的發(fā)展，作為傳遞信息主要方式之一的數(shù)字圖像在人們的日常生活中被大量采集。然而，圖像在采集、壓縮、處理、傳輸和顯示等生命周期中會(huì)不可避免地產(chǎn)生各種各樣的失真，從而降低圖像的質(zhì)量[1]。因此，對(duì)一張圖像進(jìn)行質(zhì)量評(píng)估的算法研究成為當(dāng)前計(jì)算機(jī)視覺領(lǐng)域內(nèi)的重要研究方向。

圖像質(zhì)量評(píng)價(jià)（Image Quality Assessment，IQA）算法的研究可以應(yīng)用于許多場(chǎng)合，如圖像壓縮、圖像恢復(fù)、照片增強(qiáng)、圖像重建、圖像合成和圖像篩選等[2]。根據(jù)對(duì)參考圖像的依賴程度，IQA還可以進(jìn)一步分為全參考（Full-Reference）、半?yún)⒖迹≧educed-Reference）和無參考（No-Reference）這3種類型[3]。其中，無參考圖像質(zhì)量評(píng)價(jià)（No-Reference Image Quality Assessment，NR-IQA）由于不需要任何原始參考圖像的信息，僅僅使用待測(cè)失真圖像自身的特征進(jìn)行相應(yīng)質(zhì)量分?jǐn)?shù)的預(yù)測(cè)[4]，相較于全參考和半?yún)⒖几鼮殪`活。

傳統(tǒng)的Transformer模型最早應(yīng)用在自然語(yǔ)言處理（Natural Language Processing，NLP）領(lǐng)域，雖然在計(jì)算機(jī)視覺領(lǐng)域也能使用，但是效果不夠顯著。這是因?yàn)門ransformer的輸入與輸出維度相同，無法做到類似卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）一樣提取層級(jí)特征，導(dǎo)致該模型在視覺任務(wù)上達(dá)不到CNN的效果[5]。由微軟亞洲研究院于2021年提出的Swin Transformer（以下簡(jiǎn)稱Swin-T）模型是Transformer模型的變體[6]。Swin-T模型利用Patch Merging操作，實(shí)現(xiàn)了類似CNN的層級(jí)操作，同時(shí)利用基于窗口的自注意力機(jī)制來減少計(jì)算的復(fù)雜度，從而使得Swin-T模型能夠在各類視覺任務(wù)中大放異彩?；谏鲜龇治?，利用Swin-T模型作為特征提取網(wǎng)絡(luò)，提出一種結(jié)合全局-局部特征的雙通道NR-IQA算法。

1 圖像預(yù)處理

為了能夠利用雙通道網(wǎng)絡(luò)同時(shí)提取圖像的全局特征和局部特征，使得算法能夠應(yīng)用于任意尺寸的輸入圖像，需要對(duì)輸入圖像進(jìn)行圖像預(yù)處理操作。首先，對(duì)任意尺寸輸入圖像進(jìn)行Resize操作，得到尺寸為224×224×3的全局通道輸入圖像，以便全局通道在訓(xùn)練時(shí)能夠關(guān)注圖像的全局信息。其次，局部通道圖像預(yù)處理需要將任意尺寸的輸入圖像均勻劃分為7×7個(gè)圖像塊，然后從每一個(gè)圖像塊中心取出尺寸為32×32的圖像補(bǔ)丁。最后，將這些圖像補(bǔ)丁按照原本處于圖像中的位置進(jìn)行重組，獲得一個(gè)尺寸為224×224×3的重組圖。

2 雙通道網(wǎng)絡(luò)

文章考慮了真實(shí)圖像失真的非均勻性，利用兩個(gè)通道同時(shí)提取全局特征和局部特征。由于局部特征能夠反映圖片中失真的非均勻情況，利用雙通道網(wǎng)絡(luò)學(xué)習(xí)的全局-局部特征更能反映真實(shí)圖像質(zhì)量的情況，通過回歸預(yù)測(cè)后得到的分?jǐn)?shù)更能貼合人們的視覺感知。

2.1 特征提取網(wǎng)絡(luò)

Swin-T模型由Swin Transformer Block組成，而Block總是成對(duì)出現(xiàn)，如圖1所示。Block1中采用基于窗口的自注意力機(jī)制（Windows Multihead Self Attention，W-MSA），Block2中采用基于移位窗口的自注意力機(jī)制（Shift Windows Multihead Self Attention，SW-MSA）。

圖1 成對(duì)出現(xiàn)的Swin Transformer Block

2個(gè)連續(xù)的Swin Transformer Block的具體計(jì)算過程為

式中：為第l個(gè)Block中的W-MSA模塊的輸出特征，MW-SA為W-MSA模塊，PLN為層歸一化（Layer Norm，LN）處理，zl-1為第l-1個(gè)Block中的多層感知器（Multilayer Perceptron，MLP）模塊的輸出特征。

式中：zl為第1個(gè)Block中的MLP模塊的輸出特征，LMP為MLP模塊。

式中：為第l+1個(gè)Block中的SW-MSA模塊的輸出特征，MSW-SA為SW-MSA模塊。

式中：zl+1為第l+1個(gè)Block中的MLP模塊的輸出特征。

由式（1）～式（4）可知，輸入經(jīng)過LN和W-MSA后得到，經(jīng)過LN和MLP后得到zl,再經(jīng)過LN和SW-MSA得到，最后通過LN和MLP得到輸出zl+1。

在Swin-T模型中，可調(diào)參數(shù)有Swin Transformer Block的個(gè)數(shù)、特征圖的深度，即通道數(shù)、多頭注意力中的頭數(shù)以及窗口大小。文章使用Swin-T網(wǎng)絡(luò)作為特征提取模塊，輸入圖片尺寸為224×224×3，具體網(wǎng)絡(luò)參數(shù)如表1所示。

表1 Swin-T特征提取網(wǎng)絡(luò)結(jié)構(gòu)信息

2.2 回歸預(yù)測(cè)網(wǎng)絡(luò)

回歸預(yù)測(cè)網(wǎng)絡(luò)用于完成特征到質(zhì)量分?jǐn)?shù)的映射。雙通道各自提取的全局-局部特征均是長(zhǎng)度為768的特征向量，將兩者連接起來形成一個(gè)1×1×1 536的特征向量，然后經(jīng)過回歸預(yù)測(cè)網(wǎng)絡(luò)得到最終的圖像質(zhì)量預(yù)測(cè)分?jǐn)?shù)。這個(gè)回歸預(yù)測(cè)網(wǎng)絡(luò)由1 536×384和384×1這兩個(gè)全連接層組成。

2.3 雙通道網(wǎng)絡(luò)架構(gòu)

雙通道網(wǎng)絡(luò)設(shè)計(jì)如圖2所示。首先，針對(duì)原圖像分別進(jìn)行Resize操作和局部重組操作，將所得的兩個(gè)尺寸均為224×224×3的新圖像作為兩個(gè)通道的輸入圖像。其次，經(jīng)全局網(wǎng)絡(luò)通道和局部網(wǎng)絡(luò)通道獲得長(zhǎng)度為768的圖像全局特征向量和圖像局部特征向量。再次，通過Cat操作將兩個(gè)特征向量拼接成長(zhǎng)度為1 536的圖像質(zhì)量特征向量。最后，通過兩層全連接層組成的回歸預(yù)測(cè)網(wǎng)絡(luò)完成圖像質(zhì)量特征到分?jǐn)?shù)的映射。

圖2 結(jié)合全局-局部特征的雙通道網(wǎng)絡(luò)

雙通道網(wǎng)絡(luò)進(jìn)行圖像質(zhì)量分?jǐn)?shù)預(yù)測(cè)的整體過程為

式中：I為輸入圖像，G(*)為Resize操作，L(*)為圖像局部分割重組操作，E(*)為特征提取，F(xiàn)(*)為Cat操作，ff為圖像的全局與局部相結(jié)合的特征，R(*)為回歸預(yù)測(cè)的全連接層，Q為最后所得的圖像質(zhì)量分?jǐn)?shù)。

3 實(shí)驗(yàn)結(jié)果與數(shù)據(jù)分析

3.1 數(shù)據(jù)集與評(píng)估指標(biāo)

LIVEC數(shù)據(jù)集于2016年由美國(guó)得克薩斯大學(xué)實(shí)驗(yàn)室建立。該實(shí)驗(yàn)組利用市面上常見的移動(dòng)設(shè)備進(jìn)行圖像的拍攝采集，從而建立共計(jì)1 162張含有豐富的真實(shí)失真信息的圖像。平均意見得分（Mean Opinion Score，MOS）是一種常用的主觀質(zhì)量評(píng)價(jià)方法，常用于視頻、圖像等的質(zhì)量評(píng)價(jià)。不同MOS下的LIVEC數(shù)據(jù)集圖像如圖3所示。

圖3 LIVEC數(shù)據(jù)集圖像

SPAQ數(shù)據(jù)集由江西財(cái)經(jīng)大學(xué)提出，制作者利用66種不同的智能手機(jī)進(jìn)行圖像的拍攝采集工作，從而建立共含有11 125張圖像的真實(shí)失真圖像數(shù)據(jù)集，如圖4所示。這兩個(gè)數(shù)據(jù)集中圖像的質(zhì)量分?jǐn)?shù)標(biāo)簽均采用MOS值，取值范圍為[0,100]，值越小表示圖像失真越嚴(yán)重，圖像質(zhì)量也就越差。

圖4 SPAQ數(shù)據(jù)集圖像

評(píng)價(jià)指標(biāo)采用斯皮爾曼秩相關(guān)系數(shù)（Spearman Rank Order Coefficient，SROCC）、皮爾森線性相關(guān)系數(shù)（Pearson Linear Correlation Coefficient，PLCC）、肯德爾秩次相關(guān)系數(shù)（Kendall Rank-Order Correlation Coefficient，KROCC）與均方根誤差（Root Mean Squared Error，RMSE），分別用于評(píng)價(jià)模型預(yù)測(cè)的準(zhǔn)確性、單調(diào)性、相關(guān)一致性與偏差程度。其中，SROCC是用來評(píng)估圖像標(biāo)簽值與預(yù)測(cè)值之間單調(diào)關(guān)系的指標(biāo)，PLCC是用來評(píng)估圖像標(biāo)簽值與預(yù)測(cè)值之間線性相關(guān)性的指標(biāo)，兩者取值范圍均為[0，1]，數(shù)值越接近1表示算法的圖像質(zhì)量評(píng)估準(zhǔn)確性越高。

3.2 實(shí)驗(yàn)配置

實(shí)驗(yàn)平臺(tái)的配置如表2所示。根據(jù)平臺(tái)硬件設(shè)備性能，本實(shí)驗(yàn)將訓(xùn)練集與測(cè)試集比例設(shè)為8∶2，網(wǎng)絡(luò)輸入圖像大小設(shè)為224×224，網(wǎng)絡(luò)訓(xùn)練的批尺寸設(shè)為32，迭代次數(shù)設(shè)為150，初始學(xué)習(xí)率設(shè)為0.000 1，更新學(xué)習(xí)率的乘法因子設(shè)為0.9。

表2 實(shí)驗(yàn)平臺(tái)相關(guān)配置

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證所提出的全局-局部雙通道算法的有效性，根據(jù)全局-局部通道的有無設(shè)計(jì)3組算法進(jìn)行消融實(shí)驗(yàn)。其中，G_IQA算法是針對(duì)全局特征的基于Swin-T模塊的單通道圖像質(zhì)量評(píng)價(jià)算法，L_IQA算法是針對(duì)局部特征的基于Swin-T模塊的單通道圖像質(zhì)量評(píng)價(jià)算法，GL_IQA算法是無特征融合模塊的雙通道圖像質(zhì)量評(píng)價(jià)算法。實(shí)驗(yàn)數(shù)據(jù)如表3所示。

表3 在真實(shí)失真數(shù)據(jù)集上的消融實(shí)驗(yàn)

從表3實(shí)驗(yàn)結(jié)果可知，在兩個(gè)數(shù)據(jù)集上采用GL_IQA算法，SROCC和PLCC指標(biāo)均獲得消融實(shí)驗(yàn)中的最佳數(shù)值。

3.4 對(duì)比實(shí)驗(yàn)

選擇具有代表性且使用深度學(xué)習(xí)的算法，分析其在LIVEC數(shù)據(jù)集和SPAQ數(shù)據(jù)集上的性能表現(xiàn)進(jìn)行對(duì)比實(shí)驗(yàn)，如TS-CNN、HOSA、DIQaM-NR、CORNIA 、CaHDC和NSSADNN算法。實(shí)驗(yàn)結(jié)果如表4所示。

表4 在LIVEC與SPAQ數(shù)據(jù)集上的性能對(duì)比

根據(jù)表4的結(jié)果可知，在LIVEC數(shù)據(jù)集和SPAQ數(shù)據(jù)集上，所提算法無論是SROCC指標(biāo)還是PLCC指標(biāo)均取得最佳指標(biāo)值，說明所提出的結(jié)合全局-局部特征的雙通道算法對(duì)真實(shí)圖像進(jìn)行質(zhì)量評(píng)估效果顯著。

4 結(jié)語(yǔ)

針對(duì)目前大多數(shù)IQA算法在面對(duì)真實(shí)失真數(shù)據(jù)集時(shí)效果不佳的原因進(jìn)行分析，并基于分析結(jié)果提出結(jié)合全局-局部特征的雙通道NR-IQA算法。相關(guān)實(shí)驗(yàn)表明,所提算法在對(duì)具有失真非均勻性的真實(shí)圖像進(jìn)行質(zhì)量評(píng)估時(shí)效果顯著，并且與人的主觀視覺有著較高的一致性。同時(shí)，該算法在獲取局部失真特征時(shí)對(duì)原圖進(jìn)行均勻的分塊和截取，但是真實(shí)圖像的內(nèi)容分布并不均勻，因此未來工作可以考慮在進(jìn)行局部失真重組時(shí)引入顯著性檢測(cè)算法，從而獲取更具有代表性的局部失真重組圖。