曹玉東，蔡希彪

（遼寧工業(yè)大學(xué)電子與信息工程學(xué)院，遼寧錦州 121001）

（?通信作者電子郵箱lgcaixb@163.com）

0 引言

圖像質(zhì)量評(píng)價(jià)（Image Quality Assessment，IQA）是圖像處理與圖像理解中的一個(gè)熱點(diǎn)問(wèn)題，在圖像編碼以及視頻監(jiān)控中都有重要的應(yīng)用，因此，建立一個(gè)有效的圖像質(zhì)量評(píng)價(jià)模型至關(guān)重要。依據(jù)利用參考圖信息的情況，圖像評(píng)價(jià)模型通常分為全參考（Full-reference）、半?yún)⒖迹⊿emi-reference）和無(wú)參考（No-reference）三種類(lèi)型［1］。全參考圖像質(zhì)量評(píng)價(jià)（Full-Reference Image Quality Assessment，F(xiàn)R-IQA）方法需要參考未失真原圖像的信息來(lái)評(píng)估圖像的質(zhì)量分?jǐn)?shù)；無(wú)參考圖像質(zhì)量評(píng)價(jià)（No-Reference Image Quality Assessment，NR-IQA）方法不利用任何參考信息，又稱(chēng)為盲圖像質(zhì)量評(píng)價(jià)（Blind Image Quality Assessment，B-IQA）方法；半?yún)⒖紙D像質(zhì)量評(píng)價(jià)是部分利用參考圖的信息。綜上，F(xiàn)R-IQA 方法最大的優(yōu)勢(shì)在于可以基于失真圖像和參考圖像之間的不同來(lái)量化視覺(jué)敏感性，這能有效模擬人類(lèi)視覺(jué)系統(tǒng)（Human Visual System，HVS）。由于NR-IQA 方法缺乏參考信息，只能從圖像的統(tǒng)計(jì)特性和特征學(xué)習(xí)出發(fā)，盡力提取符合HVS 系統(tǒng)特性的特征，而HVS 的特性又很復(fù)雜，使得NR-IQA 的性能很難與FR-IQA相媲美。

NR-IQA方法直接評(píng)價(jià)待測(cè)圖像的質(zhì)量，是符合實(shí)際需求的［1］，但是效果不如FR-IQA 方法好。文獻(xiàn)［2］分別提取參考圖像和失真圖像的相位一致性、梯度、視覺(jué)顯著性和對(duì)比度特征，采用機(jī)器學(xué)習(xí)的方法自動(dòng)預(yù)測(cè)圖像質(zhì)量分?jǐn)?shù)。文獻(xiàn)［3］提出一種專(zhuān)屬任務(wù)類(lèi)型的人臉圖像質(zhì)量評(píng)價(jià)模型，最終目的是想解決由于人臉圖像質(zhì)量差帶來(lái)的低識(shí)別率問(wèn)題。文獻(xiàn)［4］提出了一種針對(duì)非對(duì)稱(chēng)失真的立體圖像質(zhì)量評(píng)價(jià)算法，利用自適應(yīng)的支持向量回歸模型將感知特征向量映射成質(zhì)量評(píng)價(jià)分?jǐn)?shù)。2014 年Goodfellow 等［5］提出生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN），采用對(duì)抗思想和深度學(xué)習(xí)技術(shù)生成樣本數(shù)據(jù)，此后GAN 模型在學(xué)術(shù)界和工業(yè)界得到高度重視并不斷演進(jìn)，在遷移學(xué)習(xí)、對(duì)抗樣本、表示學(xué)習(xí)、超分辨率和數(shù)據(jù)增強(qiáng)等方面表現(xiàn)出色，被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、人機(jī)交互、自然語(yǔ)言處理等領(lǐng)域。但是現(xiàn)有的GAN模型［6-8］不能完全獲取到模糊圖像丟失的細(xì)節(jié)和紋理信息，所以生成高質(zhì)量的新樣本圖像仍舊是一件比較困難的事情［9］。文獻(xiàn)［10］做了比較成功的嘗試。

由于FR-IQA方法能利用未失真的參考圖，大多數(shù)的研究工作圍繞失真圖像和未失真圖像的差異展開(kāi)。例如，經(jīng)典的結(jié)構(gòu)相似索引測(cè)度算法（Structural SIMilarity index，SSIM）［11］把HVS 敏感性融入結(jié)構(gòu)信息中，從亮度、對(duì)比度和結(jié)構(gòu)三方面計(jì)算2 張圖片的結(jié)構(gòu)相似性，模擬人類(lèi)視覺(jué)過(guò)程，判斷圖像的失真程度。此后，很多學(xué)者又在此基礎(chǔ)上進(jìn)行改進(jìn)［12-14］。

NR-IQA由于缺乏可參考的圖像，只能從失真圖像本身出發(fā)，提取圖像的統(tǒng)計(jì)特征。文獻(xiàn)［15］根據(jù)失真圖像丟失的信息，在空間域中不同的子集上計(jì)算區(qū)域互信息，進(jìn)而來(lái)預(yù)測(cè)質(zhì)量分?jǐn)?shù)；文獻(xiàn)［16］將RGB 圖像轉(zhuǎn)換到Y(jié)CbCr 顏色空間，提取關(guān)鍵點(diǎn)特征，用于圖像質(zhì)量評(píng)價(jià)；文獻(xiàn)［17］基于結(jié)構(gòu)、自然屬性和感知特性提取具有統(tǒng)計(jì)性的度量值，結(jié)合無(wú)監(jiān)督學(xué)習(xí)方法實(shí)現(xiàn)圖像質(zhì)量評(píng)價(jià)；文獻(xiàn)［18］用局部質(zhì)量圖的梯度方差來(lái)預(yù)測(cè)整體圖像的質(zhì)量；文獻(xiàn)［19］在4 個(gè)不同的尺度上計(jì)算DLM 特征，然后通過(guò)SVR 預(yù)測(cè)質(zhì)量分?jǐn)?shù)；文獻(xiàn)［20］認(rèn)為在小波域上圖像的失真會(huì)影響小波變換的子帶系數(shù)，因此用廣義高斯分布和daubechies 小波基變換的系數(shù)來(lái)描述失真特性；Kim 等［21］使用4 種傳統(tǒng)的FR-IQA 算法得到圖像塊的質(zhì)量分?jǐn)?shù)，以此作為基準(zhǔn)進(jìn)行有監(jiān)督學(xué)習(xí)。

NR-IQA 方法通常都假設(shè)失真會(huì)改變自然圖像的某種特性，但僅依靠手工特征很難提取到完整準(zhǔn)確的特征，不便于模擬HVS 系統(tǒng)。近幾年，隨著以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)的進(jìn)步，自動(dòng)特征學(xué)習(xí)逐漸代替了手工特征提取，出現(xiàn)了一些基于深度學(xué)習(xí)IQA 的算法。例如，文獻(xiàn)［22］將圖像分割為圖像塊，結(jié)合不同塊的權(quán)重，通過(guò)卷積層提取失真圖像和未失真原圖像的特征以及它們特征的差異，基于深度學(xué)習(xí)模型預(yù)測(cè)質(zhì)量分?jǐn)?shù)；Hou 等［23］提出了一個(gè)基于深度學(xué)習(xí)的B-IQA 評(píng)價(jià)模型，通過(guò)回歸網(wǎng)絡(luò)將失真的程度分為5 個(gè)等級(jí)，預(yù)測(cè)圖像的質(zhì)量分?jǐn)?shù)。

由于缺乏參考圖像，NR-IQA很難將失真的程度量化為一個(gè)具體的分?jǐn)?shù)，導(dǎo)致最終的評(píng)判不夠準(zhǔn)確。本文提出一種基于增強(qiáng)型學(xué)習(xí)的無(wú)參考圖像質(zhì)量評(píng)價(jià)方法（Enhanced Adversarial Learning based Image Quality Assessment，EALIQA），通過(guò)改進(jìn)GAN 模型，加強(qiáng)對(duì)抗學(xué)習(xí)，生成更可靠的模擬仿真圖充當(dāng)“參考圖”。

1 基于增強(qiáng)對(duì)抗學(xué)習(xí)的無(wú)參考圖像評(píng)價(jià)

IQA 算法就是用一種客觀的和計(jì)算機(jī)可執(zhí)行的方法預(yù)測(cè)圖像質(zhì)量的分?jǐn)?shù)。由于現(xiàn)實(shí)應(yīng)用中很難獲得對(duì)應(yīng)的原始圖像，因此無(wú)參考圖像評(píng)價(jià)算法最具應(yīng)用價(jià)值。GAN 是一種新興的深度生成模型（deep generative model），需要同時(shí)訓(xùn)練兩種模型：生成模型G 和判別模型D，由生成模型和判別模型的相互博弈產(chǎn)生輸出。在訓(xùn)練G 的過(guò)程中，以隨機(jī)噪聲作為輸入生成難以區(qū)分的樣本試圖欺騙判別模型D，最大限度地提高D 犯錯(cuò)的可能性［5］。也就是在定義了生成模型G 和判別模型D 的情況下，通過(guò)對(duì)抗學(xué)習(xí)完成訓(xùn)練。訓(xùn)練GAN 模型是比較困難的，除了對(duì)算力要求較高外，經(jīng)常面臨梯度消失的困擾，采用ReLU（Rectified Linear Unit）激活函數(shù)可以緩解這一問(wèn)題。

提出的EAL-IQA 主要包括3 個(gè)步驟：1）首先利用失真的圖像和未失真的原圖像作為輸入，通過(guò)增強(qiáng)對(duì)抗學(xué)習(xí)訓(xùn)練GAN 模型；2）利用失真圖及其標(biāo)簽和已經(jīng)訓(xùn)練好的GAN（輸出模擬仿真圖像），訓(xùn)練圖像評(píng)價(jià)系統(tǒng)中的圖像特征提取模型和回歸網(wǎng)絡(luò)模型；3）在測(cè)試階段，將待測(cè)圖像輸入NR-IQA 網(wǎng)絡(luò)系統(tǒng)，輸出質(zhì)量評(píng)價(jià)分?jǐn)?shù)。步驟1）和步驟2）為訓(xùn)練過(guò)程，步驟3 為測(cè)試過(guò)程。綜上，改進(jìn)的GAN 結(jié)構(gòu)通過(guò)增強(qiáng)型對(duì)抗學(xué)習(xí)，能獲取更可靠的仿真圖。

無(wú)參考圖像質(zhì)量評(píng)價(jià)可以被看作回歸問(wèn)題，提取圖像特征，輸入回歸模型，然后輸出圖像質(zhì)量評(píng)價(jià)分?jǐn)?shù)。如果無(wú)參考圖像質(zhì)量評(píng)價(jià)算法沒(méi)有參考圖，則無(wú)法模擬人的視覺(jué)比較過(guò)程。提出的無(wú)參考EAL-IQA 算法利用由深度卷積神經(jīng)網(wǎng)構(gòu)建的GAN 模擬生成了仿真“參考圖”，使得評(píng)價(jià)過(guò)程類(lèi)似FRIQA，能模擬人的視覺(jué)比較過(guò)程。HVS 是復(fù)雜的非線性系統(tǒng)，深度神經(jīng)網(wǎng)絡(luò)有類(lèi)似特性。

為了進(jìn)一步提升NR-IQA 方法的性能，設(shè)計(jì)了雙輸出的生成對(duì)抗網(wǎng)絡(luò)模型，通過(guò)加強(qiáng)對(duì)抗學(xué)習(xí)訓(xùn)練，生成更可靠的仿真圖，提高圖像質(zhì)量評(píng)價(jià)系統(tǒng)的性能。

1.1 生成模型

改進(jìn)后的G網(wǎng)絡(luò)模型架構(gòu)如圖1所示。使用GAN 模型的目的是通過(guò)對(duì)抗學(xué)習(xí)生成可靠的新樣本圖像（模擬仿真圖）Ir'，彌補(bǔ)圖像評(píng)價(jià)系統(tǒng)沒(méi)有參考圖的缺陷。生成器模型G 的結(jié)構(gòu)以文獻(xiàn)［24］中卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，僅僅依靠生成的仿真圖Ir'訓(xùn)練GAN 模型，效果并不理想，然后在其末端增加1個(gè)2層的卷積神經(jīng)網(wǎng)絡(luò)，將僅能輸出仿真圖Ir'的單輸出網(wǎng)絡(luò)改進(jìn)為還能輸出顯著圖Is'的雙輸出網(wǎng)絡(luò)，根據(jù)文獻(xiàn)［11］提出的SSIM 算法，通過(guò)學(xué)習(xí)失真圖Id和對(duì)應(yīng)的未失真原圖Ir之間的結(jié)構(gòu)相似性，輸出結(jié)構(gòu)相似圖（簡(jiǎn)稱(chēng)為SSIM 圖）Is，SSIM圖能夠描述圖像的失真特性。生成網(wǎng)絡(luò)學(xué)習(xí)模擬仿真圖Ir'和失真圖Id之間的相似性，輸出顯著圖Is'。在GAN 中，無(wú)論是輸出的仿真圖Ir'還是顯著圖Is'，都描述由失真帶來(lái)的變形，不同之處在于仿真圖學(xué)習(xí)如何還原圖像的細(xì)節(jié)、邊緣和紋理等信息，顯著圖學(xué)習(xí)失真圖像Id與模擬仿真圖Ir'之間的差別。SSIM 算法在設(shè)計(jì)時(shí)充分考慮了HVS的特性，在對(duì)抗學(xué)習(xí)中引入SSIM 的另一個(gè)目的就是希望提出的無(wú)參考評(píng)價(jià)方法能更好地模擬人的視覺(jué)比較過(guò)程。

1.2 判別網(wǎng)絡(luò)模型

改進(jìn)的雙輸出生成器模型G同時(shí)生成模擬仿真圖Ir'和顯著圖Is'，根據(jù)生成對(duì)抗網(wǎng)絡(luò)的博弈思想，需要判別模型D分辨2組圖像：未失真的原圖像和仿真圖像、顯著圖和SSIM圖。如果只設(shè)計(jì)1 個(gè)判別器同時(shí)分辨2 組圖像，效果會(huì)很差，進(jìn)而影響生成器G 的性能。如圖1 所示，采用2 個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN）架構(gòu)的判別器模型D1和D2完成此任務(wù)，即判別模型D1用于區(qū)分未失真原圖Ir和仿真圖Ir'，判別模型D2用于區(qū)分顯著圖Is'和結(jié)構(gòu)相似映射圖Is。通過(guò)增強(qiáng)對(duì)抗訓(xùn)練后，訓(xùn)練好的生成器模型G 能生成更逼真的仿真圖。如果D1和D2分辨結(jié)果經(jīng)常出錯(cuò)，說(shuō)明生成器生成仿真圖和原圖極其相似，對(duì)抗學(xué)習(xí)取得成功。改進(jìn)后的GAN 可以輸出令人滿(mǎn)意的模擬仿真圖，充當(dāng)NR-IQA算法中的參考圖。

圖1 改進(jìn)的GAN模型結(jié)構(gòu)Fig.1 Structure of improved GAN model

1.3 損失函數(shù)

給定一系列的失真圖像Id以及隨機(jī)噪聲矢量v，由生成模型G得到對(duì)應(yīng)的新樣本圖像（即為模擬仿真圖）Ir'，原圖Ir和模擬仿真圖Ir'之間的距離度量損失函數(shù)為：

式中：G 為生成器函數(shù)，其輸入為失真圖像Id、參考圖像Ir和隨機(jī)噪聲v，度量距離時(shí)使用l1范數(shù)生成的圖像更清晰，比使用l2范數(shù)的效果好［25］。對(duì)抗損失函數(shù)為：

將距離損失函數(shù)和對(duì)抗損失函數(shù)合并，生成器模型期望合并后的損失函數(shù)值最小化，判別器模型期望合并后的損失最大化，即：

式中：λ 為學(xué)習(xí)系數(shù)，判別器函數(shù)D1學(xué)習(xí)分辨參考圖像Ir和模擬參考圖像Ir'，最小化Ltotal(G，D1)能夠增加判別模型的識(shí)別難度。輸入失真圖像Id和對(duì)應(yīng)的參考圖Ir，得到SSIM 映射圖Is，生成器模型輸出顯著圖Is'，距離度量損失函數(shù)為：

對(duì)抗損失函數(shù)為：

類(lèi)似的，將距離損失函數(shù)和對(duì)抗損失函數(shù)合并，則有：

綜上，最終的損失函數(shù)為：

借鑒文獻(xiàn)［5］的方法，對(duì)生成模型G 和判別模型D1+D2輪流應(yīng)用梯度下降法，即采用minibatch SGD 和Adam 算子優(yōu)化模型參數(shù)［25］。

1.4 IQA回歸網(wǎng)絡(luò)模型

基于深度學(xué)習(xí)技術(shù)建IQA 網(wǎng)絡(luò)，旨在模擬人類(lèi)視覺(jué)過(guò)程，給出更可靠的圖像的評(píng)測(cè)分?jǐn)?shù)。IQA 主要由特征提取模型、特征融合以及回歸網(wǎng)絡(luò)三個(gè)部分組成，圖2 給出了IQA 網(wǎng)絡(luò)模型的測(cè)試流程。其中2 個(gè)特征提取模型的結(jié)構(gòu)是一致的，以VGG 卷積網(wǎng)絡(luò)為原型，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要包含卷積層和池化層，其主要特點(diǎn)是非全連接和共享權(quán)值，在卷積和池化的過(guò)程中包含了對(duì)圖像樣本進(jìn)行特征提取的過(guò)程?；貧w網(wǎng)絡(luò)是由2 個(gè)卷積層構(gòu)成的全連接結(jié)構(gòu)，通過(guò)訓(xùn)練優(yōu)化模型參數(shù)。由1.1節(jié)和1.2節(jié)，已經(jīng)訓(xùn)練好的生成網(wǎng)絡(luò)G也作為回歸網(wǎng)絡(luò)模型的一部分。將失真圖像、失真圖像的真實(shí)質(zhì)量分?jǐn)?shù)作為標(biāo)簽，作為特征提取模型和回歸網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。

圖2 IQA回歸網(wǎng)絡(luò)測(cè)試流程Fig.2 Test flowchart of IQA regression network

假設(shè)失真圖像提取的特征矢量為f1，仿真圖的特征矢量為f2，則輸出的融合圖像特征矢量為{ f1，f2，f1-f2}。測(cè)試時(shí)，輸入待測(cè)圖像以后，質(zhì)量回歸網(wǎng)絡(luò)會(huì)輸出預(yù)測(cè)分?jǐn)?shù)?？偨Y(jié)提出的EAL-IQA算法，描述如下：

輸入 失真圖Id；

輸出 失真圖Id的評(píng)價(jià)分?jǐn)?shù)。

訓(xùn)練階段：

1）利用訓(xùn)練集中的失真圖Id和對(duì)應(yīng)的未失真原圖Ir生成SSIM映射圖，用于對(duì)抗學(xué)習(xí)。

2）向GAN 模型輸入失真圖Id，通過(guò)對(duì)抗學(xué)習(xí)生成仿真圖Ir'和顯著圖Is'。

3）利用已經(jīng)訓(xùn)練好的生成網(wǎng)絡(luò)G，輸入失真圖Id，訓(xùn)練IQA的圖像特征提取模型和回歸網(wǎng)絡(luò)模型。

測(cè)試階段：

1）輸入待測(cè)失真圖Id；

2）提取待測(cè)失真圖Id，輸出仿真圖Ir'的融合特征，送入IQA回歸網(wǎng)絡(luò)，輸出圖像質(zhì)量評(píng)價(jià)分?jǐn)?shù)。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

實(shí)驗(yàn)使用的數(shù)據(jù)集為L(zhǎng)IVE［26］、TID2008［27］和TID2013［28］。LIVE 數(shù)據(jù)集總計(jì)有25 幅參考圖像，982 幅失真圖像包含白噪聲、高斯模糊、瑞利衰減、JPEG2000、JPEG 等5種失真類(lèi)型，圖像質(zhì)量用范圍為［0，100］的平均主觀得分差異（Differential Mean Opinion Score，DMOS）值表示，161 人參加主觀實(shí)驗(yàn)評(píng)分。數(shù)據(jù)集TID2018按照失真類(lèi)型分為17類(lèi)，總計(jì)1 700幅圖像，838 人參加主觀實(shí)驗(yàn)評(píng)分。數(shù)據(jù)集TID2013 總計(jì)3 000 幅圖像，包括25 幅參考圖像和24 種失真類(lèi)型，源自不同的加性高斯噪聲、稀疏采樣重構(gòu)等，給出了峰值信噪比、結(jié)構(gòu)相似度等信息，931 人參加主觀實(shí)驗(yàn)評(píng)分。TID2008 和TID2013 的圖像質(zhì)量用范圍為［0，9］的主觀得分差異（Mean Opinion Score，MOS）值表示。圖像文件的命名方式為“參考圖像號(hào)_失真類(lèi)型_失真水平.bmp”。圖3為采自該數(shù)據(jù)庫(kù)的樣本圖像。

圖3 數(shù)據(jù)集TID2013的樣例Fig.3 Samples of TID2013 dataset

2.2 評(píng)價(jià)測(cè)度

評(píng)價(jià)測(cè)度采用均方根誤差（Root Mean Squared Error，RMSE）、斯皮爾曼秩相關(guān)系數(shù)（Spearman Rank Order Coefficient，SROCC）和皮爾森線性相關(guān)系數(shù)（Pearson Linear Correlation Coefficient，PLCC）［29］。RMSE 預(yù)測(cè)相關(guān)的一致性，RMSE 的值越小說(shuō)明算法的預(yù)測(cè)分?jǐn)?shù)與人的主觀評(píng)價(jià)分?jǐn)?shù)越接近；SROCC 指標(biāo)度量評(píng)測(cè)算法的單調(diào)性，計(jì)算結(jié)果越接近1，表明與主觀評(píng)測(cè)結(jié)果越接近；LCC 指標(biāo)使用相對(duì)距離度量預(yù)測(cè)值與主觀評(píng)分在非線性回歸后的線性相關(guān)性，計(jì)算結(jié)果越接近0，表明相關(guān)性越弱。3 個(gè)評(píng)價(jià)測(cè)度都用于衡量算法性能與人類(lèi)視覺(jué)評(píng)測(cè)結(jié)果的符合程度。SROCC的計(jì)算公式為：

式中：n表示數(shù)據(jù)對(duì)的數(shù)量，rxi和ryi分別表示xi和yi在各自數(shù)據(jù)樣本的排名。PLCC的計(jì)算公式為：

將提出的無(wú)參考EAL-IQA算法和文獻(xiàn)［30］列出的具有代表性的FR-IQA方法在LIVE數(shù)據(jù)集上做性能比較，實(shí)驗(yàn)結(jié)果如表1 所示?？梢钥闯觯禾岢龅腅AL-IQA 算法在LIVE 數(shù)據(jù)庫(kù)上表現(xiàn)出與主觀評(píng)價(jià)很好的一致性，RMSE性能已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)列出的其他全參考比較算法，SROCC和PLCC性能指標(biāo)已經(jīng)超過(guò)大部分全參考算法，諸如RFSIM（Riesz transforms based Feature SIMilarity index）［31］、NQM（Noise Quality Measure index）［32］、IFC（Information Fidelity Criterion index）［33］、UQI（Universal Quality Index）［34］。提出的EAL-IQA 的SROCC 值略低于MSSSIM（Multi-Scale Structural SIMilarity）全參考算法［35］，與FSIM（Feature Similarity Index Method）［13］、VIF（Visual Information Fidelity index）［36］方法接近。與無(wú)參考算法相比，全參考算法的質(zhì)量預(yù)測(cè)結(jié)果更符合人的感知特性［31］，本文的目標(biāo)之一是希望借助對(duì)抗學(xué)習(xí)生成模擬的參考圖像，從而像全參考算法那樣，在功能上實(shí)現(xiàn)“模擬”人的視覺(jué)主觀評(píng)價(jià)過(guò)程，這也是將提出的無(wú)參考算法和全參考算法做性能比較的原因。

將提出的無(wú)參考EAL-IQA 算法和文獻(xiàn)［1］列出的具有代表性的同類(lèi)無(wú)參考IQA 方法在LIVE 數(shù)據(jù)集上進(jìn)行性能比較。由表2 可以看出，提出的算法的性能已經(jīng)超過(guò)同類(lèi)算法。SROCC 性能比MVG（MultiVariate Gaussian model）算法［17］提高6個(gè)百分點(diǎn)，比BIQI（Blind Image Quality Index）［20］高10個(gè)百分點(diǎn)，比 ILNIQE（Integrated Local Natural Image Quality Evaluator）［37］提高7個(gè)百分點(diǎn)，比BRISQUE（dubbed Blind/Referenceless Image Spatial QUality Evaluator）［38］提高2 個(gè)百分點(diǎn)，比CNN（Convolutiona Neural Networks）［39］和HOSA（High Order Satistics Aggregation）算法［40］提高1 個(gè)百分點(diǎn)。PLCC 性能比CORNIA（COdebook Representation for No reference Image Assessment）［1］提高1個(gè)百分點(diǎn)?？偨Y(jié)表1和表2，在LIVE 數(shù)據(jù)集上，本文算法雖有優(yōu)勢(shì)，但是并不明顯，分析原因可能是LIVE數(shù)據(jù)庫(kù)較小，容易導(dǎo)致本文算法產(chǎn)生過(guò)擬合，造成測(cè)試性能偏低，如果采用數(shù)據(jù)增強(qiáng)的辦法，會(huì)失去比較的公平性，考慮在更大的數(shù)據(jù)庫(kù)TID2008和TID2013進(jìn)行實(shí)驗(yàn)，后續(xù)的實(shí)驗(yàn)也驗(yàn)證了上述分析的正確性。

表1 在LIVE數(shù)據(jù)集上與全參考算法的性能比較Tab.1 Comparison between EAL-IQA and full-reference algorithms on LIVE dataset

表2 在LIVE數(shù)據(jù)集上EAL-IQA與無(wú)參考算法的性能比較Tab.2 Comparison between EAL-IQA and no-reference algorithms on LIVE dataset

將提出的算法與文獻(xiàn)［10］和文獻(xiàn)［41］列出的具有代表性的算法在TID2008 數(shù)據(jù)庫(kù)上繼續(xù)做對(duì)比實(shí)驗(yàn)，結(jié)果如表3 所示。在該數(shù)據(jù)集上，提出算法的性能明顯優(yōu)于傳統(tǒng)的SSIM［11］、FSIM［13］、IW-SSIM（Information content Weighted SSIM index）［14］、VIF 算法［36］、VSI（Visual Saliency-induced Index）［41］，略微優(yōu)于H-IQA（Hallucinated-Image Quality Assessment）算法［10］、CNN［39］和SOM（Semantic Obviousness Metric）［42］。3 個(gè)算法中，SOM算法采用了關(guān)聯(lián)圖像感知評(píng)測(cè)的語(yǔ)義級(jí)特征，CNN算法采用了卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，H-IQA 算法使用了GAN 和深度卷積神經(jīng)網(wǎng)絡(luò)。

深度學(xué)習(xí)技術(shù)的特征之一是需要大數(shù)據(jù)支撐才能取得較好的效果，然后在更大的數(shù)據(jù)庫(kù)TID2013上繼續(xù)做實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果參見(jiàn)表4。此次增加3 個(gè)具有代表性的基于深度學(xué)習(xí)的算 法，其 中VI（Vgg and Inception net）［43］是使用 了VGG 和Inception 融合深度神經(jīng)網(wǎng)和感知視覺(jué)特性的圖像質(zhì)量評(píng)價(jià)算法、DIQaM-NR（Deep Image Quality assessment Metric-No Refenence）被稱(chēng)為無(wú)參考的加權(quán)平均深度圖像質(zhì)量評(píng)價(jià)算法和 WaDIQaM-NR （Weighted-average Deep Image Quality assessment Metric-No Refenence）算法［22］被稱(chēng)為無(wú)參考的深度圖像質(zhì)量評(píng)價(jià)算法。DIQaM-NR 和WaDIQaM-NR 算法都用了深度卷積神經(jīng)網(wǎng)絡(luò)，共計(jì)10 個(gè)卷積層、5 個(gè)池化層，也使用ReLU作激活函數(shù)，被作者統(tǒng)稱(chēng)為DeepIQA。

表3 在TID2008數(shù)據(jù)集上幾種算法的性能比較Tab.3 Performance comparison of several algorithms on TID2008 dataset

表4 在TID2013數(shù)據(jù)集上幾種算法的性能比較Tab.4 Performance comparison of several algorithms on TID2013 dataset

由表4 可以看出：在較大的數(shù)據(jù)庫(kù)TID2013 上，5 個(gè)基于深度學(xué)習(xí)技術(shù)的評(píng)價(jià)算法的性能優(yōu)于傳統(tǒng)算法，在5 個(gè)基于深度學(xué)習(xí)的算法中，提出的EAL-IQA 算法又最具優(yōu)勢(shì)。一般來(lái)說(shuō)，在大型數(shù)據(jù)庫(kù)上，采用了深度學(xué)習(xí)技術(shù)的圖像質(zhì)量評(píng)價(jià)方法的性能要好于傳統(tǒng)算法，可能是目前的數(shù)據(jù)量還不能滿(mǎn)足DIQaM-NR 和WaDIQaM-NR 算法中使用的深度神經(jīng)網(wǎng)絡(luò)，導(dǎo)致其性能偏弱一些。

目前，深度學(xué)習(xí)技術(shù)是人工智能領(lǐng)域的主流技術(shù)，基于深度神經(jīng)網(wǎng)絡(luò)模型的生成對(duì)抗網(wǎng)絡(luò)被認(rèn)為是最具前景的算法之一。在TID2013數(shù)據(jù)集的24種失真類(lèi)型［28］上，對(duì)VI、H-IQA和EAL-IQA 三種使用了深度學(xué)習(xí)技術(shù)的算法做了逐一比較，其中H-IQA 和EAL-IQA 均使用了生成對(duì)抗網(wǎng)絡(luò)技術(shù)，圖4 給出了三種算法的比較結(jié)果。

圖4 三種算法在TID2013不同失真類(lèi)型上的比較Fig.4 Comparison of three algorithms on different distortion types of TID2013 dataset

從圖中可以看出，在第1、2、4、5、6、8、11、12、15、16、17、18、21、23和24種失真類(lèi)型上，提出的EAL-IQA算法明顯優(yōu)于H-IQA 算法；在第3、7、9 和20 種失真類(lèi)型上提出的算法劣于H-IQA 算法。同VI 算法相比，提出算法在第15、16、17、18 種失真類(lèi)型上占有優(yōu)勢(shì)，在第3、7、9、11、12、13、14、19、20、21、23和24種失真類(lèi)型上遜于VI方法。EAL-IQA、H-IQA和VI的SROCC 性能值分別為0.89、0.87 和0.81，提出的EAL-IQA 算法在總體性能上占據(jù)優(yōu)勢(shì)?？偨Y(jié)已有的文獻(xiàn)報(bào)道和實(shí)驗(yàn)結(jié)果，目前還沒(méi)有哪一種圖像質(zhì)量評(píng)價(jià)算法能在所有的失真類(lèi)型上都優(yōu)于其他算法，因此設(shè)計(jì)通用型、高性能的圖像質(zhì)量評(píng)價(jià)算法將是以后相關(guān)研究工作的目標(biāo)。

3 結(jié)語(yǔ)

為了提升無(wú)參考圖質(zhì)量評(píng)價(jià)方法的性能，本文采用目前流行的深度學(xué)習(xí)技術(shù)設(shè)計(jì)了雙輸出生成對(duì)抗網(wǎng)絡(luò)模型，訓(xùn)練期間，利用未失真原圖模擬生成可靠的仿真圖和顯著圖；判別模型則負(fù)責(zé)分辨仿真圖和未失真原圖、顯著圖和SSIM 圖。通過(guò)增強(qiáng)型學(xué)習(xí)獲取可靠的模擬仿真圖，彌補(bǔ)NR-IQA在測(cè)試中沒(méi)有參考圖的缺陷。由于圖像失真類(lèi)型豐富，每種類(lèi)型的特性千差萬(wàn)別，如何提高IQA模型的通用性是今后的研究重點(diǎn)。

致謝 感謝馬遙同學(xué)在論文初期階段所做的研究工作。