史晨陽 林燕丹2)?

1) (復(fù)旦大學(xué)信息科學(xué)與工程學(xué)院， 光源與照明工程系， 上海 200433)

2) (復(fù)旦大學(xué)工程與應(yīng)用技術(shù)研究院， 超越照明研究所， 上海 200433)

圖像質(zhì)量評(píng)價(jià)(IQA)方法需要考慮如何從主觀視覺度量結(jié)果出發(fā)， 設(shè)計(jì)出符合該結(jié)果的客觀圖像質(zhì)量評(píng)價(jià)方法， 應(yīng)用到相關(guān)實(shí)際問題中. 本文從視覺感知特性出發(fā)， 量化色度和結(jié)構(gòu)特征信息， 提出了基于色貌和梯度兩個(gè)圖像特征的圖像質(zhì)量客觀評(píng)價(jià)模型. 兩個(gè)色貌新指標(biāo)(vividness 和depth)是色度特征信息提取算子；梯度算子用來提取結(jié)構(gòu)特征信息. 其中， vividness 相似圖一方面作為特征提取算子計(jì)算失真圖像局部質(zhì)量分?jǐn)?shù)， 另一方面作為圖像全局權(quán)重系數(shù)反應(yīng)每個(gè)像素的重要程度. 為了量化所提模型的主要參數(shù)， 根據(jù)通用模型性能評(píng)價(jià)指標(biāo)， 使用Taguchi 實(shí)驗(yàn)設(shè)計(jì)方法進(jìn)行優(yōu)化. 為了驗(yàn)證該模型的性能， 使用4 個(gè)常用圖像質(zhì)量數(shù)據(jù)庫中的94 幅參考圖像和4830 幅失真圖像進(jìn)行對(duì)比測試， 從預(yù)測精度、計(jì)算復(fù)雜度和泛化性進(jìn)行分析. 結(jié)果表明， 所提模型的精度PLCC 值在4 給數(shù)據(jù)庫中最低實(shí)現(xiàn)0.8455， 最高可以達(dá)到0.9640， 綜合性能優(yōu)于10 個(gè)典型和近期發(fā)表的圖像質(zhì)量評(píng)估(IQA)模型. 研究結(jié)果表明， 所提模型是有效的、可行的， 是一個(gè)性能優(yōu)異的IQA 模型.

1 引 言

隨著各種多媒體通信系統(tǒng)中彩色圖像內(nèi)容和成像設(shè)備的迅速發(fā)展， 傳統(tǒng)的灰度傳輸方式被彩色傳輸所取代. 在這種轉(zhuǎn)變下， 感知圖像質(zhì)量評(píng)估(image quality assessment， IQA)在眾多的視覺數(shù)據(jù)處理應(yīng)用中發(fā)揮了重要的作用， 特別是針對(duì)由于壓縮和傳輸而產(chǎn)生的失真評(píng)價(jià)， 如模糊、塊效應(yīng)和白噪聲等[1]. 在過去的幾十年里， 人們設(shè)計(jì)了多種客觀的IQA 模型來評(píng)估圖像質(zhì)量[2]. 人眼視覺系統(tǒng)(human visual system， HVS)是一種理想的視覺信息接收系統(tǒng)， 也是用主觀判斷[3]評(píng)價(jià)圖像質(zhì)量最可靠的方法. 通常， 主觀評(píng)價(jià)的結(jié)果由平均意見分?jǐn)?shù)(mean opinion scores， MOS)和差異意見分?jǐn)?shù)(differential mean opinion scores， DMOS)表示， 且這兩種主觀評(píng)分是圖像質(zhì)量客觀評(píng)價(jià)性能的評(píng)估依據(jù).

目前， 典型的圖像客觀質(zhì)量評(píng)價(jià)方法主要有：1) 基于數(shù)學(xué)統(tǒng)計(jì)的方法， 如MSE (mean squared error)和PSNR (peak signal to noise ratio)等； 2)基于HVS 感知特性的方法， 如SSIM (structural similarity)， IFC (information fidelity criterion)，F(xiàn)SIM (feature similarity)等； 3) 基于機(jī)器學(xué)習(xí)的方法[4]， 該方法計(jì)算精度較高， 但需要長時(shí)間樣本訓(xùn)練， 且計(jì)算結(jié)果過度依賴訓(xùn)練樣本， 難以應(yīng)用到實(shí)際問題中. 上述基于數(shù)學(xué)統(tǒng)計(jì)的方法擁有較好的運(yùn)行效率， 但準(zhǔn)確性較基于HVS 感知特性的方法存在不足. 在基于HVS 感知特性的方法中， 具有代表性的SSIM[5]方法假設(shè)人類對(duì)于一個(gè)場景的視覺感知可以用提取結(jié)構(gòu)信息進(jìn)行表征， 其主要提取信息包括亮度、對(duì)比度和結(jié)構(gòu). 該方法因其設(shè)計(jì)思路的新穎性和特征信息的計(jì)算方式， 為后續(xù)相關(guān)研究提供很多啟發(fā)和思路. 這種基于SSIM 計(jì)算方式的圖像質(zhì)量評(píng)價(jià)模型也被叫做全參考圖像質(zhì)量評(píng)價(jià)模型. Sheikh 和Bovik[6]提出IFC[7]及其衍生方法VIF (visual information fidelity)， 這兩個(gè)方法通過原始圖像和失真圖像的交互信息保真度進(jìn)行比較和計(jì)算， 雖然其性能較SSIM 有所提升， 但計(jì)算效率較差， 難以廣泛應(yīng)用. 基于SSIM 模型， 其他研究者又提出很多擴(kuò)展模型. 其中具有代表性的模型有： 加入HVS 多尺度特性的MS-SSIM(multiscale SSIM)方法[8]； 根據(jù)圖像全局信息分布， 通過信息加權(quán)的方式得到的IW-SSIM(information content weighted SSIM)方法[9]. Larson 和Chandler[10]基于最明顯失真統(tǒng)計(jì)提出MAD(most apparent distortion algorithm)方法， 該方法的不足是計(jì)算復(fù)雜性較高. Zhang 等[11，12]針對(duì)人類視覺系統(tǒng)對(duì)圖像的理解主要依賴于圖像的底層特征的特點(diǎn)， 提出了兩種新的基于特征相似度的全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)RFSIM (riesz transforms based feature similarity index)和FSIM (feature similarity). 在FSIM 中， 作者針對(duì)灰度圖像將相位一致性(phase congruency)和梯度幅值(gradient magnitude)結(jié)合， 并使用權(quán)重系數(shù)獲得單位質(zhì)量分?jǐn)?shù)； 此外， 為解決彩色圖像評(píng)價(jià)問題， 加入色度算子， 引申出FSIMc模型. 基于梯度結(jié)果， Liu 等[13]提出GSM (gradient similarity metric)方法. 上述提到的RFSIM， FSIMc和GSM 方法的精度較好， 但計(jì)算泛化性能欠佳.近年， 基于對(duì)比度和視覺顯著性， Jia 等[14]提出CVSS (contrast and visual saliency similarity)方法， 該方法評(píng)價(jià)灰度圖像的性能較好， 但是針對(duì)日常生活在的彩色圖像， 性能仍有不足. Yao 等[15]基于圖像內(nèi)容對(duì)比度感知特性， 提出MPCC (IQA model based on the perception of the contrast of image contents)方法.

一般來說， 上述較好的模型在空間和頻率域描述了結(jié)構(gòu)信息、亮度信息、對(duì)比度信息和顏色信息.通過上述分析， 可以發(fā)現(xiàn)目前的IQA 模型在設(shè)計(jì)方法、復(fù)雜性和泛化性能仍有不足. 所以， 本文選擇基于HVS 感知特性構(gòu)建圖像質(zhì)量客觀評(píng)價(jià)模型， 以基本物理理論為基礎(chǔ)， 構(gòu)建具有較高的精度、泛化性和較低計(jì)算復(fù)雜度模型. 目前常見的全參考模型在進(jìn)行特征相似計(jì)算時(shí)(如前文中提到的IW-SSIM， RFSIM， FSIMc， GSM、CVSS 等模型)， 多參照SSIM 的計(jì)算方式， 本文也是參考SSIM進(jìn)行相似計(jì)算全參考圖像質(zhì)量評(píng)價(jià)模型.

通常情況下， 彩色圖像的質(zhì)量可以通過在單個(gè)RGB 通道上使用灰度模型， 然后連接通道分?jǐn)?shù)來評(píng)估. 由于這種方法的精度有限， 因此需要提出更精細(xì)的利用顏色感知特性的模型. 此外， 彩色圖像的質(zhì)量可以用類似于比色法的方法來評(píng)估. 均勻的顏色空間(如CIELAB)可以描述成對(duì)顏色之間感知到的顏色差異[16，17]. CIELAB 中的圓柱極坐標(biāo)與刺激的顏色屬性相關(guān). 因此， 利用該公式可以更好地在像素級(jí)表征彩色圖像的感知失真. 雖然這些公式對(duì)比較均勻色塊很有用， 但需要通過優(yōu)化， 與復(fù)雜的真實(shí)圖像數(shù)據(jù)保持一致. 隨著人眼對(duì)色彩表象的感知能力的不斷提高， 一些新的模型被提出，并利用相似計(jì)算公式對(duì)這些模型進(jìn)行修正. Lee 和Plataniotis[18，19]提出了基于正常三通道色貌指標(biāo)的IQA 方法(即亮度、色調(diào)和色度)， 從而獲得較好的彩色圖像評(píng)價(jià)性能. 因?yàn)樯仓笜?biāo)可以代表彩色圖像在HVS 感知方式下的顏色偏差， 所以為了獲得與主觀評(píng)價(jià)更高的一致性， 可以考慮選擇色貌指標(biāo)評(píng)價(jià)圖像的色彩信息.

前文已提到多種圖像特征信息， 為了獲得圖像的質(zhì)量分?jǐn)?shù)， 需要選擇合適的特征. 本文提出了一種新的基于相似性的IQA 模型， 該模型主要提取圖像的色彩信息和結(jié)構(gòu)信息兩個(gè)部分. 結(jié)合HVS對(duì)于色彩感知和圖像輪廓特征的機(jī)理， 選擇色貌和梯度兩個(gè)指標(biāo)提取上述兩個(gè)特征信息， 并量化得到對(duì)應(yīng)的圖像質(zhì)量分?jǐn)?shù). 目前， 彩色圖像已應(yīng)用于很多領(lǐng)域， 所以色彩信息需要在圖像質(zhì)量評(píng)價(jià)時(shí)重點(diǎn)考慮. 色貌新指標(biāo)(vividness 和depth)[20]考慮色度和亮度的同步變化， 更符合人眼視覺感知的機(jī)理， 可以體現(xiàn)圖像質(zhì)量的色彩特征變化. 除此之外，選擇vividness 指標(biāo)作為所提模型的權(quán)重系數(shù)， 進(jìn)一步突出所提模型對(duì)于色彩信息的重視. 梯度是目前常用的圖像結(jié)構(gòu)特征的提取算子， 作為補(bǔ)充特征， 可以完善所提模型對(duì)于圖像質(zhì)量的評(píng)價(jià). 通過仿真測試， 與其他典型的模型相比， 所提模型具有更低的復(fù)雜度和更好的預(yù)測效果.

2 彩色圖像質(zhì)量評(píng)價(jià)模型

本節(jié)提出基于色貌和梯度相似(color appearance and gradient similarity， CAGS)方法來量化彩色圖像的感知視覺質(zhì)量. 該模型是具有通用性， 對(duì)于常見的彩色和灰度圖像始終表現(xiàn)良好的評(píng)價(jià)效果. 該模型的輸入圖像是兩個(gè)具有相同空間分辨率的RGB 圖像(X和Y)， 分別稱為原始圖像和失真圖像. 同時(shí)， 它們在尺寸上匹配并且正確對(duì)齊.輸出質(zhì)量評(píng)分記為CAGS(X，Y)， 其范圍在0 到1 之間(當(dāng)兩幅圖像完全相同時(shí)， 1 表示最佳質(zhì)量評(píng)分).

該模型包含兩個(gè)相似圖， 一個(gè)是利用CIELAB顏色空間中的色貌相似圖來測量顏色失真， 色貌分布圖可以在像素級(jí)上表示兩幅圖像之間的顏色差異， 與HVS 感知更加兼容[20]. 對(duì)于結(jié)構(gòu)失真， 由于梯度具有的優(yōu)越性[12，13]， 所以可以利用梯度推導(dǎo)出另一個(gè)相似圖. 最后， 基于文獻(xiàn)[12，21]提到的權(quán)重系數(shù)方法， 將上述兩個(gè)相似圖進(jìn)行合并和池化.

2.1 色貌相似圖

圖1 顏色1 和2 的vividness和depth維度表征， 線段長度定義對(duì)應(yīng)屬性[20]Fig. 1. Dime nsions of vividness， and depth， for colors 1 and 2. Line lengths define each attribute[20].

為了更好地表征HVS 感知到的圖像色貌， 可以將原始的RGB 圖像轉(zhuǎn)化為更符合人類視覺的顏色空間， 使用CIELAB 色空間. 由于CIELAB色空間和孟塞爾系統(tǒng)之間緊密聯(lián)系， 同時(shí)分離成亮度(L*)和色度限制了CIELAB在實(shí)際應(yīng)中描述顏色在明度和色度共變時(shí)的有效性， 例如在藝術(shù)、設(shè)計(jì)、比較著色劑效果和彩色圖像評(píng)估等領(lǐng)域. 因此， 兩個(gè)新的CIELAB 色貌指標(biāo)被提出， 即vividness 和depth， 來擴(kuò)展CIELAB作為色貌變量的有效性， 如圖1 所示[20]. 從圖1 中可以發(fā)現(xiàn)， 為了區(qū)分兩個(gè)顏色， 需要對(duì)兩個(gè)顏色的對(duì)應(yīng)參數(shù)進(jìn)行比較， 上述兩個(gè)色貌指標(biāo)除了可以表征亮度和色度特性以外， 還可以作為色貌坐標(biāo)， 計(jì)算顏色差別. 經(jīng)過色空間從RGB 到CIELAB 變換后，X的每個(gè)像素包含三個(gè)顏色分量： 亮度通道L*、紅綠通道a*和藍(lán)黃通道b*， 并通過(1)式和(2)式計(jì)算得到vividness圖和depth圖.

為了量化顏色分量中的視覺失真， 使用了兩個(gè)色度描述符： vividness 相似圖SV和depth 相似圖SD. 根據(jù)(1)式和(2)式， 原始圖像X和失真圖像Y的局部色貌分布圖由V1和D1，V2和D2表示.圖2 是一個(gè)選自LIVE 數(shù)據(jù)庫的例子， 圖2(a)為參考圖像， 圖2(b)為高斯模糊失真后的圖像. 圖2(c)、圖2(d)、圖2(e)和圖2(f)分別是對(duì)應(yīng)參考圖像和失真圖像的V1，V2，D1和D2圖像. 然后， 根據(jù)SSIM相似計(jì)算的方式將被比較的兩幅圖像的色貌相似圖定義為

其中KV和KD都是常量， 增加模型的穩(wěn)定性， 保證分母不為0[5]. 將vividness 相似圖SV和depth相似圖SD通過簡單冪函數(shù)相乘的方式結(jié)合， 可以得到原始圖像X和失真圖像Y的色貌相似圖SCA，如下式所示：

其中α表征兩個(gè)色貌指標(biāo)在色貌相似計(jì)算中的相對(duì)權(quán)重， 區(qū)間是[0， 1]. 較大的α值， 表示vividness在色貌相似計(jì)算中的相對(duì)權(quán)重越高. 為了說明色貌指標(biāo)的有效性， 圖2(g)是連接vividness 相似圖和depth 相似圖的色貌相似圖. 圖2(g)中顏色較深的點(diǎn)， 表征該區(qū)域的圖像色彩差別越大. 從圖2(g)中可以清楚地看到， 色貌相似圖可以有效表征失真圖像與參考圖像之間的差別.

圖2 從LIVE 數(shù)據(jù)庫中提取的典型圖像 (a)為參考圖像； (b)為高斯模糊畸變類型的失真圖像； (c)和(e)分別是參考圖像的Vividness 和Depth 圖； (d)和(f)分別是失真圖像的Vividness 和Depth 圖； (g)是色貌相似圖； (h)為梯度相似圖Fig. 2. Typical images extracted from LIVE： (a) The reference image；(b) the distorted vision of it by Gaussian blur distortion type；(c) and (e) are the vividness and depth map of the reference image， respectively； (d) and (f) are the vividness and depth map of the distorted image； (g) the color appearance similarity map by connecting the vividness and depth similarity map； (h) the gradient similarity map.

2.2 梯度相似圖

目前， 有幾種不同的算子可以計(jì)算圖像梯度，如Prewitt 算子[22]、Sobel 算子[22]、Roberts 算子[23]和Scharr 算子[23]. 離散域梯度幅值的計(jì)算通常是基于上述算子， 并利用差值表示圖像函數(shù). 圖像X的垂直梯度Gy和水平梯度Gx計(jì)算方式是利用卷積得到：Gx=hx ?X和Gy=hy ?X(參見(6)式和(7)式)， 其中hx和hy分別為水平和垂直梯度算子， *表示卷積. 則梯度的定義是G(x)=在提出的IQA 模型中， 這些計(jì)算方式的執(zhí)行效果是相同的. 梯度表征結(jié)構(gòu)信息的原理是通過梯度算子的卷積處理圖像， 保留包含顯著邊緣區(qū)域的信息， 去除平滑區(qū)域的信息.

在本文中， 經(jīng)過前期梯度算子的比較， 發(fā)現(xiàn)Scharr 在本文模型中可以更大程度地提取結(jié)構(gòu)信息， 獲得較好的結(jié)果. 因此， Scharr 算子被選擇用來計(jì)算參考圖像和失真圖像CIELAB 色空間亮度(L*)通道的梯度(G1和G2). 通過這兩個(gè)梯度， 可以得到兩個(gè)圖像的梯度相似圖SG， 其計(jì)算公式如下所示：

其中參數(shù)KG為控制數(shù)值穩(wěn)定性的常數(shù). 梯度相似圖(SG)在文獻(xiàn)[24-26]中被廣泛應(yīng)用， 并研究了它在圖像失真測量中的作用. 如圖2(h)所示， 圖中顏色較深的點(diǎn)， 表征該區(qū)域的圖像結(jié)構(gòu)差別越大.因此， 梯度相似圖是對(duì)HVS 結(jié)構(gòu)信息的一種有效表征.

2.3 CAGS 方法

根據(jù)前文提取的色貌相似和梯度相似圖， 在IQA 任務(wù)中定義一個(gè)新的模型—色貌和梯度相似指標(biāo)(color appearance and gradient Similarity index， CAGS)， 其程序代碼請(qǐng)參見https：//github.com/AlAlien/CAGS， 計(jì)算公式如下所示：

其中Ω表示空間域；Vm(Vm= max (V1，V2))用于表征兩個(gè)圖像的局部重要性權(quán)重.

人們普遍認(rèn)為， 不同的位置對(duì)HVS 圖像質(zhì)量的視覺感知有不同的貢獻(xiàn)， 因此， 在得到最終質(zhì)量分?jǐn)?shù)時(shí)可以考慮視覺系統(tǒng)的注視點(diǎn). 由于人類視覺皮層對(duì)亮度和色度很敏感， 所以某個(gè)位置的vividness 值可以反映出它是一個(gè)可感知的重要點(diǎn)的權(quán)重大小. 由于上述原因， 在提出的模型中選擇色貌分布圖(Vm)來描述局部區(qū)域的視覺重要性. CAGS的計(jì)算過程如圖3 所示. 本文所提模型， 以色貌特征為基礎(chǔ)， 結(jié)合梯度特征， 表征圖像質(zhì)量. 色貌特征處理圖像顏色信息差別， 梯度特征計(jì)算圖像結(jié)構(gòu)信息的不同， 通過顏色信息和結(jié)構(gòu)信息的綜合計(jì)算， 得到圖像的客觀評(píng)分.

在本文中，KV，KD，KG均為常數(shù)， 可以方便地應(yīng)用于所有數(shù)據(jù)庫. 此外，α為了應(yīng)用于所有數(shù)據(jù)庫也需要確定. 在以往的研究中， 試錯(cuò)法是處理這類問題的一種常用方法， 但在時(shí)間和消耗上都不現(xiàn)實(shí). 近年來， Taguchi 等[27]實(shí)驗(yàn)設(shè)計(jì)方法被廣泛應(yīng)用于解決多參數(shù)尋優(yōu)問題. 后續(xù)， 將使用Taguchi方法優(yōu)化模型中的相關(guān)參數(shù).

3 實(shí)驗(yàn)結(jié)果

3.1 性能評(píng)價(jià)標(biāo)準(zhǔn)和參考數(shù)據(jù)庫

圖3 本文提出的IQA 模型CAGS 的計(jì)算過程Fig. 3. Illustration for the computational process of the proposed IQA model CAGS.

表1 IQA 數(shù)據(jù)庫基本信息Table 1. Benchmark test databases for IQA.

在我們的研究中， 選擇4 個(gè)公共數(shù)據(jù)庫進(jìn)行模型驗(yàn)證和比較， 即TID2013[28]， CSIQ[29]， LIVE[30]和IVC[31]， 表1 列出了上述每個(gè)數(shù)據(jù)庫的基本信息. 這4 個(gè)數(shù)據(jù)庫是IQA 研究中最常用的集合， 涵蓋了現(xiàn)實(shí)應(yīng)用中常見的各種失真. 它們用主觀的評(píng)價(jià)來表征圖像質(zhì)量(MOS 或DMOS)， 可以作為設(shè)計(jì)的模型進(jìn)行合理的基準(zhǔn)測試. 上述數(shù)據(jù)庫中的失真圖像是從一組原始圖像處理得到的， 這些原始圖像反映了足夠的顏色復(fù)雜性和邊緣/紋理細(xì)節(jié)的多樣性， 包括人類、自然場景和人造物體的圖片.

為了評(píng)估一個(gè)模型是否能夠預(yù)測人類觀察者的感知， 將使用客觀評(píng)價(jià)模型計(jì)算出的圖像質(zhì)量分?jǐn)?shù)與觀察者所評(píng)定的值進(jìn)行擬合. IQA 模型常用的四個(gè)評(píng)價(jià)標(biāo)準(zhǔn)是： Spearman 秩序相關(guān)系數(shù)(Spearman rank-order correlation coefficient， SROCC)、Pearson 線性相關(guān)系數(shù)(Pearson linear correlation coefficient， PLCC)、Kendall 秩序相關(guān)系數(shù)(Kendall rank-order correlation coefficient， KROCC)和均方根誤差(root mean squared error， RMSE)[2，32].

為了計(jì)算PLCC 和RMSE 指標(biāo)， 采用logistic回歸得到與主觀判斷相同的量表值：

其中β1， ···，β5都是擬合參數(shù)，s代表原始IQA 分?jǐn)?shù)，p(s)是回歸后的IQA 分?jǐn)?shù)[30].

3.2 參數(shù)優(yōu)化

Taguchi 方法是Taguchi 和Konishi 共同開發(fā)的一種有效的實(shí)驗(yàn)設(shè)計(jì)工具[33]. 根據(jù)前文的分析，為了適用于所有數(shù)據(jù)庫，KV，KD，KG和α是CAGS模型優(yōu)化的主要變量參數(shù). 根據(jù)相關(guān)研究， 將各影響因素的水準(zhǔn)數(shù)及各水準(zhǔn)的值選取在適當(dāng)?shù)姆秶鷥?nèi)， 如表2 所列. 對(duì)于每個(gè)參數(shù)， 都選擇了3 個(gè)值.兩個(gè)色貌相似度對(duì)應(yīng)參數(shù)應(yīng)該確定相同的水準(zhǔn)值，這些值的選擇基于文獻(xiàn)[34]. 為了得到梯度相似圖的最佳相關(guān)系數(shù)， 可以在[0， 100]中設(shè)置KG[26]， 因此定義水準(zhǔn)值為10， 50 和100. 相對(duì)權(quán)重參數(shù)α，應(yīng)該限制在[0， 1]， 所以選 擇0.1， 0.5， 1 作 為水準(zhǔn)值.

選取參數(shù)和水準(zhǔn)后， 在直交表中進(jìn)行組合實(shí)驗(yàn)， 如表3 所列. 采用試錯(cuò)法進(jìn)行實(shí)驗(yàn)需要34次，而利用Taguchi 方法設(shè)計(jì)實(shí)驗(yàn)只需進(jìn)行9 次即可，大大減少了實(shí)驗(yàn)時(shí)間. 直交表配置為L9(34)型. 選擇IVC 數(shù)據(jù)庫作為優(yōu)化參數(shù)的參考集， 表征量化質(zhì)量特征的SROCC， RMSE 值及其S/N(signal to noise)值均包含在表3 中. 較大的S/N值表征其對(duì)應(yīng)的水準(zhǔn)具有較好評(píng)價(jià)效果. 對(duì)于SROCC 來說， 性能具有望大性， 即數(shù)值越大表征效果越好.因此， SROCC 的S/N值(ε1)可以根據(jù)(11)式計(jì)算. 相反， RMSE 應(yīng)該越少越好. 因此， RMSE 的S/N值(ε2)可以根據(jù)(12)式計(jì)算.

表2 變量參數(shù)及其控制水準(zhǔn)Table 2. Influence factors and level setting for CAGS.

表3 采用L9(34)直交表的實(shí)驗(yàn)設(shè)計(jì)及IVC 數(shù)據(jù)庫測試結(jié)果Table 3. Design with a L9(34) orthogonal array for IVC database.

其中qi表示與第i次試驗(yàn)對(duì)應(yīng)的SROCC 和RMSE的值；t為每次試驗(yàn)的總數(shù).

特定的參數(shù)組合對(duì)SROCC 和RMSE 兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn)的影響可以通過計(jì)算該特定參數(shù)的水準(zhǔn)三次實(shí)驗(yàn)相應(yīng)的平均S/N值來評(píng)估. 不同水準(zhǔn)值對(duì)應(yīng)的S/N值可以在圖4 中清晰地識(shí)別出來， 其值越高表明該水準(zhǔn)對(duì)應(yīng)的評(píng)價(jià)效果越好.

從圖4 可以得到下述直觀合理的結(jié)果. 例如，較小的參數(shù)C值， 可以獲得較大的S/N值； 同時(shí)因其對(duì)應(yīng)的S/N值變化幅度最大， 表明其影響程度也是最大的. 對(duì)于其他3 個(gè)參數(shù)， 最佳組合為A2-B2-D1. 對(duì)于參數(shù)C， 由于其影響程度最大， 需要將其進(jìn)一步調(diào)整為更合適的值， 以達(dá)到更好的擬合程度.

圖4 SROCC 和RMSE 對(duì)應(yīng)的不同水準(zhǔn)的S/N 值Fig. 4. S/N ratio of different levels for SROCC and RMSE.

圖5 不同KG 值對(duì)模型性能的影響Fig. 5. Performance of different KG values.

使用本文提出的CAGS 方法， 通過計(jì)算四種數(shù)據(jù)庫在不同KG下SROCC， PLCC 和KROCC的加權(quán)平均值(根據(jù)每個(gè)數(shù)據(jù)庫中失真圖像的數(shù)量分配不同的權(quán)重)和直接平均值， 確定KG值， 如圖5 所示. 從圖5 中可獲得最佳的KG值， 所以最終CAGS 模型的最佳參數(shù)是KV=KD= 0.02，KG= 50，α= 0.1.

4 討 論

4.1 IQA 模型的性能對(duì)比

一個(gè)理想的IQA 模型應(yīng)該具有良好的性能，并且在不同類型的失真情況下具有良好的一致性. 本節(jié)將所提出的模型與其他典型的模型進(jìn)行了比較，包 括SSIM[5]， IW-SSIM[9]、IFC[6]， VIF[7]， MAD[10]，RFSIM[11]， FSIMc[12]和GSM[13]， 以及近年提出的方法CVSS(2018)[14]和MPCC(2020)[15]. 表4 中，4 個(gè)數(shù)據(jù)庫中每個(gè)評(píng)價(jià)指標(biāo)對(duì)應(yīng)最好的3 個(gè)結(jié)果使用粗體突出顯示. 此外， 根據(jù)Wang 和Li[9]， 4 個(gè)數(shù)據(jù)庫的SROCC， PLCC 和KROCC 結(jié)果的加權(quán)和直接平均值也如表4 所列， 以評(píng)估整體性能. 每個(gè)數(shù)據(jù)庫的權(quán)值是根據(jù)數(shù)據(jù)庫中包含的失真圖像的數(shù)量確定的.

從表4 可以看出， 我們提出的模型對(duì)所有數(shù)據(jù)庫的性能都較好. 特別是， CAGS 模型在LIVE 和IVC 數(shù)據(jù)庫的排名前三名. 對(duì)于TID2013， CAGS模型具有競爭性， 與前三的差距很小. 對(duì)于CSIQ，CAGS 模型僅比前三模型表現(xiàn)稍差. 雖然MAD，CVSS 和MPCC 可以從CSIQ 中得到最好的結(jié)果，但是它們的性能對(duì)其他三個(gè)數(shù)據(jù)庫不如我們提出的模型的性能. 此外， CAGS 模型還是三個(gè)指標(biāo)加權(quán)和直接平均值的前三名. 綜上， 獲得前三數(shù)量最多的模型是FSIM (16 次)， CAGS (15 次)和CVSS(14 次). 而且， 對(duì)于所有數(shù)據(jù)庫的SROCC 和PLCC值均大于0.8316， 所以可以認(rèn)為CAGS 模型既具有較高的性能， 又具有較好的泛化性. 特別的， 由于MPCC 模型代碼未開源， 相關(guān)數(shù)據(jù)有所缺失，所以表4 僅提供可查閱的MPCC 相關(guān)數(shù)據(jù). 但與MPCC 模型性能的比較中可以發(fā)現(xiàn)， CAGS模型與MPCC 模型的性能差距較小， 與當(dāng)前最新的研究結(jié)果相比具有競爭性.

表4 對(duì)比不同IQA 模型的4 個(gè)數(shù)據(jù)庫性能Table 4. Performance comparison of IQA models on four databases.

為了更好地說明所提出的IQA 模型在不同類型的失真情況下具有更好的性能， 使用TID2013數(shù)據(jù)庫的散點(diǎn)圖進(jìn)行比較， 如圖6 所示. 從圖6 中可以看出， 與其他模型相比， CAGS 模型的客觀評(píng)分與主觀評(píng)分之間存在著高度的相關(guān)性.

出現(xiàn)上述結(jié)果的原因主要有： 1) CAGS 模型結(jié)合HVS 特性， 同時(shí)提取色度信息和結(jié)構(gòu)信息，并利用權(quán)重系數(shù)表征局部重要性， 所以其較其他模型具有較好的性能和泛化性； 2) 在顏色信息提取方面， 考慮亮度和色度的協(xié)同變化， 提高了顏色信息提取的準(zhǔn)確性， 更好的表征圖像失真程度.

4.2 IQA 模型對(duì)不同失真類型的性能對(duì)比

一個(gè)穩(wěn)定IQA 模型需要產(chǎn)生良好的性能， 才能對(duì)每種失真類型進(jìn)行一致的預(yù)測. 在本節(jié)中， 對(duì)每種失真類型的模型性能進(jìn)行了對(duì)比， 結(jié)果如表5所列. 選擇SROCC 作為評(píng)價(jià)指標(biāo)， 因?yàn)槠渌笜?biāo)(PLCC， RMSE 和KROCC)具有類似的效果. 由于IVC 數(shù)據(jù)庫中每種失真類型的失真圖像的數(shù)量太少， 無法用統(tǒng)計(jì)的方式表達(dá)結(jié)果. 因此， 選取了三個(gè)主要數(shù)據(jù)庫中的35 組失真圖像. 對(duì)于每個(gè)數(shù)據(jù)庫和每種失真類型， 排名前三SROCC 值的IQA模型的結(jié)果用粗體突出顯示. 進(jìn)一步， 對(duì)于最新MPCC 模型， 與CAGS 對(duì)比TID2013 數(shù)據(jù)庫PLCC的結(jié)果， 如圖7 所示.

對(duì)比分析表5 和圖7 中不同模型對(duì)于不同失真類型的失真圖像評(píng)價(jià)結(jié)果， 可得： 1) CAGS 模型與其他典型IQA 模型相比具有明顯的統(tǒng)計(jì)優(yōu)勢，總體效果最好. 特別是， CAGS 模型在TID2013和LIVE 數(shù)據(jù)庫的排名前三的數(shù)量較多. 而對(duì)于CSIQ， CAGS 模型具有競爭性， 與前三的差距很小. 獲得前三數(shù)量最多的模型是CAGS (21 次)，CVSS (19 次)和FSIM (14 次). 2) 對(duì)于35 種失真類型， 每個(gè)模型的評(píng)價(jià)結(jié)果各有優(yōu)勢， 其中SROCC值大于0.95 的數(shù)量最多模型是CAGS(14 次)和CVSS(14 次). 對(duì)于上述兩個(gè)模型， 其最小SROCC值分別是0.3711 和0.2614， 且SROCC 值小于0.5都是2 個(gè)類型(CTC 和CCS). 所以， CAGS 模型的波動(dòng)程度更小， 性能更加穩(wěn)定， 具有較好的泛化性. (3)對(duì)比CAGS 和MPCC 模型， SROCC 值排名前三次數(shù)分別是21 次和6 次； SROCC 值大于0.95 次數(shù)分別是14 次和9 次； 在TID2013 數(shù)據(jù)庫不同失真類型的PLCC 值， 在24 種失真類型中，CAGS 在15 種失真類型中具有較高的精度； CAGS和MPCC 的最小SROCC 值分別是0.3711 和0.5396； 對(duì)比結(jié)果表明CAGS 比最新的MPCC 模型具有明顯的精度優(yōu)勢， 而MPCC 具有更好的泛化性. 綜上可以得出結(jié)論， 與其他IQA 模型相比，CAGS 模型預(yù)測的客觀評(píng)分與主觀評(píng)價(jià)高度相關(guān).

圖6 基于TID2013 數(shù)據(jù)庫的主觀MOS 與IQA 模型計(jì)算結(jié)果擬合對(duì)比 (a) IW-SSIM； (b) IFC； (c) VIF； (d) MAD； (e) RFSIM；(f) FSIMc； (g) GSM； (h) CVSS； (i) CAGSFig. 6. Scatter plots of subjective MOS against scores calculated by IQA models’ prediction for TID2013 databases： (a) IW-SSIM；(b) IFC； (c) VIF； (d) MAD； (e) RFSIM； (f) FSIMc； (g) GSM； (h) CVSS； (i) CAGS.

圖7 CAGS 與MPCC 在TID2013 數(shù)據(jù)庫種不同失真類型PLCC 值對(duì)比Fig. 7. PLCC comparison of different distortion types between CAGS and MPCC on TID2013.

通過以上對(duì)于不同失真類型的圖像質(zhì)量評(píng)價(jià)精度的對(duì)比分析， 表明CAGS 模型在不同數(shù)據(jù)庫中和在不同失真類型中都具有較好的精度和泛化性.

表5 IQA 模型的不同失真類型SROCC 值對(duì)比Table 5. SROCC values of IQA models for different types of distortions.

4.3 不同模型間計(jì)算復(fù)雜性對(duì)比

IQA 模型的運(yùn)行效率也是一個(gè)重要的考慮因素. 使用2.5 GHz Intel Core i5 CPU 和8 G RAM的型號(hào)電腦比較不同模型的運(yùn)行時(shí)間， 軟件平臺(tái)為MATLAB R2013b. 表6 列出了每個(gè)模型用于比較一對(duì)彩色圖像的時(shí)間， 分辨率為512 × 512(選自IVC 數(shù)據(jù)庫). 由此表6 結(jié)果可知， CGGS 模型具有適中的計(jì)算復(fù)雜度. 具體來說， 它比一些具有良好預(yù)測性能的現(xiàn)代IQA 模型運(yùn)行得更快， 如IW-SSIM， IFC， VIF 和MAD. 由于CAGS 模型僅包含色度信息和結(jié)構(gòu)信息兩個(gè)方面的內(nèi)容， 即可有效評(píng)價(jià)圖像質(zhì)量， 同時(shí)無需循環(huán)計(jì)算， 所以CAGS模型計(jì)算復(fù)雜度較低.

表6 計(jì)算復(fù)雜度對(duì)比Table 6. Time cost comparisons.

5 結(jié) 論

我們提出了一種新穎且性能良好的IQA 模型，即CAGS 模型. 該模型由色貌相似圖和梯度相似圖組成， 分別表征了顏色失真和結(jié)構(gòu)失真. 其中，色貌相似圖由vividness 和depth 兩部分組成， 這兩部分是表征顏色特征的兩個(gè)新指標(biāo). 同時(shí)， 選取vividness 圖作為權(quán)重系數(shù)， 定義局部圖像的重要性. 最后， 根據(jù)權(quán)重關(guān)系將上述兩個(gè)相似圖合并得到所提模型. 模型中的主要參數(shù)通過Taguchi 方法確定， 使用該方法可大大減少實(shí)驗(yàn)時(shí)間. 為了證明所提出的模型的優(yōu)異性能， 使用4 個(gè)常用的IQA 數(shù)據(jù)庫共94 幅參考圖像和4830 幅失真圖像進(jìn)行測試， 與另外10 個(gè)最典型的或被近期發(fā)表的IQA 模型的結(jié)果進(jìn)行了比較. 結(jié)果表明， CAGS 模型的精度PLCC 在4 給數(shù)據(jù)庫中最低實(shí)現(xiàn)0.8455，最高可以達(dá)到0.9640， 綜合性能優(yōu)于其他IQA 模型. 與其他計(jì)算復(fù)雜度適中的模型相比， CAGS 模型具有更好的預(yù)測精度和泛化性. 未來， 我們將進(jìn)一步優(yōu)化模型， 提升預(yù)測精度和泛化性能.