王 蔓,顏 佳,吳敏淵

(武漢大學(xué) 電子信息學(xué)院,武漢 430072) (*通信作者電子郵箱yanjia2011@gmail.com)

基于視覺相似性的去色圖像質(zhì)量評(píng)估

王 蔓,顏 佳*,吳敏淵

(武漢大學(xué) 電子信息學(xué)院,武漢 430072) (*通信作者電子郵箱yanjia2011@gmail.com)

針對(duì)基于結(jié)構(gòu)相似性的去色圖像質(zhì)量評(píng)估算法沒有充分利用圖像的梯度特征且采用的對(duì)比度相似度特征會(huì)忽略圖像連續(xù)顏色塊的一致性導(dǎo)致算法與人類視覺主觀判定有較大出入的問題,提出一種基于圖像視覺相似性的去色圖像質(zhì)量評(píng)估算法——C2G-VSIM。該算法以彩色圖像為參考圖像,由不同去色算法產(chǎn)生的與之相關(guān)的去色灰度圖像作為測(cè)試圖像,對(duì)參考圖像以及測(cè)試圖像進(jìn)行顏色空間轉(zhuǎn)換,并且進(jìn)行高斯濾波,充分考慮了圖像亮度相似度和結(jié)構(gòu)相似度特征,并在此基礎(chǔ)上首先引入一種新的顏色一致性對(duì)比特征以促使C2G-VSIM對(duì)全局顏色對(duì)比度特征進(jìn)行捕捉,其次引入梯度幅值特征至C2G-VSIM中以提高算法對(duì)圖像梯度特征的敏感度,最后聯(lián)合得到圖像質(zhì)量評(píng)估因子C2G-VSIM。在Cadík的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,C2G-VSIM與人類視覺主觀評(píng)定的等級(jí)相關(guān)性在準(zhǔn)確度和主觀評(píng)判喜愛度上分別達(dá)到了0.815 5和0.763 4,相對(duì)于基于彩色圖和灰度圖的結(jié)構(gòu)相似性(C2G-SSIM)評(píng)估算法在未增加較大耗時(shí)的情況下,準(zhǔn)確度有明顯提高。所提算法與人類視覺主觀判定具有較高的一致性,且計(jì)算簡(jiǎn)單,在實(shí)際工程中能大規(guī)模且有效地對(duì)去色圖像進(jìn)行自動(dòng)化評(píng)分。

圖像去色算法;圖像質(zhì)量評(píng)估;人類視覺系統(tǒng);梯度特征;對(duì)比度

0 引言

圖像去色(Color-to-Gray, C2G)算法,即彩色圖像轉(zhuǎn)灰度圖像的算法,是圖像處理和機(jī)器視覺的基礎(chǔ),在科技飛速發(fā)展的今天,雖然彩色打印機(jī)在逐步推廣應(yīng)用,但是黑白打印的廉價(jià)高效依然使其在印刷行業(yè)占據(jù)主要地位。同時(shí),單通道的灰度圖使得常用的圖像處理以及計(jì)算機(jī)視覺算法更加高效,因此目標(biāo)識(shí)別、目標(biāo)檢測(cè)和圖像檢索等算法都需要基于去色圖像進(jìn)行后續(xù)處理。近年來,大量的新穎的去色算法被提出,如Lu等[1]在2014年提出了對(duì)比度保持去色算法, Du等[2]提出了顯著性特征保持的去色算法。由于各類去色算法效果千差萬別,提出一種客觀準(zhǔn)確的去色圖像質(zhì)量評(píng)價(jià)算法顯得十分迫切。更為重要的是,客觀的去色圖像質(zhì)量評(píng)價(jià)指標(biāo)也能夠指導(dǎo)圖像去色算法的發(fā)展。因此準(zhǔn)確評(píng)估去色圖像的質(zhì)量意義重大。

然而,有以下兩個(gè)問題制約了圖像去色質(zhì)量評(píng)估的發(fā)展:1)圖像去色算法實(shí)際上是一個(gè)將一個(gè)3通道彩色圖像轉(zhuǎn)換成一個(gè)單通道灰度圖像的過程,所以不可避免地帶來圖像信息的損失。而現(xiàn)有的典型的客觀的圖像質(zhì)量評(píng)價(jià)(Image Quality Assessment, IQA)方法僅能適用于彩色圖像與彩色圖像的對(duì)比或者去色灰度圖像與去色灰度圖像的對(duì)比情況,并不適用于圖像去色算法這種特殊的情況。2)圖像去色算法質(zhì)量評(píng)價(jià)的標(biāo)準(zhǔn)難以選取,現(xiàn)有的去色算法評(píng)估指標(biāo)與人的主觀判定存在著較大差異。早期,Bala等[3]召集了6個(gè)觀察者去主觀評(píng)價(jià)其提出的去色算法產(chǎn)生的圖。雖然評(píng)價(jià)結(jié)果可靠,但效率十分低下,不適用于現(xiàn)今大數(shù)據(jù)時(shí)代下海量圖片評(píng)估的場(chǎng)景。Kuhn等[4]提出了加權(quán)均方根值(Root Weighted Mean Square, RWMS)來評(píng)判灰度圖對(duì)彩色圖中顏色差異的保留情況,而文獻(xiàn)[1]提出用E-Score來評(píng)估圖像質(zhì)量。但Ma等[5]認(rèn)為這兩個(gè)指標(biāo)常常與人的主觀判斷不一致,其不足以作為可信的評(píng)價(jià)標(biāo)準(zhǔn)，為此提出了一種基于彩色圖和灰度圖的結(jié)構(gòu)相似性(C2G Structure Similarity Index Measurement, C2G-SSIM)的評(píng)價(jià)方法。該方法綜合考慮了圖像的亮度、對(duì)比度、結(jié)構(gòu)信息，通過計(jì)算區(qū)域的相似性,引入權(quán)重,得到了灰度圖和彩色圖像的全局相似性。該指標(biāo)非常接近于人類視覺感知機(jī)理,但是經(jīng)實(shí)驗(yàn)發(fā)現(xiàn),該方法對(duì)邊緣細(xì)節(jié)的敏感度不高,并且對(duì)顏色對(duì)比度不一致的情況懲罰力度過大,從而忽略掉了圖像中的連續(xù)顏色信息,導(dǎo)致其評(píng)價(jià)結(jié)果不完全準(zhǔn)確。由于人眼對(duì)圖像的邊緣結(jié)構(gòu)信息極其敏感[6], 而邊緣結(jié)構(gòu)信息表現(xiàn)在圖像的梯度幅值，因此彩色的參考圖和灰度測(cè)試圖應(yīng)當(dāng)有一致的梯度幅值特征(Gradient Magnitude, GM)。而人類視覺感知系統(tǒng)(Human Visual System, HVS)對(duì)顏色對(duì)比度的敏感性決定了應(yīng)減輕對(duì)顏色對(duì)比度相似度計(jì)算的束縛?？陀^的圖像質(zhì)量評(píng)價(jià)方法主要有全參考質(zhì)量評(píng)價(jià)、無參考質(zhì)量評(píng)價(jià)、半?yún)⒖假|(zhì)量評(píng)價(jià)三種?？紤]到圖像的去色處理中, 灰度圖對(duì)應(yīng)的彩色圖像是能夠獲知的,所以,采用無參考或者半?yún)⒖荚谌ド|(zhì)量評(píng)估中都不太合適。

本文對(duì)去色圖像的梯度幅值、對(duì)比度等指標(biāo)與圖像質(zhì)量的關(guān)系進(jìn)行了深入的研究,提出了一種全參考的去色圖像質(zhì)量評(píng)估算法——基于去色圖像視覺相似度的去色圖像質(zhì)量評(píng)估(Color to Gray Visual Similarity Index Measurement, C2G-VSIM)算法。實(shí)驗(yàn)結(jié)果表明,本文方法符合人眼視覺系統(tǒng)感知圖像質(zhì)量的過程,相對(duì)于C2G-SSIM[5]、 RWMS[4]和E-score[1]等算法,得到的結(jié)果與主觀評(píng)價(jià)具有更好的一致性。

1 C2G-SSIM算法

1.1 C2G-SSIM算法指標(biāo)計(jì)算

C2G-SSIM是Ma等[5]提出的一個(gè)客觀的去色圖像質(zhì)量評(píng)價(jià)模型,可用來快速地對(duì)去色圖像進(jìn)行質(zhì)量評(píng)估。該算法將彩色圖像作為參考圖,由不同去色算法產(chǎn)生的與該圖像相關(guān)的去色灰度圖像作為測(cè)試圖,其評(píng)價(jià)結(jié)果能夠和主觀質(zhì)量評(píng)價(jià)達(dá)到較高的一致性。其通過計(jì)算亮度相似度、對(duì)比度相似度和結(jié)構(gòu)相似度三個(gè)指標(biāo),最后獲取去色圖像和參考彩色圖像的全局相似度。亮度相似度的定義如下:

(1)

其中:uf(xc)和ug(xc)代表彩色圖像和去色圖像的平均亮度。

對(duì)比度相似度的計(jì)算方法如下所示:

(2)

其中:df(xc)和dg(xc)分別代表彩色參考圖像和去色圖像的顏色對(duì)比度的均值。

而結(jié)構(gòu)相似度的定義如下:

(3)

其中:σf(xc)和σg(xc)分別代表彩色圖像和去色圖像的顏色對(duì)比度的標(biāo)準(zhǔn)差；σfg(xc)代表著彩色圖像和去色圖像的顏色對(duì)比度的互相關(guān)函數(shù)。

在式(1)～(3)中,C1、C2和C3是分子和分母中的一個(gè)值很小的正數(shù),用來防止出現(xiàn)分母為0的情況。實(shí)驗(yàn)中,C1、C2和C3分別設(shè)定為10、0.1、0.01。

1.2 C2G-SSIM的局限性

C2G-SSIM算法雖然比較全面地利用了圖像的亮度信息、對(duì)比度信息和結(jié)構(gòu)信息，但是C2G-SSIM并不能完全接近人類主觀評(píng)價(jià)結(jié)果,同樣有可能出現(xiàn)與主觀評(píng)價(jià)結(jié)果相悖的情況。主要局限為:

1)C2G-SSIM中的對(duì)比度相似度的求解方法過于強(qiáng)調(diào)數(shù)值上的一致性,導(dǎo)致算法容易忽略掉圖像的連續(xù)的彩色信息。例如,圖1是僅用C2G-SSIM中的對(duì)比度相似度對(duì)兩張去色圖像進(jìn)行評(píng)價(jià),主觀評(píng)價(jià)結(jié)果表明圖1(b)的質(zhì)量?jī)?yōu)于圖1(c),而C2G-SSIM的對(duì)比度相似度的評(píng)價(jià)結(jié)果卻相反。這是由于該方法的對(duì)比度相似度的簡(jiǎn)單求解會(huì)導(dǎo)致無法捕捉到圖像的連續(xù)性特征的失真情況。

2)C2G-SSIM算法容易忽略掉圖像的局部對(duì)比度信息。并且人類視覺不僅僅受某點(diǎn)光照的影響,還與該點(diǎn)周圍的光照值有關(guān)。

因此,應(yīng)該考慮更多能夠反映圖像對(duì)比度和連續(xù)性信息的因素,從而能夠準(zhǔn)確地對(duì)圖像進(jìn)行評(píng)價(jià)。

圖1 C2G-SSIM中對(duì)比度相似度對(duì)去色圖像的質(zhì)量評(píng)價(jià)

2 基于視覺相似度的去色圖像質(zhì)量評(píng)價(jià)

2.1 C2G-VSIM算法流程

本文提出的基于視覺相似性的去色圖像質(zhì)量評(píng)價(jià)框架如圖2所示,包括了顏色空間轉(zhuǎn)換、視覺引導(dǎo)對(duì)比度相似度提取、結(jié)構(gòu)相似度提取、亮度相似度提取、梯度相似度提取、合并處理共六個(gè)步驟。

圖2 C2G-VSIM流程

本文主要提出視覺引導(dǎo)對(duì)比度相似度來捕捉圖像全局性特征,引入梯度幅值相似度來捕捉圖像局部對(duì)比度信息,然后聯(lián)合亮度和結(jié)構(gòu)相似度,最終得到C2G-VSIM。

2.2 視覺引導(dǎo)對(duì)比度相似度

文獻(xiàn)[5]對(duì)對(duì)比度相似度C(xc)的定義如式(2)所示,C(xc)可以看作是去色圖像對(duì)比度df(xc)和彩色圖像對(duì)比度dg(xc)的組合函數(shù)。當(dāng)df(xc)的值和dg(xc)的值趨于一致時(shí),即dg(xc)=df(xc),對(duì)比度相似度C(xc)的值將達(dá)到它的最大值1。從此可以推論發(fā)現(xiàn):C(xc)的值并不在意df(xc)和dg(xc)相比誰(shuí)大誰(shuí)小。即,若df(xc)=1,dg(xc)=-1得到的C(xc)的值與df(xc)=-1、dg(xc)=1得到的C(xc)值是一樣的。因此,可以進(jìn)一步推論,C(xc)的計(jì)算方式只關(guān)心df(xc)和dg(xc)的絕對(duì)距離|df(xc)-dg(xc)|。當(dāng)絕對(duì)距離越小時(shí),C(xc)的值會(huì)越大。很顯然,文獻(xiàn)[5]對(duì)對(duì)比度相似度的定義并未考慮分開處理以下兩種情況:1)df(xc)比dg(xc)大;2)df(xc)比dg(xc)小。而文獻(xiàn)[7]研究表明:對(duì)同樣的一幅場(chǎng)景,人眼系統(tǒng)偏愛對(duì)比度較大的圖像。更重要的是,文獻(xiàn)[5]在計(jì)算去色圖像質(zhì)量評(píng)估指標(biāo)時(shí),對(duì)原彩色圖和去色圖像的顏色對(duì)比度完全一致的要求會(huì)導(dǎo)致指標(biāo)不關(guān)注圖像的全局性特征,從而忽略了圖像的顏色一致性特征以及圖像的局部細(xì)節(jié),導(dǎo)致算法指標(biāo)與人類視覺主觀評(píng)估有較大出入。

針對(duì)原算法對(duì)對(duì)比度相似度的簡(jiǎn)單計(jì)算導(dǎo)致算法指標(biāo)不足以對(duì)去色圖像進(jìn)行正確評(píng)估的缺陷,本文對(duì)對(duì)比度相似度的計(jì)算方式進(jìn)行了改進(jìn),提出了視覺引導(dǎo)對(duì)比度相似度算法,算法流程如下:

Step1 顏色空間轉(zhuǎn)換。將去色圖像g(x)和彩色圖像f(x)進(jìn)行顏色空間轉(zhuǎn)換至CIELab空間。

Step2 圖像高斯平滑。本文對(duì)圖像是基于塊操作計(jì)算對(duì)比度相似度,因而需要考慮塊效應(yīng)的影響,用高斯徑向函數(shù)p(x,xc)對(duì)圖像進(jìn)行高斯濾波,可以有效防止圖像塊的邊界尖銳化。

(4)

式(5)中σp取決于高斯濾波器的寬度w;本文中w取值為15,

σp= floor(w/6)

(5)

因此σp取值為2。

Step3 對(duì)比度求解。逐像素的計(jì)算圖像每一點(diǎn)對(duì)其周圍寬度為w的圖像塊的對(duì)比度df(xc)和dg(xc)。

(6)

點(diǎn)xc至點(diǎn)y歐氏距離在CIELab空間定義為:

(7)

Step4 視覺引導(dǎo)對(duì)比度修正。

如果df(xc)lt;dg(xc),則減小df(xc)以減小C(xc);如果df(xc)gt;dg(xc),則減小df(xc)的值以加大C(xc)的值。定義如式(8)所示:

(8)

在實(shí)驗(yàn)中,設(shè)定視覺引導(dǎo)因子C=0.1。

Step5C(xc)的計(jì)算。最后根據(jù)式(2)即計(jì)算得出視覺引導(dǎo)對(duì)比度相似度。

視覺引導(dǎo)對(duì)比度相似度其充分考慮到了HVS對(duì)圖像對(duì)比度的敏感性和對(duì)不同對(duì)比度的感知不同,因此能使最終的C2G-VSIM高度接近于主觀質(zhì)量評(píng)價(jià)。

2.3 梯度幅值相似度

HVS感知一幅圖像的信息主要根據(jù)其低層次的特征[8-9],即不需要關(guān)于形狀和空間的先驗(yàn)知識(shí)就能從圖像中提出的基本特征。因此,去色圖像質(zhì)量評(píng)估方法的效果能夠通過添加低層次特征得到提升。文獻(xiàn)[6]提出了FSIM來提升典型的全參考質(zhì)量評(píng)估的效果。FSIM采用了2個(gè)特征來計(jì)算圖像質(zhì)量圖,即相位一致性和邊緣梯度特征。然而,相位一致性特征是對(duì)圖像的對(duì)比度不敏感的,而邊緣梯度特征會(huì)影響到HVS對(duì)圖像質(zhì)量的感知[10]。彩色圖像和去色圖像應(yīng)當(dāng)具有一致的梯度特征,該梯度特征能夠很好地反映出圖像的局部對(duì)比度特征。因此,本文在C2G-SSIM的基礎(chǔ)上,僅選擇增加了梯度幅值特征,選取了在典型圖像質(zhì)量評(píng)估算法中常用的Scharr算子[6,9]。求解流程如下:

Step1 高斯濾波。

Step2 梯度求解。選取CIELab空間的亮度通道,求解其橫向和豎向的梯度。其橫向和縱向的邊緣檢測(cè)因子定義如下:

(9)

(10)

其中L(x)代表了圖像顏色空間轉(zhuǎn)換后的亮度通道。

Step3 梯度幅值相似度求解。去色圖像和彩色參考圖像的梯度幅值相似度定義為:

(11)

添加梯度幅值相似度能夠很好地解決文獻(xiàn)[5]方法對(duì)局部對(duì)比度特征的并未重視的問題,使最終結(jié)果更好地滿足人類的視覺特性。

2.4 C2G-VSIM

本文對(duì)亮度相似度、結(jié)構(gòu)相似度進(jìn)行簡(jiǎn)介,詳細(xì)描述了視覺引導(dǎo)性對(duì)比度相似度以及梯度幅值相似度。其中,亮度相似度能表現(xiàn)去色圖像和原參考彩色圖像的亮度一致性,其他3個(gè)相似度更加關(guān)注圖像去色后的結(jié)構(gòu)特征和對(duì)比度特征與原參考彩色圖像的一致性。C2G-VSIM的總體質(zhì)量評(píng)估定義如下:

q(xc)=L(xc)α·C(xc)·S(xc)·GM(xc)

(12)

其中:根據(jù)圖像類型確定α=1或者α=0。在得到總體的去色圖像質(zhì)量評(píng)估的質(zhì)量圖之后,本文采用該質(zhì)量圖的均值Q來表示相似度得分。得分越高,代表去色圖像和彩色參考圖像的相似度越高；反之則越低。Q的計(jì)算方式如下:

(13)

其中:M代表整個(gè)圖像的空間大小。

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文采用了Cadík的圖像數(shù)據(jù)集[11],該數(shù)據(jù)集包含了24張不同類型的彩色圖,每張彩色圖又附帶7張由不同的去色方法產(chǎn)生的灰度圖。該數(shù)據(jù)庫(kù)包含與同一張彩色圖相關(guān)的7張去色圖像的主觀評(píng)價(jià)排名,其排名分兩個(gè)標(biāo)準(zhǔn):準(zhǔn)確度和喜愛度。準(zhǔn)確度是指已知原圖對(duì)7張圖進(jìn)行比較,主要評(píng)估與原圖的相似性。喜愛度是未知原圖對(duì)7張圖進(jìn)行比較,主要評(píng)估人類主觀對(duì)去色圖的喜愛程度。更為重要的是:該數(shù)據(jù)庫(kù)是在去色圖像領(lǐng)域中唯一一個(gè)含有7種不同去色方法的主觀質(zhì)量評(píng)價(jià)排名的數(shù)據(jù)庫(kù),包含了20 328次主觀評(píng)價(jià)結(jié)果。因此,本文選擇該數(shù)據(jù)集的主觀評(píng)價(jià)結(jié)果作為實(shí)驗(yàn)對(duì)象。本文根據(jù)Ma等[5]提出的熵區(qū)分方法將24張彩色圖像自動(dòng)分為兩類:自然圖像(Photographic Images, PI)和人工圖像(Synthetic Images, SI)。表1展現(xiàn)了圖像分類的具體情況,在實(shí)驗(yàn)中,計(jì)算自然圖像或者人工圖像時(shí),分別設(shè)置式(12)中的α=1或者α=0。

表1 彩色參考圖像的分類

3.2 實(shí)驗(yàn)及比較結(jié)果

本文在文獻(xiàn)[11]的圖像數(shù)據(jù)集上,對(duì)本文提出的C2G-VSIM和3個(gè)其他的傳統(tǒng)的C2G-SSIM[5], E-score[1]和RWMS[4]去色圖像質(zhì)量評(píng)估指標(biāo)進(jìn)行了性能比較。本文實(shí)驗(yàn)是在Windows 7,Core i5處理器下用Matlab R2014b進(jìn)行實(shí)驗(yàn)。

圖3 4種方法在Cadík的數(shù)據(jù)集[11]上的SROCC得分

將斯皮爾曼秩相關(guān)系數(shù)(Spearman Rank Order Correlation Coefficient, SROCC)和肯德爾秩相關(guān)系數(shù)(Kendall Rank Order Correlation Coefficient, KROCC)作為衡量去色圖像質(zhì)量評(píng)估方法的預(yù)測(cè)結(jié)果的指標(biāo)[12]。SROCC和KROCC的值越大,則說明該評(píng)估方法的結(jié)果與主觀評(píng)價(jià)結(jié)果的相關(guān)性越高,與主觀評(píng)價(jià)結(jié)果越接近,該方法越好。

從圖3可以發(fā)現(xiàn),RWMS和E-score在數(shù)據(jù)庫(kù)中的SROCC得分波動(dòng)較大,例如,RWMS的SROCC得分在數(shù)據(jù)庫(kù)第4張圖上是-0.25,而在第15張圖上是0.607 1。C2G-SSIM和本文方法都能夠在數(shù)據(jù)庫(kù)24張圖上得到一致性的較好的結(jié)果,而本文方法除此之外,能夠在大量的圖上獲得比C2G-SSIM[5]更高的SROCC得分,意味著更好的與主觀評(píng)價(jià)結(jié)果的一致性。

為了更直觀地說明該實(shí)驗(yàn)的結(jié)果,表2根據(jù)4種方法在24張圖上的SROCC和KROCC對(duì)4種方法進(jìn)行總體評(píng)價(jià)。其中：“均值”是指圖像數(shù)據(jù)庫(kù)中24圖的SROCC或KROCC的平均值，以衡量4種方法在24張圖上的平均表現(xiàn)；PI和SI的SROCC和KROCC分別展現(xiàn)了自然圖像和人工圖像的平均表現(xiàn)。表2直觀地表現(xiàn)了本文方法無論在準(zhǔn)確度實(shí)驗(yàn)上還是喜愛度實(shí)驗(yàn)上的評(píng)價(jià)性能都遠(yuǎn)遠(yuǎn)優(yōu)于RWMS[4]、E-score[1]和C2G-SSIM[5]。即使在本文方法表現(xiàn)較差的PI的喜愛度實(shí)驗(yàn)中,C2G-VSIM的在準(zhǔn)確度和喜愛度的實(shí)驗(yàn)中,所有樣本的平均SROCC比C2G-SSIM提高了0.03和0.02，本文方法的SROCC得分也比C2G-SSIM提高0.02。

因每一組圖用4種不同的去色圖像評(píng)估方法進(jìn)行評(píng)判,最終和主觀評(píng)價(jià)能得到不同方法的SROCC得分。因此可以根據(jù)該組圖在某種方法中能獲得最好的SROCC得分進(jìn)行分類。因一組圖可在兩種方法下都獲得最好的結(jié)果,用加粗注明可獲得相同結(jié)果的圖標(biāo)號(hào)，并計(jì)算出分類占比。表3展示了本文方法在大部分圖組上除了第1、2、7和16圖外都能獲得最優(yōu)結(jié)果。然而,在這4組圖上,本文方法C2G-VSIM僅僅以微弱的劣勢(shì)低于最優(yōu)結(jié)果。E-Score和RWMS在幾乎所有的圖上都不能獲得最優(yōu)的表現(xiàn),C2G-SSIM雖然能在大部分的圖上獲得一致性好的結(jié)果,但本文方法卻更加準(zhǔn)確。

表2 4種去色圖像質(zhì)量評(píng)價(jià)方法的實(shí)驗(yàn)結(jié)果

表3 準(zhǔn)確度實(shí)驗(yàn)的最優(yōu)結(jié)果分類

圖4 梯度幅值特征的優(yōu)勢(shì)

圖5 視覺引導(dǎo)對(duì)比度相似度特征的優(yōu)勢(shì)

3.3 視覺引導(dǎo)對(duì)比度相似度和梯度特征的優(yōu)勢(shì)

為了從數(shù)據(jù)上說明視覺引導(dǎo)對(duì)比度相似度比C2G-SSIM的相似度對(duì)比度更優(yōu)，本文進(jìn)行了對(duì)比度相似度的對(duì)比實(shí)驗(yàn)，如表4所示。

表4的實(shí)驗(yàn)中僅利用C2G-SSIM的對(duì)比度相似度[5]和視覺引導(dǎo)對(duì)比度相似度對(duì)Cadík的圖像數(shù)據(jù)集上進(jìn)行去色圖像質(zhì)量評(píng)估,得到兩個(gè)評(píng)價(jià)方法與主觀評(píng)價(jià)結(jié)果的SROCC得分。表4結(jié)果表明視覺引導(dǎo)對(duì)比度相似度優(yōu)于C2G-SSIM的對(duì)比度相似度,準(zhǔn)確度和喜愛度實(shí)驗(yàn)的SROCC得分比C2G-SSIM的對(duì)比度相似度提高了約0.05和0.06。

表4 不同對(duì)比度相似度實(shí)驗(yàn)結(jié)果對(duì)比

為了說明本文提出的改進(jìn)后的對(duì)比度相似度和梯度幅值相似度是如何使得C2G-VSIM比C2G-SSIM更具競(jìng)爭(zhēng)力,圖4和圖5展現(xiàn)了去色圖像和其彩色參考圖像由不同質(zhì)量評(píng)估方法產(chǎn)生質(zhì)量映射圖,包括:1)C2G-SSIM;2)包含視覺引導(dǎo)對(duì)比度相似度的C2G-SSIM;3)C2G-VSIM。其中,C2G-VSIM比視覺引導(dǎo)對(duì)比度相似度僅增加了梯度幅值相似度。質(zhì)量映射圖每個(gè)像素點(diǎn)的值代表著該點(diǎn)的相似度得分(取值范圍為0～1)。即若該像素點(diǎn)的值為1,意味著該點(diǎn)的相似度得分為1,達(dá)到最大值。質(zhì)量映射圖越干凈,參考彩色圖與去色圖像越接近。

對(duì)比圖4(e)和(d)可以發(fā)現(xiàn)：梯度幅值相似度特征可以反映原圖和去色圖的局部對(duì)比度的一致性(圖4(a)和(b)的文本和圖中下方劃線區(qū)域的局部對(duì)比度)。對(duì)比圖5(d)和(c)可以發(fā)現(xiàn)：圖(d)更加能保持圖像的細(xì)節(jié)信息(方框中的蘋果的紋理),說明視覺引導(dǎo)對(duì)比度相似度能夠更好地保持圖像的細(xì)節(jié),如顏色一致性、紋理特征。

表5展示了一個(gè)關(guān)于圖6的對(duì)比度相似度評(píng)估的具體的示例,對(duì)比度相似度的均值作為圖6中的原圖與兩種不同算法產(chǎn)生的去色圖像的質(zhì)量評(píng)分。事實(shí)上,Grundland方法[13]產(chǎn)生的去色圖像(圖6(c))的質(zhì)量?jī)?yōu)于Gooth方法[14]產(chǎn)生的去色圖像(圖6(b))的質(zhì)量,而原對(duì)比度相似度的結(jié)果與之相反。圖6用方框標(biāo)記出Grundland方法的去色圖像中明顯丟失了相鄰色塊間的邊界信息,而該邊界信息在Gooth方法中保留良好。視覺引導(dǎo)對(duì)比度相似度通過抓住顏色對(duì)比度的信息,達(dá)到和主觀評(píng)價(jià)方法一致的結(jié)果[15]。

圖6 彩色參考圖與灰度圖

表5 不同對(duì)比度相似度對(duì)比

表6從數(shù)值上表現(xiàn)了視覺引導(dǎo)對(duì)比度相似度和梯度幅值特征共同作用使C2G-VSIM遠(yuǎn)遠(yuǎn)優(yōu)于其他的去色圖像評(píng)估方法。

表6 視覺引導(dǎo)對(duì)比度相似度與其他特征結(jié)合的結(jié)果

3.4 參數(shù)設(shè)置及其影響

第2章對(duì)視覺引導(dǎo)對(duì)比度相似度算法引入了視覺引導(dǎo)因子C,該參數(shù)由大量反復(fù)的實(shí)驗(yàn)確定。依然以Cadík的圖像數(shù)據(jù)集為實(shí)驗(yàn)對(duì)象,圖7為視覺引導(dǎo)對(duì)比度相似度在數(shù)據(jù)集上的準(zhǔn)確度實(shí)驗(yàn)和喜愛度實(shí)驗(yàn)的SROCC得分隨著視覺引導(dǎo)因子C變化的曲線。由圖7可知,隨著視覺引導(dǎo)因子C從0到0.5逐步增大,本文視覺引導(dǎo)對(duì)比度相似度的SROCC值經(jīng)歷了先增大后變小的過程。在0.05～0.15間達(dá)到最大,最終確定視覺引導(dǎo)因子C為0.1。

圖7 SROCC隨視覺引導(dǎo)因子C的變化曲線

3.5 算法復(fù)雜度分析

本文算法通過提出一個(gè)全新的視覺引導(dǎo)對(duì)比度相似度和引入梯度幅值相似度提升了去色圖像質(zhì)量評(píng)估算法的性能。較C2G-SSIM而言,本文算法時(shí)間復(fù)雜度有所增加。主要原因在于引入視覺引導(dǎo)因子,逐像素地計(jì)算視覺引導(dǎo)對(duì)比度相似度使得每次循環(huán)計(jì)算時(shí)都會(huì)增加比較賦值的計(jì)算。而濾波以及梯度幅值相似度的計(jì)算并不涉及循環(huán),因此所引起的復(fù)雜度的增加可忽略。

假定原對(duì)比度相似度算法對(duì)一張M*N大小的圖的時(shí)間為T,其中需逐像素地進(jìn)行對(duì)比度相似度的計(jì)算為M*N次,每次都會(huì)基于塊地計(jì)算對(duì)比度相似度,單次增加的時(shí)間代價(jià)為t1,而濾波以及梯度幅值相似度的計(jì)算所增加的時(shí)間為t2,則本文算法相對(duì)于C2G-SSIM的耗時(shí)增加量為:

Δt=M×N×t1+t2

(14)

經(jīng)實(shí)驗(yàn)測(cè)定,t1≈9×10-6s;t2≈0.05 s。因此,對(duì)一張293*390大小的圖像所增加的時(shí)間約為1.07 s。

本文通過實(shí)驗(yàn)測(cè)試了Cadík的圖像數(shù)據(jù)集的耗時(shí)。經(jīng)統(tǒng)計(jì),C2G-SSIM對(duì)一張293*390大小的圖像的耗時(shí)約為24.48 s,本文算法為25.52 s，平均增加耗時(shí)為1.04 s,與理論分析相吻合。

4 結(jié)語(yǔ)

本文引入視覺引導(dǎo)對(duì)比度相似度和梯度幅值特征,提出了全新的基于視覺相似性的去色圖像質(zhì)量評(píng)估算法。與C2G-SSIM、RWMS、E-score的對(duì)比實(shí)驗(yàn)結(jié)果表明,本文方法能與主觀評(píng)價(jià)獲得較高的一致性。對(duì)視覺引導(dǎo)對(duì)比度相似度和梯度幅值相似度的作用探究實(shí)驗(yàn)結(jié)果表明,視覺引導(dǎo)對(duì)比度算法能夠較好地捕捉到圖像連續(xù)色彩信息失真的情況,梯度幅值相似度能夠抓住圖像局部對(duì)比度失真的情況[16]。本文算法相對(duì)于C2G-SSIM有了一定的提升,能夠較為準(zhǔn)確對(duì)去色圖像進(jìn)行客觀評(píng)價(jià),但是卻增加了算法的計(jì)算量。因此,去色圖像質(zhì)量評(píng)估算法仍有較大的發(fā)展空間,如何進(jìn)一步優(yōu)化本文算法,降低耗時(shí)是下一步研究的目標(biāo)。

References)

[1] LU C, XU L, JIA J. Contrast preserving decolorization[C]// Proceedings of the 2012 IEEE International Conference on Computational Photography. Piscataway, NJ: IEEE, 2012: 1-7.

[2] DU H, HE S, SHENG B, et al. Saliency-guided color-to-gray conversion using region-based optimization[J]. IEEE Transactions on Image Processing, 2014, 24(1): 434-43.

[3] BALA R, ESCHBACH R. Spatial color-to-grayscale transform preserving chrominance edge information[C]// CIC 2004: Proceedings of the Twelfth Color Imaging Conference: Color Science and Engineering Systems, Technologies, Applications. Scottsdale, Arizona, USA: [s.n.], 2004: 82-86.

[4] KUHN G R, OLIVEIRA M M, FERNANDES L A F. An improved contrast enhancing approach for color-to-grayscale mappings[J]. The Visual Computer, 2008, 24(7): 505-514.

[5] MA K, ZHAO T, ZENG K, et al. Objective quality assessment for color-to-gray image conversion[J]. IEEE Transactions on Image Processing, 2015, 24(12): 4673-85.

[6] ZHANG L, ZHANG L, MOU X, et al. FSIM: a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-86.

[7] WU J, SHEN X, LIU L. Interactive two-scale color-to-gray[J]. The Visual Computer, 2012, 28(6): 723-731.

[8] 崔力, 陳玉坤, 韓宇. 視覺相似性圖像質(zhì)量評(píng)價(jià)方法[J]. 西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版), 2012, 39(4): 155-160. (CUI L, CHEN Y K, HAN Y. Visual similarity index for image quality assessment[J]. Journal of Xidian University (Natural Science), 2012, 39(4): 155-160.)

[9] ZHANG L, SHEN Y, LI H. VSI: a visual saliency-induced index for perceptual image quality assessment[J]. IEEE Transactions on Image Processing, 2014, 23(10): 4270-4281.

[10] ZHANG H, ZHU Q, FAN C, et al. Image quality assessment based on Prewitt magnitude[J]. AEU — International Journal of Electronics and Communications, 2013, 67(9): 799-803.

[12] ANTKOWIAK J, BAINA T J, GROUP T V Q E. Final report from the video quality experts group on the validation of objective models of video quality assessment, phase II (FR_TV2) [EB/OL]. [2017- 01- 10]. https://www.itu.int/md/T01-SG09-C-0060.

[13] GRUNDLAND M, DODGSON N A. Decolorize: fast, contrast enhancing, color to grayscale conversion[J]. Pattern Recognition, 2007, 40(11): 2891-2896.

[14] GOOCH A A, OLSEN S C, TUMBLIN J, et al. Color2Gray: salience-preserving color removal[J]. ACM Transactions on Graphics, 2005, 24(3): 634-639.

[15] 刁揚(yáng)桀, 張紅英, 吳亞東, 等. 顏色保持的實(shí)時(shí)圖像/視頻去霧算法[J]. 計(jì)算機(jī)應(yīng)用, 2014, 34(9): 2702-2707. (DIAO Y J, ZHANG H Y, WU Y D, et al. Real-time image/video haze removal algorithm with color restoration[J]. Journal of Computer Applications, 2014, 34(9): 2702-2707.)

[16] 袁艷春, 劉云鵬, 高宏偉. 基于邊緣結(jié)構(gòu)相似性的圖像質(zhì)量評(píng)價(jià)方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2015, 32(9): 2870-2873. (YUAN Y C, LIU Y P, GAO H W. Image quality assessment based on edge structure similarity[J]. Application Research of Computers, 2015, 32(9): 2870-2873.)

Objectivequalityassessmentforcolor-to-grayimagesbasedonvisualsimilarity

WANG Man, YAN Jia*, WU Minyuan

(ElectronicInformationSchool,WuhanUniversity,WuhanHubei430072,China)

The Color-to-Gray (C2G) image quality evaluation algorithm based on structural similarity does not make full use of the gradient feature of the image, and the contrast similarity feature ignores the consistency of the continuous color blocks of the image, thus leading to a large difference between the algorithm and the subjective judgment of human vision. A C2G image quality evaluation algorithm named C2G Visual Similarity Index Measurement (C2G-VSIM) was proposed based on Human Visual System (HVS). In this algorithm, the color image was regarded as the reference image, the corresponding decolorization image obtained by different algorithms was regarded as the test image. By applying color space conversion and Gaussian filtering to these reference and test images, taking full account of the characteristics of image brightness similarity and structual similarity, a new color consistency contrast feature was introduced to help C2G-VSIM to capture the global color contrast feature; then the gradient amplitude feature was also introduced into C2G-VSIM to improve the sensitivity of the algorithm to the image gradient feature. Finally, by combining those above features, a new imgage quality evaluation operator named C2G-VSIM was obtained. Experimental results on Cadík’s dataset showed that in terms of accuracy and preference evaluation, the Spearman Rank Order Correlation Coefficient (SROCC) between C2G-VSIM and subjective assessment of human visuality was 0.815 5 and 0.763 4, respectively, the accuracy was improved significantly without increasing the time consuming compared to C2G Structure Similarity Index Measurement (C2G-SSIM). The proposed algorithm has high consistency compared to human visuality, as well as simple calculation, which can effectively and automatically evaluate decolorization images in actual project with large scale.

image Color-to-Gray (C2G) algorithm; Image Quality Assessment (IQA); Human Visual System (HVS); Gradient Magnitude (GM); contrast

2017- 05- 25;

2017- 08- 03。

王蔓(1994—),女,四川巴中人,碩士研究生,主要研究方向:圖像質(zhì)量評(píng)估; 顏佳(1983—),男,湖北天門人,講師,博士,主要研究方向:圖像質(zhì)量評(píng)估、目標(biāo)識(shí)別; 吳敏淵(1964—),男,湖北武漢人,副教授,碩士,主要研究方向:圖像分析、機(jī)器視覺。

1001- 9081(2017)10- 2926- 06

10.11772/j.issn.1001- 9081.2017.10.2926

TP391.41

A

WANGMan, born in 1994, M. S. candidate. Her research interests include image quality assessment.

YANJia, born in 1983, Ph. D., lecturer. His research interests include image quality assessment, object detection.

WUMinyuan, born in 1964, M. S., associate professor. His research interests include image analysis, machine vision.