謝 斌， 劉 軻， 張 抗

(江西理工大學(xué) 信息工程學(xué)院，江西 贛州 341000)

1 引 言

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展以及智能設(shè)備的快速普及，人們獲取圖像的途徑愈加多樣化。同時(shí)，隨著生活質(zhì)量的提高，對(duì)于圖像的藝術(shù)風(fēng)格和視覺(jué)效果也有了更高的要求。然而，常規(guī)途徑獲取的圖像往往不能滿足用戶的要求，很多時(shí)候需要對(duì)其進(jìn)行特定的增強(qiáng)處理。顏色傳遞[1-3]作為一種圖像增強(qiáng)手段，能夠?qū)⒖紙D像的顏色傳遞至內(nèi)容圖像上，使結(jié)果圖像在擁有內(nèi)容圖像結(jié)構(gòu)的同時(shí)又具備參考圖像的顏色，從而可以更好地提高圖像的藝術(shù)風(fēng)格和視覺(jué)效果。當(dāng)前的顏色傳遞技術(shù)可以分為全局方法和局部方法兩大類。

全局顏色傳遞實(shí)質(zhì)是將參考圖像的整體顏色風(fēng)格傳遞至內(nèi)容圖像。文獻(xiàn)[4]中，Reinhard最初提出了一種基于圖像統(tǒng)計(jì)特性的顏色傳遞方法。該方法在lαβ顏色空間利用參考圖像與內(nèi)容圖像的低階統(tǒng)計(jì)量(均值和標(biāo)準(zhǔn)差)匹配實(shí)現(xiàn)了圖像間的顏色傳遞。該方法具有簡(jiǎn)單、快速的優(yōu)點(diǎn)，但是當(dāng)圖像結(jié)構(gòu)比較復(fù)雜時(shí)往往會(huì)得到不自然的結(jié)果。文獻(xiàn)[5]提出了一種基于N維概率密度匹配的顏色傳遞方法，在一定程度上提升了顏色傳遞的效果，但是該方法得到結(jié)果圖像容易產(chǎn)生偽影和噪聲。為此，文獻(xiàn)[6]在傳統(tǒng)方法的基礎(chǔ)上通過(guò)進(jìn)一步的梯度保持來(lái)提高結(jié)果圖像的質(zhì)量。文獻(xiàn)[7]在Reinhard方法的基礎(chǔ)上提出了一種改進(jìn)方法，利用圖像協(xié)方差的相關(guān)性實(shí)現(xiàn)了顏色傳遞。文獻(xiàn)[8]在文獻(xiàn)[7]的基礎(chǔ)上，利用直方圖匹配技術(shù)來(lái)進(jìn)行顏色傳遞，并通過(guò)梯度保持模型讓結(jié)果圖像保持內(nèi)容圖像的細(xì)節(jié)。但是，該方法受圖像色域的影響較大，往往會(huì)出現(xiàn)色彩溢出問(wèn)題。針對(duì)上述問(wèn)題，文獻(xiàn)[9]進(jìn)一步利用場(chǎng)景照明和限制圖像色域來(lái)解決色彩溢出的問(wèn)題。當(dāng)內(nèi)容圖像結(jié)構(gòu)比較復(fù)雜、顏色較為豐富或者僅有部分區(qū)域需要顏色傳遞時(shí)，上述全局方法得到的結(jié)果圖像容易存在層次感欠缺和視覺(jué)效果不佳等問(wèn)題。為了彌補(bǔ)全局方法的不足，部分研究人員提出了局部顏色傳遞方法。

局部顏色傳遞方法的實(shí)質(zhì)是將參考圖像“選定區(qū)域”的顏色傳遞至內(nèi)容圖像相應(yīng)的“選定區(qū)域”，各區(qū)域之間互不影響。此類方法通常能夠讓結(jié)果圖像更好地保持內(nèi)容圖像的層次感，并能夠取得更好的視覺(jué)效果。文獻(xiàn)[10]提出了一種基于色彩組合的情感顏色傳遞方法，該方法首先提取了參考圖像的3種主要顏色，并通過(guò)Pantone配色方案(Eisemann, 2000)確定參考圖像對(duì)應(yīng)的情感顏色，使結(jié)果圖像能夠按照用戶的需求具有不同的情感顏色。文獻(xiàn)[11]提出了一種基于超像素分割和L0范數(shù)的顏色傳遞方法。該方法根據(jù)超像素分割塊中像素間的相似性構(gòu)建主色(5種)情感的顏色傳遞模型，并通過(guò)L0范數(shù)設(shè)計(jì)梯度保持模型以消除超像素分割所帶來(lái)的梯度信息丟失問(wèn)題。然而，上述兩種方法提取的主要顏色往往并不能代表整幅圖像的顏色風(fēng)格，如此容易使結(jié)果圖像不能很好地保持參考圖像的顏色風(fēng)格。為此，部分學(xué)者提出了基于多點(diǎn)聚類的顏色傳遞方法。文獻(xiàn)[12]借助超像素分割得到參考圖像和目標(biāo)圖像的超像素塊，并在此基礎(chǔ)上利用ANN(Approximate nearest neighbor)匹配算法進(jìn)行超像素塊間的匹配，取得了更好的顏色傳遞效果。然而，超像素分割塊數(shù)目的選擇通常由用戶決定，其隨機(jī)性較大，往往容易使結(jié)果圖像中出現(xiàn)明顯的偽影和虛假的邊界。文獻(xiàn)[13]提出一種基于L2散度的顏色傳遞方法。該方法首先對(duì)參考圖像和內(nèi)容圖像進(jìn)行顏色聚類(50類)，然后通過(guò)最小化L2損失函數(shù)來(lái)確定兩幅圖像的類間匹配關(guān)系，并在此基礎(chǔ)上利用TPS(Thin Plate Splines)算法實(shí)現(xiàn)類間顏色傳遞。由于該方法中的顏色聚類數(shù)目較為固定，難以適應(yīng)不同類型圖像間的顏色傳遞。并且，利用TPS算法進(jìn)行顏色傳遞，得到的結(jié)果圖像往往容易出現(xiàn)顯眼的瑕疵以及顏色過(guò)渡不自然等問(wèn)題。另外，深度學(xué)習(xí)技術(shù)[14-16]也被部分學(xué)者用于圖像間的顏色傳遞。基于深度學(xué)習(xí)的方法雖然可以獲取較好的效果，但是相應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)一般比較復(fù)雜并且通常需要構(gòu)建龐大的數(shù)據(jù)集，因而此類方法的復(fù)雜度和時(shí)間成本較高。

為了得到更好的效果，圖像分割[17-18]在顏色傳遞的預(yù)處理中得到廣泛應(yīng)用。文獻(xiàn)[19]基于語(yǔ)義信息分析提出了一種新穎的顏色傳遞方法。該方法以人工分割的方式提取人臉圖像的高級(jí)語(yǔ)義信息，然后在此基礎(chǔ)上利用Reinhard方法在對(duì)應(yīng)的語(yǔ)義區(qū)域進(jìn)行顏色傳遞。然而，該方法的適用范圍非常有限，僅對(duì)人臉圖像的顏色傳遞有較好的效果。另外，文獻(xiàn)[20]提出了一種語(yǔ)義信息自動(dòng)感知的顏色傳遞方法。該方法利用視覺(jué)引導(dǎo)圖將參考圖像和內(nèi)容圖像分割為前景區(qū)域和背景區(qū)域，然后在對(duì)應(yīng)區(qū)域采用Reinhard方法進(jìn)行顏色傳遞，在一定程度上提升了結(jié)果圖像的層次感。上述基于語(yǔ)義信息的方法雖然總體上能夠取得較傳統(tǒng)方法[8,11,13]更好的效果，但仍然存在兩方面的不足。首先，上述方法采用的分割策略不能準(zhǔn)確地分割出圖像的語(yǔ)義區(qū)域，導(dǎo)致所得結(jié)果圖像在很多場(chǎng)合下仍然存在層次感不足的問(wèn)題。其次，上述方法在分割區(qū)域中采用了Reinhard顏色傳遞策略，即在區(qū)域內(nèi)部進(jìn)行簡(jiǎn)單統(tǒng)計(jì)量(區(qū)域內(nèi)的標(biāo)準(zhǔn)差和均值)的映射，該處理方式容易忽略區(qū)域中的局部信息，從而可能造成結(jié)果圖像中存在細(xì)節(jié)保持不足的問(wèn)題。

針對(duì)上述問(wèn)題，本文提出了一種結(jié)合圖像簽名和最優(yōu)傳輸?shù)木植款伾珎鬟f新方法。首先，為了更好地提升結(jié)果圖像的層次感，引入基于圖像簽名[21]的顯著區(qū)域檢測(cè)算法，將參考圖像和內(nèi)容圖像分割成前景區(qū)域和背景區(qū)域，并在對(duì)應(yīng)區(qū)域進(jìn)行顏色傳遞。其次，結(jié)合最優(yōu)傳輸理論和亮度保持策略設(shè)計(jì)了一種新的顏色傳遞方法，一方面讓結(jié)果圖像能夠更好地保持參考圖像的顏色，另一方面讓結(jié)果圖像有效地保持內(nèi)容圖像的細(xì)節(jié)特征。另外，為了更好地評(píng)價(jià)顏色傳遞效果，文中結(jié)合色度差和結(jié)構(gòu)相似度設(shè)計(jì)了一種新的客觀評(píng)價(jià)指標(biāo)。大量的實(shí)驗(yàn)結(jié)果證明了文中所提顏色傳遞方法和評(píng)價(jià)指標(biāo)的有效性。

2 顏色傳遞經(jīng)典模型

文獻(xiàn)[4]中，Reinhard首次提出了一種顏色傳遞經(jīng)典方法。在顏色傳遞過(guò)程中，假定內(nèi)容圖像為t、參考圖像為s、結(jié)果圖像為r，則Reinhard方法可以通過(guò)以下模型來(lái)實(shí)現(xiàn)彩色圖像間的顏色傳遞。

(1)

式(1)中，μ和σ分別表示lαβ空間下圖像的統(tǒng)計(jì)均值和標(biāo)準(zhǔn)差，i∈(l,α,β)表示顏色通道。雖然該方法具有簡(jiǎn)單、高效的優(yōu)點(diǎn)，但是容易出現(xiàn)層次感不足、細(xì)節(jié)損失明顯等問(wèn)題。圖1所示為Reinhard方法進(jìn)行顏色傳遞的示例圖。

圖1 經(jīng)典顏色傳遞結(jié)果示例Fig.1 Classic color transfer model results

由圖1(c)可以看出，相對(duì)于圖1(a)所示的內(nèi)容圖像而言，結(jié)果圖像明顯存在層次感不足的問(wèn)題。另外，比較圖1(d)和圖1(e)可以發(fā)現(xiàn)，結(jié)果圖像存在較為嚴(yán)重的細(xì)節(jié)丟失問(wèn)題。造成上述問(wèn)題的原因主要有兩個(gè)方面：首先，Reinhard方法是通過(guò)統(tǒng)計(jì)量的簡(jiǎn)單運(yùn)算得到的，往往容易造成結(jié)果圖像缺乏層次感；其次，Reinhard方法僅僅考慮了圖像的全局信息而沒(méi)有很好地考慮圖像的局部信息，利用式(1)進(jìn)行顏色傳遞容易造成結(jié)果圖像存在一定程度的細(xì)節(jié)損失。

針對(duì)Reinhard方法存在的問(wèn)題，Xia等[20]進(jìn)一步在CIE Lab空間提出了一種基于語(yǔ)義信息自動(dòng)感知的顏色傳遞方法。該方法利用顯著性檢測(cè)得到的視覺(jué)引導(dǎo)圖[20]將圖像分割為前景區(qū)域和背景區(qū)域，然后在對(duì)應(yīng)的區(qū)域分別采用Reinhard方法進(jìn)行顏色傳遞以提高結(jié)果圖像的視覺(jué)效果。Xia方法的模型如下：

ri=wt,irf,i+w′t,irp,i，

(2)

(3)

(4)

圖2 視覺(jué)引導(dǎo)顏色傳遞結(jié)果示例Fig.2 Examples of visual guided color transfer results

3 顏色傳遞新方法

3.1 新方案的提出

針對(duì)傳統(tǒng)方法存在的不足，本文提出了一種結(jié)合圖像簽名和最優(yōu)傳輸?shù)念伾珎鬟f新方法。首先，采用了一種基于圖像簽名[22]的彩色圖像顯著區(qū)域檢測(cè)方法，可以更好地得到圖像的前景區(qū)域和背景區(qū)域，以此為基礎(chǔ)在對(duì)應(yīng)區(qū)域進(jìn)行顏色傳遞，能夠較好地提高結(jié)果圖像的層次感；其次，結(jié)合最優(yōu)傳輸理論[22]設(shè)計(jì)了一種保持內(nèi)容圖像亮度的顏色傳遞策略，以進(jìn)一步提升結(jié)果圖像的質(zhì)量。文中所提顏色傳遞方法的流程如圖3所示。首先，在CIE Lab顏色空間利用圖像簽名對(duì)輸入的內(nèi)容圖像和參考圖像分別作顯著性檢測(cè)處理，得到兩幅圖像的前景區(qū)域和背景區(qū)域；然后，結(jié)合最優(yōu)傳輸理論設(shè)計(jì)了一種亮度保持的顏色傳遞方法，并在內(nèi)容圖像和參考圖像的對(duì)應(yīng)區(qū)域進(jìn)行顏色傳遞；最后，合并顏色傳遞后的前景區(qū)域和背景區(qū)域并將其轉(zhuǎn)至RGB顏色空間，得到最后的結(jié)果圖像。

圖3 文中所提方法的流程圖Fig.3 Flow chart of the proposed method

3.2 基于圖像簽名的顯著區(qū)域檢測(cè)

文中引入基于圖像簽名的顯著區(qū)域檢測(cè)[22]方法，以進(jìn)一步提高結(jié)果圖像的層次感。由于該方法有效地結(jié)合了圖像的局部和全局信息，因此得到的顯著區(qū)域能夠較好地與人類視覺(jué)系統(tǒng)特性保持一致。以此為依據(jù)，將圖像軟分割成前景區(qū)域(顯著區(qū)域)和背景區(qū)域(非顯著區(qū)域)能夠更好地體現(xiàn)圖像的層次關(guān)系。

對(duì)于彩色圖像u:u=f+p，(u.f.p∈Ω)，其中：Ω是圖像的像素空間，f是u的前景區(qū)域，p是u的背景區(qū)域。通過(guò)在變換域中獲取u的符號(hào)[21]，然后將其反變換回空間域，可以近似地分離出f和p。為此，在CIE Lab空間中，定義圖像簽名如下：

Is(ui)=sign(DCT(ui))

(5)

式(5)中,i∈(L,a,b)，sign(·)為符號(hào)函數(shù)，DCT(·)為離散余弦變換。文獻(xiàn)[22]中，利用圖像簽名進(jìn)行圖像前景和背景分割的步驟如下：

(2)通過(guò)高斯核函數(shù)平滑(用于抑制由符號(hào)量化引入的噪聲)Is′(u)得到圖像簽名標(biāo)識(shí)符w，即

w=G*(Is′(u)°Is′(u))

(6)

式(6)中，G為高斯核函數(shù)，w為圖像標(biāo)識(shí)符，其元素反映了圖像對(duì)應(yīng)像素的顯著性。°為Hadamard乘積運(yùn)算符，*為卷積運(yùn)算。

(3)利用圖像標(biāo)識(shí)符w得到圖像u的前景區(qū)域f和背景區(qū)域p，即

(7)

式(7)中，j∈(R,G,B),.*為點(diǎn)乘運(yùn)算。

圖4所示為不同方法得到的顯著檢測(cè)區(qū)域、前景區(qū)域和背景區(qū)域的對(duì)比結(jié)果。其中，(a)為內(nèi)容圖像，(b)為文獻(xiàn)[21]方法得到的顯著區(qū)域(視覺(jué)引導(dǎo)圖)，(c)為文獻(xiàn)[21]方法利用圖4(b)得到的前景區(qū)域，(d)為文獻(xiàn)[21]方法利用圖4(b)得到的背景區(qū)域。4(e)為文獻(xiàn)[22]方法得到的顯著區(qū)域(圖像簽名標(biāo)識(shí)符)，(f)為文獻(xiàn)[22]方法利用圖4(e)得到的前景區(qū)域，(g)為文獻(xiàn)[22]方法利用圖(e)得到的背景區(qū)域。由圖4(a)可以看出，內(nèi)容圖像的前景區(qū)域?yàn)橹虚g部分延伸到右上角區(qū)域清晰的白色花束，圖像的背景區(qū)域?yàn)槠溆嗖糠?。以此為依?jù)，對(duì)比兩種不同方法得到的圖像前景區(qū)域和背景區(qū)域。由圖4(b)可知，文獻(xiàn)[21]的方法得到的顯著區(qū)域僅僅局限于橙紅色部分，它并不能較好地體現(xiàn)內(nèi)容圖像的顯著區(qū)域。圖4(c)和圖4(d)進(jìn)一步驗(yàn)證了該方法的局限性，即圖4(c)體現(xiàn)的前景區(qū)域與主觀分析得到的前景區(qū)域存在較大差異。相較而言，由圖4(e)可知，文獻(xiàn)[22]的方法得到的顯著區(qū)域(亮度較大的區(qū)域)更加符合人類視覺(jué)系統(tǒng)特性。圖4(f)和圖4(g)進(jìn)一步驗(yàn)證了該方法的有效性，即圖4(f)體現(xiàn)的前景區(qū)域較好地與主觀分析得到的前景區(qū)域保持了一致。圖4所示實(shí)驗(yàn)表明，文獻(xiàn)[22]方法得到的前景區(qū)域和背景區(qū)域能夠更好地體現(xiàn)圖像的層次關(guān)系。因此，本文采用文獻(xiàn)[22]方法將內(nèi)容圖像分割成不同的區(qū)域再進(jìn)行顏色傳遞，能夠讓結(jié)果圖像更好地保持內(nèi)容圖像的層次感。

圖4 不同方法得到的顯著檢測(cè)區(qū)域、前景區(qū)域和背景區(qū)域。Fig.4 Salient detection region, foreground region and background region obtained by different methods.

3.3 最優(yōu)傳輸顏色傳遞

顏色傳遞可以認(rèn)為是兩幅圖像間的某種特殊映射，即將參考圖像的顏色分布映射至內(nèi)容圖像，使內(nèi)容圖像在保持自身幾何結(jié)構(gòu)的同時(shí)具有參考圖像的顏色分布。在概率意義下，彩色圖像可以近似地視為3維高斯隨機(jī)變量[5,23]。假定在色彩傳遞過(guò)程中，內(nèi)容圖像t和參考圖像s其對(duì)應(yīng)的概率密度函數(shù)分別為M(t)和M(s)，映射函數(shù)為π，則顏色傳遞中的映射關(guān)系[21]可以定義如下：

(8)

式(8)中，π[t]與s理論上具有相似的顏色分布，并且有

π[t]=t*φ+ζ

(9)

式(9)中，φ是一個(gè)3×3的傳遞矩陣，ζ為待定參數(shù)，det(·)是行列式運(yùn)算符。由式(9)可知?π(t)=φ，且對(duì)應(yīng)的|det?π(t)|為大于0的常數(shù)，由此可得

M(t)∝M(π[t])

(10)

一般而言，圖像的概率密度函數(shù)可以用高斯核函數(shù)近似地估計(jì)[23]，即

(11)

(12)

式(11)和式(12)中，μ=(μL,μa,μb)為圖像各顏色分量的均值，σ=(σL,σa,σb)為圖像各顏色分量的協(xié)方差矩陣。為了使式(10)成立，則由式(8)、(9)、(11)、(12)可得：

π[t]=(t-μt)*φ+μs

(13)

然而，由上述關(guān)系得到的傳遞矩陣φ的結(jié)果并不唯一，且由該方法得到的結(jié)果圖像存在映射結(jié)果與預(yù)期不符以及視覺(jué)效果較差等問(wèn)題。

為了較好地解決上述問(wèn)題，文中引入Monge-Kantorovich最優(yōu)傳輸理論[24]，設(shè)計(jì)了新的顏色傳遞能量函數(shù)，以期得到更好的結(jié)果。Monge-Kantorovich最優(yōu)傳輸?shù)膬?yōu)點(diǎn)在于可以找到一種映射T以盡可能地減小兩個(gè)概率分布之間的距離，即

(14)

式(14)中，傳輸變換為T:X→Y,η(隨機(jī)變量X,Y，x∈X,y∈Y)為給定的損失函數(shù)，T(x)為映射后的分布，z(x)為X的分布函數(shù)。式(14)可以讓分布T(x)和分布y之間的距離最小。

為了讓映射后的顏色概率分布與參考顏色概率分布更為接近，本文借助式(14)設(shè)計(jì)了新的顏色傳遞能量函數(shù)(損失函數(shù)η采用歐式距離來(lái)近似)。即

(15)

式(15)中，π[t]為映射后的圖像，Ω是圖像的像素空間，M(t)是內(nèi)容圖像的概率密度函數(shù)。采用式(15)進(jìn)行顏色傳遞的優(yōu)點(diǎn)主要有：

(1)最優(yōu)傳輸?shù)慕馐峭购瘮?shù)的梯度[24]，意味著亮暗區(qū)域的關(guān)系在映射后保持不變，如此能夠解決映射與預(yù)期不符的問(wèn)題。

(2)解是凸函數(shù)的梯度，則φ必須是正定對(duì)稱的，從而φ存在唯一確定解，如此可以避免顏色傳遞結(jié)果不確定的問(wèn)題。

最后，需要說(shuō)明的是，通過(guò)最小化能量函數(shù)得到的傳遞矩陣為φ的解[25]為。

.

(16)

3.4 保持亮度的傳遞策略

一般而言，亮度信息是彩色圖像最重要的內(nèi)容之一，它不僅能夠體現(xiàn)圖像的明暗對(duì)比關(guān)系，而且還可以反映圖像的層次感、細(xì)節(jié)、梯度和紋理等重要特征。然而，在顏色傳遞過(guò)程中，內(nèi)容圖像和參考圖像的亮度信息往往差異較大，容易造成結(jié)果圖像出現(xiàn)層次感不足、對(duì)比度失衡以及部分細(xì)節(jié)丟失等問(wèn)題。為此，本文設(shè)計(jì)了一種保持內(nèi)容圖像亮度的傳遞策略。設(shè)內(nèi)容圖像前景區(qū)域和背景區(qū)域的亮度分量分別為L(zhǎng)t,f和Lt,p，分區(qū)域顏色傳遞完成后的前景區(qū)域和背景區(qū)域分別為π[t](Lf,af,bf)和π[t](Lp,ap,bp)。為了讓結(jié)果圖像能夠更好地保持內(nèi)容圖像的細(xì)節(jié)信息，在前景區(qū)域(或背景區(qū)域)顏色傳遞完成后，將對(duì)應(yīng)結(jié)果的亮度分量替換為內(nèi)容圖像原始前景區(qū)域(或原始背景區(qū)域)的亮度分量，即亮度保持后的前景區(qū)域和背景區(qū)域分別為π[t](Lt,f,af,bf)和π[t](Lt,p,ap,bp)。最后，再將亮度保持后的前景區(qū)域π[t](Lt,f,af,bf)和背景區(qū)域π[t](Lt,p,ap,bp)進(jìn)行合成，得到顏色傳遞結(jié)果圖像r(Lt,f+p,af+p,bf+p)。如此，能夠讓結(jié)果圖像在具有參考圖像顏色的基礎(chǔ)上更好地保持內(nèi)容圖像的細(xì)節(jié)特征。

圖5所示為本文方法的顏色傳遞結(jié)果。由圖5(c)可以發(fā)現(xiàn)，相較于圖1(c)所示Reinhard方法的實(shí)驗(yàn)結(jié)果，本文方法得到的結(jié)果圖像其層次感更加接近于內(nèi)容圖像，并且整體視覺(jué)效果有較大的提升；對(duì)比圖5(d)和圖1(e)可以發(fā)現(xiàn)，本文方法得到的結(jié)果圖像明顯更好地保持了內(nèi)容圖像的細(xì)節(jié)、紋理等信息(如雨痕、墻上的斑點(diǎn)等)。

圖5 新顏色傳遞方法結(jié)果示例圖Fig.5 Example of new color transfermethod result

為了進(jìn)一步說(shuō)明亮度保持策略的有效性，文中還增加了部分對(duì)比試驗(yàn)。圖6所示是不同方法所得結(jié)果圖像和亮度分量的對(duì)比圖。由圖6(c)～(e)可以看出，與圖(a)相比較，文獻(xiàn)[4]、文獻(xiàn)[7]和文獻(xiàn)[13]方法所得結(jié)果圖像的亮度分量都不同程度地存在對(duì)比度失衡、細(xì)節(jié)丟失以及層次感保持不足等問(wèn)題。圖6(f)～(i)中對(duì)應(yīng)的結(jié)果圖像進(jìn)一步反映了上述方法存在的問(wèn)題。相較而言，由圖6(e)和圖6(i)可知，本文方法所得結(jié)果圖像在具備參考圖像顏色的同時(shí)又較好地保持了內(nèi)容圖像的對(duì)比度、細(xì)節(jié)、梯度以及層次感等關(guān)鍵信

圖6 不同方法所得結(jié)果圖像及亮度分量對(duì)比Fig.6 Contrast of images and luminance components obtained by different methods

息。這主要是由于本文方法在顏色傳遞過(guò)程中采用了亮度保持策略，從而能夠讓結(jié)果圖像更好地保持內(nèi)容圖像的重要特征。

4 顏色傳遞評(píng)價(jià)指標(biāo)

目前，顏色傳遞方面并沒(méi)有公認(rèn)的客觀評(píng)價(jià)指標(biāo)。部分學(xué)者采用特征相似度[26](FSIM)、平均絕對(duì)差(MAD)和顏色差異等客觀評(píng)價(jià)指標(biāo)來(lái)衡量結(jié)果圖像的質(zhì)量。理論上，結(jié)果圖像應(yīng)該在保持參考圖像顏色的基礎(chǔ)上很好地保持內(nèi)容圖像的幾何結(jié)構(gòu)。因此，評(píng)價(jià)顏色傳遞結(jié)果圖像的質(zhì)量應(yīng)該綜合以上兩個(gè)方面的因素。為此，本文在綜合考慮了顏色保持和結(jié)構(gòu)保持的基礎(chǔ)上，利用改進(jìn)的色差模型[27]和改進(jìn)的結(jié)構(gòu)相似度[28](GSSIM)設(shè)計(jì)了一種新的顏色傳遞客觀評(píng)價(jià)指標(biāo)CSP，即

(17)

式(17)中，t為內(nèi)容圖像，s為參考圖像，r為結(jié)果圖像，ε為調(diào)節(jié)參數(shù)。Cc為基于色差模型的色彩差異，Cg為基于梯度的結(jié)構(gòu)相似度(GSSIM)。以下是對(duì)Cc和Cg的詳細(xì)介紹。

一方面，為了更好地評(píng)估結(jié)果圖像對(duì)參考圖像的顏色保持程度，文中利用基于色差模型[27]的色彩差異Cc來(lái)計(jì)算參考圖像和內(nèi)容圖像間的顏色差異，并以此評(píng)價(jià)它們二者間的顏色相似程度。經(jīng)典的色差模型[27]定義如下：

(18)

式(18)中，ΔE是色差，ΔL、ΔC和ΔH分別是CIE Lab空間中兩幅彩色圖像的亮度差、色度差和色相差，sL、sC和sH分別是亮度、色度和色相分量的權(quán)值函數(shù)，kL、kC和kH值是調(diào)優(yōu)參數(shù)，RT是色差擬合參數(shù)。式(18)中部分變量見式(19)。

.

(19)

由于經(jīng)典的色差ΔE是通過(guò)圖像間的點(diǎn)運(yùn)算得到的，非常容易受到圖像結(jié)構(gòu)的影響，因而模型(18)通常僅適用于結(jié)構(gòu)相同的兩幅圖像。一般而言，顏色傳遞中的參考圖像與結(jié)果圖像其結(jié)構(gòu)存在較大差異，因此利用經(jīng)典的色差ΔE來(lái)評(píng)估結(jié)果圖像對(duì)參考圖像的顏色保持程度，其效果并不理想。針對(duì)此問(wèn)題，本文對(duì)經(jīng)典的色差模型進(jìn)行了改進(jìn)，使其可以用于不同結(jié)構(gòu)圖像間的色差評(píng)估。

首先，鑒于文中3.4節(jié)已經(jīng)證明了保持內(nèi)容圖像亮度的重要性，因此在結(jié)果圖像和參考圖像間進(jìn)行色差評(píng)估時(shí)不再考慮亮度分量。其次，考慮到點(diǎn)運(yùn)算容易受到圖像結(jié)構(gòu)的影響，因此采用全局統(tǒng)計(jì)量(均值)來(lái)計(jì)算色度差ΔC′和色相差ΔH′。即

(20)

(21)

調(diào)優(yōu)參數(shù)的均值，RT是色差擬合參數(shù)的均值。當(dāng)兩幅圖像間的顏色差異較大時(shí)，則Cc較大；反之，則Cc較小。

另一方面，文中引入文獻(xiàn)[28]的基于梯度的結(jié)構(gòu)相似度(GSSIM)來(lái)計(jì)算Cg以更好地評(píng)價(jià)結(jié)果圖像對(duì)內(nèi)容圖像的結(jié)構(gòu)保持程度。GSSIM指標(biāo)在傳統(tǒng)的SSIM指標(biāo)基礎(chǔ)上還引入了梯度信息，能夠更充分地考慮圖像中諸如紋理、細(xì)節(jié)和邊緣等重要特征，因而可以更好地評(píng)價(jià)兩幅圖像在結(jié)構(gòu)上的相似程度。由于GSSIM通常用于灰度圖像間的結(jié)構(gòu)相似度計(jì)算，因此定義結(jié)果圖像r與內(nèi)容圖像t的結(jié)構(gòu)相似度為：

(22)

式(22)中，

(23)

式(23)中，k∈(R,G,B)，lk(r,t)為圖像各通道的相似參數(shù)，δ1=0.01，δ2=0.03，δ3=0.015，μk,r、μk,t分別為各通道的均值，σk,r、σk,t分別為各通道的標(biāo)準(zhǔn)差，φk(r,t)、φk,g(r,t)分別為各通道的對(duì)比度相似參數(shù)和結(jié)構(gòu)相似參數(shù)，gk,t(i,j)和gk,r(i,j)分別為各通道中原圖像t和結(jié)果圖像r在(i,j)處的梯度模值。由式(22)可知，當(dāng)兩幅圖像間的結(jié)構(gòu)差異較大時(shí)，Cg較小；反之，則Cg較大。

需要說(shuō)明的是，本文所提顏色傳遞評(píng)價(jià)指標(biāo)CSP可以直接從數(shù)值上來(lái)體現(xiàn)顏色傳遞的綜合效果。實(shí)際上，式(17)所述CSP指標(biāo)中的Cc(顏色評(píng)價(jià)指標(biāo))越小，說(shuō)明結(jié)果圖像對(duì)參考圖像的顏色保持程度越高；而式(17)中的Cg(結(jié)構(gòu)評(píng)價(jià)指標(biāo))越大，說(shuō)明結(jié)果圖像對(duì)內(nèi)容圖像的結(jié)構(gòu)保持程度越好。因此，CSP的值越大說(shuō)明顏色傳遞的綜合效果越好，反之則越差。相對(duì)于傳統(tǒng)的FSIM[27]、MAD等客觀評(píng)價(jià)指標(biāo)，顏色傳遞評(píng)價(jià)指標(biāo)CSP可以同時(shí)兼顧結(jié)果圖像對(duì)參考圖像的顏色保持程度和結(jié)果圖像對(duì)內(nèi)容圖像的結(jié)構(gòu)保持程度。因而，CSP指標(biāo)能夠比傳統(tǒng)評(píng)價(jià)指標(biāo)(FSIM和MAD)更加全面地衡量顏色傳遞的綜合效果。

5 實(shí)驗(yàn)分析

5.1 實(shí)驗(yàn)結(jié)果比較

為了驗(yàn)證所提顏色傳遞方法的有效性，文中將其與近年來(lái)的部分方法(文獻(xiàn)[4]Reinhard方法，文獻(xiàn)[8]Xiao方法，文獻(xiàn)[21]Xia方法，文獻(xiàn)[11]Li方法，文獻(xiàn)[14]Grogan方法)進(jìn)行了比較。文中涉及的所有程序均在MATLAB 2019a環(huán)境下運(yùn)行，實(shí)驗(yàn)平臺(tái)為：Intel(R)Corei5-5200U、2.2 GHz主頻、4 G內(nèi)存、Win10操作系統(tǒng)。圖7所示是不同方法進(jìn)行顏色傳遞的結(jié)果比較，第1列～第5列分別是5組不同的顏色傳遞實(shí)驗(yàn)。

由圖7所示的實(shí)驗(yàn)結(jié)果可以看出：(1)Reinhard方法存在層次感保持不足(如圖(c2)、(c4)和(c5)所示，它們與內(nèi)容圖像的層次感存在較大差異)、細(xì)節(jié)丟失(如圖(c1)、(c4)和(c5)所示的綠色矩形區(qū)域沒(méi)有較好地保持內(nèi)容圖像對(duì)應(yīng)區(qū)域的細(xì)節(jié)信息)以及顏色不和諧(如圖(c1)的紅色矩形區(qū)域和圖(c3)的綠色矩形區(qū)域)等問(wèn)題；(2)Xiao方法存在層次感保持不足(如圖(d2)～(d5)都沒(méi)有很好地體現(xiàn)內(nèi)容圖像的層次感)、顏色不和諧(如圖(d1)～(d3)的紅色矩形區(qū)域)和細(xì)節(jié)丟失(如圖(d1)、(d4)和(d5)的綠色矩形區(qū)域)等問(wèn)題；(3)Xia方法存在層次感保持不足(如圖(e2)和(e3))和細(xì)節(jié)丟失(如圖(e1)、(e4)和(e5)的紅色和綠色矩形區(qū)域)等問(wèn)題；(4)Li方法不能很好地保持參考圖像的顏色信息(如圖(f1)～(f5)所示結(jié)果圖像的顏色與參考圖像的顏色存在較大差異)；(5)Grogan方法存在層次感保持不足(如圖(g2)中近處草地上的花叢與遠(yuǎn)處的山峰幾乎混為一體，沒(méi)有很好地體現(xiàn)內(nèi)容圖像對(duì)應(yīng)區(qū)域原有的層次關(guān)系，顏色過(guò)渡不自然(如圖(g1)背景區(qū)域的山體和近處山體間的顏色過(guò)渡，(g5)的綠色矩形區(qū)域)和細(xì)節(jié)增強(qiáng)過(guò)度(如圖(g3)背景區(qū)域的細(xì)節(jié)信息被過(guò)度增強(qiáng)，與內(nèi)容圖像的對(duì)應(yīng)區(qū)域存在較大差異)等問(wèn)題；(6)由圖(h1)～(h5)可以發(fā)現(xiàn)，相較而言，本文方法得到的結(jié)果圖像在層次感保持、細(xì)節(jié)保持和顏色保持等方面均有更好的表現(xiàn)，并且沒(méi)有出現(xiàn)諸如顏色不和諧、顏色過(guò)渡不自然以及細(xì)節(jié)過(guò)度增強(qiáng)等問(wèn)題。上述實(shí)驗(yàn)結(jié)果表明，本文所提方法得到的結(jié)果圖像其整體質(zhì)量明顯優(yōu)于其他方法。

圖7 不同風(fēng)格圖像的實(shí)驗(yàn)結(jié)果Fig.7 Experimental results of different style images

5.2 客觀評(píng)價(jià)

為了進(jìn)一步證明所提新方法的有效性，文中利用特征相似度(FSIM)、平均絕對(duì)差(MAD)指標(biāo)以及第4節(jié)新設(shè)計(jì)的CSP指標(biāo)對(duì)圖7所示的5組實(shí)驗(yàn)結(jié)果進(jìn)行了評(píng)估。不同指標(biāo)的評(píng)估結(jié)果如表1所示。需要說(shuō)明的是：表1中的Cc是色彩差異，其值越小則表明兩幅圖像的顏色越接近；Cg是結(jié)構(gòu)差異，其值越大表明兩幅圖像在結(jié)構(gòu)上越相似； CSP是文中新設(shè)計(jì)的顏色傳遞評(píng)價(jià)指標(biāo)，其值越大說(shuō)明顏色傳遞的綜合效果越好。

表1 客觀評(píng)分Tab.1 Objective scoring

續(xù) 表

由表1可知：(1)在結(jié)果圖像對(duì)參考圖像的顏色保持方面(Cc)，本文方法取得了較好的效果；(2)在基于梯度的結(jié)構(gòu)相似度方面(Cg)，本文方法在5組對(duì)比實(shí)驗(yàn)中均優(yōu)于其他方法，這主要是由于文中新方法采用了最優(yōu)傳輸理論以及內(nèi)容圖像的亮度保持策略，如此可以更好地保持內(nèi)容圖像的結(jié)構(gòu)；(3)在綜合效果方面(CSP)，本文方法在5組對(duì)比實(shí)驗(yàn)中均優(yōu)于其他方法，這說(shuō)明文中所提新方法在保持參考圖像顏色的同時(shí)能夠兼顧內(nèi)容圖像結(jié)構(gòu)的保持。另外，在特征相似度(FSIM)、平均絕對(duì)差(MAD)指標(biāo)方面，本文方法亦取得了更加理想的效果。表1所示實(shí)驗(yàn)結(jié)果說(shuō)明，本文方法所得結(jié)果圖像在對(duì)參考圖像的顏色保持方面和對(duì)內(nèi)容圖像的結(jié)構(gòu)保持方面表現(xiàn)更優(yōu)。

5.3 主觀評(píng)價(jià)

為了驗(yàn)證本文所提評(píng)價(jià)指標(biāo)CSP的有效性以及更全面地評(píng)價(jià)不同方法所得結(jié)果圖像的質(zhì)量，本文進(jìn)一步采用顏色傳遞方面最常用的主觀評(píng)分方式對(duì)圖7所示不同方法的結(jié)果圖像質(zhì)量進(jìn)行評(píng)價(jià)。為此，隨機(jī)選擇了30位志愿者(15位男生和15位女生)對(duì)上述實(shí)驗(yàn)結(jié)果從顏色保持、結(jié)構(gòu)保持和整體視覺(jué)效果3方面進(jìn)行了10分制綜合評(píng)分(每種方法的最終得分為30位志愿者評(píng)分的均值，分?jǐn)?shù)越高表示效果越好)，最后的評(píng)分結(jié)果如表2所示。由表2可知，本文方法所得主觀評(píng)分均高于其他方法，這與表1所示的CSP評(píng)價(jià)結(jié)果保持了較高的一致性。

表2 主觀評(píng)分 Table 2 Subjective scoring results

值得注意的是，從表1和表2所示結(jié)果來(lái)看，特征相似度(FSIM)、平均絕對(duì)差(MAD)指標(biāo)用于評(píng)價(jià)顏色傳遞的效果并不十分理想。首先，第1組和第4組實(shí)驗(yàn)中，Li方法和本文方法所得結(jié)果圖像的FSIM值非常接近，然而結(jié)合圖7所示結(jié)果((f1)和(h1)，(f4)和(h4))以及表2的主觀評(píng)分可以發(fā)現(xiàn)，Li方法((f1)，(f4))在顏色保持方面存在明顯的不足，其所得結(jié)果圖像的綜合效果遠(yuǎn)不及本文方法((h1)，(h4))。其次，由表1的FSIM列數(shù)據(jù)可以看出，5組實(shí)驗(yàn)中不同方法得到的FSIM值十分接近，其區(qū)分度非常小。然而，比較圖7所示第2組實(shí)驗(yàn)中的(g2)和(h2)、第3組實(shí)驗(yàn)中的(c3)和(h3)、第4組中的(d4)和(h4)以及第5組的(d5)和(h5)可以明顯看出，本文方法所得結(jié)果(h2)、(h3)、(h4)和(h5)在保持內(nèi)容圖像特征方面要分別優(yōu)于(g2)、(c3)、(d4)和(d5)；由表1的MAD列數(shù)據(jù)可以看出，Li方法與本文方法以及Grogan方法得到的MAD值較為接近，但3種方法得到的結(jié)果圖像存在較大差異。因此，利用特征相似度(FSIM)、平均絕對(duì)差(MAD)指標(biāo)并不能很好地評(píng)價(jià)顏色傳遞結(jié)果圖像的優(yōu)劣。

另外，文中所提顏色評(píng)價(jià)指標(biāo)Cc是對(duì)參考圖像和結(jié)果圖像的色相和色度兩個(gè)方面進(jìn)行差異評(píng)估，其值可以較好地體現(xiàn)兩幅圖像的顏色相似程度。如表1的Cc列數(shù)據(jù)，Li方法所得結(jié)果圖像在5組實(shí)驗(yàn)中的Cc值均較大，說(shuō)明其顏色保持能力較弱；而本文方法所得結(jié)果圖像的Cc值均較小，說(shuō)明其顏色保持能力較強(qiáng)。這一點(diǎn)在圖7所示的實(shí)驗(yàn)結(jié)果中得到了充分的驗(yàn)證，即Cc值能夠較好地體現(xiàn)結(jié)果圖像對(duì)參考圖像顏色的保持程度。文中所提結(jié)構(gòu)評(píng)價(jià)指標(biāo)Cg在SSIM基礎(chǔ)上添加了邊緣保持的能力檢測(cè)，其值可以更充分地反映結(jié)果圖像和內(nèi)容圖像結(jié)構(gòu)間的差異。如表1中的Cg列數(shù)據(jù),本文方法和Li方法所得結(jié)果的Cg值明顯優(yōu)于其他方法，從圖7中的實(shí)驗(yàn)結(jié)果也可以看出這一點(diǎn)。考慮到Cc和Cg僅僅是基于顏色保持和結(jié)構(gòu)保持的單一性指標(biāo)，因此本文結(jié)合顏色評(píng)價(jià)指標(biāo)Cc和結(jié)構(gòu)評(píng)價(jià)指標(biāo)Cg提出了顏色傳遞綜合評(píng)價(jià)指標(biāo)CSP。由表1所示結(jié)果可以看出，不同方法所得CSP值有明顯區(qū)別，并且與表2所示的主觀評(píng)分和結(jié)果圖像的整體視覺(jué)效果保持了高度一致，這較好地說(shuō)明了本文所提顏色傳遞綜合指標(biāo)CSP的有效性。綜上可知，相對(duì)特征相似度(FSIM)、平均絕對(duì)差(MAD)指標(biāo)而言，文中所提綜合評(píng)價(jià)指標(biāo)CSP能夠?qū)︻伾珎鬟f結(jié)果圖像的質(zhì)量作出更為合理的評(píng)價(jià)。

由表1所示的客觀評(píng)價(jià)結(jié)果和表2所示的主觀評(píng)價(jià)結(jié)果可知，相較于傳統(tǒng)顏色傳遞方法，本文所提新方法能夠取得質(zhì)量更高的顏色傳遞結(jié)果，新方法的綜合效果(CSP)較傳統(tǒng)方法平均提升了30%。

6 結(jié) 論

為了提高顏色傳遞的效果，本文提出一種結(jié)合圖像簽名和最優(yōu)傳輸?shù)念伾珎鬟f新方法。首先，為了提高結(jié)果圖像的層次感，引入基于圖像簽名的顯著區(qū)域檢測(cè)算法。其次，為了讓結(jié)果圖像較好地保持內(nèi)容圖像的紋理、梯度以及細(xì)節(jié)等重要特征，本文利用最優(yōu)傳輸理論設(shè)計(jì)了一種保持內(nèi)容圖像亮度的顏色傳遞策略。另外，本文還設(shè)計(jì)了一種新的顏色傳遞評(píng)價(jià)指標(biāo)用于顏色傳遞效果的評(píng)估。大量實(shí)驗(yàn)表明，相比于傳統(tǒng)的顏色傳遞方法，本文所提新方法能夠得到質(zhì)量更高的結(jié)果圖像。并且，新的顏色傳遞客觀評(píng)價(jià)指標(biāo)較傳統(tǒng)評(píng)價(jià)指標(biāo)更為合理和有效?，F(xiàn)階段，深度學(xué)習(xí)技術(shù)被廣泛用于圖像處理領(lǐng)域的各個(gè)方面。雖然基于深度學(xué)習(xí)的圖像處理方法通常涉及的訓(xùn)練時(shí)間較長(zhǎng)且網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，但是此類方法往往可以取得較好的效果。因此，如何結(jié)合深度學(xué)習(xí)技術(shù)研究簡(jiǎn)單高效的顏色傳遞方法是今后的重點(diǎn)。