張曉東， 高紹姝

(中國(guó)石油大學(xué)(華東) 計(jì)算機(jī)與通信工程學(xué)院， 山東 青島 266580)

?

·計(jì)算機(jī)技術(shù)及應(yīng)用·

基于目標(biāo)探測(cè)的彩色融合圖像質(zhì)量主觀評(píng)價(jià)實(shí)驗(yàn)

張曉東， 高紹姝

(中國(guó)石油大學(xué)(華東) 計(jì)算機(jī)與通信工程學(xué)院， 山東 青島 266580)

可見光與紅外彩色融合圖像能幫助觀察者更好地探測(cè)目標(biāo)，然而，如何評(píng)價(jià)不同融合圖像在目標(biāo)探測(cè)方面的性能表現(xiàn)，相關(guān)的研究目前還十分有限，特別是缺乏目標(biāo)清晰度對(duì)融合圖像目標(biāo)探測(cè)性影響的研究。開展彩色融合圖像質(zhì)量主觀評(píng)價(jià)實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行回歸分析。結(jié)果表明，目標(biāo)清晰度和目標(biāo)與背景對(duì)比度是影響融合圖像目標(biāo)探測(cè)性的兩方面關(guān)鍵影響因素，并利用這兩方面單一質(zhì)量評(píng)價(jià)指標(biāo)的線性組合建立了基于目標(biāo)探測(cè)的融合圖像綜合質(zhì)量的預(yù)測(cè)模型。為進(jìn)一步實(shí)現(xiàn)基于目標(biāo)探測(cè)的融合圖像質(zhì)量客觀評(píng)價(jià)奠定理論和實(shí)驗(yàn)基礎(chǔ)。

融合圖像； 目標(biāo)與背景對(duì)比度； 主觀評(píng)價(jià)實(shí)驗(yàn)

0 引 言

可見光與紅外圖像彩色融合技術(shù)可有效綜合兩個(gè)波段提供的信息，提供適于人眼觀察的偽彩色圖像，在保留場(chǎng)景細(xì)節(jié)信息的同時(shí)，也有助于觀察者探測(cè)熱目標(biāo)。在戰(zhàn)場(chǎng)偵察、目標(biāo)探測(cè)等方面展現(xiàn)出廣泛的應(yīng)用前景。不斷涌現(xiàn)出的融合算法和系統(tǒng)裝備，使得科學(xué)評(píng)價(jià)融合圖像質(zhì)量成為技術(shù)研究和系統(tǒng)應(yīng)用迫切需要解決的焦點(diǎn)問(wèn)題[1]。

圖像質(zhì)量評(píng)價(jià)包括主觀評(píng)價(jià)和客觀評(píng)價(jià)兩種方法。主觀評(píng)價(jià)依靠觀察者的感受來(lái)評(píng)價(jià)圖像質(zhì)量；客觀評(píng)價(jià)模擬人類視覺系統(tǒng)感知機(jī)制衡量圖像質(zhì)量，依據(jù)模型計(jì)算量化指標(biāo)。但是，人眼是彩色融合圖像的最終接受者，通過(guò)大量觀察者對(duì)圖像質(zhì)量主觀評(píng)價(jià)的結(jié)果是最為準(zhǔn)確的。主觀評(píng)價(jià)實(shí)驗(yàn)是客觀評(píng)價(jià)模型研究和建立的基礎(chǔ)。

目前，圖像質(zhì)量評(píng)價(jià)多為單一指標(biāo)評(píng)價(jià)，如圖像對(duì)比度[2]、圖像清晰度[3]等。這類指標(biāo)雖然方便建模量化，但是只能衡量圖像某一方面的單一質(zhì)量。如何針對(duì)具體的應(yīng)用目的評(píng)價(jià)融合圖像的綜合質(zhì)量尚沒有統(tǒng)一的理論和方法。幫助觀察者更快、更準(zhǔn)確地探測(cè)目標(biāo)是彩色融合圖像的主要應(yīng)用目的之一。Yuan等提出了彩色融合圖像目標(biāo)探測(cè)性的客觀評(píng)價(jià)模型[4]，該模型由目標(biāo)區(qū)域亮度、目標(biāo)和背景的感知亮度差異、色調(diào)差和彩度差，四方面參數(shù)組成。Yin等[5-8]通過(guò)比較目標(biāo)識(shí)別區(qū)域，用目標(biāo)探測(cè)率和ROC(Receiver Operating Characteristic)曲線，以及計(jì)算目標(biāo)與背景的顏色距離來(lái)客觀衡量融合圖像中目標(biāo)的可探測(cè)性。然而，除上述幾方面影響因素以外，目標(biāo)細(xì)節(jié)和邊緣的清晰程度對(duì)目標(biāo)探測(cè)性的影響不容忽視，目前缺乏這方面的研究。

本文設(shè)計(jì)主觀評(píng)價(jià)實(shí)驗(yàn)，通過(guò)實(shí)驗(yàn)數(shù)據(jù)分析，利用易于建模的單一質(zhì)量指標(biāo)(目標(biāo)清晰度和目標(biāo)與背景對(duì)比度)，構(gòu)造基于目標(biāo)探測(cè)的彩色融合圖像綜合質(zhì)量預(yù)測(cè)模型，為進(jìn)一步實(shí)現(xiàn)融合圖像綜合質(zhì)量客觀評(píng)價(jià)模型奠定實(shí)驗(yàn)基礎(chǔ)和理論基礎(chǔ)。

1 主觀評(píng)價(jià)實(shí)驗(yàn)

1.1 評(píng)價(jià)指標(biāo)

主觀評(píng)價(jià)實(shí)驗(yàn)選用兩方面單一質(zhì)量指標(biāo)與基于目標(biāo)探測(cè)的圖像綜合質(zhì)量指標(biāo)。

(1) 目標(biāo)清晰度(Sharpness of the Target, ST)。清晰度是衡量圖像質(zhì)量時(shí)常用的評(píng)價(jià)指標(biāo)[9]。目標(biāo)清晰度是指目標(biāo)中細(xì)節(jié)紋理以及目標(biāo)邊緣的可辨識(shí)程度。清晰的目標(biāo)更容易被探測(cè)。

(2) 目標(biāo)與背景對(duì)比度(Contrast between the Target and Background, CTB)。對(duì)于彩色圖像，目標(biāo)與背景的感知對(duì)比度是影響人眼對(duì)融合圖像中熱目標(biāo)探測(cè)的主要因素之一。人眼在很大程度上，依賴目標(biāo)和背景對(duì)比度來(lái)發(fā)現(xiàn)目標(biāo)。目標(biāo)與背景對(duì)比度越大，觀察者發(fā)現(xiàn)該目標(biāo)所用的時(shí)間越短、判斷準(zhǔn)確度越高，即目標(biāo)探測(cè)性越好。

(3) 基于目標(biāo)探測(cè)的圖像綜合質(zhì)量(Comprehensive Quality Based on Target Detectability, CQTD)。該綜合指標(biāo)可以評(píng)價(jià)彩色融合圖像滿足特定應(yīng)用需求的能力，衡量融合圖像是否有利于觀察者快速、準(zhǔn)確地發(fā)現(xiàn)目標(biāo)。

本實(shí)驗(yàn)規(guī)定紅外圖像中的熱目標(biāo)為需要探測(cè)的目標(biāo)。若一幅圖像中存在多個(gè)熱目標(biāo)要求觀察者綜合衡量來(lái)打分。

1.2 評(píng)價(jià)圖像及分類

將可見光和紅外圖像采用8種融合算法產(chǎn)生不同的融合圖像，融合方法分別為TNO1996法[10]、MIT1997法[11]、YUV空間的線性融合法(LFinYUV20 07)[12]、基于拮抗視覺特性的YUV空間融合法(OFinYUV2009)[13]及基于控向金字塔的融合算法(SP2009)[14]。此外，在YUV空間線性融合基礎(chǔ)上采用了三種色彩傳遞處理，分別為YUV空間全局線性傳遞(GTinYUV2008)[15]、YUV空間和RGB空間的多分辨率色彩傳遞(MRTinYUV2010和MRTinRGB2010)[16]。實(shí)驗(yàn)使用的一組可見光與紅外源圖像及其8種基于融合算法得到的融合圖像如圖1所示。

(a)紅外圖像(b)可見光圖像(c)TNO1996(d)MIT1997(e)LFinYUV2007(f)OFinYUV2009(g)SP2009(h)GTinYUV2008(i)MRTinRGB2010(j)MRTinYUV2010

圖1 實(shí)驗(yàn)使用的一組源圖像以及融合結(jié)果圖像

在彩色融合系統(tǒng)的實(shí)際應(yīng)用中，海天、植物和城鎮(zhèn)建筑是最常用的三種場(chǎng)景類型，本文主觀評(píng)價(jià)實(shí)驗(yàn)選擇這三種典型場(chǎng)景融合圖像：

(1)海天場(chǎng)景。主要為海面和天空。

(2)植物場(chǎng)景。主要為野外樹林、草地背景。

(3)城鎮(zhèn)建筑物場(chǎng)景。主要為城鎮(zhèn)混凝土建筑物、水泥或?yàn)r青地面等。

實(shí)驗(yàn)中，每類場(chǎng)景包含10組圖像，三類場(chǎng)景共30組，每組包括8幅不同融合算法得到的圖像，全部240幅評(píng)價(jià)圖像。30組可見光與紅外的源圖像中，10組城鎮(zhèn)建筑物場(chǎng)景的圖像為Nigel J. W. Morris提供的圖片，其余圖像為本實(shí)驗(yàn)室使用可見光CCD和長(zhǎng)波紅外焦平面熱像儀采集圖像，這些實(shí)驗(yàn)圖像均包含明確的熱目標(biāo)。

1.3 實(shí)驗(yàn)條件及觀察者

實(shí)驗(yàn)在暗室中進(jìn)行，使用CRT (Cathode Ray Tube)顯示器進(jìn)行實(shí)驗(yàn)，顯示器是暗室中唯一的光源。顯示器的分辨率為1 024×768，每英寸的像素?cái)?shù)為 80，其峰值白點(diǎn)亮度為100 cd/m2。觀察距離為50cm，每幅圖像大小均為320×240。實(shí)驗(yàn)前，顯示器預(yù)熱2 h，觀察者用2 min適應(yīng)觀察條件。使用Photo Research公司的光譜輻射度計(jì)PR-715測(cè)量，對(duì)實(shí)驗(yàn)使用的CRT顯示器進(jìn)行校準(zhǔn)以及顏色特性化。為了確保CRT顯示器顏色復(fù)制的準(zhǔn)確性，使用GOG模型進(jìn)行實(shí)測(cè)三刺激值與RGB值之間的轉(zhuǎn)換。根據(jù)ITU-R 提供的主觀評(píng)價(jià)相關(guān)標(biāo)準(zhǔn)，本實(shí)驗(yàn)觀察者共17人，年齡范圍為20～46歲，具有正常的視力和色視覺。

1.4 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)開始前，對(duì)實(shí)驗(yàn)?zāi)康?、?shí)驗(yàn)過(guò)程、評(píng)價(jià)指標(biāo)、評(píng)分標(biāo)準(zhǔn)以及待評(píng)價(jià)圖像，進(jìn)行必要的介紹，確保觀察者沒有理解偏差的給出評(píng)價(jià)分?jǐn)?shù)。實(shí)驗(yàn)時(shí)，每組圖像首先顯示可見光與紅外源圖像，使觀察者了解該組圖像內(nèi)容并明確圖像中的目標(biāo)(紅外圖像中的熱目標(biāo))，隨后顯示器同時(shí)顯示隨機(jī)排列的8幅融合圖像(背景為中等灰度)，評(píng)價(jià)者對(duì)圖像相互比較并等級(jí)排隊(duì)，每一項(xiàng)評(píng)價(jià)指標(biāo)從非常不滿意到非常滿意分為7個(gè)等級(jí)，對(duì)應(yīng)1～7分制的標(biāo)準(zhǔn)，采用類別評(píng)判法給出每一幅圖像的評(píng)價(jià)分?jǐn)?shù)。要求觀察者在無(wú)法明顯區(qū)分優(yōu)劣時(shí), 盡量給出相同分?jǐn)?shù)避免評(píng)價(jià)結(jié)果的不穩(wěn)定性。

2 數(shù)據(jù)分析及實(shí)驗(yàn)結(jié)果

2.1 主觀實(shí)驗(yàn)數(shù)據(jù)預(yù)處理

為了方便進(jìn)行相互比較，將不同分布的評(píng)價(jià)分?jǐn)?shù)限制在[0,1]范圍內(nèi)，本實(shí)驗(yàn)把觀察者k針對(duì)評(píng)價(jià)圖像組p中8幅圖像給出的評(píng)價(jià)分?jǐn)?shù)作為一組進(jìn)行標(biāo)準(zhǔn)0-1變換，使得該組中最高分為1，最低分為0，得到標(biāo)準(zhǔn)化意見分?jǐn)?shù)：

(1)

(2)

表1給出三方面評(píng)價(jià)指標(biāo)相互間Pearson線性相關(guān)系數(shù)，其顯著性水平均小于0.01，CQTD與ST和CTB均存在顯著的線性關(guān)系。因此，基于多元線性回歸分析方法，研究CQTD和ST及CTB之間的線性關(guān)系。

表1 三個(gè)評(píng)價(jià)指標(biāo)間的Pearson相關(guān)系數(shù)

表2 CQTD回歸模型及方差分析結(jié)果

2.2 融合圖像CQTD預(yù)測(cè)模型

主觀評(píng)價(jià)中所有融合圖像評(píng)價(jià)結(jié)果，將CTB和ST作為自變量CQTD作為因變量，進(jìn)行回歸分析，得到CQTD回歸預(yù)測(cè)模型，如表2所示。t統(tǒng)計(jì)量反映出單一質(zhì)量指標(biāo)對(duì)CQTD影響的顯著程度，其中CTB較ST有更顯著的影響，兩者顯著性水平(P)均小于0.05，具有統(tǒng)計(jì)學(xué)意義。同時(shí)，方差擴(kuò)大因子(Variance Inflation Factor, VIF)都小于10，表明CTB和ST之間不存在嚴(yán)重的多重共線性問(wèn)題，得到回歸方程：

CQTD=0.507CTB+0.477ST

R2=0.973

(3)

其中，決定系數(shù)R2為0.973，表示CTB和ST能解釋CQTD中97.3%的變化。該回歸模型的方差分析(Analysis of Variance，ANOVA)結(jié)果中，F(xiàn)統(tǒng)計(jì)量為4345.961，顯著性P=0.000，表示此回歸方程十分顯著，即可按99.9%以上的概率斷言CTB和ST兩個(gè)自變量共同對(duì)CQTD產(chǎn)生顯著的線性影響。

在實(shí)際應(yīng)用中彩色融合系統(tǒng)可能適用于特定類型的場(chǎng)景，需要針對(duì)不同的場(chǎng)景類型選擇適合的融合算法。同時(shí)，由于不同場(chǎng)景類型圖像具有不同的圖像特點(diǎn)，其中包含紋理和細(xì)節(jié)的豐富程度不同，各單一評(píng)價(jià)指標(biāo)對(duì)圖像綜合質(zhì)量的影響大小會(huì)有所變化，為了使融合圖像綜合質(zhì)量預(yù)測(cè)模型更有針對(duì)性，分別對(duì)海天、植物和城鎮(zhèn)建筑物，三種典型場(chǎng)景圖像采用相同的回歸分析方法，分別得到各場(chǎng)景融合圖像CQTD的預(yù)測(cè)模型：

海天場(chǎng)景

CQTD=0.622ST+0.340CTB

R2=0.977

(4)

植物場(chǎng)景

CQTD=0.502CTB+0.478ST

R2=0.976

(5)

城鎮(zhèn)建筑物場(chǎng)景

CQTD=0.764CTB+0.260ST

R2=0.990

(6)

從式(4)～(6)可以看出，三種典型場(chǎng)景融合圖像的CQTD均可以利用CTB和ST兩方面單一質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行有效地預(yù)測(cè)。其中，植物場(chǎng)景和城鎮(zhèn)建筑物場(chǎng)景融合圖像的CQTD預(yù)測(cè)模型中，目標(biāo)背景對(duì)比度是主要的影響因素，目標(biāo)清晰度次之；而對(duì)于海天場(chǎng)景圖像，ST在CQTD的預(yù)測(cè)模型中占有較大的權(quán)重系數(shù)，這是由于海天場(chǎng)景包含較少的細(xì)節(jié)和紋理信息，背景均勻，觀察者僅依賴目標(biāo)的輪廓就可以發(fā)現(xiàn)目標(biāo)，清晰的目標(biāo)表現(xiàn)出邊緣和紋理較好的辨識(shí)性，使得目標(biāo)更加突出。因此，對(duì)于海天場(chǎng)景融合圖像，目標(biāo)清晰度對(duì)目標(biāo)探測(cè)性有較大的影響。

3 結(jié) 語(yǔ)

通過(guò)開展彩色融合圖像質(zhì)量的視覺主觀評(píng)價(jià)實(shí)驗(yàn)，對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行回歸分析，建立了基于目標(biāo)探測(cè)的圖像綜合質(zhì)量與圖像單一質(zhì)量的關(guān)系。實(shí)驗(yàn)結(jié)果表明，目標(biāo)與背景對(duì)比度和目標(biāo)清晰度是影響融合圖像目標(biāo)探測(cè)性的兩方面主要因素，利用二者的線性組合可以很好地預(yù)測(cè)基于目標(biāo)探測(cè)的融合圖像綜合質(zhì)量。不同場(chǎng)景類型的融合圖像具有不同的圖像特點(diǎn)，目標(biāo)與背景對(duì)比度和目標(biāo)清晰度對(duì)CQTD的影響程度不同，但CQTD預(yù)測(cè)模型的基本形式不變，只是兩個(gè)自變量對(duì)應(yīng)的加權(quán)系數(shù)有所不同。CQTD可以針對(duì)具體應(yīng)用目的評(píng)價(jià)融合圖像的綜合質(zhì)量，但卻難以直接量化。CTB和ST兩方面常用的單一評(píng)價(jià)指標(biāo)易于客觀建模，結(jié)合本文主觀實(shí)驗(yàn)得到的CQTD預(yù)測(cè)模型，可以建立更符合人眼主觀感受的CQTD客觀評(píng)價(jià)模型。

[1] 張 勇, 金偉其. 夜視融合圖像質(zhì)量客觀評(píng)價(jià)方法[J]. 紅外與激光工程, 2013, 42(5): 1360-1365.

[2] Yuan Y, Zhang J, Chang B,etal. Objective quality evaluation of visible and infrared color fusion image[J]. Opt Eng, 2011, 50(3): 033202-033211.

[3] 高紹姝, 金偉其, 王 霞, 等. 可見光與紅外彩色融合圖像感知清晰度評(píng)價(jià)模型[J]. 光譜學(xué)與光譜分析, 2012, 32(12): 3197-3202.

[4] Yin S, Cao L, Ling Y,etal. One color contrast enhanced infrared and visible image fusion method[J]. Infrared Phys Techn, 2010, 53(2): 146-150.

[5] Qian X, Wang Y, Wang B. Effective contrast enhancement method for color night vision[J]. Infrared Phys Techn, 2012, 55(1): 130-136.

[6] Qian X, Wang Y, Wang B. Fast color contrast enhancement method for color night vision[J]. Infrared Phys Techn, 2012, 55(1): 122-129.

[7] Qian X, Han L, Wang Y,etal. Color contrast enhancement for color night vision based on color mapping[J]. Infrared Phys Techn, 2013, 57: 36-41.

[8] Pedersen M, Bonnier N, Hardeberg J Y,etal. Attributes of image quality for color prints[J]. Journal of Electronic Imaging, 2010, 19(1): 011016.

[9] Toet A, Walraven J. New false color mapping for image fusion[J].Optical Engineering, 1996, 35(3): 650-658.

[10] Waxman A M, Gove A N, Fay D A,etal. Color night vision: opponent processing in the fusion of visible and IR imagery[J]. Neural Networks, 1997, 10(1): 1-6.

[11] 史世明. 微光(可見光)與紅外熱成像的自然感彩色夜視成像處理方法研究[D]. 北京: 北京理工大學(xué), 2009.

[12] 史世明, 王嶺雪, 金偉其，等. 自然感色彩的可見光/紅外控向金字塔融合[J]. 光電子.激光, 2009, 20(11): 1552-1560.

[13] 史世明, 王嶺雪, 金偉其，等. 基于多分辨率色彩傳遞的彩色夜視方法研究[J]. 光子學(xué)報(bào), 2010, 39(3): 553-558.

[14] http://www.dgp.toronto.edu/～nmorris/data/IRData/

[15] Berns R S. Methods for characterizing CRT displays[J]. Displays, 1996, 16(4): 173-182.

[16] ITU-R Recommendation BT.500-12. Methodology for the subjective assessment of the quality of television pictures[S]. Switzerland, 2002.

Comprehensive Quality Psychophysical Assessment Experiment of Color Fusion Images Based on Target Detectability

ZHNAGXiao-dong，GAOShao-shu

(College of Computer and Communication Engineering, China University of Petroleum, Qingdao 266580, China)

Visible and infrared color fusion image can help observer detect targets better, however, until recently, the studies on performance evaluation in target detection for different fusion images were very limited, especially lack of the study on the influence of target sharpness. In this paper, a psychophysical experiment was performed, and the experimental data were analyzed by regression analysis. The results showed that sharpness of the target and contrast between the target and background were key influencing factors, and the prediction model of comprehensive quality of color fusion image based on target detectability was established by linearly combining the two single quality evaluation metrics. The study lays a theoretical and experimental foundation for further achieving the objective quality assessment of the fusion image based on target detectability.

fusion image; target detectability; psychophysical experiment

2015-05-05

國(guó)家自然科學(xué)基金項(xiàng)目(61231014)；教育部博士學(xué)科點(diǎn)專項(xiàng)科研基金(20131101130002)；青島市應(yīng)用基礎(chǔ)研究計(jì)劃項(xiàng)目(14-2-4-115-jch)及中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金(14CX02029A)

張曉東(1979-)，男，黑龍江綏棱人，博士，講師，主要研究方向?yàn)橛?jì)算機(jī)應(yīng)用技術(shù)，數(shù)據(jù)驅(qū)動(dòng)控制等。

Tel.：13792890961；E-mail：zhangxiaodong@upc.edu.cn

TN 219

A

1006-7167(2016)05-0110-04