陳立偉,蔣 勇

(1.西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院,成都610031;2.西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,四川綿陽(yáng)621010)

圖像融合算法的綜合性能評(píng)價(jià)指標(biāo)

陳立偉1,2,蔣 勇2

(1.西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院,成都610031;2.西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,四川綿陽(yáng)621010)

圖像融合算法性能評(píng)價(jià)是圖像融合工程的重要組成部分,現(xiàn)有的融合評(píng)價(jià)指標(biāo)從不同方面評(píng)價(jià)融合圖像質(zhì)量,這些指標(biāo)在評(píng)價(jià)圖像融合算法性能時(shí)存在片面性,難以對(duì)融合算法的綜合性能作出評(píng)價(jià)。為此,運(yùn)用多指標(biāo)決策技術(shù),提出一種加權(quán)總分指標(biāo),將多個(gè)指標(biāo)評(píng)價(jià)值綜合為單一值,從而對(duì)圖像融合算法進(jìn)行綜合性能評(píng)價(jià)。將加權(quán)總分指標(biāo)的評(píng)價(jià)結(jié)果同逼近理想解排序指標(biāo)以及秩和比指標(biāo)的結(jié)果相比較,實(shí)驗(yàn)結(jié)果表明,該指標(biāo)的評(píng)價(jià)結(jié)果和主觀評(píng)價(jià)結(jié)果一致,其綜合評(píng)價(jià)能力與其他2種指標(biāo)相近,提高了融合算法綜合性能評(píng)價(jià)結(jié)果的可靠性和準(zhǔn)確性。

圖像融合;加權(quán)總分指標(biāo);融合性能;多指標(biāo)決策;逼近理想解排序法;秩和比

1 概述

圖像融合算法性能評(píng)價(jià)以融合圖像的主觀質(zhì)量或(和)客觀質(zhì)量的評(píng)價(jià)結(jié)果為依據(jù),若評(píng)價(jià)結(jié)果好,則認(rèn)為融合算法性能好。由于主觀評(píng)價(jià)方法易受評(píng)價(jià)者個(gè)體差異的影響、成本高、不易實(shí)施,在實(shí)際應(yīng)用中通常采用客觀評(píng)價(jià)方式。目前,圖像融合質(zhì)量的研究者已開(kāi)發(fā)出大量的客觀評(píng)價(jià)指標(biāo)[1-3],這些指標(biāo)從不同方面評(píng)價(jià)融合圖像質(zhì)量,如平均梯度通過(guò)衡量融合圖像的細(xì)節(jié)變化評(píng)價(jià)融合圖像的清晰度,而互信息以信息論的觀點(diǎn),通過(guò)度量從源圖像中獲取的信息量評(píng)價(jià)融合圖像對(duì)源圖像的忠實(shí)度,因此,融合圖像的單個(gè)指標(biāo)值僅反映融合算法某一方面的融合性能。在評(píng)估新的融合算法性能或者在工程實(shí)踐中選用融合算法時(shí),需要采用多個(gè)評(píng)價(jià)指標(biāo)比較不同算法的融合性能。如果被比較的算法在多個(gè)指標(biāo)上互有高低、各有優(yōu)勢(shì),則難以判定算法之間的優(yōu)劣。目前,關(guān)于圖像融合算法的文獻(xiàn)同其他融合算法進(jìn)行比較時(shí)采用表格或者直方圖形式,說(shuō)明其算法在某個(gè)指標(biāo)上的排名,如果在多數(shù)指標(biāo)上排名靠前則認(rèn)為該算法優(yōu)于其他算法。這種評(píng)價(jià)方法未能定量描述融合算法的綜合性能,其評(píng)價(jià)結(jié)果的可靠性和準(zhǔn)確性值得商榷。為此,本文將多指標(biāo)決策技術(shù)引入到融合算法的綜合性能評(píng)價(jià)中,將多個(gè)評(píng)價(jià)指標(biāo)值綜合為單一值以提高評(píng)價(jià)結(jié)果的準(zhǔn)確性和可靠性,提出加權(quán)總分(Weighted Total Score,WTS)指標(biāo),根據(jù)多個(gè)融合算法在加權(quán)總分指標(biāo)值上的排名情況,確定融合算法的優(yōu)劣。為驗(yàn)證加權(quán)總分指標(biāo)的可靠性和準(zhǔn)確性,將其評(píng)價(jià)結(jié)果同逼近理想解排序(Technique for Order Preference by Similarity to Ideal Solution,TOPSIS)[4]指標(biāo)以及秩和比(Ranksum Ratio,RSR)[5]指標(biāo)的評(píng)價(jià)結(jié)果進(jìn)行比較。

2 綜合性能評(píng)價(jià)指標(biāo)

用多個(gè)指標(biāo)對(duì)多個(gè)對(duì)象進(jìn)行評(píng)價(jià)時(shí),多指標(biāo)決策技術(shù)可以對(duì)這些被評(píng)價(jià)對(duì)象進(jìn)行排序和優(yōu)選,其步驟包括:轉(zhuǎn)化,綜合,決策。其中,轉(zhuǎn)化的目的是為了消除不同量綱指標(biāo)值之間的異質(zhì)性,將其變換為無(wú)量綱的指標(biāo)值,提供對(duì)被評(píng)價(jià)對(duì)象的等價(jià)描述;綜合的目的是為了整體評(píng)價(jià)被評(píng)價(jià)對(duì)象,將多個(gè)指標(biāo)值合成為一個(gè)綜合評(píng)價(jià)值;決策對(duì)所有被評(píng)價(jià)對(duì)象的綜合評(píng)價(jià)值進(jìn)行排序和優(yōu)選。

2.1 加權(quán)總分指標(biāo)

當(dāng)采用多個(gè)客觀評(píng)價(jià)指標(biāo)對(duì)融合算法進(jìn)行性能評(píng)價(jià)時(shí),利用多指標(biāo)決策技術(shù)可以遴選出綜合性能好的算法,結(jié)合融合算法比較的實(shí)際需求,提出一種綜合性能評(píng)價(jià)指標(biāo):加權(quán)總分指標(biāo)。當(dāng)采用n個(gè)指標(biāo)對(duì)m個(gè)融合算法進(jìn)行綜合性能評(píng)價(jià)時(shí),加權(quán)總分指標(biāo)先根據(jù)下式在每個(gè)指標(biāo)上計(jì)算算法的相對(duì)得分:

其中,Mij(i=1,2,…,m;j=1,2,…,n)為算法i在指標(biāo)上的評(píng)價(jià)值,計(jì)算時(shí)先將這些評(píng)價(jià)值按照高優(yōu)形式進(jìn)行轉(zhuǎn)換。然后按下式計(jì)算算法i的WTS值:

其中,wj為第個(gè)指標(biāo)的相對(duì)得分在總分中的權(quán)重,在工程應(yīng)用中選擇融合算法時(shí),可根據(jù)具體需求調(diào)整各指標(biāo)的權(quán)重,增大權(quán)重以突出重要性能,降低權(quán)重以淡化次要性能。

2.2 逼近理想解排序指標(biāo)

逼近理想解排序[4]指標(biāo)是一種常用的多指標(biāo)決策指標(biāo)。當(dāng)采用多個(gè)指標(biāo)評(píng)價(jià)多個(gè)對(duì)象時(shí),各指標(biāo)在多個(gè)被評(píng)價(jià)對(duì)象上的最優(yōu)值形成最優(yōu)解,最差值形成最劣解。TOPSIS指標(biāo)在度量被評(píng)價(jià)對(duì)象與最優(yōu)解的距離D+時(shí),同時(shí)也度量其與最劣解的距離D-,當(dāng)D+越小且D-越大時(shí),則認(rèn)為被評(píng)價(jià)對(duì)象最好,否則最差。當(dāng)采用n個(gè)評(píng)價(jià)指標(biāo)對(duì)m個(gè)算法進(jìn)行綜合性能評(píng)價(jià)時(shí),將所有算法的評(píng)價(jià)指標(biāo)值記為(Yij)m×n,按照以下步驟計(jì)算算法i(1≤i≤m)的TOPSIS值:

(1)趨勢(shì)同化:如果評(píng)價(jià)指標(biāo)是高優(yōu)指標(biāo),則先將其轉(zhuǎn)化為低優(yōu)指標(biāo),然后,按照下式進(jìn)行趨勢(shì)同化:

(2)歸一化處理:

(3)確定最優(yōu)解和最劣解:低優(yōu)方式下的最優(yōu)解為:

最劣值解為:

(5)計(jì)算融合算法i(1≤i≤·m)的TOPSIS值:

2.3 秩和比指標(biāo)

秩和比指標(biāo)[5]作為一種多指標(biāo)決策指標(biāo),在工業(yè)生產(chǎn)、醫(yī)療衛(wèi)生等領(lǐng)域得到廣泛應(yīng)用。若用n個(gè)融合質(zhì)量評(píng)價(jià)指標(biāo)對(duì)m個(gè)融合算法進(jìn)行綜合性能評(píng)價(jià),則將所有算法的所有指標(biāo)值組織為m×n的數(shù)據(jù)表,按照以下步驟計(jì)算各融合算法的RSR值:

(1)編秩:確定算法i在指標(biāo)j上的秩Rij,編秩規(guī)則為:1)指標(biāo)越優(yōu)秩越大;2)多個(gè)算法在同一指標(biāo)上評(píng)價(jià)值相等,則平均編秩。

(2)計(jì)算融合算法i的RSR值:

上述的WTS、TOPSIS、RSR指標(biāo)為高優(yōu)指標(biāo)。

3 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證加權(quán)總分指標(biāo)的有效性,將加權(quán)總分指標(biāo)評(píng)價(jià)結(jié)果與逼近理想解排序指標(biāo)和秩和比指標(biāo)的評(píng)價(jià)結(jié)果進(jìn)行比較。采用9種融合方法(形態(tài)金字塔(Morphological Pyramid,MP)[6]、平穩(wěn)小波變換(Stationary Wavelet Transform,SWT)[7]、梯度金字塔(Gradient Pyramid,GP)[8]、曲波變換(Curvelet Transform,CVT)[9]、拉普拉斯金字塔(Laplacian Pyramid,LP)[10]、雙樹(shù)復(fù)小波變換(Dual-tree Complex Wavelet Transform,DTCWT)[11]、移不變小波變換(Shift-Invariant Discrete Wavelet Transform, SIDWT)[12]、離散小波變換(DiscreteWavelet Transform,DWT)[13]以及非下采樣輪廓波變換(Nonsubsampled Contourlet Transform,NSCT)[14])對(duì)多聚焦圖像“Lab”以及可見(jiàn)光和紅外圖像“Uncamp”進(jìn)行融合,利用常用的9個(gè)客觀評(píng)價(jià)指標(biāo)(平均梯度、互信息、空間頻率、邊緣信息保持量[15]、結(jié)構(gòu)相似度[16]、邊緣圖像質(zhì)量評(píng)價(jià)指標(biāo)、加權(quán)融合質(zhì)量指標(biāo)、通用融合質(zhì)量指標(biāo)[17],視覺(jué)信息保真度[18])作為客觀評(píng)價(jià)指標(biāo),分別計(jì)算各融合算法的WTS、RSR、TOPSIS值并排序。由于計(jì)算RSR和TOPSIS時(shí)未考慮各指標(biāo)的權(quán)重,式(2)中wj=1以保證實(shí)驗(yàn)結(jié)果的可比性。

圖1給出了Lab圖像的融合結(jié)果。

通過(guò)對(duì)各融合圖像的整體清晰度進(jìn)行比較,可以看到,除MP方法外,其他方法的融合圖像清晰地描述了整個(gè)場(chǎng)景,但DTCWT方法的融合圖像對(duì)鐘面上的數(shù)字的顯示更為清晰,最接近源圖像圖1(a)中的鐘面圖像,從而呈現(xiàn)出最好的融合質(zhì)量;而MP方法的融合圖像對(duì)鐘面數(shù)字顯示模糊,在人頭周?chē)€產(chǎn)生了偽影,從而表現(xiàn)出最差的融合質(zhì)量。表1給出了WTS、TOPSIS和RSR指標(biāo)的綜合評(píng)價(jià)結(jié)果,比較表中的排名情況發(fā)現(xiàn):(1)主觀視覺(jué)質(zhì)量最好的DTCWT方法在WTS、TOPSIS和RSR指標(biāo)上都排在第1位,而視覺(jué)質(zhì)量最差的MP方法則居末位; (2)DTCWT、DWT和MP方法在WTS、TOPSIS和RSR指標(biāo)上排在相同位置,其他方法在WTS、 TOPSIS和RSR指標(biāo)上的排名位置差小于等于2。

表1 Lab圖像融合評(píng)價(jià)結(jié)果及排名

圖2給出了Uncamp圖像的融合結(jié)果?？梢?jiàn)光圖像和紅外圖像的最佳融合結(jié)果是將紅外目標(biāo)直接嵌入到可見(jiàn)光圖像,觀察所有的融合圖像可以發(fā)現(xiàn), GP方法的融合圖像最接近最佳融合效果,在人體周?chē)鷽](méi)有DWT、NSCT方法所產(chǎn)生的偽影,其山丘部分最接近可見(jiàn)光圖像;而MP方法的融合圖像的灰度范圍更接近紅外圖像,在一定程度上丟失了可見(jiàn)光圖像的細(xì)節(jié)信息,盡管其融合圖像的紅外目標(biāo)周?chē)鷽](méi)有偽影,但整體視覺(jué)效果與最佳融合結(jié)果相去甚遠(yuǎn),明顯不及其他方法的融合圖像。

圖2 Uncamp圖像融合結(jié)果

表2給出了所有融合方法在WTS、TOPSIS和RSR指標(biāo)上的評(píng)價(jià)結(jié)果及排名,比較排名情況發(fā)現(xiàn): (1)在3個(gè)綜合指標(biāo)上都排在第1位是主觀視覺(jué)質(zhì)量最好的GP方法,而都排在最后一位則是主觀視覺(jué)質(zhì)量最差的MP方法;(2)DTCWT、DWT、GP和MP方法在WTS、TOPSIS和RSR指標(biāo)上排名相同。

表2 Uncamp圖像融合評(píng)價(jià)結(jié)果及排名

綜合上述實(shí)驗(yàn)結(jié)果,本文提出的WTS指標(biāo)具有以下優(yōu)點(diǎn):

(1)評(píng)價(jià)結(jié)果可靠:實(shí)驗(yàn)結(jié)果表明融合圖像的主觀評(píng)價(jià)結(jié)果最好的融合算法在WTS指標(biāo)上排在首位,而融合圖像的主觀評(píng)價(jià)結(jié)果最差的融合算法在WTS指標(biāo)上排在末位,說(shuō)明WTS指標(biāo)的評(píng)價(jià)結(jié)果與主觀視覺(jué)質(zhì)量評(píng)價(jià)一致,具有一定的可靠性。

(2)評(píng)價(jià)結(jié)果準(zhǔn)確:實(shí)驗(yàn)數(shù)據(jù)表明同一融合算法在WTS、TOPSIS和RSR指標(biāo)上的排名非常接近,說(shuō)明WTS指標(biāo)的評(píng)價(jià)結(jié)果和TOPSIS指標(biāo)、RSR指標(biāo)的評(píng)價(jià)結(jié)果基本一致,其綜合評(píng)價(jià)能力與OPSIS指標(biāo)、RSR指標(biāo)相近。由于TOPSIS指標(biāo)和RSR指標(biāo)已成功應(yīng)用于其他領(lǐng)域的多指標(biāo)綜合評(píng)價(jià),說(shuō)明WTS指標(biāo)能準(zhǔn)確評(píng)價(jià)圖像融合算法的綜合性能。

4 結(jié)束語(yǔ)

為了更可靠、更準(zhǔn)確地評(píng)價(jià)融合圖像算法的綜合性能,本文借鑒多指標(biāo)決策技術(shù),設(shè)計(jì)加權(quán)總分指標(biāo),該指標(biāo)能將多個(gè)指標(biāo)值綜合為單一指標(biāo)值。實(shí)驗(yàn)結(jié)果表明,加權(quán)總分指標(biāo)的評(píng)價(jià)結(jié)果既與主觀評(píng)價(jià)結(jié)果吻合又與TOPSIS指標(biāo)、RSR指標(biāo)的評(píng)價(jià)結(jié)果相近。與單純采用多個(gè)指標(biāo)評(píng)價(jià)方法相比,當(dāng)加權(quán)總分指標(biāo)用于圖像融合算法的綜合性能評(píng)價(jià)時(shí),可以在一定程度上提高評(píng)價(jià)結(jié)果的可靠性和準(zhǔn)確性。在實(shí)際工程應(yīng)用中,在進(jìn)行融合算法評(píng)價(jià)時(shí),可以將重要指標(biāo)的權(quán)重設(shè)置為1.0～1.3,次要指標(biāo)的權(quán)重設(shè)置為0.6～0.9,以達(dá)到兼顧重要性能和次要性能的目的。在今后的研究工作中,可改進(jìn)單個(gè)指標(biāo)相對(duì)得分的計(jì)算方法,從而進(jìn)一步提高加權(quán)總分指標(biāo)的可靠性。

[1] 王文杰,唐 娉,朱重光.一種基于小波變換的圖象融合算法[J].中國(guó)圖象圖形學(xué)報(bào),2001,6(11): 1130-1135.

[2] Qu Guihong,ZhangDali,YanPingfan.Information MeasureforPerformanceofImageFusion[J]. Electronics Letters,2002,38(7):313-315.

[3] Eskicioglu A M,Fisher P S.Image Quality Measures and Their Performance[J].IEEE Transactions on Communications,1995,43(12):2959-2965.

[4] Hshiung T G,Huang J J.Multiple Attribute Decision Making:Methods and Applications[M].New York, USA:Springer Berlin Heidelberg,1981.

[5] 田鳳調(diào).秩和比法及其應(yīng)用[M].北京:中國(guó)統(tǒng)計(jì)出版社,1993.

[6] Toet A.A Morphological Pyramidal Image Decomposition[J].Pattern Recognition Letters,1989,9(4):255-261.

[7] Beaulieu M,Foucher S,Gagnon L.Multi-spectral Image ResolutionRefinementUsingStationaryWavelet Transform[C]//ProceedingsofIEEEInternational ConferenceonGeoscienceandRemoteSensing. Barcelona,Spain:IEEE Press,2003:4032-4034.

[8] Burt P J.A Gradient Pyramid Basis for Pattern Selective Image Fusion[C]//Proceedings of the Society for Information Display Conference.Boston,USA:Society for Information Display,1992:467-470.

[9] Nencini F,Garzelli A,Baronti S.Remote Sensing Image Fusion Using the Curvelet Transform[J].Information Fusion,2007,8(2):143-156.

[10] Burt P J,Adelson E H.The Laplacian Pyramid as a Compact ImageCode[J].IEEETransactionson Communications,1983,31(4):532-540.

[11] Singh R,Srivastava R,Prakash O.Mixed Scheme Based Multimodal Medical Image Fusion Using Daubechies Complex WaveletTransform[C]//Proceedingsof International Conference on Informatics,Electronics& Vision.Dhaka,Bangladesh:IEEE Press,2012:304-309.

[12] Rockinger O.Image Sequence Fusion Using a ShiftinvariantWaveletTransform[C]//Proceedingsof International Conference on Image Processing.[S.l.]: IEEE Press,1997:288-291.

[13] Li Hui,Manjunath B,Mitra S.Multisensor Image Fusion Using the Wavelet Transform[J].Graphical Models and Image Processing,1995,57(3):235-245.

[14] Yang Xiaohui,JiaoLicheng.FusionAlgorithmfor RemoteSensingImagesBasedonNonsubsampled Contourlet Transform[J].Acta Automatica Sinica, 2008,34(3):274-281.

[15] Xydeas C S,PetrovicV.ObjectiveImageFusion Performance Measure[J].Electronics Letters,2000, 36(4):308-309.

[16] Wang Zhou,Bovik A C,Sheikh H R.Image Quality Assessment:FromErrorVisibilitytoStructural Similarity[J].IEEE Transactions on Image Processing, 2004,13(4):600-612.

[17] Piella G,Heijmans H.A New Quality Metric for Image Fusion[C]//Proceedings of International Conference on Image Processing.Barcelona,Spain:IEEE Press,2003: 173-176.

[18] Sheikh H R,Bovik A C.Image Information and Visual Quality[J].IEEE Transactions on Image Processing, 2006,15(2):430-444.

編輯 劉 冰

Comprehensive Performance Evaluation Index of Image Fusion Algorithm

CHEN Liwei1,2,JIANG Yong2
(1.School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China;
2.School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang 621010,China)

Evaluating the overall performance of the image fusion algorithm is an important part of the image fusion project.The existing evaluation indexes of the fused image often evaluate the quality of the fused image from different aspects and thus have some one-sidednesses when they are used to evaluate the performance of the the fusion algorithm; it is difficult to evaluate the overall performance of the fusion algorithm.This paper,by employing the multi-index decision technique,proposes a Weighted Total Score(WTS)index.This index can synthesize multiple evaluation values into a single value and measure the overall performance of image fusion algorithm.It also compares the evaluation results of WTS with those of Technique for Order Preference by Similarity to Ideal Solution(TOPSIS)and Rank-sum Ratio (RSR).Experimental results show that WTS index can achieve the same results as those of the subjective evaluation and has the overall evaluation ability close to the other two indexes.The proposed index can improve the reliability and the accuracy of the evaluation of the overall performance of the different fusion algorithms.

image fusion;Weighted Total Score(WTS)index;fusion performance;multi-index decision;Technique for Order Preference by Similarity to Ideal Solution(TOPSIS);Rank-sum Ratio(RSR)

陳立偉,蔣 勇.圖像融合算法的綜合性能評(píng)價(jià)指標(biāo)[J].計(jì)算機(jī)工程,2015,41(2):219-223.

英文引用格式:Chen Liwei,Jiang Yong.Comprehensive Performance Evaluation Index of Image Fusion Algorithm[J]. Computer Engineering,2015,41(2):219-223.

1000-3428(2015)02-0219-05

:A

:TP391.4

10.3969/j.issn.1000-3428.2015.02.042

國(guó)家自然科學(xué)基金資助項(xiàng)目(10676029,10776028);人工智能四川省重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金資助項(xiàng)目(2014RYY03)。

陳立偉(1974-),男,副教授、博士研究生,主研方向:圖形圖像處理,光學(xué)模式匹配,智能信息化處理;蔣 勇,副教授、博士。

2014-01-15

:2014-03-21E-mail:clwswust@163.com