張斌 羅曉清 張戰(zhàn)成

摘 要：為對圖像融合算法進行客觀準確的綜合評價，提出一種基于總變差正則化（TV-L1）結構紋理分解的評價算法。根據(jù)對人類視覺系統(tǒng)的研究，可知人們對圖像質量的感知主要來自圖像底層視覺特征，而結構特征以及紋理特征是最重要的圖像底層視覺特征，但目前的圖像融合質量評價算法并沒有利用這兩種特征來進行評價。鑒于此，將圖像進行二級結構和紋理分解，根據(jù)結構和紋理圖像蘊含圖像特征的不同，從結構圖像和紋理圖像兩方面分別進行相似度評價，綜合各級得分得到最終的評價總得分。然后基于30幅圖像的數(shù)據(jù)集和8種主流融合算法，參照已有的11種客觀評價指標，用波達計數(shù)法和肯德爾系數(shù)檢驗了該評價指標的一致性，另外在主觀評價圖像集上驗證了該客觀評價指標與主觀評價的一致性。

關鍵詞：圖像融合;融合質量評價;總變差正則化;結構相似度;結構和紋理分解

中圖分類號：TP391.41

文獻標志碼：A

Image fusion quality evaluation algorithm based on TV-L1 structure and texture decomposition

ZHANG Bin1， LUO Xiaoqing1*， ZHANG Zhancheng2

1.School of Internet of Things Engineering， Jiangnan University， Wuxi Jiangsu 214122，China;

2.School of Electronics and Information Engineering， Suzhou University of Science and Technology， Suzhou Jiangsu 215009， China

Abstract：

In order to objectively and accurately evaluate the image fusion algorithms， an evaluation algorithm based on TV-L1 （Total Variation regularization） structure and texture decomposition was proposed. According to the studies on human visual system， humans perception to image quality mainly comes from the underlying visual features of image， and structure features and texture features are the most important features of underlying visual feature of image. However， the existed image fusion quality evaluation algorithms ignore this fact and lead to inaccurate evaluation. To address this problem， a pair of source images and their corresponding fusion results were individually decomposed into structure and texture images with a two-level TV-L1 decomposition. Then， According to the difference of image features between the structure and texture images， the similarity evaluation was carried out from the decomposed structure image and the texture image respectively， and the final evaluation score was obtained by integrating the scores at all levels. Based on the dataset with 30 images and 8 mainstream fusion algorithms， compared with the 11 existing objective evaluation indexes， the Borda counting method and Kendall coefficient were employed to verify the consistency of the proposed evaluation algorithm. Moreover， the consistency between the proposed objective evaluation index and the subjective evaluation is verified on the subjective evaluation image set.

Key words：

image fusion; fusion quality evaluation; total variation regularization; structural similarity; structure and texture decomposition

0 引言

圖像融合是指通過傳感器針對不同的場景捕獲不同內容的圖片，經過整合形成一幅質量更高圖像的技術[1]。如何豐富融合圖像的信息量和改善圖像質量是圖像融合的關鍵技術之一，也是衡量各種融合方法效果的基本準則。采用科學合理、客觀公正的方法對融合圖像進行評價，對在實際應用中選擇融合算法以及現(xiàn)有融合算法的改進和研究新的融合算法等具有十分重要的指導意義。因此，融合質量評價是圖像融合技術中不可或缺的核心內容之一[2]。圖像融合質量評價方法分為兩類：一類是將融合圖像交給人眼的進行主觀感覺度量的方法。最經典的是曼徹斯特大學的Petrovic[3]教授2007年提出的主觀測量方法，通過多個測試者對不同融合方法得到的融合圖像中的特定目標進行識別，依據(jù)識別時間和識別的正確率，判斷圖像融合方法的優(yōu)劣。由于在大部分情況下人是融合圖像的直接使用者，所以該方法具有一定的可靠性以及直接性。但是該方法也存在一定的局限性：1）由于人腦的感知圖像的機制非常復雜，從而導致人的主觀感覺有可能是不一

樣的。2）評價成本高。該方法非常耗時耗力，并且效率也比較低。3）受環(huán)境的影響比較大，比如觀察距離、光照等都會影響人的判斷。另一類是通過計算相關指標來定量地模擬人類的視覺系統(tǒng)（Human-Visual-System， HVS）的客觀法[4]。該方法通過定量的測量使得融合效果具有較高的客觀性，是如今流行的圖像融合質量評價方法。從原理上可以把客觀法分為三類[5]：

1）基于統(tǒng)計特性的評價指標[5]：文獻[6]提到的平均梯度，可以敏感地反映出圖像的微小細節(jié)反差和紋理變換特征，用來評價圖像的相對清晰度，平均梯度越大，圖像的層次越多，紋理也就更加清晰;文獻[7]中的邊緣強度，是指邊緣與鄰近像素的對比強度，邊緣越豐富，融合圖像越清晰;文獻[8]使用的空間頻率，反映的是空間域內圖像的總體活躍度。但是上述評價指標無法反映源圖像和融合圖像之間的依賴程度，而這種依賴程度可以體現(xiàn)融合圖像的質量，因此一般不能將上述評價指標單獨用于圖像融合質量評價。

2）基于信息量的客觀指標[5]：文獻[9]提到的互信息，它是衡量兩個域之間變量的依懶性，用來比較融合圖像與源圖像之間灰度分布方面的相似情況;文獻[10]設計的非線性的信息熵，它和互信息的定義是類似的。但是該類指標沒有相應的參數(shù)可以調節(jié)，適應程度比較差，需要與其他的指標進行綜合評價。

3）基于人類感知的評價指標[5]：該指標是基于人類的視覺系統(tǒng)對圖像的感知原理來判斷融合圖像的優(yōu)劣。其中人眼對圖像的邊緣信息、結構化信息以及空間頻率信息是非常敏感的。

Xydeas和Petrovic認為人類視覺系統(tǒng)對圖像的邊緣十分敏感[9]，提出了通過融合圖像保留源圖像中邊緣信息的完整程度，從而達到評價融合圖像的質量。該方法首先用Sobel算子檢測出圖像的梯度和邊緣角用來計算邊緣強度和方向信息，然后求和歸一化。由于人眼對圖像邊緣較為敏感，該方法與人眼主觀評價具有較高的一致性。同樣利用邊緣信息的還有Liu等[9]提出的基于雙層的哈爾小波變換指標。該方法從小波分解的高階和帶通分量中提取邊緣信息。Wang等[11]認為人類視覺系統(tǒng)對圖像的失真程度也較為敏感，據(jù)此他們提出了通用圖像質量評價（Universal Image Quality Index， UIQI）。該指標通過計算源圖像和融合圖像之間的結構損失、亮度失真、以及對比度相似性，進而作出相應的評價。該指標有效地對源圖像和融合圖像的結構失真進行計算，評價效果得到了學術界的認可。在Wang的UIQI的基礎上，Piella等[12]作出了一定的改進，分別提出了圖像融合質量指數(shù)Q0、加權融合質量指數(shù)Qw、以及邊緣相關融合質量指數(shù)QE。圖像融合質量指數(shù)Q0在UIQI的基礎上引入了局部窗體，利用局部窗體對圖像進行分割。然后計算每個窗體的相似程度。由于Q0對圖像的每一區(qū)域沒有區(qū)別對待，而人眼對圖像每一塊區(qū)域感知程度是不同的，所以隨后提出了加權融合質量指數(shù)Qw，該評價指標對圖像中信息豐富的窗體給予較大的權重，而具有較少信息的窗體采用較少的權重，使得該指標取得了較好的效果;由于人眼對圖像邊緣也比較敏感，將邊緣圖像引入到Qw中，據(jù)此提出了QE邊緣相關融合質量指數(shù)。視覺研究人員發(fā)現(xiàn)人類視覺系統(tǒng)對圖像的感知是高度結構化的[13]，所以Wang在UIQI的基礎上提出了結構相似性（Structural SIMilarity index， SSIM）的客觀評價，使得圖像質量評價領域從像素階段上升到了結構階段。但是對模糊圖像評價時效果

不太理想。將結構性引入評價的還有兩種基于結構相似矩陣的評價指標，分別是Cvejic指標[14]和Yang指標[15]。Cvejic指標是通過計算源圖像與融合圖像的協(xié)方差來定出加權系數(shù)。Yang指標與最后主觀結果具有一定的差異性，因為沒有考慮到源圖像與源圖像之間的差異性導致了評價效果不太好。最后根據(jù)對比敏感度函數(shù)（Contrast Sensitivity Function， CSF）人類視覺系統(tǒng)對圖像空間頻率的感知程度，據(jù)此，Chen等[16]提出了利用CSF來用于評價指標。由于CSF無法捕獲非線性的局部信息，所以首先將圖片進行分塊，然后計算區(qū)域的顯著度。同樣利用CSF方法的還有Chen-Blum指標[17]，它是利用該函數(shù)得到最后的顯著度特征圖來計算指標。

根據(jù)對人類視覺系統(tǒng)的研究，人們對圖像質量感知主要來自于圖像底層視覺特征，其中紋理特征是最重要的特征之一[18]。紋理特征產生的位置與圖像在人眼視覺系統(tǒng)中產生的區(qū)域是一樣的，此外紋理特征還有比較好的表征圖像質量感知的能力。圖像的結構特征是整張圖像的輪廓[19]，人眼對輪廓也有著較高的辨識度，所以結構特征也是一個比較重要的特征。但是上述指標并沒有對圖像的紋理特征和結構特征進行單獨評價。目前在結構紋理分解的研究領域中總變差正則化（Total Variation regularization， TV-L1）[20-21]的表現(xiàn)是最好的，并且在2014年Fang等發(fā)表的文章的中就已經將圖像的TV-L1分解的結構和紋理作為重要的特征用在了圖像分類上，并取得了較好的效果。受此啟發(fā)，本文提出基于TV-L1結構紋理分解的圖像融合質量評價方法。鑒于紋理特征和結構特征在實際圖像中所占的比例不同，而在TV-L1結構紋理分解中的系數(shù)λ恰好可以調節(jié)紋理特征和結構特征的權重，所以本文算法能夠準確地評價融合圖像的質量。

1 客觀評價方法

1.1 TV-L1多級分解

TV-L1分解[21]是將一幅圖像多級分解為紋理圖像和結構圖像的方法。分解原理如圖1所示。首先將原圖像f分解為結構圖像uλ1和紋理圖像vλ1，有f= uλ1+vλ1 ，即結構圖像和紋理圖像合并就是原圖像，參數(shù)λ1調節(jié)結構和紋理比例。接著保留結構圖像，繼續(xù)將剛剛分解的紋理圖像用系數(shù)λ2進行結構紋理分解，得到第二級的結構圖像uλ2和紋理圖像vλ2。此后不斷地如此分解，最后vλk=uλk+1+ vλk+1，也就是上一級的紋理圖像被分解為下一級的結構圖像和紋理圖像。

1.2 λ參數(shù)對分解圖像的影響

分解系數(shù)λ調節(jié)紋理圖像和結構圖像的權重在TV-L1分解中有重要的意義。以一幅用不同參數(shù)λ分解的多聚焦圖像為例。如圖2所示，第一行為兩張源圖像和一張融合圖像，下面三行左邊兩列是對融合圖像（c圖）的一級分解圖像，右邊兩列是二級分解圖像。

從圖2中可以看到隨著系數(shù)λ不斷地增大，結構圖像越來越清晰，紋理圖像會逐漸模糊。不同場景的融合圖像都有類似的效果，這將在2.2節(jié)中詳細討論。

1.3 結構紋理分解評價指標構造

假設A、B分別是針對同一場景但是由不同傳感器獲得的圖像，F(xiàn)表示圖像A和B的融合圖像。本文具體構造流程如圖3所示。

本文的創(chuàng)新點是將融合圖像質量評價與人類視覺感知中的視覺信息分離和整合理論結合起來，即人眼分別通過圖像的紋理信息和結構信息感知圖像，然后再將兩種信息結合作出綜合的評價。另外圖像可以分解為結構信息和紋理信息，且在特定尺度下，紋理信息包含著重要的結構信息，所以為了將圖像分解得更加細致，將一級分解的紋理圖像繼續(xù)分解得到二級的紋理圖像和結構圖像。

1.2節(jié)介紹到，隨著系數(shù)λ不斷地增大，結構圖像越來越清晰，紋理圖像會逐漸模糊，而當系數(shù)為0.8時，紋理圖像已經非常模糊，所以把系數(shù)設置在[0，1]。由于設置的初始權重

較小，且紋理信息總是包含著重要的結構信息，即紋理圖像的權重要大于結構圖像的權重，所以把初始分解系數(shù)λ分配為結構圖像，而紋理圖像的權重為1-λ。二級分解也是如此。

由于本文的紋理信息包含著大量的結構信息，而結構信息中有著豐富的邊緣信息，所以本文采用基于邊緣信息的客觀指標（QG）來計算融合得分，因為該指標是通過評估從源圖像到融合圖像的邊緣信息轉移量來衡量圖像融合質量。該指標的計算公式為：

QG=∑Nn=1∑Mm=1[QAFwA（i， j）+QBFwB（i， j）]∑Nn=1∑Mm=1[wA（i， j）+wB（i， j）]（1）

其中：QAF和QBF分別是源圖像A與源圖像B分別與融合圖像F邊緣寬度與方向的相似度;wA（i， j），wB（i， j）分別是QAF和QBF的權重。

構造的步驟如下：

步驟1 分別將源圖像A、B和融合圖像F用系數(shù)λ進行分解，分別得到結構圖像SA1、SB1、SF1以及得到紋理圖像DA1、DB1、DF1。將1-λ作為紋理圖像的權重。

步驟2 對三幅紋理圖像用相同系數(shù)λ繼續(xù)分別將DA1、DB1、DF1分解，得到結構圖像SA2、SB2、SF2 以及三幅紋理圖像DA2、DB2、DF2。三幅二級結構圖像SA2、SB2、SF2的權重系數(shù)為λ（1-λ），三幅二級紋理圖像DA2、DB2、DF2的權重為（1-λ）2。此時，可看出（用源圖像A舉例）：

DA1=DA2+SA2（2）

所以可以得出：

1-λ=λ（1-λ）+（1-λ）2（3）

步驟3 最后分別用邊緣梯度指標QG指標計算DA2、DB2、DF2的融合分數(shù)Score3，接著算出SA2、SB2、SF2的融合得分Score2，最后計算一級分解的結構圖像SA1、SB1、SF1的相似度Score1。

此時，可得出（以圖像A為例）：

fA=SA1+DA2+SA2（4）

步驟4 計算出最終融合分數(shù)：

Score=Score1*λ+[Score2*λ*（1-λ）+Score3*（1-λ）2]（5）

2 實驗結果與分析

在本文中，將采用拉普拉斯金字塔融合（Laplacian Pyramid fusion， LP）[22]、雙樹復小波變換融合（DualTree Complex Wavelet Transform fusion， DTCWT）[23]、曲波變換融合（CurVelet Transform? fusion， CVT）[23]、非下采樣輪廓波變換融合（NonSubsampling Contour wave Transform fusion， NSCT）[23]、對比度的圖像融合（Directive Contrast fusion， DC）[24]、導向濾波融合（Guided Filter Fusion， GFF）[25]、脈沖耦合神經網(wǎng)絡融合（Pulse Coupled Neural Network fusion， PCNN）[26]、卷積神經網(wǎng)絡融合（Convolutional Neural Network fusion， CNN）[27]等8種常用的融合方法進行評價實驗。

實驗圖像集涵蓋3類圖像融合類型：多聚焦圖像融合、醫(yī)學圖像融合和紅外可見光圖像融合。每一類圖像包含10組測試數(shù)據(jù)。這3種類型已經包括了圖像融合在現(xiàn)實應用中的典型情況，從而有效驗證融合算法的客觀指標。

2.1 實驗設置

步驟1 引入波達計數(shù)法[9]，其中選取了引言中提及的11種經典評價指標來做測試。11種融合指標排列成11行，8個融合算法排成8列，這樣就組成了11行8列的矩陣。然后利用每種融合指標對8種融合算法進行評價，根據(jù)8種融合算法的分數(shù)得出排名。這樣每一行就對應著8種融合算法排名。每一列就是每種算法在11個評價指標中的各自排名。最后在每一列上采用波達計數(shù)法來對每種融合算法根據(jù)融合指標排名作出綜合的排名。采用的波達計數(shù)規(guī)則為：排名最高的權重為1，排名第二高的權重為1/2，依此類推，排名11位的權重為1/11。根據(jù)此規(guī)則對這8種融合算法得出最終的排名序列a。如表1所示，以3種算法、3個指標為例，這個例子里面：方法1最好，方法2次之，方法3最差。

步驟2 用1.3節(jié)中的算法分別對上述的8種融合方法進行計算融合分數(shù)，根據(jù)融合的分數(shù)高低，得到8種融合方法的排名序列b。例如，第一步中的方法1、2、3在此算法中，排名序列b是1、2、3。

步驟3 使用肯德爾系數(shù)來測試排名序列a和排名序列b的相關性[9]。例如：根據(jù)上兩步例子中的排名序列a和排名序列b，得出肯德爾系數(shù)的結果為1。

2.2 λ參數(shù)選擇

在TV-L1結構紋理分解算法中，如何選擇合適的參數(shù)λ是一個重要的問題。鑒于紋理信息包含著大量的結構信息，所以本文將系數(shù)λ設為 0.2、0.3、0.4開展實驗，使得紋理特征權重始終大于結構特征的權重。對于多聚焦圖像而言，人眼一般會更加專注于圖像紋理，據(jù)此將多聚焦圖像的λ調為0.2。對于醫(yī)學圖像來說，醫(yī)生在關注圖像紋理特征的同時，也會比較關注結構特征。例如，醫(yī)生會依據(jù)結構特征來判斷病灶的邊界，以此來判斷病灶是否侵入其他的器官，所以將醫(yī)學圖像的λ設計為0.4。對于紅外可見光圖像而言，把系數(shù)設置為0.2。如軍人會縝密地分析融合圖像每個位置的細節(jié)，從而作出對應的行動方案。每類圖像中挑選一幅來顯示分解結果。由于篇幅有限，只顯示融合圖像、融合圖像一級分解結構圖像以及二級分解紋理圖像。

從圖4的多聚焦圖像和紅外可見光圖像可以看出：λ=0.2時分解的圖像中紋理比較清晰，結構相對模糊。多聚焦圖像中的字跡依然比較清晰以及紅外可見光圖像中的森林和草地的細節(jié)也比較清晰。而對于醫(yī)學圖像，λ=0.4分解得出的結構特征是相對明顯的，可以清晰地觀察到相關結構的邊緣。

據(jù)此，將分解醫(yī)學圖像的系數(shù)設置為0.4，將紅外可見光圖像和多聚焦圖像的分解系數(shù)設置為0.2進行實驗測試。然后對3類圖像用相對應的系數(shù)分解，將分解的圖像按照1.3節(jié)的算法計算出8種融合分數(shù)，得出2.1節(jié)的排名序列b。再用波達計數(shù)法得出排名系列a，最后利用肯德爾算法計算

兩種數(shù)列的肯德爾系數(shù)。最后的結果如圖5所示，橫坐標表示數(shù)據(jù)集序號，縱坐標表示肯德爾系數(shù)。

根據(jù)肯德爾系數(shù)的定義，如果實驗的相關系數(shù)值在50%以上，就表明測試的兩個變量線性相關性較好。從圖5中可看出，實驗所測試的3類圖像實驗的肯德爾系數(shù)都在50%以上，其中3類圖片的肯德爾系數(shù)大部分達到了70%左右。對于紅外可見光圖像而言，系數(shù)甚至達到了80%以上，而醫(yī)學圖像的肯德爾系數(shù)達到了90%以上。所以客觀實驗結果驗證了本文的融合指標與其他主流的客觀指標有比較高的關聯(lián)度，從而證明了此評價算法具有較高的可靠性。

但是從圖5也可以看出，對于同一類圖像的肯德爾系數(shù)大小差距有點大，例如醫(yī)學圖像的肯德爾系數(shù)在50%～100%，紅外可見光的圖像在50%～90%。肯德爾系數(shù)之所以有較大的差別，是由于不同圖像包含的紋理信息以及結構信息的內容不一樣導致的。例如：以在紅外可見光圖像總體表現(xiàn)最好的CNN算法為來說明肯德爾系數(shù)的表現(xiàn)，如圖6所示，每行是一組融合原圖像及其一級結構和紋理分解圖像。

因為將紅外可見光圖像分解的系數(shù)設為0.2，對應的分解圖像為結構信息較少，而紋理信息較多。圖6（b）的第一行結構圖像中依然有大量的樹葉邊緣，說明結構信息較多;圖6 中第二行顯然是含有結構特征較多、紋理特征較少的圖像。所以這兩行圖像的肯德爾系數(shù)是較低的;而對于圖6（c）的第三行和第四行可以觀察到，圖像中樹枝和草地占據(jù)了圖像的大部分區(qū)域，說明紋理特征是較多的，含有的結構特征是比較少的，所以這兩幅圖像的肯德爾系數(shù)表現(xiàn)得很好。醫(yī)學圖像和多聚焦圖像的肯德爾系數(shù)也有類似的表現(xiàn)。

2.3 對比主觀評價

為了進一步驗證本文算法的正確性，對每類圖像中的3幅圖片作了小范圍的主觀評價。按照國際標準ITU-R的規(guī)定，邀請了20位同學來作主觀評價（其中包括10位方向為圖像質量評價的同學，10位研究方向為其他方向的同學，其中包括4位為江南大學醫(yī)學院的同學主要評價醫(yī)學圖像）。評價前對研究其他方向同學講清楚主觀評價目的、實驗過程、評價指標的定義等。最后每位在規(guī)定的相同時間，且在相同環(huán)境下作出相應的投票，表2是圖4中3類圖像（多聚焦圖像為子圖1、醫(yī)學圖像為子圖2、紅外可見光圖像為子圖3）的主觀評價與本文的實驗排名結果。

由于篇幅有限，將每幅融合圖像分數(shù)最高的和得分最低的以及與圖像2中與主觀排名不一致的圖像用圖7展示：圖7中（a）和（b）是多聚焦圖像表現(xiàn)最好和最差的算法圖像;（c）和（d）屬于紅外可見光圖像效果最好和最差算法圖像;（e）和（f）圖是醫(yī)學圖像表現(xiàn)最好與最壞的圖像;（g）與（h）是醫(yī)學圖像與主觀評價不一致的兩幅圖像。

從表2可以看出本文評價指標和主觀評價指標是非常吻合的：從圖7中觀察到得分最高的融合方法比最低的融合方法效果明顯要好。雖然圖像2中DTCWT算法和CVT算法主觀排名與本文指標不一致，但是從圖7中可以看到這兩種融合圖像丟失信息的程度差不多，難以判斷哪個較好。其他的對比的幾組圖像與這3組圖像的效果類似，據(jù)此說明本文的評價指標可以比較客觀地評價各種融合效果。

3 結語

針對傳統(tǒng)圖像融合評價評價未考慮圖像結構和紋理內在的區(qū)別的問題，本文提出了一種基于TV-L1結構和紋理分解的客觀評價指標。該算法利用人們對圖像質量感知主要來自于圖像底層視覺特征的特點，并且依據(jù)TV-L1中分解系數(shù)的作用，將圖像二級分解為結構圖像和紋理圖像，在結構圖像和紋理圖像上根據(jù)結構相似性分別設計融合評價指標，最后將各級的分解圖像得出的相似性綜合起來得出最終的相似性。結合已有11種客觀指標和8種圖像融合算法，基于波達計數(shù)法和肯德爾系數(shù)進行了30組圖像的客觀評價實驗，實驗表明本文所提融合評價算法能夠比較客觀地評價圖像融合的質量。但本文只是將圖像進行了二級分解，未將圖像進行更加多級的分解，下一步將進行更加多級的分解實驗，來觀察是否隨著分解級數(shù)的增加，算法的可靠性更高。

參考文獻

[1]HASSEN R， WANG Z， SALAMA M M A. Objective quality assessment for multiexposure multi-focus image fusion [J]. IEEE Transactions on Image Processing， 2015， 24（9）： 2712-2724.

[2]MALVIYA A， BHIRUD S G. Objective criterion for performance evaluation of image fusion techniques [J]. International Journal of Computer Applications， 2010， 1（25）： 57-60.

[3]PETROVIC V. Subjective tests for image fusion evaluation and objective metric validation [J]. Information Fusion， 2007， 8（2）： 208-216.

[4]張小利，李雄飛，李軍.融合圖像質量評價指標的相關性分析及性能評估[J]. 自動化學報，2014，40（2）：306-315.（ZHANG X L， LI X F， LI J. Validation and correlation analysis of metrics for evaluating performance of image fusion [J]. Acta Automatica Sinica， 2014， 40（2）： 306-315.）

[5]TIRUPAL T， MOHAN B C， KUMAR S S. Multimodal medical image fusion based on Yagers intuitionistic fuzzy sets [J]. Iranian Journal of Fuzzy Systems， 2019， 16（1）： 33-48.

[6]ZHANG X， FENG X， WANG W. et al. Edge strength similarity for image quality assessment [J]. IEEE Signal Processing Letters， 2013， 20（4）： 319-322.

[7]SHAH P， MERCHANT S N， DESAI U B. Multifocus and multispectral image fusion based on pixel significance using multiresolution decomposition [J]. Signal， Image and Video Processing， 2013， 7（1）： 95-109.

[8]HOSSNY M， NAHAVANDI S， CREIGHTON D. Comments on ‘Information measure for performance of image fusion [J]. Electronics Letters， 2008， 44（18）： 1066-1067.

[9]LIU Z， BLASCH E， XUE Z， et al. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision： a comparative study [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（1）： 94-109.

[10]CVEJIC N， CANAGARAJAH C N， BULL D R. Image fusion metric based on mutual information and tsallis entropy [J]. Electronics Letters， 2006， 42（11）： 626-627.

[11]WANG Z， BOVIK A C， SHEIKH H R. et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[12]PIELLA G， HEIJMANS H. A new quality metric for image fusion [C]// Proceedings of the 2003 International Conference on Image Processing. Piscataway， NJ： IEEE， 2003：173-176.

[13]PISTONESI S， MARTINEZ J， OJEDA S M， et al. Structural similarity metrics for quality image fusion assessment： algorithms [J]. Image Processing on Line， 2018， 8： 345-368.

[14]CHEN H， VARSHNEY P K. A human perception inspired quality metric for image fusion based on regional information [J]. Information Fusion， 2007， 8（2）： 193-207.

[15]LI S， HONG R， WU X， et al. A noval similarity based quality metric for image fusion [C]// Proceeding of the 2008 International Conference on Audio， Language and Image Processing. Piscataway， NJ： IEEE， 2008： 167-172.

[16]CHEN H， VARSHENEY P K. A human perception inspired quality metric for image fusion based on regional information [J]. Image Fusion， 2007， 8（2）： 193-207.

[17]CHEN Y. BLUM R S. A new automated quality assessment algorithm for image fusion [J]. Image and Vision Computing， 2009， 27（10）： 1421-1432.

[18]程剛，王春恒.基于結構和紋理特征融合的場景圖像分類[J].計算機工程，2011，37（5）：227-229.（CHENG G， WANG C H. Scene image categorization based on structure and texture feature fusion [J]. Computer Engineering， 2011， 37（5）： 227-229.）

[19]FANG Y， CHEN Q， SUN L， et al. Decomposition and extraction： a new framework for visual classification [J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2014， 23（8）： 3412-3427.

[20]WANG Z， WANG W， SU B. Multi-sensor image fusion algorithm based on multiresolution analysis [J]. International Journal of Online Engineering， 2018， 14（6）： 44-57.

[21]BEHRMANN M， KIMCHI R. What does visual agnosia tell us about perceptual organization and its relationship to object perception？ [J]. Journal of Experimental Psychology： Human Perception and Performance， 2003， 29（1）： 19-42.

[22]陳浩，王延杰.基于拉普拉斯金字塔變換的圖像融合算法研究[J].激光與紅外，2009，39（4）：439-442.（CHEN H， WANG Y J. Research on image fusion algorithm based on Laplacian pyramid transform [J]. Laser and Infrared， 2009， 39（4）：439-442.）

[23]LIU Y， LIU S. WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation [J]. Information Fusion， 2015， 24： 147-164.

[24]BHATNAGAR G， WU Q M J， LIU Z. Directive contrast based multimodal medical image fusion in NSCT domain [J]. IEEE Transactions on Multimedia， 2013， 15（5）： 1014-1024.

[25]LI S， KANG X， HU J. Image fusion with guided filtering [J]. IEEE Transactions on Image Processing， 2013， 22（7）： 2864-2875.

[26]屈小波，閆敬文，肖弘智，等.非降采樣Contourlet域內空間頻率激勵的PCNN圖像融合算法[J].自動化學報，2008，34（12）：1508-1514.（QU X B， YAN J W， XIAO H Z， et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled Contourlet transform domain [J]. Acta Automatica Sinica， 2008， 34（12）： 1508-1514.）

[27]LIU Y， CHEN X， WANG Z， et al. Deep learning for pixel-level image fusion recent： advances and future prospects [J]. Information Fusion， 2018， 42： 158-173.

This work is partially supported by the National Natural Science Foundation of China （61772237）， the Fundamental Research Funds for the Central Universities （JUSRP51618B）， the Technological Innovation Projects of Major Industries in Suzhou City （SYG201702）.

ZHANG Bin， born in 1994， M. S. candidate. His research interests include image fusion.

LUO Xiaoqing， born in 1980， Ph. D.， association professor. Her research interests include image fusion， medical image analysis.

ZHANG Zhancheng， born in 1977， Ph. D.， association professor. His research interests include image fusion， medical image analysis.