常莉紅

(寧夏師范學(xué)院 數(shù)學(xué)與信息科學(xué)學(xué)院, 寧夏 固原 756000)

圖像融合是圖像處理研究的一大分支，廣泛應(yīng)用于醫(yī)學(xué)、軍事和目標(biāo)探測(cè)等領(lǐng)域[1-3].常見(jiàn)的圖像融合方法有變換域中的多尺度方法和稀疏表示方法. 最流行的多尺度方法有離散小波變換法 (discrete wavelet transform, DWT)[4]、對(duì)偶樹(shù)復(fù)小波變換(dual-tree complex wavelet transform, DTCWT)[5]、四元數(shù)小波變換法[6]等. 常見(jiàn)的稀疏表示方法有DCT字典融合方法[7]和多字典自適應(yīng)稀疏表示方法[8]. 迄今為止，稀疏理論在圖像融合中已經(jīng)取得了豐碩成果[9-10]，研究表明，傳統(tǒng)的多尺度方法在圖像融合中易減弱圖像的對(duì)比度，而稀疏理論方法可以很好地解決這一問(wèn)題.

現(xiàn)有的基于稀疏表示的圖像融合模型中所學(xué)習(xí)的大多是通用字典，并沒(méi)有明確的幾何意義. 筆者認(rèn)為，如果字典有明確的幾何意義，則會(huì)進(jìn)一步提升融合效果. 因此，本文利用圖像可以表示成卡通特征和紋理特征的特點(diǎn)，通過(guò)學(xué)習(xí)得到卡通字典和紋理字典，利用幾何意義明確的2個(gè)字典提出了一種圖像融合方法. 主要過(guò)程分3步： 首先，利用先進(jìn)的圖像分解方法(fast cartoon + texture image decomposition, FCTD)[11]將訓(xùn)練集和測(cè)試集中的圖像分解成卡通和紋理兩大部分；接著，利用在訓(xùn)練集上學(xué)習(xí)好的卡通字典和紋理字典分別對(duì)測(cè)試集中源圖像的卡通部分和紋理部分進(jìn)行融合；最后，將融合好的卡通部分和紋理部分相加得到最終的融合圖像.

1 基于特征分解的圖像融合方法

1.1 FCTD圖像分解方法

BUADES等[11]提出的FCTD分解方法主要是利用一對(duì)低-高通濾波器簡(jiǎn)單并快速地實(shí)現(xiàn)卡通紋理的分解.由于篇幅所限，本文只給出FCTD分解效果圖的一個(gè)示例，具體算法可參見(jiàn)文獻(xiàn)[11]. 一張512×512的‘Lena’ 圖，用FCTD分解大約需要2 s. 圖1給出了 ‘Lena’圖分解后的卡通部分和紋理部分(原圖減去卡通部分).

圖1 ‘Lena’的特征分解圖Fig.1 Feature decomposition image for ‘Lena’

從圖1中可以看到，圖像的兩大特征是完全不同的，因此如果用在此2種特征下學(xué)習(xí)得到的2種字典來(lái)分別表示卡通部分和紋理部分，不僅可知其幾何意義，而且還可以提供融合效果，這和以往的稀疏表示模型是完全不同的.

1.2 特征字典

在訓(xùn)練數(shù)據(jù)集上選取8張高質(zhì)量的自然圖像，利用FCTD進(jìn)行分解，分別得到卡通部分和紋理部分，利用K-SVD[12]算法分別進(jìn)行訓(xùn)練，得到2個(gè)表示不同幾何意義的卡通字典Dc和紋理字典Dt. 圖2給出了本文得到的2個(gè)字典和文獻(xiàn)[10]通過(guò)40幅高質(zhì)量圖像學(xué)習(xí)得到的通用字典.

圖2 稀疏字典Fig.2 The sparse dictionaries

1.3 基于特征分解的圖像融合方法

利用系數(shù)的“L1-范數(shù)”最大進(jìn)行融合：

通過(guò)系數(shù)稀疏表示融合圖像塊：

其中，

圖3給出了本文方法的融合流程圖.

圖3 基于特征分解的圖像融合方法流程圖Fig.3 The feature decomposition-based fusion algorithm

2 數(shù)值實(shí)驗(yàn)

2.1 測(cè)試圖

測(cè)試圖來(lái)源于圖像融合方法常用的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)http://imagefusion.org.

圖4 測(cè)試圖集Fig.4 Testing images

2.2 客觀(guān)指標(biāo)

利用常用的熵(entropy,EN)、標(biāo)準(zhǔn)偏差(standard deviation,SD)、互信息(mutual information,MI)[13]、梯度QG指標(biāo)[14]和相位一致性度量指標(biāo)QP[15]來(lái)測(cè)試本文算法和比較算法，其值越大說(shuō)明融合效果越好.

2.3 實(shí)驗(yàn)結(jié)果及討論

本文學(xué)習(xí)了2種大小的字典，為表述方便，用記號(hào)FD128和FD256指代本文方法，其中128和256表示融合字典的大小.將2種稀疏融合比較方法記為SR[7]和ASR[10]. 將本文方法與DWT[5]、DTCWT[6]、SR、ASR融合方法進(jìn)行比較. DWT和DTCWT方法分解層數(shù)為4，SR 和ASR采用原文獻(xiàn)提供的代碼和參數(shù).

圖5～圖7分別給出了不同方法對(duì)3種圖像融合的效果. 圖5給出了幾種不同方法對(duì)多聚焦圖像融合的效果.顯然，稀疏表示方法較DWT、DTCWT方法要好，而本文方法對(duì)此類(lèi)圖像的融合效果與SR、ASR方法區(qū)別不明顯.

圖5 一組多聚焦圖像的融合效果Fig.5 The effects for multi-focus image

圖6給出了各方法對(duì)醫(yī)學(xué)圖像的融合效果.顯然，DWT出現(xiàn)了嚴(yán)重的塊效應(yīng)，DTCWT對(duì)骨骼(圖中亮的部分)的提取明顯弱于其他幾種稀疏表示方法，本文方法能很好地保護(hù)醫(yī)學(xué)圖像中的軟組織和骨骼結(jié)構(gòu)，圖像融合紋路更清晰.

圖6 一組醫(yī)學(xué)圖像的融合效果Fig.6 The effects for medical image

圖7給出了一組紅外線(xiàn)-可見(jiàn)光的圖像融合例子. DWT的塊效應(yīng)仍然存在，DWT對(duì)比度損失較為嚴(yán)重，如廣告牌的亮度明顯不及其他幾種稀疏表示方法.在幾種稀疏表示方法中，本文的FD256方法最好，這也表明了字典越大融合效果越好.

圖7 一組紅外線(xiàn)-可見(jiàn)光圖像的融合效果Fig.7 The effects for visible-infrared image

表1～表3給出了不同方法在3組不同測(cè)試圖像集上融合效果的平均指標(biāo)值，最好的用粗黑體表示，次好的用斜粗黑體表示. 從表中可以得到： 1)基于稀疏表示的方法： SR、ASR、FD128和 FD 256，基本上都優(yōu)于傳統(tǒng)的多尺度分析方法DWT 和DTCWT . 對(duì)于多聚焦圖像，各方法差異不大，但對(duì)于醫(yī)學(xué)圖像和紅外線(xiàn)-可見(jiàn)光圖像，本文方法在各指標(biāo)上都較其他方法要好，且隨著字典尺寸的增大，融合效果未見(jiàn)增好，對(duì)紅外線(xiàn)-可見(jiàn)光圖像的融合尤其明顯.

表1 不同方法對(duì)多聚焦圖像融合的平均指標(biāo)值

注融合效果最好的用黑正體表示，次好的用黑斜體表示.表2、表3同.

表2 不同方法對(duì)醫(yī)學(xué)圖像融合的平均指標(biāo)值

表3 不同方法對(duì)紅外線(xiàn)-可見(jiàn)光圖像融合的平均指標(biāo)值

3 結(jié) 論

利用幾何意義明確的結(jié)構(gòu)字典和紋理字典，分別對(duì)源圖像的結(jié)構(gòu)和紋理部分進(jìn)行融合，通過(guò)疊加得到了最終的融合效果. 實(shí)驗(yàn)結(jié)果表明，本文方法大大改善了醫(yī)學(xué)圖像和紅外線(xiàn)-可見(jiàn)光圖像的融合效果.