劉婷，程建

電子科技大學(xué)電子工程學(xué)院，成都 611731

基于訓(xùn)練字典的遙感圖像融合

劉婷，程建

電子科技大學(xué)電子工程學(xué)院，成都 611731

1 引言

遙感圖像融合的目的就是利用數(shù)據(jù)間的互補(bǔ)性和冗余性，將多光譜圖像和全色圖像進(jìn)行融合，使融合后的圖像在保持原始光譜特性的同時(shí)盡可能地增加圖像的空間細(xì)節(jié)信息，從而獲得目標(biāo)場(chǎng)景的最大信息描述，這樣不但提高了遙感圖像的質(zhì)量，而且更有利于遙感圖像的分類(lèi)和目標(biāo)識(shí)別等后續(xù)處理[1-2]?，F(xiàn)有的方法，如IHS變換、PCA變換以及小波變換等[3]，都能提高融合后圖像的空間分辨率，然而IHS融合方法扭曲了原始的光譜特性，產(chǎn)生了光譜退化現(xiàn)象或彩色畸變；PCA融合方法同樣會(huì)導(dǎo)致光譜退化；小波變換不能有效捕獲圖像的任一方向的信息，并且缺乏平移不變性，造成重構(gòu)圖像的尖銳邊緣附近的均勻局部區(qū)域出現(xiàn)抖動(dòng)。

稀疏表示是當(dāng)前非常有效的信號(hào)和圖像處理工具。稀疏模型也被廣泛應(yīng)用于信號(hào)和圖像處理等領(lǐng)域，該模型通過(guò)基或字典中極少量元素線性組合的形式來(lái)描述信號(hào)[4-5]。Hu等[6]提出基于稀疏表示和IHS變換的遙感圖像融合，這種方法雖然較好地保持了光譜信息，空間細(xì)節(jié)信息也有所提高，但由于選取的是DCT字典，不能很好地對(duì)邊界結(jié)構(gòu)信息進(jìn)行稀疏表示，很難適應(yīng)結(jié)構(gòu)復(fù)雜的遙感圖像；而且選擇的是稀疏系數(shù)絕對(duì)值取大的融合規(guī)則，沒(méi)有很好地利用全色圖像和亮度分量的局部信息。

針對(duì)上述不足，本文利用訓(xùn)練字典具有更好的稀疏性和自適應(yīng)能力的特性，提出了基于訓(xùn)練字典的融合算法。通過(guò)對(duì)樣本進(jìn)行學(xué)習(xí)得到訓(xùn)練字典，對(duì)圖像進(jìn)行稀疏表示，對(duì)IHS變換后的亮度分量進(jìn)行亮度平滑濾波（SFIM）[7]，很好地保持了多光譜圖像的光譜特性，并在一定程度上有提高空間細(xì)節(jié)信息的作用，對(duì)稀疏系數(shù)采用空間頻率取大的融合規(guī)則，很好地利用了圖像間的相關(guān)性。實(shí)驗(yàn)分別采用IKONOS和Quickbird數(shù)據(jù)，融合結(jié)果的目視效果和客觀評(píng)價(jià)表明，該算法能提高融合后圖像的空間細(xì)節(jié)信息，并且能很好地保留多光譜影像的光譜信息。

2 稀疏表示基本理論

稀疏表示以CS（Compressed Sensing，壓縮傳感）理論為基礎(chǔ)，尋找信號(hào)在一組字典下的最稀疏表示。圖像的稀疏模型要求將圖像表示為一組字典中少數(shù)幾個(gè)典型原子的線性組合，基本思想是假設(shè)自然信號(hào)能由預(yù)定義原子中極少數(shù)原子進(jìn)行線性表示[8]。

稀疏表示問(wèn)題可以由如下的數(shù)學(xué)形式進(jìn)行表示：

其中，α為x的稀疏表示系數(shù)，D={d1，d2，…，dN}∈RM×N(M＜N)為過(guò)完備字典，||·||0為l0范數(shù)，表示非零元素的個(gè)數(shù)，ε為逼近誤差容限。

當(dāng)字典D為冗余字典時(shí)，求解稀疏表示最優(yōu)化問(wèn)題成為一個(gè)NP-hard問(wèn)題，目前常用的方法有：基追蹤法（Basis Pursuit，BP）[9]，是將l0范數(shù)轉(zhuǎn)換為l1范數(shù)進(jìn)行求解的線性規(guī)劃問(wèn)題；匹配追蹤（Matching Pursuit，MP）[10]、正交匹配追蹤（Orthogonal Matching Pursuit，OMP）[11]及其改進(jìn)算法。其中，OMP算法克服了BP算法計(jì)算復(fù)雜度高和MP算法迭代次數(shù)多的問(wèn)題，是目前應(yīng)用最廣泛的稀疏分解方法。本文采用OMP算法進(jìn)行稀疏分解。OMP算法的核心思想是在每次迭代過(guò)程中，選擇與當(dāng)前殘留量最相關(guān)的原子，然后重新計(jì)算殘留量，循環(huán)上述過(guò)程，直到停止條件滿足。

3 訓(xùn)練字典

在信號(hào)與圖像的稀疏分解和稀疏表示中，字典具有決定性的作用。字典的過(guò)完備性決定了稀疏分解過(guò)程的計(jì)算復(fù)雜度，也決定了稀疏分解結(jié)果稀疏表示的稀疏性，字典中原子的選擇也對(duì)圖像表示的稀疏性有著重要的影響。通常有兩種方法構(gòu)造字典[12-13]：第一種是預(yù)先定義字典數(shù)學(xué)表達(dá)式的方法，常用的字典有DCT、小波、曲線波（Curvelets）、輪廓波（Contourlets）等，這些都是預(yù)先定義數(shù)學(xué)表達(dá)式的字典，雖然計(jì)算復(fù)雜度低，但是對(duì)圖像的幾何特征過(guò)于依賴(lài)，僅僅只對(duì)圖像的一種或某些特征能有較好的稀疏表示。例如，DCT字典空域局部性差，對(duì)邊界等結(jié)構(gòu)信息稀疏表示能力差；小波字典對(duì)圖像的輪廓特征不能有很好的稀疏表示；輪廓波字典雖然能夠很好地表示圖像的輪廓特征，但缺乏周期性，對(duì)紋理圖像稀疏表示能力差。另一種是基于學(xué)習(xí)的方法，它是通過(guò)對(duì)樣本數(shù)據(jù)進(jìn)行訓(xùn)練得到的?；趯W(xué)習(xí)的字典能夠更準(zhǔn)確地從樣本數(shù)據(jù)中提取復(fù)雜的圖像特征，對(duì)圖像的各種特征有更好的稀疏表示，具有更好的自適應(yīng)性。因此，對(duì)于擁有復(fù)雜特征的遙感圖像，本文選取訓(xùn)練字典對(duì)其進(jìn)行稀疏表示。

從選擇的樣本圖像中隨機(jī)提取K張子圖像，構(gòu)成訓(xùn)練樣本集F={fi}Ki=1，目標(biāo)是從這些樣本集中訓(xùn)練得到能夠很好地稀疏逼近樣本塊的字典[14]。假設(shè)f∈Rn為訓(xùn)練樣本，D={d1，d2，…，dK}為待構(gòu)造的過(guò)完備字典，di為Rn空間的原子，對(duì)于訓(xùn)練樣本F∈Rn×K，構(gòu)造目標(biāo)函數(shù)如下：

其中，αi為樣本fi所對(duì)應(yīng)的稀疏表示系數(shù)，每個(gè)樣本列向量fi對(duì)應(yīng)于一個(gè)訓(xùn)練圖像塊。

4 基于訓(xùn)練字典的遙感圖像融合

4.1 SFIM算法

SFIM算法[7]基本思想是去掉高分辨率影像的光譜和地形信息，將剩余的紋理信息直接添加到多光譜影像中。SFIM運(yùn)算公式如下：

其中，Msi為原始多光譜圖像的第i波段，Pan為全色圖像，Panmean為全色圖像經(jīng)過(guò)均值濾波后圖像，Ms(fusion)i為融合后第i個(gè)波段圖像。SFIM模型能夠很好地保持光譜特征，并加人多光譜圖像中缺失的空間細(xì)節(jié)信息。

4.2 空間頻率

圖像的空間頻率是衡量圖像空間的整體活躍程度的一個(gè)重要指標(biāo)，反映了圖像的邊緣化程度，能很好地描述圖像的灰度突變信息。定義為：

其中，RF為空間行頻率，CF為空間列頻率，空間頻率越大則圖像越清晰、越活躍。

4.3 融合算法

Hu等[6]提出基于稀疏表示和IHS變換的遙感圖像融合，基本思路是對(duì)多光譜圖像進(jìn)行IHS變換后，對(duì)I分量和全色圖像進(jìn)行稀疏表示，之后用絕對(duì)值取大的融合規(guī)則對(duì)其稀疏系數(shù)進(jìn)行融合，重構(gòu)I分量，最后進(jìn)行IHS逆變換，得到融合圖像。這種方法雖然較好地保持了光譜信息，空間細(xì)節(jié)信息也有所提高。但由于選取的是DCT字典，不能很好地對(duì)邊界結(jié)構(gòu)信息進(jìn)行稀疏表示，很難適應(yīng)結(jié)構(gòu)復(fù)雜的遙感圖像；而且選擇的是稀疏系數(shù)絕對(duì)值取大的融合規(guī)則，沒(méi)有很好地利用全色圖像和I分量的局部信息。

本文選擇對(duì)遙感圖像有更好的稀疏表示能力，并且自適應(yīng)能力強(qiáng)的訓(xùn)練字典。由于不同的衛(wèi)星傳感器反應(yīng)不同的光譜特性，因此選取與實(shí)驗(yàn)圖像有相同傳感器的遙感圖像作為樣本數(shù)據(jù)，通過(guò)隨機(jī)采樣樣本圖像塊來(lái)構(gòu)造訓(xùn)練字典。此外，為了很好地保持光譜特性，并提高空間細(xì)節(jié)信息，本文將SFIM算法與IHS變換相結(jié)合，對(duì)與光譜特性不相關(guān)的I分量進(jìn)行SFIM運(yùn)算，將空間細(xì)節(jié)信息加入到I分量中，這樣能盡可能少地影響光譜信息，并通過(guò)SFIM模型能將空間細(xì)節(jié)信息合理、有效地調(diào)制到多光譜圖像亮度分量中。然后對(duì)進(jìn)行SFIM運(yùn)算后的亮度分量和全色圖像進(jìn)行稀疏表示，得到稀疏表示系數(shù)。文獻(xiàn)[6]選擇絕對(duì)值取大的融合規(guī)則，沒(méi)有考慮到圖像的局部信息，最終融合圖像空間細(xì)節(jié)信息增強(qiáng)也有限。因此本文選擇空間頻率取大的融合規(guī)則，充分利用了圖像中像素間局部特征，有效地提高了融合圖像的空間細(xì)節(jié)信息。

假設(shè)全色圖像與多光譜圖像已經(jīng)配準(zhǔn)成功，全色圖像的大小為M×N，本文融合算法步驟如下：

（1）將多光譜圖像重采樣到與全色圖像同樣大小，對(duì)多光譜圖像進(jìn)行IHS變換，分別得到I、H和S分量。

（2）對(duì)全色圖像Pan選取窗口大小為5×5的均值濾波，然后和I分量執(zhí)行SFIM得到新的I分量：

其中，Panmean表示對(duì)Pan均值濾波后的圖像，Inew表示最后得到的新的I分量。

（3）用窗口大小為n×n遍歷圖像Inew和Pan，將每一個(gè)塊按列優(yōu)先方式轉(zhuǎn)換為大小為n2×1的向量，再按照遍歷順序?qū)⑦@些列向量排列為大小為n2×((M-n+1)·(N-n+1))的矩陣，最后分別利用OMP算法以及訓(xùn)練字典計(jì)算出稀疏表示系數(shù)為AI和APan。

（4）分別計(jì)算Inew分量和全色圖像每個(gè)塊的空間頻率SFI和SFPan，選擇空間頻率大的稀疏系數(shù)為融合后的稀疏表示系數(shù)[15]：

（5）根據(jù)IF=DAF從融合的稀疏系數(shù)重構(gòu)出圖像塊，這時(shí)原圖像中同一像素位置可能出現(xiàn)在多個(gè)塊中，將所有塊按其原來(lái)位置進(jìn)行放置，然后進(jìn)行加權(quán)平均，從而得到融合的I分量，結(jié)合H分量和S分量進(jìn)行IHS逆變換，得到融合圖像。

5 實(shí)驗(yàn)結(jié)果與分析

針對(duì)本文提出的融合算法，進(jìn)行了兩組仿真實(shí)驗(yàn)：第一組采用Quickbird衛(wèi)星的多光譜圖像和全色圖像為研究對(duì)象；第二組采用IKONOS衛(wèi)星的多光譜圖像和全色圖像為研究對(duì)象。采用的Quickbird數(shù)據(jù)集包含空間分辨率為2.4 m的多光譜圖像和0.6 m的全色圖像，IKONOS數(shù)據(jù)集包含空間分辨率為4 m的多光譜圖像和1 m的全色圖像。兩組圖像都經(jīng)過(guò)幾何校正、圖像配準(zhǔn)等預(yù)處理步驟，選擇圖像大小為256×256，進(jìn)行分塊的窗口大小為8×8，SFIM方法使用的卷積核大小為5×5。通過(guò)隨機(jī)采樣樣本圖像塊來(lái)構(gòu)造字典，由于不同的衛(wèi)星傳感器反應(yīng)不同的光譜特性，因此選取與實(shí)驗(yàn)圖像有相同傳感器的遙感圖像作為樣本數(shù)據(jù)。從樣本圖像中隨機(jī)選取50 000張大小為8×8的圖像塊，字典大小為64×256，其冗余因子為4。如圖1所示為DCT字典，樣本數(shù)據(jù)為Quickbird的訓(xùn)練字典以及樣本數(shù)據(jù)為IKONOS的訓(xùn)練字典。

圖1 用于實(shí)驗(yàn)的相關(guān)字典

Atrous小波算法[16]就是把圖像分解為低頻圖像和各高頻小波面，即

其中，Cn(k)為低頻子圖像，wj(k)為各高頻小波面。Atrous小波算法可以很容易擴(kuò)展到二維空間。在二維空間其算法類(lèi)似于用卷積核對(duì)影像進(jìn)行濾波，由于B3對(duì)不規(guī)則樣本數(shù)據(jù)具有很好的插值型，通常被選擇作為尺度函數(shù)，其二維卷積核為：

5.1 評(píng)價(jià)指標(biāo)

融合圖像與多光譜圖像的相關(guān)系數(shù)CC定義如下：

標(biāo)準(zhǔn)差std定義如下：

其中，M、N表示圖像的大小，F(xiàn)(i，j)表示圖像在(i，j)處的像素值，u為其均值。標(biāo)準(zhǔn)差反映了圖像灰度相對(duì)于平均亮度的離散情況，標(biāo)準(zhǔn)差越大，則灰度級(jí)分布越分散。

平均梯度grad定義如下：

其中，ΔxF(i，j)、ΔyF(i，j)分別為F(i，j)在x、y方向上的一階差分。平均梯度反映了圖像的清晰程度，同時(shí)還反映出圖像中微小細(xì)節(jié)反差和紋理變換特征。平均梯度越大，圖像層次越多，也越清晰。

圖2 逼近誤差對(duì)Quickbird圖像融合質(zhì)量的影響

結(jié)構(gòu)相似度SSIM定義[17]如下：

SSIM值越大表示兩幅圖像越相似。

圖像峰值信噪比PSNR定義[3]如下：

其中，Gmax表示圖像中的最大灰度。PSNR值越大，說(shuō)明噪聲越小，圖像融合的效果越好。

5.2 實(shí)驗(yàn)結(jié)果

逼近誤差反應(yīng)了稀疏分解的逼近程度，不同的逼近誤差實(shí)驗(yàn)的結(jié)果也不相同，所需的計(jì)算時(shí)間也不相同，把不同的逼近誤差下對(duì)實(shí)驗(yàn)結(jié)果的影響進(jìn)行比較，圖2和圖3為選取不同的逼近誤差下，各個(gè)指標(biāo)的折線圖。相關(guān)系數(shù)隨著逼近誤差的減少逐漸變小，這是由于逼近誤差越小，稀疏表示系數(shù)的非零元素越多；平均梯度隨著逼近誤差的減少而增大，最終趨于平滑，是由于非零元素增多后，其表示細(xì)節(jié)的能力更強(qiáng)，且融合規(guī)則選用的是空間頻率取大的原則，也能增加圖像的細(xì)節(jié)信息。隨著逼近誤差的減少，所需運(yùn)算時(shí)間越大。由圖2和圖3可以看出，Quickbird和IKONOS融合實(shí)驗(yàn)中，選取逼近誤差均為0.02時(shí)，融合效果較好，本文選擇逼近誤差為0.02做融合實(shí)驗(yàn)。同時(shí)，對(duì)多光譜圖像大小為256×256和全色圖像大小為1 024×1 024的Quickbird和IKONOS也進(jìn)行了仿真。本文算法利用Matlab 7編程實(shí)現(xiàn)，運(yùn)行環(huán)境Pentium Dual-Core E5300，2.6 GHz CPU，2 GB內(nèi)存，操作系統(tǒng)Windows XP。

圖3 逼近誤差對(duì)IKONOS圖像融合質(zhì)量的影響

為了驗(yàn)證融合算法的有效性，對(duì)來(lái)自不同場(chǎng)景、不同衛(wèi)星的多光譜圖像和全色圖像進(jìn)行了融合實(shí)驗(yàn)，所用圖像都已經(jīng)經(jīng)過(guò)精確的幾何校正、圖像配準(zhǔn)等預(yù)處理技術(shù)。

圖4給出了Quickbird多光譜圖像和全色圖像的融合結(jié)果，從目視效果可以看出各種融合結(jié)果與原始多光譜圖像相比較，空間分辨率均有增強(qiáng)，如公路、植被、建筑等空間細(xì)節(jié)信息有明顯的提高。IHS變換在亮度分量的替代過(guò)程中丟失了部分原始多光譜特征，雖然融合結(jié)果空間細(xì)節(jié)信息比較清晰，但是光譜失真嚴(yán)重，如植被的顏色明顯變淺；atrWT和contourlet融合結(jié)果光譜特征失真較小，空間細(xì)節(jié)信息豐富；本文算法與文獻(xiàn)[6]的方法相比，融合圖像光譜失真更小，細(xì)節(jié)信息更豐富，融合效果更好。

表1列出了Quickbird數(shù)據(jù)下各種融合算法的客觀評(píng)價(jià)指標(biāo)，可以看出IHS算法的相關(guān)系數(shù)、結(jié)構(gòu)相似度以及峰值信噪比最小，說(shuō)明光譜失真最嚴(yán)重，清晰度最?。籥trWT算法的梯度和方差最小，說(shuō)明圖像的空間細(xì)節(jié)信息在一定程度上有較大的損失；contourlet算法和文獻(xiàn)[6]的方法有較高的相關(guān)系數(shù)和結(jié)構(gòu)相似度，但是梯度較小，說(shuō)明圖像的光譜失真較小，但是空間細(xì)節(jié)信息有一定的損失；本文算法的結(jié)構(gòu)相似度略低于contourlet，其他指標(biāo)均比contourlet高，說(shuō)明本文算法和contourlet算法都能很好地保持光譜特征，而且本文算法融合圖像的紋理細(xì)節(jié)信息最豐富，清晰度最好。

表1 Quickbird數(shù)據(jù)融合結(jié)果的客觀評(píng)價(jià)指標(biāo)

圖4 Quickbird圖像及融合結(jié)果

圖5 IKONOS圖像及融合結(jié)果

圖6 全色圖像大小為1 024×1 024的Quickbird圖像及融合結(jié)果

圖7 全色圖像大小為1 024×1 024的IKONOS圖像及融合結(jié)果

圖5給出了IKONOS多光譜圖像和全色圖像的融合結(jié)果，從目視效果可以看出，本文算法融合結(jié)果視覺(jué)效果最好，光譜特征保持最好，空間細(xì)節(jié)信息最豐富，圖像最清晰。和atrWT變換、contourlet相比，本文算法融合結(jié)果更加清晰，細(xì)節(jié)特征更加明顯；相比IHS變換和文獻(xiàn)[6]的方法，本文方法光譜失真最少，視覺(jué)效果最好。

表2列出了IKONOS數(shù)據(jù)下各種融合算法的客觀評(píng)價(jià)指標(biāo)，可以看出本文算法的平均梯度、方差和峰值信噪比明顯高于contourlet，僅結(jié)構(gòu)相似度和相關(guān)系數(shù)略低于contourlet算法，說(shuō)明本文算法和contourlet算法都能很好地保持光譜特征，而且本文算法能更好地提高圖像細(xì)節(jié)信息。本文算法與其他三種方法相比，具有最高的相關(guān)系數(shù)、結(jié)構(gòu)相似度、平均梯度、方差和峰值信噪比，說(shuō)明融合結(jié)果既保留了豐富的光譜信息又提高了空間細(xì)節(jié)信息。

表2 IKONOS數(shù)據(jù)融合結(jié)果的客觀評(píng)價(jià)指標(biāo)

表3給出了本文算法和其他四種算法的執(zhí)行時(shí)間，由于在進(jìn)行稀疏分解時(shí)耗時(shí)較大，所以本文算法執(zhí)行時(shí)間高于傳統(tǒng)算法。雖然執(zhí)行時(shí)間較傳統(tǒng)算法高，但本文算法能較好地保持圖像的光譜特征，并提高融合結(jié)果的清晰度以及空間細(xì)節(jié)信息，更有利于圖像的分類(lèi)和目標(biāo)識(shí)別等后續(xù)處理。

表3 運(yùn)行時(shí)間s

圖6和圖7分別給出了多光譜圖像大小為256×256和全色圖像大小為1 024×1 024的Quickbird和IKONOS多光譜圖像和全色圖像融合結(jié)果。表4和表5分別列出了Quickbird和IKONOS數(shù)據(jù)下各種融合算法的客觀評(píng)價(jià)指標(biāo)，從目視效果和融合評(píng)價(jià)指標(biāo)可以看出，本文算法融合圖像最清晰，空間細(xì)節(jié)信息更豐富，光譜特征保持的最好。

表4 全色圖像大小為1 024×1 024的Quickbird數(shù)據(jù)融合結(jié)果的客觀評(píng)價(jià)指標(biāo)

表5 全色圖像大小為1 024×1 024的IKONOS數(shù)據(jù)融合結(jié)果的客觀評(píng)價(jià)指標(biāo)

6 總結(jié)

在遙感圖像融合中，很難得到分辨率高，光譜畸變小的融合圖像。本文將稀疏表示理論用于遙感圖像融合，采用訓(xùn)練字典，有效地利用了訓(xùn)練字典的自適應(yīng)性，對(duì)圖像有著更好的稀疏表示；為了提高融合結(jié)果的空間細(xì)節(jié)信息，對(duì)IHS變換后的亮度分量進(jìn)行SFIM運(yùn)算，能有效地保留多光譜圖像的光譜特征并增加空間細(xì)節(jié)信息；選取的空間頻率取大的融合規(guī)則也很好地利用了圖像的局部信息，與文獻(xiàn)[6]中取絕對(duì)值大的融合規(guī)則相比較，能很有效地增強(qiáng)融合結(jié)果的空間細(xì)節(jié)信息。為了證明算法的有效性，對(duì)Quickbird和IKONOS兩組不同數(shù)據(jù)類(lèi)型進(jìn)行了實(shí)驗(yàn)和分析，結(jié)果證明，本文算法比IHS變換、contourlet、atrWT變換以及文獻(xiàn)[6]的方法有更好的光譜保持能力和增強(qiáng)空間細(xì)節(jié)的能力，從而得到了融合質(zhì)量更高的圖像。

[1]Simone G，F(xiàn)arina A，Morabito F C，et al.Image fusion techniques for remote sensing applications[J].Information Fusion，2002，3（1）：3-15.

[2]Pohl C，Genderen J L.Multisensor image fusion in remote sensing：concepts，methods，and applications[J].International Journal of Remote Sensing，1998，19（5）：823-854.

[3]敬忠良，肖剛，李振華.圖像融合——理論與應(yīng)用[M].北京：高等教育出版社，2007：1-262.

[4]石光明，劉丹華，高大化，等.壓縮感知理論及其研究進(jìn)展[J].電子學(xué)報(bào)，2009，37（5）：1070-1081.

[5]石慧，宋仁旺，王鋼飛.OFDM系統(tǒng)稀疏信道估計(jì)研究.[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（33）：98-100.

[6]Hu Jianwen，Li Shutao，Yang Bin.Remote sensing image fusion based on IHS transform and sparse representation[C]//Proceedings of the 2010 Chinese Conference on Pattern Recognition（CCPR），2010：1-4.

[7]Liu J G.Smoothing filter-based intensity modulation：a spectral preserve image fusion technique for improving spatial details[J]. Int J Remote Sensing，2000，20（18）：3461-3472.

[8]Yang Bing，Li Shutao.Multifocus image fusion and restoration with sparse representation[J].IEEE Transaction on Information Theory Instrumentation and Measurement，2010，59（4）：884-892.

[9]Donoho D，Elad M.Optimally sparse representation in general（non-orthogonal）dictionaries via l1 minimization[J].Proc Nat Aca Sci，2003，100：2197-2202.

[10]Mallat S，Zhang Z.Matching pursuits with time-frequency dictionaries[J].IEEE Transactions on Signal Processing，1993，41（12）：3397-3415.

[11]Pati Y，Rezaiifar R，Krishnaprasad P.Orthogonal matching pursuit：recursive function approximation with applications to wavelet decomposition[C]//Proceedings of the 27th Annual Asilomar Conference on Signals，Systems，1993，1：40-44.

[12]Rubinstein R，Zibulevsky M，Elad M.Double sparsity：learning sparse dictionaries for sparse signal approximation[J].IEEE Transactions on Signal Processing，2009，58（2）：1553-1564.

[13]Yang J，Wright J，Huang T，et al.Image super-resolution via sparserepresentation[J].IEEETransactiononImageProcessing，2010，19（11）：2861-2873.

[14]Wang J，Zhu S，Gong Y.Resolution enhancement based on learning the sparse association of image patches[J].Pattern Recognition Letters，2010，31（1）：1-10.

[15]Li S，Kwok J T，Wang Y.Combination of images with diverse focuses using the spatial frequency[J].Information Fusion，2001，2（3）：169-176.

[16]Chibani Y.Radar and panchromatic image fusion by means of the atrous algorithm[J].SPIE，2004，5238：543-550.

[17]Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13（4）：600-612.

LIU Ting,CHENG Jian

School of Electronic Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China

An image fusion algorithm is presented based on sparse representation and training dictionary in order to improve the fusion quality of multi-spectral image and panchromatic image.A new intensity component is firstly obtained by taking the method of smoothing filter-based intensity modulation on the original intensity component of the multi-spectral image.The panchromatic image and intensity component are obtained for their sparse coefficient through training dictionary which generated by randomly sampling raw patches.Then,the fused coefficient is obtained by the fusion rule which choosing spatial frequency maximum. Finally,the fused results are obtained through reconstruction and IHS inverse transformation.The improved algorithm has been tested on various multi-spectral and panchromatic satellite remote sensing images for different areas.The experimental results prove that the proposed method can improve the spatial resolution and better maintain the spectral characteristics.

image processing;image fusion;sparse representation;training dictionary

為了提高多光譜圖像與全色圖像的融合質(zhì)量，利用稀疏表示理論，提出了一種基于訓(xùn)練字典的融合算法。該算法對(duì)多光譜圖像的亮度分量進(jìn)行亮度平滑濾波（SFIM）得到新的亮度分量，利用圖像塊隨機(jī)采樣學(xué)習(xí)得到的訓(xùn)練字典對(duì)全色圖像和新的亮度分量進(jìn)行稀疏表示，采用空間頻率取大的融合規(guī)則對(duì)稀疏系數(shù)進(jìn)行融合，通過(guò)重構(gòu)和IHS逆變換得到融合結(jié)果。對(duì)不同場(chǎng)景、不同衛(wèi)星的多光譜圖像和全色圖像進(jìn)行實(shí)驗(yàn)，結(jié)果表明，該方法能在提高空間分辨率的同時(shí)更好地保持光譜特性。

圖像處理；圖像融合；稀疏表示；訓(xùn)練字典

A

TP751

10.3778/j.issn.1002-8331.1112-0650

LIU Ting,CHENG Jian.Remote sensing image fusion based on training dictionary.Computer Engineering and Applications,2013,49（19）：135-140.

教育部高等學(xué)校博士學(xué)科點(diǎn)專(zhuān)項(xiàng)科研基金（No.20100185120021）；國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃（973）（No.2007CB714406）；電子科技大學(xué)中央高校基本科研業(yè)務(wù)費(fèi)項(xiàng)目（No.ZYGX2009Z005）；電子科技大學(xué)青年科技基金重點(diǎn)項(xiàng)目（No.JX0804）。

劉婷（1989—），女，碩士，主要研究領(lǐng)域?yàn)檫b感圖像處理，稀疏表示；程建（1978—），男，博士后，副教授。E-mail：liutinglady@163.com

2012-01-06

2012-04-13

1002-8331（2013）19-0135-06

CNKI出版日期：2012-05-28http://www.cnki.net/kcms/detail/11.2127.TP.20120528.1612.002.html