陳利霞，李 子，袁 華，歐陽(yáng)寧

(桂林電子科技大學(xué) a. 廣西高校圖像圖形智能處理重點(diǎn)實(shí)驗(yàn)室；b. 數(shù)學(xué)與計(jì)算科學(xué)學(xué)院；c.廣西密碼學(xué)與信息安全重點(diǎn)實(shí)驗(yàn)室；d.信息與通信學(xué)院，廣西 桂林 541004)

基于塊分類(lèi)稀疏表示的圖像融合算法

陳利霞a，b，c，李 子d，袁 華d，歐陽(yáng)寧d

(桂林電子科技大學(xué) a. 廣西高校圖像圖形智能處理重點(diǎn)實(shí)驗(yàn)室；b. 數(shù)學(xué)與計(jì)算科學(xué)學(xué)院；c.廣西密碼學(xué)與信息安全重點(diǎn)實(shí)驗(yàn)室；d.信息與通信學(xué)院，廣西 桂林 541004)

針對(duì)基于單一字典訓(xùn)練稀疏表示的圖像融合算法忽略圖像局部特征的問(wèn)題，提出了基于塊分類(lèi)稀疏表示的圖像融合算法。算法是根據(jù)圖像局部特征的差異將圖像塊分為平滑、邊緣和紋理三種結(jié)構(gòu)類(lèi)型，對(duì)邊緣和紋理結(jié)構(gòu)分別訓(xùn)練出各自的冗余字典。平滑結(jié)構(gòu)利用算術(shù)平均法進(jìn)行融合，邊緣和紋理結(jié)構(gòu)由對(duì)應(yīng)字典利用稀疏表示算法進(jìn)行融合，并對(duì)邊緣結(jié)構(gòu)稀疏表示中的殘余量進(jìn)行小波變換融合。實(shí)

塊分類(lèi)；稀疏表示；圖像融合

圖像融合是將同一場(chǎng)景來(lái)源不同的多幅源圖像的互補(bǔ)信息綜合起來(lái)，以獲得該場(chǎng)景更加準(zhǔn)確、全面和細(xì)致描述的一種圖像處理技術(shù)。它在計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)以及航空航天等領(lǐng)域中都有廣泛的應(yīng)用。圖像融合算法主要有基于空域的(加權(quán)平均、主元分析等)和基于變換域的(小波變換、Contourlet變換[1]等)。這些融合算法的優(yōu)點(diǎn)是速度快，但是容易丟失圖像的邊緣等細(xì)節(jié)信息，從而影響融合圖像的清晰度。

稀疏表示(Sparse representation，SR) 算法作為一種有效的表示模型，克服了以上問(wèn)題得到較理想的融合效果，成為近年來(lái)的研究熱門(mén)。Yang B[2]提出一種基于過(guò)完備字典稀疏表示的圖像融合算法，利用DCT字典建立稀疏分解模型，但DCT字典的適應(yīng)性不強(qiáng)，運(yùn)算復(fù)雜度高；陳垚佳[3]提出從待融合圖像中隨機(jī)抽取訓(xùn)練樣本集，采用K-SVD法對(duì)樣本集訓(xùn)練得到過(guò)完備字典，相比DCT字典能夠更接近待融合圖像特征，但是待融合圖像本身存在信息缺失的問(wèn)題，容易導(dǎo)致字典出現(xiàn)信息缺損；余南南[4]利用K-SVD法對(duì)圖像庫(kù)構(gòu)成的樣本集進(jìn)行訓(xùn)練得到K-SVD字典，能更好表示圖像特征，適應(yīng)性強(qiáng)，并根據(jù)稀疏系數(shù)非零性分離相似特征和相異特征分別進(jìn)行融合，以提高融合圖像中相異特征的清晰度。雖然這些算法在字典訓(xùn)練上都有所改進(jìn)，但是單一字典容易忽略圖像的局部特征，不能有效表示圖像塊結(jié)構(gòu)特性的差異。

針對(duì)這一問(wèn)題，提出了一種基于塊分類(lèi)稀疏表示的圖像融合算法。它將圖像的子塊劃分為平滑、邊緣和紋理3種結(jié)構(gòu)。對(duì)于具有明顯邊緣和紋理的圖像塊，分別訓(xùn)練各自的字典進(jìn)行稀疏表示，以獲取更加精確的稀疏系數(shù)。平滑塊直接利用算術(shù)平均法進(jìn)行融合，減少了運(yùn)算復(fù)雜度；邊緣和紋理結(jié)構(gòu)通過(guò)分類(lèi)稀疏表示的方法進(jìn)行融合，并對(duì)邊緣結(jié)構(gòu)稀疏表示中的殘余量進(jìn)一步采用小波變換進(jìn)行融合，保證了信息的完整性。實(shí)驗(yàn)結(jié)果證明， 本文算法在融合圖像的主觀評(píng)價(jià)和客觀評(píng)價(jià)指標(biāo)上均有顯著改進(jìn)， 并且算法速度也有提高。

1 基于稀疏表示的圖像融合算法

稀疏表示的理論描述如下，假設(shè)D=[d1,d2,…,dN]∈RK×N為一個(gè)過(guò)完備集，對(duì)于給定的觀測(cè)信號(hào)x，可通過(guò)字典中原子的線(xiàn)性組合來(lái)表示，即對(duì)任意的x∈Γ，存在s∈RN，使得x=Ds。稀疏表示的一般描述為求解式(1)

(1)

式中：ε為誤差值?；谙∈璞硎镜膱D像融合算法，其本質(zhì)為待融合圖像基于過(guò)完備字典對(duì)每一個(gè)像素域進(jìn)行稀疏表示再融合、重構(gòu)的方法[5-7]。其框架如圖1所示，方法步驟如下：

1)將嚴(yán)格配準(zhǔn)的待融合圖像歸一化，再進(jìn)行滑動(dòng)(sliding)分塊處理，并把每個(gè)圖像子塊像素拉直成一維列向量v，得到列向量矩陣V。

2)將每個(gè)子塊列向量v在冗余字典D上利用OMP進(jìn)行稀疏編碼，獲得稀疏系數(shù)a。

3)把對(duì)應(yīng)的稀疏系數(shù)a按照一定規(guī)則融合得到重構(gòu)系數(shù)A，再結(jié)合系數(shù)A與冗余字典D重構(gòu)出融合結(jié)果圖像。

圖1 基于稀疏表示的圖像融合算法的框架

基于稀疏表示的圖像融合相比傳統(tǒng)算法融合效果好，但單一字典的稀疏表示往往忽略了圖像的局部特征。針對(duì)這一問(wèn)題，提出了一種基于塊分類(lèi)稀疏表示的圖像融合算法，它將圖像的子塊劃分為平滑、邊緣和紋理結(jié)構(gòu)三類(lèi)，對(duì)邊緣和紋理結(jié)構(gòu)分別訓(xùn)練相應(yīng)字典進(jìn)行稀疏表示。

2 基于塊分類(lèi)稀疏表示的圖像融合算法

2.1 塊分類(lèi)

根據(jù)待融合圖像的局部結(jié)構(gòu)特性，對(duì)分塊得到的圖像子塊進(jìn)行分類(lèi)。圖像f可分為平滑結(jié)構(gòu)fs、邊緣結(jié)構(gòu)fe和紋理結(jié)構(gòu)ft。分類(lèi)方式如下：

1)平滑結(jié)構(gòu)。根據(jù)圖像塊之間包含的圖像信息量不同，圖像子塊可分為平滑結(jié)構(gòu)和細(xì)節(jié)模型。檢測(cè)圖像的信息量高低，常用的測(cè)量函數(shù)有方差(Variance)、梯度(Gradient)、空間頻率(SF)以及改進(jìn)拉普拉斯能量和等。文獻(xiàn)[8]指出，在同等條件下，方差計(jì)算速度快且有較好效果，夠有效區(qū)分平滑結(jié)構(gòu)和細(xì)節(jié)結(jié)構(gòu)。方差d計(jì)算公式為

(2)

(3)

式中：dA和dB分別為待融合圖像A和B對(duì)應(yīng)位置子塊的方差值。

2)邊緣結(jié)構(gòu)和紋理結(jié)構(gòu)。經(jīng)過(guò)以上劃分，圖像塊分為平滑結(jié)構(gòu)和細(xì)節(jié)結(jié)構(gòu)。本文利用圖像子塊梯度場(chǎng)的指向性將細(xì)節(jié)結(jié)構(gòu)分為邊緣結(jié)構(gòu)和紋理結(jié)構(gòu)。通過(guò)對(duì)圖像塊梯度場(chǎng)奇異值分解(SVD)，估計(jì)圖像塊的局部方向性，其中指向一致性強(qiáng)的作為邊緣結(jié)構(gòu)，指向性弱的作為紋理結(jié)構(gòu)。

(4)

圖像塊梯度場(chǎng)主方向v是G最小奇異值所對(duì)應(yīng)的奇異分量。對(duì)G奇異值分解

G=UΔVT

(5)

式中：V是2×2的正交矩陣，第一列v1代表圖像塊梯度場(chǎng)的主方向；矩陣Δ大小為M×2?？傻肎的奇異值為s1和s2，s1代表梯度場(chǎng)主方向上的能量，s2代表與梯度場(chǎng)主方向正交方向上的能量。

設(shè)定參數(shù)c判定邊緣，則c為

(6)

根據(jù)上式計(jì)算細(xì)節(jié)結(jié)構(gòu)中每個(gè)圖像塊的c，設(shè)定閾值，μ2若待融合圖像對(duì)應(yīng)位置子塊的c值都小于等于μ2，則為紋理結(jié)構(gòu)ft；否則子塊為邊緣結(jié)構(gòu)fe。

(7)

式中：cA和cB分別為待融合圖像A和B對(duì)應(yīng)位置子塊的c值。

2.2 基于塊分類(lèi)的字典訓(xùn)練

基于塊分類(lèi)稀疏表示的圖像融合選擇K-SVD法訓(xùn)練字典，訓(xùn)練可離線(xiàn)操作。字典訓(xùn)練過(guò)程為先將待訓(xùn)練樣本進(jìn)行分類(lèi)，然后對(duì)邊緣結(jié)構(gòu)和紋理結(jié)構(gòu)塊分別進(jìn)行訓(xùn)練。

首先，從標(biāo)準(zhǔn)圖像庫(kù)中隨機(jī)選取N個(gè)n×n大小的待訓(xùn)練圖像塊，根據(jù)圖像塊的方差d和選取的閾值μ1區(qū)分出平滑結(jié)構(gòu)塊和細(xì)節(jié)結(jié)構(gòu)塊。

其次，利用式(4)～(7)將細(xì)節(jié)結(jié)構(gòu)塊區(qū)分為邊緣結(jié)構(gòu)和紋理結(jié)構(gòu)。其邊緣結(jié)構(gòu)塊構(gòu)成訓(xùn)練樣本集Xe，紋理結(jié)構(gòu)塊構(gòu)成訓(xùn)練樣本集Xt。

最后，利用K-SVD算法對(duì)樣本集Xe和Xt分別訓(xùn)練出邊緣結(jié)構(gòu)fe和紋理結(jié)構(gòu)ft對(duì)應(yīng)的冗余字典。設(shè)定稀疏度為T(mén)，冗余字典中原子數(shù)為R，稀疏系數(shù)為θ={θi}，通過(guò)迭代解決如下優(yōu)化問(wèn)題

(8)

對(duì)DCT字典通過(guò)以上方法訓(xùn)練，可得到自適應(yīng)邊緣、紋理冗余字典。相對(duì)于單一字典該方法改進(jìn)了原字典的結(jié)構(gòu)，能夠獲得更有效反映圖像局部結(jié)構(gòu)特性的冗余字典。

2.3 圖像融合

平滑結(jié)構(gòu)fs包含的信息量少，像素值變化平緩，用算術(shù)加權(quán)平均法進(jìn)行融合就能有較好的效果，且算法簡(jiǎn)單，可減少運(yùn)算復(fù)雜度。權(quán)系數(shù)選取ω1=ω2=0.5。

邊緣結(jié)構(gòu)fe和紋理結(jié)構(gòu)ft利用各自訓(xùn)練的冗余字典進(jìn)行稀疏表示的圖像融合。結(jié)構(gòu)塊利用OMP算法獲得相對(duì)應(yīng)的系數(shù)αA和αB。融合規(guī)則為選取稀疏度較低的系數(shù)a，當(dāng)稀疏度一致時(shí)，則用l1范數(shù)進(jìn)行系數(shù)選取。如式(9)所示

(9)

在稀疏編碼中，OMP求解式(1)是一種循環(huán)逼近的算法，殘余量衰減到一定程度就會(huì)很難搜索到與殘余量相匹配的原子，因此衰減后的殘余量會(huì)引起部分源圖像信息的丟失，從而影響融合效果。本文算法對(duì)邊緣結(jié)構(gòu)稀疏表示的OMP殘余量進(jìn)行了小波變換融合，再將融合的殘余量加到融合圖像中。殘余量r為

(10)

可得到殘余矩陣RA和RB。先對(duì)殘余矩陣進(jìn)行小波分解，再采取高頻系數(shù)絕對(duì)值取大和低頻系數(shù)算術(shù)平均的融合規(guī)則，最后通過(guò)逆小波變換得到融合的殘余量R。

基于塊分類(lèi)稀疏表示的圖像融合算法步驟流程如圖2所示。

圖2 基于塊分類(lèi)稀疏表示的圖像融合算法框圖

步驟1，分塊。對(duì)源圖像A，B進(jìn)行n×n大小的滑動(dòng)分塊，分別得到(N+n-1)×(M+n-1)個(gè)圖像子塊。

步驟2，塊分類(lèi)。利用對(duì)應(yīng)子塊的方差d區(qū)分平滑結(jié)構(gòu)塊和細(xì)節(jié)結(jié)構(gòu)塊，d都小于等于閾值μ1的子塊屬于平滑結(jié)構(gòu)，否則為細(xì)節(jié)結(jié)構(gòu)；計(jì)算出各細(xì)節(jié)結(jié)構(gòu)塊的c值，若都小于等于閾值μ2，屬于紋理結(jié)構(gòu)，反之屬于邊緣結(jié)構(gòu)。

步驟3，融合。平滑結(jié)構(gòu)采用算術(shù)加權(quán)融合算法；邊緣結(jié)構(gòu)和紋理結(jié)構(gòu)分別訓(xùn)練出各自的K-SVD字典，采用稀疏表示算法進(jìn)行融合，融合規(guī)則為系數(shù)稀疏度和l1范數(shù)組合取大的原則，并且將邊緣結(jié)構(gòu)稀疏表示的殘余量進(jìn)行小波變換融合后，再加到邊緣融合圖像中。

步驟4，重構(gòu)。3種模型的融合圖像相結(jié)合，再除以每個(gè)位置像素值疊加的次數(shù)，最終獲得融合結(jié)果圖像F。

3 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)采用的4組圖像如圖3所示，分別取大小為256×256的多聚焦圖像、醫(yī)學(xué)圖像和紅外圖像。待融合圖像圖3a、圖3e和圖3b、圖3f表示左清晰和右清晰的多聚焦圖像；圖3c、圖3g表示可見(jiàn)光圖像和紅外圖像；圖3d、圖3h表示不同模態(tài)的CT和MRI醫(yī)學(xué)圖像。實(shí)驗(yàn)將本文算法分別與小波變換法(DWT)、Contourlet變換法、稀疏表示法(SR)進(jìn)行對(duì)比。實(shí)驗(yàn)用MATLAB R2012a編程，在2 Gbyte內(nèi)存的Windows7系統(tǒng)上實(shí)現(xiàn)。

圖3 源圖像

本文算法需對(duì)源圖像進(jìn)行塊分類(lèi)。文獻(xiàn)[4]指出隨著圖像分塊的增大，融合圖像的全局誤差會(huì)減少，因此4×4和 6×6 分塊會(huì)影響圖像全局信息使得融合指標(biāo)降低。而16×16分塊過(guò)大不僅字典維數(shù)變大運(yùn)算復(fù)雜量變大，且不利于子塊局部特征的分割，融合效果不佳。8×8分塊相對(duì)保存更多的圖像信息，融合效果更好。綜上所述，本文算法選擇8×8分塊。

在實(shí)驗(yàn)中，本文算法取μ1=13，μ2=0.75。SR采取8×8分塊，選擇K-SVD字典，融合規(guī)則為系數(shù)稀疏度和l1范數(shù)組合取大原則。Contourlet變換法采用5層分解，融合規(guī)則為低頻系數(shù)采用算術(shù)平均，高頻系數(shù)采用絕對(duì)值取大。DWT的融合規(guī)則為低頻系數(shù)選用加權(quán)平均，高頻系數(shù)選用絕對(duì)值取大進(jìn)行融合。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 融合實(shí)驗(yàn)結(jié)果圖

從主觀上評(píng)價(jià)融合結(jié)果圖像，圖4a和圖4b中明顯其字母和數(shù)字都比較模糊，說(shuō)明DWT的多聚焦融合圖像會(huì)缺失圖像信息；圖4c對(duì)比度低，很難分辨紅外圖像中有效信息；圖4d的醫(yī)學(xué)融合圖像也出現(xiàn)了對(duì)比度低和不清晰的現(xiàn)象。圖4e和圖4f在字母和鬧鐘的邊緣出現(xiàn)了嚴(yán)重的虛影現(xiàn)象，這些虛影是Contourlet變換法在分解圖像中進(jìn)行下采樣引起的；SR和本文方法的融合圖像在清晰度和對(duì)比度上都明顯優(yōu)于前兩種方法。為了更好評(píng)價(jià)兩者，對(duì)SR和本文方法的融合圖像中矩形框的內(nèi)容進(jìn)行放大，如圖5所示。

圖5 融合結(jié)果的局部放大圖

從局部放大圖可以看出圖5e和圖5f中字母和數(shù)字比圖5a和圖5b更加清晰。在圖5c中左上角的輪胎明顯沒(méi)有圖5g清晰，并且在融合圖4k中圖像下部分有出現(xiàn)“霧氣”現(xiàn)象，融合效果不佳。圖5h相對(duì)5d有更良好的內(nèi)臟紋理信息。由此說(shuō)明本文方法相對(duì)SR保存了更多圖像信息，融合效果更好。

實(shí)驗(yàn)結(jié)果分析采用主觀評(píng)價(jià)和客觀評(píng)價(jià)，客觀評(píng)價(jià)包括了相關(guān)系數(shù)(MI)、空間頻率(SF)、平均梯度(AG)[10]的指標(biāo)。其中MI越大，說(shuō)明結(jié)果圖與源圖像相關(guān)性越大，而SF和AG指標(biāo)值越高，說(shuō)明圖像越清晰，包含的圖像信息越多。

表1給出了4組融合結(jié)果圖像的客觀指標(biāo)。從表1的Pepsi實(shí)驗(yàn)數(shù)據(jù)中，SR和本文算法的指標(biāo)均明顯超越了DWT和CT，融合的質(zhì)量有改善，本文算法比SR的性能指標(biāo)又有顯著提高。在Clock實(shí)驗(yàn)數(shù)據(jù)中，可以看出CT的融合效果最差，DWT和SR的性能指標(biāo)稍好，本文算法的性能相比于傳統(tǒng)方法有明顯改進(jìn)。而Gun和Med的實(shí)驗(yàn)數(shù)據(jù)中，SR和本文方法的指標(biāo)具有壓倒性的優(yōu)勢(shì)，本文算法相對(duì)SR性能指標(biāo)有所提高。由此可見(jiàn)，本文算法的融合效果很理想。

表1 評(píng)價(jià)指標(biāo)的比較

客觀指標(biāo)圖像DWTCTSR本文算法MIPepsi70886622567379076862Clock70447608737365474907Gun15014116671788525043Med30365145333911539682SFPepsi138220140968167592191302Clock143423105948141834145656Gun4642146648186512212281Med7871399561163120172327AGPepsi51910577626101469847Clock59991435235877260324Gun266932555797649117726Med29348383376563068527

表2給出了傳統(tǒng)稀疏算法和本文算法在同樣實(shí)驗(yàn)環(huán)境下分別對(duì)圖2中4組圖像進(jìn)行融合的執(zhí)行時(shí)間比較。實(shí)驗(yàn)中本文算法和SR都采取8×8的滑動(dòng)分塊方式，選擇K-SVD字典和OMP進(jìn)行稀疏編碼，并選用相同的融合規(guī)則。Pepsi實(shí)驗(yàn)中，稀疏算法運(yùn)行時(shí)間為1 260 s，本文算法運(yùn)行時(shí)間為928 s。在2個(gè)多聚焦圖像實(shí)驗(yàn)中，本文算法相對(duì)傳統(tǒng)稀疏算法均縮短了近1/4的時(shí)間；Clock實(shí)驗(yàn)中，稀疏算法耗費(fèi)了 1 288 s， 本文算法耗費(fèi)985 s。在紅外圖像Gun實(shí)驗(yàn)中，稀疏算法運(yùn)行 1 041 s， 本文算法的時(shí)間縮短了近3/5。在醫(yī)學(xué)圖像Med實(shí)驗(yàn)中，稀疏算法耗費(fèi)716 s，本文算法縮短了近1/4的時(shí)間。由此可見(jiàn)，本文算法確實(shí)有效地加快了融合速度。

表2 實(shí)驗(yàn)時(shí)間數(shù)據(jù)

s

算法PepsiClockGunMedSR126005712882441041266716321本文算法928881985393415174544841

4 結(jié)束語(yǔ)

本文提出了一種基于塊分類(lèi)稀疏表示的圖像融合算法，根據(jù)圖像局部特性將其分為平滑結(jié)構(gòu)和細(xì)節(jié)結(jié)構(gòu)，并將細(xì)節(jié)再劃分為方向一致性強(qiáng)的邊緣結(jié)構(gòu)和方向不規(guī)則的紋理結(jié)構(gòu)。其平滑結(jié)構(gòu)采用算術(shù)平均融合算法，邊緣和紋理結(jié)構(gòu)采用多字典的稀疏表示融合算法，并對(duì)邊緣結(jié)構(gòu)稀疏表示中的殘余量采用小波變換融合算法。實(shí)驗(yàn)結(jié)果表明，該算法的融合效果有顯著改善，并且算法速度也有提高，使得圖像融合技術(shù)能夠在軍事、工業(yè)、交通等領(lǐng)域中得到更好的實(shí)際應(yīng)用。

[1] WANG W， CHANG F， JI T. Fusion of multi-focus images based on the 2-generation curvelet transform[J]. International Journal of Digital Content Technology and Its Applications， 2011， 5(1)：33-42.

[2] BIN Yang， LI Shutao. Multifocus image fusion and restoration with sparse representation[J]. IEEE Trans. Instrumentation and Measurement，2010， 59(4)：884-892.

[3] 陳垚佳，張永平，田建艷.基于分塊過(guò)完備稀疏表示的多聚焦圖像融合[J].電視技術(shù)，2012，36(13)：48-51.

[4] 余南南，邱天爽.稀疏表示的自適應(yīng)遙感圖像融合算法[J].信號(hào)處理，2013，29(6)：663-667.

[5] BIN Yang，LI Shutao. Pixel-level image fusion with simulta- neous orthogonal matching pursuit[J]. Information Fusion， 2012，13(1)：10-19.

[6] LI Shutao，YIN Haitao，F(xiàn)ANG Leyuan. Remote sensing image fusion via sparse representations over learned dictionaries[J]. IEEE Trans. Geoscience and Remote Sensing， 2013， 51(9)： 4779-4789.

[7] JIANG C， ZHANG H， SHEN H， et al. Two-step sparse coding for the pan-sharpening of remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2014， 7(5)：1792-1805.

[8] 練秋生，張偉.基于圖像塊分類(lèi)稀疏表示的超分辨率重構(gòu)算法[J].電子學(xué)報(bào)，2012，40(5)：920-925.

[9] 翟雪含，朱衛(wèi)平，康彬.結(jié)合KSVD和分類(lèi)稀疏表示的圖像壓縮感知[J].計(jì)算機(jī)工程與應(yīng)用，2015(6)：193-198.

[10]QU G， ZHANG D， YAN P. Information measure for performance of image fusion[J]. Electronics Letters， 2002， 38(7)： 313-315.

陳利霞(1979— )，女，博士，副教授，研究方向?yàn)閿?shù)字圖像處理、小波、偏微分方程及應(yīng)用；

李 子(1990— )，女，碩士生，研究方向?yàn)閳D像融合、稀疏表示；

袁 華(1975— )，碩士，講師，研究方向?yàn)閳D像處理、智能信號(hào)處理，本文通訊作者；

歐陽(yáng)寧(1972— )，碩士，教授，研究領(lǐng)域包括智能圖像處理、智能信息處理、數(shù)據(jù)融合、計(jì)算機(jī)應(yīng)用等。

責(zé)任編輯：時(shí) 雯

Image Fusion Algorithms Based on Sparse Representation of Classified Image Patches

CHEN Lixiaa，b，c，LI Zid，YUAN Huad，OUYANG Ningd

(a.GuangxiCollegesandUniversitiesKeyLaboratoryofIntelligentProcessingofComputerImagesandGraphics；b.SchoolofMathematicsandComputingScience；c.GuangxiKeyLaboratoryofCryptographyandInformationSecurity；d.SchoolofInformationandCommunication，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004，China)

To solve the problem of the fusion algorithm based on sparse representation ignores the local characteristics of the image， an algorithm based on sparse representation of classified image patches is proposed in this paper. In this method， image patches are divided into the smooth， the edge and the texture categories according to local features of the image. The edge and texture structure patches are applied into training the corresponding redundant dictionary. During the fusion process， arithmetic average approach is used for smooth structure patches while edge and texture structure patches are fused by sparse representation algorithm using their corresponding dictionary， and the residual images of the sparse edge structure are fused by a wavelet fusion method. Experiment results show that the proposed algorithm significantly improves the subjective performance and objective performance indexes of fused image and has faster speed than other single dictionary methods.

patch classification；sparse representation； image fusion

國(guó)家自然科學(xué)基金項(xiàng)目(61362021)；廣西自然科學(xué)基金項(xiàng)目(2013GXNSFDA019030；2013GXNSFAA019331；2012GXNSFBA053014；2012GXNSFAA053231；2014GXNSFDA118035)；廣西科技開(kāi)發(fā)項(xiàng)目(桂科攻1348020-6；桂科能1298025-7)；廣西教育廳項(xiàng)目(201202ZD044；2013YB091)；廣西高校圖像圖形智能處理重點(diǎn)實(shí)驗(yàn)室資助項(xiàng)目(GIIP201408)；桂林市科技攻關(guān)項(xiàng)目(20130105-6；20140103-5)；桂林電子科技大學(xué)研究生教育創(chuàng)新計(jì)劃資助項(xiàng)目(GDYCSZ201462)

TN911.73

A

10.16280/j.videoe.2015.17.005

2014-12-25

【本文獻(xiàn)信息】陳利霞，李子，袁華，等.基于塊分類(lèi)稀疏表示的圖像融合算法[J].電視技術(shù),2015，39(17).

驗(yàn)結(jié)果證明，該算法相對(duì)于單一字典稀疏表示算法，在融合圖像的主觀評(píng)價(jià)和客觀評(píng)價(jià)指標(biāo)上都有顯著改進(jìn)，并且算法速度也有提高。