鄒佳彬，孫 偉

(中國礦業(yè)大學 信息與控制工程學院，江蘇 徐州 221008)

0 引言

光學傳感器通常無法獲取同一場景內(nèi)不同景深的多個目標都清晰的圖像，常用的解決方法是借助多個傳感器一次成像或單個傳感器多次成像得到聚焦在不同區(qū)域的多幅圖像[1]。多幅圖像之間往往存在著大量的冗余信息，不利于圖像的分析與處理，因此，多聚焦圖像融合方法得到了廣泛的研究，它將不同景深的多幅圖像進行融合，降低圖像間信息的冗余度，得到便于后續(xù)處理的清晰圖像。目前，應用于多聚焦圖像融合的算法很多?；诙喑叨确治龅膱D像融合技術，模擬了人類視覺系統(tǒng)由“粗”及“細”感知物體的方式，可以得到較好的融合結(jié)果，所以基于多尺度分析的圖像融合技術一直成為圖像融合領域的研究熱點。圖像經(jīng)多尺度變換分解后，能夠針對多方向、多尺度層采取不同融合策略，突出重要的細節(jié)特征信息，獲得更好的融合效果。小波變換作為一種圖像多尺度分解的工具，因具有良好的時域和頻域局部特性以及多分辨率特性，而在圖像融合領域中得到了廣泛應用[2]。隨著小波變換相關理論的不斷成熟，傳統(tǒng)小波變換的缺陷如平移變性和較少的方向選擇性等隨之展現(xiàn)出來。于是Sweldens等[3]致力于研究具有更高性能的多尺度變換工具，提出了第二代提升小波變換，主要是關于張量積小波的提升方式。然而，傳統(tǒng)提升小波變換仍具有部分缺點如不具有平移不變性，在融合圖像時容易產(chǎn)生偽吉布斯現(xiàn)象[4]，使融合圖像失真嚴重。因此本文采用文獻[5]提出的提升靜態(tài)小波變換(Lifting Stationary Wavelet Transform, LSWT)作為多尺度變換工具，克服了傳統(tǒng)小波變換的平移變性等缺陷，得到具有平移不變性的多尺度變換圖像。

基于多尺度變換的圖像融合算法中，融合規(guī)則的選擇和設計決定了融合圖像質(zhì)量，因為圖像經(jīng)多尺度變換可分解為低頻部分和高頻部分，而圖像的高頻部分由于分解層數(shù)的不同而存在著不同的尺度，針對高低頻子帶各自的物理特征，分別設計高頻子帶和低頻子帶的融合規(guī)則。通常情況下，低頻子帶包含了源圖像的主要能量，可以看成是源圖像的近似信息，系數(shù)的選擇大多采用直接平均法，該方法雖然簡單，但在一定程度上降低了圖像的對比度，以及未考慮到人眼的視覺特征，從而使源圖像中的部分有用信息丟失；高頻子帶包含圖像的邊緣、輪廓等大多數(shù)細節(jié)信息，通常系數(shù)的選擇方案直接作用于高頻子帶系數(shù)，沒有考慮到局部區(qū)域里像素間的相關性，紋理細節(jié)得不到較好的保留。

近些年來，由于稀疏表示模型可以高效地提取源圖像的潛在信息，基于稀疏表示的圖像融合方法得到了十分廣泛的研究及應用。文獻[6]將基于稀疏表示的融合方法直接應用于灰度圖像，并研究了過完備字典對圖像融合質(zhì)量的影響；文獻[7]將稀疏模型與多尺度變換相結(jié)合，較好地解決了稀疏表示模型對圖像高頻子帶系數(shù)不能完好逼近的問題；文獻[8]提出了結(jié)合非下采樣輪廓波變換(Non-Subsampled Contourlet Transform, NSCT)與稀疏表示的多聚焦圖像融合方法，一定程度上克服了傳統(tǒng)稀疏表示方法容易造成圖像邊緣、紋理等細節(jié)趨于平滑的缺陷。隨著稀疏表示的深入研究，聯(lián)合稀疏表示(Joint Sparse Representation, JSR)模型被Baron等[9]提出，文獻[9]展現(xiàn)了三種聯(lián)合稀疏模型(Joint Sparsity Model, JSM)來描述信號之間的相關性，分別為JSM1、JSM2與JSM3。模型指出: 所有信號之間具有相關性，即具有相同的公共稀疏部分與各信號獨有的稀疏部分。肖新耀等[10]提出一種基于àtrous小波和聯(lián)合稀疏表示的遙感圖像融合方法；Li等[11]提出了聯(lián)合稀疏表示的多聚焦圖像融合方法；宗靜靜等[12]提出了聯(lián)合稀疏表示的醫(yī)學圖像融合及同步去噪算法。上述基于聯(lián)合稀疏表示模型的融合算法充分地利用圖像間的相關性，所得融合圖像的亮度、對比度較高，圖像紋理細節(jié)相對清晰，源圖像清晰部分特征得到較好的保留，但融合圖像中仍存在一定的塊狀效應影響。

通常稀疏表示模型是將原始圖像先分塊，然后將圖像塊按列向量形式排列成矩陣，利用過完備字典進行稀疏求解；然而當基于塊的稀疏表示模型中采用圖像塊作為基本單元時，每個圖像塊在字典學習與稀疏編碼的過程中相互獨立，忽略了相似塊間的聯(lián)系，往往得到的稀疏系數(shù)不夠準確，同時字典訓練中計算復雜度較高。針對這種情況，Zhang等[13]指出根據(jù)圖像本身具有的非局部相似性，即相似圖像塊的像素值與結(jié)構大致相同，采用相似性結(jié)構組為基本單元，對結(jié)構組進行稀疏表示可以得到較好的處理結(jié)果。研究表明結(jié)構組稀疏表示比傳統(tǒng)的基于圖像塊的稀疏表示模型計算速度快，塊狀效應減少，同時圖像重構以及降噪方面效果更加顯著。近年來，圖像的非局部相似性在壓縮感知以及圖像融合方面得到了廣泛的應用。李祥燦[14]利用結(jié)構組稀疏表示研究了自然圖像超分辨率重建算法；張曉等[15]提出基于結(jié)構組稀疏表示的遙感圖像融合算法，將表征圖像結(jié)構相似性的結(jié)構組概念應用到稀疏表示的圖像融合算法中，將結(jié)構組作為字典與稀疏求解的基本單位，在結(jié)構組內(nèi)采用奇異值分解方法學習組稀疏系數(shù)，采用通用分量替換融合框架進行圖像融合，取得了較好的融合效果。

綜上所述，利用多尺度變換在圖像融合中的優(yōu)勢，本文選擇提升靜態(tài)小波變換(LSWT)作為多尺度變換工具，針對LSWT分解得到的高低頻子帶的各自特征選擇不同的融合方案。融合圖像低頻子帶系數(shù)時，由于低頻子帶稀疏性較差，傳統(tǒng)基于圖像塊的稀疏表示模型在圖像融合中容易產(chǎn)生塊效應影響，字典建立復雜度高，因此，根據(jù)圖像本身具有的非局部相似性，選擇結(jié)構組作為字典和稀疏求解基本單位；同時考慮到聯(lián)合稀疏表示模型能夠充分利用低頻子帶圖像之間的關聯(lián)性并可用較少的系數(shù)精確表示圖像特征，本文用結(jié)構組代替聯(lián)合稀疏表示中的圖像塊作為字典和稀疏求解基本單位，得到聯(lián)合結(jié)構組稀疏表示模型來指導融合，提高計算速度，增強降噪效果，降低塊效應影響，使清晰部分得到更好的保留。LSWT分解得到的高頻子帶稀疏性較好，并且能夠體現(xiàn)圖像不同方向、不同角度的紋理等細節(jié)特征，因此低頻子帶融合規(guī)則不適用于高頻子帶。高頻子帶圖像可看成是由許多的像素點構成，僅憑單個像素點不能清楚地表示出圖像紋理等細節(jié)，需要區(qū)域內(nèi)的像素點共同體現(xiàn)，又考慮到拉普拉斯能量和在融合高頻系數(shù)時表現(xiàn)出的高效性，能包含大部分的細節(jié)信息，因此，采用方向區(qū)域拉普拉斯能量和與匹配度相結(jié)合的自適應融合算法指導融合。本文算法流程如圖1所示。

圖1 本文算法流程 Fig. 1 Flow chart of the proposed algorithm

1 提升靜態(tài)小波變換

為克服傳統(tǒng)小波變換以及第二代提升小波變換存在的不足，本文采用LSWT作為多尺度變換工具。通過在傳統(tǒng)提升小波變換的基礎上取消奇偶分裂環(huán)節(jié)并在相應濾波器系數(shù)間插入一定個數(shù)的零來實現(xiàn)濾波器的延拓，便能得到具有平移不變性的提升靜態(tài)小波變換[4]。其分解與重構過程如圖2所示。

圖2 提升靜態(tài)小波分解與重構圖 Fig. 2 LSWT decomposition and recomposition diagram

圖2中：rl+1與tl+1分別為輸入信號rl經(jīng)LSWT第l+1層分解得到的低頻與高頻子帶系數(shù)；pl+1與ul+1為LSWT的預測與更新濾波器系數(shù)，表示如下：

(1)

(2)

其中：pi(i=0,1,…,I-1)與uj(j=0,1,…,J-1)分別為原提升小波變換的預測與更新濾波器系數(shù)；I、J分別為原預測算子p和更新算子u的系數(shù)個數(shù)。

2 聯(lián)合結(jié)構組稀疏表示

2.1 結(jié)構組的構建

稀疏表示以壓縮傳感理論為基礎。稀疏表示的基本模型是用字典中少量原子的線性組合來描述信號，即大部分原子的系數(shù)絕對值都為零，只有少數(shù)原子的系數(shù)非零，圖像信息越稀疏，稀疏表示就越準確[10]。傳統(tǒng)基于圖像塊的稀疏表示模型通常對不同的圖像塊分別進行稀疏表示，例如傳統(tǒng)圖像編碼中采用的分塊離散余弦變換，然而字典訓練與稀疏優(yōu)化求解的過程比較復雜，計算量大以及耗時長。近年來，圖像的結(jié)構稀疏性或組稀疏性得到了廣泛的應用。

為了提高圖像處理的運行效率，通常需要對圖像的每一個結(jié)構組進行最佳稀疏表示，得到自適應于每一個結(jié)構組Vyk的最佳稀疏表示字典Dyk。

2.2 聯(lián)合稀疏表示

分布式壓縮感知(Distributed Compressed Sensing, DCS)由Baron等[9]于2009年提出，聯(lián)合稀疏表示模型來源于分布式壓縮感知理論，是其核心內(nèi)容。Baron等[9]提出了3種不同的聯(lián)合稀疏表示模型，在聯(lián)合稀疏表示模型JSM1中，Z={z1,z2，…,zF}表示F信號所組成的信號集合，其中zi∈Rn，假設給定的過完備字典為D∈Rn×m(n

zi=Dac+Dai+ni；i=1,2，…，n

(3)

其中：ac∈Rm與ai∈Rm分別為所有信號的公共稀疏系數(shù)和各自的獨立稀疏系數(shù)，Dac和Dai分別表示所有信號的公共信息部分和各自的獨立信息部分，ni表示信號噪聲。

信號整體的聯(lián)合稀疏表示(JSR)如式(4)所示：

Z=DJSRA+n

(4)

結(jié)合稀疏表示理論，稀疏系數(shù)A可以通過求解下面的優(yōu)化問題得到，即:

(5)

優(yōu)化問題式(5)是個無確定解析式的困難問題(Non-determined Polynomial hard, NP-hard)[16]，無法直接求解，很多逼近算法能夠有效地逼近最優(yōu)解?？紤]到正交匹配追蹤(Orthogonal Matching Pursuit, OMP)算法的快速特點，文獻[17]提出了正則的OMP——正則化正交匹配追蹤(Regularized Orthogonal Matching Pursuit, ROMP)稀疏分解算法，ROMP稀疏分解算法屬于貪婪系列，可較好地克服基追蹤(Basis Pursuit, BP)的高復雜度與OMP的低精度問題。

2.3 聯(lián)合結(jié)構組稀疏表示框架

假設X={x1,x2} 表示2幅圖像所組成的信號集合，x1,2∈RM×N，結(jié)構組聯(lián)合稀疏表示框架表示如下：

3)聯(lián)合結(jié)構組矩陣Vxk中信號整體的聯(lián)合稀疏如下所示：

Vxk=DxkJSRAxk+nxk

(6)

結(jié)合稀疏表示理論，稀疏系數(shù)Axk可以通過求解下面的優(yōu)化問題得到，即：

(7)

4)采用ROMP稀疏分解算法求解上述優(yōu)化問題，可得每個聯(lián)合結(jié)構組矩陣Vxk的稀疏系數(shù)Axk。

3 基于LSWT的多聚焦圖像融合框架

3.1 低頻子帶系數(shù)融合算法

LSWT得到的低頻子帯是圖像的近似描述，包含圖像的主要能量，但低頻子帶稀疏性較差。針對低頻子帶稀疏性較差這一缺點，考慮到聯(lián)合稀疏表示模型能夠充分利用低頻子帶圖像之間的關聯(lián)性以及結(jié)構組可以有效地表征圖像本身具有的非局部相似性，本文選擇聯(lián)合結(jié)構組稀疏表示模型來指導低頻子帶系數(shù)融合。低頻系數(shù)融合方法總體框架如下：

1)圖像LSWT分解。將兩幅源圖像進行LSWT分解(本文采用2層分解)，得到低頻子帶系數(shù)I1與I2。

(8)

5)重構。根據(jù)VFxk=DxkaFxk重構得到融合圖像第k個結(jié)構組矩陣VFxk，利用式(9)將每一個結(jié)構組放回到重建圖像的對應位置，并將全部結(jié)構組進行取均值處理，最終得到低頻子帶融合圖像I，其中./表示兩個向量之間對應元素進行除法的算子。

(9)

3.2 高頻子帶系數(shù)融合算法

源圖像經(jīng)LSWT分解后的高頻子帶中，高頻系數(shù)表示圖像細節(jié)的變化情況，直接地反映圖像的邊緣與紋理等細節(jié)信息分布情況。高頻系數(shù)值越大，代表著邊緣與紋理特征更加明顯，需要被更好地保留?？紤]到人類視覺系統(tǒng)特性,人眼對單個像素的灰度取值并不敏感，圖像清晰與否是由區(qū)域內(nèi)像素共同體現(xiàn)[18]，因此，本文采用了基于區(qū)域特征的融合規(guī)則。已知拉普拉斯能量和(Sum Modified-Laplacian, SML)能較好地反映圖像的邊緣化程度，可恰當?shù)孛枋鰣D像的灰度變化信息，進而反映空間細節(jié)，增強圖像可分辨性，相對于圖像的空間頻率、方差、以及圖像的區(qū)域能量等，SML 在融合圖像時處理高頻子帶系數(shù)表現(xiàn)出明顯的優(yōu)越性[19]，同時考慮到高頻系數(shù)呈現(xiàn)明顯的方向特性，因此將方向區(qū)域拉普拉斯能量和作為區(qū)域特征用于圖像融合中。

如果用fd,l(x,y)表示源圖像位于(x,y)處d(d為LSWT分解得到3個方向)方向，l(l=1,2,…，L)尺度高頻子帶細節(jié)系數(shù)，則待融合圖像高頻子帶各元素的拉普拉斯算子MLd,l以及方向區(qū)域拉普拉斯算子能量和(DRSMLd,l)表示如下：

MLd,l(x,y)=|2fd,l(x,y)-fd,l(x-step,y)-

fd,l(x+step,y)|+|2fd,l(x,y)-fd,l(x,y-step)-

fd,l(x,y+step)|

(10)

(11)

兩幅圖像A與B的高頻子帶中對應元素的相關方向區(qū)域拉普拉斯能量和為：

(12)

其中：step表示系數(shù)間的可變距離，本文取step=1；Wd為窗口函數(shù)；a×b為窗口大小(例如3×3、5×5或7×7)。經(jīng)LSWT分解后的各高頻子帶系數(shù)的分布呈現(xiàn)出明顯的方向特征，分別表現(xiàn)為水平、垂直和對角方向，如果選用統(tǒng)一的窗口函數(shù)，則突顯不出區(qū)域的方向特性。據(jù)此可以對高頻子帶選取各自相關性較強的方向區(qū)域，而不使用統(tǒng)一區(qū)域模板，增強區(qū)域方向相關性[20]?？紤]到高頻子帶系數(shù)變化比較劇烈，窗函數(shù)在處理鄰域像素時應能夠突出中心像素的作用，因而本文選取中心數(shù)值較大、周圍數(shù)值較小的窗函數(shù)。綜上所述，本文方向區(qū)域窗口模板Wd(a,b)如圖3所示，利用不同方向區(qū)域窗口模板生成各個高頻子帶的方向區(qū)域拉普拉斯能量和。

圖3 方向區(qū)域窗口模板 Fig. 3 Window template of directional region

計算兩幅圖像A，B中高頻子帶系數(shù)的區(qū)域匹配度為：

(13)

Td,lA,B反映了兩幅圖像位置(x,y)處d方向，l尺度高頻子帶區(qū)域能量的近似程度。當A、B比較接近時，Td,lA,B趨向于1；而當A、B差別很大時，Td,lA,B趨向0。本文加權融合規(guī)如下：

fd,lZ(x,y)=ωA(x,y)fd,lA(x,y)+ωB(x,y)fd,lB(x,y)

(14)

ωB(x,y)=1-ωA(x,y)；ωA(x,y)=

(15)

考慮到式中Td,lA,B為與T有關的閾值,定義自適應閾值T如下：

T=0.5*(max(Td,lA,B)+min(Td,lA,B))

(16)

當Td,lA,B≥T，表明兩幅圖像A、B差別較小，相關程度高，因此根據(jù)方向區(qū)域拉普拉斯能量和大小確定自適應因子進行圖像加權融合；當Td,lA,B

4 實驗結(jié)果分析

本文選取多聚焦圖像clock、pepsi、lab作為實驗對象。圖4(a)與圖4(b)分別是已配準的左聚焦clock圖像與右聚焦clock圖像，已配準的左聚焦pepsi圖像與右聚焦pepsi圖像，圖4(c)為存在配準誤差的左聚焦lab圖像與右聚焦lab圖像(學生頭部存在配準誤差)。實驗中采用LSWT對圖像進行分解與重構，分解層數(shù)為2，區(qū)域模板大小為3×3，實驗源圖像如圖4所示。所有實驗都是在Matlab R2008a平臺上進行，硬件條件為英特爾雙核CPU、頻率3 GHz、內(nèi)存2 GB。

圖4 實驗選用的多聚焦源圖像 Fig. 4 Multi-focus source images for experiment

為驗證本文改進算法的有效性，本文與其他4種算法進行實驗對比。算法1和算法2采用基于小波變換與提升靜態(tài)小波變換作為多尺度變換工具，低頻系數(shù)加權平均、高頻系數(shù)模值取大的融合算法，算法3采用文獻[7]提出的基于多尺度變換和稀疏表示的圖像融合方案；算法4采用文獻[10]提出的基于聯(lián)合稀疏表示的圖像融合方案，算法5采用本文所提出的融合方案，比較5種算法以此來驗證本文融合算法的優(yōu)越性。圖5(a)～(e)為5種算法融合clock、pepsi、lab多聚焦源圖像的融合圖像；圖6(a)～(e)為圖5(a)～(e)融合圖像的局部細節(jié)放大圖；為更好地比較5種融合方法的融合效果，本文給出圖5中融合圖像與圖4相應右聚焦源圖像之間的殘差結(jié)果，圖7(a)～(e)為圖5中clock、pepsi、lab的融合圖像與圖4(a)～(e)右聚焦源圖像的相應殘差圖。

圖5 采用不同融合算法得到的融合圖像 Fig. 5 Fusion image obtained by different fusion algorithms

圖6 圖5的細節(jié)圖 Fig. 6 Details of Fig.5

圖7 圖4右聚焦源圖像與圖5的相應殘差圖 Fig. 7 Difference images of Fig.5 and the right multi-focus source image of Fig.4

通過客觀評價指標，可以定量地比較不同融合圖像的質(zhì)量。本文選取4個客觀評價指標分別為：標準差(Standard Deviation, SD)、平均梯度(Average Gradient, AG)、互信息量(Mutual Information, MI)、邊緣信息保持度(QAB/F)。標準差表征了圖像像素分布程度，決定圖像對比度的高低；平均梯度指圖像的邊界或影線兩側(cè)附近灰度的明顯差異程度，可用來表示圖像清晰度；互信息用于衡量融合圖像包含源圖像信息量的大?。贿吘壭畔⒈３侄缺碚髟磮D像中的邊緣細節(jié)信息注入到融合圖像的轉(zhuǎn)移量。一般情況下，4個客觀評價指標越大，表示融合圖像質(zhì)量越高，圖像越清晰。表1為圖5中clock、pepsi、lab融合圖像相應的客觀評價指標。

表1 clock、pepsi、lab的圖像客觀評價指標Tab. 1 Image objective evaluation index of clock,pepsi,lab

從圖5(a)、(b)融合圖像以及圖6(a)、(b)的細節(jié)圖像中可以看出，圖5(a)clock的大鬧鐘邊緣與pepsi的上方英文字母邊緣處出現(xiàn)波紋與虛假信息，存在偽影現(xiàn)象，圖像清晰度較差，針對存在配準誤差的lab多聚焦圖像，圖5(a)lab的實驗人員頭部出現(xiàn)更為嚴重的偽影現(xiàn)象。圖5(b)clock的大鬧鐘邊緣、pepsi的上方英文字母邊緣以及l(fā)ab的學生頭部邊緣處則此類現(xiàn)象得到緩解，邊緣較為清晰。其主要原因是采用傳統(tǒng)小波變換對圖像進行分解和重構時需要進行采樣操作，使得傳統(tǒng)的小波變換不具有平移不變性，導致了融合圖像失真，邊緣存在偽影現(xiàn)象，使融合圖像的視覺效果較差。特別是對存在配準誤差的lab多聚焦圖像進行融合時，由于源圖像之間存在一定位移，沒有移不變功能的方法得到融合圖像在邊緣附近的偽吉布斯現(xiàn)象更為明顯。而LSWT對圖像進行分解與重構時因取消了奇偶分裂環(huán)節(jié)沒有對圖像進行上下采樣操作，具有平移不變性，因此能較好地克服偽吉布斯現(xiàn)象并提高融合圖像質(zhì)量。根據(jù)殘差圖對比結(jié)果，能更直觀地看出上述2種方法的差異，圖7(b)clock、pepsi、lab圖像相比7(a)中圖像殘差較少，說明基于LSWT的融合算法在融合性能方面優(yōu)于基于傳統(tǒng)小波變換的融合算法。為了更客觀地評價兩種融合算法在多聚焦圖像融合中的性能，采用4個客觀評價指標進行定量比較，對比結(jié)果如表1所示，從中可以看出提升靜態(tài)小波變換方法可以消除由于傳統(tǒng)小波變換不具有平移不變性所產(chǎn)生的偽吉布斯現(xiàn)象，邊緣特征顯著提高，融合效果相對更好。

從圖5(b)～(e)以及局部細節(jié)圖6(b)～(e)的對比中可以看出，圖5(b)融合圖像相比圖5(c)～(e)的視覺效果較差，這是因為方法2中低頻系數(shù)取平均規(guī)則所獲得的融合圖像并不能有效提取源圖像信息并注入到融合圖像中，以及高頻系數(shù)模值取大規(guī)則直接作用于高頻子帶系數(shù)，沒有考慮到局部區(qū)域里像素間的方向性與相關性，融合圖像的紋理細節(jié)得不到較好的保留。圖5(c)clock的大鬧鐘與pepsi的上方英文字母邊緣比較模糊，存在一定的塊狀效應，圖5(c)lab的學生頭部也存在此類現(xiàn)象，這是因為方法3采用基于稀疏表示的融合方法平滑了圖像的細節(jié)引起的。圖5(d)融合圖像在對比度方面相對于5(c)融合圖像相差不大，但虛影相對減少，紋理細節(jié)更清晰，主要是因為方法4中聯(lián)合稀疏表示模型充分利用圖像之間相關性，使得源圖像清晰特征得到了較好的保留。本文方法所得融合結(jié)果圖5(e)邊緣、紋理等細節(jié)更為清晰，對比度更高，圖像視覺效果最好，主要是因為本文采用結(jié)構組代替圖像塊作為聯(lián)合稀疏表示模型中的基本單元，消除了圖像的塊狀效應影響，增強了圖像的自相似性，因而可以得到視覺效果更好的融合圖像。根據(jù)圖7中的殘差結(jié)果進一步比較4種方法的融合性能，從中可以直觀地看到，方法2所得殘差圖的殘差像素最多，融合效果最差，方法3與方法4所得殘差圖效果有所提高，但仍存在一定的殘差像素，不能將源圖像清晰像素較好地轉(zhuǎn)移到融合圖像中，本文算法所得殘差圖的殘差像素在清晰區(qū)域幾乎為0，表明本文方法最為有效地融合了源圖像清晰像素，所得融合圖像效果最好。根據(jù)表1中4個客觀評價指標對融合圖像進行定量分析比較，本文算法評價指標最優(yōu)，特別是互信息(MI)和邊緣信息保持度(QAB/F)指標，從客觀的角度驗證了本文算法得到的融合圖像在對比度、清晰度以及邊緣細節(jié)信息的保留等方面優(yōu)于其他幾種算法。因此綜合來看，本文算法所得融合圖像性能最優(yōu)越，最接近標準圖像。

表2為5種圖像融合算法處理clock、pepsi、lab源圖像的運行時間對比。從表2中可以看出：本文算法相對于算法3與算法4，所用時間較少，因為本文算法采用結(jié)構組代替?zhèn)鹘y(tǒng)稀疏表示中的圖像塊作為字典和稀疏求解基本單位，顯著降低字典學習的計算復雜度，同時優(yōu)化了稀疏求解過程，因而運行時間較少；但相比算法1與算法2，運行時間較高，因為算法1和2均采用低頻系數(shù)加權平均、高頻系數(shù)模值取大的融合規(guī)則，對于低頻子帶細節(jié)系數(shù)，平均法雖然簡單，但在一定程度上降低了圖像的對比度，使源圖像中的部分有用信息丟失；對于高頻子帶細節(jié)系數(shù)，沒有考慮區(qū)域特征，直接作用于高頻子帶細節(jié)系數(shù)，融合圖像質(zhì)量下降。綜合上述實驗分析，本文算法在保證融合圖像質(zhì)量的情況下，運行時間相對較少。

表2 各種融合算法的運行時間對比Tab. 2 Running time comparison of a variety of fusion algorithm

5 結(jié)語

本文針對多聚焦圖像融合提出了基于LSWT與聯(lián)合結(jié)構組稀疏表示的多聚焦圖像融合算法。采用的提升靜態(tài)小波變換克服了傳統(tǒng)的小波變換由于不具有平移不變性所導致的在圖像融合時邊緣處產(chǎn)生的“偽吉布斯”現(xiàn)象，在一定程度上抑制了圖像的失真現(xiàn)象。在提升靜態(tài)小波變換基礎上，本文提出的融合規(guī)則為：低頻系數(shù)采用基于聯(lián)合結(jié)構組稀疏表示的融合算法，高頻系數(shù)采用方向區(qū)域拉普拉斯能量和與匹配度相結(jié)合的自適應融合算法。實驗結(jié)果表明本文算法運行時間相對較少，并可以充分提取源圖像清晰部分信息并注入到融合圖像中，圖像邊緣、輪廓細節(jié)得到較好的保留，融合圖像效果更佳。下一步研究工作可以在本文方法的基礎上對彩色圖像進行多聚焦融合理論分析，實現(xiàn)彩色圖像的實時融合。

參考文獻(References)

[1] 楊勇,萬偉國,黃淑英,等.稀疏表示和非下采樣shearlet變換相結(jié)合的多聚焦圖像融合[J].小型微型計算機系統(tǒng),2017,38(2):386-392.(YANG Y, WAN W G, HUANG S Y,et al. Spare representation and non-subsampled shearlet transform for multi-focus image fusion[J]. Journal of Chinese Computer Systems, 2017, 38(2): 386-392.)

[2] 周挺,胡斌.基于小波變換的自適應多聚焦圖像融合算法[J].傳感技術學報,2010,23(9):1272-1276.(ZHOU T, HU B. Adaptive algorithm of multi-focused image fusion based on wavelet transform[J]. Chinese Journal of Sensors and Actuators, 2010, 23(9): 1272-1276.)

[3] SWELDENS W. The lifting scheme: a construction of second generation wavelets [J]. SIAM Journal on Mathematical Analysis, 1998, 29(2): 511-546.

[4] 易正俊,李華鋒,宋瑞晶.改進提升小波變換的空間頻率比圖像融合[J].光電工程,2009,36(7):65-70.(YI Z J, LI H F, SONG R J. Spatial frequency ratio image fusion method based on improved lifting wavelet transform [J].Opto-Electronic Engineering, 2009, 36(7): 65-70.)

[5] LEE C S, LEE C K, YOO K Y. New lifting based structure for undecimated wavelet transform [J]. Electronics Letters, 2000, 36(22): 1894-1895.

[6] ANG B, LI S. Pixel-level image fusion with simultaneous orthogonal matching pursuit [J]. Information Fusion, 2012,13(1): 10-19.

[7] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation [J]. Information Fusion, 2015, 24(1): 147-164.

[8] 歐陽寧,鄭雪英,袁華.基于NSCT和稀疏表示的多聚焦圖像融合[J].計算機工程與設計,2017,38(1):177-182. (OUYANG N, ZHENG X Y, YUAN H. Multi-focus image fusion based on NSCT and sparse representation [J]. Computer Engineering and Design, 2017, 38(1): 177-182.)

[9] BARON D, DUARTE M F, WAKIN M B, et al. Distributed compressive sensing [C]// ICASSP 2009: Proceedings of the 2009 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2009: 2886-2889.

[10] 肖新耀,許寧,尤紅建.一種基于àtrous小波和聯(lián)合稀疏表示的遙感圖像融合方法[J].遙感技術與應用,2015,30(5):1021-1026.(XIAO X Y, XU N, YOU H J. A method on remote sensing image fusion based on àtrous wavelet transform and joint sparse representation [J]. Remote Sensing Technology and Application, 2015,30(5): 1021-1026.)

[11] LI X, LI X, ZHAO H, et al. Fusing images using joint sparse representation [J]. ICIC Express Letters, 2014, 8(12): 1377-1379.

[12] 宗靜靜,邱天爽,郭冬梅.聯(lián)合稀疏表示的醫(yī)學圖像融合PHNT及同步去噪[J].中國生物醫(yī)學工程學報,2016,35(2):133-140.(ZONG J J, QIU T S, GUO D M. Simultaneous medical image fusion and de-noising with joint sparse representation [J]. Chinese Journal of Biomedical Engineering, 2016, 35(2): 133-140.)

[13] ZHANG J, ZHOU D, GAO W. Group-based sparse representation for image restoration [J]. IEEE Transactions on Image Processing, 2014, 23(8): 3336-3351.

[14] 李祥燦.基于組稀疏表示的自然圖像超分辨率算法研究[D].南京:南京理工大學,2014:28-35.(LI X C. Natural image super-resolution method research based on group sparse representation[D]. Nanjing: Nanjing University of Science and Technology, 2014:28-35.)

[15] 張曉,薛月菊,涂淑琴,等.基于結(jié)構組稀疏表示的遙感圖像融合[J].中國圖象圖形學報,2016,21(8):1106-1118. (ZHANG X, XUE Y J, TU S Q, et al. Remote sensing image fusion based on structural group sparse representation [J]. Journal of Image and Graphics, 2016, 21(8): 1106-1118.)

[16] NATARAJAN B K. Sparse approximate solutions to linear systems [J]. SIAM Journal on Computing, 1995, 24(2): 227-234.

[17] DONOHO D L, TSAIG Y, DRORI I, et al. Sparse solution of underdetermined systems of linear equations by stagewise orthogonal matching pursuit [J]. IEEE Transactions on Information Theory, 2012, 58(2): 1094-1121.

[18] 劉貴喜,楊萬海.基于小波分解的圖像融合算法及性能評價[J].自動化學報,2002,28(6):927-934.(LIU G X, YANG W H. A wavelet-decomposition-based image fusion scheme and its performance evaluation [J]. Acta Automatica Sinica, 2002, 28(6): 927-934.)

[19] 董紅霞,易正俊,葉曉斌.提升靜態(tài)小波特征對比度多聚焦圖像融合算法[J].計算機應用研究,2012,29(2):56-61.(DONG H X, YI Z J, YE X B. Multi-focus image fusion scheme based on features contrast of lifting stationary wavelet [J]. Application Research of Computers, 2012, 29(2): 56-61.)

[20] 朱輝,江卓斌,胡斌杰.一種改進的基于方向區(qū)域能量的多聚焦圖像融合算法[J].傳感器與微系統(tǒng),2011,30(9):131-138.(ZHU H, JIANG Z B, HU B J. An improved algorithm of multi-focused image fusion based on directional region-energy [J]. Transducer and Microsystem Technologies, 2011, 30(9): 131-138.)

This work is partially supported by the Primary Research & Development Plan of Shandong Province (2015GSF120009).

ZOUJiabin, born in 1992, M. S. candidate. His research interests include image processing, pattern recognition.

SUNWei, born in 1963, Ph. D., professor. His research interests include monitoring, optimization and advanced control of process and system, computer vision, machine learning.