余美晨，孫玉秋，王超 (長江大學(xué)信息與數(shù)學(xué)學(xué)院，湖北 荊州 434023)

?

基于拉普拉斯金字塔的圖像融合算法研究

余美晨，孫玉秋，王超 (長江大學(xué)信息與數(shù)學(xué)學(xué)院，湖北 荊州 434023)

提出了一種改進(jìn)的拉普拉斯金字塔圖像融合方法。首先將源圖像進(jìn)行高斯金字塔分解，接著再進(jìn)行拉普拉斯金字塔分解，然后對由拉普拉斯金字塔形成的圖像序列的對應(yīng)層分別使用不同的融合規(guī)則進(jìn)行融合。頂層采用加權(quán)融合，其余層采用基于區(qū)域能量的融合規(guī)則進(jìn)行融合，最后再進(jìn)行拉普拉斯反變換得到重構(gòu)圖像。試驗(yàn)結(jié)果表明，該方法能夠有效的保留圖像信息，融合效果良好。

拉普拉斯金字塔；高斯金字塔；圖像融合

圖像融合所具有的改善圖像質(zhì)量、提高幾何配準(zhǔn)精度、克服目標(biāo)提取與識別中圖像數(shù)據(jù)的不完整性等優(yōu)點(diǎn)，使得它成為當(dāng)前重要的信息處理技術(shù)，并在遙感、醫(yī)學(xué)、航天等領(lǐng)域得到廣泛的應(yīng)用。圖像融合是指利用各種成像傳感器獲得不同圖像，綜合各圖像的互補(bǔ)信息和冗余信息，產(chǎn)生一幅新的圖像，以獲得更為精確、可靠、全面的圖像描述[1]。圖像融合包括像素級融合、特征級融合和決策級融合[2]3個(gè)部分。近年來，人們提出了多種圖像融合方法，其中像素級融合中的多分辨率圖像融合方法較為常見，而拉普拉斯金字塔分解方法是多分辨率分析中的一類?；诶绽菇鹱炙纸獾膱D像融合算法的融合過程是將各個(gè)源圖像分別在不同尺度、不同空間分辨率和不同分解層上分別進(jìn)行的[3]。采用傳統(tǒng)的拉普拉斯金字塔進(jìn)行圖像融合，最終得到的融合圖像因細(xì)節(jié)丟失而變得模糊。為了能獲得更好的融合效果， 保留更多的圖像細(xì)節(jié)，筆者對傳統(tǒng)的拉普拉斯金字塔圖像進(jìn)行了改進(jìn)。

1 傳統(tǒng)拉普拉斯金字塔圖像融合

傳統(tǒng)拉普拉斯金字塔圖像融合的核心思想是通過構(gòu)建分辨率逐層遞減的金字塔，對各層金字塔按照一定的規(guī)則進(jìn)行信息提取并利用上層信息逐層重構(gòu)最終得到融合圖像。 主要包括以下3個(gè)步驟：圖像高斯金字塔形的建立、圖像拉普拉斯金字塔形的建立和拉普拉斯金字塔反變換。把源圖像分別用高斯低通濾波器進(jìn)行低通濾波，接著再隔行隔列下采樣，經(jīng)過這個(gè)過程可形成一幅與源圖像近似的子圖像，再將該子圖像插入一個(gè)適當(dāng)?shù)闹凳顾蛎?，然后?jì)算它與上一層圖像的差值，得到帶通分量。這個(gè)就是拉普拉斯金字塔的第1層，將這個(gè)近似圖像重復(fù)做以上的分解過程，如此進(jìn)行，可以得到其他層次，就構(gòu)成了拉普拉斯金字塔。

1.1 圖像的高斯金字塔分解

對源圖像分別進(jìn)行隔行降采樣，接著隔列降采樣，然后利用高斯窗口函數(shù)與得到的圖像做卷積操作，就可以形成一列列的分辨率逐漸遞減并且進(jìn)行了低通濾波后的塔層。

設(shè)原始圖像為G0，即塔層的第0層，對該層再進(jìn)行低通濾波，接著間隔降采樣，形成的圖像記成G1，這就是高斯金字塔的第1層。重復(fù)進(jìn)行上述操作過程，依次得到高斯金字塔的各層，即為G2，G3，…，GN?？梢杂煤瘮?shù)GREDUCE表示每級之間的運(yùn)算：

Gl=GREDUCE(Gl-1)

(1)

即對第l級圖像上的點(diǎn)(i,j)，0≤i≤Cl，0≤j≤Rl，1≤l≤N(N記為金字塔的總級數(shù)，G1、R1是作為金字塔第l級圖像的高度和寬度)有：

(2)

式中，w(m,n)為高斯模板;w(m,n)=h(m)×h(n)為窗口函數(shù)；h取為高斯密度分布函數(shù)。

滿足約束條件：

1)歸一化性：

(3)

2)對稱性：

h(i)=h(-i)

(4)

3)奇偶性：

h(0)+h(-2)+h(+2)=h(-1)+h(+1)

(5)

由以上條件可得：

(6)

窗口函數(shù)w(m,n)可表示如下：

(7)

至此，由G0，G1，…，GN構(gòu)成了高斯金字塔[4]，后面每層的大小都是它前面一個(gè)的4倍。

由上可知，REDUCE函數(shù)等同于用高斯模板對原始圖像A、B分別作卷積運(yùn)算，接著再對它們隔行隔列采樣。然后定義一個(gè)函數(shù)EXPAND，它與REDUCE是互為逆運(yùn)算。函數(shù)EXPAND是對高斯金字塔中每一層小的圖像插入一個(gè)值，就把它的尺寸擴(kuò)大成其前一個(gè)的尺寸。對Gl進(jìn)行EXPAND運(yùn)算后用Gl,k表示其結(jié)果，則：

Gl,0=Gl

(8)

Gl,k=EXPANDGl,k-1

(9)

(10)

1.2 圖像的拉普拉斯金字塔分解

從金字塔底層圖像重建上層未采樣圖像，即預(yù)測殘差，把圖像最大程度的還原。它所表現(xiàn)出來的是一組圖像序列，記為L。即：

LN=GN

(11)

LN=Gl-EXPAND(Gl+1)=Gl-Gl+1,l0≤l≤N

(12)

式中，G0，G1，…，GN記為高斯金字塔；L0，L1，…，LN記為拉普拉斯金字塔。L0可以通過L0和L1執(zhí)行一次EXPAND作相減而得到。

反復(fù)進(jìn)行以上過程，得到一列列圖像，該步驟即是拉普拉斯金字塔的構(gòu)造過程。

1.3 拉普拉斯金字塔反變換

通過以上逆過程能重構(gòu)G0。定義GN=LN，GN-1為GN執(zhí)行一次EXPAND操作后和LN-1相加而來。依次類推，經(jīng)過一系列上述過程，再作和運(yùn)算，G0就依此來逆過程進(jìn)行重構(gòu)。

基于拉普拉斯塔形分解的圖像融合的流程圖如圖1所示。

圖1 拉普拉斯金字塔圖像融合框圖

2 改進(jìn)的方法

源圖像采用拉普拉斯金字塔的方法分解后，不同

的融合規(guī)則反映的融合結(jié)果不同，對融合效率的影響也不同?；趨^(qū)域能量的融合規(guī)則考慮了周圍像素的相互作用，可以很好的保留圖像的細(xì)節(jié)和紋理信息。

基于區(qū)域能量規(guī)則的融合過程如下：

首先計(jì)算源圖像對應(yīng)局部區(qū)域的等效能量。選擇局部區(qū)域的大小為3×3，加權(quán)系數(shù)為W(α，β)，則拉普拉斯金字塔的第k層、以(i,j)為中心的局部區(qū)域能量Ek(i,j)為：

(13)

設(shè)待融合的2幅圖像為A,B，融合后的圖像為F，則計(jì)算局部區(qū)域的匹配度如下：

(14)

定義閾值e(0.5

若Mk,AB(i,j)

(15)

若Mk,AB(i,j)≥e，則：

(16)

其中加權(quán)融合算子的選擇如下：

(17)

3 試驗(yàn)結(jié)果與分析評價(jià)

3.1 試驗(yàn)結(jié)果

圖像融合的關(guān)鍵技術(shù)包括圖像特征點(diǎn)提取、圖像匹配、圖像融合3個(gè)方面。筆者在圖像已配準(zhǔn)的基礎(chǔ)上用拉普拉斯金字塔圖像融合方法融合2組圖像：第1組是不同聚焦圖像；第2組是普通攝影圖像。試驗(yàn)仿真軟件為Matlab 2012。

圖2所示為左聚焦圖像A1(背景清楚，鬧鐘模糊)和右聚焦圖像B1(背景模糊，鬧鐘清楚)采用幾種不同的方法進(jìn)行融合的結(jié)果。圖3所示為普通攝影的2幅源圖像A2和B2(分別模糊了上部分和下部分)采用幾種不同的方法進(jìn)行融合的結(jié)果。

圖2 不同聚焦的圖像融合

圖3 普通攝影圖像融合

3.2 評價(jià)

通過試驗(yàn)結(jié)果可以看出，幾種方法都有一定的融合效果，而且筆者提出的拉普拉斯法金字塔法融合效果較好[5]。但是由于人眼的感知能力不同，對圖像的主觀感受也有差別，因此還需要對圖像的試驗(yàn)結(jié)果進(jìn)行客觀評價(jià)。

1)信息熵。 圖像的信息熵是包含平均信息量多少的度量，其定義為：

(18)

式中，p(i)為灰度i的分布概率，其范圍是[0,1,…,L-1]。融合后圖像的熵值大小反映了圖像包含信息量的多少，熵值越大說明融合的效果相對越好[6]。

2)互信息?；バ畔mi也稱為相關(guān)熵，是信息論的重要部分，可以用來衡量融合圖像從源圖像中繼承信息的多少。原始圖像A、B和融合后的圖像F的互信息為：

(19)

3)邊緣保持度。邊緣保持度的運(yùn)算步驟如下：

a)計(jì)算原圖像IA、IB以及融合圖像IF的梯度幅值和相角，以計(jì)算圖像IA的梯度幅值和相角為例：

(20)

(21)

b)計(jì)算IA與IF的相對幅值GAF(m,n)和相角AAF(m,n)以及IB與IF的相對幅值GBF(m,n)和相角ABF(m,n)。以計(jì)算前者為例：

(22)

(23)

c)計(jì)算邊緣幅值和相角保留程度：

(24)

(25)

d)計(jì)算各像素邊緣信息保留程度：

(26)

(27)

e)最后得到邊緣保持度客觀評價(jià)指標(biāo)：

(28)

式中，M，N為圖像長和寬；wA(n,m)=|gA(n,m)|L，wB(n,m)=|gB(n,m)|L(L為常數(shù)，筆者取1)。

不同聚焦以及普通攝影的圖像融合結(jié)果客觀評價(jià)如表1和表2所示，由表1、表2可知，拉普拉斯金字塔法要優(yōu)于傳統(tǒng)融合方法，能保留較多信息，效果較好。

表1 不同聚焦圖像融合結(jié)果客觀評價(jià)

表2 普通攝影圖像融合結(jié)果客觀評價(jià)

4 結(jié)語

提出了一種基于拉普拉斯金字塔的圖像融合算法，從試驗(yàn)結(jié)果可以看出，該方法對不同聚焦圖像、普通攝影圖像融合均取得了較好的效果，融合后的圖像質(zhì)量與一般方法相比有顯著提升，具有一定的實(shí)用價(jià)值。

[1]何東健. 數(shù)字圖像處理[M]. 第2版. 西安:西安電子科技大學(xué)出版社, 2008.

[2] 朱瑞輝, 萬敏, 范國濱. 基于金字塔變換的圖像融合方法[J]. 計(jì)算機(jī)仿真, 2007, 24(12):178～192.

[3] 陳浩, 王延杰. 基于拉普拉斯金字塔變換的圖像融合算法研究[J]. 激光與紅外, 2009, 4(4):439～442.

[4] 席亮. 基于量子力學(xué)和拉普拉斯金字塔的圖像融合方法[J]. 計(jì)算機(jī)與現(xiàn)代化, 2015, 12(4):37～41.

[5] 于坤林, 謝志宇, 原振文. 改進(jìn)的小波圖像融合算法及應(yīng)用研究[J]. 計(jì)算機(jī)與數(shù)字工程, 2014, 4(4):592～595.

[6] 杜娟, 王少宇. 基于小波分解的多窗口圖像融合[J]. 測繪信息與工程, 2007, 3(6):6～7.

[編輯] 洪云飛

2016-09-16

國家自然科學(xué)基金項(xiàng)目(60572048);湖北省自然科學(xué)基金重點(diǎn)項(xiàng)目(2013CFA053)。

余美晨(1992-)，女，碩士生，現(xiàn)主要從事數(shù)字圖像處理方面的研究工作。

孫玉秋(1968-)，女，博士，教授，博士生導(dǎo)師，現(xiàn)主要從事數(shù)字圖像處理、模式識別等方面的教學(xué)與研究工作；E-mail: yqsun@yangtzeu.edu.cn。

TP391

A

1673-1409(2016)34-0021-06

[引著格式]余美晨，孫玉秋，王超.基于拉普拉斯金字塔的圖像融合算法研究[J].長江大學(xué)學(xué)報(bào)(自科版)，2016,13(34)：21～26.