韓 陽，楊 華

(山西農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院，太谷 030801)

圖像融合技術(shù)是一項(xiàng)貼近生活的實(shí)用技術(shù)，被應(yīng)用到了多個(gè)生活領(lǐng)域[1-3]。正由于圖像融合技術(shù)給人們的生活帶來了幫助，人們對(duì)其的研究也越顯重要。

目前圖像融合技術(shù)多種多樣，如Wang等[4]通過非下采樣剪切波變換(nonsubsampled Shearlet transform,NSST)獲取圖像的不同系數(shù)，并在此基礎(chǔ)上計(jì)算圖像的能量特征，獲取融合結(jié)果。由于利用融合梯度計(jì)算圖像能量的方法，忽略了圖像的顯著信息，易使得融合結(jié)果含有間斷現(xiàn)象。Singh等[5]采用NSST機(jī)制來獲取圖像的高、低頻系數(shù)后，再將基于局部可見性的自適應(yīng)神經(jīng)網(wǎng)絡(luò)模型和基于log-Gabor能量的規(guī)則分別應(yīng)用于低、高頻系數(shù)的融合。由于log-Gabor能量的規(guī)則沒有考慮圖像的顯著信息，使得融合圖像中存在吉布斯效應(yīng)。劉明君等[6]提取了圖像的邊緣等特征后，采用基于奇異值分解和壓縮感知分別獲取融合低頻和高頻子帶。由于奇異值分解方法的平移特性較弱，使得分解所得系數(shù)易丟失原始信息，導(dǎo)致融合圖像含有間斷效應(yīng)的出現(xiàn)。Samet等[7]基于平穩(wěn)小波變換對(duì)圖像進(jìn)行分解，并設(shè)計(jì)了一種基于sobel算子的梯度融合規(guī)則，利用圖像的梯度幅值，計(jì)算了圖像中像素重要度的權(quán)重系數(shù)，并利用這些權(quán)重系數(shù)生成融合子帶。由于小波變換不能滿足多方向性的需求，對(duì)源圖像信息保真度較低，易使得融合圖像出現(xiàn)塊現(xiàn)象。

為了降低吉布斯效應(yīng)及間斷效應(yīng)，現(xiàn)采用NSST變換來分解輸入圖像，獲取圖像的不同的頻域系數(shù)。在低頻系數(shù)融合的過程中，引入信息熵來求取圖像含有的信息豐富度。同時(shí)，采用高斯濾波器來構(gòu)造顯著度量模型，獲取圖像的顯著信息，將其與圖像含有的信息豐富度相聯(lián)合，融合低頻系數(shù)。并以像素點(diǎn)間的像素值為依據(jù)，完成高頻系數(shù)的融合，測(cè)試本文算法的融合特性。

1 圖像融合算法設(shè)計(jì)

本文算法的過程如圖1所示。從圖1可知，本文算法主要通過圖像分解和系數(shù)融合兩部分來完成圖像的融合，各部分的主要過程為如下。

圖1 圖像融合算法的過程

(1)圖像分解。圖像分解是為了從源圖像中獲取不同的低頻與高頻系數(shù)，為后續(xù)的系數(shù)融合做準(zhǔn)備。采用平移特性較好的NSST變換，對(duì)源圖像進(jìn)行分解，以獲取其不同的圖像系數(shù)。

(2)系數(shù)融合。在對(duì)不同圖像系數(shù)融合的過程中，采用了信息熵模型，獲取了圖像擁有的信息豐富度。采用高斯濾波器構(gòu)造了顯著度量模型，獲取了圖像擁有的顯著信息。利用圖像擁有的信息豐富度和顯著信息，完成低頻內(nèi)容的融合。以使得融合低頻系數(shù)中既能擁有源圖的主要信息豐富度，還能包含源圖的顯著信息，提高融合圖像的視覺效果。還通過像素點(diǎn)的鄰點(diǎn)像素值構(gòu)造了高頻系數(shù)融合函數(shù)，以充分測(cè)量圖像的細(xì)節(jié)信息，實(shí)現(xiàn)高頻內(nèi)容的融合。將融合的不同系數(shù)通過逆NSST變換，獲取最終的融合圖像。

1.1 圖像分解

當(dāng)下較為主流的圖像分解方法包括Curvelet變換、Contourlet變換以及NSST變換等[8]。在這些變換中，NSST變換以其良好的平移不變特性以及稀疏表達(dá)特性等優(yōu)點(diǎn)，得到了廣泛的應(yīng)用[9]。

NSST變換的基礎(chǔ)是Shearlet變換。Shearlet變換依靠計(jì)算仿射系統(tǒng)而得到。在2×2的矩陣A與B下，仿射系統(tǒng)的模型[10]為

FS={θq,w,e(x)=|det(A)|1/2θ(BwAqx-e),q,w∈Z,e∈Z2}

(1)

式(1)中：q、w、e分別為尺度、方向以及平移量；θ∈L2(R2)為二維仿射系統(tǒng)下的元素；L2(R2)為FS變換結(jié)果的集合；FS代表仿射變換；Z為整數(shù)集；det(A)為求取矩陣A行列式的值。

當(dāng)式(2)成立時(shí)，F(xiàn)S即為合成小波。

(2)

式(2)中:U∈L2(R2)為二維仿射系統(tǒng)下的元素；∑為求和運(yùn)算；|| ||為求范數(shù)運(yùn)算。

在FS為合成小波狀態(tài)下，將A與B指定為式(3)時(shí)，F(xiàn)S即為Shearlet變換。

(3)

(4)

獲取到Shearlet變換后，在笛卡爾坐標(biāo)中，對(duì)Shearlet變換進(jìn)行非下采樣處理，以獲取Shearlet濾波器(Shearlet filter,SF)，對(duì)圖像進(jìn)行方向分解[11]。采用非下采樣金字塔(nonsubsampled pyramid,NSP)，對(duì)圖像進(jìn)行多尺度分解[12]。由NSP和SF便構(gòu)成了NSST變換。

以圖2(a)和圖2(b)所示的圖像為源目標(biāo)數(shù)據(jù)，通過NSST變換分解后，形成的頻域系數(shù)分別如圖2(c)和圖2(d)所示。由圖2發(fā)現(xiàn)，其低頻系數(shù)囊括了源目標(biāo)的絕大部分能量和信息；而高頻內(nèi)容則可很好地反映細(xì)節(jié)信息。

圖2 基于NSST的圖像分解

1.2 系數(shù)融合

源圖像擁有的信息豐富度主要通過其低頻系數(shù)來體現(xiàn)。信息熵模型通過利用像素點(diǎn)的灰度級(jí)特征，能夠較好地測(cè)量圖像擁有的信息豐富度。因此，借助信息熵模型，用于融合低頻系數(shù)。同時(shí)為了更好地兼顧圖像的顯著信息，還利用高斯濾波器構(gòu)造了顯著度量模型，以獲取不同圖像的顯著信息，并將其融入低頻系數(shù)融合時(shí)的加權(quán)系數(shù)中。

在灰度級(jí)總數(shù)為J的圖像I(x,y)中，其對(duì)應(yīng)的信息熵XS[13]為

(5)

式(5)中：Ha為灰度級(jí)為a像素點(diǎn)存在的幾率。

I(x,y)的幅值譜FZ(I)和相位譜XW(I)[14]為

(6)

(7)

式中：FT為傅里葉變換(fourier transform, FT)，Re(·)和Im(·)分別為取實(shí)部運(yùn)算和取虛部運(yùn)算。

在FZ(I)的基礎(chǔ)上，計(jì)算其對(duì)數(shù)譜LFZ(I)，公式為

LFZ(I)=lgFZ(I)

(8)

I(x,y)的譜殘差C(I)可利用LFZ(I)而得到，即

C(I)=LFZ(I)-JZ(I)LFZ(I)

(9)

式(9)中：JZ(I)為均值濾波器結(jié)果。

在C(I)的基礎(chǔ)上，利用高斯濾波器GS(x)，構(gòu)造顯著度量模型XZ(I)為

XZ(I)=GS(x)FT-1{exp[C(I)+XW(I)]}2

(10)

式(10)中：FT-1為傅里葉反變換。

通過式(5)對(duì)不同低頻系數(shù)Di與Dj擁有的信息豐富度進(jìn)行測(cè)量，求取其對(duì)應(yīng)的信息熵值XSDi和XSDj。通過式(10)求取Di與Dj的顯著信息XZDi和XZDj。利用不同低頻系數(shù)擁有的信息豐富度和顯著信息作為低頻系數(shù)融合過程的加權(quán)因子，求取融合低頻系數(shù)Dij，即

(11)

式(11)中：Di、Dj分別代表第i個(gè)、第j個(gè)低頻系數(shù)；XSDi、XSDj分別為Di、Dj的信息熵值；XZDi、XZDj分別為Di、Dj的顯著信息。

源圖像擁有的細(xì)節(jié)信息主要通過其高頻系數(shù)來體現(xiàn)。通過利用像素點(diǎn)三鄰點(diǎn)的像素值，來構(gòu)造細(xì)節(jié)特征測(cè)量函數(shù)，融合高頻系數(shù)。

令像素點(diǎn)p及其三鄰點(diǎn)p′、p″和p?的像素值分別為p(x,y)、p(x-1,y)、p(x,y-1)、p(x-1,y-1)。利用像素點(diǎn)p及其三鄰點(diǎn)的像素值構(gòu)造細(xì)節(jié)特征測(cè)量函數(shù)XJ為

(12)

式(12)中：R、C、T、G分別為p的行、列、對(duì)角測(cè)量因子，其表達(dá)式[15]分別為

(13)

(14)

T=

(15)

G=

(16)

式中：M、N為圖像的尺寸。

通過式(12)計(jì)算不同高頻系數(shù)Ei與Ej的細(xì)節(jié)特征值XJEi與XJEj，并利用其構(gòu)造高頻系數(shù)融合函數(shù)，計(jì)算融合高頻系數(shù)Eij為

(17)

式(17)中：Ei、Ej分別為第i個(gè)、第j個(gè)高頻系數(shù)；XJEi、XJEj分別為Ei、Ej的細(xì)節(jié)特征值。

最后，Dij與Eij進(jìn)行逆NSST變換，以得到融合圖像。

采用上述過程，對(duì)圖2(a)與圖2(b)進(jìn)行融合，其結(jié)果如圖3所示。由圖3可見，融合圖像具有較好的質(zhì)量。

圖3 融合結(jié)果

2 實(shí)驗(yàn)結(jié)果

在MATLAB7.10軟件上搭建實(shí)驗(yàn)環(huán)境，并在AMDRyzen5 3600處理器、8 GB內(nèi)存的acer計(jì)算機(jī)上運(yùn)行該實(shí)驗(yàn)環(huán)境，以完成對(duì)本文算法融合性能的測(cè)試。測(cè)試過程中選取了文獻(xiàn)[16]和文獻(xiàn)[17]算法作為對(duì)照組。實(shí)驗(yàn)過程中的圖像尺寸為512×512 像素。

不同算法對(duì)杯子圖像的融合結(jié)果如圖4所示。通過觀察圖4中各算法的融合結(jié)果可以發(fā)現(xiàn)，圖4(c)中杯子藍(lán)色底部具有間斷現(xiàn)象，杯蓋紅色邊緣處具有塊效應(yīng)。圖4(d)中杯子上部藍(lán)色與白色交界處存在一處吉布斯效應(yīng)現(xiàn)象，杯蓋處存在一處模糊現(xiàn)象。圖4(e)中僅杯身邊緣存在一處輕微模糊現(xiàn)象。各算法對(duì)花朵圖像的融合結(jié)果如圖5所示。對(duì)比圖5各融合結(jié)果發(fā)現(xiàn)，圖5(c)中含有間斷效應(yīng)和吉布斯效應(yīng)，圖5(d)中含有間斷效應(yīng)和塊效應(yīng)，圖5(e)中僅含有一處輕微的塊效應(yīng)。圖6為儀表盤圖像的融合結(jié)果，圖6(c)中含有間斷效應(yīng)和振鈴效應(yīng)，圖6(d)中含有模糊效應(yīng)和塊效應(yīng)，圖6(e)中僅含有一處輕微的模糊效應(yīng)。由此可見，本文算法融合圖像具有較好的完整性，不存在間斷效應(yīng)，融合圖像具有較佳的視覺效果。因?yàn)楸疚乃惴ú捎昧似揭撇蛔兲匦耘c稀疏表征特性都較好的NSST變換，對(duì)圖像分解求取不同圖像系數(shù)，促使了分解所得圖像系數(shù)較完整地保留了源圖信息。同時(shí)本文算法還利用了圖像擁有的信息豐富度和顯著信息融合了低頻系數(shù)，促使了融合低頻系數(shù)能夠較好地?fù)碛性磮D信息豐富度的同時(shí)，還較好地突出了源圖的顯著信息，從而提高了融合圖像的質(zhì)量。

圖4 不同算法對(duì)“杯子”圖像的融合結(jié)果

圖5 不同算法對(duì)“花朵”圖像的融合結(jié)果

圖6 不同算法對(duì)“儀表盤”圖像的融合結(jié)果

為了更進(jìn)一步測(cè)試本文算法的有效性，將在圖7所示的場(chǎng)景中，利用SonyILCE-6400L型相機(jī)獲取10組不同的測(cè)試圖像。實(shí)驗(yàn)中將通過平均梯度(mean gradient, MG)和通用圖像質(zhì)量指數(shù)(Universal image quality index, UIQI)來對(duì)各算法融合圖像的質(zhì)量進(jìn)行測(cè)量，以分析各算法的融合特性。

圖7 測(cè)試場(chǎng)景

MG通過對(duì)圖像的細(xì)節(jié)信息進(jìn)行度量，反映出了圖像的清晰度，當(dāng)圖像清晰度越大時(shí)，MG也將越大。MG的計(jì)算式[18]為

(18)

式(18)中：H為MG值；M和N為圖像I的尺寸；ΔIx、ΔIy為I在x、y方向上的一階差分。

(19)

式(19)中：U為UIQI的值;φFS為F與S的協(xié)方差。

各算法融合圖像的H值與U值如圖8所示。從圖8可知，本文算法融合圖像的H值與U值比對(duì)照組算法的都大。以第5組圖像為例，本文算法融合圖像的H值與U值分別為5.55和0.953，文獻(xiàn)[16]算法融合圖像的H值與U值分別為4.71和0.925，文獻(xiàn)[17]算法融合圖像的H值與U值分別為5.04和0.934。說明本文算法融合的圖像能夠較好地保留源圖信息，具有較好的質(zhì)量，本文算法的融合特性較好。因?yàn)楸疚乃惴ɡ眯畔㈧啬Ｐ秃惋@著度量模型求取了源圖擁有的信息豐富度和顯著信息，并將其用于低頻系數(shù)的融合，使得融合低頻系數(shù)即擁有源圖的信息豐富度，也能夠較好地表達(dá)源圖的顯著內(nèi)容。同時(shí)本文算法還通過細(xì)節(jié)特征測(cè)量函數(shù)，測(cè)量了圖像的行、列以及對(duì)角上的細(xì)節(jié)內(nèi)容，并將其用于高頻系數(shù)的融合，使得融合高頻系數(shù)能夠更好地描繪源圖細(xì)節(jié)信息。從而提高了算法的融合特性。文獻(xiàn)[16]算法中采用多尺度變換的方法分解圖像，采用基于能量的稀疏表示方法和取大法分別融合低、高頻系數(shù)。由于基于能量的稀疏表示方法沒考慮圖像的顯著信息，而且絕對(duì)值取大易丟失圖像細(xì)節(jié)信息，從而使得文獻(xiàn)[16]算法融合特性不佳。文獻(xiàn)[17]算法中通過小波變換分解圖像，采用空間頻率和相關(guān)系數(shù)方法分別融合低、高頻系數(shù)。由于空間頻率方法不能較好地測(cè)量圖像擁有的信息豐富度，而且小波變換方法的方向特性較差，從而使得文獻(xiàn)[17]算法的融合特性有所下降。

圖8 各算法融合圖像的H值與U值

3 結(jié)論

提出了一種NSST耦合顯著信息加權(quán)的圖像融合算法。該算法利用信息熵模型與顯著度量模型獲取了圖像擁有的信息豐富度以及顯著信息，并將其用于低頻系數(shù)的融合過程，使得融合結(jié)果在擁有源圖信息豐富度的同時(shí)，也擁有源圖顯著特征。使得融合圖像更具優(yōu)良視覺效果。該算法還利用像素點(diǎn)三鄰點(diǎn)的像素值，構(gòu)造了細(xì)節(jié)特征測(cè)量函數(shù)，將圖像的細(xì)節(jié)特征用于高頻系數(shù)的融合過程，使得融合圖像更具細(xì)節(jié)表述能力。使得融合圖像的質(zhì)量得以提高。實(shí)驗(yàn)結(jié)果表明，本文算法融合的圖像MG值和UIQI值都較高，具有優(yōu)良的融合特性。