梁　聰　唐振華

(廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院　廣西 南寧 530004)

?

一種基于DCT域局部能量的多聚焦圖像融合算法

梁聰唐振華*

(廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院廣西 南寧 530004)

摘要為了在無(wú)線視覺(jué)傳感器網(wǎng)絡(luò)等資源受限的應(yīng)用中實(shí)現(xiàn)圖像信息融合，提出一種基于離散余弦變換域DCT(Discrete Cosine Transform)中局部能量的多聚焦圖像融合算法。該算法沒(méi)有采用當(dāng)前常用的基于對(duì)比度和方差的融合準(zhǔn)則，而是通過(guò)計(jì)算圖像在DCT域的局部能量，選擇局部能量較大的分塊實(shí)現(xiàn)融合。實(shí)驗(yàn)結(jié)果表明，該算法能獲得良好的主觀視覺(jué)融合效果，且在互信息、峰值信噪比和空間頻率等客觀指標(biāo)上優(yōu)于常用的基于小波變換的融合算法，計(jì)算量與基于DCT域方差的融合算法相比降低約41%～49%，該算法適用于諸如無(wú)線視覺(jué)傳感器網(wǎng)絡(luò)等資源受限或?qū)崟r(shí)性要求高的應(yīng)用場(chǎng)合。

關(guān)鍵詞圖像融合離散余弦變換局部能量視覺(jué)傳感器網(wǎng)絡(luò)

0引言

圖像融合通過(guò)利用待融合圖像之間信息的冗余性和互補(bǔ)性，將兩幅或多幅圖像合成為一幅比任一待融合圖像包含更多信息的新圖像。圖像融合在醫(yī)學(xué)成像、計(jì)算機(jī)視覺(jué)、遙感、氣象預(yù)報(bào)和軍事等領(lǐng)域有著廣泛的應(yīng)用前景。作為圖像融合的應(yīng)用之一，視覺(jué)傳感器網(wǎng)絡(luò)VSN(visual sensor networks)依靠地理分布不同節(jié)點(diǎn)上的視覺(jué)傳感器來(lái)獲取周圍環(huán)境的圖像/視頻信息，以多跳中繼的無(wú)線通信方式傳輸信息，在傳感器節(jié)點(diǎn)上會(huì)涉及圖像融合技術(shù)。

在VSN中，距離較近的相鄰節(jié)點(diǎn)通常會(huì)獲得相同場(chǎng)景下多幅圖像信息，但由于這些圖像由位置不同的節(jié)點(diǎn)獲得，拍攝的聚焦點(diǎn)可能不同。對(duì)相同場(chǎng)景下的圖像信息進(jìn)行有效地融合，不僅降低網(wǎng)絡(luò)傳輸圖像信息的數(shù)據(jù)量，而且能夠增強(qiáng)圖像的重建質(zhì)量。由于VSN中節(jié)點(diǎn)的能量有限和計(jì)算能力受限，應(yīng)用于其中的圖像融合算法除了獲得優(yōu)良的融合性能外，還應(yīng)具有計(jì)算簡(jiǎn)單和處理速率快等特點(diǎn)，本文提出的算法滿足要求。

在基于變換域的圖像融合中，小波變換是常用和重要的方法[1-3]。但是基于這些變換的方法通常需要執(zhí)行大量的復(fù)雜計(jì)算，耗費(fèi)過(guò)多時(shí)間和內(nèi)存資源，因此并不適用于資源受限的視覺(jué)傳感器網(wǎng)絡(luò)。在VSN中，傳輸圖像數(shù)據(jù)之前通常會(huì)經(jīng)過(guò)壓縮和融合處理，以減少信息冗余度和降低電能消耗。離散余弦變換DCT作為一種多媒體壓縮技術(shù)得到了廣泛應(yīng)用，直接在DCT域進(jìn)行融合處理并不需要大量復(fù)雜的編解碼操作，從而減少數(shù)據(jù)處理量與能量消耗，因此采用DCT域的融合算法更為高效。目前，在DCT域進(jìn)行圖像融合的研究并不多。文獻(xiàn)[4]提出了一種DCT變換和提升小波變換相結(jié)合的融合算法，但是其計(jì)算復(fù)雜度過(guò)高。Tang等人[5]提出了一種利用局部對(duì)比度進(jìn)行圖像融合的方法，該方法選擇對(duì)比度較大的DCT系數(shù)用于圖像融合，但是計(jì)算對(duì)比度的過(guò)程比較復(fù)雜，而且融合圖像出現(xiàn)了塊效應(yīng)和模糊現(xiàn)象。鑒于上述方法的不足，文獻(xiàn)[6]提出了一種基于方差判斷準(zhǔn)則的方法，先將輸入圖像劃分為DCT塊，分別計(jì)算它們的方差，然后選擇方差較大的塊作為融合圖像的DCT塊。但是，該方法存在大量的平方運(yùn)算，同樣會(huì)耗費(fèi)很多時(shí)間和計(jì)算資源，因此也不太適用于無(wú)線視覺(jué)傳感器網(wǎng)絡(luò)。

為了解決上述方法的不足，本文依據(jù) DCT 變換的性質(zhì)，提出一種基于局部能量進(jìn)行圖像融合的新算法。該算法選擇局部能量較大的塊作為融合圖像的DCT塊，由于運(yùn)算很簡(jiǎn)單，因此更適用于資源受限的視覺(jué)傳感器網(wǎng)絡(luò)。本文通過(guò)主觀和客觀評(píng)價(jià)，對(duì)比了離散小波變換DWT(discrete wavelet transform)、SIDWT(shift invariant discrete wavelet transform)和基于方差的DCT方法，證明了本文提出的方法更加簡(jiǎn)單有效。

1基于局部能量的DCT域圖像融合算法

1.1離散余弦變換

在離散余弦變換的系數(shù)中，從矩陣左上角到右下角依次對(duì)應(yīng)著低頻、中頻和高頻分量，高頻系數(shù)通常小于低頻系數(shù)，因而能量主要集中在低頻分量。

設(shè)x(m, n)為數(shù)字圖像矩陣，則N×N的DCT變換定義為：

(1)

N×N的IDCT變換定義為：

(2)

1.2算法描述

成像區(qū)域內(nèi)不同深度的對(duì)象會(huì)引起攝像機(jī)不同程度的離焦，多聚焦圖像中的模糊區(qū)域是由離焦造成的，離焦鏡頭系統(tǒng)在數(shù)學(xué)模型上可等效為一個(gè)低通系統(tǒng)，清晰圖像經(jīng)過(guò)低通濾波，在濾除高頻分量和高頻能量的同時(shí)，圖像的總能量會(huì)有所損失，因此，總能量可作為判別清晰圖像與模糊圖像的準(zhǔn)則。

本文融合算法的框圖如圖1所示。在本文算法中，首先將待融合的圖像A和圖像B分別進(jìn)行分塊DCT 變換，然后分別比較它們對(duì)應(yīng)DCT 系數(shù)能量的大小，選擇局部能量較大的塊作為融合圖像的DCT塊，最后將融合的DCT塊進(jìn)行逆變換即可得到融合圖像。實(shí)驗(yàn)發(fā)現(xiàn)，圖像按像素分塊的大小對(duì)處理速率與融合質(zhì)量均有影響，分塊較小時(shí)，由選擇融合的圖像塊出現(xiàn)的誤判會(huì)造成較多小面積的塊效應(yīng)，且處理速率較慢；分塊較大時(shí)處理較快，出現(xiàn)誤判的概率降低，但是因此造成的塊效應(yīng)面積會(huì)較大。兼顧融合效果和處理速率，本文算法DCT塊取16×16。

圖1　本文融合算法框圖

N×N系數(shù)矩陣的能量可定義為：

(3)

設(shè)x1(m,n)和x2(m,n)表示輸入圖像，x(m,n)為融合圖像，在N×N塊中選擇能量大者為融合后x(m,n)的DCT塊，即：

(4)

在比較能量大小時(shí)，可把比較圖像A與圖像B的d2(k,l)之和改為比較它們的|d(k,l)|之和，這樣可避免平方運(yùn)算，從而降低運(yùn)算量和系統(tǒng)的能量消耗，即選擇圖像A和圖像B的DCT塊中絕對(duì)值之和較大者作為融合圖像x(m,n)的DCT塊，最后經(jīng)過(guò)IDCT變換即可獲得融合圖像。本文中的融合規(guī)則按式(5)給出：

(5)

由于圖像本身因素或者噪聲的影響，在選擇融合的DCT塊時(shí)可能存在誤判而產(chǎn)生塊效應(yīng)，因此有必要對(duì)融合后的圖像進(jìn)行一致性校驗(yàn)CV(consistency verification)。該處理過(guò)程是，在融合圖像的分塊區(qū)域中，如果處于中間的像素塊來(lái)自輸入圖像B，而大多數(shù)周圍的像素塊來(lái)自輸入圖像A，那么可以認(rèn)為來(lái)自輸入圖像B的像素塊因誤判而被錯(cuò)誤地融合，經(jīng)過(guò)一致性校驗(yàn)后它會(huì)被糾正為來(lái)自輸入圖像A相應(yīng)的像素塊。文獻(xiàn)[6]使用了均值濾波器進(jìn)行校驗(yàn)處理，但是由于在濾波器掩模內(nèi)執(zhí)行平均運(yùn)算時(shí)可能出現(xiàn)平均“泛化”，因此有時(shí)并不能精確地糾正錯(cuò)誤融合的像素塊。針對(duì)此問(wèn)題，本文使用的中值濾波器能夠獲得更好的校驗(yàn)效果。因?yàn)樵谌诤蠄D像的分塊區(qū)域中，被錯(cuò)誤融合的像素塊只有少數(shù)一部分，多數(shù)像素塊都是被正確地融合了，中值濾波器作為一種統(tǒng)計(jì)排序?yàn)V波器，可以有效地用多數(shù)的像素塊取代少數(shù)的被錯(cuò)誤融合的像素塊。從后面的實(shí)驗(yàn)可以看出，應(yīng)用中值濾波器進(jìn)行一致性校驗(yàn)?zāi)苡行У馗纳迫诤闲Ч?，?shí)驗(yàn)使用的濾波器掩模大小為3×3。

2實(shí)驗(yàn)結(jié)果與分析

2.1評(píng)價(jià)標(biāo)準(zhǔn)

為了更全面地評(píng)價(jià)本文提出的算法，本實(shí)驗(yàn)引入兩類客觀標(biāo)準(zhǔn)來(lái)評(píng)價(jià)融合效果。第一類是需要原始圖像的評(píng)價(jià)標(biāo)準(zhǔn)?；バ畔⑹莾蓚€(gè)變量之間相關(guān)性的度量，可衡量融合圖像從輸入圖像中繼承的信息量大??；峰值信噪比是一種基于圖像信噪比的評(píng)價(jià)指標(biāo)，值越大說(shuō)明融合效果越好；另外本文引入了文獻(xiàn)[7]中結(jié)構(gòu)相似度的評(píng)價(jià)標(biāo)準(zhǔn)，該方法能夠度量?jī)煞鶊D像結(jié)構(gòu)上的失真。第二類評(píng)價(jià)標(biāo)準(zhǔn)不需要原始圖像。由于在實(shí)際應(yīng)用中一般不存在用作參考的理想圖像，所以這類評(píng)價(jià)標(biāo)準(zhǔn)尤顯重要。文獻(xiàn)[8]提出了一種QAB/F的指標(biāo)，它給出了融合圖像從輸入圖像獲得的邊緣信息總量。文獻(xiàn)[9]提出的Qw等指標(biāo)，顯示出有多少顯著信息從輸入圖像轉(zhuǎn)入了融合圖像。此外本文實(shí)驗(yàn)還運(yùn)用了一些比較常用的評(píng)價(jià)標(biāo)準(zhǔn)，平均梯度反映了圖像中微小細(xì)節(jié)反差，值越大說(shuō)明圖像越清晰?？臻g頻率反映圖像在像素域的總體活躍程度。另外，運(yùn)行時(shí)間可以反映算法的復(fù)雜度和耗費(fèi)的計(jì)算資源。

2.2結(jié)果與分析

為了便于比較，本文選擇目前公認(rèn)融合效果較好的基于小波變換的融合算法DWT[1]和SIDWT[10]來(lái)進(jìn)行比較，其中小波分解層為3，對(duì)應(yīng)的融合小波系數(shù)選擇最大原則。為了敘述方便，由式(5)確定的方法稱為“本文方法”，而將經(jīng)過(guò)中值濾波器進(jìn)行一致性校驗(yàn)處理的方法稱為“本文改進(jìn)方法”。文獻(xiàn)[6]提出的基于方差的方法記為“DCT+Variance”，進(jìn)行均值濾波的一致性校驗(yàn)的方法記為“DCT+Variance+Cv”。為了與前面的評(píng)價(jià)標(biāo)準(zhǔn)相適應(yīng)，用于實(shí)驗(yàn)的圖像也有兩類，圖2帶有原始圖像，圖3沒(méi)有原始圖像。表1和表3分別給出融合算法的各個(gè)評(píng)價(jià)指標(biāo)，表2是運(yùn)行時(shí)間。本實(shí)驗(yàn)仿真環(huán)境是Matlab 7.0。

圖2　原始圖像和融合圖像

圖3　原始圖像和融合圖像

評(píng)價(jià)方法 互信息峰值信噪比(dB)結(jié)構(gòu)相似度DWT3.004435.48800.9916SIDWT3.088335.05720.9946DCT+Variance4.636036.17660.9965DCT+Variance+Cv4.732736.53790.9968本文方法4.763737.92710.9984本文改進(jìn)方法4.761937.49210.9979

表2　運(yùn)行時(shí)間　　　　　　　(單位：秒)

從圖2可看出，由本文提出的方法獲得的(h)和(i)融合效果良好，和DWT、SIDWT方法獲得融合圖像在視覺(jué)效果上并無(wú)明顯差異。由表1的評(píng)價(jià)數(shù)值看出，本文方法和本文改進(jìn)方法優(yōu)于基于小波變換的方法，同時(shí)也好于基于方差的方法。上述情況表明，本文提出的方法獲得的融合圖像能夠從待融合圖像中獲取更多的原始的信息，融合質(zhì)量更好。同時(shí)從表1還看出，是否經(jīng)過(guò)一致性校驗(yàn)處理的融合圖像在評(píng)價(jià)指標(biāo)上相差不大，但是經(jīng)過(guò)校驗(yàn)處理卻能夠獲得更好的視覺(jué)融合效果。

表2給出了本文提出的方法和基于方差方法的運(yùn)行時(shí)間。從表中數(shù)據(jù)可得出，本文的方法比基于方差方法節(jié)省了大約41%～49%的處理時(shí)間，盡管處理兩個(gè)融合圖像節(jié)省時(shí)間僅幾秒，但是當(dāng)整個(gè)傳感器網(wǎng)絡(luò)上成千上萬(wàn)個(gè)節(jié)點(diǎn)在處理數(shù)據(jù)時(shí)，本文提出的方法在降低時(shí)間消耗上將會(huì)非?？捎^。另外，本文的方法由于不需要復(fù)雜的平方運(yùn)算，而只是低復(fù)雜度的求和運(yùn)算，所以將會(huì)節(jié)省更多能量和計(jì)算資源，更適用于資源受限的視覺(jué)傳感器網(wǎng)絡(luò)。

圖3是沒(méi)有原始圖像的情況下進(jìn)行的對(duì)比，從圖中可看出本文方法獲得的(g)和(h)取得了更好的視覺(jué)效果，比如在圖4局部放大圖中，基于小波的(a)和(b)雖然整體上顯得光滑，但是卻造成了細(xì)微失真和對(duì)比度下降，這是因?yàn)樾〔ㄗ儞Q在分解和重構(gòu)圖像的過(guò)程中會(huì)丟失信息；基于方差的(c)和(d)，可以看出存在一些塊效應(yīng)，原因是在這些融合區(qū)域錯(cuò)誤地選擇了輸入圖像塊，同時(shí)說(shuō)明了在亮度變化不明顯的區(qū)域，基于方差的融合算法表現(xiàn)得不夠健壯；本文方法(e)即使在沒(méi)有經(jīng)過(guò)一致性校驗(yàn)處理的情況下，也取得了良好的視覺(jué)效果。另外，加一致性校驗(yàn)?zāi)K的方法圖(f)比不加模塊的圖(e)取得更好的視覺(jué)效果。表3給出了Qw、空間頻率等評(píng)價(jià)指標(biāo)，從中看出本文提出的方法和基于方差方法在評(píng)價(jià)數(shù)據(jù)上大體相當(dāng)。

圖4　局部放大圖像

評(píng)價(jià)方法 QwQAB/F空間頻率平均梯度DWT0.90870.62709.98413.5863SIDWT0.90450.68649.38383.4350

續(xù)表3

3結(jié)語(yǔ)

本文在離散余弦變換的基礎(chǔ)上, 提出了一種基于局部能量的多聚焦圖像融合算法，以及使用中值濾波器進(jìn)行一致性校驗(yàn)的改進(jìn)算法。該算法依據(jù)清晰圖像具有較高能量的原理，在DCT域分別計(jì)算局部能量，然后選擇局部能量較大的圖像作為融合圖像。實(shí)驗(yàn)中運(yùn)用多種評(píng)價(jià)標(biāo)準(zhǔn)，將本文算法、基于小波變換以及基于方差的DCT算法進(jìn)行了比較，結(jié)果表明本文算法獲得的融合圖像更清晰，計(jì)算復(fù)雜度更低，因此耗費(fèi)時(shí)間和能量更少，特別適用于要求實(shí)時(shí)處理或資源受限的應(yīng)用場(chǎng)合。

參考文獻(xiàn)

[1] Li H,Manjunath B S,Mitra S K.Multisensor image fusion using the wavelet transform[J].Graphical Models and Image Processing,1995,57(3):235-245.

[2] Shreyamsha Kumar B K.Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform[J].Signal,Image and Video Processing,2013,7(6):1125-1143.

[3] 高穎,王阿敏,王鳳華,等.改進(jìn)的小波變換算法在圖像融合中的應(yīng)用[J].激光技術(shù),2013,20(5):690-695.

[4] 聶敏.一種改進(jìn)的DCT變換圖像融合技術(shù)[J].科技通報(bào),2012,28(4):178-179.

[5] Tang J.A contrast based image fusion technique in the DCT domain[J].Digit Signal Process,2004,14(3):218-226.

[6] Haghighat M B A,Aghagolzadeh A,Seyedarabi H.Multi-focus image fusion for visual sensor networks in DCT domain[J].Computers and Electrical Engineering,2011,37(5):789-797.

[7] Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment: from error visibility to structural similarity[J].IEEE Trans Image Process,2004,13(4):600-612.

[8] Xydeas C S,Petrovic V.Objective image fusion performance measure[J].Electron Lett,2000,36(4):308-309.

[9] Piella G,Heijmans H.A new quality metric for image fusion[C]//Proceedings of international conference on image processing,2003,3:173-176.

[10] Rockinger O.Image sequence fusion using a shift-invariant wavelet transform[C]//Proceedings of IEEE international conference on image processing,1997,3:288-291.

A MULTI-FOCUS IMAGE FUSION ALGORITHM BASED ON LOCAL ENERGY IN DCT DOMAIN

Liang CongTang Zhenhua*

(SchoolofComputerandElectronicsInformation,GuangxiUniversity,Nanning530004,Guangxi,China)

AbstractIn order to apply image information fusion to resource-constrained applications such as wireless visual sensor networks, we presented a multi-focus image fusion algorithm, which is based on local energy in discrete cosine transform (DCT) domain. The proposed algorithm doesn’t employ commonly used rule of image fusion based on contrast and variance, but realises fusion by calculating the local energy of image in DCT domain and selecting the blocks with bigger local energy. Experimental results showed that the proposed algorithm could get good subjective visual effect of fusion, and outperformed those usual algorithms based on discrete wavelet transform in objective evaluation indexes such as mutual information, peak signal to noise ratio, space frequency and so on. Moreover, since the calculation decreases by around 41 percent to 49 percent in comparison with the fusion algorithm based on variance in DCT domain, the presented algorithm is suitable for the applications with resource-constrained or high real-time property like visual sensor networks.

KeywordsImage fusionDCTLocal energyVisual sensor networks

收稿日期：2014-12-04。國(guó)家自然科學(xué)基金項(xiàng)目(61461006，6126 1023)；廣西自然科學(xué)基金項(xiàng)目(2013GXNSFBA019271)；廣西教育廳科研項(xiàng)目(201106LX016)。梁聰，本科生，主研領(lǐng)域：多聚焦圖像融合。唐振華，副教授。

中圖分類號(hào)TP391

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.05.059