劉斌 辛迦楠 諶文江 肖惠勇

摘 要：針對(duì)拉普拉斯塔形（LP）變換在圖像融合中具有高頻信息損失嚴(yán)重且缺乏平移不變性的問題，利用不可分小波具有平移不變性和能夠準(zhǔn)確描述圖像細(xì)節(jié)信息的特點(diǎn)，提出一種新的非采樣不可分拉普拉斯金字塔構(gòu)造方法，并將該構(gòu)造方法應(yīng)用于多光譜圖像融合中。首先，構(gòu)造六通道不可分低通濾波器，利用該濾波器構(gòu)造多光譜圖像和全色圖像的非采樣不可分小波塔形分解，進(jìn)而對(duì)圖像進(jìn)行非采樣不可分拉普拉斯塔形分解;然后，針對(duì)不同的分解層采用不同的融合規(guī)則進(jìn)行融合;最后，根據(jù)不可分拉普拉斯重構(gòu)算法進(jìn)行重構(gòu)，即可得到融合后的圖像。實(shí)驗(yàn)結(jié)果表明，與離散小波變換（DWT） 的融合方法、基于Contourlet變換（CT）的融合方法以及基于直方圖中軸化（MHE）的融合方法對(duì)比，所提方法在保持原全色圖像空間分辨率的評(píng)價(jià)指標(biāo)空間相關(guān)系數(shù)上分別提高了1.84%、1.56%和11.06%，在光譜信息保持程度的評(píng)價(jià)指標(biāo)相對(duì)整體維數(shù)綜合誤差上分別降低了49.26%、48.15%和89.19%。該方法所得圖像在獲得好的光譜信息的同時(shí)有效地提高了空間分辨率，較好地保留了圖像的邊緣信息與結(jié)構(gòu)信息。

關(guān)鍵詞：多光譜圖像融合;不可分小波;低通濾波器;不可分拉普拉斯金字塔;平移不變性

中圖分類號(hào)： TP391;TP751.1

文獻(xiàn)標(biāo)志碼：A

Abstract： In order to solve the problem that classical Laplacian Pyramid （LP） transformin image fusion losses high frequency information of the fused image seriously and has no translation invariance， with the use of non-separable wavelet which has translation invariance and accurate description of image details， a new construction method of non-sampling non-separable LP was proposed and applied to the multi-spectral image fusion. Firstly， a six-channel non-separable low-pass filter was constructed and used to construct non-sampling non-separable wavelet pyramid for multi-spectral image and panchromatic image， and then the image was processed by non-sampling non-separable LP decomposition. Then， different fusion rules were used for the fusion of different decomposition layers. Finally， the fused image was obtained by using non-separable LP reconstruction algorithm. The experimental results show that compared with the algorithms based on Discrete Wavelet Transformation （DWT）， Contourlet Transformation （CT）， and Midway Histogram Equalization （MHE）， the spatial correlation coefficient of the proposed method was increased by 1.84%， 1.56%， and 11.06% respectively， and the relative global dimensional synthesis error of the proposed method was reduced by 49.26%， 48.15%， and 89.19% respectively. The proposed method can effectively improve the spatial resolution while obtaining good spectral information of image， well preserve the edge information and structure information of the image.

Key words： multi-spectral image fusion; non-separable wavelet; low-pass filter; non-separable Laplacian Pyramid （LP）; translation invariance

0 引言

圖像融合是指將多傳感器所采集到的關(guān)于同一目標(biāo)的圖像數(shù)據(jù)經(jīng)過處理，最大限度地提取各自信道中的有利信息，最后綜合成高質(zhì)量的圖像，以提高圖像信息的利用率[1]。在遙感應(yīng)用中，多光譜（Multi-Spectral，MS）圖像具有較好的光譜特性，但空間分辨率較低，空間細(xì)節(jié)和結(jié)構(gòu)紋理表達(dá)能力較弱;全色（PANchromatic，PAN）圖像一般空間分辨率較高，但圖像的光譜信息少，通常顯示為灰度圖像[2]。通過將MS圖像和PAN圖像融合，獲得具有好的光譜信息又具有高分辨率的融合圖像[3-4]。

目前常見的關(guān)于多光譜圖像與全色圖像的融合方法主要有亮度色度飽和度（Intensity-Hue-Saturation，IHS）變換的融合方法[5]、基于主成分分析的融合方法、基于高通濾波的融合方法;當(dāng)前應(yīng)用最廣泛的是基于多尺度變換的融合方法[6]，主要有離散小波變換（Discrete Wavelet Transformation，DWT）的融合方法[7]、基于Contourlet變換（Contourlet Transformation，CT）的融合方法[8]、基于拉普拉斯金字塔（Laplacian Pyramid，LP）變換（也稱作拉普拉斯塔形變換）的融合方法[9]等，這些方法在某些特定方面取得了良好的效果，但是它們各自都有缺點(diǎn)。IHS變換能較好地保留全色圖像的高分辨率信息，但會(huì)引入較嚴(yán)重的光譜畸變[10];DWT獲得的融合圖像具有好的光譜信息，但其空間分辨率低，且在對(duì)圖像進(jìn)行分解和重構(gòu)的過程中采用了下采樣和上插值，因此獲得的融合圖像具有方塊效應(yīng)[11];CT變換可以分析不同方向的細(xì)節(jié)信息，可是其濾波器設(shè)計(jì)具有很大難點(diǎn)，且由于CT變換采用的是張量積小波，同樣在分解過程中存在上下采樣，缺少平移不變性[12];基于LP變換的融合方法雖然計(jì)算量簡(jiǎn)單，實(shí)現(xiàn)容易，但多數(shù)只討論灰度圖像，而且在拉普拉斯變換系數(shù)處理過程中不可避免地引入了較大的噪聲[13]，同時(shí)融合過程中高頻信息損失較大，在金字塔重建時(shí)可能出現(xiàn)模糊、不穩(wěn)定現(xiàn)象[14]。

由此可見，單一的融合方法獲得的融合圖像很難令人滿意，故可以采取一定策略將某些融合方法結(jié)合起來。Zhang等[15]提出了基于IHS變換和小波變換（IHS-DWT）的融合方法，該方法將IHS變換和小波變換這兩種方法的優(yōu)點(diǎn)結(jié)合起來，獲得的融合結(jié)果圖像既具有較好的光譜信息，也具有較高的空間分辨率，但由于采用的小波變換為基于下二抽樣的張量積小波變換，使得融合結(jié)果圖像不可避免地產(chǎn)生了人工痕跡和方塊效應(yīng)[16];張大明等[17]提出了將金字塔變換和IHS變換相結(jié)合的融合方法，但其獲得的融合圖像保持原PAN圖像的高分辨率信息比較差。

二維不可分小波在圖像融合中具有良好的特性：不同于張量積小波，它在圖像處理的過程中，直接用二維曲面去逼近圖像，可以更加準(zhǔn)確地描述圖像的輪廓和邊緣信息;二維不可分小波具有平移不變性，故進(jìn)行圖像分解后可以完全重構(gòu)[16]。針對(duì)以上分析，本文利用拉普拉斯塔形分解具有計(jì)算量簡(jiǎn)單、實(shí)現(xiàn)容易，可在不同空間分辨率上有針對(duì)性地突出各圖像的重要特征和細(xì)節(jié)信息的特點(diǎn)，以及二維不可分小波的優(yōu)良特性，將兩者相結(jié)合，提出了不可分拉普拉斯金字塔的構(gòu)造方法，并將其應(yīng)用于多光譜圖像的融合中。該方法將拉普拉斯塔形分解過程所使用的高斯低通濾波器替換為本文所構(gòu)造的六通道不可分小波低通濾波器，并且，為了使圖像的整個(gè)處理過程中具有平移不變性，在進(jìn)行拉普拉斯塔形分解以及重構(gòu)的過程中，不進(jìn)行下抽樣和上插值，并在此基礎(chǔ)上對(duì)金字塔的每層按相關(guān)的融合規(guī)則進(jìn)行融合。實(shí)驗(yàn)結(jié)果的主觀以及客觀評(píng)價(jià)表明，本文方法的融合圖像保持原PAN圖像的高分辨率信息更好，并且圖像整體光譜信息也優(yōu)于其他方法。

1 六通道不可分小波濾波器的構(gòu)造

由于小波變換具有自適應(yīng)的時(shí)頻窗，能對(duì)時(shí)域和頻域進(jìn)行局部化分析，通過信號(hào)逐步進(jìn)行多尺度細(xì)化，可以達(dá)到高頻x處時(shí)間細(xì)分、低頻處頻率細(xì)分，充分突出圖像中某些方面的細(xì)節(jié)特征，因此小波分析成為近年來圖像處理與分析的一個(gè)突出工具。二維不可分小波是小波理論發(fā)展的一個(gè)重要方向，首先在濾波器的構(gòu)造上，不可分小波將高維信號(hào)作為整體來處理，因此其不僅具有更大的自由度，并且更有利于分析高維信號(hào)各個(gè)方向的信息。其次，二維不可分小波的尺度函數(shù)和小波函數(shù)不可分且各向同性，即不可分小波對(duì)圖像分解時(shí)，能夠同時(shí)對(duì)圖像中每個(gè)像素的八鄰域進(jìn)行細(xì)節(jié)信息提取，而可分小波對(duì)圖像進(jìn)行分解時(shí)，是分別對(duì)圖像的每一行、每一列進(jìn)行高頻信號(hào)提取，即可分小波只能得到水平方向和垂直方向的高頻信息。同時(shí)不可分小波具有更細(xì)的漸進(jìn)尺度，更好的緊支撐特性，各個(gè)子帶有清晰的頻率特征及重建特性[18]。

5 結(jié)語

本文研究了一種伸縮矩陣為[3，3;-1，1]的六通道不可分小波的構(gòu)造方法，構(gòu)造了六通道不可分小波低通濾波器，并在此基礎(chǔ)上，針對(duì)拉普拉斯金字塔在圖像融合中存在的缺點(diǎn)，提出了一種新的圖像多尺度分析方法——不可分拉普拉斯金字塔，并將該方法應(yīng)用于多光譜圖像融合中。實(shí)驗(yàn)結(jié)果表明：由于不可分小波可以更加準(zhǔn)確地描述圖像的輪廓和邊緣信息以及不可分拉普拉斯塔形分解可以對(duì)圖像進(jìn)行多尺度、多分辨率分析，所以從視覺判讀效果來看，本文方法所得融合結(jié)果圖像光譜信息保持更好，圖像更清晰、自然;從客觀評(píng)價(jià)指標(biāo)看，本文方法所得圖像具有更好的光譜信息和更高的空間分辨率，且邊緣信息以及結(jié)構(gòu)信息的保持程度都比較高。本文只是針對(duì)多光譜圖像進(jìn)行了相關(guān)研究，也可將本文方法推廣應(yīng)用于多聚焦圖像、紅外圖像等其他圖像融合領(lǐng)域。

參考文獻(xiàn)：

[1] 吳艷，楊萬海，李明.基于小波分解和進(jìn)化策略的圖像融合方法[J].光學(xué)學(xué)報(bào)，2003，23（6）：671-676. （WU Y， YANG W H， LI M. Image fusion based on wavelet decomposition and evolutionary strategy [J]. Acta Optica Sinica， 2003， 23（6）：671-676.）

[2] KUMAR S J， HUAN T L， LI X， et al. Panchromatic and multispectral remote sensing image fusion using machine learning for classifying bucolic and farming region [J]. International Journal of Computational Science & Engineering， 2018， 15（5/6）： 340-370.

[3] THOMAS C， RANCHIN T， WALD L， et al. Synthesis of multispectral images to high spatial resolution： a critical review of fusion methods based on remote sensing physics [J]. IEEE Transactions on Geoscience & Remote Sensing， 2008， 46（5）： 1301-1312.

[4] LIU Y， CHEN X， WANG Z， et al. Deep learning for pixel-level image fusion： Recent advances and future prospects [J]. Information Fusion， 2018， 42： 158-173.

[5] TU T-M， SU S-C， SHYU H-C， et al. A new look at IHS-like image fusion methods [J]. Information Fusion， 2001， 2（3）： 177-186.

[6] ZHANG J X. Multi-source remote sensing data fusion： status and trends [J].International Journal of Image & Data Fusion， 2010， 1（1）： 5-24.

[7] YOVKY D A. Image merging and data fusion by means of the discrete two-dimensional wavelet transform [J]. Journal of the Optical Society of America A， 1995， 12（9）： 1834-1841.

[8] 李光鑫，王珂.基于Contourlet變換的彩色圖像融合算法[J].電子學(xué)報(bào)，2007，35（1）：112-117. （LI G X， WANG K. Color image fusion algorithm using the contourlet transform [J]. Acta Electronica Sinica， 2007， 35（1）： 112-117.）

[9] 玉振明，高飛.基于金字塔方法的圖像融合原理及性能評(píng)價(jià)[J].計(jì)算機(jī)應(yīng)用研究，2004，21（10）：128-130. （YU Z M， GAO F. Laplacian pyramid and contrast pyramid based image fusion and their performance comparison [J]. Application Research of Computers， 2004， 21（10）：128-130.）

[10] 李振華，敬忠良，孫韶媛，等.基于方向金字塔框架變換的遙感圖像融合算法[J].光學(xué)學(xué)報(bào)，2005，25（5）：598-602. （LI Z H， JING Z L， SUN S Y， et al. Remote sensing image fusion based on steerable pyramid frame transform [J]. Acta Optica Sinica， 2005， 25（5）： 598-602.）

[11] 劉斌，彭嘉雄.基于二通道不可分加性小波的多光譜圖像融合[J].光學(xué)學(xué)報(bào)，2007，27（8）：1419-1424. （LIU B， PENG J X. Multi-spectral image fusion based on two-channel non-separable additive wavelets [J]. Acta Optica Sinica， 2007， 27（8）： 1419-1424.）

[12] 肖新耀，許寧，尤紅建.一種基于àtrous小波和聯(lián)合稀疏表示的遙感圖像融合方法[J].遙感技術(shù)與應(yīng)用，2015，30（5）：1021-1026. （XIAO X Y， XU N， YOU H J. A method on remote sensing image fusion based on àtrous wavelet transform and joint sparse representation [J]. Remote Sensing Technology and Application， 2015， 30（5）：1021-1026.）

[13] 苗啟廣，王寶樹.基于改進(jìn)的拉普拉斯金字塔變換的圖像融合方法[J].光學(xué)學(xué)報(bào)，2007，27（9）：1605-1610. （MIAO Q G， WANG B S. Multi-sensor image fusion based on improved laplacian pyramid transform [J]. Acta Optica Sinica， 2007， 27（9）： 1605-1610.）

[14] 胡鋼，劉哲，徐小平，等.像素級(jí)圖像融合技術(shù)的研究與進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2008，25（3）：650-655. （HU G， LIU Z， XU X P， et al. Research and recent development of image fusion at pixel level [J]. Application Research of Computers， 2008， 25（3）： 650-655.）

[15] ZHANG Y， HONG G. An IHS and wavelet integrated approach to improve pan-sharpening visual quality of natural colour IKONOS and QuickBird images [J]. Information Fusion， 2005， 6（3）： 225-234.

[16] 劉斌，祝青，胡福強(qiáng)，等.基于采樣二通道不可分小波的多光譜圖像融合[J].電子學(xué)報(bào)，2013，41（4）：710-716. （LIU B， ZHU Q， HU F Q， et al. Multi-spectral image fusion method based on sampled two channel non-separable wavelets [J]. Acta Electronica Sinica， 2013， 41（4）：710-716.）

[17] 張大明，阮祥偉，胡茂林，等.基于金字塔方法的SAR圖像與光學(xué)圖像的融合[J].雷達(dá)科學(xué)與技術(shù)，2005，3（6）：350-355. （ZHANG D M， RUAN X W， HU M L， et al. SAR/optical images fusion based on gaussian-laplacian pyramid algorithm [J]. Radar Science and Technology， 2005， 3（6）：350-355.）

[18] 劉斌，孫斌，余方超，等.基于不可分小波分解的圖像配準(zhǔn)方法[J].計(jì)算機(jī)工程，2014，40（10）：252-257. （LIU B， SUN B， YU F C， et al. Image registration method based on nonseparable wavelet decomposition [J]. Computer Engineering， 2014， 40（10）： 252-257.）

[19] CHEN Q， MICCHELLI C A， PENG S， et al. Multivariate filter banks having matrix factorizations [J]. SIAM Journal on Matrix Analysis & Applications， 2003， 25（2）： 517-531.

[20] 劉貴喜.多傳感器圖像融合方法研究[D].西安：西安電子科技大學(xué)，2001.（LIU X G. Study of multisensor image fusion methods [D]. Xian： Xidian University， 2001： 39-46.）

[21] 趙麗玲，孫權(quán)森.通過直方圖中軸化提高融合圖像光譜保真度[J].計(jì)算機(jī)應(yīng)用，2017，37（2）：559-563.（ZHAN L L， SUN Q S. Increasing fusion image spectral fidelity by using midway histogram equalization [J]. Journal of Computer Applications， 2017， 37（2）： 559-563.）

[22] 魏寧.多源圖像融合的理論與方法研究[D].西安：西安電子科技大學(xué)， 2013. （WEI N. Research on theory and method of multi-source image fusion [D]. Xian： Xidian University， 2013： 12-15.）

[23] 尹雯，李元祥，周則明，等.基于稀疏表示的遙感圖像融合方法[J].光學(xué)學(xué)報(bào)，2013，33（4）：259-266. （YI W， LI Y X， ZHOU Z M， et al. Remote sensing image fusion based on sparse representation [J]. Acta Optica Sinica， 2013， 33（4）： 259-266.）

[24] 強(qiáng)贊霞.遙感圖像的融合及應(yīng)用[D].武漢：華中科技大學(xué)，2005.（QIAN Z X. Remote sensing image fusion and applications [D]. Wuhan： Huazhong University of Science and Technology， 2005： 36-44.）

[25] 楊勇，童松，黃淑英.快速離散Curvelet變換域的圖像融合[J].中國(guó)圖象圖形學(xué)報(bào)，2015，20（2）：219-228. （YANG Y， TONG S， HUANG S Y. Image fusion based on fast discrete Curvelet transform [J]. Journal of Image and Graphics， 2015， 20（2）： 219-228.）

[26] 張小利，李雄飛，李軍.融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J].自動(dòng)化學(xué)報(bào)，2014，40（2）：306-315. （ZHANG X L， LI X F， LI J. Validation and correlation analysis of metrics for evaluation performance of image fusion [J]. Acta Automatica Sinica， 2014， 40（2）： 306-315.）