劉斌 辛迦楠 諶文江 肖惠勇

摘 要：針對拉普拉斯塔形（LP）變換在圖像融合中具有高頻信息損失嚴重且缺乏平移不變性的問題，利用不可分小波具有平移不變性和能夠準確描述圖像細節(jié)信息的特點，提出一種新的非采樣不可分拉普拉斯金字塔構造方法，并將該構造方法應用于多光譜圖像融合中。首先，構造六通道不可分低通濾波器，利用該濾波器構造多光譜圖像和全色圖像的非采樣不可分小波塔形分解，進而對圖像進行非采樣不可分拉普拉斯塔形分解;然后，針對不同的分解層采用不同的融合規(guī)則進行融合;最后，根據(jù)不可分拉普拉斯重構算法進行重構，即可得到融合后的圖像。實驗結果表明，與離散小波變換（DWT） 的融合方法、基于Contourlet變換（CT）的融合方法以及基于直方圖中軸化（MHE）的融合方法對比，所提方法在保持原全色圖像空間分辨率的評價指標空間相關系數(shù)上分別提高了1.84%、1.56%和11.06%，在光譜信息保持程度的評價指標相對整體維數(shù)綜合誤差上分別降低了49.26%、48.15%和89.19%。該方法所得圖像在獲得好的光譜信息的同時有效地提高了空間分辨率，較好地保留了圖像的邊緣信息與結構信息。

關鍵詞：多光譜圖像融合;不可分小波;低通濾波器;不可分拉普拉斯金字塔;平移不變性

中圖分類號： TP391;TP751.1

文獻標志碼：A

Abstract： In order to solve the problem that classical Laplacian Pyramid （LP） transformin image fusion losses high frequency information of the fused image seriously and has no translation invariance， with the use of non-separable wavelet which has translation invariance and accurate description of image details， a new construction method of non-sampling non-separable LP was proposed and applied to the multi-spectral image fusion. Firstly， a six-channel non-separable low-pass filter was constructed and used to construct non-sampling non-separable wavelet pyramid for multi-spectral image and panchromatic image， and then the image was processed by non-sampling non-separable LP decomposition. Then， different fusion rules were used for the fusion of different decomposition layers. Finally， the fused image was obtained by using non-separable LP reconstruction algorithm. The experimental results show that compared with the algorithms based on Discrete Wavelet Transformation （DWT）， Contourlet Transformation （CT）， and Midway Histogram Equalization （MHE）， the spatial correlation coefficient of the proposed method was increased by 1.84%， 1.56%， and 11.06% respectively， and the relative global dimensional synthesis error of the proposed method was reduced by 49.26%， 48.15%， and 89.19% respectively. The proposed method can effectively improve the spatial resolution while obtaining good spectral information of image， well preserve the edge information and structure information of the image.

Key words： multi-spectral image fusion; non-separable wavelet; low-pass filter; non-separable Laplacian Pyramid （LP）; translation invariance

0 引言

圖像融合是指將多傳感器所采集到的關于同一目標的圖像數(shù)據(jù)經(jīng)過處理，最大限度地提取各自信道中的有利信息，最后綜合成高質量的圖像，以提高圖像信息的利用率[1]。在遙感應用中，多光譜（Multi-Spectral，MS）圖像具有較好的光譜特性，但空間分辨率較低，空間細節(jié)和結構紋理表達能力較弱;全色（PANchromatic，PAN）圖像一般空間分辨率較高，但圖像的光譜信息少，通常顯示為灰度圖像[2]。通過將MS圖像和PAN圖像融合，獲得具有好的光譜信息又具有高分辨率的融合圖像[3-4]。

目前常見的關于多光譜圖像與全色圖像的融合方法主要有亮度色度飽和度（Intensity-Hue-Saturation，IHS）變換的融合方法[5]、基于主成分分析的融合方法、基于高通濾波的融合方法;當前應用最廣泛的是基于多尺度變換的融合方法[6]，主要有離散小波變換（Discrete Wavelet Transformation，DWT）的融合方法[7]、基于Contourlet變換（Contourlet Transformation，CT）的融合方法[8]、基于拉普拉斯金字塔（Laplacian Pyramid，LP）變換（也稱作拉普拉斯塔形變換）的融合方法[9]等，這些方法在某些特定方面取得了良好的效果，但是它們各自都有缺點。IHS變換能較好地保留全色圖像的高分辨率信息，但會引入較嚴重的光譜畸變[10];DWT獲得的融合圖像具有好的光譜信息，但其空間分辨率低，且在對圖像進行分解和重構的過程中采用了下采樣和上插值，因此獲得的融合圖像具有方塊效應[11];CT變換可以分析不同方向的細節(jié)信息，可是其濾波器設計具有很大難點，且由于CT變換采用的是張量積小波，同樣在分解過程中存在上下采樣，缺少平移不變性[12];基于LP變換的融合方法雖然計算量簡單，實現(xiàn)容易，但多數(shù)只討論灰度圖像，而且在拉普拉斯變換系數(shù)處理過程中不可避免地引入了較大的噪聲[13]，同時融合過程中高頻信息損失較大，在金字塔重建時可能出現(xiàn)模糊、不穩(wěn)定現(xiàn)象[14]。

由此可見，單一的融合方法獲得的融合圖像很難令人滿意，故可以采取一定策略將某些融合方法結合起來。Zhang等[15]提出了基于IHS變換和小波變換（IHS-DWT）的融合方法，該方法將IHS變換和小波變換這兩種方法的優(yōu)點結合起來，獲得的融合結果圖像既具有較好的光譜信息，也具有較高的空間分辨率，但由于采用的小波變換為基于下二抽樣的張量積小波變換，使得融合結果圖像不可避免地產(chǎn)生了人工痕跡和方塊效應[16];張大明等[17]提出了將金字塔變換和IHS變換相結合的融合方法，但其獲得的融合圖像保持原PAN圖像的高分辨率信息比較差。

二維不可分小波在圖像融合中具有良好的特性：不同于張量積小波，它在圖像處理的過程中，直接用二維曲面去逼近圖像，可以更加準確地描述圖像的輪廓和邊緣信息;二維不可分小波具有平移不變性，故進行圖像分解后可以完全重構[16]。針對以上分析，本文利用拉普拉斯塔形分解具有計算量簡單、實現(xiàn)容易，可在不同空間分辨率上有針對性地突出各圖像的重要特征和細節(jié)信息的特點，以及二維不可分小波的優(yōu)良特性，將兩者相結合，提出了不可分拉普拉斯金字塔的構造方法，并將其應用于多光譜圖像的融合中。該方法將拉普拉斯塔形分解過程所使用的高斯低通濾波器替換為本文所構造的六通道不可分小波低通濾波器，并且，為了使圖像的整個處理過程中具有平移不變性，在進行拉普拉斯塔形分解以及重構的過程中，不進行下抽樣和上插值，并在此基礎上對金字塔的每層按相關的融合規(guī)則進行融合。實驗結果的主觀以及客觀評價表明，本文方法的融合圖像保持原PAN圖像的高分辨率信息更好，并且圖像整體光譜信息也優(yōu)于其他方法。

1 六通道不可分小波濾波器的構造

由于小波變換具有自適應的時頻窗，能對時域和頻域進行局部化分析，通過信號逐步進行多尺度細化，可以達到高頻x處時間細分、低頻處頻率細分，充分突出圖像中某些方面的細節(jié)特征，因此小波分析成為近年來圖像處理與分析的一個突出工具。二維不可分小波是小波理論發(fā)展的一個重要方向，首先在濾波器的構造上，不可分小波將高維信號作為整體來處理，因此其不僅具有更大的自由度，并且更有利于分析高維信號各個方向的信息。其次，二維不可分小波的尺度函數(shù)和小波函數(shù)不可分且各向同性，即不可分小波對圖像分解時，能夠同時對圖像中每個像素的八鄰域進行細節(jié)信息提取，而可分小波對圖像進行分解時，是分別對圖像的每一行、每一列進行高頻信號提取，即可分小波只能得到水平方向和垂直方向的高頻信息。同時不可分小波具有更細的漸進尺度，更好的緊支撐特性，各個子帶有清晰的頻率特征及重建特性[18]。

5 結語

本文研究了一種伸縮矩陣為[3，3;-1，1]的六通道不可分小波的構造方法，構造了六通道不可分小波低通濾波器，并在此基礎上，針對拉普拉斯金字塔在圖像融合中存在的缺點，提出了一種新的圖像多尺度分析方法——不可分拉普拉斯金字塔，并將該方法應用于多光譜圖像融合中。實驗結果表明：由于不可分小波可以更加準確地描述圖像的輪廓和邊緣信息以及不可分拉普拉斯塔形分解可以對圖像進行多尺度、多分辨率分析，所以從視覺判讀效果來看，本文方法所得融合結果圖像光譜信息保持更好，圖像更清晰、自然;從客觀評價指標看，本文方法所得圖像具有更好的光譜信息和更高的空間分辨率，且邊緣信息以及結構信息的保持程度都比較高。本文只是針對多光譜圖像進行了相關研究，也可將本文方法推廣應用于多聚焦圖像、紅外圖像等其他圖像融合領域。

參考文獻：

[1] 吳艷，楊萬海，李明.基于小波分解和進化策略的圖像融合方法[J].光學學報，2003，23（6）：671-676. （WU Y， YANG W H， LI M. Image fusion based on wavelet decomposition and evolutionary strategy [J]. Acta Optica Sinica， 2003， 23（6）：671-676.）

[2] KUMAR S J， HUAN T L， LI X， et al. Panchromatic and multispectral remote sensing image fusion using machine learning for classifying bucolic and farming region [J]. International Journal of Computational Science & Engineering， 2018， 15（5/6）： 340-370.

[3] THOMAS C， RANCHIN T， WALD L， et al. Synthesis of multispectral images to high spatial resolution： a critical review of fusion methods based on remote sensing physics [J]. IEEE Transactions on Geoscience & Remote Sensing， 2008， 46（5）： 1301-1312.

[4] LIU Y， CHEN X， WANG Z， et al. Deep learning for pixel-level image fusion： Recent advances and future prospects [J]. Information Fusion， 2018， 42： 158-173.

[5] TU T-M， SU S-C， SHYU H-C， et al. A new look at IHS-like image fusion methods [J]. Information Fusion， 2001， 2（3）： 177-186.

[6] ZHANG J X. Multi-source remote sensing data fusion： status and trends [J].International Journal of Image & Data Fusion， 2010， 1（1）： 5-24.

[7] YOVKY D A. Image merging and data fusion by means of the discrete two-dimensional wavelet transform [J]. Journal of the Optical Society of America A， 1995， 12（9）： 1834-1841.

[8] 李光鑫，王珂.基于Contourlet變換的彩色圖像融合算法[J].電子學報，2007，35（1）：112-117. （LI G X， WANG K. Color image fusion algorithm using the contourlet transform [J]. Acta Electronica Sinica， 2007， 35（1）： 112-117.）

[9] 玉振明，高飛.基于金字塔方法的圖像融合原理及性能評價[J].計算機應用研究，2004，21（10）：128-130. （YU Z M， GAO F. Laplacian pyramid and contrast pyramid based image fusion and their performance comparison [J]. Application Research of Computers， 2004， 21（10）：128-130.）

[10] 李振華，敬忠良，孫韶媛，等.基于方向金字塔框架變換的遙感圖像融合算法[J].光學學報，2005，25（5）：598-602. （LI Z H， JING Z L， SUN S Y， et al. Remote sensing image fusion based on steerable pyramid frame transform [J]. Acta Optica Sinica， 2005， 25（5）： 598-602.）

[11] 劉斌，彭嘉雄.基于二通道不可分加性小波的多光譜圖像融合[J].光學學報，2007，27（8）：1419-1424. （LIU B， PENG J X. Multi-spectral image fusion based on two-channel non-separable additive wavelets [J]. Acta Optica Sinica， 2007， 27（8）： 1419-1424.）

[12] 肖新耀，許寧，尤紅建.一種基于àtrous小波和聯(lián)合稀疏表示的遙感圖像融合方法[J].遙感技術與應用，2015，30（5）：1021-1026. （XIAO X Y， XU N， YOU H J. A method on remote sensing image fusion based on àtrous wavelet transform and joint sparse representation [J]. Remote Sensing Technology and Application， 2015， 30（5）：1021-1026.）

[13] 苗啟廣，王寶樹.基于改進的拉普拉斯金字塔變換的圖像融合方法[J].光學學報，2007，27（9）：1605-1610. （MIAO Q G， WANG B S. Multi-sensor image fusion based on improved laplacian pyramid transform [J]. Acta Optica Sinica， 2007， 27（9）： 1605-1610.）

[14] 胡鋼，劉哲，徐小平，等.像素級圖像融合技術的研究與進展[J].計算機應用研究，2008，25（3）：650-655. （HU G， LIU Z， XU X P， et al. Research and recent development of image fusion at pixel level [J]. Application Research of Computers， 2008， 25（3）： 650-655.）

[15] ZHANG Y， HONG G. An IHS and wavelet integrated approach to improve pan-sharpening visual quality of natural colour IKONOS and QuickBird images [J]. Information Fusion， 2005， 6（3）： 225-234.

[16] 劉斌，祝青，胡福強，等.基于采樣二通道不可分小波的多光譜圖像融合[J].電子學報，2013，41（4）：710-716. （LIU B， ZHU Q， HU F Q， et al. Multi-spectral image fusion method based on sampled two channel non-separable wavelets [J]. Acta Electronica Sinica， 2013， 41（4）：710-716.）

[17] 張大明，阮祥偉，胡茂林，等.基于金字塔方法的SAR圖像與光學圖像的融合[J].雷達科學與技術，2005，3（6）：350-355. （ZHANG D M， RUAN X W， HU M L， et al. SAR/optical images fusion based on gaussian-laplacian pyramid algorithm [J]. Radar Science and Technology， 2005， 3（6）：350-355.）

[18] 劉斌，孫斌，余方超，等.基于不可分小波分解的圖像配準方法[J].計算機工程，2014，40（10）：252-257. （LIU B， SUN B， YU F C， et al. Image registration method based on nonseparable wavelet decomposition [J]. Computer Engineering， 2014， 40（10）： 252-257.）

[19] CHEN Q， MICCHELLI C A， PENG S， et al. Multivariate filter banks having matrix factorizations [J]. SIAM Journal on Matrix Analysis & Applications， 2003， 25（2）： 517-531.

[20] 劉貴喜.多傳感器圖像融合方法研究[D].西安：西安電子科技大學，2001.（LIU X G. Study of multisensor image fusion methods [D]. Xian： Xidian University， 2001： 39-46.）

[21] 趙麗玲，孫權森.通過直方圖中軸化提高融合圖像光譜保真度[J].計算機應用，2017，37（2）：559-563.（ZHAN L L， SUN Q S. Increasing fusion image spectral fidelity by using midway histogram equalization [J]. Journal of Computer Applications， 2017， 37（2）： 559-563.）

[22] 魏寧.多源圖像融合的理論與方法研究[D].西安：西安電子科技大學， 2013. （WEI N. Research on theory and method of multi-source image fusion [D]. Xian： Xidian University， 2013： 12-15.）

[23] 尹雯，李元祥，周則明，等.基于稀疏表示的遙感圖像融合方法[J].光學學報，2013，33（4）：259-266. （YI W， LI Y X， ZHOU Z M， et al. Remote sensing image fusion based on sparse representation [J]. Acta Optica Sinica， 2013， 33（4）： 259-266.）

[24] 強贊霞.遙感圖像的融合及應用[D].武漢：華中科技大學，2005.（QIAN Z X. Remote sensing image fusion and applications [D]. Wuhan： Huazhong University of Science and Technology， 2005： 36-44.）

[25] 楊勇，童松，黃淑英.快速離散Curvelet變換域的圖像融合[J].中國圖象圖形學報，2015，20（2）：219-228. （YANG Y， TONG S， HUANG S Y. Image fusion based on fast discrete Curvelet transform [J]. Journal of Image and Graphics， 2015， 20（2）： 219-228.）

[26] 張小利，李雄飛，李軍.融合圖像質量評價指標的相關性分析及性能評估[J].自動化學報，2014，40（2）：306-315. （ZHANG X L， LI X F， LI J. Validation and correlation analysis of metrics for evaluation performance of image fusion [J]. Acta Automatica Sinica， 2014， 40（2）： 306-315.）