苑玉彬，彭 靜，沈 瑜，陳小朋

〈圖像處理與仿真〉

基于Tetrolet變換的近紅外與彩色可見光圖像融合算法研究

苑玉彬，彭 靜，沈 瑜，陳小朋

（蘭州交通大學 電子與信息工程學院，甘肅 蘭州 730070）

針對近紅外與彩色可見光圖像融合后出現(xiàn)的對比度降低、細節(jié)丟失、顏色失真等問題，提出一種基于Tetrolet變換和自適應脈沖耦合神經網絡PCNN（PCNN-Pulse Coupled Neural Network）的近紅外與彩色可見光圖像融合的新算法。首先將彩色可見光源圖像轉換到各個分量相對獨立的HSI空間（HSI-Hue Saturation Intensity)，將其亮度分量與近紅外圖像進行Tetrolet分解，對分解后得到的低頻系數，提出一種從給定不完備數據集中尋找潛在分布最大似然估計的期望最大算法融合規(guī)則；對分解后得到的高頻系數，采用一種Sobel算子自動調節(jié)閾值的自適應PCNN模型作為融合規(guī)則；處理后的高低頻圖像經Tetrolet逆變換作為融合后的亮度圖像，提出一種飽和度分量自適應拉伸方法來解決圖像飽和度下降的問題。處理后的各個分量反向映射到RGB空間，完成融合。將本文算法與多種高效融合算法進行對比分析，實驗表明，本方法取得的圖像，細節(jié)清晰，色彩對比度得到提升，在圖像飽和度、顏色恢復性能、結構相似性和對比度等客觀評價指標上均具有明顯的優(yōu)勢。

彩色圖像融合；Tetrolet變換；期望最大算法；自適應脈沖耦合神經網絡

0 引言

圖像融合是將多幅具有不同特征的源圖像進行融合，得到源圖像的所有重要特征，能夠降低信息的不確定性，擴展了圖像內容，更適用于后續(xù)的識別處理和研究。近紅外與彩色可見光圖像融合技術能將近紅外傳感器獲取的人眼無法觀測到的細節(jié)信息同彩色可見光圖像中的場景信息等結合起來，因此本研究在軍事和民用領域具有重要意義[1-3]。

在近紅外與可見光圖像的融合方法探索中，基于多尺度幾何分析的方法應用最為廣泛。2010年，Jens Krommweh[4]等提出了Tetrolet變換，它是一種具有良好的方向性結構的稀疏圖像表示方法，能夠較好地表達圖像的高維紋理特征，并具有高稀疏性，更適合在圖像融合中作為融合框架。LIU[5]等利用凸度圖在兩幅原始圖像中檢測感興趣區(qū)域ROI（ROI-Region of interest），然后在兩幅紅外圖像上進行多尺度變換。根據ROI檢測將變換得到的子帶系數分為4類，并對每種系數進行了融合規(guī)則的定制。Jie[6]等應用基于非下采樣剪切變換和熱源濃度比的融合方法，克服了方向分解的局限性，具有更好的平移不變性。通過變換將輸入分解為兩部分，在低頻部分采用熱源濃度比和空間頻率以盡可能多地保留重要信息，信息熵作為高頻融合規(guī)則。Nemalidinned[7]等對分解后的低頻分量采用PCNN進行融合，通過拉普拉斯激勵修正神經網絡經，以保持兩個源圖像中的最大可用信息。高頻采用局部對數Gabor進行融合。Cheng[8]等將PCNN與奇異值分解應用到圖像融合中，使用兩種分量的圖像平均梯度分別作為刺激源。將局部結構信息算子作為增強融合精度的自適應連接強度，對每個源圖像進行局部奇異值分解，自適應地確定迭代次數。Zhang[9]等將Tetrolet分解后的低頻采用平均融合，高頻采用區(qū)域能量最大值融合分量。Zhou[10]等將Tetrolet分解后的低通子帶系數采用局部區(qū)域梯度信息方法進行融合，具有更豐富的特征和更多的信息量。馮鑫[11]將Tetrolet分解后的低頻采用學習字典，高頻采用PCNN方法進行融合。這些方法均取得了良好的融合結果。

本文根據HSI色彩空間中3個分量不相關的特征，提出一種新的融合方法。首先采用標準模型法將彩色可見光圖像轉到HSI空間，對亮度分量和近紅外圖像進行Tetrolet分解。采用一階范數最大值進行模板的選擇，解決了原始的Tetrolet變換降低高頻系數取值范圍的問題，使分解后的高頻分量中包含了更多的輪廓信息。從給定不完備數據集中尋找潛在分布最大似然估計，提出了一種基于最大期望算法的低頻分量融合規(guī)則。為了更好地保留融合圖像的細節(jié)信息，在高頻分量融合時采用選取點火次數最多的神經元所對應的系數的PCNN網絡作為高頻分量，并利用Sobel算子自適應地控制PCNN的閾值。經過Tetrolet逆變換得到新的亮度分量。最后再將3個分量反向映射到RGB空間（RGB-Red Green Blue），完成處理。

1 算法思想

1.1 HSI空間映射

HSI空間為另外一種色彩描述方法，將顏色分成了如下3個特征：第一個特征是色調或色度（Hue），可表示RGB等各種顏色的種類；第二個特征是用來表示顏色的鮮艷程度的，即飽和度或彩度（Saturation）；第3個特征是用來表明明暗的，稱為明度或亮度（Intensity）。同時這3個通道具有較強的獨立性并且同圖像的彩色信息無關，因此這些特點使得HSI模型廣泛應用于彩色圖像的特性檢測與處理[12]。

本文采用標準模型法對圖像完成空間轉換，方式具體如下：

＝＋2p, if＜0 (2)

＝Max－Min (3)

＝(Max＋Min)/2 (4)

式中：、、均為歸一化數據。

1.2 Tetrolet變換

Tetrolet變換是一種Haar類的小波變換，能夠根據圖像特征自適應的調整四拼版的填充方式進行分解，以達到最優(yōu)解，比傳統(tǒng)的多尺度變換能夠獲得更多的細節(jié)信息[4]。具體如下：

Step 2 采用一階范數的最大值進行濾波替換原始的一階范數的最小值進行濾波，以期得到更多的邊緣和輪廓信息。選擇公式為：

Step 3 將低頻系數重新排列，保留最優(yōu)模板，得到的低頻系數重新進行Step 1，直至分解完成。

改進前后的對比如圖1所示。由圖可知改進的Tetrolet變換能夠保存更多的輪廓和邊緣細節(jié)，對融合處理更有利。

圖1 原始Tetrolet變換和改進的Tetrolet變換效果對比圖

1.3 PCNN模型

PCNN由含有輸入域、調制域和脈沖產生器的多個神經元構成，圖像的每個像素同PCNN神經元一一對應，輸出狀態(tài)有點火和不點火2種[13]。簡化模型如圖2所示。

圖2 PCNN單個神經元簡化模型圖

在PCNN的處理中，輸入域接收外界輸入S和前一級反饋輸出F，接收到的信號在調制域經過非線性調制得到活動信號U，脈沖產生器比較U與閾值的大小，U大于時，產生脈沖Y＝1，點火一次，接著快速增加，直到當大于U時，輸出Y＝0，形成脈沖信號Y。

前期的圖像融合算法研究中通常直接設定PCNN模型的閾值為固定值，本文提出采用Sobel算子自適應地控制PCNN的閾值[14]，具體如下：

式中：(,)為高頻子帶系數。

2 基于Tetrolet變換的近紅外與彩色可見光圖像融合算法

在對Tetrolet變換和自適應PCNN模型進行改進的基礎上，并結合HSI圖像空間各個分量相互獨立的特點，提出了一種新的融合算法，具體步驟如下：

1）采用標準模型法將彩色可見光圖像VI映射到HSI空間；

2）對亮度分量b和近紅外圖像i分別進行Tetrolet變換，低頻系數bl與il采用期望最大算法進行融合，得到fl；對高頻系數bh與ih采用改進的自適應PCNN進行融合，得到fh。對fl與fh進行Tetrolet逆變換，得到f作為新的亮度分量；

3）對飽和度S分量進行自適應非線性拉伸，得到S￠作為新的飽和度分量；

4）將新的亮度分量f、拉伸后的飽和度分量S￠和原始色度分量H反向映射到RGB空間，完成處理。

本文融合流程如圖3所示。

2.1 基于期望最大算法的低頻系數融合規(guī)則

本文通過從給定不完備數據集中尋找潛在分布最大似然估計，將期望最大算法運用到低頻系數圖像的融合中[15]。假定待融合的幅低頻圖像I,∈{1, 2, …,}來自一幅未知圖像()，說明數據集是不完備的。l的一個通用模型為：

I(,)＝(,)()＋(,) (9)

式中：(,)∈{－1, 0, 1}為傳感器選擇性因子；(,)為位置(,)處的隨機噪聲。當圖像不具備同樣的形態(tài)時，使用傳感器選擇性因子：

在低頻融合中，對局部噪聲(,)使用個高斯概率密度函數進行表示：

式中：,k(,)表示局部噪聲的期望值；,k(,)表示局部噪聲的標準差。

圖3 本文算法融合流程圖

低頻系數的融合步驟如下：

Step 1 對圖像數據進行標準化和歸一化處理：

I￠(,)＝[I(,)－](12)

式中：為整幅圖像的均值；為灰度級。

Step 2 設定各參數初始值，假設融合后的圖像為()：

式中：w為待融合圖像的權系數。

像素鄰域窗口＝×的總體方差為：

混合高斯模型的初始化方差為：

Step 3 計算在參數給定情況下，混合高斯分布第項條件概率密度：

Step 4 更新參數，的值在{－1, 0, 1}中選擇以使式(18)的值最大：

Step 5 更新真實場景()：

Step 6 更新噪聲的模型參數：

2.2 基于改進自適應PCNN的高頻融合規(guī)則

PCNN的點火次數同外界刺激成正相關，表明包含細節(jié)信息的多少，因此取點火次數大所對應的Tetrolet系數。當＝時，迭代停止，取初試值為0,l(,)＝0，0,l(,)＝0，0,l(,)＝0，得到融合后的系數F為：

2.3 圖像飽和度拉伸

若將處理后的各個分量直接轉到RGB空間，將會出現(xiàn)顏色偏淡、對比降低、色彩不突出等問題，導致失真。為了達到提升對比度的目的，并且能夠在不同情境下達到最優(yōu)拉伸效果，本文提出了一種自適應對飽和度進行非線性拉伸的方法，具體如下：

式中：Max為分量像素最大值；Min為分量像素最小值。拉伸前后效果對比圖如圖4所示。

3 實驗結果與分析

為了驗證本文方法的效果，選取了3種高效算法與本文進行對比，分別為低頻取均值高頻采用區(qū)域能量最大融合規(guī)則的離散小波分解方法（DWT-Discrete wavelet transform，DWT）、低頻分量采用期望最大高頻分量采用固定閾值的PCNN的非下采樣輪廓波分解方法（NSCT-Nonsampling contourlet transform，NSCT-PCNN）[16]、低頻分量采用均值高頻分量采用固定閾值的PCNN的Tetrolet分解方法（Tetrolet-PCNN）[11]。其中DWT分解層數為4層；NSCT-PCNN分解層數為4層，分解方向分別為4、8、8、16；Tetrolet-PCNN方法中分解層數設為4層，連接強度設為0.118，輸入衰減系數設為0.145，連接幅值設為135.5；本文方法中，Tetrolet變換的分解層數為4層。運行環(huán)境為：Intel i7、3.2GHz六核處理器，1T硬盤，32G內存，Windows10操作系統(tǒng)，MATLAB2018a仿真平臺。本文選取了分辨率為1024×680的多組圖像進行比較，分別從主觀與客觀上對實驗結果做了對比。主觀對比如圖5和圖6所示。

圖5和圖6中的圖(a)均是彩色可見光圖像，主要捕捉場景中顏色信息和空間細節(jié)，如房屋、草地等。圖(b)均為紅外光圖像，其主要關注點為熱源物體，比如人體。圖(c)～圖(f)分別為各種方法的融合結果。由圖5和圖6知，DWT方法邊緣較為模糊，顏色丟失最多，融合質量最差；NSCT-PCNN方法能夠提取源圖像中的空間細節(jié)信息，但是場景中的人物區(qū)域邊緣還是較為模糊；Tetrolet-PCNN方法具有較好的輪廓和邊界，但是色彩對比度與本文方法相比較還有差距；通過以上比較可知，本文方法能夠更好地保留空間細節(jié)信息以及目標邊緣信息，邊緣與房屋紋理細節(jié)最清晰，色彩對比度更適合視覺感受，綜合效果更好。

本文選用圖像信息飽和度指標MI、盲評估指標、圖像結構相似性評價指標SSIM（Structural similarity index）和圖像對比度增益g四種評價指標對所有融合結果進行客觀評價。MI用來衡量原始信息在最終融合圖像中的保留情況，值越大表明保留信息越多，效果越好；盲評估指標用于評估融合算法的顏色恢復性能，越小，融合算法的效果越好；結構相似性SSIM的范圍為0到1。圖像完全相同時，SSIM值為1；圖像對比度增益g為融合圖像和源圖像之間的平均對比度差，能夠更直觀地展示出圖像對比度差異。表1和表2給出了兩組圖像經過各種方法對比后的指標數據。

圖5 第一組圖像融合結果

圖6 第二組圖像融合結果

表1 第一組圖像客觀評價指標

表2 第二組圖像客觀評價指標

由圖5和圖6及表1和表2可知，與已有方法相比，本文方法在圖像飽和度、顏色恢復性能、結構相似性和對比度等客觀評價指標上均具有明顯的優(yōu)勢。

4 總結

本文提出一種新的融合算法。為了盡可能多保留顏色信息，減少顏色信息的失真，將彩色可見光圖像轉到3個分量互不相關的HSI色彩空間，對3個分量分開處理。同時，改進了Tetrolet變換的分解框架，使分解后的高低頻系數更易于處理，融合圖像的質量得到了大幅度提升。先將亮度分量與近紅外圖像分別進行改進的Tetrolet分解，低頻采用期望最大方法進行融合，高頻采用改進的自適應PCNN方法進行融合，Tetrolet反變換得到的圖像作為新的亮度分量。將新的亮度分量和拉伸后的飽和度分量與原始色度分量反映射到RGB空間，完成處理。實驗表明，本文獲得的圖像視覺效果更好，色彩對比度高，細節(jié)豐富，更有利于后續(xù)處理。

[1] Wenshan D, Duyan B, Linyuan H, et al. Infrared and visible image fusion method based on sparse features[J]., 2018, 92: 372-380.

[2] LI J, SONG M, PENG Y. Infrared and visible image fusion based on robust principal component analysis and compressed sensing[J]., 2018, 89: 129-139.

[3] LIU C H, QI Y, DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain[J]., 2017, 83: 94-102.

[4] Krommweh J. Tetrolet transform: A new adaptive Haar wavelet algorithm for sparse image representation[J]., 2010, 21(4): 364-374.

[5] LIU H X, ZHU T H, ZHAO J J. Infrared and Visible Image Fusion Based on Region of Interest Detection and Nonsubsampled Contourlet Transform[J]., 2013, 18(5): 526-534.

[6] KONG W. The Infrared and Visible Light Image Fusion Based on the Non-subsample Shearlet Transform and Heat Source Concentration Ratio[C]//(INCoS), 2016: 544-547.

[7] Nemalidinne SM, Gupta D. Nonsubsampled contourlet domain visible and infrared image fusion framework for fire detection using pulse coupled neural network and spatial fuzzy clustering[J]., 2018, 101: 84-101.

[8] CHENG B, JIN L, LI G. A novel fusion framework of visible light and infrared images based on singular value decomposition and adaptive DUAL-PCNN in NSST domain[J]., 2018, 91: 153-163.

[9] ZHANG D X, YUAN B H, ZHANG J J. Research on Polarization Image Fusion Using Tetrolet Transform[J]., 2014, 713-715: 1859-1862.

[10] ZHOU X, WANG W. Infrared and Visible Image Fusion Based on Tetrolet Transform[C]//2015,, 2015: 701-708.

[11] 馮鑫. Tetrolet框架下紅外與可見光圖像融合[J]. 光子學報, 2019, 48(2): 76-84.

FENG X. Fusion of Infrared and Visible Images Based on Tetrolet Framework[J]., 2019, 48(2): 76-84.

[12] 孔韋韋, 雷英杰, 雷陽, 等. 基于改進型NSCT變換的灰度可見光與紅外圖像融合方法[J]. 控制與決策, 2010, 25(11): 1607-1612.

KONG W W, LEI Y J, LEI Y, et al. Fusion method for gray-scale visible light and infrared images based on improved NSCT[J]., 2010, 25(11): 1607-1612.

[13] Boyang C, Longxu J, Guoning L. Infrared and visual image fusion using LNSST and an adaptive dual-channel PCNN with triple-linking strength[J]., 2018, 310: 135-147.

[14] CHEN W, YU Y J, SHI H. An Improvement of Edge-Adaptive Image Scaling Algorithm Based on Sobel Operator[C]//2017 4th, 2017: 183-186.

[15] Mittel V, Singh D, Saini L M. A comparative analysis of supervised land cover classification using multi-polarized PALSAR EM image fusion[C]//, 2015: 368-393.

[16] 榮傳振, 賈永興, 楊宇, 等. NSCT域內基于自適應PCNN的圖像融合新方法[J]. 信號處理, 2017, 33(3): 280-287.

RONG C Z, JIA Y X, YANG Y, et al. A Novel Image Fusion Algorithm Using Adaptive PCNN in NSCT Domain[J]., 2017, 33(3): 280-287.

Fusion Algorithm for Near-Infrared and Color Visible Images Based on Tetrolet Transform

YUAN Yubin，PENG Jing，SHEN Yu，CHEN Xiaopeng

(School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China)

To address the problems of low contrast, loss of detail, and color distortion after near-infrared and color visible image fusion, an algorithm for near-infrared and color visible image fusion based on the Tetrolet transform and pulse coupled neural network (PCNN) is proposed. First, the color visible light source image is transformed into a hue saturation intensity space, where each component is relatively independent, and its brightness component is decomposed into a near-infrared image by Tetrolet decomposition. Subsequently, a fusion rule for expectation maximization likelihood estimation of the potential distribution from a given incomplete dataset is proposed. A self-adaptive PCNN model with a Sobel operator that automatically adjusts the threshold is used as a fusion rule, and the processed high-frequency and low-frequency images are fused by Tetrolet inverse transformation as brightness images. An adaptive stretching method for the saturation component is proposed to solve the problem of image saturation decline. The processed components are mapped back to red–green–blue space to complete the fusion. The proposed algorithm was compared with several efficient fusion algorithms. The experimental results show that the image obtained by this method has clear details and improved color contrast. It has obvious advantages in image saturation, color restoration performance, structural similarity, and contrast.

color image fusion, Tetrolet transform, expectation maximization algorithm, adaptive pulse coupled neural network

TP391

A

1001-8891(2020)05-0223-08

2019-10-11；

2020-03-06.

苑玉彬（1995-），男，山東菏澤人，碩士研究生，主要研究方向為圖像處理與計算機視覺。E-mail：164821193@qq.com。

國家自然科學基金項目(61861025，61562057，61663021，61761027，51669010)，長江學者和創(chuàng)新團隊發(fā)展計劃(IRT_16R36)，光電技術與智能控制教育部重點實驗室（蘭州交通大學）開放課題（KFKT2018-9），蘭州市人才創(chuàng)新創(chuàng)業(yè)項目（2018-RC-117）。