崔曉榮，沈 濤，黃建魯，王 笛

基于BEMD改進的視覺顯著性紅外和可見光圖像融合

崔曉榮，沈 濤，黃建魯，王 笛

（火箭軍工程大學，陜西 西安 710025）

針對視覺顯著性融合過程中目標對比度低，圖像不夠清晰的問題，本文提出一種基于二維經(jīng)驗模態(tài)分解（bidimensional empirical mode decomposition，BEMD）改進的Frequency Tuned算法。首先利用BEMD捕獲紅外圖像的強點、輪廓信息用于指導生成紅外圖像的顯著性圖，然后將可見光圖像和增強后的紅外圖像進行非下采樣輪廓波變換（nonsubsampled contourlet transform，NSCT），對低頻部分采用顯著性圖指導的融合規(guī)則，對高頻部分采用區(qū)域能量取大并設定閾值的融合規(guī)則，最后進行逆NSCT變換生成融合圖像并進行主觀視覺和客觀指標評價，結果表明本文方法實現(xiàn)了對原圖像多層次、自適應的分析，相較于對比的方法取得了良好的視覺效果。

圖像融合；二維經(jīng)驗模態(tài)分解；顯著性圖；非下采樣輪廓波變換

0 引言

伴隨著傳感器技術的發(fā)展，多源圖像融合的種類和質量日益提高，融合后的圖像不僅要起到增強的目的，還需要重點突出關鍵信息，便于人眼和機器更好的甄別和探測。在多源圖像融合中，紅外和可見光圖像幾乎可以呈現(xiàn)出所有對象固有的特征，研究成果又具有代表性意義，其算法和模型往往可以作為其它多源融合的基礎。融合應用的又最為廣泛，已在導彈制導、紅外夜視、海關緝私、海上救援、森林消防、資源勘探、生物醫(yī)學等[1-2]領域得到廣泛和深入的研究。

融合過程依賴多尺度分解對不同頻率成分進行區(qū)分和篩選，因而推動著多尺度分析理論的發(fā)展，愈加靈活的局部多方向性多分辨率圖像表示方法及其改進方案層出不窮?；谳喞捌涓倪M的非下采樣輪廓波變化[3]、基于傳統(tǒng)Shearlet變化的非下采樣剪切波變化[4]（nonsubsampled shearlet transform，NSST）、基于二維經(jīng)驗模態(tài)分解[5]改進的快速自適應二維經(jīng)驗模態(tài)分解（fast and adaptive bidimensional empirical mode decomposition，F(xiàn)ABEMD）等多尺度分析工具已經(jīng)成功應用于圖像融合領域。其中NSCT不僅具有多分辨率、局部化、多方向、平移不變等優(yōu)良特性，還能夠進行很好的稀疏表示，可降低工程應用中對配準精度的要求，特別適合應用在傳感器信號處理中。

近年來，隨著機器學習的發(fā)展，視覺顯著性檢測逐漸成為研究熱點。視覺顯著性用于描述一幅圖像或一個場景中某些物體吸引人視覺注意的能力，這種能力差別在于其與周圍物體的差異性或者觀察者的主觀經(jīng)驗，通常由人眼注視點在此區(qū)域的密集程度表示[6]。視覺顯著性應用于圖像融合，已經(jīng)取得了良好的效果。Harel等[7]提出了一種新的自下而上的視覺顯著性模型，即基于圖的視覺顯著性（graph-based visual saliency，GBVS）。它包括兩個步驟：首先在某些特征通道上形成激活圖，然后以突出顯著性并允許與其它圖結合的方式對其進行規(guī)范化。該模型很簡單，并且在自然并行化的范圍內具有生物學上的合理性，但是提取出的特征對象邊界模糊，不能穩(wěn)固地突出顯示顯著區(qū)域，甚至遠離對象邊界。Hou等[8]提出的譜殘差（spectral residual, SR）方法，試圖將圖像轉移到頻域中去掉背景信息來進行顯著性檢測。Achanta等[9]提出的Frequency-Tuned（FT）顯著性計算方法，利用顏色和亮度輸出具有清晰定義顯著對象邊界的全分辨率顯著圖，且保留了更多的頻率內容，但是由于使用了高斯濾波器，在平滑圖像細節(jié)的同時也使得圖像邊緣變得模糊。

傅等人[10]用引導濾波器改進FT顯著性檢測算法，用圖像引導濾波器來代替原算法中的高斯核函數(shù)，并將其應用到紅外圖像顯著性檢測，有效突出了紅外目標和可見光背景信息。林等人[11]使用L0范數(shù)圖像平滑改進FT算法來提取紅外圖像的顯著性圖，并對可見光圖像進行對比度受限的自適應直方圖均衡化處理，對紅外圖像進行S型曲線對比度拉伸變換，最終得到細節(jié)信息更豐富，目標區(qū)域也更為突出的融合圖像。安影等[12]對基于FT算法的最大對稱環(huán)繞顯著性檢測（saliency detection using maximum symmetric surround，MSS）做暗抑制改進（dim-suppressed MSS，DSMSS），將其用于基礎層的融合上，并結合改進的顯著性檢測和引導濾波對細節(jié)層進行融合，取得了較好的融合效果。

Nunes等[13]提出的二維經(jīng)驗模態(tài)分解，BEMD是一維EMD[14]的二維拓展，主要用于圖像信號的多尺度分析，在圖像融合、光譜分析等方面成功運用。通過BEMD可以獲得原始圖像多尺度的二維固態(tài)模函數(shù)（bidimensional intrinsic mode function，BIMF）。它對于圖像中的細節(jié)信息，比如輪廓，強點，具有更強的描述能力，已在實際圖像處理中得到成功驗證[15]。其分解得到的多模態(tài)成分對于描述原圖像的全局和細節(jié)特性具有良好的互補性，算法提取的子圖像符合視覺感知的成分，具有獨特的優(yōu)勢。

針對上述問題，本文在Frequency-tuned顯著性檢測算法的基礎上引入二維經(jīng)驗模態(tài)分解對其進行改進，并利用灰度因子[16]來調節(jié)紅外圖像的整體質量，最后結合NSCT分解原理進行濾波器的選擇和參數(shù)的設置，以達到最佳的分解效果，并設計融合規(guī)則來完成系數(shù)融合和重構過程[17]。

1 基于二維經(jīng)驗模態(tài)分解改進的紅外圖像顯著性檢測算法

1.1 改進Frequency-tuned顯著性檢測模型

顯著圖依靠灰度信息將人眼對各個區(qū)域感興趣的程度進行量化，F(xiàn)T顯著性檢測依托人的視覺處理機制，對注意力集中的自下而上的顯著性進行處理，受到生物學概念的啟發(fā)，利用顏色特征的中央-周邊算子來得到顯著圖，從頻率角度分析圖像，轉化成低頻部分和高頻部分。低頻部分反映了圖像的整體信息，如物體的輪廓和基本的組成區(qū)域。高頻部分則反映了圖像的細節(jié)信息，如物體的紋理。顯著性區(qū)域檢測用到的更多的是低頻部分的信息，相比其他顯著性檢測原理，更加符合人的視覺體驗。

為了保留原始圖像最佳頻率特征，F(xiàn)T算法中使用高斯差分算子DoG來進行濾波，如下式：

式中：1和2的值決定帶通濾波器得到的空間頻率值是否合適，當1＞2時，低頻截止由1確定，而高頻截止由2確定。文獻[9]中將1驅動到無窮大，以保留所有其它頻率。為了消除高頻噪聲和背景紋理，使用5×5高斯核，最終高頻截止頻率使用給出的p/2.75。獲取圖像的顯著性公式為：

式中：是圖像平均特征向量；whc(,)是原始圖像經(jīng)過高斯模糊后對應(,)位置像素值，而||×||是L2范數(shù)，用歐式距離計算，同時計算Lab空間下每點與均值的歐式距離作為顯著值。

將DoG作為卷積核在平滑圖像細節(jié)的時候不可避免帶來邊緣模糊的現(xiàn)象，將其應用在FT顯著性檢測中，雖然依靠設置閾值突出了目標區(qū)域，但是顯著性區(qū)域邊界和顯著性對象質量有待進一步提高，本文利用二維經(jīng)驗模態(tài)分解對原圖像中輪廓、強點等較強的凸顯能力，對FT算法進行了改進：

式中：BEMD(,)是由二維經(jīng)驗模態(tài)分解得到的內蘊模式函數(shù)和殘余項得到的。

1.2 二維經(jīng)驗模態(tài)分解

BEMD具有二維圖像處理能力，經(jīng)過BEMD分解得到二維本征模態(tài)函數(shù)（BIMFs）和殘余分量（Residual），可設置參數(shù)實現(xiàn)對原圖像多層次、自適應的分析。對于圖像中的特殊信息，比如輪廓、強點等具有更強的描述能力，經(jīng)過分解得到如下公式：

式中：c(,)代表層BIMF，≤，r(,)為最終趨勢圖像。本研究為了更好利用BEMD分解之后得到的細節(jié)信息，對圖像(,)的分解設置為以下步驟：

1）輸入圖像，分解層數(shù)設置為（代表了BIMFs的個數(shù)）；

2）殘差分量設為，令0＝(,)；

3）在圖像平面中提取局部極大、極小值，使用3×3鄰域窗口方法從中獲取局部極大值矩陣和極小值矩陣；

6）更新c(,)＝－av，利用c精度，判斷篩選過程是否滿足迭代停止條件。若不滿足精度，則令＝c，進入篩選流程，返回步驟3）；若滿足精度則令R＝R-1－c，返回步驟3），繼續(xù)分解直到層。精度SD（standard deviation）[14]選取標準差準則如下：

式中：原圖像大小為×，(,)為像素位置。

在二維模態(tài)分解過程中，選取中間過程得到下式：

式中：為原始圖像；表示分解層數(shù)，隨著分解尺度的增加，余量層表示的基礎層信息會逐漸變模糊，細節(jié)層特征也逐漸消失，所以為了更好地指導顯著性圖，并不適宜取得過大。本文設計如下自適應加權規(guī)則來提取余量層和細節(jié)層信息：

式中：B為歸一化以后得到的融合信息，接著將圖像數(shù)組進行數(shù)值類型轉換即得到BEMD。分解得到的混合多模態(tài)成分對于描述原始圖像的全局和細節(jié)特性具有良好的互補性。

1.3 紅外圖像顯著性檢測

將FT算法、基于全局對比度的LC（spatial attention model contrast-LC）[18]算法和HC（histogram contrast）算法[19]、基于局部對比度的AC（achanta contrast）[20]算法、文獻[10]用引導濾波器改進FT顯著性檢測算法、文獻[11]使用L0范數(shù)圖像平滑改進的FT算法和本文算法進行對比實驗，并對顯著性檢測結果進行主觀視覺評價。

原始紅外圖像選自荷蘭TNO Human Factors Research Institute拍攝的“UN camp”，如圖1所示，

對比結果如圖2所示。

圖1 原始紅外圖像

圖2 不同顯著性算法檢測結果

從視覺效果上，本文顯著性方法處理后的效果明顯優(yōu)于經(jīng)典的FT算法，LC算法，HC算法。和文獻[10]方法和文獻[11]方法處理結果對比，目標人物輪廓更加清晰，亮度有所增加，對無用背景信息的抑制更加充分。

2 基于顯著性指導的NSCT融合

2.1 紅外圖像灰度因子增強處理

針對紅外圖像成像機理而導致對比度低，視覺效果模糊的問題[21]，本文對原紅外圖像進行NSCT分解之前先對紅外圖像進行預處理，采用如下處理方式：

式中：，wj為第j個像素對應的窗口，wj為圖像中第j個像素相對應的權值；Eg為原始灰度因子值；E(x, y)為導向濾波后的灰度值；J為處理后圖像；I為原始圖像；Imax為原紅外圖像最大灰度值，w∈(0,1)為修正系數(shù)。

經(jīng)過灰度因子處理以后，圖3(b)有效增強了紅外圖像對比度，也更好地保留了細節(jié)信息，和原圖像進行對比，可以明顯感覺到整幅圖像的“霧”明顯減少，景深更富有層次感，即紅外圖像得到增強。

2.2 基于NSCT的分解過程

NSCT分解由非下采樣塔式濾波器組（Nonsubsampled Pyramid Filter Bank，NSPFB）和非下采樣方向濾波器組（Nonsubsampled Directional Filter Bank，NSDFB）兩部分組成，第一步利用非下采樣金字塔（Nonsubsampled Pyramid，NSP）對圖像進行多尺度分解以有效捕獲圖形中的奇異點。第二步由二通道無下采樣扇形濾波器組進行方向分解，由二通道分解得到四通道子帶系數(shù)。NSCT獨到之處在于對相應的濾波器進行上采樣操作，消除了頻譜混疊現(xiàn)象，具有優(yōu)良的平移不變特性，而且分解得到的子帶圖像和原圖像大小相同。

如圖4，NSCT分解結構示意圖，表示出了NSCT分解的完整過程。原圖像首先經(jīng)非下采樣金字塔（NSP）分解為一個低頻子帶L1和一個高頻子帶B1；高頻子帶繼續(xù)依賴非下采樣方向濾波器組得到帶通方向子系數(shù)，目標物的輪廓和細節(jié)特征就包含在其中。

NSCT所依賴的二通道無下采樣塔形濾波器組和二通道無下采樣扇形方向濾波器組都滿足Bezout恒等式，如下式，保證了完全重構（Perfect Reconstruction，PR）條件：

式中：0、1和0、1為NSPFB的分析濾波器和綜合濾波器，0、1和0、1為NSDFB的分析濾波器和綜合濾波器。對濾波器0()和1()選擇對應的采樣矩陣進行上采樣和濾波操作，實現(xiàn)精確方向分解，提高了方向分辨率，并且沒有增加計算復雜度。

2.3 融合規(guī)則的設計

式中：IR＋VIS＝1。IR為(,)經(jīng)過歸一化以后得到的權重圖。

式中：(,)表示某像素點(,)鄰域窗口能量值，局部區(qū)域×取為3×3。(,)為(,)處像素點的灰度值，(,)為權值且離像素點(,)越近則權值越大，為設定的閾值，本文根據(jù)選取局部區(qū)域的窗長來確定。

3 實驗結果與分析

為了驗證本文所提算法的有效性，選用5組不同背景的紅外和可見光圖像進行對比實驗，這5組圖像均來自荷蘭TNO Human Factors Research Institute拍攝的公開數(shù)據(jù)集，且都經(jīng)過嚴格配準。第一組圖像是UN camp，第二組圖像是Duck，第三組是Quad，第四組圖像是Road，第五組圖像是Meting。

本文方法和DWT（discrete wavelet transform）、NSCT、NSCT-FT、文獻[10]基于引導濾波、文獻[11]基于L0范數(shù)圖像平滑以上5種算法進行對比實驗，如圖6，圖7，圖8，圖9，圖10所示。為了在不同分辨率和像素下驗證本文方法的處理效果，所選取的圖像分辨率和像素大小不同，其中Duck像素大小為246×178，UN camp像素大小為360×270，Road像素大小為505×501，Quad像素大小為632×496，Meting像素大小為768×576。

本文所有實驗均在MATLAB R2014a上仿真完成，計算機設備為筆記本W(wǎng)in8，處理器為Intel(R) Core(TM) i5-5200U CPU @2.20GHz，內存（RAM）4.00GB。DWT算法采用db4小波進行4層分解，融合方法采用簡單的低頻取平均值，高頻取大的融合規(guī)則，NSCT，NSCT-FT，文獻[10]以及文獻[11]融合過程中的高低頻系數(shù)同樣采用上述融合規(guī)則。BEMD分解過程中，精度SD設置為0.1，每層最大允許的迭代次數(shù)設置為3，若還是不滿足精度則直接跳出，使用跳出時的值，分解層數(shù)設置為3，順序統(tǒng)計濾波器的窗口大小設置為3×3。FT顯著性算法中，高斯濾波器窗口大小根據(jù)文獻[9]設置為5×5。文獻[10]方法中，引導濾波器參數(shù)按照原文中設置，窗口半徑＝8，修正參數(shù)eps＝100/(×)，其中×為圖像的大小。紅外圖像處理過程中，導向濾波器窗口半徑設置為＝2，eps＝0.12，修正系數(shù)＝0.4，用原始圖像作為引導圖像。本文方法中NSCT分解過程中濾波函數(shù)窗口設置3×3，閾值設置為4，設定分解層數(shù)為4，每層分解方向數(shù)為[2,3,3,4]，NSCT選擇“pyrexc”拉普拉斯濾波器，選擇方向濾波器“vk”。

圖5 基于多尺度變換的紅外與可見光圖像融合方案

針對不同分辨率的圖像，本文圖6～圖10(h)設置的分解和融合參數(shù)相同，其中圖6分辨率較低，圖7～圖10分辨率較高，將用于對比不同分辨率圖像處理效果。圖10像素值最大，通過改變部分參數(shù)，即調整BEMD分解過程中的精度SD，紅外圖像處理過程中導向濾波器窗口半徑和修正系數(shù)，將精度SD設置為0.2，導向濾波器窗口半徑設置為4，修正系數(shù)設置為0.6，得到融合圖像如圖10(i)所示，用來探究本文算法對像素值較大的圖像處理效果。

圖6 UN camp融合后圖像

圖7 Duck融合后圖像

圖8 Quad融合后圖像

圖9 Road融合后圖像

圖10 Meting融合后圖像

3.1 主觀質量評價

經(jīng)過對比觀察，以上6種融合算法都成功實現(xiàn)了信息融合。圖6經(jīng)過本文算法處理以后，“人”的亮度有所增加，輪廓信息在視覺上更加清晰明亮，房子的房頂、屋檐細節(jié)信息明顯，灌木叢的融合細節(jié)層次豐富、野地富有層次感，整幅圖形具有很好的視覺效果。圖7經(jīng)過和其它5種算法對比可以發(fā)現(xiàn)，“鴨子”及周圍較大的植物經(jīng)過顯著性增強以后亮度增加，且圖像細節(jié)紋理更加豐富，紅外顯著性目標得到很好凸顯，圖像更加清晰。圖8是在夜晚拍攝，通過對比可以發(fā)現(xiàn)行人和車輛等主要顯著性目標明顯變的明亮，且目標物的輪廓和細節(jié)信息偽影較少，甚至可以透過車窗看見車里面的物體，店門口的椅子和店鋪的門和窗戶更加清晰。圖9也是在夜間拍攝，主觀感受到整幅圖像清晰明亮，特別是路面和遠處的棚頂顯著性得到凸顯，通過和其它幾種算法在細節(jié)方面對比，可以發(fā)現(xiàn)車輛的輪廓和馬路兩邊的紋理也得到充分保留，圖9和圖8共同驗證了弱可見光條件下本文算法的有效性。圖10(h)房屋的輪廓和哨所的頂部較亮，較好地保持了文獻[10]和文獻[11]的顯著性效果，人的面部亮度有所增加，實現(xiàn)了對重要目標的顯著性增強，左上角樹枝的顯著性保持的也較好，相比文獻[11]，樹枝的殘影得到有效減弱，樹枝亮度得到保持。圖10(i)相較圖10(h)在視覺感受上整體差別不大，這說明本文算法在處理像素值較大的圖像時，處理效果趨向穩(wěn)定。

綜上，對于分辨率較高的圖7～圖10，本文算法顯著性增強的效果較為明顯。對于圖像分辨率較低的圖6，在保持相同的分解和融合參數(shù)下，處理效果得到部分改善，但是整幅圖像給人的視覺效果仍然欠佳，融合質量還有待進一步提高。本文算法在實現(xiàn)成功融合的基礎上，相較傳統(tǒng)的小波變化、NSCT，NSCT-FT有較大的進步，相較文獻[10]，文獻[11]改進的算法在部分特征和整體視覺效果上有所進步。

3.2 客觀質量評價

為了較全面評價本文算法在融合性能上處理效果，本文選用平均梯度[22]（Average Gradient，AG）、交叉熵（cross entropy，CE）、空間頻率[23]（Spatial Frequency，SF）、歸一化互信息[24]（normalized mutual information，NMI）、平均結構相似度[25]（Mean Structural SI Milarity，MSSIM），AB/F[26]，信息熵[27]（Information Entropy，IE），這7項評價指標來對融合過程進行客觀評價。其中CE用來衡量圖像間的差異，值越小則差異越??；MSSIM表明源圖像和融合圖像的相似度程度，值越高融合效果越好；AB/F說明融合圖像保留源圖像的邊緣信息情況，值越大融合效果越好。IE用來衡量信息豐富程度，熵值越大信息量越豐富；NMI體現(xiàn)了融合圖像對原始圖像信息的保持程度，值越大則獲取源圖像的信息越多；AG反映了融合圖像對微小細節(jié)反差和紋理變化的表達能力，值越大圖像越清晰；SF可度量融合圖像空間域的總體活躍度，值越大圖像越清晰。

表1、表2、表3得到了7種客觀評價指標的數(shù)值，最優(yōu)值用黑體標出。通過數(shù)值對比，本文方法在平均梯度、空間頻率、信息熵以及交叉熵這4個方面有所提高。5組圖像的平均梯度值和空間頻率值普遍都高，這和主觀觀察結果一致，本文方法處理過的圖像在紋理細節(jié)和清晰度方面優(yōu)于對比算法，其中第二組圖像和第三組圖像的平均梯度值變化幅度大于第一組圖像的變化幅度，從主觀視覺上看，圖6中“人”的亮度有所提升，體現(xiàn)了本文所用顯著性算法的有效性，同時因為背景信息景深過于復雜，所以平均梯度變化幅度較小。同樣在空間頻率方面本文算法得到的值也和主觀視覺觀察到的一致，從主觀視覺上觀察，也是更清晰更舒適。在衡量圖像信息豐富程度信息熵時，本文方法并沒有在3組圖像上都表現(xiàn)最優(yōu)，表現(xiàn)最優(yōu)的兩組圖像變化幅度也不是很大，說明本文方法在表現(xiàn)紅外和可見光圖像融合后整體信息豐富程度方面有缺陷，這是因為在用二維經(jīng)驗模態(tài)分解指導顯著圖的過程中，因為插值和迭代的原因，必然會損失部分背景信息，但是本文也較好地突出了顯著性目標，所以在信息豐富程度方面有待進一步提高，同樣原因本文方法在MSSIM，歸一化互信息方面表現(xiàn)的都不盡如意。在交叉熵的衡量上，卻取得了很好的效果，圖6交叉熵值接近對比的算法，圖7和圖8已經(jīng)明顯小于對比算法的值。對于圖10(h)，本文算法在平均梯度、空間頻率、歸一化互信息這幾個方面仍然優(yōu)于對比算法，從客觀質量評價角度證明本文方法對分辨率較高的圖像仍然由較好的處理效果。對圖10調整部分參數(shù)后得到客觀評價指標如表3中(i)，通過和(h)比較可以發(fā)現(xiàn)各個評價指標的數(shù)值比較接近，沒有出現(xiàn)某一個指標跳變的情況，這和主觀評價指標一致，即兩幅圖像在主觀視覺上相差不大。

表1 指標1～4客觀評價結果

表2 指標5～7客觀評價結果

表3 圖10客觀評價結果

4 結語

基于視覺顯著性的紅外和可見光圖像融合，符合人類視覺系統(tǒng)（Human Visual System，HVS）的主觀感受。本文依據(jù)經(jīng)典的FT方法以及部分基于FT改進的算法突出顯著性目標亮度、融合圖像清晰度不足的問題，提出依靠二維經(jīng)驗模態(tài)分解來捕捉紅外圖像的強點和輪廓特征。最后對融合結果進行主觀和客觀評價，主觀評價結果基本和客觀評價指標一致，反應了本文改進顯著性融合算法的有效性，但是本文的部分客觀評價指標數(shù)值有待進一步提高，二位經(jīng)驗模態(tài)分解過程中存在插值和迭代過程，因此算法的時間復雜度較大，后續(xù)研究中將會在改進插值方式，提高分解效率方面開展工作。

[1] MA C, MIAO Z, ZHANG X P, et al. A saliency prior context model for real-time object tracking[J]., 2017, 19(11): 2415-2424.

[2] HU W, YANG Y, ZHANG W, et al. Moving Object Detection Using Tensor Based Low-Rank and Saliently Fused-Sparse Decomposition[J]., 2016, 7149(c): 1-1.

[3] Da Cunha A L, ZHOU Jianping, Do M N. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101.

[4] KONG W, ZHANG L, LEI Y. Novel fusion method for visible light and infrared images based on nsst-sf-pcnn[J].2014, 65: 103-112.

[5] BHUIYANS M A , ADHAMI R R , KHAN J F. Fast and Adaptive bidimensional empirical mode decomposition using order-statistics filter based envelope estimation[J]., 2008(1): 1-18.

[6] A Toet. Computational versus psychophysical bottom-up image saliency: A comparative evaluation study[J].2011, 33(11): 2131-2146.

[7] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[C]//, 2006: 545-552.

[8] HOU X, ZHANG L. Saliency detection: A spectral residual approach[C]//, 2007: 1–8.

[9] ACHANTA R, HEMAMI S, ESTRADA F, et al.Frequency-tuned salient region detection[C]//2009, 2009: 1597-1604.

[10] 傅志中, 王雪, 李曉峰, 等. 基于視覺顯著性和NSCT的紅外與可見光圖像融合[J]. 電子科技大學學報, 2017, 46(2): 357-363.

FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Infrared and Visible Image Fusion Based on Visual Saliency and NSCT[J]., 2017, 46(2): 357-363.

[11] 林子慧, 魏宇星, 張建林, 等. 基于顯著性圖的紅外與可見光圖像融合[J]. 紅外技術, 2019, 41(7): 640-646.

LIN Zihui, WEI Yuxin, ZHANG Jianlin, et al. Image Fusion of Infrared and Visible Images Based on Saliency Map[J]., 2019, 41(7): 640-646.

[12] 安影, 范訓禮, 陳莉, 等. 結合FABEMD 和改進的顯著性檢測的圖像融合[J]. 系統(tǒng)工程與電子技術, 2020, 42(2): 292-300.

AN Ying, FAN Xunli, CHEN Li, et al. Image fusion combining with FABEMD and improved saliency detection[J]., 2020, 42(2): 292-300.

[13] Nunes J C, Bouaoune Y, Delechelle E, et al. Image analysis by bidimensional empirical mode decomposition[J]., 2003, 21(12): 1019-1026.

[14] HUANG N E, SHEN Z, LONG S R, et al. The empirical mode de-composition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[J]., 1998, 454(1971): 903-995.

[15] Bidimensional empirical model decomposition method for image processing in sensing system[J]., 2018, 68: 215 -224.

[16] 王笛, 沈濤, 孫賓賓, 等. 基于大氣灰度因子的紅外圖像增強算法[J]. 激光與紅外, 2019, 49(9): 1135-1140.

WANG Di, SHEN Tao, SUN Binbin, et al. Infrared image enhancement algorithm based on atmospheric gray factor[J]., 2019, 49(9): 1135-1140.

[17] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[18] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]//14, 2006: 815-824.

[19] CHENG Mingming, Niloy J Mitra, HUANG Xiaolei,et al. Global Contrast based Salient Region Detection[J]., 2015, 37: 569-582.

[20] Achanta R, Estrada F, Wils P, et al. Salient region detection and segmentation[C]//, 2008: 66-75.

[21] 楊愛萍, 王海新, 王金斌, 等. 基于透射率融合與多重導向濾波的單幅圖像去霧[J]. 光學學報, 2019, 38(12): 104-114.

YANG Aiping, WANG Haixin, WANG Jinbin, et al. Image Dehazing Based on Transmission Fusion and Multi-Guided Filtering[J]., 2019, 38(12): 104-114.

[22] CUI G, FENG H, XU Z, et al. Detail preserved usion of visible and infrared images using regional saliency extraction and multi-scale image decomposition[J]., 2015, 341: 199-209.

[23] Piella G, Heijmans H. A new quality metric for image fusion[C]//, 2003: 173-176.

[24] QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]., 2002, 38(7): 313-315.

[25] WANG Z, A C Bovik, H R Sheikh, et al. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[26] Xydeas CS, Petrovic V. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

[27] J W Roberts, J Van Aardt, F Ahmed. Assessment of image fusion procedures using entropy, image quality, and multispectral classification[J]., 2008, 2(1): 023522.

Infrared and Visible Image Fusion Based on BEMD and Improved Visual Saliency

CUI Xiaorong，SHEN Tao，HUANG Jianlu，WANG Di

(Rocket Force University of Engineering, Xi’an 710025, China)

Aiming at the problems of low target contrast and insufficiently clear images in the process of visual saliency fusion, this paper proposes an improved frequency Tuned algorithm based on bi-dimensional empirical mode decomposition (BEMD). First, the strong points and contour information of the infrared image captured by BEMD is used to guide the generation of saliency maps of the infrared image. Then, the visible image and the enhanced infrared image are subjected to a non-subsampled contourlet transform(NSCT). The saliency map-guided fusion rule is used for the low-frequency part. The high-frequency part is used to set the area energy to be large and rely on the threshold value rules. Finally, the inverse NSCT transform is used to generate a fused image and subjective visual and objective index evaluations are performed to it. The results show that the method in this paper achieves a multi-level and adaptive analysis of the original image, and achieves good vision compared to the contrast methods.

images fusion, bidimensional empirical mode decomposition, saliency map, nonsubsampled contourlet transform

TP391.41

A

1001-8891(2020)11-1061-11

2020-01-23；

2020-10-28.

崔曉榮（1995-），男，碩士研究生，主要從事紅外圖像處理方面研究。E-mail: cur1601645438@163.com。