王麗麗，劉 輝，郭肇祿

(江西理工大學 理學院，江西 贛州 341000)

0 引 言

日常生活中，以圖像形式存在的視覺信息是主要的信息來源。如何從多幅不同圖像中獲取同一場景真實可靠的信息是圖像融合的主要任務。通俗地講，圖像融合[1]指的是同一場景下由一定設備獲取的兩幅或者多幅圖像經(jīng)過特定的融合規(guī)則處理得到更有利于人或計算機后續(xù)處理的圖像。

隨著圖像(信號)表示理論的發(fā)展，圖像融合技術經(jīng)歷了由單一到復雜的過程。在這過程中，出現(xiàn)了兩次較重要的飛躍：分別是多尺度幾何分析方法的引入和以神經(jīng)網(wǎng)絡為代表的深度學習方法的引入。

總體上，圖像融合方法可劃分為三個級別：像素級[2]、特征級和決策級融合。張繼賢[3]分別從像素級、特征級和決策級三個層次對遙感圖像融合的現(xiàn)狀進行總結并討論分析其未來的發(fā)展趨勢和挑戰(zhàn)。針對不同設備獲取的各種圖像，又可將圖像融合技術劃分為遙感圖像融合技術、醫(yī)學圖像融合技術、攝影圖像融合技術以及可見光和紅外圖像融合技術。Zhang等人[4]從多尺度分解的角度對圖像融合方法做了最早的總結。在2007年，Goshtasby[5]對當時現(xiàn)存的圖像融合新技術進行了分類概括。另外針對具體應用領域的圖像融合方法的總結分別在之后的幾年里得到了實現(xiàn)。2016年，Hassan[6]著重在像素級上對遙感圖像融合方法進行概括。在醫(yī)學圖像融合領域，分別有Alex[7]和Du[8]從不同成像模式和圖像融合的詳細過程進行了概述。針對可見光和紅外圖像的融合，Jin[9]和Ma[10]等人對各種方法以及應用做了詳細分類和總結，后者還在文章中介紹了作為融合前提的配準操作。在攝影領域，Liu[11]對于多聚焦圖像的融合方法進行了更細致的劃分，并基于30對實驗圖像和8種質(zhì)量評價準則對18種代表性融合方法進行比對分析，為后面多聚焦圖像融合的研究提供了參考。在圖像融合技術逐漸增強的同時，評價其質(zhì)量好壞的標準也在逐漸得到完善。針對不同類型的融合圖像，評價標準又有通用性評價標準和特有評價標準之分。

圖像融合體系又可大致分為融合方法以及融合質(zhì)量評價兩方面。融合方法的發(fā)展過程主要可分為以下幾個階段：單個多尺度幾何分析方法[12]階段、混合多尺度幾何分析方法[13]階段、基于信號理論的稀疏分解方法[14]階段以及多尺度幾何分析和稀疏表示相結合[15]的方法階段。另外，在稀疏表示方法的應用期間，稀疏字典的構建又經(jīng)歷了從自適應能力較差到相對較強的變化。隨后，隨著深度學習[16]研究的深入，其對應的方法被應用于圖像融合中并得到更符合人眼觀察的融合圖像。伴隨融合方法的改進，融合質(zhì)量評價指標也更加多樣化。同時，質(zhì)量評價指標在效率和反映的信息量上也得到提升。

文中所做的主要工作有：

(1)對現(xiàn)有的主要的幾個圖像融合應用領域的方法做了較為全面的總結；

(2)將圖像融合方法根據(jù)處理對象劃分為變換域和空間域兩類，并進一步解釋兩類方法的核心思想和區(qū)別；

(3)列舉出較全面的圖像融合的評價標準并對其做細致分類。

文中主要按以下結構對圖像融合方法進行概括：第二部分歸納總結了近年來圖像融合領域的新方法及其優(yōu)缺點，并重點對比分析不同方法對應的融合規(guī)則。第三部分從主觀、客觀兩方面對圖像融合質(zhì)量的評價標準進行歸納，重點列舉實驗中常用到的客觀評價標準。第四部分總結了目前圖像融合技術的主要應用領域。最后針對現(xiàn)有的圖像融合方法存在的問題進行了歸納總結，并對這些問題對未來發(fā)展方向做出展望。

1 圖像融合方法分類

圖像融合方法主要分為兩類：基于變換域的圖像融合方法和基于空間域的圖像融合方法。下文分別對上述兩種方法做詳細介紹。

1.1 基于變換域的圖像融合方法

圖像融合在變換域上進行處理時，主要可分為三個主要步驟[17]：分解、融合和重構?，F(xiàn)將基于多尺度變換的圖像融合方法主要步驟進行歸納，如圖1所示。

圖1 基于多尺度變換的圖像融合過程框架

變換域方法具體可劃分為基于金字塔變換[18-21]的方法、基于各種“波”變換[22-31]的方法以及兩種方法與其他方法結合在一起的方法。其中關于金字塔類和“波”類變換的具體分類可見表1。

表1 基于變換域的融合方法分類

1.1.1 基于金字塔變換的方法

Burt[18]首次提出拉普拉斯金字塔(Laplacian pyramid，LP)，并用于圖像融合。Toet[19]提出比例低通金字塔(ratio of low-pass pyramid，ROLP)方法得到的融合圖像更加符合人眼視覺系統(tǒng)。Toet于同年又提出形態(tài)學金字塔[20](morphological pyramid，MP)的概念并用于融合圖像，使得圖像中滿足結構元素的對象輪廓保持不同分辨率上的良好表示。另外，針對融合過程中引入的失真和偽影現(xiàn)象，V. Petrovic提出梯度金字塔[21]結構，構建出融合梯度圖，可顯著降低融合引入的偽影數(shù)量和失真。另外，梯度金字塔的構建引入了方向性，彌補了前面各種金字塔缺乏表征方向性特征的缺點。

1.1.2 基于各種“波”變換的方法

利用不同波類型的基函數(shù)對圖像進行變換能很好地彌補金字塔變換融合圖像時出現(xiàn)的低對比度和輪廓信息表示不準確等缺陷。下面對不同類型“波”變換在圖像融合中的應用進行描述。

離散小波變換對圖像離散化處理，能得出圖像在不同尺度上的分解。晁銳等[22]利用多個小波基函數(shù)，使得融合圖像具有正交性、對稱性和緊支撐等特性。平穩(wěn)小波變換[24]中利用上采樣操作取代離散小波變換中的下采樣操作，從而達到消除因離散小波變換而生成的平移變化，同時消除因平移變化產(chǎn)生的偽影。雙樹復小波變換[25]在小波的基礎上提供了明顯更緊湊的變換域表示，不僅實現(xiàn)了近平移不變性，還提供了改進的方向性。

Chen等[26]首次將脊波變換作為圖像融合的工具，在小波的基礎上，結合Radon變換，使得融合結果對具有線奇異性對象的表示更優(yōu)。曲波變換[27]則可以直線段近似逼近曲線的特點使得具有曲線特征的對象在融合結果中得到很好地表示。

輪廓波變換[28]主要由LP濾波器和方向濾波器組成。LP變換完成圖像的各個尺度表示，方向濾波器在各個尺度上再對圖像進行分解，從而連接LP變換捕獲的邊緣點形成連續(xù)的邊緣(即輪廓)。非下采樣輪廓波變換[29](nonsubsampled contourlet transform，NSCT)通過去除下采樣操作，解決了輪廓波變換處理圖像時無法改善的平移變化，消除了融合圖像出現(xiàn)的偽影現(xiàn)象。剪切波[30](Shearlet)形式更加簡潔，處理圖像時無需大量的數(shù)據(jù)，運行時間更短，但缺乏平移不變性。與NSCT的原理類似，非下采樣剪切波變換[31](nonsubsampled shearlet transform，NSST)不直接對圖像進行上、下采樣，改善平移變化的同時也可消除圖像分解和重構過程中出現(xiàn)的頻率混疊現(xiàn)象，且分解得到的子圖像與源圖像大小一致，可有效減少圖像因誤配準或未配準而產(chǎn)生的誤差，這一點在圖像融合中尤為重要。

1.1.3 與其他方法結合的方法

不同“波”變換通過和其他類型的模型相結合也可以達到更好的融合效果，其具體特點見表2。

表2 與“波”類方法相結合的其他方法

1.2 基于空間域的圖像融合方法

基于空間域變換方法的最大特點便是無需對圖像進行重構。圖2給出了基于空間域的融合過程。

圖2 基于空間域的融合過程框架

眾所周知，圖像融合中比較重要的一個問題是活動水平度量，空間域方法將根據(jù)像素的處理方式將之劃分為基于塊的方法、基于區(qū)域的方法和基于像素的方法。

1.2.1 基于塊的方法

塊劃分策略最早由Li等人[36]提出，主要經(jīng)歷了經(jīng)驗階段和自適應階段。經(jīng)驗階段以Nabeela[37]，Huang和Jing[38]等人的研究為代表，通過計算固定大小的圖像塊的活動水平從而得到合適的圖像塊用以融合。而自適應階段則主要有自適應選擇圖像塊的大小和重疊圖像塊的計算兩種類型。這其中遺傳算法[39]、差分演化算法[40]、粒子群優(yōu)化算法[41]和人工蜂群算法[42]為自適應圖像塊劃分方法的主要代表。

1.2.2 基于區(qū)域的方法

基于區(qū)域的方法不同于基于塊的方法之處在于：區(qū)域的大小是不規(guī)則的。Zhang和Blum[43]首次提出基于區(qū)域的圖像融合方法，有效地降低了源圖像對噪聲的敏感性。與基于塊的方法發(fā)展歷程相似，基于區(qū)域的方法也經(jīng)歷了由自適應相對較差到較好的轉變。這其中以水域面積算法[44]、歸一化切割[45]、均值漂移算法[46]和線性廣譜聚類[47]算法為主要代表。

1.2.3 基于像素的方法

基于像素的圖像融合方法從像素的角度真實反映源圖像的每個特征。最經(jīng)典的有Tang[48]提出的像素級卷積神經(jīng)網(wǎng)絡(pixel-wised convolutional neural network, p-CNN)模型，其次是極限學習機[49](extreme learning machine，ELM)和模糊邏輯模型[50]。以上方法都是從像素的角度出發(fā)，根據(jù)像素的屬性選擇用于融合的正確像素，并對錯誤像素進行剔除和修正。

1.3 融合規(guī)則

融合規(guī)則一般指的是將圖像分解得到的高低頻系數(shù)解釋為不同源圖像的權重分配策略。融合圖像時，主要對多尺度變換得到的高低頻系數(shù)進行處理，所以如何選取合適的規(guī)則融合這些系數(shù)對圖像融合效果有著至關重要的影響。

圖像的低頻系數(shù)和高頻系數(shù)分別表示圖像的近似成分和細節(jié)成分，高頻系數(shù)值越大說明該部分圖像包含的細節(jié)越豐富。圖像分解得到的低頻子帶系數(shù)往往采用“平均”原則進行融合，這會降低圖像的對比度，來自源圖像的一些信息也會丟失。高頻子帶往往采用絕對值最大原則[51]進行融合，會使得融合結果缺乏輪廓、邊緣等細節(jié)，也會造成一定的偽影。為了解決這些問題，更多能夠反映清晰度指標的邊緣能量、梯度能量、空間頻率、方差、區(qū)域能量、拉普拉斯能量等融合規(guī)則被提出。

2 圖像融合方法評價

評價圖像融合質(zhì)量的標準可以劃分為兩類：客觀評價指標和主觀評價指標。由于客觀評價指標能從根本上反映圖像好壞，所以下面列舉出常用的一些客觀評價指標。

2.1 評價指標

在介紹融合算法之前，需要了解評價融合質(zhì)量的一些標準。其主要有：空間頻率，反映融合圖像的亮度；信息熵，反映圖像的灰度分布情況；均方根誤差；相關系數(shù)，反映源圖像與融合圖像的相關程度；標準化互信息[52]，反映融合圖像的結構信息；相位一致性；基于邊緣信息的標準；能夠反映源圖像與融合圖像對比度特征的基于人類感知的標準[53]；基于圖像結構相似性的標準，可反映不同圖像之間的相似性；光譜角映射器，主要針對多/高光譜圖像。

2.2 典型實驗方法

由于圖像融合的主要應用領域[54]有遙感觀測、醫(yī)學診斷、攝影和監(jiān)測，這將在下一節(jié)進行描述。而本節(jié)主要選取了上節(jié)中列舉出的評價指標中的五個經(jīng)典指標對現(xiàn)有的經(jīng)典融合方法進行評估。在使用相似的測試條件，相同的應用程序和相同的源圖像參考了不同的參考文獻之后，列出不同的表格。

以clock圖像為參考，表3列舉出多聚焦圖像融合應用不同方法的比較。表4所示為紅外圖像和可視圖像的融合對應算法的對比數(shù)據(jù)。表5則為不同方法融合不同醫(yī)學圖像所得數(shù)據(jù)。

表3 多聚焦圖像融合的不同方法對比

從表3的數(shù)據(jù)得出，無論是在邊緣信息的保持上，還是梯度信息、結構信息、對比度特征和相位一致性的傳遞上，GFDF算法得到的值都要優(yōu)于其他算法的值。另外，CNN作為一種智能學習型的融合算法，在邊緣信息的保留上性能較好。然而由于CNN需要大量的參數(shù)，所以在運行時間上消耗較大，算法的效率不高。

表4 紅外圖像和可視圖像融合的不同方法對比

由表4可知，DWT的平均梯度、標準差的值都相對較高。而LP方法在信息熵的表現(xiàn)上比其他方法好。另外互信息這一標準，NSST的值是所有方法中最高的，這說明使用NSST方法融合圖像時，源圖像轉移到融合圖像的信息量較高。總體而言，每種融合算法都有可借鑒之處，所以在具體應用時，可綜合各種方法的優(yōu)點適當結合以獲得性能更好的融合圖像。

表5 醫(yī)學圖像融合的不同方法對比

從表5中數(shù)據(jù)可以看出，將多尺度幾何分析方法中的NSCT方法與SR方法相結合得出的各個評價指標，無論是在平均梯度、信息熵，以及相位一致性和互信息的保留程度上優(yōu)于單獨使用NSCT方法獲得的融合圖像的各項評價指標數(shù)值。不僅如此，NSCT-SR方法比一些新提出的基于深度學習的Gabor filtering方法表現(xiàn)更好，這表明通過結合兩種甚至兩種以上方法可以得出原來單個方法不能夠達到的良好效果。

3 圖像融合的應用

圖像融合技術的應用領域[57]主要有以下四類：遙感觀測、醫(yī)學診斷、攝影和監(jiān)測。在遙感領域的應用，方便了人類的對地觀測；在醫(yī)學領域的應用，為醫(yī)生的臨床診斷提供依據(jù)；在攝影領域的應用，改善了因設備和天氣問題導致的圖像失真；在監(jiān)測應用中，結合可見光和紅外圖像，使得可全天觀察觀測對象。表6對不同領域所需要用到的圖像進行了進一步劃分。

表6 圖像融合的主要應用領域及其

4 存在的問題與展望

4.1 當前研究存在的問題

無論圖像融合應用在哪些領域，目前的融合方法得到的圖像仍然存在以下問題。

遙感圖像融合中出現(xiàn)的光譜和空間畸變問題；醫(yī)學圖像融合領域出現(xiàn)的臨床問題缺乏導向的困難以及難以相對客觀的評估融合性能；攝影領域，圖像融合則受物體運動的影響，同時在不同設備拍照耗時較長，也在一定程度上影響了融合圖像的獲??；在監(jiān)測領域，苛刻的環(huán)境條件以及設備的損耗都會導致融合圖像不能夠被精確地獲取。除了上述問題，圖像配準作為融合的預備階段也備受重視，圖像的未配準或者配準不準確都會影響融合結果。

4.2 展 望

根據(jù)目前圖像融合中遇到的問題，可做以下展望：

首先，要解決圖像配準的問題，這就要求學者致力于研究更準確有效的圖像配準算法；其次，針對遙感技術的發(fā)展，需要研發(fā)更多同時具有高光譜分辨率和高空間分辨率的綜合傳感器；在臨床醫(yī)學中，則主要致力于研究能將多種不同設備獲取的圖像同時獲取并合成的儀器，這將為醫(yī)學的發(fā)展提供較大的飛躍；在攝影領域，根據(jù)設備以及環(huán)境的不同，研發(fā)出適應性更強的多特點攝影設備是亟需解決的問題。

5 結束語

目前對于圖像融合的研究仍是圖像處理領域的研究熱點，基于多尺度變換的方法只會日漸豐富，算法的效率也會越來越高，所需內(nèi)存內(nèi)余只會更小?；谀壳叭诤涎芯克玫南袼丶壏椒ㄝ^多的現(xiàn)狀，之后將會更多的研究工作在特征級和決策級融合，并且會探索更多的圖像融合應用領域。