張鋮方，閆皓輝

（西華大學(xué)無線電管理技術(shù)研究中心，成都　610039）

淺談圖像融合算法

張鋮方，閆皓輝

（西華大學(xué)無線電管理技術(shù)研究中心，成都610039）

0　引言

隨著圖像傳感器技術(shù)的不斷發(fā)展，所采集到的多模態(tài)圖像具有更豐富的信息，圖像融合就成為圖像處理領(lǐng)域重要的研究內(nèi)容之一。圖像融合是利用給定方法將同一目標(biāo)場景的兩幅圖像變成一幅包含豐富信息的圖像，融合后的圖像包含了原始圖像的所有信息。由于像素級融合具有融合過程簡單，實現(xiàn)方便的優(yōu)點，已成為目前國內(nèi)外的主要研究焦點。圖像融合技術(shù)應(yīng)用非常廣泛，目前，已廣泛應(yīng)用于醫(yī)學(xué)、遙感等領(lǐng)域。本文首先簡單地介紹圖像融合系統(tǒng)和結(jié)構(gòu)；其次闡述了近年來幾種主流的融合方法，著重介紹了基于聯(lián)合稀疏模型的融合方法；最后，簡述幾種常用的圖像融合評價指標(biāo)。

1　圖像融合簡介

1.1圖像融合系統(tǒng)

以往的傳感器所獲取圖像信息是有限的，這樣的話很難滿足當(dāng)前的要求。隨著傳感器種類的增多，所獲得的圖像信息也變得多樣，并且信息的內(nèi)容更加復(fù)雜。圖像融合技術(shù)可將這些復(fù)雜的信息整合在一起，并有利于人們對圖像目標(biāo)進行進一步的識別、檢測。圖像融合系統(tǒng)如圖1所示。

圖1　圖像融合系統(tǒng)

1.2圖像融合分層結(jié)構(gòu)

圖像融合的結(jié)構(gòu)一般分為三個層次：像素級融合、特征級融合、決策級融合，如圖2所示。像素級融合是最簡單也是最直接的一種融合方法，即直接將從圖像傳感器獲得的圖像數(shù)據(jù)進行處理而獲得融合圖像，其融合算法有PCA和小波分解融合法等；特征級融合首先獲得圖像的不同特征，然后利用某些算法融合圖像的這些特征；決策級融合是最高級的融合，融合方法有基于貝葉斯法的決策級融合等。

圖2　圖像融合的三層結(jié)構(gòu)

2　融合方法

像素級融合是目前圖像融合領(lǐng)域研究的熱點，并且保存了較完全的原始圖像數(shù)據(jù)。因此，本文主要介紹像素級圖像融合的一些方法。

自圖像融合技術(shù)提出以來,許多像素級的融合方法被提出，主要分為空間域算法和變換域算法。下面主要介紹這兩種常用的融合方法。

2.1空間域融合算法

（1）基于IHS空間的圖像融合算法［1］

基于IHS空間的圖像融合是像素級融合中最常用的方法，也是最早提出的一種利用偽彩色的融合方法，其基本思想是利用IHS變換快速的特點將待融合圖像先進行IHS變換，然后使用特定的規(guī)則進行融合，最后使用IHS逆變換變成RGB圖像。具體融合框圖如圖3所示。

圖3　基于HIS變換的圖像融合框圖

從RGB變換到IHS的公式為：

IHS反變換公式如下：

（2）加權(quán)平均融合方法［2］

加權(quán)平均法是最簡單且執(zhí)行效率最高的融合方法。基本思想是通過設(shè)定各自的比重系數(shù)，將兩幅圖像的不同信息進行線性相加。待融合圖像記為A和B，融合圖像為F，則具體的融合過程用公式表示為：

其中，ω1，ω2為加權(quán)系數(shù)，ω1+ω2=1。

雖然加權(quán)平均法執(zhí)行效率高，但在對于多模態(tài)圖像，該方法使得圖像中的輪廓變模糊，融合效果變得很差。主成量分析方法（PCA）是常用的一種加權(quán)平均融合方法，不僅通過降維使得圖像融合過程的計算量減少，而且在一定程度上抑制噪聲。

2.2變換域融合算法

基于變換域的圖像融合方法的基本思想：首先對兩幅輸入的多模態(tài)圖像進行相應(yīng)的變換（如小波變換、NSCT等），并得到分解后的系數(shù)；然后將系數(shù)按一定的融合規(guī)則進行融合；最后對融合后的系數(shù)使用與第一步相對應(yīng)的逆變換重構(gòu)，進而獲得融合后的圖像。基于多尺度變換的融合算法框圖如圖4所示。

（1）基于金字塔分解的圖像融合［3］

金字塔分解包括:拉普拉斯金字塔變換、形態(tài)學(xué)金字塔變換等。Burt等人首次提出基于拉普拉斯塔式的圖像融合?；诮鹱炙儞Q的融合方法的基本思想是利用塔式分解方式獲得原始圖像在不同空間分辨率上的特征，并用系數(shù)表示。這種方式相比于空間域，更能突出圖像的豐富信息。也就能夠獲得更優(yōu)的融合效果。經(jīng)過塔式分解后，圖像各層間的數(shù)據(jù)存在大量的冗余信息。雖然融合效果優(yōu)于空間域，但是這些冗余信息會導(dǎo)致圖像的主觀識別能力減弱。而且，當(dāng)待融合圖像在損失了較多的高頻信息的情況下，重構(gòu)時易造成邊緣和輪廓模糊，影響判別。

圖4　基于多尺度分解的圖像融合算法框圖

（2）基于小波變換的圖像融合［4］

相比于金字塔分解，小波變換解決了塔式分解中存在的冗余信息的缺點，同時提取圖像低頻信息和高頻信息，在理論上比傳統(tǒng)的拉普拉斯金字塔融合方法具有更好的效果。Ranchi等人首次將小波變換應(yīng)用圖像融合中并取得較好的融合效果。與基于塔式分解的融合方法相似，基于小波變換的圖像融合算法首先通過小波變換將原始圖像分解為具有不同空間分辨率的子圖像；然后對低頻和高頻系數(shù)分別使用不同的融合規(guī)則；將融合后的系數(shù)經(jīng)過小波逆變換獲得融合后的圖像。具體算法框圖如圖5。

圖5　基于小波變換的圖像融合算法框圖

（2）基于NSCT的圖像融合［5］

NSCT是Contourlet變換的一種變形，NSCT可以較好地提取圖像邊緣輪廓信息。Jingjing Wang等人利用NSCT的平移不變性特點，將NSCT和PCNN結(jié)合在一起并應(yīng)用到圖像融合。基于NSCT的圖像融合的基本思想和基于小波變換的圖像融合相似，首先通過NSCT分解原始圖像；然后對低頻和高頻系數(shù)分別使用不同的融合規(guī)則；將融合后的系數(shù)經(jīng)過NSCT逆變換獲得融合后的圖像?；贜SCT的圖像融合方法框圖如圖6所示。

圖6　基于NSCT的圖像融合算法框圖

（3）基于稀疏表示的圖像融合［6］

自從2006年壓縮感知理論被提出，信號的稀疏表示理論已經(jīng)引起了廣大研究者的興趣，并且將該理論應(yīng)用到圖像處理的各個領(lǐng)域（去噪、融合、超分辨）。李樹濤首次提出基于稀疏表示的圖像融合算法，并將該方法應(yīng)用到多聚焦圖像的融合。在文獻［6］中是首先將兩幅原始圖像通過窗口滑塊技術(shù)變成圖像塊；然后利用過完備的DCT（Discrete cosine transformation）字典，使用OMP算法對所得的圖像塊進行稀疏分解，得到相對應(yīng)的稀疏系數(shù)；其次選取L1范數(shù)大作為融合規(guī)則，獲得融合系數(shù)；最后將獲得的融合系數(shù)和DCT字典作用于OMP重建出融合圖像?；谙∈璞硎镜膱D像融合框圖如圖7所示。

圖7　基于稀疏表示的圖像融合算法框圖

雖然基于稀疏表示的圖像融合效果優(yōu)于基于多尺度變換的圖像融合方法，但是該方法沒有考慮到待融合圖像之間的聯(lián)系，而且計算效率不高，與此同時，文獻［6］只是用DCT作為字典，并沒有使用學(xué)習(xí)的策略獲得更加冗余的字典。

（4）基于聯(lián)合稀疏表示的圖像融合［8］

針對于單純的基于稀疏表示的圖像融合沒有考慮輸入圖像之間的聯(lián)系，文獻［9］在分布式壓縮感知理論（DCS）的基礎(chǔ)上提出三種不同的聯(lián)合稀疏模型，即JSM-1，JSM-2和JSM-3。目前，JSM-1以其簡單的理論思路，已成為目前基于聯(lián)合稀疏模型的圖像融合算法中最常用的一種模型。在JSM-1模型中，圖像信號包括共同分量和特征分量，并且是兩者之和。2011年Haitao Yin等人首次提出基于聯(lián)合稀疏表示的圖像融合，文獻［8］中采取的策略是：首先提取圖像的公共特征和各自特征，并采用K-SVD算法［10］訓(xùn)練字典，然后將JSM應(yīng)用到紅外、醫(yī)學(xué)、毫米波等的圖像融合，由于考慮了輸入的兩幅圖像間的相似性，融合效果優(yōu)于基于稀疏表示的圖像融合。基于聯(lián)合稀疏表示的圖像融合的框圖如圖8所示。

圖8　基于聯(lián)合稀疏模型的圖像融合算法框圖

3　融合規(guī)則

不管是基于空間域還是基于變換域的圖像融合，都涉及融合規(guī)則的選擇問題。基于空間域的融合常用的融合規(guī)則是取大。這里主要關(guān)注基于稀疏表示和聯(lián)合稀疏模型的系數(shù)融合規(guī)則。文獻［6］給出了基于稀疏表示的圖像融合的融合規(guī)則，文獻［7］和文獻［10］分別給出了兩種不同的基于聯(lián)合稀疏模型的圖像融合的融合準(zhǔn)則，如下所示：

文獻［6］中，Ak=‖sk‖1，sk是第k個源圖像第i列稀iii疏系數(shù)，s是融合圖像第i列稀疏系數(shù)。文獻［7］中，和ki分別為稀疏表示系數(shù)矩陣sC和的第i列，sF為融i合圖像的稀疏系數(shù)矩陣sF的第i列。τ=1/1+exp｛-β（‖（）‖2-‖（x2）‖2）｝），（β＞0））。=x1-m1，x2=x2-m2，m1，m2表示每塊的均值。文獻 ［10］中，L表示源圖像的所有塊中局部強度值的個數(shù)，p1，p2是對應(yīng)的調(diào)整不同源圖像重要性的權(quán)重指數(shù)。

4　融合評估方法

融合效果的評價大致分為兩種，即主觀感覺評估和客觀評估。目前以客觀評估為主，文中同樣主要介紹融合的客觀評價。客觀評價指標(biāo)有許多，常用的有信息熵、互信息、平均梯度、Qabf等。下面簡單介紹幾種常用的評價指標(biāo)

（1）互信息［11］

互信息是信息論的概念，延伸到圖像領(lǐng)域，表示兩幅圖像灰度分布信息的相關(guān)性。假設(shè)待融合的兩幅圖像為A、B，經(jīng)過融合后的圖像為F，那么，互信息為：

其中PA，F(xiàn)（i，j）和PB，F(xiàn)（i，j）分別為兩組圖像的聯(lián)合灰度分布，L是圖像總的灰度級數(shù)。

由式（5）和式（6）可以得出，融合圖像與原始兩幅圖像的互信息為：

式（7）表明，互信息值越大，圖像F從源圖像A和B中獲得的信息越多，表明融合后的圖像內(nèi)容越豐富，進而融合的效果越好。

（2）邊緣信息保留值［12］

A、B為源圖像，F(xiàn)為融合圖像，則Qabf的計算公式如下：

QAF和QBF分別為圖像A、圖像B和融合圖像F的邊緣信息保留值。ωA和ωB為權(quán)值。M和N為圖像的高與寬。

（3）Piella融合質(zhì)量標(biāo)準(zhǔn)［13］

Piella和Heijmans提出了一種新的圖像融合質(zhì)量評價標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)主要基于通用圖像融合指數(shù)（UIQI），以更精細的加權(quán)平均方式度量了融合圖像的UIQI。

PFQM體系包括了圖像融合質(zhì)量指數(shù)（Image Fusion Quality Index，IFQI），加權(quán)融合質(zhì)量指數(shù)（Weighted Fusion Quality Index，WFQI）和邊緣相關(guān)融合質(zhì)量指數(shù)（Edge-dependent Fusion Quality Index，EFQI）。圖像融合質(zhì)量指數(shù)（IFQI）定義為：

其中ω表示各窗口，λ（ω）為對應(yīng)窗口間的權(quán)值：

s（A|W）和s（B|W）分別為源圖像A和B在窗口ω中的顯著性度量，一般用對比度、尖銳度或熵等數(shù)值表示。上式認(rèn)為圖像各個局部塊的重要性是相同的，因此做了算術(shù)平均處理。但實際上圖像各個部分的顯著性是不一樣的，顯著性高的部分對應(yīng)了更加重要的信息，因此評價融合質(zhì)量時應(yīng)該將圖像各部分按重要性區(qū)分對待?；诖怂枷?，Piella定義了各窗口的總體顯著性：

基于圖像各局部塊的總體顯著性，加權(quán)融合質(zhì)量指數(shù)（WFQI）的定義為：

其中，c（ω）為權(quán)重，衡量了個窗口的重要性，其形式如下：

為了突出邊緣圖像對于人類視覺系統(tǒng)的重要性，Piella進一步提出了邊緣相關(guān)融合質(zhì)量指數(shù)（EFQI）：

QE（A，B，F(xiàn)）=QW（A，B，F(xiàn)）1-α.QW（A'，B'，F(xiàn)'）α（14）

其中A'，B'，F(xiàn)'分別為圖像A，B，F(xiàn)的邊緣圖像，α為控制參數(shù)，決定了原圖像和邊緣圖像的WFQI的比例。

5　結(jié)語

由于分布式壓縮感知理論和聯(lián)合稀疏表示的不斷研究，基于聯(lián)合稀疏模型的圖像融合已經(jīng)成為逐步成為圖像融合領(lǐng)域的主流，目前，該基于該方法的圖像融合已應(yīng)用到醫(yī)學(xué)、軍事等領(lǐng)域，并取得了一定的效果。但是，還存在一些的難題：

（1）目前的圖像融合主要是以像素級為主，很少涉及到更高一層的融合，由于像素級融合面向的是圖像的像素，目前所研究的圖像像素比較少，如果將目前的像素級融合策略應(yīng)用到高分辨率圖像的融合，那么，就會造成計算開銷大、效率低等問題。

（2）圖像融合的前提需要進行許多預(yù)處理操作，如，去噪、配準(zhǔn)等。但是，目前所針對的圖像，絕大部分是經(jīng)過完全配準(zhǔn)后的圖像。對于有噪聲或者沒有完全配準(zhǔn)的圖像融合的研究，很少有學(xué)者涉及。

（3）當(dāng)今的圖像傳感器種類多種多樣，所獲取的圖像蘊含的信息也隨之增加。2D圖像已不能滿足醫(yī)學(xué)、軍事等方面的需求，3D圖像信息的融合逐漸成為信息融合的研究熱點。但目前關(guān)于3D圖像融合的方法很少，并且3D圖像融合還要考慮時間維度，這樣致使融合計算時間更長，開銷更大。

針對以上所提的3個問題，本文提出三個相應(yīng)的解決辦法：

（1）對于效率低的問題，將多尺度變換和聯(lián)合稀疏表示結(jié)合應(yīng)用到圖像融合，首先將圖像進行多尺度變換；然后利用所學(xué)的多尺度字典對變換后的多尺度圖像進行系數(shù)分解；接著將所得到的稀疏系數(shù)通過融合規(guī)則得到融合獲得系數(shù)；最后利用多尺度反變換重構(gòu)出融合圖像。

（2）對于去噪和配準(zhǔn)的問題，將基于稀疏表示的圖像去噪和基于膜計算的圖像配準(zhǔn)算法引入到圖像預(yù)處理階段。

（3）對于開銷大的問題，可以采用并行處理，將并行計算的思想引入到圖像融合，減少計算時長。

［1］Krista Amolins，Yun Zhang.Peter Dare.Wavelet Based Image Fusion Techniques—An Introduction，Review and Comparison［C］.ISPRS Jouenal of Photogrammetry&Remote Sensing，2007：249-263.

［2］Chavez，S.，Sides，C.，Anderson，A..Comparison of Three Different Methods to Merge Multiresolution and Multispectral Data:Landsat TM and SPOT Panchromatic［J］.Photogrammetric Engineering and Remote Sensing，1991，57（3）：295-303.

［3］韓瀟，彭力.基于改進拉普拉斯金字塔的融合方法［J］.自動化與儀器儀表，2014，5，191-194.

［4］樊華，等.改進的IHS變換和小波變換相結(jié)合的圖像融合［J］.CT理論與應(yīng)用研究，2014，23（5），761-770.

［5］陳木生，蔡植善.基于NSCT的紅外與可見光圖像融合方法研究［J］.激光與光電子學(xué)進展，2015，52（6），114-119.

［6］Bin Yang，Shutao Li.Multifocus Image Fusion and Restoration With Sparse Representation［J］.IEEE Transactions on Instrumentation and Measurement.2010，59（4）:884-892.

［7］Yin H，Li S.Multimodal Image Fusion with Joint Sparsity Model［J］.Optical Engineering，2011，50（6）:067007-067007-10.

［8］Duarte M F，et al.Distributed Compressed Sensing of Jointly Sparse Signals［C］.Asilomar Conf.Signals，Sys，Comput.2006:1537:1541.

［9］M.Aharon，M.Elad，A.Bruckstein.K-SVD:An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation［J］.IEEE Trans.Signal Process，2006，54（11）：4311-4322.

［10］Bin Yang，Shutao L.Visual Attention Guided Image Fusion with Sparse Representation［J］.Optik.2014，125（17）:4881-4888.

［11］G.H.Qu，D.L.Zhang，P.F.Yan.Information Measure for Performance of Image Fusion［J］.Electron.Lett.2002，38（7）:313-315.

［12］C.S.Xydeas.Objective Image Fusion Performance Measure［J］.Electron.Lett，2000，36（4）:308-309.

［13］G.Piella，H.Heijmans.A New Quality Metric for Image Fusion［C］.Proc.of Int.Conf.on Image Processing，Barcelona，Spain，2003:173-176.

Image Fusion；Distributed Compressed Sense；Joint Sparse Model

Review of Image Fusion Algorithm

ZHANG Cheng-fang，YAN Hao-hui

（Center for Radio Administration&Technology Development，Chengdu 610039）

1007-1423（2015）32-0061-06

10.3969/j.issn.1007-1423.2015.32.015

張鋮方（1990-），男，河南濟源人，碩士，讀碩士研究生，研究方向為圖像處理與模式識別

2015-10-09

2015-11-09

圖像融合是信息融合的一個熱點。隨著分布式壓縮感知理論的發(fā)展，聯(lián)合稀疏表示成為分布式壓縮感知中的一個重要的研究內(nèi)容。在闡述主流的圖像融合技術(shù)的同時，著重介紹聯(lián)合稀疏表示在圖像融合中的應(yīng)用，并簡單地介紹幾種圖像融合評估方法。最后，對未來的圖像融合發(fā)展提出新的思路。

圖像融合；分布式壓縮感知；聯(lián)合稀疏模型

四川省教育廳重點項目（No.14ZA0118）

閆皓輝（1992-），女，山西長治人，碩士，在讀碩士研究生，研究方向為智能信息處理

Image fusion is a hot topic in the information fusion.With the development of the theory of distributed compressed sensing(DCS),joint sparse representation is becoming an important research content during the field of distributed compression.Elaborates mainstream image fusion technology,focuses on joint sparse representation in image fusion applications at the same time.What's more,introduces several image fusion evaluation methods.Finally,proposes new ideas for the future development of image fusion propose.