許廷發(fā)，李俊濤，張一舟，申子宜，郭巳秋

(北京理工大學光電學院光電成像技術與系統(tǒng)教育部重點實驗室，北京100081)

1 引言

由于單一圖像傳感器具有信噪比低，圖像缺乏深度感，工作環(huán)境、條件有限等缺點，目前世界上許多國家都在積極發(fā)展圖像融合技術。綜合紅外與微光或紅外與可見光圖像，可以充分發(fā)掘、利用二者的圖像特征信息，便于后續(xù)的圖像理解［1-4］，如微光、紅外圖像融合能夠提高戰(zhàn)場偽裝目標識別率，將融合技術應用到目標跟蹤上，能提高跟蹤系統(tǒng)的性能。在視頻監(jiān)控領域，融合技術能實現(xiàn)特殊環(huán)境(如霧霾、低照度、雨雪天氣)下全天候監(jiān)控。醫(yī)學圖像融合則有利于及時、準確地發(fā)現(xiàn)病變部位。農業(yè)上，遙感圖像融合有利于農作物病蟲害、旱澇災害的預警［5］。圖像融合還廣泛應用于電力故障診斷、石油化工、鋼鐵、科學研究、消防、建筑檢測等諸多領域。

彩色融合可分為偽彩色融合和基于顏色傳遞的真彩色融合。偽彩融合方法包括直接映射和基于生物視覺特性的融合方法。直接映射法由于沒有考慮人眼的視覺特性，獲得的融合圖像色彩不自然，容易造成觀察者視覺疲勞?；谏镆曈X的彩色圖像融合考慮了人類的視覺特性，獲得的融合圖像具有適合人眼觀察的自然色彩，美國MIT實驗室的Waxman利用對抗受域理論提出了微光和紅外圖像對抗融合［6］，但方法比較復雜，不易于硬件實現(xiàn)。荷蘭人力因素所(TNO)的A.Toet等提出了類似于生物彩色對抗機理的以源圖像共有成分和特有成分分析為基礎的彩色映射方法［7］，其優(yōu)點是運算速度快，便于硬件實現(xiàn)，但獲得的融合圖像色彩過于鮮明。文獻［8］中A.Toet利用美國猶他大學的Reinhard提出的顏色傳遞理論實現(xiàn)了彩色圖像融合，獲得的圖像具有近自然感彩色效果，但需要RGB空間lαβ空間相互轉換，運算量大，不利于硬件實現(xiàn)。受Reinhard顏色傳遞技術及A.Toet方法的啟示，國內李光鑫等提出了快速YCBCR空間變換融合原理及LCT(亮度-對比度)傳遞技術［9］，獲得的彩色融合圖像具有較高的亮度、對比度且計算簡單，但只適用于紅外與彩色可見光圖像融合。文獻［10］提出基于非下采樣Contourlet變換的紅外、可見光圖像融合方法，圖像經非下采樣Contourlet變換后能量更加集中，可提供更多的圖像信息。但Contourlet變換分解、重構圖像過程復雜，不利于硬件實現(xiàn)。文獻［11］綜合對比了平均(PA)法、選大(SM)法、主成分分析(PCA)法、高通濾波法、拉普拉斯金字塔法及小波變換等融合算法的融合效果，指出基于塔形分解和小波變換的方法從圖像特征層考慮圖像融合，將圖像分解到不同頻帶，對不同頻帶代表的圖像特征按照設計的融合規(guī)則以有效融合圖像的特征信息，獲得的融合圖像保留了源圖像更多的細節(jié)。其它主流融合算法還有基于離散余弦變換(DCT)、曲波變換(Curvelet)及自適應脈沖耦合神經網絡(PCNN)的圖像融合算法［12-14］，但大都計算復雜，很難硬件實現(xiàn)。

本文在研究了彩色圖像融合結構和色彩傳遞算法的基礎上，結合塔形分解融合算法從特征層考慮圖像融合且計算簡單及對不同場景適應性強的優(yōu)點，提出了改進的基于拉普拉斯金字塔分解及對比度可調的色彩傳遞圖像融合算法，該算法能盡可能保留源圖像的信息，適當調節(jié)一些參數(shù)即可獲得一幅高對比度的彩色融合圖像。

2 改進的雙波段圖像彩色融合方法

2.1 雙波段(可見、中波紅外)圖像彩色融合結構

彩色圖像融合算法從顏色空間上劃分主要有基于RGB、HSV空間及YUV空間3種，從融合結構的組合方式上分為直接映射組合、線性組合和非線性組合三類［15］，考慮到顯示器件的特性，工程中一般采用YUV空間和RGB空間線性組合式融合結構，如下式所示:

式中:Vis表示一幅可見光圖像，IR表示同尺寸的紅外圖像，m1，m2，…m6為正的有理數(shù)。RGB空間線性組合與式(1)相似，線性組合法的優(yōu)點是運算簡單，便于硬件實現(xiàn)，能獲得一定的融合效果，但6個參數(shù)的選取具有實驗隨機性，簡單的加權容易導致圖像特征和細節(jié)信息丟失，獲得的融合圖像往往對比度較低，邊緣細節(jié)下降。A.Toet指出，用一幅高質量的灰度融合圖像代替亮度分量可以盡可能多地保留源圖像的信息。本文對式(1)進行改進，提出基于拉普拉斯圖像金字塔的YUV空間非線性融合系統(tǒng)，融合結構如下:

其中:FLA表示用拉普拉斯圖像金字塔法獲得的灰度融合圖像，Vis表示可見光圖像，IR表示同尺寸的紅外圖像。金字塔分解法將圖像分解到不同的空間頻帶，采用不同的融合規(guī)則可以突出特定頻帶上的特征與細節(jié)，用拉普拉斯圖像金字塔法獲得的灰度融合圖像較其它方法相比細節(jié)信息失真較少。因此將FLA映射為亮度通道YS可以使融合圖像保留更多的細節(jié)信息。式中CB，S，CR，S分別表示藍色、紅色與亮度的差異信號，將可見光圖像與紅外圖像相減獲得的差異圖像映射到CB，S通道以突出二者的差異，將紅外圖像直接映射到CR，S通道可以突出紅外目標，得到的彩色融合圖像較為符合人眼的視覺特性。

2.2 拉普拉斯圖像金字塔圖像融合原理［16］

(1)原始圖像拉普拉斯金字塔分解

圖像的拉普拉斯金字塔構成由高斯金字塔演變而來，首先對圖像進行高斯金字塔分解，設原始圖像為G0，則高斯金字塔底層為G0，第L層高斯金字塔圖像GL的獲得是由高斯核函數(shù)(5×5或者3×3權值窗口)對低層圖像進行卷積運算，并對卷積運算之后的圖像隔行隔列采樣實現(xiàn)，如式(3)所示。

式中，w(m，n)為二維可分離高斯核，核模版尺寸為3×3或者5×5，N表示高斯金字塔分解層數(shù)，RL和CL分別表示高斯金字塔第L層的行數(shù)和列數(shù)。

拉普拉斯金字塔的頂層LN為GN，第L層是通過將高斯金字塔GL+1內插放大得到EL，然后用GL減去EL獲得，如式(4)所示。

(2)按融合規(guī)則對各分解層融合

實驗中分別對紅外圖像和可見光圖像做三層拉普拉斯分解，然后對各層按照一定的融合規(guī)則進行融合。傳統(tǒng)的融合規(guī)則主要有基于對應像素點及基于區(qū)域像素的兩大類，基于像素點的有像素選大、選小或者簡單加權平均融合等?；趨^(qū)域的融合規(guī)則是選定以像素點為中心的3×3窗口內的像素，按融合規(guī)則進行關系計算。針對拉普拉斯金字塔圖像各個分解層一般選用基于區(qū)域能量、區(qū)域梯度、區(qū)域熵等融合準則。本文對源圖像進行三層拉普拉斯金字塔分解，對頂層采用基于像素的加權平均，對其它層采用區(qū)域能量的融合準則。頂層圖像融合結果為:

式中，GAN代表可見光圖像拉普拉斯頂層圖像，GBN代表紅外圖像拉普拉斯頂層圖像。對其它層定義3×3窗口W內的能量分別為:

定義能量匹配度為:(3)由拉普拉斯金字塔算法重建原圖像

按照步驟(2)中的公式從拉普拉斯金字塔頂層圖像LFN開始，由上到下逐層遞推得到相應的高斯金字塔，GF0即為重構后的融合圖像，遞推公式如下:

式中，EFL由GL+1內插放大獲得。

2.3 改進的色彩傳遞算法

選定一幅參考圖像，在YUV空間進行顏色統(tǒng)計量(即各個通道的均值、方差)計算，將參考圖像的顏色統(tǒng)計量傳遞給源融合圖像的各個通道即可獲得具有近自然感的彩色融合圖像，顏色傳遞公式如下［17］:

改進之后的顏色傳遞公式如下:

式中:a，b，mC，mB，C，mR，C表示正的有理數(shù)，其它參數(shù)同式(11)。色彩傳遞是把參考圖像的統(tǒng)計特征均值和方差傳遞給融合圖像，在YC、CR，C分量公式中加入調節(jié)系數(shù)a，b可以適當調節(jié)融合圖像亮度分量的對比度并突出熱目標，調節(jié)mC，mB，C，mR，C的值可以改變融合圖像的整體亮度。對比圖3～圖5可以看出改進后的融合圖像(圖5)色彩鮮明，對比度高，熱目標飛機比較突出。

2.4 硬件實現(xiàn)策略

本文的方法計算量集中在拉普拉斯金字塔灰度融合圖像的生成及色彩傳遞算法的實現(xiàn)。文獻［15］中，A.Toet用顏色查找表法實現(xiàn)了 RGB空間的快速色彩傳遞算法，文獻［18］中，裴闖等人設計了YUV空間中利用顏色查找表實現(xiàn)色彩傳遞的快速算法。本文采用顏色表法實現(xiàn)快速的色彩傳遞算法。具體過程為:

(1)首先根據(jù)式(2)得到偽彩色融合圖像，建立標準顏色查找表。

(2)選擇合適的參考圖像，根據(jù)式(12)對標準顏色查找表進行修正，獲得校正后的色彩傳遞顏色查找表。

(3)校正后的顏色查找表包含了大部分可能出現(xiàn)的顏色信息，利用可見光圖像和紅外圖像的亮度信號索引顏色表，將對應處的色彩值賦給融合圖像，遍歷整幅圖像獲得最終彩色融合圖像。

顏色表生成之后，色彩傳遞算法幾乎不需要任何計算，因此硬件實現(xiàn)過程中比較耗時的部分是拉普拉斯金字塔灰度融合圖像的生成，對其中涉及到的除法運算做乘法處理，浮點數(shù)做整數(shù)化處理，將比較耗時的二維高斯卷積運算分解成兩個一維卷積運算，則拉普拉斯金字塔灰度融合圖像的生成最終可化簡為簡單的乘加運算，配合現(xiàn)代數(shù)字信號處理器DSP的高速處理能力及后續(xù)的優(yōu)化手段，本文提出的算法便于硬件實現(xiàn)。

3 實驗仿真結果及融合質量評價

3.1 仿真結果與分析

對已配準好的可見光圖像和中波紅外圖像進行融合仿真實驗，圖像尺寸為595×328，給出了不同場景下的融合效果，實驗證明經過彩色傳遞后的融合圖像保持了可見光圖像的特征，又含有紅外特征信息同時又具有與特定場景相一致的顏色信息。同時本文對比了不同算法獲得的灰度融合圖像映射為融合結構亮度分量及改變顏色傳遞公式后的彩色融合效果。圖1是可見光圖像和中波紅外圖像，圖2～圖5是在給定參考圖像A、B、C下不同融合算法的彩色融合圖像。

圖1 可見光圖像和紅外圖像Fig.1 Visible image and midwave infrared image

圖2 灰度融合圖像Fig.2 Gray scale fusion image

圖3 參考圖像Fig.3 Reference image

圖4 加權平均法彩色融合圖像(色彩傳遞公式中a=b=1，mC=mB，C=mR，C=0)Fig.4 Color fusion image based on method of weighted average(color transfer formula a=b=1，mC=mB，C=mR，C=0)

圖5 區(qū)域能量法彩色融合圖像(色彩傳遞公式中a=b=1，mC=mB，C=mR，C=0)Fig.5 Color image fusion based on region energy(color transfer formula a=b=1，mC=mB，C=mR，C=0)

圖6 本文算法彩色融合圖像(色彩傳遞公式中 a=1，b=1.5，mC=mB，C=mR，C=20)Fig.6 Color image fusion based on the method presented in this paper(color transfer formula a=1，b=1.5，mC=mB，C=mR，C=20)

仿真結果表明融合圖像均具有與參考圖像一致的色彩信息，其中加權平均法獲得的融合圖像細節(jié)、邊緣下降嚴重，圖像局部模糊，整體層次感不強;基于區(qū)域能量的融合雖然考慮了鄰域像素間的相關性，提高了融合的像素誤匹配率，但實際融合效果不好，邊緣、細節(jié)丟失嚴重。這兩種算法在進行融合時只從像素層面考慮，沒有兼顧到圖像的特征層信息，而基于區(qū)域梯度的融合考慮了圖像的特征層信息，但沒有兼顧到圖像的灰度信息，容易導致灰度不連續(xù)現(xiàn)象;圖5表明本文算法獲得的融合圖像層次感較強，邊緣突出，圖像對比度高，這是因為金字塔法將圖像分解到不同的頻帶上，頂層采用加權平均法融合保留了圖像的灰度信息，其它層(邊緣信息明顯)采用基于區(qū)域的融合方法有效融合了圖像的邊緣信息，另外從圖中可以看出調整顏色傳遞公式中參數(shù)a，b的值后圖像對比度明顯增強。

3.2 融合圖像客觀評價

采用灰度融合圖像的均值、方差、熵、平均梯度、空間頻率等指標對融合圖像進行評價。均值反映了圖像的平均亮度信息，方差反映了圖像的對比度和清晰度，方差越大則對比度越高，清晰度越高［20］。熵反映了圖像的信息量，熵越大圖像代表的信息量越大。平均梯度反映了圖像清晰程度及微小細節(jié)反差和紋理變換特征?？臻g頻率反映了圖像的全面活躍水平，其值越大圖像越清晰［21］。表1給出了不同灰度融合算法下的各個指標值。

表1 灰度融合圖像效果評價Tab.1 Gray level fusion image evaluation

從表1中可以看出，融合之后的圖像評價參數(shù)高于紅外圖像而低于可見光圖像，基于區(qū)域能量的融合雖然空間頻率高于可見光圖像，但平均梯度較低，圖像清晰度不高，這從圖1～圖4中可以明顯看出來，調節(jié)式(12)中的比例系數(shù)a、b使得本文方法獲得的融合圖像方差較大，基于本文方法獲得的融合圖像層次感強、清晰度高，這與主觀分析相一致。

4 結論

針對YUV空間中雙波段(可見光、中波紅外)圖像彩色融合算法獲得的融合圖像對比度低、細節(jié)邊緣不夠突出等特點，對YUV空間常用線性組合方式進行改進，提出了基于拉普拉斯金字塔分解及對比度可調的色彩傳遞圖像融合算法，將雙波段圖像進行拉普拉斯金字塔分解，對各分解層按照設計的規(guī)則進行有效融合，以融合重構后的圖像作為融合結構的亮度分量Y，以可見光與紅外圖像的差異信號作為色差分量U，以紅外源圖像作為色差信號V，實驗表明本文方法獲得的彩色融合圖像具有豐富的細節(jié)、邊緣信息，圖像層次感明顯增強。同時為了提高彩色融合圖像的對比度，對色彩傳遞公式進行修正，修正后的色彩傳遞提高了彩色融合圖像的對比度。對融合圖像進行了客觀評價，數(shù)據(jù)表明采用本文方法的融合圖像均值、方差分布適中，熵、平均梯度均優(yōu)于文中提到的其它方法。

［1］ 陳浩，王延杰.基于小波變換的圖像融合技術研究［J］.微電子學與計算機，2010，27(5):39-41.

CHEN H，WANG Y J.Study for image fusion based on wavelet transform［J］.Microelectronics Computer，2010，27(5):39-41.(in Chinese)

［2］ 傅瑤，孫雪晨，薛旭成，等.基于非下采樣輪廓波變換的全色圖像與多光譜圖像融合方法研究［J］.液晶與顯示，2013，28(3):429-434.

FU Y，SUN X CH，XUE X CH，et al..Panchromatic and multispectral image fusion method based on nonsubsampled contourlet transform［J］.Chinese J.Liquid Crystals and Displays，2013，28(3):429-434.(in Chinese)

［3］ 王安宙，張智杰，余徽，等.基于亮度對比度傳遞的紅外與可見光圖像融合方法研究［J］.光學與光電技術，2013，11(6):7-10.

WANG A ZH，ZHANG ZH J，YU H，et al..Research on the image fusion algorithm based on brightness-contrast transfer［J］.Optics Optoelectronic Technology，2013，11(6):7-10.(in Chinese)

［4］

ZHAO F X，TAO ZH X.Fusion algorithm of infrared and visible images based on wavelet packet transform［J］.Optics Optoelectronic Technology，2013，11(6):11-14.(in Chinese)

［5］ OZDARICI A，AKYUREK Z.Evaluation of image fusion methods on agricultural lands［J］.J.Earth Science and Engineering，2011，1:107-113.

［6］ 倪國強，肖蔓君，秦慶旺.近自然彩色圖像融合算法及其實時處理系統(tǒng)的發(fā)展［J］.光學學報，2007，27(12):2101-2109.

NI G Q，XIAO M J，QIN Q W.Development of near nature color image fusion algorithms and real-time image fusion system［J］.Acta Optica Sinica，2007，27(12):2101-2109.(in Chinese)

［7］ TOET A，WALRAVEN J.New false color mapping for imaging fusion［J］.Opt.Engng，1996，35(3):650-658.

［8］ MAARTEN A.Hogervorst and Alexander Toet.Method for applying daytime colors to nighttime imagery in realtime［J］.SPIE，2008，6974:697403.

［9］ 李光鑫，吳偉平，胡君.紅外和彩色可見光圖像亮度-對比度傳遞融合算法［J］.中國光學，2011，4(2):161-168.

LI G X，WU W P，HU J.Luminance-contrast transfer based fusion algorithm for infrared and color visible images［J］.Chinese Optics，2011，4(2):161-168.(in Chinese)

［10］ 陳小林，王延杰.非下采樣變換的紅外與可見光圖像融合［J］.中國光學，2011，4(5):489-496.

CHEN X L，WANG Y J.Infrared and visible image fusion based on nonsubsampled Contourlet transform［J］.Chinese Optics，2011，4(5):489-496.(in Chinese)

［11］ BURT P J，ADELSON E H.The Laplacian pyramid as a compact image code［J］.IEEE，1983，COM-31(4):532-540.

［12］ 楚恒，朱維樂.基于DCT變換的圖像融合方法研究［J］.光學 精密工程，2006，14(2):266-273.

CHU H，ZHU W L.Image fusion algorithms using discrete cosine transform［J］.Opt.Precision Eng.，2006，14(2):266-273.(in Chinese)

［13］ 宋江山，徐建國，司書春.改進的曲波變換圖像融合方法［J］.中國光學與應用光學，2009，2(2):145-149.

SONG J SH，XU J G，SI SH CH.Improved image fusion method based on curvelet transform［J］.Chinese J.Opt.Appl.Optics，2009，2(2):145-149.(in Chinese)

［14］ 武治國，王延杰，李桂菊.應用小波變換的自適應脈沖耦合神經網絡在圖像融合中的應用［J］.光學 精密工程，2010，18(3):708-715.

WU ZH G，WANG Y J，LI G J.Application of adaptive PCNN based on wavelet transform to image fusion［J］.Opt.Precision Eng.，2010，18(3):708-715.(in Chinese)

［15］ 金偉其，王嶺雪.夜視圖像的彩色融合技術及其進展［J］.紅外技術，2003，25(1):6-12.

JIN W Q，WANG L X.Color fusion technology for night vision imaging and its progress［J］.Infrared Technology，2003，25(1):6-12.(in Chinese)

［16］ SAHU D K，PARSAI M P.Different image fusion techniques a critical review［J］.2012，2(5):4298-4301.

［17］ 李光鑫，徐抒巖.適于圖像融合的快速顏色傳遞方法［J］.光學 精密工程，2009，17(9):2301-2310.

LI G X，XU SH Y.Fast color transfer method for image fusion［J］.Opt.Precision Eng.，2009，17(9):2301-2310.(in Chinese)

［18］ HOGERVORST M A，TOET A.Fast natural color mapping for night-time imagery［J］.Information Fusion，2010，11:69-77.

［19］ 裴闖，蔣曉瑜，等.自然彩色化雙通道實時圖像融合系統(tǒng)［J］.光學 精密工程，2013，21(5):1333-1339.

PEI CH，JIANG X Y.Dual-channel real-time image fusion system with nature color［J］.Opt.Precision Eng.，2013，21(5):1333-1339.(in Chinese)

［20］ DESHMUKH M，BHOSALE U.Image fusion and image quality assessment of fused images［J］.International J.Image Processing(JIP)，2010，4(5):484-508.

［21］ 張小鳳.可見光和紅外圖像融合質量評價研究［D］.武漢:華中科技大學，2005.

ZHAO X F.Quality evaluation research of visible and infrared image fusion［D］.Wuhan:Huazhong University of Science and Technology，2005.(in Chinese)