嚴 敏，楊智雄，余春超，袁小春，粟宇路,王 鑫

?

基于CPCT的彩色圖像融合算法

嚴 敏，楊智雄，余春超，袁小春，粟宇路,王 鑫

（昆明物理研究所，云南 昆明 650223）

彩色融合圖像在場景深度感知、目標探測識別、減少判斷時間等方面優(yōu)于灰度融合圖像，重點研究了紅外與可見光彩色圖像融合算法。針對經(jīng)典的自然感圖像融合算法中計算復雜度高、缺乏顏色恒常性問題，提出基于YUV顏色空間恒參數(shù)顏色傳遞（CPCT）圖像融合算法，并通過柵欄、山丘、森林和城鎮(zhèn)四組實驗驗證了本文算法在顏色恒常性和算法實時性上有較大改善。

彩色圖像融合；CPCT；紅外圖像；可見光圖像

0 引言

在可見光（或微光）、紅外以及合成孔徑雷達等多種圖像傳感器中，可見光（或微光）和紅外圖像傳感器的成像差異小且兩者的互補性好，可見光圖像的場景特征豐富，但在夜間或有煙幕遮擋等復雜場景中目標探測性差；而紅外圖像傳感器依托場景的熱對比度成像，在夜間及霧靄雨雪等多種復雜環(huán)境中能克服部分視覺上的障礙而探測到目標，因此結合紅外和可見光圖像兩者的優(yōu)點而形成的圖像融合技術受到各國研究人員的關注[1]。在夜間或有煙幕干擾等各種惡劣戰(zhàn)場環(huán)境中，結合了紅外圖像的目標信息和微光/可見光的場景信息的融合圖像更有利于對戰(zhàn)場環(huán)境的理解。

2001年Reinhard提出了顏色傳遞（Color Transfer）[2-3]的概念，Toet[4-5]將其引入到圖像融合中，提出了經(jīng)典的顏色傳遞圖像融合算法-基于顏色傳遞的彩色圖像融合方法。該方法中進行了兩次顏色空間變換，且lab和RGB顏色空間之間的變換是非線性的對數(shù)指數(shù)變換，計算復雜度高，融合過程進行了多次的矩陣和對數(shù)運算，大大降低了算法的實時性。同時，顏色傳遞過程中參考圖像的場景信息要盡量與融合目標圖像場景一致，否則融合自然感差，融合效果對參考圖像依賴性強，缺乏顏色恒常性。李光鑫等[6]通過理論推導證明滿足一定條件的顏色空間均能用于顏色傳遞，并提出了快速顏色傳遞（AOCT）圖像融合方法。錢小燕等[7-8]針對融合圖像的顏色恒常性難以保持的問題，對融合圖像進行顏色聚類，分割成不同顏色域后進行局部顏色映射，使得融合圖像更自然、真實。Liu等[9]結合灰度融合算法，用EM和NSCT融合方法獲得的灰度圖像替代原亮度分量，并在通道引入一個比例系數(shù)以增強目標識別率。

本文針對經(jīng)典的自然感圖像融合算法中計算復雜度高、缺乏顏色恒常性問題得出參考圖像參數(shù)設置規(guī)律，并由此提出基于恒參數(shù)顏色傳遞（Constant Parameter Color Transfer，CPCT）的圖像融合算法?；贑PCT的圖像融合算法融合效果的自然感，實時性好，并保證顏色恒常性，對山地、丘陵、森林等多種場景具有一定的適用性

1 恒參數(shù)顏色傳遞融合算法

1.1 顏色空間的選擇

依據(jù)文獻[10]所給出的命題以及證明，可以得到一組滿足以下條件的顏色空間均能進行顏色傳遞：

式中：,,均是不為0的任意常數(shù)，當＝1.0000，＝0.8714，＝1.2300即得到了空間，如下：

不同于lab顏色空間，YUV顏色空間與RGB顏色空間的變換是線性變換，用YUV顏色空間取代l顏色空間能有效地降低顏色空間變換的計算復雜度，提高融合算法的實時性。同時，與RGB視頻信號傳輸相比，YUV顏色編碼方法只需占用極少的頻寬，YUV格式在彩色視頻信號傳輸中應用較廣，在一些嵌入式系統(tǒng)視頻傳輸中也是采用YUV格式，所以YUV顏色空間更有利于后期算法移植等應用需求。此外，亮度通道與色彩,通道相關性小，融合圖像場景結構、邊緣等與圖像色彩信息分離，可用較好的灰度融合圖像替代亮度分量，使得融合過程相當于對一幅高質量灰度融合圖像進行著色操作。因此，本文在YUV顏色空間進行顏色傳遞，基于YUV顏色空間的恒參數(shù)顏色傳遞圖像融合的流程如圖1所示。

圖1 基于YUV空間的顏色傳遞圖像融合流程

如圖1中所示，IR是紅外圖像，Vis是可見光圖像，YUV格式是顏色空間，＝Fusion是通道融合后圖像亮度信息，＝Vis-IR、＝IR-Vis表示可見光圖像和紅外圖像融合后色彩飽和信息。

1.2 參考圖像參數(shù)統(tǒng)計分析

顏色傳遞過程僅通過參考圖像的均值和方差就能達到很好的自然感彩色融合圖像效果。但由于顏色傳遞效果的好壞取決于參考圖像與目標圖像之間場景差異大小，參考圖像與目標圖像場景越接近，顏色傳遞效果越好，參考圖像與目標圖像場景信息差異很大時，最終融合效果甚至不能滿足自然感融合要求。研究如何減小或者去除參考圖像對顏色傳遞效果的影響是本文研究的重點，顏色傳遞的實質是用參考圖像的均值和方差替代目標圖像的均值和方差。

參考圖像統(tǒng)計信息分析的過程主要分兩部分：①分析并統(tǒng)計山丘、森林、城市不同場景參考圖像,,三通道均值和方差的取值分布情況；②結合①中所獲得的取值分布結合多種主/客觀評價指標分析,,三通道的取值變化對顏色傳遞效果的影響。

針對山丘、森林等場景環(huán)境選取出80幅圖片作為參考圖像進行顏色傳遞，統(tǒng)計參考圖像的均值和方差數(shù)據(jù)，得出結果如圖2，其中橫坐標表示數(shù)據(jù)取值范圍，縱坐標表示落在該區(qū)間的參考圖像個數(shù)。

從上述統(tǒng)計及其對應的顏色傳遞圖像融合效果，可以得出：

1）參考圖像的均值和方差對于不同場景具有一定的適用性。合適的參考圖像對山丘、森林和城市三種不同場景均能表現(xiàn)出良好的顏色傳遞融合效果，反之不合適的參考圖像三種場景的顏色傳遞效果均不佳。

2）參考圖像均值和方差取值主要分布于：

通道＝80～150，＝1000～4000；

通道＝－20～20，＝0～700；

通道＝－25～50，＝0～700。

1.3 Y通道參數(shù)設置規(guī)律分析

通道表示圖像亮度信息，而、通道表示圖像色彩信息，通道與、通道的相關性小，因此參考圖像的YUV均值和方差對顏色傳遞結果的影響分析過程分2部分：一是通道均值和方差的分析，二是、通道取值的分析。

設置,,,,為定值，僅變化，分析其對顏色傳遞圖像融合結果的影響。參考1.2中的分析結果，設置取值區(qū)間為50～140，步長為10，＝1000；＝10，＝600；＝12，＝400，所得顏色傳遞結果如圖3所示。

圖2 80幅參考圖像YUV三通道均值、方差統(tǒng)計值

圖3 Y通道均值變化對顏色傳遞結果影響

由圖3得，隨著通道均值逐漸增加圖像亮度逐漸增加，當＜80圖像亮度不足，當＞110道路的邊緣由于值過大變得模糊，因此為均衡圖像的亮度以及邊緣信息保留，應當取值在80～110范圍。

設置＝100；＝10，＝600；＝－12，＝600，分析通道方差變化對融合結果的影響。發(fā)現(xiàn)＞1450，圖像銳化過度，橫紋噪聲很大，圖像質量下降；＜700，圖像平滑過度，細節(jié)信息保留不足。因此，設置方差區(qū)間600～1500，步長為100，顏色傳遞圖像融合結果如圖4所示。

當＜800，圖像銳化不足，圖像邊緣信息保留不足；＞1200，圖像銳化過度，橫紋噪聲較大，圖像質量下降。因此，應取值在800～1200。

1.4 U、V通道參數(shù)設置規(guī)律分析

為全面分析、通道均值和方差取值對顏色傳遞圖像融合結果的影響，需分析：,取值區(qū)間，,取值符號，||,||大小關系，|||－|||的大??；,取值區(qū)間，,取值大小關系，|－|的大小?？臻g亮度與顏色分離，在取值固定，色差,逐漸增大對圖像顏色的影響如圖5所示，3圖依次對應＝0, 128和255時，,取[－127, 128]，輸出圖像顏色變化圖，從圖中可以清晰地理解、通道均值取值符號和大小對輸出顏色的影響，但、通道均值取值區(qū)間如何能滿足融合后顏色自然感和顏色豐富的要求，以及方差變化對圖像輸出顏色的影響都需要具體分析，以下分析過程中均設置＝95，＝1000。

為分析均值變化對融合結果的影響，設置：||＝||，,取值區(qū)間均為－28～28；方差3種大小關系＝600，＝400，＝＝400，＝400，＝600。

實驗表明：,符號均為正時，圖像逐漸偏向紫紅色；符號取正負時，圖像逐漸偏向黃色；符號取負正時，圖像逐漸偏向綠色；符號均為負時，圖像逐漸偏向藍色。顏色傳遞結果顯示：當取值范圍超過－8～8時顏色傾向較為明顯，當取值范圍超過－15～15時顏色傾向較為嚴重。因此，為保證顏色傳遞圖像融合的自然感，,的取值范圍應在－15～15內。

圖5 色差、取值對顏色的影響

Fig.5 Effect of color on、value

圖6為其中一組顏色傳遞圖像融合結果，從左至右,符號依次為＋＋，＋－，－＋，－－，||＝||＝8，＝600，＝400的融合結果。

為分析,大小關系對顏色傳遞圖像融合結果的影響并確定|||－|||取值范圍，結合人眼主觀評價與顏色豐富度（Colorfulness）客觀評價指標[11]，對顏色傳遞融合結果進行評價，其計算式如下，式中＝－,＝0.5(＋)－。

在,符號為＋＋，＋－，－＋，－－，,取值在－15～15內，＝＝700，的情況下，分析||＞||，||＝||，||＜||大小變化對圖像融合結果的影響。當,符號均為正，||＞||，||＝||，||＜||結果如圖7所示。

從左至右，,的取值及相應的圖像顏色變化及顏色豐富度值如表1所示。為分析|||－|||大小對圖像整體顏色調整的影響，在,四種符號取值中，＝＝700，設置＝4,6,8,10四種情況。由于＜時，顏色豐富度較大，分析時主要考慮＜的情況，因此設置從－＝2到－＝10以步長1逐漸增大。融合結果表明：隨著|||－|||逐漸增大，值逐漸增大，但當|||－|||增大到一定值時，圖像整體顏色改變較大，導致圖像的自然感下降。

圖7 mU,mV取值大小不同時的顏色傳遞融合結果

為平衡圖像融合結果的自然感和顏色豐富度，||,||設置在6～12，且要使＜，|||－|||值不能過大，2～8即可，且隨著,數(shù)值的增加，|||－|||應適當減小以保證圖像的自然感。

表1 mU,mV的取值大小不同圖像顏色變化及M值

分析,取值變化對圖像融合結果的影響時，,符號和大小變化對顏色傳遞結果影響的規(guī)律，設置：,取值4種符號，大小為||＝6，||＝10，取值從400～1500，步長為100，逐漸增大。

結果表明：隨著,逐漸增大，融合圖像色彩越豐富；當＜600時，色彩呈現(xiàn)不足，當＞1000，色彩飽和度過大，成像自然感下降。因此，,取值范圍為600～1000。圖8給出了，,符號為正負，＝500～1300，步長為200的顏色傳遞融合結果。

設置,取值4種符號，大小為||＝6，||＝10；＝800，取值從400～1500，步長為100，逐漸增大。

結果表明：＜，圖像紅色分量增大，＞，圖像藍綠色分量增大。圖9給出了,符號為負正，＝400～1200，步長為200的顏色傳遞融合結果。圖中(c)為＝＝800，(d)、(e)為＞，圖像中目標有加強的效果。此外，隨著|－|逐漸增大，圖像顏色偏向嚴重，影響圖像的自然感，因此，|－|取值應在0～400內。

1.5 恒參數(shù)顏色傳遞規(guī)律

通過分析得出三通道均值、方差設置規(guī)律，定義為恒參數(shù)顏色傳遞規(guī)律（Constant Parameter Color Transfer Rules）如下：

1）通道均值，方差＝800～1200，顏色傳遞結果圖像亮度和細節(jié)信息保留較好。

2）,取值決定圖像顏色。,分別為＋＋，＋－，－＋，－－，對應于紫紅、藍、黃和綠色。當||,||＜6，融合圖像顏色豐富度較低，當||,||＞20，圖像自然感下降。此外，|||－|||值過大顏色協(xié)調性下降，取值于0～8，且隨著,絕對值的增加，|||－|||應適當減小以保證圖像的自然感。

3）,取值范圍均為600～1000，,的大小關系會影響融合結果的顏色，＞偏綠，反之偏紅；|－|過大圖像自然感下降，取值于0～400?；贑PCT的顏色傳遞圖像融合應用方式有2種：一是采用參考圖像，利用CPCT Rules對參考圖像參數(shù)進行調整，達到改善融合效果的目的；二是直接利用CPCT Rules設置固定的一組顏色傳遞參數(shù)，減少參考圖像參數(shù)計算時間，并獲得良好的適用于不同場景彩色融合效果。

2 實驗仿真分析

仿真實驗在Inter Pentium CPU G630 @ 2.7GHz、4.00G RAM的硬件平臺進行，開發(fā)環(huán)境為Matlab 2013a。實驗圖像來自一個公開的微光灰度和紅外圖像的測試數(shù)據(jù)庫（imagefusion.org），實驗選取了柵欄、山丘、森林和城鎮(zhèn)四組場景，如圖10所示，在每組場景圖像中左圖為紅外圖像，右圖為可見光圖像。

圖8 sU, sV取值逐漸增大的顏色傳遞融合結果

圖9 sU, sV大小不同的顏色傳遞融合結果

第一組實驗為柵欄場景，對比5種融合算法：像素加權、小波變換、Toet[4]的經(jīng)典顏色傳遞圖像融合算法、Li[10]提出的快速顏色傳遞（AOCT）圖像融合算法和本文提出的CPCT的圖像融合算法，結果如圖11，其中CPCT中參數(shù)設置為：＝100，＝－10，＝－14，＝1000，＝500，＝700。

圖10 融合實驗4組場景

圖11 場景1融合效果對比

對比上述融合效果不難發(fā)現(xiàn)，經(jīng)典的顏色傳遞融合方法和AOCT融合方法對參考圖像的依賴很強，盡管參考圖像與融合場景比較相似，但融合出的整體顏色和部分細節(jié)保留效果不佳。而基于CPCT的融合方法，依據(jù)參考圖像對顏色傳遞融合效果的影響數(shù)據(jù)分析獲得CPCT Rules，不依賴參考圖像的選擇，保證融合圖像的整體自然感和顏色協(xié)調性，圖像中細節(jié)也得以很好地呈現(xiàn)。

上述是直接利用CPCT Rules設置恒定參數(shù)實現(xiàn)顏色傳遞彩色圖像融合的應用，同時CPCT Rules還可以用于修正不合適的參考圖像產生的不佳的顏色傳遞效果。以圖11中(e)圖融合效果為例，基于CPCT Rules的修正過程如圖12所示。該圖中最大的問題即是圖像細節(jié)信息保留不足，參考圖像的參數(shù)信息為＝111，＝6，＝－20，＝2274，＝841，＝257（均已取整），依據(jù)CPCT Rules知參考圖像亮度方差過大，調整＝1000得圖12中(b)融合效果，由此可得依據(jù)CPCT參數(shù)設置規(guī)律可改善不合適參考圖像的融合效果。

第二組實驗為場景二、三、四，對比Toet、AOCT和CPCT三種彩色圖像融合算法，結果如圖13所示。因為Toet融合算法中同一參考圖像難以適應多種不同場景呈現(xiàn)較好的自然感顏色傳遞效果，所以對于場景2、3，Toet融合算法所用的參考圖像和圖11(c)不同。

圖12 基于CPCT Rules 改善融合效果

圖13 不同彩色融合算法融合效果對比

圖11和圖13基于CPCT設置一組恒定參數(shù)，對4種不同場景進行顏色傳遞圖像融合，均能達到場景信息和目標明確，色協(xié)調性良好的融合效果，且設置恒定參數(shù)減少了參考圖像顏色空間變換和均值、方差計算過程，提高了算法的實時性。與Toet和AOCT融合算法相比，執(zhí)行時間減少了很多，有利于嵌入式系統(tǒng)的算法移植以及融合應用。3種彩色融合算法以上4種場景的運行時間對比如表2。

表2 三種方法執(zhí)行時間對比

3 結論

本文提出基于CPCT 的顏色傳遞算法，不同于其他改進算法，通過對顏色傳遞過程中參考圖像的參數(shù)進行統(tǒng)計分析研究，得出了顏色傳遞過程中參數(shù)設置規(guī)律，使得融合效果不依賴于參考圖像，實現(xiàn)融合結果的顏色恒常性。由于減少了參考圖像參數(shù)計算過程，基于CPCT 的圖像融合方法與現(xiàn)有融合算法相比，實時性有所改善，且對多種場景具備一定的適用性。

[1] Toet A, Hogervorst M A. Progress in color night vision[J]., 2012, 51(1)010901:1-19.

[2] Zhang Q, Guo B L. Research on image fusion based on Nonsubsampled Contourlet Transform[C]//, 2007: 3239-3243.

[3] 駱媛, 王嶺雪, 金偉其, 等. 微光(可見光)/紅外彩色夜視技術處理算法及系統(tǒng)進展[J]. 紅外技術, 2010, 32(6): 337-344.

[4] Reinhard E, Ashikhmin M, Gooch B, et al. Color transfer between images[J]., 2001, 21(5): 34-41.

[5] He S F, Yang Q X, Lau R W H. Visual Tracking via Locality Sensitive Histograms[C]//, 2013: 2427-2434.

[6] Li G X, Xu S Y, Zhao X. An efficient color transfer algorithm for recoloring multiband night vision imagery[C]//, 2010, 76890A1-12.

[7] Fan J L, Shen X H, Wu Y. Scribble Tracker: A Matting-based Approach for Robust Tracking[J]., 2012, 34(8): 1633-1644.

[8] 錢小燕, 張?zhí)齑? 王幫峰, 等. 局部顏色映射的彩色夜視算法[J]. 中國圖象圖形學報, 2012, 17(5): 689-693.

[9] Liu G, Huang G H. Color fusion based on EM algorithm for IR and visible image[C]//, 2010: 253-258.

[10] Li G X, Xu S Y, Zhao X. An efficient color transfer algorithm for recoloring multiband night vision imagery[C]//, 2010: 76890A1-12.

[11] Hasler D, Suesstrunk S. Measuring colourfulness in natural images[C]//, 2003, 5007: 87-95.

Color Image Fusion Algorithm Based On CPCT

YAN Min，YANG Zhi-xiong，YU Chun-chao，YUAN Xiao-chun，SU Yu-lu，WANG Xin

(,650223,)

Color fusion images are better than gray fusion images in scene perception, reducing estimate time, target detection and recognition. Hence, the thesis mainly studied the infrared and visible color image fusion algorithms. To solve the problem of complicated computation and no color constancy in the classical color transfer based image fusion method, a color image fusion method is proposed that is based on constant parameters color transfer in YUV color space. The experimental results show that this method can greatly improve the real-time performance with color constancy.

color image fusion，CPCT，infrared image，visible image

TP391.41

A

1001-8891(2015)07-0566-08

2015-03-17；

2015-05-25。

嚴敏（1982-），女，碩士研究生，工程師，主要從事電子軟件及圖像處理技術研究。