吳燕燕，王亞杰，石祥濱，王琳霖

(沈陽航空航天大學 工程訓練中心，沈陽110136)

結(jié)合NSST和顏色對比度增強的彩色夜視方法

吳燕燕，王亞杰，石祥濱，王琳霖

(沈陽航空航天大學 工程訓練中心，沈陽110136)

針對夜視圖像彩色融合通常存在細節(jié)信息不夠豐富、顏色對比度低的問題，為了獲得更為理想的彩色融合效果，提出一種新的基于非下采樣剪切波變換(Non-subsampled Shearlet Transform，NSST)和顏色對比度增強的彩色融合方法。首先，分別設(shè)計基于S函數(shù)和局部方向?qū)Ρ榷鹊牡皖l與高頻融合規(guī)則，完成源可見光與紅外圖像在NSST域的融合；其次，將灰度融合圖像賦給Y分量，源圖像的差值信號賦給U和V色差分量，形成YUV空間的偽彩色融合圖像。最后，選擇一幅與待上色圖像具有相似顏色分布的自然日光圖像作為彩色參考圖像，在YUV空間對偽彩色融合圖像進行顏色對比度增強的非線性色彩傳遞。與近年方法相比，該方法所得彩色融合效果細節(jié)信息豐富、熱目標突出。將該方法運用于彩色夜視領(lǐng)域，可有效增強場景深度感知和目標的可探測性。

圖像融合；NSST；彩色夜視；顏色對比度增強；YUV空間

0 引言

所謂彩色夜視是指將多波段的夜視圖像融合成一幅適于人眼視覺感知和目標探測的彩色圖像，以提高夜視系統(tǒng)的性能[1]。通常，可見光圖像反映場景的光譜信息，包含豐富的細節(jié)特征；而紅外圖像主要根據(jù)熱溫差成像，具有良好的目標探測性，兩者的融合可以充分實現(xiàn)信息互補[2]。尤其是在低照度條件下，將采集到的可見光(微光)與紅外圖像進行彩色融合可以改善場景勢態(tài)，使人眼感知不同波段的圖像特征。彩色夜視已成為目前研究的熱點[3]。

彩色融合主要包括假彩色融合和自然感彩色融合。假彩色融合運算速度快，但色彩與自然色相差較大，主要代表方法有NRL方法、TNO方法。2003年，Toet等[4]借鑒Reinhard方法的思想，賦予多波段圖像以自然彩色，該方法所得彩色融合圖像的局部區(qū)域顏色與真實場景相差較大，且不利于實時處理。2011年，Li轉(zhuǎn)向研究基于YUV空間的標準顏色傳遞方法(StaCT)，并提出了結(jié)構(gòu)優(yōu)化型顏色傳遞方法(AOCT)，實現(xiàn)對多波段圖像的快速自然感彩色融合[5]。然而，上述方法均屬于基于全局統(tǒng)計信息的彩色遷移方法，僅考慮了圖像整體上色效果，導致目標與周圍背景的顏色非常相近。為了提高目標與背景的顏色對比度，2012年，Qian[6]基于空間提出了一種對比度增強的彩色夜視方法，該方法在進行假彩色融合時，忽略了l分量的動態(tài)范圍與灰度圖像的動態(tài)范圍并不同，用源圖像的簡單加權(quán)求和來替代l分量，因此對光譜信息的呈現(xiàn)并不理想。

針對上述問題，本文提出一種基于非下采樣剪切波變換(Non-subsampled Shearlet Transform，NSST)和顏色對比度增強的自然感彩色融合方法。首先分別設(shè)計基于S函數(shù)和局部方向?qū)Ρ榷鹊牡皖l與高頻子帶融合規(guī)則，完成源圖像在NSST域的融合；其次將灰度融合圖像和源圖像組合映射至YUV空間，得到Y(jié)UV空間偽彩色融合圖像；最后采用線性與非線性結(jié)合的色彩傳遞技術(shù)，對偽彩色融合圖像進行自然感彩色校正。與NRL、Toet、StaCT、Li以及Qian方法相比，本文所得彩色融合圖像光譜信息豐富、熱目標突出。本文包括兩部分：1)基于NSST的夜視可見光與紅外圖像融合；2)基于YUV空間對比度增強的自然感彩色融合。

1 基于NSST的夜視可見光與紅外圖像融合

NSST是一種新的多維函數(shù)稀疏表示工具[7]，具備良好方向性和各向異性，可以準確捕捉圖像中的細節(jié)信息[8-10]。本節(jié)融合過程包括采用NSST對源圖像進行分解、分解系數(shù)融合和NSST重構(gòu)3個部分。首先分別對源可見光圖像(Vis)和紅外圖像(IR)進行NSST分解，得到不同尺度和不同方向的子帶系數(shù)和。其中，為低頻子帶，Hk,l為尺度k下第l方向的帶通方向子帶。為了獲得更為理想的融合效果，設(shè)計適當?shù)娜诤弦?guī)則，最后經(jīng)NSST重構(gòu)得到融合圖像F。

1.1 低頻子帶融合規(guī)則

由NSST分解得到的低頻系數(shù)，主要反映原始圖像的概貌特征[11]。以往低頻子帶的融合規(guī)則多采用簡單加權(quán)平均的方法，顯然沒有考慮不同傳感器圖像的成像特點，降低了融合圖像的對比度。本文通過構(gòu)造一個S函數(shù)模型，由S函數(shù)決定加權(quán)融合時的權(quán)系數(shù)，實現(xiàn)對低頻子帶的自適應加權(quán)融合。融合的低頻子帶系數(shù)：

式中：β表示該S函數(shù)的收斂因子，為給定的常數(shù)；為紅外圖像中在(i,j)像素點的灰度值，χ(i,j)代表(i,j)處像素點的灰度值與灰度平均值μIR的相對偏離程度。χ(i,j)值越大，對應的權(quán)系數(shù)ω(i,j)越接近于1。在自然圖像中，背景的灰度值與平均灰度值較為接近，此時χ(i,j)值趨向于0，代入式(2)，權(quán)系數(shù)趨近于0.5，那么融合后的低頻子帶可看作兩源圖像的平均。對于非自然的圖像，其中的熱目標所對應的灰度值與平均灰度值相差較大，這樣相應頻域處的主要來自紅外熱目標分解得到的低頻子帶系數(shù)。由分析可知，本文所設(shè)計的低頻子帶融合規(guī)則，充分考慮了紅外和可見光圖像的成像特點，能夠?qū)崿F(xiàn)兩者的自適應融合。

1.2 帶通方向子帶融合規(guī)則

經(jīng)NSST分解得到的帶通方向子帶系數(shù)主要表征源圖像中的邊緣和紋理等高頻信息，其融合規(guī)則的好壞，直接影響融合圖像細節(jié)信息的保持程度[12]。對于帶通方向子帶系數(shù)的融合，本文采用基于局部方向?qū)Ρ榷鹊娜诤喜呗?，以有效保留邊緣等細?jié)信息。局部方向?qū)Ρ榷?LDC)定義如下，

2 基于YUV空間對比度增強的彩色融合

彩色融合方案如圖1所示，輸入：同一場景夜視可見光與紅外圖像對；輸出：彩色融合圖像。

圖1 基于YUV空間顏色對比度增強的彩色融合方案Fig.1The color fusion method based on color contrast enhancement in YUV space

基于YUV空間顏色對比度增強的彩色融合步驟如下：

1)參照式(6)得到Y(jié)UV偽彩色融合圖像：

2)選擇一幅與待上色圖像具有相似顏色分布自然日光彩色圖像作為參考圖像，將其由RGB變換至YUV空間，將參考圖像Y、U通道的統(tǒng)計量線性傳遞給偽彩色融合圖像：

3)為了進一步突出熱目標，對V通道進行非線性色彩傳遞，在傳遞方程中加入比例因子λ(i,j)：

4)根據(jù)上述步驟，即完成了YUV空間的自然感彩色校正，最后將分量變換回到RGB空間，得到顏色對比度增強的自然感彩色融合圖像。

3 實驗結(jié)果與分析

實驗軟件環(huán)境：Win7-64位系統(tǒng)、MATLABR2010；硬件環(huán)境：方正文祥D430-H81臺式機(3.20GHz中央處理器，4 GB內(nèi)存)、VIPER SYSTEM夜視成像儀。

3.1 夜視圖像融合方法對比

為了驗證1節(jié)融合方法的有效性，選擇圖2(a)和2(b)經(jīng)過配準的可見光與紅外圖像對進行實驗，并與下面3種方法進行對比：1)基于離散小波變換(DWT)的圖像融合方法[13]；2)基于NSCT的圖像融合方法[14]；3)基于壓縮感知(CS)的圖像融合方法[15]。圖2(c)～2(f)分別為基于DWT、NSCT、CS和本文方法的融合結(jié)果。觀察圖2不難發(fā)現(xiàn)，本文方法所得融合圖像細節(jié)信息最為豐富、熱目標突出。

圖2 UNcamp圖像融合結(jié)果對比Fig.2Comparison of the fusion results based on different methods for UNcamp images

選擇SSIM(結(jié)構(gòu)相似性度量)[16]、Clarity(清晰度)[17]、以及Q，Qw，Qe指標[18]，對融合結(jié)果進行客觀評價，各項指標值越大代表融合質(zhì)量越好。評價對比結(jié)果如表1，從客觀角度驗證了本文方法的優(yōu)越性。

表1 UNcamp圖像融合結(jié)果客觀評價對比Table 1Objective evaluation index of different fusion methods for UNcamp

3.2 彩色融合方法對比

國際上對彩色融合質(zhì)量的評價主要從顏色協(xié)調(diào)性和顏色自然感、顏色對比度和清晰度4個指標[19]進行主觀定性評價。利用本文彩色夜視方法對大量夜視圖像進行仿真實驗，并與NRL、Toet、StaCT、Li和Qian的方法進行對比，由于篇幅有限，現(xiàn)以TNO研究所提供的大小均為256′256的UNcamp圖像對和Dune圖像對為例加以分析。UNcamp圖像對的彩色融合結(jié)果如圖3所示，其中，圖3(a)和3(b)分別為源可見光與紅外圖像；圖3(c)為NRL假彩色融合結(jié)果；圖3(d)為本文的YUV偽彩色融合圖像；圖3(e)為一幅與待上色圖像具有相似顏色特征的自然日光下的彩色圖像，將其作為各方法的彩色參考圖像；圖3(f)為Toet方法的彩色融合結(jié)果，該方法并沒有很好地繼承目標參考圖像中草地和樹木的綠色，而是呈現(xiàn)出大量的黃色，而且部分細節(jié)信息被大量的白光掩埋；圖3(g)為StaCT方法的彩色融合結(jié)果，該方法所得彩色融合圖像接近于自然色，但目標與背景的顏色非常接近，不利于目標判斷，而且存在過飽和現(xiàn)象；圖3(h)為Li的AOCT方法得到的彩色融合效果，該方法依然存在過飽和現(xiàn)象與對比度低的問題；圖3(i)為Qian的方法所得彩色融合結(jié)果，該方法使目標顯示為鮮明的亮黃色，部分冷背景被渲染成藍色，在一定程度上改善了目標與背景的顏色對比度，但部分背景(如屋頂)并沒有呈現(xiàn)出自然色，而且對細節(jié)信息的表達效果并不十分理想；圖3(j)為本文彩色融合效果，對比可知，本文彩色融合圖像中的熱目標(如人物)呈紅色，和低溫背景形成鮮明對比，非常有利于目標判斷，而且背景清晰度高、顏色層次感強。

圖3 UNcamp圖像融合結(jié)果對比Fig.3Comparison of the color fusion results for UNcamp images

圖4是另一組Dune圖像基于不同方法的彩色融合結(jié)果對比，圖4(a)、4(b)分別為Dune可見光與紅外圖像，圖4(e)是一幅拍攝于沈陽航空航天大學青陽湖畔的自然日光圖像，與待上色圖像具有相似顏色分布。圖4(c)和4(d)分別為NRL假彩色融合圖像、YUV偽彩色融合圖像，圖4(f)-(j)分別為Toet、StaCT、Li、Qian和本文方法的彩色融合結(jié)果。相比其他方法，本文彩色融合圖像中的熱目標突出、細節(jié)對比度顯著，進一步驗證了本文方法能夠有效改善彩色夜視融合質(zhì)量。

圖4 Dune圖像融合結(jié)果對比Fig.4Comparison of the color fusion results for Dune images

4 結(jié)論

本文提出一種基于NSST和顏色對比度增強的夜視圖像彩色融合方法，首先對源圖像進行基于NSST的灰度融合，其次利用灰度融合圖像和源圖像組合映射得到Y(jié)UV偽彩色融合圖像，最后對偽彩色融合圖像進行基于顏色對比度增強的自然感彩色校正。與其他方法相比，本文方法不僅有效豐富了融合圖像的細節(jié)，而且加強了圖像的深度感，有利于提高場景記憶能力和方位判斷。

[1]薛模根，周浦城，劉存超.夜視圖像局部顏色傳遞算法[J].紅外與激光工程，2015，44(2)：782-785. XUE Mogen，ZHOU Pucheng，LIU Cunchao.A novel local color transfer method for night vision image[J].Infrared and Laser Engineering，2015，44(2)：782-785.

[2]谷雨，劉晶紅，孫明超，等.基于分形特征和導引濾波的可見光與紅外圖像融合算法[J].光電工程，2015，42(4)：62-67. GU Yu，LIU Jinghong，SUN Mingchao，et al.Visible and Infrared Image Fusion Algorithm by Fractal Feature and Guided Filtering[J].Opto-Electronic Engineering，2015，42(4)：62-67.

[3]YIN Songfeng，CAO Liangcai，LING Yongshun，et al.One color contrast enhanced infrared and visible image fusion method [J].Infrared Physics and Technology(S1350-4495)，2010，53(2)：146-150.

[4]ToetA.Natural colour mapping for multiband night vision imagery[J].Information Fusion(S1566-2535)，2003，4(3)：155-166.

[5]李光鑫，徐抒巖，趙運隆，等.顏色傳遞技術(shù)的快速彩色圖像融合[J].光學精密工程，2010，18(7)：1638-1647. LI Guangxin，XU Shuyan，ZHAO Yunlong，et al.Fast color image fusion based on color transfer technique[J].Optics and Precision Engineering，2010，18(7)：1638-1647.

[6]QIAN Xiaoyan，WANG Yujin，WANG Bangfeng.Effective contrast enhancement method for color night vision[J].Infrared Physics&Technology(S1350-4495)，2012，55(1)：130-136.

[7]GUO Kanghui，Labate D.Optimally sparse multidimensional respresentation using shearlets[J].SIAM Journal on MathematicalAnalysis(S1095-7154)，2007，39(1)：298-318.

[8]張鴻杰，王憲，孫子文.Shearle多方向自適應加權(quán)融合的稀疏表征人臉識別[J].光電工程，2014，41(12)：66-71. ZHANG Hongjie，WANG Xian，SUN Ziwen.Face Recognition Based on Shearlet Multi-orientation Adaptive Weighted Fusion and Sparse Representation[J].Opto-Electronic Engineering，2014，41(12)：66-71.

[9]ZHANG Baohua，LU Xiaoqi，PEI Haiquan，et al.A fusion algorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform[J].Infrared Physics&Technology(S1350-4495)，2015，73(11)：286-297.

[10]鄭偉，孫雪青，郝冬梅，等.Shearlet變換和稀疏表示相結(jié)合的甲狀腺圖像融合[J].光電工程，2015，42(1)：77-83. ZHENG Wei，SUN Xueqing，HAO Dongmei，et al.Thyroid Image Fusion Based on Shearlet Transform and Sparse Representation[J].Opto-Electronic Engineering，2015，42(1)：77-83.

[11]Singh Sneha，Gupta Deep，Anand R S，et al.Nonsubsampled shearlet based CT and MR medical image fusion using biologically inspired spiking neural network[J].Biomedical Signal Processing and Control(S1746-8094)，2015，18：91-101.

[12]WANG Zhishe，YANG Fengbao，PENG Zhihao，et al.Multi-sensor image enhanced fusion algorithm based on NSST and top-hat transformation[J].Optik-International Journal for Light and Electron Optics(S0030-4026)，2015，126：4184-4190.

[13]Anoop Suraj A，F(xiàn)rancis Mathew，Kavya T S，et al.Discrete wavelet transform based image fusion and de-noising in FPGA[J]. Journal of Electrical Systems and Information Technology(S2314-7172)，2014，3(1)：72-81.

[14]張驚雷，趙俄英.基于NSCT的紅外與可見光圖像融合方法[J].激光與紅外，2013，43(3)：319-322. ZHANG Jinglei，ZHAO E￠ying.Fusion method for infrared and visible light images based on NSCT[J].Laser＆Infrared，2013，43(3)：319-322.

[15]LI Xun，QIN Shiyin.Efficient fusion for infrared and visible images based on compressive sensing principle[J].IET Image Process(S1751-9659)，2011，5(2)：141-147.

[16]WANG Zhou，Bovik A C，Sheikh H R，et al.Image quality assessment：From error visibility to structural similarity[J].IEEE Transactions on Image Processing(S1057-7149)，2004，13(4)：600-612.

[17]HU Liangmei，GAO Jun，HE Kefeng.Research on quality measures for image fusion[J].Acta Electronica Sinica (S0372-2112)，2004，32(12A)：218-221.

[18]Piella G.New quality measures for image fusion[C]//Proceedings of the Seventh International Conference on Information Fusion，Stockholm，Sweden，June 28-July 1，2004：542-546.

[19]LI Chen￠ou，Patrick Chong，Ronnier Luo M，et al.Additivity of colour harmony[J].Color Research&Application (S0361-2317)，2011，36(5)：355-372.

本期組稿：楊淇名

責任編輯：謝小平

英文編輯：龐 洪

The Color Night Vision Method Combining NSST with Color Contrast Enhancement

WU Yanyan，WANG Yajie，SHI Xiangbin，WANG Linlin
(Engineering Training Center,Shenyang Aerospace University,Shenyang110136,China)

Traditional color night vision fusion methods usually suffered from the problems of blurry visual effects and the low color contrast between the target and the background,in order to obtain the more ideal color fusion effect,an improved color fusion method based on Non-subsampled Shearlet Transform(NSST)and color contrast enhancement was proposed.Firstly,NSST was employed to decompose the infrared and visible source images,respectively,and then the gray-level fusion image was obtained according to the self-adaptive fusion rules based on the S function and the local directional contrast.Secondly,the gray fusion image was assigned to the Y component,and the difference of the source images was respectively assigned to the U and V component,and then the false color fusion image was generated in YUV space.Finally,a natural daylight color image with similar color feature to the gray fusion image was selected as the reference image,meanwhile,transferring the color feature of the reference image to the false color fusion image based on the nonlinear color transfer technique in the uncorrelated YUV space,so as to enhance the color contrast of the hot target and cold background.Compared with the methods in recent years,Experimental results showed that the color fusion result based on ours contained more abundant details,and the hot target was highlighted.This method is applied to the field of color night vision that can make for enhancing the situation awareness and improve the target detectability.

image fusion;NSST;coloring night-vision;color contrast enhancement;YUV space

TP391

A

10.3969/j.issn.1003-501X.2016.11.014

1003-501X(2016)11-0088-07

2016-03-23；

2016-05-03

國家自然科學基金資助項目(61170185)；航空科學基金資助項目(2015ZC54008)；遼寧省教育廳科研項目(L2015411)；遼寧省教育廳科研項目(L201605)；校青年人才成才基金項目(201406Y)

吳燕燕(1989-)，女(漢族)，河南開封人。碩士，助理實驗師，主要研究工作是圖像處理、圖像融合、計算機視覺。E-mail:pursuit1989@126.com。