薛模根， 劉存超， 周浦城

（1. 偏振光成像探測技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230031；2. 陸軍軍官學(xué)院軍用光電技術(shù)與系統(tǒng)實(shí)驗(yàn)室，安徽 合肥 230031）

基于顏色傳遞和對比度增強(qiáng)的夜視圖像彩色融合

薛模根1,2， 劉存超2， 周浦城1,2

（1. 偏振光成像探測技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230031；2. 陸軍軍官學(xué)院軍用光電技術(shù)與系統(tǒng)實(shí)驗(yàn)室，安徽 合肥 230031）

針對基于顏色傳遞夜視圖像彩色融合算法存在的熱目標(biāo)不突出問題，提出一種基于顏色傳遞和對比度增強(qiáng)的彩色融合算法。該算法首先利用非線性擴(kuò)散和迭代閾值分割方法提取出圖像中的熱目標(biāo)，然后在HSI顏色空間利用熱目標(biāo)和灰度融合圖像對顏色傳遞得到的初步彩色融合圖像進(jìn)行調(diào)整，接著將處理結(jié)果變換回RGB顏色空間，得到最終的融合圖像。實(shí)驗(yàn)結(jié)果表明，利用該算法得到的融合圖像不僅與人眼視覺感知習(xí)慣一致，而且顯著增強(qiáng)了目標(biāo)與背景的對比度，從而有效提高了目標(biāo)的可探測性。

圖像融合；彩色夜視；顏色傳遞；稀疏表示

紅外熱像儀與微光夜視儀獲取的熱紅外圖像與微光圖像具有互補(bǔ)性及冗余性，通過融合相互取長補(bǔ)短，可以有效增強(qiáng)目標(biāo)的細(xì)節(jié)信息[1]。然而這兩種夜視儀獲得的都是表征場景空間信息的灰度圖像，缺少場景的顏色信息?；谌祟愐曈X系統(tǒng)研究表明，人眼對彩色圖像的分辨率要遠(yuǎn)遠(yuǎn)高于灰度圖像。因此，熱紅外和微光圖像的彩色融合更加有利于人眼對目標(biāo)的觀察與場景理解。

傳統(tǒng)的基于彩色空間映射的MIT法和Toet方法得到的偽彩色圖像，與真實(shí)自然場景的顏色差別較大，不能達(dá)到期望的自然彩色效果，從而影響對目標(biāo)的準(zhǔn)確識別。2003年，Toet[2]提出一種顏色傳遞理論，把白天自然場景的顏色特征傳遞給多波段夜視圖像，得到一幅符合人眼視覺觀察的近自然彩色融合圖像，但該圖像中目標(biāo)與背景相近，導(dǎo)致目標(biāo)變淡不利于人眼觀察。2009年，殷松峰等[3]提出一種提高夜視融合圖像目標(biāo)可探測性的顏色對比度增強(qiáng)方法，但該方法在增強(qiáng)熱目標(biāo)對比度的同時(shí)也使噪聲等非目標(biāo)信號對比度得到增強(qiáng)，從而影響人眼對目標(biāo)的觀察和快速識別。

針對基于顏色傳遞理論生成融合圖像的目標(biāo)與背景顏色相近、目標(biāo)變淡的問題，本文提出一種基于顏色傳遞和對比度增強(qiáng)的夜視圖像彩色融合算法，該算法首先采用基于稀疏表示的最優(yōu)化融合算法生成一幅灰度融合圖像，然后提取出紅外圖像中的熱目標(biāo)，并利用顏色傳遞理論得到初步彩色融合圖像，最后在HSI顏色空間利用提取的熱目標(biāo)和灰度融合圖像對得到的初步彩色融合圖像進(jìn)行調(diào)整，從而達(dá)到改善夜視融合圖像的質(zhì)量、提高彩色融合圖像探測性能的目的。

1 基于稀疏表示的紅外與微光圖像最優(yōu)化融合

為了生成一幅目標(biāo)突出、場景清晰的融合圖像，本文采用基于稀疏表示的最優(yōu)化融合方法。稀疏表示的本質(zhì)是用過完備字典代替?zhèn)鹘y(tǒng)信號表示中的正交基。由于過完備字典具有冗余性，因此信號能夠表示為過完備字典中少數(shù)原子的線性組合，可以獲得信號更為簡潔的表示方式，從而更容易獲取信號中蘊(yùn)含的信息。稀疏表示的數(shù)學(xué)模型為：

稀疏表示的關(guān)鍵是過完備字典的構(gòu)造和稀疏分解方法。其中字典構(gòu)造是一種尋找稀疏表示下最優(yōu)基的構(gòu)造，原始信號能否盡可能稀疏表示與字典的優(yōu)劣有很大的關(guān)系。本文采用DCT字典作為初始化過完備字典，待融合夜視圖像為樣本數(shù)據(jù)，利用K-SVD算法[4]，訓(xùn)練出所需的過完備字典D，然后采用追蹤算法求得稀疏系數(shù)。

假設(shè)紅外圖像IR在過完備字典D下的稀疏系數(shù)為α，微光圖像LL對應(yīng)的稀疏系數(shù)為β，融合圖像F的系數(shù)為γ，那么，融合圖像的優(yōu)劣等價(jià)為系數(shù)γ從α和β中選擇的好壞。為了生成一幅質(zhì)量好的融合圖像，建立一個(gè)融合圖像中的方差最大與源圖像的差別最小目標(biāo)函數(shù)：

殘留量F-IR和F-LL表征了源圖像與融合圖像的差別， ▽ IR和 ▽ LL是殘留量的權(quán)重，求解該最優(yōu)化方程，便可獲得紅外與微光圖像的灰度融合圖像[5]。

2 基于非線性擴(kuò)散和迭代閾值分割的熱目標(biāo)提取

傳統(tǒng)的圖像分割與目標(biāo)提取方法主要有迭代閾值分割法[6]、均值漂移[7]、水平集分割[8]等。由于紅外圖像中的噪聲比較多，背景環(huán)境比較復(fù)雜，干擾物較多，采用單一傳統(tǒng)圖像分割方法提取紅外圖像中的熱目標(biāo)，很難得到理想的效果。鑒于非線性擴(kuò)散是一種偏微分方法，能構(gòu)選擇性的平滑圖像，有效地平滑掉圖像中噪聲和一些平坦區(qū)域，并保持增強(qiáng)圖像中邊緣細(xì)節(jié)，因此，本文采用Perona和Malik提出的P-M模型[9]，對紅外與微光圖像的融合圖像和微光圖像分別進(jìn)行非線性擴(kuò)散，其數(shù)學(xué)表達(dá)式為：

對于融合圖像與微光圖像的擴(kuò)散結(jié)果 E1和E2，取兩者的差值 E=E1-E2，然后采用迭代閾值分割[6]從差值圖像中分割出紅外圖像中的熱目標(biāo)，其算法流程如下：

(1) 求出圖像中的最大和最小灰度值t1和tk,并令初始閾值為T0=(t1+tk)/2。

(2) 利用閾值Tk將圖像分為前景R1和背景R2，分別求出這兩部分的均值μ1和μ2。

(3) 更新閾值Tk+1=(μ1+μ2)/2。

(4) 如果Tk=Tk+1或k＞M，則迭代結(jié)束，否則k←k+1，轉(zhuǎn)到第(2)步繼續(xù)迭代。其中，M表示設(shè)定的最多迭代次數(shù)。

(5) 利用確定的閾值T分割出熱目標(biāo)HT。

3 基于熱目標(biāo)對比度增強(qiáng)的顏色傳遞

仿照Toet偽彩色融合結(jié)構(gòu)，在YCbCr空間的偽彩色融合方案為：

式(4)中Cb、Cr分量增加了偽彩色圖像的色彩對比度，為進(jìn)一步顏色傳遞提供豐富的光譜特征和空間信息[11]。

采用偽彩色融合可獲得較自然的色彩效果，算法簡單，但在細(xì)節(jié)方面稍顯劣勢。為了獲得更佳的自然感彩色融合圖像，進(jìn)一步采用顏色傳遞技術(shù)對偽彩色融合圖像進(jìn)行色彩增強(qiáng)：

其中下標(biāo)S、R和Fc分別指偽彩色融合圖像、參考圖像和彩色融合圖像；μ和σ分別為相應(yīng)顏色通道的均值和方差。將調(diào)整后的偽彩色圖像由YCbCr空間變換回RGB空間即可獲得初步彩色融合圖像。

為了進(jìn)一步突出彩色融合圖像中的目標(biāo)，提高目標(biāo)與背景之間的對比度，使人眼能夠快速地識別出目標(biāo)，考慮到HSI顏色空間符合人眼的視覺觀察系統(tǒng)，采用的熱目標(biāo)顏色對比度增強(qiáng)方法為：

(1) 將得到的初步彩色融合圖像從 YCbCr空間變換到HSI空間：

(2) 利用熱目標(biāo)HT分別對初步彩色融合圖像Fc的色調(diào)分量H和色飽和度分量S分別進(jìn)行調(diào)整：

式中，E(·)表示求平均值。根據(jù)式(8)，若當(dāng)前像素屬于目標(biāo)區(qū)域，則其色調(diào)調(diào)整為當(dāng)前像素的色調(diào)和整幅圖像的平均色調(diào)的平均值的補(bǔ)色。式(9)表明若當(dāng)前像素屬于目標(biāo)區(qū)域，那么首先需求出該像素點(diǎn)的色飽度和整幅圖像的平均色飽和度之差的絕對值，然后求其絕對值的平均值，利用兩者的比值作為該像素點(diǎn)的色飽和度值。

(3) 利用基于稀疏表示的最優(yōu)化融合算法得到紅外與微光圖像的融合圖像，用來表征彩色融合圖像的I2分量，增加融合圖像的細(xì)節(jié)信息。

(4) 將融合圖像在 HSI空間的值(H2，S2，I2)變換回RGB空間，得到最終的彩色融合圖像，變換式如下：

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提取熱目標(biāo)算法的有效性，與幾種典型的圖像分割算法迭代閾值分割[6]、均值漂移[7]、水平集分割[8]做比較。實(shí)驗(yàn)采用荷蘭人力因素研究所(TNO)提供的兩組場景不同的紅外與微光圖像樣本進(jìn)行仿真實(shí)驗(yàn)，分辨率為360×270。對于非線性擴(kuò)散的數(shù)值求解采用 AOS[9]，其中正則化因子σ=0.4，擴(kuò)散函數(shù)采用全變分?jǐn)U散，時(shí)間步長為20，迭代次數(shù)60。

紅外圖像熱目標(biāo)的提取實(shí)驗(yàn)如圖 1所示。在圖1中，(g)迭代閾值分割結(jié)果[6]中熱目標(biāo)被分割出來，但與熱目標(biāo)像素值相近的非目標(biāo)景物也被分割出來了（如山路，部分草叢）；(i)水平集分割[8]與閾值分割結(jié)果類似，不但得到熱目標(biāo)而且還有部分干擾物；(h)均值漂移[7]分割結(jié)果較好，但仍不能完全剔除干擾（如亭子中部分物體及場景中一些其他物體）。而利用本文提取熱目標(biāo)的算法則可以很好地去除場景中的其他（非熱目標(biāo)）的干擾，取得較好地分割效果，優(yōu)于迭代閾值分割[6]、均值漂移分割[7]和水平集分割[8]方法分割效果。

為了進(jìn)一步驗(yàn)證本文彩色融合算法的可行性與有效性，選取文獻(xiàn)[2]、[3]融合算法與本文融合算法作比較，3種融合算法采用同一個(gè)參考圖像，實(shí)驗(yàn)結(jié)果如圖2所示。文獻(xiàn)[2]融合結(jié)果目標(biāo)與背景顏色相近，致使目標(biāo)不突出，場景中的一些事物（如近處的草叢變黑）色彩不自然；文獻(xiàn)[3]融合結(jié)果中的場景清晰，紅外圖像中的熱目標(biāo)突出，但該方法是對紅外圖像中所有灰度值偏離平均值的區(qū)域進(jìn)行對比度增強(qiáng)，場景中亮度較大的值（如亭子的邊緣）也進(jìn)行對比度增強(qiáng)（變?yōu)榧t色），與場景的實(shí)際顏色相背離；而本文融合結(jié)果的場景顏色與文獻(xiàn)[2]和[3]相比顏色更接近自然色，視覺效果更舒適，目標(biāo)與背景的對比度更高。

圖 1 場景1紅外圖像熱目標(biāo)提取

圖2 場景1彩色融合結(jié)果

為在不同場景下驗(yàn)證本文提取熱目標(biāo)的可行性和有效性，圖3給出了另一組紅外圖像熱目標(biāo)提取實(shí)驗(yàn)效果及其彩色融合圖像的實(shí)驗(yàn)效果。從融合效果的視覺效果來看，利用本文彩色融合算法得到的融合圖像目標(biāo)更突出，場景更清晰(如遠(yuǎn)處的山坡，近處的爬坡路)，色彩效果更好。

圖3 場景2熱目標(biāo)提取和彩色融合效果

5 結(jié) 論

根據(jù)紅外與微光圖像之間的互補(bǔ)性和冗余性，采用基于稀疏表示的最優(yōu)化融合算法得到一幅灰度融合圖像。依據(jù)人眼視覺系統(tǒng)對彩色圖像的高靈敏性，在YCbCr顏色空間采用顏色傳遞理論得到一幅初步彩色融合圖像。為了提高彩色融合圖像的目標(biāo)探測性，利用迭代閾值分割從灰度融合圖像與微光圖像非線性擴(kuò)散結(jié)果的差值圖像中提取熱目標(biāo)，在HSI空間利用熱目標(biāo)和灰度融合圖像對初步彩色融合圖像的H、S、I分量分別進(jìn)行調(diào)整，得到最終彩色融合結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文算法得到的彩色融合圖像目標(biāo)與背景對比度高、細(xì)節(jié)清晰、色彩較好，提高了人眼對場景的理解和目標(biāo)的快速識別。

[1] 何衛(wèi)華, 郭永彩, 高 潮, 周東國. 利用 NSCT實(shí)現(xiàn)夜視圖像的彩色化增強(qiáng)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2011, 23(5): 884-889.

[2] Toet A. Natural colour mapping for multiband nightvision imagery [J]. Information Fusion, 2003, 4(3): 155-166.

[3] 殷松峰, 曹良才, 楊 華, 譚峭峰, 何慶聲, 凌永順,金國藩. 提高夜視融合目標(biāo)可探測性的顏色對比度增強(qiáng)方法[J]. 紅外與毫米波學(xué)報(bào), 2009, 28(4): 281-284.

[4] Aharon M, Elad M, Bruckstein A. The K-SVD: an algorithm for designing of over complete dictionaries for sparse representation [J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

[5] 薛模根, 劉存超, 徐國明, 袁宏武. 基于多尺度字典的紅外與微光圖像融合[J]. 紅外技術(shù), 2013, 35(11): 696-701.

[6] 張 震, 胡洪濤. 基于VC++的迭代閾值分割算法在圖像處理中的應(yīng)用[J]. 礦山機(jī)械, 2008, 36(8): 41-43.

[7] Comaniciu D, Meer P. Mean shift: a robust approach toward feature space analysis [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.

[8] Li Chunming, Huang Rui, Ding Zhaohua, Gatenby J C, Metaxas D N, Gore J C. A level set method for image segmentation in the presence of intensity inhomogeneities with application to MRI [J]. IEEE Trans on Image Processing, 2011, 20(7): 2007-2016.

[9] Pietro P, Jitendra M. Scale-space and edge detection using anisotropic diffusion [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629-639.

[10] Weickert J, Romeny B H, Viergever M A. Efficient and reliable schemes for nonlinear diffusion filtering [J]. IEEE Transactions on Image Processing, 1998, 7(3): 398-401.

[11] 徐銘蔚, 李郁峰, 陳念年, 張 笙, 熊 平, 唐遵烈.多尺度融合與非線性顏色傳遞的微光與紅外圖像染色[J]. 紅外技術(shù), 2012, 34(12): 722-728.

Night Vision Image Color Fusion Method Using Color Transfer and Contrast Enhancement

Xue Mogen1,2, Liu Cunchao2, Zhou Pucheng1,2
(1. Anhui province Key Laboratory of Polarization Imaging Detection Technology, Hefei Anhui 230031, China; 2. Laboratory of Military Electro & Optical Technology and System, Army Officer Academy of PLA, Hefei Anhui 230031, China)

As the traditional color fusion algorithm based on color transfer has an issue that the hot target is not highlight, a kind of color fusion algorithm of infrared and low-level-light image based on color transfer and contrast enhancement is proposed. This algorithm uses nonlinear diffusion and the iterative threshold segmentation to extract the target image firstly. And then, it adjusts the initial color fusion image obtained by color transfer using thermal target and gray fusion image in the HSI space. Next, the resultant image is transformed back into RGB color space, thus the final fused image is obtained. Experimental results show that, the proposed method has the merit that the fused result is consistent with the habit of human vision perception, and makes the contrast of target region within the cluttered background more outstanding. And then target detectability can be improved by the method.

image fusion; coloring night-vision; color transfer; sparse representation

TN 219

A

2095-302X(2014)06-0864-05

2014-03-17；定稿日期：2014-06-27

安徽省自然科學(xué)基金資助項(xiàng)目(1208085QF115)

薛模根(1964-)，男，安徽合肥人，教授，博士，博士生導(dǎo)師。主要研究方向?yàn)閳D像融合及圖像處理。E-mail：lcc426426@126.com