胡錦昊，王明昊，夏天揚(yáng)，王悅行，杜海靜，徐傳剛

（1.南開大學(xué)人工智能學(xué)院，天津 300350；2.天津津航技術(shù)物理研究所，天津 300308）

0 引 言

導(dǎo)彈打擊目標(biāo)時，需要捕控手根據(jù)導(dǎo)彈導(dǎo)引頭所傳回的圖像信息選擇實施打擊的位置。可見光圖像具有豐富的亮度及紋理信息，能保留物體的色彩及輪廓，通過人眼觀察即可獲得圖像所包含的大部分信息，如物體的尺寸和位置。因此，通常情況下僅使用可見光圖像就能找到目標(biāo)并實施打擊。但如果作戰(zhàn)時的光照條件受限或目標(biāo)進(jìn)行偽裝，此時僅使用可見光圖像將不利于捕控手準(zhǔn)確識別目標(biāo)，需要結(jié)合其他傳感器所獲取的信息進(jìn)行綜合判斷［1］。紅外相機(jī)可以根據(jù)熱輻射差異區(qū)分目標(biāo)與背景，這使得紅外圖像具有更強(qiáng)的抗干擾能力和穿透性［2］。但紅外圖像分辨率低，僅能得到目標(biāo)大致的輪廓而丟失了大部分的背景信息［3］。由于需要獲得目標(biāo)周圍的環(huán)境信息，因此無法直接使用紅外圖像進(jìn)行目標(biāo)識別。因此，可以將可見光圖像及紅外圖像按一定的方式進(jìn)行圖像融合，使得融合圖像在具有可見光的色彩紋理信息的同時又能具備較好的目標(biāo)指示能力。紅外-可見光圖像雙光融合，正是從像素級對兩種圖像進(jìn)行融合的技術(shù)，對于實施針對軍事目標(biāo)的跟蹤和打擊以及對非軍事目標(biāo)的識別和追蹤等都具有重要的意義。

由于結(jié)構(gòu)簡單、原理清晰，RGB 色彩空間系統(tǒng)成為計算機(jī)中應(yīng)用最廣泛的色彩系統(tǒng)。目前，許多雙光融合算法采用了基于RGB 色彩空間系統(tǒng)模型。文獻(xiàn)［4］提出基于各向異性擴(kuò)散（anisotropic diffusion fusion，ADF）的方法，將原始圖像分解為基礎(chǔ)層和細(xì)節(jié)層，經(jīng)過Karhunen-Loeve 變換后再進(jìn)行線性疊加，最終組合得到融合圖像，算法易于實現(xiàn)、融合后的損失小，但最終的視覺效果并不理想。文獻(xiàn)［5］和文獻(xiàn)［6］分別提出基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）和基于殘差神經(jīng)網(wǎng)絡(luò)（ResNet）的方法，搭建卷積神經(jīng)網(wǎng)絡(luò)和殘差神經(jīng)網(wǎng)絡(luò)，通過大量的訓(xùn)練優(yōu)化參數(shù)進(jìn)而融合圖像，融合圖像的性能指標(biāo)較優(yōu)，但需要構(gòu)建數(shù)據(jù)集、消耗大量時間來訓(xùn)練耗時較長。文獻(xiàn)［7］提出基于梯度轉(zhuǎn)移融合（gradient transfer fusion，GTF）的方法，先構(gòu)建了目標(biāo)函數(shù)，通過迭代求解目標(biāo)函數(shù)，使得融合后的圖像更接近紅外圖像，并且保留了更多的外觀信息，其優(yōu)勢在于融合后的視覺效果好，但由于需要迭代求解，算法無法達(dá)到實時處理的要求。文獻(xiàn)［8］基于潛在低秩表示（latent low-rank representation，LatLRR）的方法，先對原始圖像進(jìn)行分解得到低秩部分和顯著部分，再用兩種不同的策略進(jìn)行融合，最后重建得到圖像，該算法融合結(jié)果的評價指標(biāo)較優(yōu)，但其視覺效果不是非常理想。為了滿足紅外武器系統(tǒng)精準(zhǔn)打擊目標(biāo)的任務(wù)需求，融合后的圖像應(yīng)首先具備較好的視覺效果，能滿足人眼對圖像的識別要求；其次應(yīng)盡可能保證融合后圖像中目標(biāo)、背景的信息不被丟失。但由于人眼無法直接根據(jù)紅、綠、藍(lán)三種顏色的比例來區(qū)分物體，且RGB 系統(tǒng)各個通道之間相關(guān)性高，難以進(jìn)行分離從而進(jìn)行獨立分析，這使得RGB 系統(tǒng)融合圖像的視覺效果不是十分理想。

相比于RGB 系統(tǒng)，HSV 色彩空間系統(tǒng)的構(gòu)建是基于人類對色彩的生理感知，將色彩的亮度分離，而色調(diào)和飽和度與人類感知相適應(yīng)，從而使它在圖像處理領(lǐng)域中具有很高的應(yīng)用價值［9］。因此，出于對視覺效果的考慮，本文提出了兩種基于HSV色彩空間系統(tǒng)的紅外-可見光雙光圖像融合算法，并在MATLAB R2021a環(huán)境下對其進(jìn)行了仿真測試及對比。

1 本文算法介紹

1.1 HSV模型原理

HSV 模型中，顏色的3個參數(shù)分別為色調(diào)（hue）、飽和度（saturation）和明度（value），明度又稱為亮度（brightness）。色調(diào)表示色彩信息，即所處的光譜顏色的位置；飽和度表示色彩的鮮艷程度；亮度表示色彩的明亮程度。HSV 模型的各通道之間具有較強(qiáng)的獨立性，便于分通道對圖像進(jìn)行處理。相比RGB色彩模型，HSV 模型更接近人類對彩色的感知經(jīng)驗，可以直觀地表達(dá)顏色的色調(diào)、鮮艷程度和明暗程度，方便人眼進(jìn)行顏色感知。

1.2 融合算法流程

1.2.1 灰度紅外-可見光融合

本文提出自適應(yīng)HSV（adaptive hue-saturationvalue，AHSV）雙光融合算法，該算法先將可見光與紅外圖像轉(zhuǎn)換到HSV模型下，將紅外圖像的灰度映射到融合圖像的H 和S 通道；然后根據(jù)紅外圖像與可見光圖像不同區(qū)域的亮度進(jìn)行加權(quán)融合，從而獲得HSV模型下的融合圖像；最后再轉(zhuǎn)換到RGB 空間進(jìn)行顯示。算法流程如圖1所示。具體流程如下。

圖1 灰度紅外-可見光融合算法流程Fig.1 Gray infrared-visible light fusion algorithm flow

1）將可見光與紅外圖像轉(zhuǎn)換到HSV 模型下。由于紅外圖像為單通道圖像，故將圖像進(jìn)行擴(kuò)充，將單通道圖像復(fù)制并拷貝到其余兩個通道使之?dāng)U充為三通道圖像。利用文獻(xiàn)［10］中提出的基于色域變換對的算法進(jìn)行轉(zhuǎn)換，該算法將RGB 圖像的紅、綠和藍(lán)色值分別通過判斷賦值后轉(zhuǎn)換為HSV圖像的色調(diào)、飽和度和明度值，最終得到HSV 空間下的紅外與可見光圖像。

2）根據(jù)紅外圖像的灰度，利用式（1）映射到融合圖像的H通道

式中：H（i，j）表示融合圖像H 通道上某像素點的色調(diào)值；fIR（i，j）為紅外圖像fIR上某像素的灰度值；i、j為該像素的行和列；fIRmax、fIRmin表示紅外圖像像素灰度的最大值和最小值。

3）將紅外圖像的灰度利用高斯函數(shù)映射到融合圖像的S通道

式中：S（i，j）表示融合圖像S 通道上某像素的飽和度值；k為飽和系數(shù)；σ為高斯函數(shù)的標(biāo)準(zhǔn)差。k和σ的取值會影響圖像的整體飽和度。k值過大會影響圖像的視覺效果，一般k取0.2 到1.5 之間，本文取k＝0.5；σ取1到3之間，本文取σ=2.5。

4）根據(jù)可見光與紅外圖像亮度的差值，采用雙閾值方法進(jìn)行判斷得到圖像的融合系數(shù)，最后相加得到融合圖像V 通道的值?？紤]轉(zhuǎn)換圖像的V 通道，設(shè)可見光與紅外圖像上某像素V 通道的取值分別為VVI（i，j）和VIR（i，j），閾值為T1和T2（T1＜T2），紅外與可見光的融合系數(shù)分別為?1和?2。根據(jù)圖像信息計算閾值T1和T2

式中：fVI（i，j）為可見光圖像fVI上某像素的灰度值。若當(dāng)：

（1）|VIR（i，j）-VVI（i，j）|＜T1時，可見光與紅外圖像的亮度差異不大，取

（2）T1≤|VIR（i，j）-VVI（i，j）|≤T2時，可見光與紅外圖像存在一定的亮度差異，取

（3）|VIR（i，j）-VVI（i，j）|＞T2時，可見光與紅外圖像存在較大亮度差異，主要對應(yīng)圖像上部分區(qū)域光照過強(qiáng)使得目標(biāo)被光線遮蓋的情況，如：車燈過亮，產(chǎn)生光暈遮擋車身。為盡可能削弱光線對目標(biāo)的遮擋效果，使得目標(biāo)能顯露出來以便觀察者觀察，取

融合圖像該像素點的亮度最終確定為

5）利用文獻(xiàn)［11］中所述方法將HSV 模型下的融合圖像映射到RGB色彩模型下，顯示融合圖像結(jié)果。

1.2.2 偽色彩紅外-可見光融合

紅外圖像通常是灰度圖像，而可見光圖像則是彩色圖像。如果將可見光圖像直接灰度化后與紅外圖像融合，則會使可見光帶有的顏色等信息丟失。本文提出偽彩色編碼HSV（pseudo-color coding huesaturation-value，PCCHSV）雙光融合算法，采取的策略是：先對紅外圖像進(jìn)行偽彩色編碼，然后將編碼后的偽彩色紅外圖像映射到HSV色彩空間；再按照紅外圖像的原始灰度值與彩色可見光圖像進(jìn)行HSV 模型下的融合，從而達(dá)到保留可見光豐富信息的目的。算法流程如圖2所示。

圖2 偽彩色紅外-可見光融合算法流程Fig.2 Pseudo color infrared-visible light fusion algorithm flow

首先，對紅外圖像按式（8）進(jìn)行HSV 模型偽彩色編碼。

式中：s和v是兩個常數(shù)，分別影響圖像的飽和程度與明暗程度。經(jīng)過調(diào)試圖像的亮度和飽和度，為保證圖像視覺效果，取

隨后將可見光通過矩陣映射到HSV 模型下，與HSV 模型下的偽彩色紅外圖像進(jìn)行色調(diào)和飽和度通道映射

式中：H（i，j）和S（i，j）分別表示融合圖像上某點的色調(diào)值和飽和度值；fIR表示紅外圖像上某點的灰度值；fIRmax和fIRmin分別表示紅外圖像灰度值的最大和最小值；kH和kS是色調(diào)常數(shù)和飽和度常數(shù)，分別影響圖像色調(diào)和飽和度。

對融合圖像，當(dāng)kH＜0.2時，圖像整體呈現(xiàn)紅色；當(dāng)0.2≤kH＜0.3 時，圖像整體呈現(xiàn)黃色；當(dāng)0.3≤kH＜0.9時，圖像整體呈現(xiàn)綠色；當(dāng)kH≥0.9時，圖像高亮度處出現(xiàn)藍(lán)紫色。一般地，圖像為橙黃色和黃綠色時，最有利于人眼對目標(biāo)的識別。kS越大，融合圖像對暗處信息越敏感，kS取值一般在5 到110 之間。本文取kH＝0.2、kS＝100。

對于亮度通道融合映射，設(shè)T為融合閾值，μ為融合系數(shù)。則有

式中：T為經(jīng)驗值，本文取T＝100。

融合圖像上某點的亮度灰度值由式（13）確定。

式中：τ為暗信息值，一般取1到5之間的整數(shù)，τ的取值與融合圖像對暗處信息的還原程度有關(guān)，本文取τ＝2。

2 實驗結(jié)果與分析

2.1 實驗組設(shè)置

本文融合圖像對比評測基于可見光與紅外圖像融合基準(zhǔn)（visible and infrared image fusion benchmark，VIFB）［11］，采用統(tǒng)一的性能評價平臺。挑選了6 組比較有代表性的紅外和可見光圖像，來模擬各類場景下的目標(biāo)識別任務(wù)，如圖3所示。

圖3 實驗所使用的雙光圖像Fig.3 Visible and infrared images used in the experiment

測試圖像分別針對：夜間光源對目標(biāo)的遮蓋問題（組1）；夜間圖像融合后細(xì)節(jié)保留問題（組2）；高亮環(huán)境中陰影中的紅外特征目標(biāo)提取問題（組3）；雪天高亮反光和低溫環(huán)境紅外圖像融合問題（組4）；夜間整體圖像細(xì)節(jié)的協(xié)調(diào)處理問題（組5）；可見光圖像信息部分缺失問題（組6）。

為驗證本文方法的有效性，選用5 種圖像融合算法進(jìn)行對比測試。它們分別是：基于各向異性擴(kuò)散（ADF）的方法［4］；基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法［5］；基于殘差神經(jīng)網(wǎng)絡(luò)（ResNet）的方法［6］；基于梯度轉(zhuǎn)移融合（GTF）的方法［7］；基于潛在低秩表示（LatLRR）的方法［8］。CNN 和ResNet 選用了已訓(xùn)練好的模型進(jìn)行測試，各方法使用參數(shù)均與對應(yīng)論文原文保持一致。

本文所用方法的設(shè)置參數(shù)如下所示。

1）AHSV 方法：飽和系數(shù)k＝0.5；高斯函數(shù)標(biāo)準(zhǔn)差σ＝2.5。

2）PCCHSV 方法：色調(diào)系數(shù)kH＝0.2；飽和系數(shù)kS＝100；融合閾值T＝100；暗信息值系數(shù)τ＝2。

2.2 實驗評價指標(biāo)

融合圖像質(zhì)量評測分為主觀評測與客觀評測兩部分。主觀評測即目視效果評測，是圖像融合效果最直接的評價方法，需要由人對紅外與可見光圖像及它們對應(yīng)的融合圖像進(jìn)行比對，判斷圖像保真度、細(xì)節(jié)豐富度等指標(biāo)。由于本文算法側(cè)重于滿足人眼對目標(biāo)識別的要求，故以主觀評測的結(jié)果為判斷融合圖像質(zhì)量的主要依據(jù)。

客觀評測需要針對融合圖像的各項性能指標(biāo)進(jìn)行對比。本文選擇了信息熵（EN）、互信息（MI）、峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）進(jìn)行效果評價。信息熵表征圖像所含信息量的多少；互信息描述圖像之間的相關(guān)性和冗余性；峰值信噪比基于融合圖像與原圖像對應(yīng)像素的誤差來衡量融合圖像的質(zhì)量；結(jié)構(gòu)相似性從亮度、對比度、結(jié)構(gòu)3個方面度量圖像相似性。

2.3 融合圖像結(jié)果分析

將各算法得到的融合圖像進(jìn)行整合，直觀地對比圖像質(zhì)量和視覺效果。生成圖像整合結(jié)果如圖4～9所示。

由圖4 和圖5 可以看出：CNN、ResNet 和LatLRR算法難以應(yīng)對高亮光源干擾，GTF算法可以避免強(qiáng)光干擾，但背景環(huán)境中的信息損失較大；本文提出的兩種融合方法不僅能有效地處理強(qiáng)光干擾情況，還能很好地還原背景信息。

圖4 夜間高光遮蔽融合結(jié)果Fig.4 Fusion results of highlight masking at night

圖5 圖像細(xì)節(jié)保留融合結(jié)果Fig.5 Fusion results of image detail preservation

在圖6 和圖7 的日間場景的圖像融合中，本文的兩種方法均實現(xiàn)了對紅外特征目標(biāo)的突出顯示，便于在較亮的場景中找到目標(biāo)的位置。并且，使用偽彩色編碼的PCCHSV算法在日間環(huán)境能有效應(yīng)對陰影，可用于去除偽影。

圖6 陰影中目標(biāo)提取融合結(jié)果Fig.6 Fusion results of target extraction in shadow

圖7 雪天反光與低溫環(huán)境圖像融合結(jié)果Fig.7 Fusion results of snow reflection and low temperature environment images

在圖8 中，GTF 和CNN 算法沒有將所有目標(biāo)都很好地突出顯示出來，而本文算法在凸顯人物的同時也還原了圖片中的背景細(xì)節(jié)。在圖9 中，CNN 和LatLRR 算法未去除光源干擾，可見光圖像右側(cè)部分信息缺失，本文算法有效利用了紅外圖像的信息，實現(xiàn)了對缺失部分真實情況的還原。

圖8 夜間圖像細(xì)節(jié)的協(xié)調(diào)處理融合結(jié)果Fig.8 Fusion results of image detail coordination processing at night

圖9 圖像信息部分缺失融合結(jié)果Fig.9 Fusion results of partial loss of image information

在客觀評測中，綜合各對照算法的圖像性能指標(biāo)，生成對照圖，如圖10所示。4種指標(biāo)大小與融合圖像質(zhì)量均為正相關(guān)。PCCHSV 算法由于像素值與原圖差異較大，且與AHSV 方法原理類似，故僅使用AHSV 算法融合圖像與其他算法圖像進(jìn)行性能指標(biāo)對比。由圖10可知：本文算法在峰值信噪比和結(jié)構(gòu)相似性方面均位于領(lǐng)先位置，與最優(yōu)方法結(jié)果差距在3%以內(nèi)；在互信息方面，低于CNN與ResNet算法，考慮到訓(xùn)練成本和時間消耗，該性能差距可以接受；在信息熵方面表現(xiàn)一般，具有進(jìn)一步改進(jìn)的空間。

圖10 客觀評測結(jié)果Fig.10 Objective evaluation results

綜合主觀評測與客觀評測結(jié)果，本文算法很大程度上解決了各場景中由于亮度差異、圖像不同部分處理不均勻?qū)е履繕?biāo)信息丟失的問題，具有一定的視覺效果優(yōu)勢。

通過本文算法獲得的融合圖像更便于人眼觀察，可滿足通過觀察者觀察圖像進(jìn)行目標(biāo)追蹤等任務(wù)的要求。由本文兩種算法在不同場景下的實驗結(jié)果可以看出：AHSV算法在處理夜間場景時的目視細(xì)節(jié)留存度更高，適用于處理環(huán)境亮度較低的、需要場景信息整體協(xié)調(diào)的融合任務(wù)；PCCHSV算法處理白天場景的效果更佳，偽彩色編碼使得目標(biāo)的輪廓更為突出，適用于處理高亮環(huán)境下對特定目標(biāo)的識別跟蹤任務(wù)。

3 結(jié)束語

針對夜間紅外與可見光融合視覺效果不佳，導(dǎo)致目標(biāo)檢測效果差的問題，本文提出了一種基于HSV色彩系統(tǒng)的紅外-可見光雙光融合算法。該算法首先將紅外圖像灰度圖以及紅外圖像偽彩色編碼圖映射到HSV模型上；再分別從色調(diào)、飽和度與亮度這三個通道建立與HSV空間中可見光圖像三通道的對應(yīng)關(guān)系，建立融合模型；最后通過色彩模型變換，將圖像轉(zhuǎn)換到RGB空間，獲得AHSV與PCCHSV兩種方法在RGB空間下的融合圖像。綜合主觀測評與客觀測評結(jié)果可知，與其他雙光融合算法相比，本文算法得到的融合圖像在結(jié)構(gòu)相似性與互信息方面有一定優(yōu)勢；在圖像視覺效果方面，本文算法的圖像融合質(zhì)量有較大的提高，尤其在細(xì)節(jié)保留與干擾去除方面具有一定的優(yōu)勢。