吳強(qiáng)，吉琳娜，楊風(fēng)暴，郭小銘

（中北大學(xué) 信息與通信工程學(xué)院，山西 太原 030000）

0 引言

紅外熱成像技術(shù)與紅外偏振成像技術(shù)分別是基于紅外目標(biāo)的紅外輻射能量差異和光的偏振屬性進(jìn)行成像，成像機(jī)理上的差異導(dǎo)致兩類圖像在亮度、邊緣、紋理細(xì)節(jié)等特征上具有很多差異[1-2]。紅外熱輻射成像由于直接對(duì)目標(biāo)物體進(jìn)行熱輻射強(qiáng)度成像，得到的紅外圖像光強(qiáng)信息很豐富，但物體材質(zhì)、紋理邊緣細(xì)節(jié)、對(duì)比度信息很弱；偏振度圖像能夠體現(xiàn)物體的表面邊緣信息，可以很好地表示物體材質(zhì)、粗糙特性、邊緣輪廓信息、內(nèi)部紋理細(xì)節(jié)、目標(biāo)反差度特性，但光強(qiáng)信息很弱。因此，綜合兩類圖像互補(bǔ)優(yōu)勢(shì)，融合互補(bǔ)信息，更有助于發(fā)揮紅外成像技術(shù)在各領(lǐng)域的應(yīng)用優(yōu)勢(shì)[3]。

由于實(shí)際場(chǎng)景環(huán)境較為復(fù)雜，目標(biāo)差異特征的表現(xiàn)具有隨機(jī)性，尤其是動(dòng)態(tài)探測(cè)場(chǎng)景中圖像間差異特征更為復(fù)雜多變，所有單一融合算法很難滿足復(fù)雜場(chǎng)景下的紅外圖像融合需求。不同融合算法對(duì)不同差異特征的融合效果是不同的，例如基于頂帽變換和支持度變換的融合算法主要對(duì)亮度差異特征有更好的融合效果[4]；文獻(xiàn)[5]提出了一種基于雙樹復(fù)小波變換和稀疏表示的圖像融合方法，融合圖像具有較高的對(duì)比度和細(xì)節(jié)信息。金字塔[6-8]、小波變換[9-12]等圖像融合算法對(duì)圖像細(xì)節(jié)差異特征的融合性能上各有優(yōu)劣[13]，又表明同一算法對(duì)不同差異特征或是不同融合算法對(duì)同一差異特征的融合效果也有所差異。因此，實(shí)現(xiàn)對(duì)不同場(chǎng)景下融合算法的優(yōu)化選取，對(duì)于雙模態(tài)圖像融合質(zhì)量提升至關(guān)重要。

雙模態(tài)紅外圖像根據(jù)差異特征的動(dòng)態(tài)變化及差異特征間的關(guān)聯(lián)性選取融合算法的前提是差異特征與算法間關(guān)系的建立[14]，而現(xiàn)有融合模型多只考慮差異特征單一屬性的融合效果對(duì)算法選取的影響，缺乏差異特征多屬性的權(quán)衡，可能造成融合效果差等問(wèn)題。如張雷[15]等以差異特征指數(shù)測(cè)度作為權(quán)重確定依據(jù)來(lái)選取多融合算法進(jìn)行算法協(xié)同嵌接，但差異特征指數(shù)測(cè)度主要通過(guò)類型和幅值屬性得到的，考慮差異特征單一，從而導(dǎo)致融合結(jié)果有偏差。

可能性分布合成[16]通過(guò)不同模糊算子或合成規(guī)則綜合不同因素對(duì)事件的影響，應(yīng)用在目標(biāo)識(shí)別、故障診斷、多屬性決策等領(lǐng)域中。本文利用可能性分布合成理論，將算法對(duì)不同差異特征的融合有效度的可能性分布進(jìn)行合成，確定其聯(lián)合可能性落影[16]以實(shí)現(xiàn)融合算法的優(yōu)化選擇，可突破特征單一屬性造成的融合效果差的局限，以提高圖像融合的針對(duì)性和有效性。

1 圖像融合算法的選取方法

本文提出的雙模態(tài)紅外圖像融合算法選取方法流程如圖1 所示。

圖1 雙模態(tài)紅外圖像融合算法選取流程Fig.1 Flow chart of Bimodal infrared image fusion algorithm selection

1.1 差異特征融合有效度的確定

選取實(shí)驗(yàn)所需的已配準(zhǔn)的大小為m×n的雙模態(tài)紅外圖像，圖像I和圖像P，選取已有融合算法組成融合算法集Aset＝{A1,A2,A3,…,Ar}，選取兩類圖像的差異特征集Qset＝{Q1,Q2,Q3,…,Qk}。圖像I和圖像P的融合圖像F組成融合圖像集Fset＝{F1,F2,…,Fr}。用大小為a×b的滑動(dòng)窗口對(duì)雙模態(tài)紅外圖像及對(duì)應(yīng)的融合圖像進(jìn)行分割，得到相應(yīng)的個(gè)大小為a×b的分割子圖Isub、Psub、Fsub，計(jì)算所得各分割子圖的差異特征得到大小為的差異特征矩陣Q(I)、Q(P)、Q(F)。

本文采用文獻(xiàn)[17]提出的新型融合度計(jì)算方法（如式(1)所示），該方法兼顧各源圖像，從一定程度反映了融合增益，能夠全面反映融合效果的優(yōu)劣。

式中：Qf(I)、Qf(P)和Qf(F)為差異特征矩陣Q(I)、Q(P)和Q(F)對(duì)應(yīng)點(diǎn)的差異特征幅值；Vf為融合有效度矩陣V對(duì)應(yīng)點(diǎn)的融合有效度評(píng)價(jià)結(jié)果；wIF和wPF為有效度權(quán)重因子，其作用是放大（縮?。┹^大（較?。┎町愄卣鲗?duì)融合有效度結(jié)果的影響性，融合有效度相對(duì)越大表示該位置的融合效果相對(duì)越好。

1.2 聯(lián)合可能性落影函數(shù)的構(gòu)造

1）計(jì)算差異特征融合有效度的可能性矩陣

基于融合算法集Aset中任意融合算法Ar和差異特征集Qset中任意差異特征Qk計(jì)算得到融合圖像的差異特征矩陣Qrk(F)和融合有效度矩陣Vrk。將差異特征矩陣Qrk(F)中的點(diǎn)Qij(F)進(jìn)行標(biāo)準(zhǔn)化，如式(2)所示，將不同差異特征數(shù)據(jù)轉(zhuǎn)化為無(wú)量綱的指標(biāo)測(cè)評(píng)值，以便進(jìn)行綜合測(cè)評(píng)分析。并將標(biāo)準(zhǔn)化的差異特征數(shù)據(jù)Nrk(F)等分為256 個(gè)等分區(qū)間，統(tǒng)計(jì)第j區(qū)間內(nèi)差異特征散點(diǎn)的個(gè)數(shù)nj，得差異特征頻次分布Ωrk＝[n0,n1,…,n255]。

計(jì)算融合有效度矩陣Vrk內(nèi)各融合有效度值Vfij在Vrk整體中所占的比重pij，計(jì)算可能性矩陣πrk，如下式所示：

式(3)中：∑Vf為融合有效度矩陣Vrk中融合有效度值的總和；式(4)中max(p)為pij最大值；πij為可能性矩陣πrk對(duì)應(yīng)點(diǎn)的可能性大小，表示該處融合有效度表現(xiàn)良好的可能性，可能性相對(duì)越大融合效果越好。

2）構(gòu)造差異特征融合有效度的可能性分布

本文選用線性回歸構(gòu)造可能性分布[16]的方法構(gòu)造差異特征融合有效度的可能性分布函數(shù)。以標(biāo)準(zhǔn)化后的差異特征數(shù)據(jù)Nrk(F)為橫軸坐標(biāo)，可能性矩陣πrk對(duì)應(yīng)點(diǎn)的數(shù)據(jù)為縱坐標(biāo)組成散點(diǎn)集，得到可能性觀測(cè)值的散點(diǎn)圖。利用最小二乘法，通過(guò)最小化偏差平方和R2，尋找數(shù)據(jù)的最佳函數(shù)進(jìn)行匹配，構(gòu)造可能性矩陣πrk的可能性分布函數(shù)∏rk(x)(0≤∏rk(x)≤1)：

當(dāng)可能性觀測(cè)值與可能性分布函數(shù)∏rk(x)的偏差平方和R2最小時(shí)，曲線∏rk(x)代表可能性大小隨差異特征變化的規(guī)律。

3）構(gòu)造聯(lián)合可能性落影函數(shù)

構(gòu)造聯(lián)合可能性落影函數(shù)需先確定各差異特征的可能性分布函數(shù)的系數(shù)，本文采用二元對(duì)比法中的擇優(yōu)比較法，先對(duì)各差異特征的可能性分布進(jìn)行兩兩對(duì)比，一共需比較Cm2次（Cm2為m個(gè)可能性分布中任取2 個(gè)的組合數(shù)），重要性比較的結(jié)果如表1 所示，再按對(duì)比的重要性總分確定各可能性分布在聯(lián)合可能性落影中的重要性。

表1 可能性分布重要性比較權(quán)重Table 1 Possibility distribution significance comparison weight

對(duì)比可能性分布∏ri(x)與∏rj(x)的重要性，首先在可能性分布函數(shù)∏ri(x)與∏rj(x)上取可能性測(cè)度序列∏ri＝[π0,π1,…,π255]＝[∏ri(0),∏ri(1),…,∏ri(255)]與∏rj＝[π0,π1,…,π255]＝[∏rj(0),∏rj(1),…,∏rj(255)]。再計(jì)算同一算法下的不同差異特征的可能性測(cè)度序列的協(xié)方差矩C計(jì)算協(xié)方差矩陣C的特征向量A＝[A1,A2]和特征值λ＝[λ1,λ2]。

每個(gè)特征向量為一個(gè)投影方向，相對(duì)應(yīng)的特征值是原始可能性分布在這個(gè)方向上的投影的方差，方差越大則投影方向上綜合的可能性分布的信息量越大，保留了相對(duì)較多的可能性分布的特性。特征向量對(duì)應(yīng)特征值的大小代表了可能性分布所含信息的重要性比較結(jié)果。則取最大特征值λp對(duì)應(yīng)的特征向量Ap＝[a1,a2]，可能性分布∏ri(x)與∏rj(x)的重要性比較權(quán)重分別為pij、pji?？赡苄苑植肌莚k(x)的重要性權(quán)重為prk。

各可能性分布的重要性權(quán)重即為聯(lián)合落影投影軸系數(shù)，則可得各差異特征的可能性分布函數(shù)∏rk(x)的聯(lián)合可能性落影函數(shù)∏r(x)：

1.3 算法選擇

最終得到各融合算法的得分集合{C1,C2,…,Cr}，得分最高的算法即為最優(yōu)算法。

2 實(shí)驗(yàn)仿真

2.1 源圖像數(shù)據(jù)集的建立

實(shí)驗(yàn)選取的經(jīng)配準(zhǔn)的雙模態(tài)紅外圖像為紅外可見(jiàn)光圖I外偏振圖像P，如圖2。取圖像大小m×n為256×256，滑動(dòng)窗口大小a×b為16×16。經(jīng)過(guò)實(shí)驗(yàn)對(duì)比分析，可能性置信水平λπ取值在區(qū)間[0.4－0.6]內(nèi)時(shí)，各融合算法的得分區(qū)分度明顯且準(zhǔn)確度較為穩(wěn)定，本次實(shí)驗(yàn)取可能性置信水平λπ＝0.5。實(shí)驗(yàn)選取雙樹復(fù)小波變換（double tree complex wavelet transform,DTCWT）[5]、離散小波變換（discrete wavelet transform,DWT）[12]、引導(dǎo)濾波（guided filter,GFF）[18]、拉普拉斯金字塔變換（Laplacian pyramid,LAP）[7]、多分辨率奇異值分解（multiresolution singular value decomposition,MSVD）[19]、小波包變換（wavelet packet transform,WPT）[20]共6 圖像融合算法組成融合算法集Aset＝{A1,A2,A3,…,A6}，選取邊緣豐度（edge abundance,EA）、邊緣強(qiáng)度（edge strength,ES）、Tamura對(duì)比度（Tamura contrast,TC）、空間頻率（spatial frequency,SF）共4 種圖像特征組成圖像差異特征集Qset＝{Q1,Q2,Q3,Q4}。圖2 中實(shí)驗(yàn)源圖像得到基于上述融合算法得到的融合圖像結(jié)果，依次如圖3 所示。

圖2 兩組雙模態(tài)紅外源圖像Fig.2 Source dual-mode infrared images of two groups

圖3 基于融合算法集的融合圖像結(jié)果Fig.3 Fusion image results based on fusion algorithm set

2.2 差異特征融合有效度結(jié)果

通過(guò)第1.2 節(jié)中提到的融合有效度計(jì)算方法對(duì)融合算法集Aset中各算法對(duì)應(yīng)差異特征集Qset中的差異特征，進(jìn)行差異特征的融合有效度計(jì)算，得出融合有效度矩陣Vrk，作多融合算法差異特征幅值的融合有效度散點(diǎn)分布圖。如圖4 所示為第一組實(shí)驗(yàn)源圖像經(jīng)過(guò)融合算法A5所得融合圖像F5的各差異特征融合有效度V5k散點(diǎn)圖。

圖4 差異特征融合有效度V5k 散點(diǎn)圖Fig.4 Scatter diagram of effectiveness of differential feature fusion V5k

2.3 差異特征的可能性分布構(gòu)造

通過(guò)第1.2 節(jié)的方法得到的第一組實(shí)驗(yàn)圖像在算法A5下所得融合圖像的各差異特征融合有效度矩陣V5k對(duì)應(yīng)的差異特征融合有效度可能性矩陣π5k，繪制可能性分布散點(diǎn)圖（圖5，橫軸為標(biāo)準(zhǔn)化后的差異特征，縱軸為差異特征對(duì)應(yīng)的可能度），并計(jì)算可能性分布函數(shù)∏5k(x)，繪制如圖6 所示的可能性分布函數(shù)曲線∏5k(x)(k=1,2,3,4)。

圖5 差異特征可能性分布π5k 散點(diǎn)圖Fig.5 Differential feature possibility distribution scatter diagram

圖6 可能性分布函數(shù)曲線∏5k(x)(k=1,2,3,4)Fig.6 Possibility distribution function ∏5k(x)(k=1,2,3,4)

2.4 計(jì)算聯(lián)合可能性落影分布函數(shù)

表2 可能性分布重要性比較權(quán)重Table 2 Possibility distribution significance comparison weight

可能性分布∏5k(x)(k=1,2,3,4)的投影軸系數(shù)序列為[0.1656,0.3898,-0.015,0.4596]，聯(lián)合可能性落影函數(shù)，所得聯(lián)合可能性落影函數(shù)如圖7 中實(shí)線所示。

圖7 聯(lián)合可能性落影函數(shù)Fig.7 Joint possibility drop shadow function(Note:“Dotted line”: ∏5k(x)(k=1,2,3,4),“Solid line”: ∏5(x))

2.5 融合算法的排序

從1.2 節(jié)所得聯(lián)合可能性落影函數(shù)∏5(x)上取聯(lián)合可能性測(cè)度序列∏r＝{π0,…,π255}，取可能性置信水平λπ＝0.5，計(jì)算得到∏5的可能性截集測(cè)度序列∏r(λ)。

通過(guò)第1.2 節(jié)中提到的融合有效度計(jì)算方法對(duì)融合算法集Aset中各算法對(duì)應(yīng)差異特征集Qset中的差異特征，統(tǒng)計(jì)差異特征頻次分布Ωrk，如圖8（橫軸為差異特征區(qū)間，縱軸為區(qū)間內(nèi)差異特征點(diǎn)的統(tǒng)計(jì)頻次）所示為第一組實(shí)驗(yàn)源圖像經(jīng)過(guò)融合算法MSVD 所得融合圖像的各差異特征頻次分布Ω5k，并計(jì)算總差異特征頻次分布以及可能性測(cè)度權(quán)重序列，如圖9 所示（橫軸為差異特征區(qū)間，差異特征頻次分布縱軸為區(qū)間內(nèi)差異特征點(diǎn)的統(tǒng)計(jì)頻次，可能性測(cè)度權(quán)重序列縱軸為區(qū)間內(nèi)差異特征點(diǎn)的可能性測(cè)度權(quán)重）。

圖8 差異特征頻次分布Fig.8 Differential characteristic frequency distribution

圖9 總特征頻次分布 及可能性測(cè)度權(quán)重Fig.9 Total feature frequency distribution and probability measure weight

3 實(shí)驗(yàn)結(jié)果分析

本文所有的實(shí)驗(yàn)均在同一設(shè)備及操作系統(tǒng)下完成，處理器為Intel(R) Core(TM) i7-4720HQ CPU @2.60 GHz，操作系統(tǒng)為Windows 10。通過(guò)對(duì)14 組圖像進(jìn)行20 次操作的平均值得方法總計(jì)耗時(shí)5.201 s，本文方法在時(shí)間效率上符合實(shí)時(shí)圖像融合應(yīng)用需求。

3.1 圖像融合評(píng)價(jià)指標(biāo)

為了驗(yàn)證本文所提出的聯(lián)合可能性落影構(gòu)造方法對(duì)融合算法選取的合理性，采用主觀視覺(jué)評(píng)價(jià)與客觀指標(biāo)評(píng)價(jià)相結(jié)合的評(píng)價(jià)方式，以減少人的心理狀態(tài)、視覺(jué)特性等對(duì)方法性能評(píng)價(jià)的影響，同時(shí)也避免只從客觀圖像評(píng)價(jià)標(biāo)準(zhǔn)結(jié)果的角度分析而與圖像融合目的產(chǎn)生沖突的情況。本文采用信息熵（information entropy,IE）[21]、標(biāo)準(zhǔn)差（standard deviation,STD）、空間頻率（spatial frequency,SF）[22]、平均梯度（average gradient,AG）[23]、融合質(zhì)量（fusion quality,QAB/F）[24]、峰值信噪比（peak signal to noise ratio,PSNR）[25]、互信息（mutual information,MI）[26]、結(jié)構(gòu)相似性（structural similarity,SSIM）[27]這8 個(gè)圖像融合評(píng)價(jià)指標(biāo)Erj(j＝1：8)對(duì)兩組源圖像對(duì)應(yīng)的6 種融合算法下的融合結(jié)果進(jìn)行評(píng)價(jià)。不同算法的優(yōu)勢(shì)在各個(gè)評(píng)價(jià)指標(biāo)上表現(xiàn)不同，為此利用加權(quán)綜合指標(biāo)將多個(gè)評(píng)價(jià)指標(biāo)結(jié)合為第9 個(gè)評(píng)價(jià)指標(biāo)S以提高評(píng)價(jià)結(jié)果的準(zhǔn)確性和可靠性。

3.2 評(píng)價(jià)結(jié)果及分析

計(jì)算兩組實(shí)驗(yàn)圖像對(duì)應(yīng)融合算法的融合圖像F的評(píng)價(jià)指標(biāo)，結(jié)果如表3 所示。兩組實(shí)驗(yàn)圖像以及對(duì)應(yīng)融合算法的融合圖像的融合效果如圖10 所示。

從表3 分析可知第二組實(shí)驗(yàn)源圖像在算法GFF下所得融合圖像在各項(xiàng)評(píng)價(jià)指標(biāo)上均表現(xiàn)良好，并且有4 項(xiàng)指標(biāo)在6 種算法中表現(xiàn)最佳，但由圖10 分析可知該算法所得融合圖像并沒(méi)有很好地融合雙模態(tài)紅外圖像的細(xì)節(jié)特征，并且圖像在一定程度上產(chǎn)生模糊；同時(shí)算法MSVD 很好地融合了雙模態(tài)紅外圖像的細(xì)節(jié)特征，但在融合圖像客觀評(píng)價(jià)指標(biāo)結(jié)果上的表現(xiàn)不如算法DTCWT。故此本文采用的主觀視覺(jué)評(píng)價(jià)與客觀指標(biāo)評(píng)價(jià)相結(jié)合的驗(yàn)證方式可以更好地對(duì)本文算法所選結(jié)果進(jìn)行綜合評(píng)價(jià)。

第一組實(shí)驗(yàn)圖在本文方法下的得分集合為{166.4838,102.7309,89.7001,157.9335,174.9231,171.51 73}，得分排序結(jié)果為C5＞C6＞C1＞C4＞C2＞C3，即算法MSVD 為最優(yōu)算法。由圖10 可知第一組實(shí)驗(yàn)圖在DWT、GFF 和LAP 算法下的融合圖像或多或少丟失了偏振圖像所體現(xiàn)的部分特征；在DTCWT、MSVD和WPT 算法下對(duì)紅框內(nèi)目標(biāo)融合效果明顯，有較為清晰的輪廓，結(jié)合3 種算法的客觀評(píng)價(jià)指標(biāo)結(jié)果可知，MSVD 算法在客觀評(píng)價(jià)指標(biāo)上優(yōu)于算法DTCWT 和WPT，由此本文方法所得結(jié)果是合理的。第二組實(shí)驗(yàn)圖所得最優(yōu)算法為算法DTCWT，由表3 和圖10 可知算法DTCWT 在客觀評(píng)價(jià)指標(biāo)上有極佳的表現(xiàn)，并且能夠綜合紅外雙模態(tài)源圖像的互補(bǔ)特征，在紋理、輪廓上最符合人眼視覺(jué)標(biāo)準(zhǔn)，為合理的最優(yōu)算法。

圖10 兩組實(shí)驗(yàn)源圖像以及對(duì)應(yīng)融合算法的融合圖像的融合效果Fig.10 The fusion effect of two groups of experimental images and corresponding fusion algorithm

表3 2 組實(shí)驗(yàn)圖各融合算法的評(píng)價(jià)指標(biāo)結(jié)果及算法排序結(jié)果Table 3 The evaluation index results and algorithm sorting results of each fusion algorithm are shown in the experimental figure

4 結(jié)論

本文提出了一種面向雙模態(tài)紅外圖像融合算法選取的聯(lián)合可能性落影構(gòu)造方法，突破單一互補(bǔ)特征在選擇算法上局限性，通過(guò)研究不同算法下差異特征融合有效度的分布，構(gòu)造融合有效度的可能性分布函數(shù)，研究可能性合成方法，確定分布間的聯(lián)合落影系數(shù)，合成聯(lián)合可能性落影分布，為進(jìn)一步研究異類差異特征融合有效度與融合算法間的深度關(guān)系奠定基礎(chǔ)。