（中北大學 信息與通信工程學院，山西 太原 030051）

0 引言

雙模態(tài)紅外圖像存在大氣傳輸、成像儀響應以及目標與背景輻射強度等差異性，導致這兩類圖像所呈現特征的差異很大[1]。紅外光強圖像主要基于物體紅外熱輻射強度成像，該類圖像的亮度信息較為明顯，紋理及邊緣信息較少；紅外偏振度圖像主要基于物體多方向偏振輻射量成像[2]，該類圖像中目標的細節(jié)豐富且邊緣清晰，亮度信息較少。

雙模態(tài)紅外圖像的差異特征具有類型、幅值和頻次等屬性。差異特征頻次屬性從宏觀上講，反映了成像場景中某種差異特征分布范圍的廣泛性；從微觀上講，反映了特定的差異特征隨著差異特征幅值變化在成像場景中分布的疏密程度。文獻[3]構建了圖像組中每個圖像塊各類型差異特征幅值對應融合算法的融合有效度分布，利用數據包絡分析法（data envelopment analysis,DEA）建立差異特征與融合算法的集值映射，文獻[4]研究了同類和異類差異特征幅值融合有效度的分布合成，驗證了融合有效度分布合成的有效性，上述兩篇文獻考慮了基于類型和幅值的差異特征融合有效度分布的構建和合成，但忽視了差異特征頻次屬性對融合的影響，最終的結果會產生偏差。目前對于差異特征的研究只針對類型和幅值這兩種屬性，當差異特征頻次大小發(fā)生變化時，融合算法及融合規(guī)則的選取也會隨之變化?，F有的這兩種屬性無法有效地反映出差異特征多屬性對融合算法選取的影響，導致融合效果差甚至融合方法失效，所以差異特征頻次的研究在圖像融合中起著十分關鍵的作用。

因為差異特征類型、幅值分布疏密程度等因素與頻次分布的函數關系是未知的，所以不同類型、不同幅值分布下無法準確得出差異特征頻次服從哪些具體分布。不同差異特征幅值的分布能反映出差異特征頻次的變化，差異特征幅值的概率密度分布又可以通過參數估計法得到。參數估計法中的非參數估計法針對的分布函數具體形式是未知的，樣本函數與其概率密度函數服從同分布[5]，由于差異特征幅值函數形式是未知的，所以本文采用非參數概率密度估計的方法可以得到差異特征幅值樣本集的概率密度分布，從而構造出差異特征頻次分布。另外兩種參數估計方法全參數估計和半參數估計均需要在分布函數具體形式已知的情況下進行估計[5]，故不符合本文的要求。常用的非參數概率密度估計法有KNN概率密度估計和核密度估計法。本文所提出的基于KNN概率密度估計的差異特征頻次分布構造法和核密度估計相比，避免了核密度概率密度估計中核函數以及核函數帶寬選擇的主觀性，因此能準確構造差異特征頻次分布。

1 背景理論

雙模態(tài)紅外圖像是指分別基于紅外熱輻射成像和紅外偏振成像這兩種不同的紅外探測機理，并對一定的目標場景進行圖像采集最后經過相應的圖像信息解算所得到的兩種模態(tài)的紅外圖像，亦即紅外光強圖像和紅外偏振度圖像。偏振光相較于傳統的紅外線可以將光的多個偏振形態(tài)表示出來，進而將許多人眼無法覺察到的信息顯示出來，便于目標探測與識別。斯托克斯表示法[6]是常見的光波強度和偏振態(tài)的描述法，它利用4個參數I、Q、U、V可以將光的偏振狀態(tài)全部表示出來，這4個參數稱為斯托克斯參數，可以直接測量。設準偏振光沿Z方向傳播，其平均頻率為υ，并設電矢量E的x、y分量分別為Ex、Ey，如公式(1)所示：

式中：ax(t)和ay(t)分別為電矢量E的振幅，化解掉公式(1)中的-2 πυ t，如公式(2)所示：

式中：δ(t) =φ2(t) -φ1(t)是Ex、Ey的相位差。

經過復雜的公式推導，由于偏振光的振幅和相位差與時間相關，可以得到推廣式[7]，如公式(3)所示：

式中：I表示光的總強度；Q表示0°方向和90°方向線偏振光分量強度差值；U表示45°與135°方向線偏振光分量強度差值；而V代表右旋與左旋圓偏振光分量之差。因為在實際探測過程中，圓偏振光的分量極少且相較于儀器誤差是可以忽略不計的，通常認為V＝0，因此可以直接利用I、Q、V三個獨立的斯托克斯參數來準確表示一束光的偏振態(tài)，當一束光源與水平軸x夾角為α時，觀測到的光強度如公式(4)所示：

本文將0°設為參考方向并確立為初始位置，將偏振片逐步旋轉到45°、90°、135°三個不同位置，并將這4個不同偏振方向的光強分量代入到公式(4)中，化解可得：

式中：I0°、I90°、I＋45°、I－45°、Ir、Il分別表示放置在光波傳播路徑上的理想偏振片在0°、90°、＋45°、－45°方向上的線偏振光以及左旋l和右旋r 圓偏振光。通過測出3個不同角度的光強分量可以直接計算出斯托克斯參數[8]，在圖像中，參數I代表了物體的強度信息，即反映不同物體的反射比。參數Q代表了物體的材質，參數U代表了邊緣和輪廓信息。偏振光的線偏振度P和偏振角θ如公式(6)所示：

本紅外偏振探測系統選取偏振度圖像作為偏振成像的單模態(tài)圖像，偏振度圖像能夠體現物體的表面邊緣信息，是從自然背景中凸顯出人造目標特征的方法[9]，紅外偏振度圖像可以很好地表示出物體材質、粗糙特性、邊緣特征、輪廓信息、紋理細節(jié)，目標的對比反差度特性，但偏振片得到的輻射能量被削弱，紅外輻射強度很低，所以紅外偏振度圖像的光強信息很弱。紅外熱輻射成像由于直接對目標物體進行熱輻射強度成像，并未對光的多個方向的偏振態(tài)進行成像，所以得到的紅外圖像光強信息很高，但物體材質、紋理邊緣細節(jié)、對比度信息很弱。由于紅外偏振度圖像和紅外光強圖像這兩個單模態(tài)圖像成像特性差異巨大，所以二者組成的雙模態(tài)圖像具有極大的互補性信息。通常情況下，用輻射對比度和偏振度對比度分別描述目標和背景的熱輻射強度差異和偏振特性差異，輻射對比度對應在圖像特征信息中表示亮度，而偏振度對比度對應在圖像特征信息中表示邊緣幅值強度、反差度、邊緣清晰度、粗糙特性和對比度等。

差異特征幅值是指雙模態(tài)紅外圖像特征值間強度的絕對差異度，如公式(7)所示：

式中：TI、TP、T分別表示紅外偏振度圖像、光強圖像以及兩類圖像對應圖像塊特征值差值的強度。在不同的成像場景中，兩類圖像在對應的不同局部圖像塊中輻射對比度差異值或者偏振度對比度差異值都不同，但存在部分輻射對比度差異值或偏振度對比度差異值的大小近似相同，在圖像特征信息中可表示為兩類圖像中亮度特征、邊緣幅值強度、反差度、邊緣清晰度、粗糙度和對比度等差異特征幅值大小不同，但存在大小相同的差異特征幅值（本文中將幅值大小完全相同和在一定的小范圍幅值區(qū)間內的近似相同均視為相同）。

統計并研究不同大小的輻射對比度差異值和偏振度對比度差異值出現的頻次能夠深刻地反映出成像中熱輻射強度信息和偏振度信息在雙模態(tài)紅外圖像中分布規(guī)律，同時對于提高雙模態(tài)紅外圖像融合質量提供了思路，上述兩種對比度差異值量化到圖像特征信息中則表現為統計兩類圖像中不同大小差異特征幅值出現的次數，即雙模態(tài)紅外圖像中的差異特征頻次。

KNN概率密度估計[10]是通過改變相同的小樣本數所需的區(qū)域大小來獲得估計的概率密度序列值的。設其所選定的區(qū)域內樣本的個數為N，并根據總體樣本集的個數確定一個參數KN，其中近鄰數KN為正整數，KN的大小決定了曲線的平滑程度[11]，當KN越大，則平滑程度也越大。KNN近鄰估計是在KN值固定的前提下，改變V的大小進行概率密度估計，可以更好地兼顧在高密度區(qū)域估計得到的分辨率以及低密度區(qū)域估計的連續(xù)性。

另一種概率密度估計方法為核密度估計法，核密度估計法是利用平滑的峰值函數擬合觀察到的數據點，對真實的概率分布曲線進行模擬估計的一種非參數估計法[12]。但是核密度估計中涉及到內核函數的選擇，常用的核密度估計函數有：高斯核函數、Epanechnikov 核函數、矩形核函數、三角形核函數、伽馬核函數以及余弦核函數等[13]。同時核密度函數帶寬的不同對核密度估計的影響也很大，帶寬反映了核密度估計曲線的整體平滑程度，同時反映了樣本在整體曲線分布中所占的比重。帶寬越大，則樣本點在曲線中所占比重越小，整體曲線就越平坦；反之則整體曲線就越陡峭[14]。目前對于自適應帶寬的設定研究較少，通常所選的帶寬是根據經驗值來設定的，采用固定的經驗值帶寬的核密度估計產生的誤差很大。所以KNN概率密度估計是一種較為客觀的非參數概率密度估計方法。

2 實驗

2.1 源圖像采集及預處理

本實驗所搭建的紅外偏振探測系統由熱紅外成像儀、檢偏器、圖像采集軟件和主控平臺組成。所采用的長波紅外熱像儀DM60（型號）是由浙江大立公司生產，工作波段范圍為8～14 μm，探測器焦平面的像素為384×288，視場角為16°×12°，而紅外檢偏器選用美國愛特蒙特光學公司生產的Zn-Se 全息線柵偏振片，有效光學口徑為34 mm，消光比為100：1，透過率為90%。由于本文選用3個偏振量的成像方式對10個不同的目標場景進行偏振圖像采集，并對各斯托克斯參量（I、Q、U）、偏振度、偏振角等圖像信息解算，得到了相應的紅外光強圖像和解算后的偏振度圖像分別如圖1(a)、(b)所示，并分別提取所需場景目標的特征。利用PCA 融合算法得到了源圖像組的融合圖像，如圖1(c)所示，圖像大小均為256×256，并利用16×16的不重疊窗口提取每個圖像塊的特征值。

2.2 差異特征選取和融合有效度構造

亮度特征、邊緣特征、紋理特征屬于雙模態(tài)紅外圖像主要差異特征，能夠有效表征雙模態(tài)紅外圖像的互補性特征信息?；叶染担╣raymean,M）、邊緣強度（edgeintensity,EI）、標準差（standard deviation,SD）、平均梯度（averagegradient,AG）分別量化表示亮度特征、邊緣特征中的邊緣幅值強度、反差度、邊緣清晰度，紋理特征選取Tamura 紋理特征中的粗糙度（coarseness,CA）、對比度（contrast,CN）來量化表示[15]。通過表1計算得出源圖像在6大主要差異特征下的幅值范圍。利用融合有效度表示一定融合算法下，融合后的圖像特征對融合前兩類圖像的有效融合程度[16]，本文選取基于距離測度的余弦相似性來表示融合有效度的大小[4]，如公式(8)所示：

式中：TF表示融合圖像的對應圖像塊特征值的強度。V∈(0,1]，其值越大，融合有效度越好。

差異特征屬性只受到圖像本身的影響，與融合算法無關。選取第4組源圖像進行說明，構建差異特征的基于PCA算法的融合有效度分布圖，如圖2所示為差異灰度均值和差異邊緣強度的融合有效度分布圖。

2.3 基于KNN概率密度估計的差異特征頻次分布構造

通過上述方法得到每幅源圖組基于PCA算法的6種差異特征幅值散點分布圖，為了更好地表示差異特征幅值的連續(xù)性，本文中將每種差異特征幅值點按從小到大劃分為20組，即L＝20，幅值區(qū)間組數設為20可以更好地提升幅值區(qū)分度并減少誤差[4]，便于得到差異特征幅值的不同頻次值。利用累積分布函數求出每種差異特征幅值的頻率分布直方圖，在幅值頻率分布直方圖中，差異特征幅值出現頻率為差異特征頻次值，統計得到的每個直方圖面積即為每個幅值區(qū)間內該差異特征頻次的值。累積分布函數沒有引入帶寬等外部概念，不會丟失任何的數據信息，通過累積分布函數得到頻率分布直方圖是真實準確的[17]。

圖1 源雙模態(tài)紅外圖像和融合圖像Fig.1 Source inf rared intensity and infrared polarization images

表1 源圖像差異特征幅值范圍Table1 Source imagesdifference features range sof amplitudes

圖2 融合有效度分布圖Fig.2 Distribution mapsof fusion validity

本文中利用基于KNN概率密度估計的方法來構造差異特征頻次分布，每幅源圖組的每種差異特征幅值有256個，即N＝256，選用6種差異特征，原始樣本集{Ti}所含樣本個數N＝256，i＝1,2,…,N。原始樣本集里所含樣本個數太少不足以滿足非參數概率密度估計所需樣本數大的要求，所以將差異特征幅值點Ti移動的步長設為xstep＝0.01，通過插值擴充了樣本集。擴充后的樣本集{Tj}為第a種差異特征幅值樣本集，其中a＝1,2…,6，所含樣本個數為為幅值差值樣本集的左邊界，Tjr為幅值差值樣本集的右邊界，且每種差異特征幅值樣本集均服從同一種分布。當變量為幅值點Tj時，通過調整包含Tj區(qū)域的體積，直到區(qū)域內剛好落入KN個樣本點，所以KN取值不同時V的值也會隨之改變，這些樣本被稱為幅值樣本點Tj的KN個最近鄰。

本文的幅值樣本點屬于一維數據，樣本點相當于分布在一條線上，樣本集{Tj}中任取樣本jmT，V的值等于幅值樣本點Tjm到它的第KN近鄰距離TKN(m)的兩倍，其中選用歐式距離衡量Tjm與TKN(m)間的距離大小[9]。隨著步長的移動，依次求出每一個幅值點的概率密度估計值，直到Tjm＜Tjr＋xstep/2。某一特定的差異特征a的幅值點Tjm的概率密度估計值f(Tjm)如下式所示：

通過KNN概率密度估計得到的擬合曲線分布圖中曲線的縱坐標是差異特征幅值概率密度值與橫坐標對應差異特征幅值的比值，概率密度估計曲線在所有橫坐標積分范圍的面積恒為1。且在幅值概率密度估計曲線中，差異特征幅值密度為差異特征頻次，所以通過計算概率密度估計分段曲線與橫坐標子幅值區(qū)間圍成的面積求出的是差異特征幅值概率密度序列值，亦即差異特征頻次概率序列值。概率密度擬合曲線的表達式是未知的，通過數值積分中的復化梯形積分[18]近似可以求得分段曲線與橫坐標子區(qū)間圍成的面積。本文中將每組源圖像的差異特征幅值區(qū)間[Tjl,Tjr]劃分為n＝20個子區(qū)間，其中第k個子區(qū)間[Tjl,Tjr]也劃分為n份，步長為h′＝(Trk－Tlk)/n，每個子區(qū)間包含q個差異特征幅值概率密度估計值每個子區(qū)間的節(jié)點為Tmk＝Tlk＋wh′，w＝1,2,…,n＋1，在每個差異特征幅值子區(qū)間內使用復化梯形積分，近似求得每個差異特征幅值區(qū)間差異特征頻次的概率值，利用公式(10)表示：

通過上式得出了每組源圖像每種差異特征下基于KNN概率密度估計的差異特征頻次具有統計意義的序列值{frk}，從而構造出差異特征頻次分布。

3 實驗結果與分析

3.1 主觀分析

本文采用Matlab2014a 作為實驗軟件平臺，實驗運行環(huán)境為3 GHz Intel Core i7 PC 機，對所選取的10組雙模態(tài)紅外圖像采用同一種融合算法進行融合（以PCA算法為例）。選用Rosenblatt 提出的積分均方誤差（integral mean square error,MISE）修正固定核密度帶寬參數確定最優(yōu)帶寬[19]的高斯核密度估計與本文方法進行對比實驗，將累積分布函數統計得到的差異特征幅值的頻率分布直方圖、MISE 高斯核密度估計以及本文方法得到的差異特征幅值概率密度曲線進行對比，以圖“IV”的6種差異特征為例，如圖3所示。

圖3 差異特征幅值概率密度分布圖Fig.3 Difference feature amplitude probability density maps

利用復化梯形積分構造出本文方法與最優(yōu)帶寬高斯核密度估計的差異特征頻次分布，同時利用累積分布函數得到差異特征頻次分布，每組實驗源圖像均分為20個幅值子區(qū)間，不同實驗源圖像的差異特征頻次分布用虛線隔開，如圖4所示。

從圖3中可以看出，本文方法的差異特征幅值概率密度曲線包絡與差異特征幅值的頻率分布直方圖更加接近（圖3中以第4組雙模態(tài)紅外圖像為例進行說明，其他源圖像組實驗結果與第4組源圖像相同）。圖4中本文方法所構造的差異特征頻次分布曲線與累積分布函數得到的真實分布曲線在6種差異特征頻次分布構造中重合程度很高，而基于MISE的最優(yōu)帶寬高斯核密度估計所構造的差異特征頻次分布曲線與累積分布相比有一些偏差，尤其在差異灰度均值以及差異粗糙度頻次分布構造中偏離程度較大。顯然本文所提的方法構造差異特征頻次分布更加準確。

圖4 差異特征頻次分布圖Fig.4 Distribution maps of difference feature frequency

相比較本文所提方法，MISE 最優(yōu)帶寬高斯核密度估計構造差異特征頻次分布時產生的偏差較大，是因為如下原因：

1）選取核函數內核時，鑒于核函數在波形合成計算上的易用性，選擇了高斯內核作為核密度估計函數[20]；

2）采用MISE 最小化誤差函數確定核密度函數最優(yōu)帶寬h時，是求差異特征幅值樣本集的高斯核密度估計得到的概率密度函數與原始幅值樣本集的概率密度函數f(Tim)差值的均值，并作積分，進而求解最小化問題。原始差異特征幅值樣本集的概率密度函數f(Tim)是未知的，所以將Sliverman 提出的經驗法則法（rule-of-thumb,ROT）用于核密度函數帶寬的選擇[20]，即假設f(Tim)是基于高斯核方差為σ2的正態(tài)分布族。

正是上述內核函數與帶寬確定造成的雙重誤差，導致MISE 最優(yōu)帶寬高斯核密度估計在差異特征頻次構造中的不足，也體現了本文方法的準確性。

3.2 客觀分析

分別計算最優(yōu)帶寬高斯核密度估計（方法1）以及本文方法（方法2）這兩種頻次構造方法與累積分布（真實值）之間的KL 散度[21]和Pearson 相關系數[22]，如表2和表3所示。在表2中，在6種差異特征中，本文方法相較于MISE 最優(yōu)帶寬高斯核密度估計的KL 散度較小，且差異灰度均值（M）和差異粗糙度（CA）二者散度差最大，差異標準差（SD）散度差小，亦即本文算法所構造的差異特征頻次分布與該差異特征頻次的累積分布相關性大，尤其在M和CA 中的相關性相較于最優(yōu)帶寬高斯核密度估計更大。

在表3中，本文方法的Pearson 相關系數比最優(yōu)帶寬高斯核密度估計得到的結果高，二者Pearson 相關系數的差值在M和CA 中最大，其他4類差異特征的Pearson 相關系數差值較小，本文方法與最優(yōu)帶寬高斯核密度估計的線性相關程度均為極強相關，但是本文算法的線性相關程度比最優(yōu)帶寬高斯核密度估計更高。綜上，通過本文算法構造出的差異特征頻次分布能夠準確地反映真實的差異特征頻次分布，且相較于另一種構造方法誤差較小。

4 結論

本文通過構造10組雙模態(tài)紅外圖像基于KNN概率密度估計的差異特征頻次分布，并求解本文構造方法的頻次分布和MISE 最優(yōu)帶寬高斯核密度估計的頻次分布分別與累積分布的相似性測度，得出如下結論：1）非參數概率密度估計法應用于差異特征頻次分布構造中具有可行性；2）從對比實驗中得出本文方法對于差異特征頻次分布構造的準確性優(yōu)于MISE 最優(yōu)帶寬高斯核密度估計；3）為下一步研究基于雙模態(tài)紅外圖像差異特征多屬性的融合有效度分布合成奠定基礎。

表2 不同頻次構造方法與真實值的KL 散度比較Table2 Comparison of KL divergence between different frequency construction methods and real values

表3 不同頻次構造方法與真實值的Pearson 相關系數比較Table3 Comparison of Pearson correlation coefficients between different frequency construction methods and real values