牛 濤，楊風暴，衛(wèi) 紅，張 雷，吉琳娜，王肖霞，原惠峰

?

紅外偏振和光強圖像差異特征分類樹的構(gòu)建

牛 濤1，楊風暴1，衛(wèi) 紅2，張 雷1，吉琳娜1，王肖霞1，原惠峰1

（1.中北大學 信息與通信工程學院，山西 太原 030051；2.英國雷丁大學系統(tǒng)工程學院計算機視覺組，Reading RG66AU, UK）

紅外偏振和光強圖像差異特征分類是融合算法隨著差異特征類型的變化而自適應變化的前提。構(gòu)建了差異特征分類樹，以此實現(xiàn)差異特征分類。首先分析紅外偏振和光強成像的差異特性，依據(jù)其成像差異特性構(gòu)建分類樹第1層差異的類別；然后對多組圖像統(tǒng)計并描述第1層差異類別下的各差異信息，依據(jù)統(tǒng)計結(jié)果構(gòu)建第2層差異的類別；最后提取紅外偏振和光強圖像的差異特征，將其按照差異特征分類樹進行分類。實驗表明，所建立的差異特征分類樹可將紅外偏振和光強圖像的差異特征分類。

差異特征；紅外偏振；紅外光強；特征分類

0 引言

在紅外偏振與光強圖像的融合研究中，紅外偏振和光強圖像的差異特征很難提前有效確定，必須依靠具體的成像條件和探測系統(tǒng)實時獲取[1]；并且圖像的差異特征類型、差異幅度是隨機變化的，尤其是序列圖像，圖像的幀間變化復雜、不確定，事先確定的融合模型和算法很難發(fā)揮有效作用，不可避免地出現(xiàn)許多失效的情況[2]。這是由于不同圖像間的差異特征是變化、不確定的，而融合算法是固定的，后者沒有隨著前者類型和幅度的變化而變化，使得融合效果沒有針對性。由于紅外偏振與光強圖像的差異特征種類繁多、且不確定，不進行圖像差異特征的分類，必然無法根據(jù)差異特征類型的變化而得到具有自適應能力的融合方法[2]。

目前，國內(nèi)外文獻中針對差異特征的分類研究鮮有具體分類方法。差異特征的分類一般依據(jù)紅外圖像的特征分類，分為邊緣差異特征、紋理差異特征、代數(shù)差異特征等[2]。這種引入外部的分類結(jié)構(gòu)可作為差異特征分類結(jié)果直接使用，避免了構(gòu)建圖像信息差異類別的環(huán)節(jié)，從而減少復雜度。但是，差異特征是紅外偏振和光強圖像差異的表征，而外部信息所揭示的圖像差異特征分類沒有依據(jù)圖像信息差異的類別而分類，忽略了圖像差異特征的相關(guān)性，不利于融合算法與差異特征之間關(guān)系的建立，也就無法得到自適應的差異驅(qū)動融合方法[3]。近幾年，課題組在紅外偏振和光強成像差異特性分析和圖像差異特征的提取上有較深研究，包括統(tǒng)計、紋理差異特征提取等；對紅外偏振和光強圖像的差異驅(qū)動機理也有不少研究結(jié)果，初步建立了差異特征類集與融合算法間的映射關(guān)系，證實了紅外偏振和光強圖像差異特征分類的重要性，為差異特征分類研究提供了基礎(chǔ)[4-5]。

本文提出了差異特征分類樹的構(gòu)建方法，并依據(jù)差異特征分類樹進行差異特征分類，目的是使融合算法能夠隨著差異特征類型的變化而變化，進而為自適應的差異驅(qū)動融合奠定基礎(chǔ)。具體內(nèi)容如下：通過紅外偏振和光強成像特性分析及差異特征間的相關(guān)性研究，構(gòu)建出圖像差異特征分類樹的第1層類別結(jié)構(gòu)；對多組圖像統(tǒng)計并描述第1層類別下的各差異信息，構(gòu)建出差異特征分類樹的第2層結(jié)構(gòu)；提取紅外偏振和光強圖像的差異特征，將其按照差異特征分類樹進行分類，分類結(jié)果便于構(gòu)建差異特征類集。

1 紅外偏振和光強成像差異特性分析

紅外偏振和紅外光強的成像差異特性是形成圖像差異特征的主要因素，成像差異特性主要包括目標（背景）的輻射強度特性、大氣傳輸特性和成像儀響應特性等[6]。

1）目標（背景）的輻射差異特性：紅外探測成像系統(tǒng)對處于復雜背景中的目標探測，很大程度上取決于目標本身與周圍背景的紅外輻射特性。紅外的偏振成像是對目標（背景）多個不同方向輻射的偏振量進行成像，獲得偏振度和偏振角等偏振信息，主要與其表面粗糙度、自身材料、形態(tài)和狀態(tài)有關(guān)，如平滑的路面、冰面、水面或玻璃面，其反射光是主要以鏡面反射為主，表現(xiàn)出較強的線偏振特性[7-8]；紅外的光強成像主要對目標（背景）的輻射強度成像，主要與目標（背景）的溫度、輻射率等有關(guān)。研究發(fā)現(xiàn)，一般情況下在長波紅外波段，自然物與人造物由于其材料及表面的光滑性等使得偏振度差異較大。

2）大氣傳輸差異特性：由于在傳輸過程受大氣衰減和復雜環(huán)境的影響目標與背景的輻射到達探測器時其輻射強度已大大較低，成像效果很不理想。其中，偏振與光強成像在傳輸時最大的成像差異是紅外偏振成像能夠很好的利用大氣散射的偏振特性，來避免或減弱大氣對成像的影響達到良好的成像效果。

3）成像儀響應差異特性：紅外偏振成像儀是在傳統(tǒng)的紅外成像儀中加上可旋轉(zhuǎn)偏振片，這樣使得場景的輻射通過偏振片是發(fā)生二次衰減，造成紅外偏振圖像的亮度信息降低，而紅外光強圖像信號因受大氣的一次衰減，故光強圖像的亮度信息較豐富[5]。紅外偏振圖像通過輻射值之比獲得，偏振測量無需準確的輻射量校準就可獲取目標的邊緣方向特征信息。

綜上分析可知，光強圖像反映了溫度場信息，紅外偏振圖像反映目標本身的高頻特征（如幾何形狀、邊緣輪廓等）突顯，低頻特征（如紋理細節(jié)、亮度）較少；紅外光強圖像卻與之相反，低頻特征突顯，高頻特征較少，且與紅外偏振圖像之間存在很大的互補性和冗余性[2]。

2 紅外偏振和光強圖像的差異特征分類樹

2.1 層次分類法

層次分類方法利用類別層次結(jié)構(gòu)來分解問題，可有效解決多類分類問題，例如圖像分類。在實際情況中，類別間的關(guān)系往往不是獨立的，可以通過構(gòu)建層次結(jié)構(gòu)來表示[9]。具體說來，層次分類方法一般利用類別標簽在特征空間或語義空間中的層次關(guān)系，建立相應的類別層次結(jié)構(gòu)，然后依據(jù)層次結(jié)構(gòu)得到最終的分類結(jié)果。層次分類的本質(zhì)就是通過一個具有特定層次關(guān)系的結(jié)構(gòu)來表示各個類別間的關(guān)系，也就是說，通過層次結(jié)構(gòu)將分類任務劃分為與各層次相對應的較小的分類子問題，這樣的劃分簡化了原分類任務。

類別層次的典型結(jié)構(gòu)是“樹（Tree）”或“有向無環(huán)圖（Directed Acyclic Graph，DAG）”結(jié)構(gòu)[9]，如圖1所示，其中(a)為樹形結(jié)構(gòu)，(b)為DAG結(jié)構(gòu)，黑色表示葉子節(jié)點（即類別標簽），灰色表示根節(jié)點。類別劃分是類別層次構(gòu)建中的核心任務，其中，類別層次的構(gòu)建步驟：從根節(jié)點起，當前節(jié)點所擁有的類別被劃分成兩個或多個類，然后每個類生成1個子節(jié)點，并將該類所擁有的類別傳遞給該子節(jié)點，這個過程一直遞歸下去直至類別不能再被細分或到達葉子節(jié)點。

圖1 類別層次結(jié)構(gòu)

2.2 差異特征分類樹的構(gòu)建

差異特征分類樹的構(gòu)建必須考慮信息差異的類別層次，采用樹形結(jié)構(gòu)，且在類別層次中嵌入圖像特征信息的先驗知識。首先差異特征分類“樹”的第1層按照紅外偏振和光強成像的偏振特性和輻射特性進行分類。在進行紅外探測時，探測目標可按照偏振特性不同分為人工目標、自然景物。常見的人工目標的表面材料一般是混凝土、金屬或類似材料（如建筑物、道路、橋梁和機場等）。常見的自然景物有海面、地面、沙石、巖地、草地等。另外，目標的輻射強度特性也與物質(zhì)的表面溫度有關(guān)（如體溫等）。因此，構(gòu)建差異特征分類“樹”時，首先“樹”的第一層可得到的類別為{1，2，3}，其中1為“自然景物”，2為“人工目標”，3為“人”。

其次，對于差異特征分類“樹”的第2次差異信息的類別的劃分，可先在訓練圖像上進行差異特征劃分，然后將圖像上的劃分結(jié)果轉(zhuǎn)化為分類樹的類別劃分的結(jié)果。選取了不同場景的8組紅外偏振（選取偏振度圖像）和光強圖像[10-15]，其中前2組圖像為本課題組采集，大小均為256×256像素，如圖2所示。

從人眼視覺特性可以看出，紅外偏振和紅外光強圖像上存在許多差異的部分。例如，同一目標在光強圖像中，亮度高的目標溫度高，反之溫度低，且目標輪廓比較模糊，而紅外偏振圖像中目標的幾何形狀信息（如邊緣和輪廓）較豐富[2]。因此，本文從1，2，3類別角度分別辨別兩類圖像差異信息類別并進行統(tǒng)計劃分，統(tǒng)計結(jié)果見表1。將其轉(zhuǎn)化為差異特征分類“樹”的層次結(jié)構(gòu)，轉(zhuǎn)化結(jié)果如圖3。

3 紅外偏振和光強圖像的差異特征分類

3.1 差異特征的提取與選擇

差異特征的表示與提取擬從常見的紅外圖像原始的特征空間中進行。一般描述圖像的特征數(shù)量較大，有些差異在偏振紅外和光強圖像間的差異不顯著，故從顯著性方面進行特征選擇，從原始特征空間得到有效差異特征反映圖像的差異信息。圖2中8組紅外偏振和光強圖像，將每組圖像以大小64×64像素、步長32像素的滑動塊依次進行分割，并對其進行特征提取，選擇有效差異特征。

將紅外圖像的特征納入原始特征空間，這些特征量包括邊界頻率、視覺指數(shù)、邊緣強度和邊緣特征點數(shù)、Tamura紋理特征、灰度共生紋理特征、灰度-梯度共生紋理特征、直方圖統(tǒng)計矩、直方圖統(tǒng)計特征、自相關(guān)函數(shù)等共46個特征。對每組圖像塊分別進行原始特征提取，由公式(1)計算紅外偏振和光強圖像各特征的絕對差異DT，因每種特征的量綱不同，在數(shù)量級上可能存在較大差異，為便于分析它們的顯著性差異，先進行圖像塊的46個特征進行標準化處理，最后經(jīng)顯著差異選擇后保留下來的特征為：差異視覺指數(shù)、差異邊緣強度、差異邊緣特征點數(shù)、差異對比度、差異自相關(guān)、直方圖的差異統(tǒng)計特征（直方圖的灰度均值、直方圖的灰度方差、偏度系數(shù)、峰度系數(shù)）、差異灰度-梯度共生紋理特征（灰度分布的不均勻性、梯度分布的不均勻性、灰度平均、灰度均方差、相關(guān)性、慣性）等共15個差異特征，依次記為{1，2，3，4，5，6，7，8，9，10，11，12，13，14，15}。

式中：T1為紅外偏振圖像特征；T2為紅外光強圖像特征。

3.2 差異特征分類及結(jié)果驗證

3.2.1 差異特征分類

15個差異特征都定量地描述了偏振和光強圖像的差異信息，根據(jù)差異類別的劃分，某個或某幾個差異特征可表征某一類差異信息，表征結(jié)果（即分類結(jié)果）見表1，在“樹”中差異特征分類結(jié)果如表2所示，與“樹”的差異類別的表征結(jié)果見圖3。

圖2 紅外偏振和光強圖像：(a) 紅外光強圖像；(b) 紅外偏振圖像

表1 紅外偏振和光強圖像差異信息的類別

表2 圖像差異的類別與差異特征的分類

圖3 差異特征分類樹及差異特征分類

3.2.2 結(jié)果驗證分析

以2組紅外偏振和光強圖像[16-17]為驗證圖像，通過Matlab R2010a編寫程序，提取各差異特征，其中汽車圖像組（如圖4）選取出差異顯著的差異特征為{3，10，11，15}，如圖5所示，其中坦克圖像組選取出差異顯著的差異特征為{3，9，15}。

由差異特征分類可知，汽車組圖像，3與11反映了汽車邊緣差異、汽車輪胎邊緣差異、汽車玻璃邊緣差異；10與11反映了汽車局部細節(jié)差異；10反映了汽車局部明暗對比度差異；15反映了地面和柵欄粗糙差異。該分類結(jié)果與驗證圖4中的實際差異信息一致。

金屬板圖組（如圖6和圖7），3反映了金屬板的邊緣差異、金屬板的亮度差異；9與15反映了地面的粗糙和紋理差異。該分類結(jié)果與驗證圖6中的實際差異信息一致。

實驗結(jié)果表明，自頂向下的差異信息層次分類法適用于紅外偏振和光強圖像的差異特征分類，分類結(jié)果較好，且與真實情況一致。

4 結(jié)束語

本文提出了一種差異特征分類樹的構(gòu)建方法，具有普適性，可有效地對差異特征進行了分類，且分類結(jié)果準確；該分類結(jié)果可用來建立圖像差異特征類集，便于差異特征子集與融合算法間的映射關(guān)系的構(gòu)建；為進一步自適應的差異驅(qū)動融合的研究奠定基礎(chǔ)。

圖4 汽車的紅外偏振和光強圖像

圖5 紅外偏振和光強圖像差異特征比較

圖6 金屬板的紅外偏振和光強圖像

圖7 紅外偏振和光強圖像差異特征比較

[1] Yang Fengbao, Wei Hong. Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules[J]., 2013, 60: 235-243.

[2] 安富. 基于差異特征的紅外偏振與光強圖像融合方法研究[D]. 太原: 中北大學, 2014: 18-26.

[3] 牛濤, 楊風暴, 王肖霞, 等. 差異特征與融合算法的集值映射關(guān)系的建立[J]. 紅外與激光工程, 2015, 44(3): 1073-1079.

[4] 安富, 楊風暴, 牛濤. 模糊邏輯與特征差異驅(qū)動的紅外偏振圖像融合模型[J]. 紅外技術(shù), 2012, 34(10): 573-583.

[5] 安富, 楊風暴, 藺素珍等. 基于差異特征的紅外偏振與光強圖像融合方法研究[J]. 中國科技論文, 2014, 9(1): 96-102.

[6] 楊風暴. 紅外物理與技術(shù)[M]. 北京: 電子工業(yè)出版社, 2014: 212-232.

[7] 姜會林, 付強, 段錦, 等. 紅外偏振成像探測技術(shù)及應用研究[J]. 紅外技術(shù), 2014, 36(5): 345-349.

[8] 牛繼勇, 李范鳴, 馬利祥. 目標紅外偏振探測原理及特性分析[J]. 紅外技術(shù), 2014, 36(3): 215-220.

[9] 陸彥婷, 陸建峰, 楊靜宇. 層次分類法綜述[J]. 模式識別與人工智能, 2013, 26(12): 1130-1137.

[10] J Larry Pezzaniti, David B Chenault. A division of aperture MWIR imaging polarimeter[C]//,, 2005, 5888: 1-12.

[11] LeMaster D A. Image reconstruction for two-color microgrid polarimetric imagers[C]//,. 2011: 1-5.

[12] J Scott Tyo, Dennis L Goldstein, David B Chenault, et al. Review of passive imaging polarimetry for remote sensing applications[J]., 2006, 45(22): 5453-5467.

[13] Michael Gartley, Peter Erbach. Pose estimation of unresolved targets using polarimetric imaging[C]//,:,,, Orlando, Florida, United States, 2010, 7672: 1-10.

[14] Bradley M Ratliff, James K Boger. Image processing methods to compensate for IFOV errors in microgrid imaging polarimeters[C]//,:,,, 6240: 1-12.

[15] Oscar González Merino. Image analysis of infrared polarization measu- rements of landmines[D]. Brussel: Vrije Universiteit Brussel, 2000.

[16] Lavigne Daniel A, Breton Melanie. A new fusion algorithm for shadow penetration using visible and midwave infrared polarimetric images[C]//13, Edinburgh, UK, 2010: 1-7.

[17] Daniel A Lavigne, Melanie Breton, Georges Fiournier, et al. A new passive polarimetric imaging system collecting polarization signatures in the visible and infrared bands[C]//,:,,,, 2009, 7300: 1-10.(doi:10.1117/12.819011)

Classification Tree of Difference Features between Infrared Polarization and Infrared Intensity Images

NIU Tao1，YANG Feng-bao1，WEI Hong2，ZHANG Lei1，JI Lin-na1，WANG Xiao-xia1，YUAN Hui-feng1

（1.，，，030051；2.，，6 6，）

Difference features classification between infrared polarization and intensity images is a precondition for fusion algorithms changing along with the change of difference features. This paper presents a classification tree of difference features to classify the features. Firstly, the difference characteristic of infrared polarization and intensity imaging is analyzed, with the first layer of the classification tree based on their imaging difference characteristics built; then statistic and description of the difference information to multi-group images is got, below the first layer of each differences category; according to the results, the second layer of the classification tree is built; and finally difference features of infrared polarization and intensity images are extracted, which are classified according to classification tree of difference features. Experiments show that the classification tree can classify the difference features of images betweeninfrared polarization and infrared intensity images effectively.

difference features，infrared polarization，infrared intensity，feature classification

TN219

A

1001-8891(2015)06-0457-05

2015-01-08；

2015-02-09.

牛濤（1989-），女，碩士研究生，主要從事紅外信息處理的研究。E-mail：nt775264379@126.com。

楊風暴（1968-），男，教授，博士生導師，博士，主要從事紅外信息處理的研究。E-mail：yangfb@nuc.edu.cn1。

國家自然科學基金項目，編號：61171057；教育部高等學校博士學科點專項科研資助項目（博導類），編號：20121420110004。