劉 江，劉丹丹，田 靜

(黑龍江工程學(xué)院 測繪工程學(xué)院，黑龍江 哈爾濱 150050)

基于D-S證據(jù)理論的遙感影像融合技術(shù)研究

劉 江，劉丹丹，田 靜

(黑龍江工程學(xué)院 測繪工程學(xué)院，黑龍江 哈爾濱 150050)

多源遙感影像融合是一種將來自多個(gè)傳感器所拍攝的同一區(qū)域圖像進(jìn)行智能合成的一項(xiàng)技術(shù)。目前，遙感影像融合研究大多數(shù)都停留在像素級(jí)融合方面，很少考慮到異質(zhì)影像融合后新像元的物理意義丟失。因此，提出基于D-S證據(jù)理論的熱紅外高光譜和可見遙感影像決策級(jí)融合方法，首先采用最大似然監(jiān)督分類方法分別對(duì)熱紅外高光譜遙感影像和可見光遙感影像分類，并對(duì)分類結(jié)果進(jìn)行評(píng)價(jià)，然后利用D-S證據(jù)理論對(duì)熱紅外高光譜影像和可見光遙感影像分類信息實(shí)現(xiàn)決策級(jí)融合，實(shí)驗(yàn)結(jié)果表明：使用D-S證據(jù)理論融合后的圖像分類精度較融合之前改善效果非常明顯，說明該方法在異質(zhì)遙感影像融合中有很強(qiáng)的理論和實(shí)際意義。

影像融合；D-S證據(jù)理論；影像分類；熱紅外高光譜影像；決策級(jí)融合

多源遙感圖像融合是把同一區(qū)域的不同傳感器拍攝的影像使用一定的算法實(shí)現(xiàn)處理，將會(huì)獲得一個(gè)更加豐富、更加可信、更加準(zhǔn)確的數(shù)據(jù)，對(duì)后面要做的判別和評(píng)估產(chǎn)生極為有利的條件。這種融合的目的是把多個(gè)圖像中的優(yōu)勢信息進(jìn)行合并，得到一個(gè)更精確、更可信的數(shù)據(jù)圖像[1]。Alex Pappache 等在2014年主要從方法、圖像模式和圖像結(jié)構(gòu)方面研究現(xiàn)有醫(yī)學(xué)圖像融合方法，即便現(xiàn)有方法存在一些理論和技術(shù)上的難點(diǎn)，但醫(yī)學(xué)圖像融合在利用醫(yī)學(xué)圖像診斷疾病過程中起著重大作用[2]。Mahdi Khodadadzadeh等在2015年提出一種新的融合方法實(shí)現(xiàn)高光譜遙感圖像和LiDAR的分類，該方法聯(lián)合利用提取的多種特征實(shí)現(xiàn)融合分類，不需要對(duì)特征進(jìn)行歸一化處理，實(shí)驗(yàn)結(jié)果表明，基于多特征學(xué)習(xí)的融合方法用于高光譜圖像和LiDAR的分類明顯改善分類結(jié)果[3]。Shutao Li等在2016年研究像素級(jí)圖像融合在遙感、醫(yī)學(xué)和紅外夜視等領(lǐng)域取得進(jìn)展，同時(shí)也研究了融合質(zhì)量評(píng)價(jià)方法，主要分析了融合方法在遙感、醫(yī)學(xué)診斷、監(jiān)視和攝影領(lǐng)域的應(yīng)用和挑戰(zhàn)，最后指出像素級(jí)融合的發(fā)展方向[4]。Yokoya N 等在2017年對(duì)現(xiàn)有文獻(xiàn)系統(tǒng)地分析了高光譜圖像和多光譜圖像的融合方法，主要利用8種數(shù)據(jù)源實(shí)驗(yàn)分析10種融合方法的通用性和差異性[5]。通過近年圖像融合技術(shù)領(lǐng)域文獻(xiàn)分析發(fā)現(xiàn)，目前遙感圖像融合方法主要還是集中在像素級(jí)層面，針對(duì)異質(zhì)遙感圖像融合有部分學(xué)者研究特征級(jí)遙感圖像融合，然而基于決策級(jí)的融合研究相對(duì)來說較少，考慮到異質(zhì)影像融合后新像元物理意義丟失，因此，針對(duì)異質(zhì)圖像采用特征級(jí)或決策級(jí)融合更為合理。對(duì)于熱紅外高光譜和可見遙感影像而言，考慮到基于像素級(jí)融合方法導(dǎo)致融合生成新像元物理意義丟失，因此，本文提出基于D-S證據(jù)理論的熱紅外高光譜和可見遙感影像決策級(jí)融合方法。首先采用最大似然監(jiān)督分類方法分別對(duì)熱紅外高光譜遙感影像和可見光遙感影像分類，并對(duì)分類結(jié)果進(jìn)行評(píng)價(jià)，然后利用D-S證據(jù)理論對(duì)熱紅外高光譜影像和可見光遙感影像分類信息實(shí)現(xiàn)決策級(jí)融合，具體流程如圖1所示。

圖1 基于D-S證據(jù)理論的熱紅外高光譜和可見光遙感圖像信息決策級(jí)融合算法流程

1 D-S證據(jù)理論

1.1 識(shí)別框架

在D-S證據(jù)理論中，設(shè)定Θ是一個(gè)集合，則有Θ={θ1,θ2,…,θj,…,θN}。當(dāng)某個(gè)元素存在一個(gè)有效的結(jié)果時(shí)，而且僅僅存在一個(gè)正確的結(jié)果，此時(shí)把這個(gè)集合當(dāng)做一個(gè)識(shí)別框架。識(shí)別的意義是從所有可能的這個(gè)問題的答案只能判別出一個(gè)正確的答案。在識(shí)別框架Θ中把全部的子集合成的一個(gè)集合就形成了冪集，記作2θ，如式(1)所示。

2θ={Φ,{θ1},{θ2},…{θ1∪θ2},{θ1∪θ3},…,Θ}.

(1)

式中：Φ表示空集；{θi∪θj}同樣可以寫成{θi,θj}，i,j∈[1,n]，且i≠j，根據(jù)這個(gè)規(guī)則繼續(xù)推斷。

1.2 基本信任分配函數(shù)

在識(shí)別框架Θ中，m是一個(gè)從集合2θ到[0,1]的映射，m代表基本信任分配函數(shù)，識(shí)別框架Θ的隨便一個(gè)子集用A來表示，記作A?Θ，同時(shí)滿足下面的條件：

(2)

這個(gè)函數(shù)體現(xiàn)出對(duì)A本身的信任度大小。m(Φ)=0表示對(duì)于空命題信任度不存在；式(3)中下面的式子表示雖然m(A)的值可以隨意設(shè)定，但是所有命題所提供的信度和必須為1。

1.3D-S證據(jù)理論的合成規(guī)則信任函數(shù)

1)兩個(gè)證據(jù)的組合規(guī)則Bel1，Bel2代表兩個(gè)信任函數(shù)，m1，m2為與之對(duì)應(yīng)的基本信任分配函數(shù)。Ai，Bi假如是一個(gè)焦元，m1(Ai)m2(Bi)在Bel1，Bel2的影響下被分配在Ai∩Bi上。在A不變的時(shí)候，如果Ai∩Bi=A，此時(shí)就存在m1(Ai)m2(Bi)分配在A的可信度上。使用D-S合成規(guī)則：

(3)

(4)

這里K代表沖突系數(shù)，[1-K]-1表示歸一化因子，它不會(huì)在合成證據(jù)的時(shí)候?qū)⒉皇?的值分配給空集Φ。m1和m2的正交和就是信任函數(shù)m，記作m1⊕m2。

2)多個(gè)證據(jù)的合成規(guī)則，m1，m2，…,mn等許多個(gè)基本信任分配函數(shù)同樣滿足正交和運(yùn)算的功能，信任函數(shù)將由它們構(gòu)成。在一個(gè)識(shí)別框架Θ里面，存在m1到mn等多個(gè)信任分配函數(shù)，假設(shè)m1和m2能夠結(jié)合，則其中的一個(gè)信任函數(shù)就是m1⊕m2；如果它可以與m3合成，那(m1⊕m2)⊕m3同樣還是一個(gè)信任函數(shù)，參照這個(gè)規(guī)則的結(jié)合律可以推斷出來，m1⊕m2⊕m3=(m1⊕m2)⊕m3=m1⊕(m2⊕m3)，以此類推m1⊕m2⊕…⊕mn。

2 基于D-S證據(jù)理論的熱紅外和可見光遙感影像信息融合實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)源

實(shí)驗(yàn)所使用影像分別為機(jī)載熱紅外高光譜遙感影像和可見光遙感影像，為2013年IEEE GRSS國際數(shù)據(jù)融合比賽所用影像，影像區(qū)域是加拿大魁北克省的塞特福德礦城的黑湖地區(qū)，拍攝時(shí)間為2013-05-21，拍攝高度距離地面807 m。熱紅外高光譜影像使用基于傅里葉變換光譜儀的機(jī)載熱紅外高光譜傳感器Telop’Hyper-Cam拍攝；與此同時(shí)，此平臺(tái)上搭載一個(gè)兩百萬像素的數(shù)碼彩色照相機(jī)。兩幅圖像信息如表1所示，熱紅外原始影像和可見光原始影像如圖2、圖3所示。本次實(shí)驗(yàn)提供一個(gè)完整的訓(xùn)練集，包含7種不同的地物標(biāo)記，分別表示水泥路面(Road)、樹木(Trees)、紅色屋頂(Red roof)、灰色屋頂(Grey roof)、水泥屋頂(Concrete roof)、草木(Vegetation)和裸地(Bare soil)，如圖4所示。

表1 遙感影像信息

圖2 熱紅外遙感影像

圖3 可見光遙感影像

圖4 地面參考訓(xùn)練集

2.2 熱紅外高光譜影像分類實(shí)驗(yàn)與分析

選擇的訓(xùn)練樣本使用最大似然監(jiān)督分類法對(duì)熱紅外影像進(jìn)行分類，所獲得的熱紅外遙感影像分類如圖5所示。通過利用混淆矩陣分析分類后圖像的精度，熱紅外遙感影像分類精度混淆矩陣如表2所示。

表2 熱紅外圖像分類精度混淆矩陣

通過對(duì)熱紅外圖像分類圖像的混淆矩陣分析可以看出，分類總體精度是57.91%，Kappa系數(shù)為0.46?？偟膩碚f分類精度一般，特別是分析每一類的分類精度時(shí)，除了水泥地面和裸地分類情況較好，其他地物分類效果不是很好。因?yàn)闊峒t外高光譜影像盡管波段數(shù)較多，但波段覆蓋范圍僅限于熱紅外區(qū)域，這些地物的熱輻射差異較小，導(dǎo)致這類地物分類效果較差。

2.3 可見光遙感影像分類實(shí)驗(yàn)與分析

選擇訓(xùn)練樣本使用熱紅外遙感影像分類方式相同的分類算法，對(duì)可見光遙感影像進(jìn)行了分類，分類后如圖6所示。可見光遙感圖像分類精度的混淆矩陣如表3所示。

表3 可見光遙感圖像分類精度混淆矩陣

通過對(duì)可見光遙感分類圖像的混淆矩陣分析發(fā)現(xiàn)，可見光遙感影像的總體分類精度為92.56%，Kappa系數(shù)為0.91，遠(yuǎn)高于熱紅外遙感影像的分類精度。分析每類地物精度時(shí)發(fā)現(xiàn)，除了紅色屋頂制圖精度較低,為44.25%,不過相對(duì)于熱紅外影像分類精度28.57%還是得到很大地改善，其他地物類別的分類精度都很高,相對(duì)于熱紅外影像改善也很大。這跟可見光影像波段覆蓋范圍廣有很大關(guān)系，地物光譜差異在可見光區(qū)域比較大，相對(duì)來說容易區(qū)分，所以分類精度提高很大。

2.4 基于可見光和熱紅外遙感影像信息決策級(jí)融合實(shí)驗(yàn)與分析

應(yīng)用D-S證據(jù)理論融合方法對(duì)分類后的熱紅外遙感圖像信息和可見光遙感圖像信息進(jìn)行決策級(jí)融合操作，融合后數(shù)據(jù)圖像如圖7所示。融合后圖像信息的混淆矩陣如表4所示。

表4 融合后圖像混淆矩陣

通過對(duì)表4融合分類混淆矩陣分析發(fā)現(xiàn)，融合分類的總體分類精度為98.34% ，Kappa系數(shù)為0.98，高于熱紅外高光譜遙感影像和可見光影像分類精度。分析每類地物精度時(shí)發(fā)現(xiàn)，紅色屋頂融合分類精度相對(duì)兩幅影像單獨(dú)分類得到極大改善，其他地物類別分類精度也有改善。這說明決策級(jí)融合在保證像元物理意義不變的情況下，可以使得兩幅異質(zhì)圖像優(yōu)勢互補(bǔ)，提高影像分類精度，克服像素級(jí)融合生成的新像元物理意義丟失的問題。

3 結(jié)束語

由于熱紅外高光譜遙感影像反映了地物的熱性質(zhì)，而可見光遙感影像反映了地物的反射特性，如果直接采用像素級(jí)融合策略，最終會(huì)導(dǎo)致生成新的像元沒有物理意義或者物理意義不明確，不利后續(xù)應(yīng)用的展開?；诖耍疚难芯炕贒-S證據(jù)理論的遙感影像決策級(jí)融合，實(shí)現(xiàn)異質(zhì)影像優(yōu)勢互補(bǔ)，提高影像分類精度，為后續(xù)應(yīng)用打下堅(jiān)實(shí)基礎(chǔ)。實(shí)驗(yàn)結(jié)果表明，基于D-S證據(jù)理論的遙感影像融合技術(shù)，融合后的圖像分類精度較融合之前改善效果非常明顯，證明該技術(shù)的有效性和科學(xué)性，對(duì)異質(zhì)圖像融合有較強(qiáng)的理論指導(dǎo)和實(shí)際應(yīng)用意義。D-S證據(jù)理論融合方法可以實(shí)現(xiàn)異質(zhì)影像優(yōu)勢互補(bǔ)，在遙感圖像融合應(yīng)用上十分有效。但該理論在一定程度上也降低了部分地物的分類精度，這是由于D-S證據(jù)理論還存在一些不足，比如它自身的證據(jù)沖突等問題。這部分內(nèi)容有待在下一步的研究中解決。

圖5 熱紅外影像分類結(jié)果

圖6 可見光遙感圖像分類結(jié)果

圖7 D-S證據(jù)理論融合結(jié)果

[1] COLE-RHODESA A, JOHNSON K L, LEMOIGNE J, et al. Multiresolution registration of remote sensing imagery by optimization of mutual information using a stochastic gradient[J]. IEEE transactions on image processing, 2003, 12(12): 1495-1511.

[2] JAMES A P, DASARATHY B V. Medical image fusion: A survey of the state of the art[J]. Information Fusion, 2014, 19: 4-19.

[3] KHODADADZADEH M, LI J, PRASAD S, et al. Fusion of hyperspectral and LiDAR remote sensing data using multiple feature learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 2971-2983.

[4] LI S, KANG X, FANG L, et al. Pixel-level image fusion: A survey of the state of the art[J]. information Fusion, 2017, 33: 100-112.

[5] YOKOYA N, GROHNFELDT C, CHANUSSOT J. Hyperspectral and Multispectral Data Fusion: A comparative review of the recent literature[J]. IEEE Geoscience and Remote Sensing Magazine, 2017, 5(2): 29-56.

Research on fusion technology of remote sensing image based on D-S theory

LIU Jiang, LIU Dandan, TIAN Jing

(College of Surrveying and Mapping Engineering,Heilongjiang Institute of Technology,Harbin 150050,China)

The fusion of multisource remote sensing image is a technique to intelligently synthesize images taken by multiple sensors in the same region. At present the study on the present pixel-level fusion is still the main content of the remote sensing image fusion, and the new pixel is proposed without physical significance after heterogeneous image fusion, where the fused image serves as a disservice to its subsequent application. In this paper, the decision-level fusion is developed based on Dempster-Shafer(D-S) theory to fuse the thermal infrared hyperspectral image and optical image. Firstly, the thermal infrared hyperspectral image and optical image are classified respectively by employing Maximum Likelihood Classification. Secondly, the precision evaluation is carried out for the classified images. Finally, the decision-level fusion is implemented based on D-S theory to fuse the classified images. The experiment result shows that the precision of the classified image fused by D-S theory is higher than the pre-fusion classified image, and the method has a strong theoretical and practical significance in the area of heterogeneous remote sensing images fusion.

image fusion; D-S theory; image classification; thermal infrared hyperspectral image; decision-level fusion

10.19352/j.cnki.issn1671-4679.2017.06.002

2017-06-12

黑龍江省普通高校重點(diǎn)實(shí)驗(yàn)室項(xiàng)目(kjkf-14-04)

劉 江(1980-)，男，講師，研究方向：遙感圖像處理.

P237

A

1671-4679(2017)06-0006-05

[責(zé)任編輯：郝麗英]