楊 丹 董楊琴

摘要:數(shù)據(jù)融合技術又稱多傳感器數(shù)據(jù)融合或分布式傳感,即對多類多源和多平臺傳感器數(shù)據(jù)進行組合,提供有關空間信息綜合態(tài)勢的一種數(shù)據(jù)處理技術。數(shù)據(jù)融合可分為:信號級數(shù)據(jù)融合、像素級數(shù)據(jù)融合、特征級數(shù)據(jù)融合和符號級數(shù)據(jù)融合。本文討論了紅外圖像、可見光圖像、多譜圖像、雷達圖像等的數(shù)據(jù)融合問題以及各級數(shù)據(jù)融合的方法。

關鍵詞:多傳感器;數(shù)據(jù)融合

1 引言

隨著計算機技術、通信技術及微電子技術的發(fā)展,在軍事、醫(yī)學、能源探測、資源勘探、海洋測量、環(huán)境和土地利用管理、地形地貌分析等方面的大量應用需求下,數(shù)據(jù)融合技術呈迅猛發(fā)展之勢。醫(yī)學上,這種技術被用來診斷出準確的病變部位。在軍事上數(shù)據(jù)融合技術有著更為廣闊的應用前景,包括目標跟蹤、目標自動識別、智能武器敵我識別、系統(tǒng)戰(zhàn)場監(jiān)視、戰(zhàn)術態(tài)勢評估、威脅評估、戰(zhàn)場預警及戰(zhàn)略防御等。

遙感技術發(fā)展迅速,獲取遙感數(shù)據(jù)的手段越來越豐富,各種傳感器獲得的圖像數(shù)據(jù)在同一地區(qū)會形成影像金字塔, 單一傳感器的數(shù)據(jù)處理已發(fā)展為多種傳感器數(shù)據(jù)處理即多傳感器數(shù)據(jù)融合,數(shù)據(jù)融合技術可實現(xiàn)多傳感器數(shù)據(jù)的優(yōu)勢互補,為提高這些數(shù)據(jù)的利用效益提供了有效的途徑,極大地提高了處理的自動化,人機界面亦由傳統(tǒng)的友好界面發(fā)展到人機協(xié)作的自適應多媒體界面。

數(shù)據(jù)融合技術在軍事上的應用是隨傳感器信息處理及綜合指揮控制系統(tǒng)的發(fā)展而發(fā)展起來的,其自動化很大程度上取決于數(shù)據(jù)融合水平的高低,它所揭示的信息處理思想和方法可以很好地解決目標識別的瓶頸問題。可以說多傳感器數(shù)據(jù)/信息融合迄今已發(fā)展成為現(xiàn)代技術尤其是高新技術條件下各種戰(zhàn)爭模式中正確進行指揮決策及克敵致勝不可缺少的一項關鍵性技術。

2 多傳感器的數(shù)據(jù)融合Data fusion

在許多應用場合,由單個傳感器所獲得的信息通常是不完整、不連續(xù)或不精確的。此時其他的信息源可以提供補充數(shù)據(jù),融合多種信息源的數(shù)據(jù)能夠產(chǎn)生一個有關場景的更一致的解釋,而使不確定性大大降低。因此,多傳感器數(shù)據(jù)融合意義重大,利用優(yōu)勢互補可以使目標檢測和識別過程變得相對簡單,準確率大大提高。

數(shù)據(jù)融合Data fusion技術又稱多傳感器數(shù)據(jù)融合或分布式傳感技術,它涉及如何組合多種類型傳感器數(shù)據(jù)對物理事件行為或態(tài)勢進行推斷,對多類多源和多平臺傳感器獲取的數(shù)據(jù)判別處理綜合分析。與其他數(shù)據(jù)處理技術相比更能快速、準確、可靠、連續(xù)及全面地提供有關環(huán)境態(tài)勢的綜合性結論。多傳感器數(shù)據(jù)融合可以在表述的信號級、像素級、特征級或符號級上進行。信號級融合是指來自不同傳感器信號在生成圖像前的聯(lián)合;像素級融合包括來自不同數(shù)字圖像的信息的融合;特征級融合指的是從不同圖像中提取的特征之間的融合;符號級的融合是來自圖像中的信息在抽象這個更高層次上的融合。信號級、特征級和符號級的融合方法都沒有很好利用圖像數(shù)據(jù)的相關性,不利于對圖像進行正確的目標識別和檢測。

2.1 雷達與紅外的數(shù)據(jù)融合

毫米波(MMW)雷達、激光成像雷達(LADAR)與紅外傳感器組合可以同時提供主動和被動兩種工作方式。這樣的組合可以用FLIR搜索潛在的目標,利用毫米波雷達具有很好的抗衰減能力的特性進行進一步探測,再與激光成像雷達(LADAR)的信息結合進行目標的識別。另外合成孔徑雷達與紅外圖像的融合,可以充分利用合成孔徑雷達全天候、全時段獲得目標信息的特點和紅外圖像具有豐富的譜圖的特點,來獲得較高空間分辨力和譜分辨力的融合圖像。

2.2 光學圖像與雷達圖像的數(shù)據(jù)融合

光學圖像以光譜信息為主,是一種經(jīng)常使用的遙感圖像。雷達圖像反映結構信息較好,而且雷達具有全天時、全天候、穿透性等優(yōu)點,較光學傳感器具有更大的偵察范圍,可以發(fā)現(xiàn)不易被光學傳感器發(fā)現(xiàn)的目標。但是雷達信號代表的是被觀測物體的微波反射特性的反射率空間分布函數(shù),不為人們所熟悉,而且對于不同的雷達工作頻率、入射角和極化方式,感興趣物體具有不同的微波反射特性,所以如果只使用雷達數(shù)據(jù)來進行目標檢測及識別比較困難。光學圖像中的地面目標處于反射狀態(tài),它不僅有明暗變化而且形狀邊緣清晰,圖像的細節(jié)也較雷達圖像明顯,這使得檢測識別變得相對簡單和直接,但是光學傳感器大氣衰減大且受天氣及觀測時刻影響較大。因此,雷達圖像和光學圖像融合意義重大,利用二者優(yōu)勢的互補可以使目標檢測和識別過程變得相對簡單,準確率提高。

2.3 紅外圖像與可見光圖像的數(shù)據(jù)融合

一般目標都會有較大的溫度梯度或背景與目標存在較大的熱對比度,低可視目標往往容易被紅外傳感器探測到,與紅外熱圖像相比,可視圖像可提供更多的目標細節(jié)。紅外與可見光傳感器的組合,數(shù)據(jù)融合后得到的圖像既保留了目標的高局部亮度對比,還能獲取目標表征的重要細節(jié)。

2.4 多雷達的數(shù)據(jù)融合

在多雷達的融合系統(tǒng)中無論是檢測距離還是覆蓋范圍,與單部雷達相比,融合系統(tǒng)均有較大提高。當雷達性能相近或相同時,融合系統(tǒng)的性能會有顯著改善;而當雷達性能相差較大時,融合系統(tǒng)性能改善不明顯,接近較優(yōu)雷達的性能。對合成孔徑雷達數(shù)據(jù)融合過程可進行相干處理,用雙天線提高對觀測場景的匹配,可以得到同一傳感器的不同頻率或不同極化圖像的融合。這需要電磁測量的校正和多極化、多頻率圖像融合、圖像互對準等。不同分辨力合成孔徑雷達圖像的融合,可得到噪聲較低的高分辨力融合圖像。

2.5 不同波段紅外數(shù)據(jù)融合

采用不同波段的兩個傳感通道,如:使用3~5μm、8~14μm兩種波段的紅外傳感器探測同一空間目標,會使得到的目標背景信息量增加了一倍,采用融合技術,可提高系統(tǒng)的探測距離和識別能力。在地下探礦、人造目標探測和航空遙感等方面有著廣泛應用。

2.6 CT、PET、MRI等的數(shù)據(jù)融合

各種成像方法在臨床上的應用,使得醫(yī)學診斷和治療技術取得了很大的進展,同時將各種成像技術得到的信息進行融合互補,已成為臨床診療及生物醫(yī)學研究的有力武器。如:X射線斷層成像(CT)、正電子發(fā)射斷層成像(PET)、核磁共振(MRI)、單光子發(fā)射斷層成像(SPET)、超聲成像(US)、顯微成像(MI)等。不同的成像模式可提供圖像互不覆蓋的互補信息。如:CT提供骨骼信息、MRI提供軟組織、血管等信息。在有骨骼的地方選擇CT屬性,在其他有軟組織的地方選擇MRI屬性,融合各信息用于制定手術方案。在未來,基于圖像融合的數(shù)字可視化與虛擬現(xiàn)實技術相結合,可創(chuàng)造出一個虛擬環(huán)境,幫助醫(yī)生制定最有效、最安全的手術方案。

2.7 單傳感器多譜數(shù)據(jù)融合

多譜圖像數(shù)據(jù)融合是把多變量信息,即多波段的圖像信息綜合在一張圖像上,而且對于融合圖像來說,各波段的信息所做的貢獻能最大限度地表現(xiàn)出來。為此可對原圖像各波段像素亮度值作加權線性變換,產(chǎn)生新的像素亮度值或將多個波段的信息集中到若干個波段上,如紅、綠、藍色波段。多譜圖像數(shù)據(jù)融合也可通過亮度、色度和飽和度變換(IHS變換)、主成分分析(PCA)和高通濾波(HPF)等方法進行。為了得到更好的融合結果,可將已提取的目標信息加到變換公式中,根據(jù)先驗信息對圖像的參數(shù)進行修正。基于已知特征的融合方法可以針對不同的要求,靈活改變信息特征的提取方法。用微分幾何方法將多譜圖像變換為可視圖像可能會成為有前途的方法。一般來說,多譜圖像融合得到的是彩色圖像。

3 數(shù)據(jù)融合方法

多傳感器數(shù)據(jù)融合可以在表述的信號級、像素級、特征級或符號級上進行。信號級融合是指來自不同傳感器信號在生成圖像前的聯(lián)合;像素級融合包括來自不同數(shù)字圖像的信息的融合;特征級融合指的是從不同圖像中提取的特征之間的融合;符號級的融合是來自圖像中的信息在抽象這個更高層次上的融合。

3.1 像素級數(shù)據(jù)融合

3.1.1 邏輯濾波器法

最直觀的融合方法是兩個像素的灰度值進行邏輯運算,如:兩個像素的灰度值均大于特定的門限值,進行“與”運算。來自“與”運算的特征被認為是對應了環(huán)境的主要方面。同樣,“或”濾波用來分割圖像,因為所有大于特定的門限值的傳感器信息都可用來進行圖像分割。兩個像素的灰度值均小于特定的門限值時,用“或非”運算。

3.1.2 加權平均法

加權平均法用于處理來自各個測量精度大不相同的數(shù)據(jù)源的數(shù)據(jù),是最簡單最直觀融合多傳感器數(shù)據(jù)的方法。該法對某一參數(shù)值通過一加權因子取平均,即將由一組傳感器提供的冗余信息進行加權取平均,并將加權平均值作為信息融合值。當每個傳感器的測量值為標量,且加權值反比于每個傳感器的標準差時,加權平均法與貝葉斯方法相一致

3.1.3 數(shù)學形態(tài)法

數(shù)學形態(tài)學通過使用從基本算子:集合并、集合交、減、條件加推演出來的一套數(shù)學形態(tài)算子,如膨脹、腐蝕等算法,對圖像進行處理。若兩個集合互相支持,則通過集合交從兩個特征集中提取出高置信度的“核”特征集;若兩個集合互相對抗,則通過集合差從兩個特征集中提取出高置信度的“核”特征集。兩個集合互相支持,則通過集合并從兩個特征集中提取出高置信度的“潛在”特征集;若兩個集合互相對抗,則通過一個集從另一個集中提取出高置信度的“潛在”特征集。用條件膨脹和條件腐蝕的形態(tài)運算來融合“核”與“潛在”特征集。條件膨脹用來提取“潛在”特征集的連接分量,可用來抑制雜波;條件腐蝕可用來填入在“核”特征集中丟失的分量邊界元素。開運算和閉運算的基本作用是對圖像進行平滑處理,開運算可以去掉圖像中的孤立子域和毛刺,閉運算可以填平一些小洞并將兩個鄰近的目標連接起來。統(tǒng)計形態(tài)的引入為圖像融合提供了一種新的思路。將統(tǒng)計的思想與形態(tài)濾波相結合估計圖像包含的有用信息,噪聲抑制效果較好。

3.1.4 圖像代數(shù)法

圖像代數(shù)是描述圖像算法的高級代數(shù)語言,完全可以描述多種像素層的融合算法。它有四種基本的圖像代數(shù)操作數(shù):坐標集、值域、圖像和模板。坐標集,可定義為矩形、六角形、環(huán)形離散矩陣及多層矩陣數(shù)組,用來表示不同方格和分辨率圖像的相干關系。若來自多傳感器的用于像素層融合的圖像有相同的基本坐標系,則坐標集稱為齊次的;否則稱為非齊次的?！爸涤颉蓖ǔ麛?shù)集、實數(shù)集、復數(shù)集、固定長度的二進制數(shù)集,通常對其定義算術和邏輯運算。若一個值集的所有值都來自同一數(shù)集,則稱為齊次的,否則稱為非齊次的?！皥D像”是最重要的圖像代數(shù)算子,定義為從坐標集到值集函數(shù)的圖?！澳０濉焙湍０逅阕邮菆D像代數(shù)強有力的工具,它將模板、掩模、窗口、數(shù)學形態(tài)的構成元素、定義在鄰域像素上的其他函數(shù),統(tǒng)一、概括成數(shù)學實體。用于變換實值圖像的三種基本的模板操作是:廣義卷積、乘積最大、和最大。模板操作可通過在全局和局部卷積來改變維數(shù)、大小和圖像形狀。

3.1.5 金字塔圖像融合法

用金字塔在空間上表示圖像是一種簡單方便的方法。概括地說金字塔圖像融合法就是將參加融合的每幅源圖像作金字塔表示,將所有圖像的金字塔表示在各相應層上以一定的融合規(guī)則融合,可得到合成的金字塔。將合成的金字塔,用金字塔生成的逆過程重構圖像,則可得到融合圖像。金字塔可分為:Laplacian金字塔、Gaussian金字塔、梯度金字塔、數(shù)學形態(tài)金字塔等。

3.1.6 小波變換圖像融合法

3.1.6.1 圖像的快速小波分解

Mallat提出了小波的快速分解與重構算法,他利用兩個一維濾波器實現(xiàn)對二維圖像的快速小波分解,利用兩個一維重構濾波器實現(xiàn)圖像的重構。

3.1.6.2 基于小波分解的圖像融合

若對二維圖像進行N層的小波分解,最終將有(3N+1)個不同頻帶,其中包含3N個高頻帶和一個低頻帶。對圖像分解層數(shù)N的確定和對具體問題母小波的確定還有一些有待研究的問題?；谛〔蚣?、小波包的圖像融合方法在一些情況下融合效果較好。

基于小波分解的圖像融合基本步驟如下:①對每一源圖像分別進行小波分解,建立圖像的小波金字塔分解;②對各分解層分別進行融合處理,各分解層的不同頻率分量采用不同的融合算子進行融合處理,最終得到融合后的小波金字塔;③對融合后小波金字塔進行小波逆變換,得到重構圖像。

小波變換的目的是將原始圖像分別分解到一系列頻率通道中,利用分解后的金字塔結構,對不同分解層、不同頻帶分別進行融合處理,可有效地將來自不同圖像的細節(jié)融合在一起。人的視網(wǎng)膜圖像是在不同頻帶上分別以不同算子進行融合的?；谛〔ǚ纸獾膱D像融合也是在不同的頻率通道上進行融合處理的,因而可獲得與人的視覺特性更為接近的融合效果。

3.1.7 多尺度卡爾曼濾波

以卡爾曼濾波的形式在空間上將圖像分層表示,引入帶有噪聲的量測模型,以統(tǒng)計圖像的方式對圖像進行處理,在各不同層次上對圖像融合。

3.1.8 基于微分幾何的圖像融合

對多譜圖像進行融合,可借助微分幾何作為工具,計算一階多譜對比度,求出最優(yōu)灰度值。將圖像的多波段構成幾何流形,將多波段對比度構成的多維向量投影到圖像的灰度區(qū)間上,這種方法計算的對比度值比梯度法和零交叉法,能更充分地利用多譜信息,對噪聲抑制效果好。

3.2 特征級數(shù)據(jù)融合

3.2.1 聯(lián)合統(tǒng)計

當來自多傳感器的信息被用于分類和決策時,需要某種類型的判別尺度,需要對感知的環(huán)境與已知特征比較。聯(lián)合統(tǒng)計量可用于快速而有效地分類未知樣本的概率密度函數(shù)。

3.2.2 帶約束的高斯-馬爾可夫估計

協(xié)方差矩陣用來存儲與約束有關的信息,并可作為基本幾何推理的數(shù)據(jù)庫。

3.2.3 廣義卡爾曼濾波

利用廣義卡爾曼濾波能有效地使圖像對準,使它們可在特征層融合,并可在出現(xiàn)環(huán)境噪聲和傳感器噪聲時減少有關環(huán)境中物體位置的不確定性。

3.2.4 神經(jīng)網(wǎng)絡圖像融合

人工神經(jīng)網(wǎng)絡的特點是:利用其固有的并行結構和并行處理;知識的分布存儲;容錯性;自適應性等。網(wǎng)絡的知識表示與它的知識獲取過程將同時完成,因而執(zhí)行速度可以加快。在推理過程中,根據(jù)需要還可以通過學習對網(wǎng)絡參數(shù)進行訓練和自適應調整,因此,它是一種有自適應能力的推理方式;另外,現(xiàn)實世界中圖像噪聲總是不可避免地存在,甚至有時信息會有缺失,在這種情況下,神經(jīng)網(wǎng)絡融合方法也能以合理的方式進行推理。在進行圖像融合時,神經(jīng)網(wǎng)絡經(jīng)過訓練后把每一幅圖像的像素點分割成幾類,使每幅圖像的像素都有一個隸屬度函數(shù)矢量組,提取特征,將特征表示作為輸入?yún)⒓尤诤?。目前絕大多數(shù)的神經(jīng)網(wǎng)絡是用數(shù)字化仿真來實現(xiàn)的,使用軟件和數(shù)字信號處理芯片來模擬并行計算。

3.3 符號級數(shù)據(jù)融合

3.3.1 貝葉斯估計

貝葉斯估計為多傳感器融合提供了按概率理論規(guī)則組合傳感器信息的方法。貝葉斯估計是以貝葉斯法則為基礎的技術。

3.3.2 登普斯特-謝副(D-S)證據(jù)推理

證據(jù)理論可處理由不知道所引起的不確定性。它采用信任函數(shù)而不是概率作為度量,通過對一些事件的概率加以約束以建立信任函數(shù)而不必說明精確的難以獲得的概率,當約束限制為嚴格的概率時,它就變成為概率論。在證據(jù)相關時,可考慮用D-S理論推廣方法。

3.3.3 帶置信度因子的生成規(guī)則

多傳感器融合的生成規(guī)則可表達為:在前提X條件下,給出結論Y的邏輯含義。用生成規(guī)則通過確定性因子與每個命題和規(guī)則相聯(lián)系,來表示系統(tǒng)中的不確定性。

3.3.4 模糊邏輯

模糊邏輯是一類多值邏輯,通過對每個命題以及運算符分配從0.0到1.0的實數(shù)值直接表示推理過程中多傳感器融合的不確定性。建立融合過程不確定性模型,進行一致性推理。模糊邏輯方法的主要優(yōu)點在于能將直觀經(jīng)驗和知識中的模糊概念給以定量的描述,處理方法也不是常規(guī)方法中的是與否的2值回答,而是對某個特征屬性隸屬程度給出的描述與實際問題看法相類似。作為專家系統(tǒng)思想方法之一的模糊理論被應用到眾多信息融合系統(tǒng)的設計中。但這一理論的和諧性和數(shù)學的嚴密性迄今尚未得到完全解決。

3.3.5 關系事件代數(shù)方法

是一種有應用前景的方法。關系事件代數(shù)是條件事件代數(shù)的發(fā)展,是對不確定性的一種描述。關系事件代數(shù)方法是借助隨機集理論,以知識分析的方式進行數(shù)據(jù)融合。

4 結束語

數(shù)據(jù)融合技術涉及到復雜的融合算法、實時圖像數(shù)據(jù)庫技術和高速、大吞吐量數(shù)據(jù)處理等軟硬件支撐技術。如果神經(jīng)網(wǎng)絡計算機成為可能,神經(jīng)網(wǎng)絡的圖像融合方法也可能成為一種最有前途的圖像融合的方法。目前主要應結合實際應用背景,充分利用相關電子技術成果,利用高速數(shù)字信號處理(DSP)算法來實現(xiàn)圖像融合。在計算方法上,人們試圖在盡量不丟失信息的情況下,提高計算效率,降低計算代價。一類算法是在滿足一定要求的情況下,對圖像壓縮,以滿足傳輸?shù)纫?。目?我國的數(shù)據(jù)融合技術處在起步階段,已研制出一些具有初步融合功能的多傳感器數(shù)據(jù)融合系統(tǒng),但與發(fā)達國家相比,還有很大的差距。

參考文獻

[1]何友,王國宏,陸大金,彭應寧.多傳感器信息融合及應用.北京:電子工業(yè)出版社,2000.

[2]Waltz E,Buede D M.Data Fusion and Decision Support for Command and Control[J].IEEE Trans.On SMC,1986,16(6):865-879.

[3]信息產(chǎn)業(yè)部電子第28所科技信息部.多傳感器多目標跟蹤與數(shù)據(jù)融合技術,1999.

作者簡介:楊丹,女,助教,主要研究方向:計算機應用;

董楊琴,女,副教授,主要研究方向:計算機應用(‘青藍工程資助,sponsored by Qing Lan Project)