李 航 林 毅 孫爾蔓

（中國人民解放軍91776部隊 北京 100841）

1 引言

無人機獲取的情報多為圖像信息。無人機偵察圖像系統(tǒng)是將CCD 攝像機、合成孔徑雷達等傳感器安裝在飛行器上，提取地面?zhèn)刹炷繕说挠跋?，通過無線電波傳送到地面測控站，在目標監(jiān)視器上實時顯示出偵察圖像。目前，無人機偵察圖像根據(jù)圖像傳感器的不同有CCD 攝像機拍攝的彩色多光譜圖像、航空相機拍攝的黑白全色圖像、可見光圖像、紅外圖像以及合成孔徑雷達SAR圖像等。這些圖像各有自己的成像原理和特征，多光譜圖像是光譜信息豐富而空間分辨率不高，全色圖像具有較高的空間分辨率但匱乏光譜信息；可見光和紅外則是利用了對不同波長的選擇性不同的成像原理，此外，熱紅外傳感器是利用地物輻射的熱紅外線進行掃描成像，能夠反映地物的溫度差別；SAR 圖像信息取決于物體的幾何特性和介電特性，導(dǎo)致相同的物體可能出現(xiàn)不同的表現(xiàn)形式，這與光學(xué)圖像具有明暗變化的特性也有所不同。因此這些不同圖像存在著一定互補性，如何得到一幅具有相對完整信息的偵察圖像，使得指揮員能夠獲得更為完整和準確的戰(zhàn)場態(tài)勢，這使得無人機多源偵察圖像融合［1～3］具有很強必要性。

針對無人機多源偵察圖像融合急需的解決方法［4～5］和質(zhì)量評價問題，本文分析和研究圖像融合的分類、目的、原則，以及圖像融合處理流程、方法，重點研究基于小波變換的圖像融合方法，給出無人機偵察圖像融合質(zhì)量綜合評價方法。

2 無人機多源偵察圖像融合概述

2.1 融合分類

無人機偵察圖像融合根據(jù)融合信息的不同可以分為

1）多個無人機平臺間光譜與分辨率信息融合，如CCD 彩色攝像機拍攝的彩色多光譜圖像和航空相機拍攝的黑白全色高分辨率圖像。

2）多個無人機平臺間光譜信息融合，如合成孔徑雷達的SAR 圖像、紅外圖像與可見光圖像之間。簡稱為譜融合。

3）多個無人機平臺間分辨率信息融合，由航空相機連續(xù)拍攝的具有不同位置分辨率和一定重疊率的圖像之間。

由于受到無人機偵察圖像圖源限制，這里只對第一種信息融合給出融合算法。

2.2 融合目的

無人機偵察圖像融合是一種綜合多個源圖像信息的先進圖像處理技術(shù)，其目的是集成多個源圖像中的冗余信息和互補信息，以強化圖像中的信息、增加圖像理解的可靠性，更加有利于對區(qū)域目標進一步分析、檢測、識別和跟蹤?？偟目磥?，將無人機偵察圖像融合主要目的在于:

1）提高空間分辨率

圖像融合可以提高圖像空間分辨率，如將美國地球資源衛(wèi)星Landsat-ETM6波段（熱紅外）與ETM的其他波段融合可以提高ETM6 波段的空間分辨率。這意味著更多的圖像細節(jié)可以顯示。

2）特征增強

將微波與光學(xué)兩種物理性質(zhì)不同的傳感器數(shù)據(jù)融合，許多原來不可見的特征得以凸現(xiàn)，不清楚的特征得以增強；將同一類型的傳感器數(shù)據(jù)進行融合，則特征增強的效果更明顯。

3）提高分類識別的精度

單一圖像往往會受環(huán)境及成像范圍限制，不能完全反應(yīng)場景信息。多源圖像的融合可以顯著提高圖像分類識別的精度，如微波圖像和光學(xué)圖像可以提供互補信息幫助識別一些地物。

4）實現(xiàn)優(yōu)勢信息互補

任何傳感器都有自己的不足。光譜傳感器由于云的遮擋而不能獲取相應(yīng)地面的信息，甚至地形會影響雷達數(shù)據(jù)，造成圖像解譯的不準確，因此，將不同類型的傳感器數(shù)據(jù)融合可以彌補各自信息的不足，實現(xiàn)優(yōu)勢信息的互補。

2.3 融合原則

雖然圖像融合的優(yōu)點顯而易見，但是并不是任意N 幅圖像都可以互相融合。多源圖像融合的主要原則是冗余性、互補性、時限性和低成本。數(shù)據(jù)的冗余性保證了個別傳感器不能正常工作時，系統(tǒng)仍然能夠得到準確的信息；互補性是融合存在的基礎(chǔ)，如果不存在互補，則圖像不存在融合的必要；融合的時限性指的是多傳感器并行的工作方式；低成本指的是融合與非融合之間的經(jīng)濟效益比。

以無人機獲得的多光譜圖像和全色光學(xué)圖像為例，多光譜圖像的光譜分辨率較高，但空間分辨率比較低，即空間細節(jié)表現(xiàn)能力比較差；全色光學(xué)圖像具有較高空間分辨率，但光譜分辨率比較低。兩幅圖像具有互補特性，因此，將具有低空間分辨率的多光譜圖像和具有較高空間分辨率的全色光學(xué)圖像進行融合，使融合后多光譜圖像具有較高的空間細節(jié)表現(xiàn)能力，同時保留多光譜圖像的光譜特性。

3 無人機多源偵察圖像融合方法

3.1 圖像融合流程

無人機偵察圖像融合是對不同傳感器獲取的圖像數(shù)據(jù)進行融合，流程圖如圖1所示。

圖1 無人機偵察圖像融合流程圖

在上圖中，預(yù)處理主要是對輸入圖像進行幾何校正、去除噪聲及圖像的空間匹配或稱圖像配準；圖像融合主要是指采取什么樣的融合規(guī)則；應(yīng)用層是對融合結(jié)果圖像進行綜合評價及應(yīng)用。

3.2 圖像配準

無人機偵察圖像配準［6］是指兩個不同傳感器從同一景物所獲取的兩幅圖像在空間上進行對準，從而確定出這兩幅圖像之間相對位移的過程。由于不同傳感器或同一傳感器在不同時間獲得的圖像往往會存在一些差異，如圖像間存在相對平移、旋轉(zhuǎn)、縮放甚至產(chǎn)生畸變，這對圖像融合處理是非常不利的，會使圖像融合結(jié)果包含較多的錯誤信息或產(chǎn)生較大的形變，消除這種差異的過程稱為圖像配準。在實際工作中，取一幅圖像作為配準的標準，稱它為參考圖；另一幅圖像稱為配準圖。當(dāng)兩幅圖像沒有配準時，圖像處理算法將失去分析和計算的基礎(chǔ)；如果配準精度較高，就可以為圖像的后續(xù)處理提供較好的技術(shù)支持和保障。因此，圖像配準十分重要。

圖像配準是產(chǎn)生一個空間校準的圖像集合或者匹配某一目標圖像的過程，是對數(shù)字圖像進行幾何調(diào)整的一種特殊形式，對兩幅圖像進行配準的基本條件是兩幅圖像中有一部分反映了同一目標景象。

這里定義兩幅圖像具有偏移關(guān)系（包括平移、旋轉(zhuǎn)、縮放）的圖像分別為參考圖像和配準圖像，并用二維數(shù)組I1(x，y)和I2(x，y)表示圖像相應(yīng)位置處的灰度值，則兩幅圖像在數(shù)學(xué)上有如下變換關(guān)系:

在圖像融合中，這里把進行配準對象的圖像又稱為直方圖。是因為直方圖表示數(shù)字圖像中每一灰度級與其出現(xiàn)頻數(shù)（該灰度像素的數(shù)目）間的統(tǒng)計關(guān)系。用橫坐標表示灰度級，縱坐標表示頻數(shù)。按照直方圖的定義可表示為

其中，N 為一幅圖像的總像素，nk為第k 灰度級rk的像素數(shù)。rk是第k 個灰度級，是該灰度級出現(xiàn)的相對頻數(shù)。

一幅圖像中，該變量r 代表要增強圖像中像素的灰度級，假定r 已經(jīng)歸一化，即0 ≤r ≤1，r=0 代表黑，r=1 代表白。每一像素的灰度級r 可看作[0，1]區(qū)間上的隨機變量。設(shè)新圖像的灰度級為s，假定r 為連續(xù)變量，則可對[0，1]區(qū)間內(nèi)的任意灰度級r 進行如下變換:

假定T(*)滿足下面兩個條件:

1) 0 ≤r ≤1，T(r)單調(diào)增加；

2) 0 ≤r ≤1，0 ≤T(r)≤1。保證變換后像素灰度仍然在允許的范圍內(nèi)。從s 到r 的逆變換可表示為

由概率論的知識，如果隨機變量r 的概率密度為pr( r )，則隨機變量s 的概率密度Ps( s )可由求出。首先，可求出隨機變量s 分布函數(shù):

顯然，輸入和輸出概率分布都必須被加到整數(shù)1。對于任何輸入下標，累積分布都必須相等。有概率知識可得:

通過改變T(r)就可控制Ps( s )的形狀。由于Pr( r )與Ps( s )刻畫了圖像的灰度級相對分布，因而選擇適當(dāng)?shù)腡(*)就可以改變圖像的外貌。

由此可見，直方圖匹配是指將一幅圖像的直方圖變成規(guī)定形狀的直方圖而對圖像做的變換方法。規(guī)定的直方圖是一幅參考圖像的直方圖，通過變換，使兩幅圖像的亮度變化規(guī)律盡可能地接近。直方圖匹配原理對兩幅圖像的直方圖都作均衡化，變成相同的均一化的均勻直方圖。

此均勻直方圖起到媒介的作用，再對參考圖像作均衡化的逆運算即可。空間匹配一般可分為以下幾個步驟:

1）特征選擇:在欲配準的兩幅圖像上，選擇如邊界、線狀物交叉點、區(qū)域輪廓等明顯的特征。

2）特征匹配:采用一定的配準算法，找出兩幅圖像上對應(yīng)的明顯地物點，作為控制點。

3）空間交換:根據(jù)控制點，建立圖像間的映射關(guān)系。

4）插值:根據(jù)映射關(guān)系，對非參考圖像進行重采樣，獲得同參考圖象匹配的圖像，空間匹配的精度一般要求在1個～2個像素內(nèi)。

以上是一般圖像配準步驟，實現(xiàn)配準也可以采用專門工具軟件，這樣既可以一步到位，而且效果較好，也減少了圖像融合的工作量和復(fù)雜度。如使用美國ERDAS 公司開發(fā)的遙感圖像處理軟件ERDAS IMAGINES 8.7。該軟件由一組實用圖像處理工具構(gòu)成，包括生成單值圖、圖像分幅裁剪、幾何校正、圖像拼接以及圖像投影變換等，主要是根據(jù)工作領(lǐng)域地理特征和專題信息提取的客觀需要，對數(shù)據(jù)輸入模塊中獲得的.img 圖像文件進行范圍調(diào)整、誤差校正、坐標轉(zhuǎn)換等處理，以便進一步開展圖像解譯、專題分類等分析研究。

3.3 圖像融合處理

1）無人機偵察圖像融合處理層次

根據(jù)融合目的和融合層次智能地選擇合適的融合算法，將空間匹配的圖像數(shù)據(jù)進行有機的合成，得到目標的更準確表示或估計。偵察圖像信息的形式從層次上可分為像素級、特征級、決策級三個層次。因此，偵察圖像融合技術(shù)也相應(yīng)的在像素級、特征級和決策級三個層次上進行。

（1）像素級圖像融合

像素級圖像融合是直接在原始數(shù)據(jù)層上進行的融合，這是最低層次的融合。這種融合的主要優(yōu)點是能保持盡可能多的現(xiàn)場數(shù)據(jù)，提供其它融合層次所不能提供的更豐富、精確、可靠的信息。在進行像素級圖像融合之前，必須對參加融合的各圖像進行精確的配準，其配準精度一般應(yīng)達到像素級。像素級圖像融合通常用于多源圖像復(fù)合、圖像分析和理解，是實際中應(yīng)用最廣泛的圖像融合方法，也是特征級圖像融合和決策級圖像融合的基礎(chǔ)。

（2）特征級圖像融合

特征級融合屬于中間層次，它先對來自各傳感器的原始信息進行特征提?。ㄌ卣骺梢允悄繕说倪吘墶⒎较?、速度等），然后對特征信息進行綜合分析和處理。若傳感器獲得的數(shù)據(jù)是圖像數(shù)據(jù)，則特征就是從圖像像素信息中抽象提取出來的，典型的特征信息有線型、邊緣、紋理、光譜、相似亮度區(qū)域、相似景深區(qū)等，然后實現(xiàn)多傳感器圖像特征融合及分類。特征級融合的優(yōu)點在于實現(xiàn)了可觀的信息壓縮，有利于實時處理，融合結(jié)果能最大限度地給出決策分析所需要的特征信息。特征級融合通常用于模式識別、圖像處理和計算機視覺等領(lǐng)域。

（3）決策級圖像融合

決策級融合是一種高層次融合，其結(jié)果為指揮控制決策提供依據(jù)。在這一層次的融合過程中，先將每一圖像信息進行初步判決和分類，然后對來自各傳感器的決策進行相關(guān)處理，最后進行決策級的融合處理，從而獲得最終的聯(lián)合判決的融合過程。多種邏輯推理方法、統(tǒng)計方法、信息論方法等都可用于決策級融合，如貝葉斯推理、D-S證據(jù)推理、聚類分析、神經(jīng)網(wǎng)絡(luò)等。決策級融合具有良好的實時性和容錯性，但其預(yù)處理代價高。

2）傳統(tǒng)的像素級圖像融合算法

傳統(tǒng)融合方法有加權(quán)融合法、HPF（高通濾波）法、PCA（主分量分析）法、Brovey 變換法、IHS 變換融合法、金字塔融合法、基于區(qū)域特征融合法等。上述圖像融合方法主要缺點是融合后圖像光譜失真嚴重，因此為了改善傳統(tǒng)方法不足，又提出了基于小波變換的圖像融合法。

3）基于小波變換的無人機偵察圖像融合算法

鑒于傳統(tǒng)像素級圖像融合方法的光譜信息失真和僅僅基于小波變換融合法［7～9］的忽略高空間分辨率圖像低頻分量的缺點，結(jié)合兩幅源圖像自身的特點，應(yīng)用加權(quán)圖像融合方法和區(qū)域特征小波變換融合方法，這里提出一種基于小波變換和區(qū)域特征加權(quán)相結(jié)合的自適應(yīng)無人機偵察圖像的融合算法。

對無人機偵察圖像而言，小波變換是將圖像分解成頻域上各個頻率段的子圖，以代表源圖的各個特征分量。這對后續(xù)的融合處理極為重要，使得融合處理可以根據(jù)不同的特征分量采用不同的融合方法以達到最佳融合效果。圖像的融合策略是圖像融合的核心，方法與規(guī)則的優(yōu)劣直接影響融合的速度與質(zhì)量。融合規(guī)則在處理中扮演了一個重要角色。當(dāng)在建立融合圖像的每個小波系數(shù)時，必須確定哪幅源圖的小波系數(shù)對融合有利，這個信息將保留在融合決策圖中。融合決策圖的大小和原圖大小一致，融合決策圖的每個值是源圖的索引，可能為相應(yīng)的小波系數(shù)提供較多信息，這樣就可以確定融合圖像的每個小波系數(shù)。

現(xiàn)有圖像融合方法大多基于對源圖像的多尺度分解，對分解后的各部分分別進行融合操作，然后經(jīng)過逆變換得到融合圖像。人的視覺系統(tǒng)對視網(wǎng)膜上的圖像也是按不同的頻段進行處理的，所以基于多尺度分解的融合結(jié)果更加適合于人的視覺特性。較早的多尺度分解算法有拉普拉斯金字塔分解、對比度金字塔分解等。而基于小波變換的圖像融合合算法則是圖像的多尺度分解融合算法最為經(jīng)典的一種。相對于金字塔分解，小波變換具有小波表達式可提供方向信息、不同分辨率包含的信息唯一以及重構(gòu)過程穩(wěn)定等優(yōu)良特性。

（1）基于小波變換的圖像融合方法

對參加融合的各源圖像分別進行圖像的小波分解，形成其多尺度分解圖像；然后在各小波分解圖像的相應(yīng)分解層上，根據(jù)選取的融合規(guī)則分別進行處理，形成融合后的小波多尺度圖像；最后，進行小波反變換重構(gòu)融合后的圖像。

（2）基于小波變換的圖像融合過程

這里以兩幅圖像:多光譜低分辨率圖像A（TM）和全色高分辨率圖像B（SPOT）兩個二維圖像為例，基于小波多尺度分解變換的圖像融合方法如圖2 所示，對于多幅圖像的融合方法可以依此類推。其中，對于一幅圖像，其二維小波分解其實就是對圖像的行、列分別進行一維小波分解。分解后可形成低頻分量、垂直方向高頻分量、水平方向高頻分量和對角線方向高頻分量四部分，它們的大小均為源圖像大小的四分之一。多層小波分解即對低頻子圖像重復(fù)分解，圖像經(jīng)小波分解后其頻率特性得到了有效分離，低頻部分反映的是圖像的整體視覺信息，各高頻成份反映的是圖像的細節(jié)特征。

圖2 基于小波變換的圖像融合過程

其中，F(xiàn)為融合后的圖像，WT指小波變換，IWT為小波逆變換，其融合的基本步驟簡單描述如下:

①以SPOT圖像為參考對象進行幾何配準；

②對每幅原圖像分別進行小波變換，建立各圖像的小波塔形分解，獲得各自高頻、低頻系數(shù)；

③按照一定的融合規(guī)則對各分解層的系數(shù)分別進行融合，最終得到融合后的小波金字塔；

④對經(jīng)過融合規(guī)則處理后所得到的各波段的小波金字塔進行小波逆變換（IWT），再合成所得的圖像即為融合圖像。

由此可見，小波變換的目的是將原始圖像分別分解到一系列頻率通道中，利用其分解后的塔形結(jié)構(gòu)，對不同分解層、不同頻帶分別進行融合處理，可有效地將原來不同圖像的特征與細節(jié)融合在一起。

4 無人機多源偵察圖像融合質(zhì)量評價

4.1 質(zhì)量綜合評價方法

融合圖像質(zhì)量評價［10～12］是評價無人機偵察圖像融合算法性能的關(guān)鍵。當(dāng)前，圖像融合效果的評價方法主要可以分為兩類，即主觀評價方法和客觀評價方法。

在多源圖像融合中，通過主觀評價可以快捷地判斷融合圖像是否存在重影、邊緣信息是否有損失、紋理和色彩是否豐富等。在實際應(yīng)用中主觀評價方法具有簡單直觀的特點，然而在人為評價融合質(zhì)量的過程中，會受所處環(huán)境、心理、關(guān)注點的不同等多種主觀因素影響評價效果。人工主觀評價更多的是為了說明圖像融合工作的意義，即圖像融臺對于實際工程是有意義的，是圖像融合工作正確性的一個輔助性驗證，而非融合本身的質(zhì)量比較。圖像融合有助于提高人對圖像中目標的檢測、識別和感知能力。同樣，應(yīng)用融合方法比不使用融合能夠更好地提高觀察者識別性能?？陀^評價指標反映了融合圖像本身的絕對質(zhì)量，往往無法反映人的視覺特性，造成評價結(jié)果與主觀視覺不一致。

圖3 無人機多源偵察圖像融合質(zhì)量綜合評價方法

目前國際上有較為公認的定義:圖像融合評估的結(jié)果應(yīng)該與人的主觀判定相一致。該思路主要是借鑒圖像質(zhì)量專家工作組（Video Quality Expert Group，VQEG）對于圖像質(zhì)量的評估思路:通過運用統(tǒng)計指標比較客觀評估結(jié)果和主觀評估結(jié)果的一致性來實現(xiàn)對圖像融合評估函數(shù)的性能測定。由于VQEG 思想具有較大的公正性，本文吸取該思想，將其用于無人機偵察圖像融合評估環(huán)節(jié)，采用的融合質(zhì)量綜合評價方法如圖3 所示，客觀算法評價和主觀感官評價相結(jié)合進行綜合評價，即對融合圖像質(zhì)量在主觀目視評價基礎(chǔ)上，進行客觀算法評價。

4.2 客觀評價指標

客觀評價指標包括基于無人機融合圖像自身特性的評價指標（如信息熵、標準差、平均梯度等）、基于無人機融合圖像與標準參考圖像間關(guān)系的評價指標（如信噪比、交叉熵等），以及基于無人機融合圖像與源圖像間關(guān)系的評價指標（如聯(lián)合熵、偏差指數(shù)等）?？陀^評價指標中信息熵代表圖像所含信息量:平均梯度、標準差代表圖像清晰度。

1）信息熵

設(shè)一幅圖像的像素灰度分布為P={P(0),P(1),...,P(L-1)}，其中L 為圖像總的灰度級數(shù)，P(i)為灰度值為i 的像素數(shù)與圖像的總像素數(shù)之比，i ∈[0,L-1]且有成立。則圖像信息熵定義為

信息熵從整體上表示了信息源的總體特性，值越大圖像中包含的信息量就越大，信息越豐富，融合效果會越好。

2）灰度標準差

圖像的灰度標準差定義為

其中L 為圖像總的灰度級數(shù)，P(i)為灰度值為i 的像素數(shù)與圖像的總像素數(shù)之比。

灰度標準差反映灰度相對平均灰度的離散情況，值越大圖像中灰度分布越散，體現(xiàn)在視覺效果也越佳。

3）聯(lián)合峰值信噪比

融合圖像的聯(lián)合峰值信噪比定義為

其中:fA(x,y),fB(x,y),fF(x,y)分別表示融合前、后圖像在中心點(x,y)處的像素值，M,N 分別表示圖像行向和列向分辨率。聯(lián)合峰值信噪比用來反映融合圖像從源圖像所獲取的信息量，值越大表示融合后圖像從原始圖像提取的信息量越多。

5 實驗結(jié)果與分析

5.1 實驗結(jié)果

以一副512mm×512mm×3 多光譜低分辨率圖像和一副512mm×512mm×3 全色高分辨率圖像為源圖像，分別采用加權(quán)平均法、絕對值最大法、基于小波變換的無人機多源偵察圖像融合算法進行圖像融合實驗，并對融合圖像性能運用信息熵、灰度標準差和聯(lián)合峰值信噪比進行評價，其定性計算結(jié)果如表1所示。

表1 無人機多源偵察圖像融合算法的比較

5.2 結(jié)果分析

由表1 可以看出，基于小波變換的無人機偵察圖像融合算法的信息熵和聯(lián)合峰值信噪比較其他方法要高，攜帶信息量也較多；灰度標準差也高，融合圖像的視覺效果也較好，它充分利用了多光譜低分辨率圖像和全色高分辨率圖像的互補信息特征，同時提高了圖像質(zhì)量，該方法是一種較好的圖像融合方法。

6 結(jié)語

針對無人機多源偵察圖像融合急需的解決方法和質(zhì)量評價問題，本文重點研究了基于小波變換的無人機偵察圖像融合算法，并給出了一種無人機偵察圖像融合質(zhì)量綜合評價方法。通過仿真實驗，運用客觀評價指標（包括信息熵、灰度標準差、聯(lián)合峰值信噪比等）驗證了該質(zhì)量綜合評價方法是可行的；同時對試驗結(jié)果進行分析，得出基于小波變換的無人機偵察圖像融合算法優(yōu)于傳統(tǒng)融合方法，是一種可應(yīng)用于實際的無人機多源偵察圖像融合方法。