謝松云, 劉祥惠, 吳曉亮, 高川林, 沈冬睿

(西北工業(yè)大學 電子信息學院, 陜西 西安 710072)

目標的完整性評估指目標發(fā)生變化后，獲取相關(guān)多源信息如圖像、視頻、軌跡和雷達等數(shù)據(jù)，根據(jù)其結(jié)構(gòu)和特點，通過多種技術(shù)方法給出目標當前完整程度的判定。在如自然災害的檢測評估、土地利用以及軍事等多個領(lǐng)域具有重要應用[1-2]。尤其在國防領(lǐng)域的應用中，準確及時地對目標進行完整性評估是戰(zhàn)場協(xié)調(diào)控制和正確決策的重要基礎(chǔ)和依據(jù)，能有效提高戰(zhàn)場資源的利用效率。本文即依托空中飛行物這一目標對其進行實時的完整性評估。

自20世紀90年代起，國內(nèi)外學者對目標完整性判斷的方法進行了大量研究，如貝葉斯網(wǎng)絡(luò)法、模糊綜合評估法、深度學習法等[3]。其中，由于圖像信息來源較多且相對容易獲取，基于圖像變化檢測來判斷目標完整性是較為常用的方法。如Hajeb等[4]基于地震事件前后SAR圖像的紋理特征對震后城市損害進行了評估。Zhai等[5]基于卷積神經(jīng)網(wǎng)絡(luò)，選取谷歌街景圖像，對颶風災后建筑物的損壞程度進行了檢測。然而對于現(xiàn)實環(huán)境下的空中飛行目標，即使完整性未發(fā)生變化，其周圍可能也會存在干擾評估的火焰或者煙霧，產(chǎn)生的原因一般是并未接觸目標，或者是被目標釋放的誘餌提前引燃。這些干擾信息也會呈現(xiàn)在采集到的圖像數(shù)據(jù)中，從而影響目標完整性評估的準確率。

近些年，基于非圖像信息源的目標完整性評估研究也取得了較多進展。Gu等[6]分析了戰(zhàn)術(shù)彈道導彈的系統(tǒng)特性和功能特性，構(gòu)建了導彈的易損性模型進行完整性評估。Zhai等[7]對導彈打擊下島礁目標區(qū)域的完整性建立了評估模型，結(jié)合灰色關(guān)聯(lián)度法和層次分析法解決了不同島礁設(shè)施重要性的量化。但該類方法建立評估模型時要考慮的因素眾多，過程十分復雜。

針對上述基于單一數(shù)據(jù)源對目標進行完整性評估不夠準確、實現(xiàn)過程復雜等問題，提出了一種結(jié)合圖像和航跡信息的目標完整性綜合評估方法：首先利用目標變化前后的圖像紋理、角點、方向梯度直方圖(histogram of oriented gradient,HOG)等特征，通過K-近鄰(K-nearest neighbors,KNN)、支持向量機(support vector machine,SVM)分類器轉(zhuǎn)化為圖像分類問題，之后結(jié)合航跡信息的分類結(jié)果綜合判斷，得出最終的完整性評估結(jié)果。該方法易于實現(xiàn)，且能夠滿足準確率和實時性的雙重要求。

1 完整性評估方法概述

隨著獲取信息能力越來越強，可獲得數(shù)據(jù)種類的增多，基于單一數(shù)據(jù)源的目標完整性評估方法已經(jīng)不能滿足人們的需求。利用不同信息源傳遞的數(shù)據(jù)，按照一定的規(guī)則進行融合，能做出更完備、更高效、更準確合理的判斷。本研究即采用可見光圖像和航跡信息2種不同源的數(shù)據(jù)進行融合評估，可避免單一數(shù)據(jù)源的某種限制造成評估結(jié)果的偏差。方法的整體框圖如圖1所示，基于可見光圖像和航跡信息分別給出評估結(jié)果，在決策層根據(jù)各自的評估性能確定權(quán)重進行加權(quán)融合，得出最終的融合評估結(jié)果。

在分別基于可見光圖像和航跡信息進行評估時，提出了一種新的基于分類的評估方法。經(jīng)典的評估方法多為提取目標變化前后特定信息的變化率，由評估模型得到目標的完整性系數(shù)，根據(jù)不同的評估標準將系數(shù)對應到不同的完整性等級，該類方法的難點在于完整性系數(shù)與評估標準的對應往往需要一定的專家經(jīng)驗，而利用目標變化前后的評估特征，通過分類器轉(zhuǎn)化為目標數(shù)據(jù)分類問題則可以避免這一困難。該方法首先將目標的完整性分為3個類別，分別為完整目標(類別0)、部分完整目標(類別1)、不完整目標(類別2)，記變化前目標的完整性均為類別0，則當前目標的分類類別等同于任務前后類別的變化量，也即任務后目標的完整性等級。

當空中目標受到打擊發(fā)生變化時，在可見光圖像上一般會表現(xiàn)為燃燒或者爆炸的現(xiàn)象，且飛行目標往往有著比較規(guī)則的邊緣，目標一旦命中，規(guī)則的邊緣就會受到大幅度破壞。圖像的紋理特征、角點個數(shù)和HOG特征都會隨著目標狀態(tài)的不同發(fā)生較明顯變化，可將其作為圖像分類的特征。

正常情況下空中目標在三維空間中的飛行軌跡是一條平滑且連續(xù)的曲線，一旦目標變化，飛行軌跡會發(fā)生突變甚至消失。因此目標在三維空間內(nèi)飛行軌跡的參數(shù)變化也可作為航跡分類的特征。

在分類器的選擇上，K近鄰方法易于實現(xiàn)，對異常值和噪聲有較高的容忍度，支持向量機是一種學習及泛化能力很強的分類器，在非線性和高維識別問題以及小樣本問題中展現(xiàn)了其獨特的優(yōu)勢，正符合本文樣本量較少的需求。

2 基于圖像和航跡信息的完整性評估

2.1 基于圖像分類的目標完整性評估方法

基于圖像分類的目標完整性評估如圖1所示，由圖像預處理、紋理角點特征與KNN分類器、HOG特征與SVM分類器3個部分組成。

2.1.1 圖像預處理

為了提高圖像質(zhì)量，減少圖像背景對評估結(jié)果的影響，縮短后續(xù)特征信息提取時間，首先需對目標圖像進行預處理。

由于待評估對象為?？毡尘跋碌目罩酗w行目標，減少天空背景中的煙霧可有效增強圖像質(zhì)量。本文采用的暗通道去霧方法[8]處理速度快且效果好，是目前諸多去霧算法中比較出色的算法之一。

得到更為清晰的去霧圖像后，為防止非目標的圖像背景變化會對后續(xù)評估產(chǎn)生干擾，在評估特征提取之前對去霧后的可見光圖像進行待評估目標的檢測與裁剪，把后續(xù)特征提取的區(qū)域縮小至空中目標本身，此步驟同時可縮短后續(xù)特征提取所需時間。具體操作分別為高斯去噪、sobel算子計算圖像梯度、二值化確定目標的4個邊界完成對圖像的裁剪,結(jié)果如圖2所示。

圖2 圖像預處理效果圖

2.1.2 基于紋理角點特征和KNN的完整性評估

考慮到目標完整性評估穩(wěn)定和快速的需求，研究選取的紋理特征為圖像均值、標準差、平均梯度、信息熵，計算方式如下，其中,w為圖像的寬，h為圖像的高，Pxy為像素點(x,y)的像素灰度值，pn為灰度值為n的像素點在所有像素中所占比例。

圖像均值：圖像里全部像素的灰度平均值

(1)

圖像標準差：像素灰度值和均值之間的離散程度

(2)

圖像平均梯度：反映了圖像的紋理變化及圖像的清晰度

(3)

圖像信息熵：代表了圖像數(shù)據(jù)的信息豐富度

(4)

在紋理特征發(fā)生變化的同時，目標圖像中的角點數(shù)目也存在較大變化。研究采用的角點檢測方法為 Shi-Tomasi 角點檢測算法，如圖2g)所示：完整目標的角點個數(shù)為6，部分完整目標角點個數(shù)為10，不完整目標的角點個數(shù)為15。通過變化前后目標圖像的角點個數(shù)統(tǒng)計發(fā)現(xiàn)目標的完整性和目標圖像角點個數(shù)變化具有一定的相關(guān)性，不完整程度越大，角點個數(shù)變化越大，記變化量為ΔD。

KNN算法是一種基于回歸和分類問題的算法，有實現(xiàn)簡單、訓練速度快等優(yōu)點。其分類過程如下：選取一個待測樣本，在全部的訓練樣本集中搜索k個待測樣本的最近鄰，然后通過多數(shù)投票的方式在k個最近鄰中確定待測樣本的所屬類別,以此實現(xiàn)待測樣本的分類識別。文中k值取3，距離采用歐氏距離。每個圖像的特征向量即為

Y=(μ,σ,G,H,ΔD)T

(5)

則2個圖像所對應的紋理角點特征向量之間的歐氏距離為：

(6)

為了提高準確率，對紋理角點特征進行歸一化：

(7)

對于某個未知類別的特征實例來說，計算其與訓練集中所有特征實例的歐氏距離，然后取 3 個與其相距最近的特征實例，通過判斷這3個特征實例中的大多數(shù)類別，即可決定該未知實例的類別，也即完整性評估結(jié)果，該部分流程圖如圖3所示。

圖3 基于紋理角點特征和KNN的完整性評估方法流程圖

2.1.3 基于HOG特征和SVM的完整性評估

HOG特征本質(zhì)也是圖像梯度的統(tǒng)計信息，將圖像分解成若干個小的單元，采集單元中各像素點的梯度直方圖，構(gòu)建表征梯度的統(tǒng)計特征向量。圖4為3種情況下目標圖像的HOG特征可視化圖，可以看出也存在較明顯區(qū)別。

圖4 不同情況下的圖像HOG特征可視化圖

SVM是一種基于統(tǒng)計學習理論的學習機，其主要原理為通過使用非線性映射算法將輸入的特征向量從低維空間映射至另一個高維的空間內(nèi)使其線性可分，并且在該高維空間內(nèi)構(gòu)建最優(yōu)的線性分類面。同時，把特征向量映射至高維空間里僅僅是改變了內(nèi)積運算，算法的復雜度并沒有隨著維數(shù)的提高而提高，在圖像識別和分類領(lǐng)域得到了廣泛應用。與HOG特征組合得到的分類結(jié)果同樣可作為當前目標的完整性評估結(jié)果，流程圖如圖5所示。

圖5 基于HOG和SVM的完整性評估方法流程圖

2.2 基于航跡信息的完整性評估方法

本研究通過飛行模擬軟件FlightGear控制飛行器在三維空間內(nèi)飛行的方式來進行目標的航跡模擬仿真。通過模擬進行正常飛行、某一時刻突然墜落、某一時刻突然停止飛行，分別對完全完整(未受到命中)、部分不完整(部分受到命中)、不完整(完全受到命中)等3種情況進行仿真，得出對應的3種空中目標的航跡數(shù)據(jù)。其中包括7個參數(shù)：經(jīng)度、緯度、高度、速度、傾角、俯仰角、航向角，區(qū)別較明顯的參數(shù)為高度、速度、俯仰角。

通過對比目標在變化前后的參數(shù)大小，可以得出目標在變化前后的高度、速度和俯仰角的變化；將變化值作為特征，同樣采用KNN分類器進行三分類。分別記高度、速度、俯仰角為G,S,F，同時下標q,h分別代表變化前(即目標變化點之前的那一點)和變化后(即目標變化點之后的那一點；如果目標完全變化，則為目標變化點本身)。

則目標在變化后的軌跡特征向量V為

V=(|Gh-Gq|,|Sh-Sq|,|Fh-Fq|)T

(8)

把V輸入KNN進行分類，得到目標軌跡測試數(shù)據(jù)在變化后的類別，即當前目標的完整性結(jié)果, 流程圖如圖6所示。

圖6 基于航跡信息和KNN的完整性評估方法流程圖

2.3 融合方法

通過上述方法分別得到圖像類別變化(記為ΔCI(image category))和航跡類別變化(記為ΔCT(track category))的結(jié)果后，對2個類別變化進行加權(quán)平均，得到綜合類別變化 。

ΔC=aΔCI+bΔCT

(9)

在基于圖像數(shù)據(jù)源分類方面，為了對目標的完整性進行更全面評估，記ΔCIK為KNN和紋理角點分類所得到的類別變化，ΔCIS為SVM和HOG分類所得到的類別變化，則有下式：

ΔCI=c1ΔCIK+c2ΔCIS

(10)

將(10)式帶入(9)式可得

ΔC=ac1ΔCIK+ac2ΔCIS+bΔCT

(11)

其中，a,b,c1,c2分別為各分類結(jié)果所占權(quán)重。由于最后的類別變化應該為整數(shù)(0或1或2)，對ΔC進行四舍五入取整，得到最終的綜合類別變化，也即目標完整性評估的最終結(jié)果。

3 方法驗證和結(jié)果分析

首先基于紋理角點特征與KNN圖像分類方法對目標完整性進行評估，數(shù)據(jù)集共選取360張圖像，其中包括完整圖像120張(類別標簽為0)，部分完整圖像120張(類別標簽為1)，不完整圖像120張(類別標簽為2)，訓練集與測試集的比例為2∶1。圖7中藍色代表4維紋理特征向量，橙色為加入角點變化量的5維特征向量。結(jié)果表明選擇紋理角點5維特征的準確率達到了93.33%，高于無角點變化量特征的90.83%, 且無論是否加入角點變化量，歸一化操作都提高了圖像的分類準確率，驗證了歸一化操作的有效性。

圖7 紋理角點+KNN完整性評估準確率對比(是否歸一化)

圖8為將紋理角點、HOG、2種特征拼接分別和KNN、SVM分類器進行組合后的6種分類準確率結(jié)果，從圖中可以看出，紋理角點+KNN組合的準確率93.33%高于紋理角點+SVM組合的91.67%，HOG+SVM組合的準確率90.83%高于HOG+KNN組合的89.16%，但拼接特征與任意分類器組合的準確率都沒有超過紋理角點與KNN的組合,因此基于圖像源的評估方法本文采用的組合即為2.1.2和2.1.3節(jié)所述的方法。

圖8 基于圖像的完整性評估正確率對比

雖然從圖8中可以看出，紋理角點特征相比HOG特征擁有更高的準確率，但2種特征從不同角度反映了圖像的特點，為了對目標的完整性進行更全面的判斷，2種方法均作為基于圖像分類的一部分加入綜合評估。在結(jié)合航跡分類結(jié)果進行綜合評估的過程中，權(quán)重的選擇是一個重要的因素。由于前2種方法的數(shù)據(jù)源均為圖像，只有第3種方法基于航跡信息且準確率并不低于2種圖像源的方法，為了充分發(fā)揮航跡信息的作用故將第3種方法的權(quán)重定為略高于1/3的0.4，前2種圖像源的方法權(quán)重均分為0.3和0.3。由圖9不同權(quán)重下的完整性綜合評估準確率柱狀圖中可以看出，當圖像分類權(quán)重為0.6，且其中紋理角點特征和HOG特征各占比0.5(即紋理角點特征、HOG特征和航跡特征分類結(jié)果的權(quán)重分別為0.3，0.3，0.4)時，處于高準確率區(qū)域的中心位置，相對較穩(wěn)定。

圖9 不同權(quán)重下的完整性綜合評估準確率

基于以上權(quán)重，圖10給出了單數(shù)據(jù)源和綜合評估的準確率對比結(jié)果，實驗證明基于圖像和航跡信息的綜合評估方法準確率高達97.5%,相比僅依賴圖像(無論是紋理角點還是HOG特征)或者航跡信息進行判斷分別高出了4.17%，6.67%，4.17%，證實了結(jié)合圖像和航跡信息綜合評估方法的有效性。

圖10 單數(shù)據(jù)源和綜合完整性評準確率對比

由于目標的完整性評估需要極高的實時性，基于Intel(R) Core(TM) i7-9700F CPU @ 3.00GHz，GTX1660Ti顯卡，16G內(nèi)存的工作環(huán)境，進行了評估方法各環(huán)節(jié)速度的測試，如表1所示。整個完整性評估的用時可保持在毫秒級別，完全滿足實時性的要求。

表1各環(huán)節(jié)單張圖片平均用時

4 結(jié) 論

論文通過對目標可見光圖像和航跡信息仿真及預處理得到可用于分類的數(shù)據(jù)，并對數(shù)據(jù)分別進行評估特征提取及分類，將分類情況對應為目標發(fā)生變化后的完整性結(jié)果，最終通過加權(quán)平均得到基于圖像數(shù)據(jù)和航跡信息的綜合評估結(jié)果。該方法將目標的完整性評估轉(zhuǎn)換為分類問題，采用2種數(shù)據(jù)源成功提高了評估的準確率及速度，最終評估準確率高達97.5%，單張圖片的用時為100 ms左右。在后續(xù)的研究中可繼續(xù)引入更多的數(shù)據(jù)源進行綜合評估，如雷達回波和紅外圖像等，進一步驗證基于多數(shù)據(jù)源進行目標完整性評估的優(yōu)勢。

致謝感謝陜西省腦機一體化及其無人系統(tǒng)應用國際聯(lián)合研究中心提供數(shù)據(jù)和設(shè)備支持。