李少君，劉曉東，2

（1.武漢郵電科學(xué)研究院，湖北武漢 430070；2.武漢虹旭信息技術(shù)有限責(zé)任公司，湖北武漢 430070）

隨著大數(shù)據(jù)時(shí)代的來(lái)臨，數(shù)據(jù)呈指數(shù)趨勢(shì)爆炸式增長(zhǎng)，同時(shí)全球?qū)?shù)據(jù)傳輸?shù)男枨笕找嬖黾?。由于船舶在海上行駛時(shí)，雷達(dá)、AIS 獲取數(shù)據(jù)后，再通過(guò)數(shù)據(jù)融合處理，數(shù)據(jù)質(zhì)量在經(jīng)過(guò)多次處理后雖然有所提升，但是有一些失真，在這種情況下，由船舶后臺(tái)獲取的數(shù)據(jù)中，無(wú)法分辨出目標(biāo)的具體屬性，現(xiàn)有的作法是利用規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類(lèi)，但是這種方法對(duì)數(shù)據(jù)的質(zhì)量和容量有一定要求。同時(shí)，由于數(shù)據(jù)的來(lái)源不同，規(guī)則在一定程度上有局限性，在實(shí)時(shí)數(shù)據(jù)量過(guò)大時(shí)，也無(wú)法滿(mǎn)足結(jié)果的實(shí)時(shí)性，所以，在利用規(guī)則的同時(shí)，對(duì)數(shù)據(jù)進(jìn)行打標(biāo)簽分類(lèi)，再建立并訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，利用訓(xùn)練好的模型對(duì)數(shù)據(jù)進(jìn)行處理，可以在滿(mǎn)足一定實(shí)時(shí)性的同時(shí)，保證數(shù)據(jù)的準(zhǔn)確性。

1 數(shù)據(jù)提取模塊

1.1 大數(shù)據(jù)平臺(tái)架構(gòu)

隨著雷達(dá)等設(shè)備在海上布置的完善，船舶領(lǐng)域中船只的AIS 數(shù)據(jù)、雷達(dá)數(shù)據(jù)、北斗衛(wèi)星數(shù)據(jù)也迅速增長(zhǎng)，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)平臺(tái)已經(jīng)不能支撐如此級(jí)別的數(shù)據(jù)量以及并發(fā)計(jì)算量，同時(shí)海洋的大部分業(yè)務(wù)都對(duì)數(shù)據(jù)處理的實(shí)時(shí)性有一定的要求，所以選擇使用大數(shù)據(jù)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和處理，大數(shù)據(jù)平臺(tái)不光可以對(duì)大規(guī)模的數(shù)據(jù)進(jìn)行存儲(chǔ)及高效的計(jì)算，還可以在信息密度低的數(shù)據(jù)中挖掘出有用的信息并保證計(jì)算的實(shí)時(shí)性[1-2]，可以滿(mǎn)足海洋業(yè)務(wù)的絕大部分需求。

該研究的大數(shù)據(jù)平臺(tái)架構(gòu)如圖1 所示。

圖1 大數(shù)據(jù)平臺(tái)架構(gòu)圖

從圖1 中不難看出，數(shù)據(jù)的流動(dòng)根據(jù)每層結(jié)構(gòu)的功能不同進(jìn)行了劃分，其中HDFS 和Hive 儲(chǔ)存目標(biāo)點(diǎn)的歷史原始數(shù)據(jù)，對(duì)于海上雜散目標(biāo)的判斷，既要將歷史數(shù)據(jù)作為訓(xùn)練模型的輸入，又要在離線判斷時(shí)把歷史數(shù)據(jù)作為標(biāo)簽數(shù)據(jù)的來(lái)源，而對(duì)于后續(xù)的雜散目標(biāo)進(jìn)行在線判斷時(shí)，需要在實(shí)時(shí)流中截取數(shù)據(jù)，總的來(lái)說(shuō)，大數(shù)據(jù)平臺(tái)豐富了數(shù)據(jù)來(lái)源的多樣性、多路徑的同時(shí)，也滿(mǎn)足了實(shí)驗(yàn)對(duì)數(shù)據(jù)容量的要求。

1.2 數(shù)據(jù)提取

對(duì)已收集到的AIS 數(shù)據(jù)[3]、雷達(dá)數(shù)據(jù)、北斗衛(wèi)星數(shù)據(jù)進(jìn)行數(shù)據(jù)融合。多雷達(dá)數(shù)據(jù)融合[4]的基本原理是用整個(gè)雷達(dá)網(wǎng)的雷達(dá)探測(cè)信息跟蹤目標(biāo)，用目標(biāo)狀態(tài)（位置、速度、航向）估計(jì)平滑目標(biāo)的位置、速度、航向，在目標(biāo)航跡的準(zhǔn)確性、連續(xù)性、光滑性方面提高情報(bào)的質(zhì)量。從技術(shù)上看，它主要解決時(shí)空統(tǒng)一、校正系統(tǒng)誤差、雷達(dá)航跡跟蹤和關(guān)聯(lián)、目標(biāo)狀態(tài)估計(jì)和自適應(yīng)處理等幾類(lèi)問(wèn)題。將融合后的數(shù)據(jù)進(jìn)行刪選，對(duì)AIS 正常船航行的軌跡記錄按時(shí)間進(jìn)行截取，截取后的單軌跡時(shí)間不超過(guò)300 s。分別對(duì)處理后的來(lái)自于AIS 的數(shù)據(jù)和雷達(dá)數(shù)據(jù)進(jìn)行特征處理，從而篩選擬合測(cè)試數(shù)據(jù)以及速度過(guò)小的數(shù)據(jù)。

將篩選出來(lái)的數(shù)據(jù)進(jìn)行標(biāo)簽標(biāo)記[5-6]，將由AIS獲取的數(shù)據(jù)標(biāo)為0。

數(shù)據(jù)標(biāo)定分為兩類(lèi)，一類(lèi)根據(jù)條件限定標(biāo)定為1，另一類(lèi)則標(biāo)定為0，目的是將樣本區(qū)分為正樣本和負(fù)樣本。利用針對(duì)雜散目標(biāo)的定義設(shè)定的規(guī)則作為區(qū)別正負(fù)樣本的標(biāo)準(zhǔn)，在區(qū)別的過(guò)程中，根據(jù)數(shù)據(jù)的差異性，也可以及時(shí)發(fā)現(xiàn)事先未考慮到的情況，例如在選取目標(biāo)點(diǎn)某一時(shí)間段在福建省區(qū)域的數(shù)據(jù)時(shí)可以發(fā)現(xiàn)以下幾種情況：

1）在某一時(shí)刻，目標(biāo)點(diǎn)的軌跡從右上區(qū)域瞬移到了左下區(qū)域，分析其原因，可能是在處理從雷達(dá)獲取的數(shù)據(jù)時(shí)，將兩個(gè)不同的目標(biāo)識(shí)別成一個(gè)目標(biāo)，導(dǎo)致了目標(biāo)的瞬移現(xiàn)象。為了避免這種情況，需要在完善規(guī)則的同時(shí)，加上對(duì)異常數(shù)據(jù)的處理，異常的數(shù)據(jù)包括在多雷達(dá)目標(biāo)融合時(shí)未融合上的數(shù)據(jù)和融合錯(cuò)誤的數(shù)據(jù)。

2）有時(shí)某一目標(biāo)以一個(gè)相對(duì)平滑的軌跡完成了一個(gè)往返，但是在該軌跡上，目標(biāo)點(diǎn)的速度變化異常明顯（速度在1 節(jié)和8 節(jié)之間不斷變化），且變化速率明顯超過(guò)了當(dāng)下船舶的極限，運(yùn)動(dòng)的軌跡流向也不符合日常船舶行駛的規(guī)律，可以判斷，在該時(shí)刻下，該目標(biāo)是離散目標(biāo)的可能性很大。

3）對(duì)于有些跳動(dòng)性大的軌跡，其對(duì)應(yīng)目標(biāo)點(diǎn)速度變化率很大的同時(shí)，其航向也不斷改變，這種跳動(dòng)性過(guò)大的情況也符合雜散目標(biāo)的定義。

4）有的數(shù)據(jù)顯示，目標(biāo)在某一時(shí)刻以平穩(wěn)的速率瞬移到3 海里外的地點(diǎn)?？紤]到雷達(dá)數(shù)據(jù)的目標(biāo)融合問(wèn)題，可知這是一個(gè)典型的融合錯(cuò)誤導(dǎo)致的軌跡異常，也需要對(duì)規(guī)則作進(jìn)一步完善，還原數(shù)據(jù)的真實(shí)性及合理性，從而提高實(shí)驗(yàn)的準(zhǔn)確率，因?yàn)殡s散目標(biāo)識(shí)別的目的在于保障準(zhǔn)確性。

雜散目標(biāo)訓(xùn)練集數(shù)據(jù)獲取及處理步驟如下所示：

1）在大數(shù)據(jù)平臺(tái)中獲取數(shù)據(jù)。

2）對(duì)AIS 的軌跡記錄按時(shí)間進(jìn)行篩選，篩選的規(guī)則有：

①軌跡存在的時(shí)間不超過(guò)300 s。

②整條軌跡轉(zhuǎn)向角的幅度不超過(guò)100°。

③整條軌跡中，目標(biāo)點(diǎn)加速度變換率不超過(guò)0.5 m/s3。

3）分別對(duì)篩選處理后的數(shù)據(jù)進(jìn)行特征處理。

4）利用部分規(guī)則對(duì)處理的數(shù)據(jù)打標(biāo)簽。

5）將打好標(biāo)簽的數(shù)據(jù)作為正樣本、負(fù)樣本進(jìn)行輸入。

2 實(shí)驗(yàn)方法

2.1 數(shù)據(jù)預(yù)處理

2.1.1 設(shè)定雜散目標(biāo)規(guī)則

在獲取的數(shù)據(jù)中，部分?jǐn)?shù)據(jù)存在明顯異常，將異常的數(shù)據(jù)提取進(jìn)行分析，可以看出，數(shù)據(jù)異常主要有以下幾個(gè)原因：

1）數(shù)據(jù)采集的過(guò)程中數(shù)據(jù)丟失，導(dǎo)致數(shù)據(jù)為空。

2）在做多雷達(dá)數(shù)據(jù)融合時(shí)，數(shù)據(jù)未融合，導(dǎo)致數(shù)據(jù)類(lèi)型無(wú)法對(duì)應(yīng)，即將同一艘船的軌跡分成了兩艘或多艘。

3）數(shù)據(jù)中存在預(yù)測(cè)數(shù)據(jù)，為了對(duì)船舶航行進(jìn)行預(yù)警，融入Hive 中的數(shù)據(jù)保留了對(duì)船舶進(jìn)行保速保向的預(yù)測(cè)數(shù)據(jù)。

為使檢測(cè)效果最優(yōu)，經(jīng)過(guò)多次篩選，將異常數(shù)據(jù)過(guò)濾掉。

2.1.2 數(shù)據(jù)分桶解決間隔

對(duì)于從AIS 提取的數(shù)據(jù)，其時(shí)間戳間隔并不是固定的，即在相同時(shí)間范圍內(nèi)，數(shù)據(jù)點(diǎn)個(gè)數(shù)并不固定，但是在使用模型進(jìn)行訓(xùn)練時(shí)，數(shù)據(jù)的維度必須相同，針對(duì)這種情況，使用數(shù)據(jù)分桶的策略，具體步驟如下：

1）計(jì)算每個(gè)數(shù)據(jù)的時(shí)間戳與第一個(gè)數(shù)據(jù)時(shí)間戳的差值。

2）選取適合的時(shí)間間隔作為哈希桶的周期。

3）將每個(gè)數(shù)據(jù)點(diǎn)的時(shí)間戳差值除以周期，取其整數(shù)部分作為桶號(hào)。

4）求得每個(gè)桶內(nèi)數(shù)據(jù)的平均值作為輸出。

5）得到時(shí)間間隔為周期的數(shù)據(jù)。

當(dāng)每個(gè)數(shù)據(jù)桶的時(shí)間周期設(shè)定偏小時(shí)，會(huì)存在部分?jǐn)?shù)據(jù)桶中沒(méi)有數(shù)據(jù)；若時(shí)間周期設(shè)定過(guò)大，則輸出數(shù)據(jù)量較小，并且可能會(huì)損失信息。通過(guò)觀察輸入數(shù)據(jù)的時(shí)間間隔，最終選擇30 s 作為時(shí)間周期。

2.1.3 特征處理

由于原始的速度、航向、經(jīng)緯度數(shù)據(jù)無(wú)法利用規(guī)則篩選掉固定目標(biāo)、漂浮物等，因此在對(duì)離散目標(biāo)進(jìn)行判斷時(shí)，主要考慮雷達(dá)雜波（非正常回波、雷達(dá)回波噪音）以及海浪等非正常目標(biāo)，一般認(rèn)為出現(xiàn)時(shí)間短于300 s、速度以及移動(dòng)形式不規(guī)律的目標(biāo)很大可能屬于雜散目標(biāo)。雜散目標(biāo)識(shí)別任務(wù)主要是對(duì)對(duì)象數(shù)據(jù)進(jìn)行預(yù)處理以及特征抽取，進(jìn)而通過(guò)模型判定是否屬于雜散目標(biāo)。所以需要將原始特征進(jìn)行轉(zhuǎn)換，具體需要的特征如下：

根據(jù)經(jīng)緯度的變化計(jì)算出經(jīng)緯度變化量的均值、方差；根據(jù)船艏向的變化計(jì)算出轉(zhuǎn)向角的均值；根據(jù)單位時(shí)間內(nèi)的速度變化率計(jì)算出加速度的均值；針對(duì)目標(biāo)點(diǎn)的長(zhǎng)度計(jì)算出長(zhǎng)度的均值和方差；根據(jù)原數(shù)據(jù)中速度大小計(jì)算出速度的均值和方差，共10 個(gè)特征。

2.1.4 篩選擬合測(cè)試數(shù)據(jù)

由于獲取到的源數(shù)據(jù)中存在速度不變、人工添加的數(shù)據(jù)以及速度過(guò)小、可能停泊的數(shù)據(jù)，為了保證數(shù)據(jù)不失真以及結(jié)果的準(zhǔn)確性，要在對(duì)決策樹(shù)進(jìn)行訓(xùn)練前將該類(lèi)型的數(shù)據(jù)識(shí)別出來(lái)，具體的做法也是對(duì)處理后的特征進(jìn)行判斷，將速度過(guò)小或者明顯為人工添加的數(shù)據(jù)進(jìn)行清洗[7-8]。

2.2 模型訓(xùn)練

雜散目標(biāo)識(shí)別算法[9]的結(jié)果是離散與非離散兩種情況。將預(yù)處理后的數(shù)據(jù)輸入到?jīng)Q策樹(shù)算法后擬合出相應(yīng)的模型，再使用交叉驗(yàn)證[10]、學(xué)習(xí)曲線等相關(guān)評(píng)估方法對(duì)模型進(jìn)行評(píng)估[11]。

2.2.1 決策樹(shù)

一棵決策樹(shù)包含一個(gè)根結(jié)點(diǎn)、若干個(gè)內(nèi)部結(jié)點(diǎn)和若干個(gè)葉結(jié)點(diǎn)。葉結(jié)點(diǎn)對(duì)應(yīng)于決策結(jié)果，其他每個(gè)結(jié)點(diǎn)則對(duì)應(yīng)于一個(gè)屬性測(cè)試；每個(gè)結(jié)點(diǎn)包含的樣本集合根據(jù)屬性測(cè)試的結(jié)果被劃分到子結(jié)點(diǎn)中[12]；根結(jié)點(diǎn)包含樣本全集，從根結(jié)點(diǎn)到每個(gè)葉子結(jié)點(diǎn)的路徑對(duì)應(yīng)了一個(gè)判定測(cè)試序列[13]。樹(shù)結(jié)構(gòu)圖如圖2所示。

圖2 樹(shù)結(jié)構(gòu)圖

2.2.2 數(shù)據(jù)輸入

在大數(shù)據(jù)平臺(tái)上拉取部分?jǐn)?shù)據(jù)到本地進(jìn)行測(cè)試，為避免模型過(guò)擬合，選取的數(shù)據(jù)在處理后也應(yīng)具有隨機(jī)性和完整性，所以在選取數(shù)據(jù)時(shí)，應(yīng)對(duì)數(shù)據(jù)進(jìn)行篩選，以避免數(shù)據(jù)在目標(biāo)融合中未被識(shí)別或識(shí)別錯(cuò)誤的情況。對(duì)目標(biāo)點(diǎn)的10 個(gè)特征對(duì)應(yīng)的值也要進(jìn)行一定清洗和篩選，去掉異常值及空值。特征字段表格如圖3 所示。

圖3 特征字段表格

3 實(shí)驗(yàn)

3.1 學(xué)習(xí)曲線

學(xué)習(xí)曲線[14]是將訓(xùn)練集準(zhǔn)確率和交叉驗(yàn)證集準(zhǔn)確率作為訓(xùn)練集實(shí)例數(shù)量的函數(shù)曲線，使用學(xué)習(xí)曲線可以判斷一個(gè)學(xué)習(xí)算法是否存在偏差。隨著樣本數(shù)量的增加，當(dāng)訓(xùn)練集準(zhǔn)確率和交叉驗(yàn)證準(zhǔn)確率低于期望準(zhǔn)確率，且兩者的準(zhǔn)確率幾乎相等時(shí)，模型存在高偏差情況，即模型處于欠擬合狀態(tài)，此時(shí)增加數(shù)據(jù)樣本并不會(huì)優(yōu)化算法，需要增加特征來(lái)優(yōu)化模型；當(dāng)交叉驗(yàn)證集的準(zhǔn)確率與訓(xùn)練集的準(zhǔn)確率存在很大的差距時(shí)，模型存在高方差問(wèn)題，此使模型處于過(guò)擬合狀態(tài)，需要增加數(shù)據(jù)樣本或者減少特征數(shù)目來(lái)解決。

3.2 模型結(jié)果

在經(jīng)過(guò)優(yōu)化的模型中加入樸素貝葉斯與決策樹(shù)混合分類(lèi)方法[15]，選取不同時(shí)間段的數(shù)據(jù)作為輸入后，將實(shí)驗(yàn)結(jié)果進(jìn)行分組對(duì)比，其中第一組數(shù)據(jù)使用AIS 的非雜散目標(biāo)作為輸入，第二組在第一組的基礎(chǔ)上加上了獲取數(shù)據(jù)時(shí)出現(xiàn)的時(shí)間(time)和出現(xiàn)的次數(shù)(count)，第三組中FalseStray 是在雜散數(shù)據(jù)中被標(biāo)記為非雜散的數(shù)據(jù)再加上數(shù)據(jù)來(lái)源為AIS 的一類(lèi)非雜散目標(biāo)數(shù)據(jù)，第四組則將以上三組中用到的數(shù)據(jù)相加。將數(shù)據(jù)分為多組進(jìn)行對(duì)照，可以用不同來(lái)源的數(shù)據(jù)對(duì)模型進(jìn)行驗(yàn)證，同時(shí)也將目標(biāo)點(diǎn)出現(xiàn)的時(shí)間以及次數(shù)特征作為輸入進(jìn)行測(cè)試，以達(dá)到模型優(yōu)化的目的。模型正確率結(jié)果如圖4 所示。從圖中可以看出，正確率總體上符合預(yù)期，新加入的兩個(gè)特征對(duì)模型提升效果不明顯，對(duì)雜散目標(biāo)的判斷正確率在90%以上，滿(mǎn)足了多雷達(dá)獲取的數(shù)據(jù)以及AIS 數(shù)據(jù)中對(duì)雜散目標(biāo)的識(shí)別。

圖4 模型正確率結(jié)果

4 結(jié)論

為了在AIS 數(shù)據(jù)、雷達(dá)數(shù)據(jù)、北斗衛(wèi)星數(shù)據(jù)中對(duì)海上雜散目標(biāo)的識(shí)別分類(lèi)，在提升數(shù)據(jù)質(zhì)量的同時(shí)，對(duì)雜散目標(biāo)主要包括雷達(dá)雜波（非正?；夭?、雷達(dá)回波噪音）以及海浪等非正常目標(biāo)進(jìn)行識(shí)別，能有效提高海上航行船舶的信息收集能力，并幫助海岸數(shù)據(jù)中心[16]對(duì)各種目標(biāo)點(diǎn)的屬性判斷以及做后續(xù)的數(shù)據(jù)分析，也可以與實(shí)際運(yùn)用相結(jié)合，例如海上避碰、海上搜救等，該次實(shí)驗(yàn)將多個(gè)數(shù)據(jù)來(lái)源的目標(biāo)進(jìn)行規(guī)則劃分后，利用決策樹(shù)訓(xùn)練模型，將測(cè)試的結(jié)果通過(guò)多組對(duì)比實(shí)驗(yàn)，在優(yōu)化了模型的同時(shí)，提升了識(shí)別的正確率，可以做到海上雜散目標(biāo)的精準(zhǔn)識(shí)別。