馮宏祥, ANNA MujalColilles, 楊忠振

(1.寧波大學(xué) 海運學(xué)院， 浙江 寧波 315832； 2.加泰羅尼亞理工大學(xué) 航海學(xué)院， 西班牙 巴塞羅那 08003)

隨著船舶普遍裝備船舶自動識別系統(tǒng)(Automatic Identification System,AIS)，海上交通及相關(guān)研究領(lǐng)域進入“大數(shù)據(jù)”時代，AIS大數(shù)據(jù)包含多種信息，具有多源、海量和快速增長等特征，對其進行挖掘具有廣泛的應(yīng)用價值。目前，AIS大數(shù)據(jù)分析已在船舶行為識別[1]、海上交通特征分析[2]、船舶避碰[2]、海事調(diào)查[3]、船舶排放[4]、航路規(guī)劃[5]、海上風(fēng)電選址[6]、漁業(yè)經(jīng)濟[7]和航運經(jīng)濟[8]等領(lǐng)域得到廣泛應(yīng)用。但是，AIS數(shù)據(jù)在產(chǎn)生、傳輸和接收過程中不可避免地會出現(xiàn)異常，數(shù)據(jù)噪聲使很多原始AIS數(shù)據(jù)無法反映真實的船舶動態(tài)規(guī)律。[9]因此，需要數(shù)據(jù)預(yù)處理才能保證AIS數(shù)據(jù)的應(yīng)用與挖掘質(zhì)量[10]，AIS大數(shù)據(jù)預(yù)處理是AIS大數(shù)據(jù)挖掘的基礎(chǔ)和前提條件。

盡管AIS大數(shù)據(jù)已成為海事領(lǐng)域的研究熱點，但有關(guān)AIS數(shù)據(jù)預(yù)處理的研究相對較少。[10]PALLOTTA等[11]開發(fā)一種船舶航路提取與異常數(shù)據(jù)檢測算法，用以解決多船共用海上移動業(yè)務(wù)識別碼(Maritime Mobile Service Identity,MMSI)的問題。SANG等[12]提出結(jié)合內(nèi)河船舶航行特點的AIS航跡再現(xiàn)方法，把在航道轉(zhuǎn)彎段的軌跡劃分為直線、曲線和圓弧等3種類型，從而過濾掉異常單點B類AIS數(shù)據(jù)。SHELMERDINE[13]運用EXCEL的篩選功能預(yù)處理AIS數(shù)據(jù)的方法針對小樣本數(shù)據(jù)十分有效，但在處理海量數(shù)據(jù)時效率較低，實用性差。文獻[14]提出一種清除由時間不同步引起的異常AIS數(shù)據(jù)的算法，但無法清除由位置異常等引起的數(shù)據(jù)異常問題。WU等[15]研發(fā)了一個簡單的算法用以評估AIS信息和每個候選船之間的關(guān)聯(lián)，但僅限于在高速采樣AIS信息的小區(qū)域內(nèi)應(yīng)用。文獻[9]和文獻[10]分析了引起AIS軌跡異常的原因，提出檢測AIS航跡物理完整性、空間邏輯完整性和時間精度的方法，其普適性好但在使用時仍需進行數(shù)據(jù)的物理完整性、空間邏輯完整性和時間精度識別。因此提出一種簡單、普適性強的AIS大數(shù)據(jù)預(yù)處理方法。

1 問題的提出

1.1 MMSI誤共用問題

MMSI是船舶的唯一身份識別碼，但現(xiàn)實一直存在MMSI誤共用的問題。例如412000000、413000000、123456789、412888888和413888888等典型MMSI經(jīng)常被多個船舶的AIS設(shè)備共同使用。2018年3月28日MMSI為412000000的船舶AIS軌跡見圖1。圖1中：軌跡的發(fā)散表明AIS數(shù)據(jù)存在異常，這是由于某種原因使該MMSI被14個AIS設(shè)備誤共用所導(dǎo)致的結(jié)果見表1。

圖1 MMSI為412000000的船舶AIS軌跡

1.2 船舶AIS信息更新時間完整性問題

根據(jù)國際海事組織(International MaritimeOrganization,IMO)的有關(guān)規(guī)定，船舶運動時AIS播發(fā)信息的時間間隔最長不應(yīng)超過3 min。當(dāng)同一艘船舶前后記錄信息的時間間隔過長時，AIS軌跡可能會出現(xiàn)奇異點，進而導(dǎo)致軌跡曲線不平滑，甚至出現(xiàn)軌跡穿越陸地、島嶼的現(xiàn)象。2018年3月28日MMSI為123403001的船舶AIS軌跡圖見圖2。由圖2可知：該船舶00:10:28從嘉興某碼頭駛出，05:06:28航行至野黃盤島西側(cè)水域時AIS信息停止更新；21:27:11—21:29:42后在野黃盤島—東霍黃礁之間又播發(fā)4條信息，之后便又停止了AIS數(shù)據(jù)更新。05:06:28—21:27:11期間，該船舶連續(xù)16 h 20 min 43 s未播發(fā)信息，AIS軌跡圖上出現(xiàn)長達48.3 n mile的異常跳躍。

表1 MMSI為412000000的船舶AIS設(shè)備信息統(tǒng)計

圖2 時間不完整導(dǎo)致AIS(MMSI為123403001)軌跡圖

分析研究水域所有的2 429 477條AIS信息記錄后，發(fā)現(xiàn)有1 674條更新時間超過3 min，0.068 9%,見表2。由于把這1 674個異常點與其前后時刻的船位點相連接不能真實地反映船舶的運動狀態(tài)，而這些異常點又是實際的船位。因此，應(yīng)將其從記錄集合中分離出來。

表2 同一船舶AIS信息更新時間間隔統(tǒng)計表

1.3 AIS位置信息異常問題

由于船舶運動時AIS播發(fā)信息的最長時間間隔不應(yīng)超過3 min，而在本文研究的水域內(nèi)船舶航速通常小于15 kn，因此，可推斷研究水域內(nèi)同一船舶前后記錄之間的距離一般不應(yīng)超過0.75 n mile。當(dāng)外界環(huán)境干擾、設(shè)備自身原因或網(wǎng)絡(luò)通信阻塞時，某些時刻的船位數(shù)據(jù)可能出現(xiàn)異常，使前后兩條連續(xù)記錄信息的船位距離超過0.75 n mile。此時，AIS軌跡上會有異常點，導(dǎo)致軌跡曲線不平滑，甚至出現(xiàn)軌跡穿越陸地、島嶼的情況。2018年3月28日MMSI為413455780的船舶AIS軌跡異常見圖3。該船2018年3月28日共3次出現(xiàn)在10 s的時間內(nèi)船位跳躍超過3 n mile的異常現(xiàn)象，其中最大為37.9 n mile，在AIS軌跡圖上表現(xiàn)為3個異常的“毛刺狀”脈沖。

圖3 位置信息異常導(dǎo)致軌跡異常(MMSI為413455780)

在研究水域所有的2 429 477條記錄中，共發(fā)現(xiàn)4 102條更新距離超過0.75 n mile的記錄，占0.168 8%(見表3)。這些異常點屬于數(shù)據(jù)噪聲，顯然不是船舶的真實船位，將其與前后時刻的船位點相連接會得到錯誤的船舶運動狀態(tài)信息，因此應(yīng)從記錄集合中刪除如圖3所示。

表3 同一船舶AIS信息更新距離間隔統(tǒng)計表

2 基于距離分布的AIS異常數(shù)據(jù)處理算法

由上述分析可知，MMSI誤共用、AIS信息更新時間不完整及AIS位置信息異常等均會導(dǎo)致AIS軌跡圖上出現(xiàn)距離更新異常的現(xiàn)象。為明確AIS數(shù)據(jù)所顯示的距離更新的規(guī)律，對研究水域內(nèi)的2 429 476個更新距離進行統(tǒng)計見圖4，發(fā)現(xiàn)各距離的出現(xiàn)頻次服從正態(tài)分布，即

X～N(μ,σ2)

(1)

式(1)中：μ為船位點更新距離均值；σ為標(biāo)準差。

圖4 船位點更新距離間隔頻次統(tǒng)計及其曲線擬合

經(jīng)檢驗，船位點更新距離的概率密度函數(shù)約為

(2)

式(2)中：x為船位點更新距離。

根據(jù)統(tǒng)計指標(biāo)可發(fā)現(xiàn):僅有3 187和2 359個更新距離落在μ+σ、μ+3σ之外，分別占0.131 2%和0.097 0%。因此，可考慮剔除落在μ+σ或μ+3σ之外的更新距離數(shù)據(jù)(本研究僅以μ+3σ為例)。這樣做可同時解決MMSI誤共用、AIS信息更新時間不完整及AIS位置信息異常所導(dǎo)致的距離更新異常問題，既簡化算法，又提高計算效率。

根據(jù)上述問題的描述和解決問題的思路，提出以下基于距離分布的AIS異常數(shù)據(jù)處理算法的步驟：

1)從數(shù)據(jù)庫導(dǎo)入解碼后的AIS數(shù)據(jù)，設(shè)置船速、經(jīng)緯度門檻閾值。

2)剔除與本研究區(qū)域無關(guān)的數(shù)據(jù)，目的是減小計算樣本以提高計算效率。

3)計算同一船舶前后2個點之間的時間間隔及距離間隔。

4)剔除AIS信息更新距離大于μ+3σ的船舶位置數(shù)據(jù)。

5)標(biāo)繪清除異常數(shù)據(jù)后的船舶AIS軌跡。

步驟1)～步驟5)的算法偽代碼如下：

3 實例研究

選取矩形水域(30°N～30.85°N，121.1°E～122.95°E)作為研究水域見圖5，該水域北至上海南匯嘴，南至舟山本島，西至嘉興港，東至西塊島。水域內(nèi)商、漁船混雜，航線交錯，交通流密集，屬中國沿海通航環(huán)境較復(fù)雜的水域。選用的AIS數(shù)據(jù)來源于東海航海保障中心寧波航標(biāo)處，源數(shù)據(jù)以SCII格式壓縮封裝，1 d的AIS原始數(shù)據(jù)文件容量高達1.3 GB。本文提取了2018年3月28日的AIS數(shù)據(jù)原碼，解碼后寧波航標(biāo)處轄區(qū)及研究水域的船舶數(shù)量見表4。由表4可知：研究水域1 d內(nèi)共出現(xiàn)船舶1 549艘，MMSI1 490個，錄得AIS信息2 429 477條。利用解碼后的AIS數(shù)據(jù)標(biāo)繪研究水域的船舶軌跡得軌跡圖如圖5所示。由圖5可知：部分AIS軌跡穿越了舟山本島、岱山島、衢山島和洋山島，甚至深入到寧波慈溪的陸上；還有部分AIS軌跡保持數(shù)十海里，甚至上百海里的直線狀態(tài)。這些現(xiàn)象顯然是異常的，未經(jīng)預(yù)處理的AIS數(shù)據(jù)難以直接應(yīng)用。

圖5 研究范圍內(nèi)未經(jīng)處理的AIS數(shù)據(jù)顯示的船舶軌跡(2018年3月28日)

表4 寧波航標(biāo)處轄區(qū)原數(shù)據(jù)概況(2018年3月28日)

采用本研究提出的算法對樣本集合中的AIS原始數(shù)據(jù)進行預(yù)處理，經(jīng)過識別、分割與剔除異常數(shù)值后，標(biāo)繪得到船舶AIS軌跡見圖6。由圖6可知：異常位置點均得以消除，預(yù)處理后每艘船舶的AIS軌跡都較為平滑，符合船舶交通流的基本特征。

圖6 本算法處理后的AIS數(shù)據(jù)顯示的船舶軌跡分布圖(2018年3月28日)

研究發(fā)現(xiàn)共有59個船名誤共用MMSI，占全部記錄的3.71%。59個船名所對應(yīng)的并非全為實際存在的船舶。例如，圖1和表1中的數(shù)值為412000000的MMSI被14個船名所誤共有，考察發(fā)現(xiàn)，AIS船名“0”“07”“A”等實際上是船用B類AIS漁網(wǎng)定位儀，其MMSI均顯示為412000000，顯然是由于漁船船員的輸入錯誤所致。

1)根據(jù)這一現(xiàn)象建議漁業(yè)管理部門加強對漁船船員的培訓(xùn)和教育，加強對漁船的執(zhí)法檢查，督促其規(guī)范使用AIS設(shè)備，使AIS真正發(fā)揮協(xié)助海上避碰的作用，避免干擾通航秩序。

2)AIS大數(shù)據(jù)也給海事和漁業(yè)管理提供了新的方法和手段，即用AIS大數(shù)據(jù)挖掘發(fā)現(xiàn)船舶和船員管理中存在的問題，從而實現(xiàn)“遠程、無線、無接觸”執(zhí)法。

分析研究水域所有2 429 477條AIS記錄數(shù)據(jù)，其中1 674條更新時間超過3 min，MMSI為123403001的船舶居然在2018年3月28日5:06:28—21:27:11的長達16 h 20 min 43 s期間內(nèi)沒有AIS信息更新。這說明該船AIS設(shè)備存在異常，從側(cè)面反映這類船舶管理中存在隱患，值得相關(guān)管理部門關(guān)注。此外，和文獻[10]相比較，本算法的另外一個改進是沒有剔除船速為0的數(shù)據(jù)記錄，因此,經(jīng)算法預(yù)處理后的數(shù)據(jù)還可用于分析船舶停泊及錨泊規(guī)律。例如，發(fā)現(xiàn)在嘉興、嵊泗、東霍山和衢山島東等水域，存在大量AIS軌跡圍成的小圓圈，有些位于錨地內(nèi)，有些距離錨地較遠。對其實施進一步挖掘，可為有關(guān)部門的通航管理和交通規(guī)劃提供參考。

數(shù)據(jù)樣本和研究水域中分別有6 813 162、2 429 477條船舶的AIS信息記錄，在配置為主頻2.90 GHz、內(nèi)存16.0 GB的工作站中，運用MATLAB實現(xiàn)算法編程，可在4 min內(nèi)完成數(shù)據(jù)的預(yù)處理及AIS軌跡的標(biāo)繪，表明本算法的計算效率高。另外，本算法的可移植性強，可直接應(yīng)用于其他水域的AIS粗數(shù)據(jù)預(yù)處理，也可應(yīng)用于更大范圍水域AIS粗數(shù)據(jù)的快速處理。

基于距離分布的船舶AIS異常數(shù)據(jù)處理方法，通過剔除或隔離異常更新距離對應(yīng)的船位點(即更新距離落在μ+σ或μ+3σ之外的船位點)，即可消除由于MMSI共用、AIS信息更新時間不完整及位置信息異常所引起的數(shù)據(jù)異?；蝈e誤。該方法類似于限幅濾波算法(或去除峰值的均值低通濾波算法)[16]，可達到濾波算法相似的結(jié)果。

4 結(jié)束語

AIS大數(shù)據(jù)挖掘在水上交通管理、航路規(guī)劃、安全監(jiān)督和航運經(jīng)濟等方面有著廣泛的應(yīng)用，而高質(zhì)量的AIS數(shù)據(jù)是這些應(yīng)用的基礎(chǔ)。由于環(huán)境干擾、設(shè)備因素、使用不當(dāng)和信號傳輸?shù)仍颍珹IS大數(shù)據(jù)中不可避免地存在數(shù)據(jù)噪聲。本文在分析AIS軌跡標(biāo)繪產(chǎn)生錯誤或誤差原因的基礎(chǔ)上，從距離分布的角度對AIS數(shù)據(jù)集的誤差進行分析，提出了一種具有普適性的提高AIS大數(shù)據(jù)質(zhì)量的數(shù)據(jù)預(yù)處理方法，且以洋山港附近海域1 d的AIS數(shù)據(jù)為例，進行原始數(shù)據(jù)預(yù)處理，然后用預(yù)處理后的數(shù)據(jù)繪制船舶AIS的航跡分布圖，驗證算法的適用性。