文 孔 濤,姚高樂,陳廣通,駱 瑩(天津航標處,天津 300456)
AIS系統(tǒng)是一種岸基和船載廣播式自動識別報告系統(tǒng),在海上交通組織和保障船舶航行安全方面發(fā)揮著重要作用。由于AIS通信協(xié)議的公開透明性以及AIS系統(tǒng)自身的脆弱性,部分廠商片面逐利,加之各種不當操作,導致大量船臺技術不合規(guī),船舶AIS動、靜態(tài)信息錯漏空情況嚴重,AIS船臺信息的低符合度給船舶協(xié)調(diào)避碰、海上交通指揮以及基于AIS的大數(shù)據(jù)分析帶來負面影響。
由于AIS技術在船-船、船-岸信息交互中的獨特優(yōu)勢,基于AIS技術的各類衍生設備應運而生,如AIS搜救發(fā)射器(AIS SART)、人員搜救信標(MOB)、AIS航標等,特別是基于AIS技術的網(wǎng)位儀利用AIS CLASS A/B報文或21號報文(專用于航標報告)播發(fā)任意設置的名稱、位置、MMSI、類型等信息,發(fā)射功率、發(fā)射頻率、通信接入方式等設備參數(shù)均由廠商隨意設置,大量占用有限的AIS時隙資源,給AIS VDL鏈路管理造成了很大困擾,不僅干擾船舶避碰操作,影響AIS數(shù)據(jù)的挖掘應用,而且對我國國際形象也造成不良影響。近年來還出現(xiàn)了通過模擬生成的欺騙性報文和錯誤AIS信息,亟需利用智能化監(jiān)管手段提升不合規(guī)信息監(jiān)測能力,為海事執(zhí)法部門提供精準高效的技術支持。
AIS動態(tài)信息符合度監(jiān)測相較于靜態(tài)信息監(jiān)測更加困難,在符合度監(jiān)測的基礎上,還需結合合理性檢測等輔助方法,技術要求復雜,也是海事監(jiān)管的難點。故本文提出了基于AIS VDL的AIS船臺動態(tài)信息符合度監(jiān)測系統(tǒng)設計方案,包括系統(tǒng)架構組成、動態(tài)信息、頻率和時隙的監(jiān)測算法規(guī)則,希望為海事執(zhí)法增加新利器,凈化海上無線電通信秩序。
AIS船臺在使用中根據(jù)船舶航行狀態(tài)以2S至3min的時間間隔播發(fā)船舶動態(tài)報文,A類船播發(fā)AIS 1、2、3號消息,B類船播發(fā)AIS 18、19號消息。AIS船臺動態(tài)信息符合度監(jiān)測,主要對上述消息字段根據(jù)相關標準規(guī)則進行符合度校驗,具體為實時監(jiān)測AIS船臺是否接入羅經(jīng)信號(旋轉速率、對地航向監(jiān)測)、AIS船臺定位信息是否有效(經(jīng)度、緯度、位置準確度監(jiān)測)、AIS船臺是否接入計程儀(測速)信號(對地航速監(jiān)測)、動態(tài)報文播發(fā)頻率。在符合度監(jiān)測的基礎上,還增加合理性檢測等輔助方法。此外,還配置時隙分析儀用于實時分析AIS船臺播發(fā)電文的時隙符合度。
動態(tài)信息標準符合度監(jiān)測對解析后的結構化報文數(shù)據(jù)按順序進行各項分析。設置白名單、黑名單機制處理流程[1],根據(jù)錯誤的嚴重程度設置了高、中、低3階錯誤等級,以方便錯誤處置。
AIS船臺動態(tài)信息符合度監(jiān)測系統(tǒng)主要由動態(tài)信息實時獲取模塊、主控模塊、內(nèi)存狀態(tài)數(shù)據(jù)維護模塊、AIS船臺是否接入羅經(jīng)模塊、AIS船臺是否接入計程儀模塊、AIS船臺定位信息是否有效模塊、AIS船臺動態(tài)電文播發(fā)頻率是否合規(guī)模塊、AIS船臺動態(tài)電文播發(fā)時隙是否合規(guī)模塊以及黑白名單維護模塊組成。系統(tǒng)架構見圖1:
圖1 系統(tǒng)架構圖
1. 動態(tài)信息獲取模塊:負責維護kafka集群的配置,連接kafka集群,訂閱集群中AIS動態(tài)消息主題隊列,并從訂閱的kafka集群的動態(tài)信息topic中獲取kafka集群發(fā)布的數(shù)據(jù),將獲取到的數(shù)據(jù)傳給主控模塊進行分析。
2. 主控模塊:服務包含多個符合度監(jiān)測,主控模塊負責對接收到的動態(tài)數(shù)據(jù)進行調(diào)度,逐項進行監(jiān)測,同時比對黑白名單,對有問題的數(shù)據(jù)輸出至MySQL數(shù)據(jù)庫。
3. 內(nèi)存狀態(tài)數(shù)據(jù)維護模塊:負責連接redis內(nèi)存數(shù)據(jù)庫,并維護數(shù)據(jù)船舶動態(tài)數(shù)據(jù)緩存,為業(yè)務分析模塊提供船舶動態(tài)狀態(tài)數(shù)據(jù)支撐。
4. AIS船臺是否接入羅經(jīng)信號、是否接入計程儀、定位信息是否有效、動態(tài)電文播發(fā)頻率是否合規(guī)、動態(tài)電文播發(fā)時隙是否合規(guī)模塊:根據(jù)主控模塊調(diào)度,根據(jù)監(jiān)測算法對報文相應字段進行標準符合度校驗,將結果返回給主控模塊統(tǒng)一處理。
5. 黑白名單維護模塊
黑白名單模塊通過連接redis內(nèi)存數(shù)據(jù)庫,在redis中維護一個黑白名單,負責存儲經(jīng)過動態(tài)符合度監(jiān)測的合格以及不合格的船舶,經(jīng)監(jiān)測結果正常的船舶移入白名單,配置時間內(nèi)不進行重復檢查,超過配置時間自動移除白名單;經(jīng)監(jiān)測結果異常的船舶移入黑名單,不再進行重復檢查,需要用戶手動解除黑名單。
1. 監(jiān)測流程和輸出結果說明
關于實時監(jiān)測AIS船臺是否接入羅經(jīng)信號,主要通過監(jiān)測AIS報文位置數(shù)據(jù)中船舶旋轉速率(ROTAIS)字段、實際航向字段是否符合規(guī)則校驗,本算法根據(jù)ITURM.1371-5標準整理ROTAIS字段、實際航向字段校驗規(guī)則算法,同時增加合理性檢測,作為提示性消息。由于B類船沒有ROTAIS數(shù)據(jù),所以B類船只對實際航向字段進行校驗。監(jiān)測流程見圖2:
圖2 AIS船臺是否接入羅經(jīng)信號監(jiān)測流程圖
輸出結果說明如下:
(1)實際航向字段為空或默認值,錯誤等級:中;(2)ROTAIS字段為空或默認值,錯誤等級:中;(3)實際航向字段不符合規(guī)則要求,錯誤等級:中;(4)ROTAIS字段不符合規(guī)則要求,錯誤等級:中;(5)ROTAIS字段內(nèi)容不合理,錯誤等級:低。
2. 監(jiān)測算法規(guī)則
(1)空白校驗,檢驗實際航向是否為空值或默認值(511);(2)空白校驗,A類船校驗ROTAIS是否為空值或默認值(-128);(3)有效性校驗,A類船校驗ROTAIS是否有效,值為±127之間;(4)有效性校驗,檢驗實際航向字段的值是否有效,0-359之間。
1. 監(jiān)測流程和輸出結果說明
關于實時監(jiān)測AIS船臺是否接入計程儀(測速)信號,主要通過監(jiān)測AIS報文位置數(shù)據(jù)中SOG字段符合度的規(guī)則校驗,本算法根據(jù)ITU-RM.1371-5標準整理船舶SOG校驗規(guī)則算法,同時增加合理性檢測,作為提示性消息。監(jiān)測流程見圖3:
圖3 AIS船臺是否接入計程儀監(jiān)測流程圖
輸出結果說明如下:
(1)字段為空或默認值,錯誤等級:中;(2)字段內(nèi)容不符合規(guī)則要求,錯誤等級:中;(3)字段內(nèi)容不合理,錯誤等級:低。
2. 監(jiān)測算法規(guī)則
(1)空白校驗,SOG是否為空值或默認值(1023);(2)有效性校驗,SOG是否在0-1022之間;(3)合理性校驗,根據(jù)船舶類型、船舶尺寸SOG合理性。
1. 監(jiān)測流程和輸出結果說明
對于監(jiān)測AIS船臺定位信息是否有效,主要通過監(jiān)測AIS報文位置中船舶緯度、經(jīng)度字段符合度的規(guī)則校驗,本算法根據(jù)ITU-RM.1371-5標準整理船舶緯度、經(jīng)度校驗規(guī)則算法。監(jiān)測流程見圖4:
圖4 AIS船臺定位信息是否有效監(jiān)測流程圖
緯度、經(jīng)度字段校驗結果,錯誤類型分為以下幾種:
(1)字段為空或默認值,錯誤等級:中;(2)字段內(nèi)容不符合規(guī)則要求,錯誤等級:中。
2. 監(jiān)測算法規(guī)則
(1)空白校驗,檢驗緯度、經(jīng)度是否有為空值或默認值(經(jīng)度=181,緯度=91),經(jīng)緯度全部滿足非空才通過;(2)有效性校驗,經(jīng)度在±180之間,緯度在±90之間,經(jīng)緯度全部滿足非空才通過。
1. 監(jiān)測流程和輸出結果說明
動態(tài)電文播發(fā)頻率校驗算法負責對A、B兩類船舶播發(fā)動態(tài)位置進行監(jiān)測。A類船舶位置信息電文為1、2、3號電文,電文的播發(fā)頻率根據(jù)船舶的航行狀態(tài)以及航速航向信息發(fā)生變化;B類船舶位置信息電文為18、19號電文,電文的播發(fā)頻率根據(jù)船舶的航速信息發(fā)生變化。算法根據(jù)船舶的不同類型以及航行狀態(tài)檢測船舶在各種不同的情況下的播發(fā)頻率是否符合ITU-RM.1371-5的標準規(guī)定。監(jiān)測流程見圖5:
圖5 AIS船臺動態(tài)電文播發(fā)頻率符合度是否合規(guī)監(jiān)測流程圖
緯度、經(jīng)度字段校驗結果,錯誤類型分為以下幾種:
(1)播發(fā)頻率不合格船舶MMSI;(2)被判定為播發(fā)頻率不合格時播發(fā)頻率狀態(tài)(過快還是過慢)。
2.監(jiān)測算法規(guī)則
(1)如果船舶出現(xiàn)在黑名單數(shù)據(jù)庫中,即船舶已經(jīng)被確認為播發(fā)頻率不合格的船舶,則不再對此船舶的電文進行下一步分析;(2)判斷船舶是否出現(xiàn)在白名單中,如果是,判斷白名單中船舶插入記錄時間是否超過6個月;如果未超過6個月,不再對此船舶進行下一步分析;否則正常分析此船舶;(3)判斷船舶MMSI是否已經(jīng)存在于內(nèi)存中,如果不存在,插入新的船舶記錄,否則進行下一步船舶分析;(4)船舶分析時需要根據(jù)船舶的電文類型進行分類,首先判斷船舶類型,根據(jù)異常播發(fā)頻率間隔說明表確定船舶此次發(fā)送電文的時間與上一次發(fā)送的時間間隔是否為異常間隔:①如果時間間隔不在設置的閾值內(nèi),將內(nèi)存記錄的異常次數(shù)+1,判斷異常次數(shù)大于等于50,則說明船舶播發(fā)頻率異常,將不合格船舶存入黑名單中;如果內(nèi)存記錄的異常次數(shù)小于50,則更新內(nèi)存中船舶數(shù)據(jù)記錄。②如果時間間隔在設置的閾值內(nèi),將內(nèi)存記錄的異常次數(shù)-1,最少減到0為止;然后判斷船舶監(jiān)測的時間是否已經(jīng)達到一個月,即船舶在一個月以內(nèi)未出現(xiàn)播發(fā)頻率異常問題,則將船舶存入白名單內(nèi)。
異常播發(fā)頻率間隔說明如表1所示:
表1 A類船舶標準與播發(fā)頻率閾值表
表2 B類船舶標準與播發(fā)頻率閾值表
1. 監(jiān)測流程和輸出結果說明
AIS系統(tǒng)是時分的傳輸系統(tǒng),所以它要求臺站之間要有一個精確的時間同步,并對時間進行分割。當AIS船臺工作時,會定期按照時隙規(guī)則播發(fā)動態(tài)報文,動態(tài)報文中通信狀態(tài)字段,根據(jù)類型可以解析出具體時隙使用相關的子消息。本算法根據(jù)ITU-RM.1371-5標準整理時隙相關算法,對動態(tài)報文進行分析監(jiān)測時隙符合度,主要監(jiān)測發(fā)送時隙與預約時隙符合性、預約時隙實際發(fā)送情況。由于消息特點,本算法只檢測使用自組織時分多址(SOTDMA)的1號和2號報文。監(jiān)測流程見圖6:
圖6 AIS船臺動態(tài)電文播發(fā)時隙符合度是否合規(guī)監(jiān)測流程
動態(tài)報文播發(fā)時隙校驗結果,錯誤類型分為以下幾種:
(1)播發(fā)時隙與預約時隙不符合,錯誤等級:中;
(2)船臺只預約時隙,但是不發(fā)送消息,錯誤等級:高。
2. 監(jiān)測算法規(guī)則
(1)校驗緩存數(shù)據(jù)是否存在設備時隙數(shù)據(jù),如沒有則存入緩存時隙數(shù)據(jù);(2)如果存在時隙數(shù)據(jù),則判斷時隙超時字段是否為0,代表時隙預約數(shù)據(jù);(3)如時隙超時字段為0,則判斷緩存中上一條報文時隙超時字段是否為0:①如連續(xù)多次都為時隙預約數(shù)據(jù),則判斷為船臺只預約時隙,但是不發(fā)送消息,輸出結果b;②如只有本條為0,則根據(jù)時隙偏移計算時隙預約情況,并更新緩存,正常結束;(4)如時隙超時字段不為0,則判斷緩存是否存在時隙預約信息:①如沒有時隙預約信息,則更新緩存當前播發(fā)時隙信息,正常結束;②如存有時隙預約信息,則判斷當前報文時隙是否符合時隙預約信息,如果多次不滿足,則判斷為播發(fā)時隙與預約時隙不符合,輸出結果a[2]。
通過接入全國AIS數(shù)據(jù)庫、船舶檢驗數(shù)據(jù)庫以及船舶無線電數(shù)據(jù)庫,采用Spark與Hadoop為基礎的大數(shù)據(jù)處理平臺,基于AIS VDL的AIS船臺動態(tài)信息符合度監(jiān)測系統(tǒng)實現(xiàn)了對全國AIS船臺動態(tài)報文、通信頻率、通信時隙的ITU-RM.1371-5協(xié)議符合度實時監(jiān)測和大容量處理,已作為北海航海保障中心開發(fā)的AIS VDL監(jiān)測系統(tǒng)重要組成部分,在監(jiān)測“一碼多船”、不合規(guī)船臺、船臺協(xié)議不合規(guī)及船舶定位異常等方面精準可靠。據(jù)統(tǒng)計,AIS VDL系統(tǒng)2020年5月上線至2021年9月共篩查動態(tài)信息異常船舶55 212艘,其中A類船舶12 163艘,占22%,B類船舶43 049艘,占78%。在支持水上無線電秩序專項整治中成效顯著,動態(tài)信息異常船舶占比由上線之初的9.823%降至2020年11月的0.799%,降幅達92%(見圖7)?;谙到y(tǒng)處理生成的數(shù)據(jù)也持續(xù)提供給“凈海衛(wèi)士”水上無線電輔助執(zhí)法程序,為全國水上無線電秩序專項整治工作提供了可信的數(shù)據(jù)支撐。
圖7 船臺動態(tài)信息異常船舶占比
基于AIS VDL的AIS船臺動態(tài)信息符合度監(jiān)測系統(tǒng)實現(xiàn)了對異常AIS船臺信息的精準甄別,優(yōu)化了AIS數(shù)據(jù)源和海上無線電通信秩序。同時,要在應用中不斷優(yōu)化該系統(tǒng)判斷算法,提高異常甄別準確率;完善對外數(shù)據(jù)服務接口,為涉海用戶接入AIS VDL數(shù)據(jù)庫提供便利;充分利用AIS VDL系統(tǒng)接入船舶檢驗數(shù)據(jù)庫和船舶無線電數(shù)據(jù)庫的優(yōu)勢,過濾生成高質量的純凈AIS數(shù)據(jù)源,為海事監(jiān)管和相關領域大數(shù)據(jù)分析提供更加精準的數(shù)據(jù)支撐。