孫肅徽
(山東省港口集團有限公司,山東青島266000)
港口輪駁公司主要生產(chǎn)業(yè)務(wù)是對進出港船舶靠離和接送引航員的作業(yè)[1]。隨著港口發(fā)展,靠離船舶作業(yè)數(shù)量日益增長,大型港口單艘拖輪每天使用率超過100艘次,單艘拖輪每天作業(yè)工時達7~10 h[2]。繁忙的作業(yè)任務(wù)和長時間的海上航行,增加了拖輪生產(chǎn)作業(yè)的安全風險[3],拖輪駕駛員在航行作業(yè)中要求全面準確地了解、掌握周邊的氣象、能見度等安全風險環(huán)境。
目前港口氣象服務(wù)產(chǎn)品主要依靠普通的天氣預(yù)報產(chǎn)品或本地氣象臺提供的預(yù)報產(chǎn)品,服務(wù)精細化程度不高,服務(wù)內(nèi)容針對性有待增強[4]。同時,港口在岸基僅有少數(shù)的固定式氣象觀測站、在港機上有風速風向傳感器,而在海上缺乏固定式和移動式的觀測節(jié)點,沒有形成覆蓋岸基和海上的氣象的實時觀測網(wǎng)絡(luò),大多也缺乏海側(cè)氣象的歷史觀測數(shù)據(jù)[5]。
惡劣天氣現(xiàn)象和低能見度狀況極易影響船舶在港口的進出港,如強風會影響航行路線、能見度過低會造成航行事故。同時,在惡劣天氣條件下,受風浪影響,拖輪與大船之間極易發(fā)生碰撞,尤其拖輪體量小,任何碰撞都是致命的危險[6]。因此,局部海域精細化微氣象信息對于選擇安排適航航段、拖輪生產(chǎn)調(diào)度具有重要的意義。故亟需建立移動式氣象監(jiān)測系統(tǒng),實時監(jiān)測海上的氣象信息,為港口安全生產(chǎn)作業(yè)的正常運行提供數(shù)據(jù)支撐。
港口移動式氣象智能監(jiān)測系統(tǒng)主要由云平臺和船載智能終端組成,系統(tǒng)總體結(jié)構(gòu)如圖1所示。圖中船載智能終端安裝有氣壓、溫度、濕度、雨量、風速和風向六要素一體化傳感器,用來實時獲取海域微氣象信息。除傳感器之外,船載智能終端中的氣象檢測模塊可以對傳感器獲取的氣象信息進行預(yù)處理,將各傳感器傳入的信息進行規(guī)范化。邊緣計算模塊能夠?qū)Υd終端的數(shù)據(jù)傳輸進行過濾與質(zhì)量控制,通過邊緣設(shè)備進一步提高數(shù)據(jù)的質(zhì)量,降低了將數(shù)據(jù)傳輸至云平帶所占用的帶寬,提高了傳輸速度。預(yù)處理、預(yù)警、評估和顯示模塊可以在本地將氣象數(shù)據(jù)進行可視化以及方便人工調(diào)控。存儲模塊可以對船載終端獲取的數(shù)據(jù)作記錄,防止數(shù)據(jù)的丟失,提高了系統(tǒng)的可靠性。通訊模塊可以將處理后的氣象信息傳遞到云平臺,云平臺中有數(shù)據(jù)統(tǒng)計、數(shù)據(jù)處理、氣象預(yù)警以及數(shù)據(jù)存儲模塊,能夠?qū)Υd終端傳入的數(shù)據(jù)進行最終的分析處理。
圖1 系統(tǒng)總體架構(gòu)Fig.1 Overall system architecture
移動式氣象智能監(jiān)測系統(tǒng)主要觀測要素有風速、風向、空氣溫度、相對濕度、氣壓等。常規(guī)安裝的都是風速風向傳感器,安裝位置要求比較苛刻,測量準確度和穩(wěn)定性也不高。本系統(tǒng)采用了芬蘭VAISALA公司生產(chǎn)的WXT536一體化氣象傳感器,采用緊湊式包裝,整體外觀如圖2所示。本系統(tǒng)采用2臺傳感器,冗余設(shè)計,當某臺設(shè)備出現(xiàn)故障時,自動切換到另外一臺設(shè)備。大大提高了系統(tǒng)的可靠性,保證監(jiān)測設(shè)備7×24 h不間斷工作。
圖2 WXT536外觀Fig.2 Appearance of WXT536
WXT536性能指標如表1所示,主要測量氣壓、溫度、濕度、雨量、風速、風向等。WXT536具備加熱功能,位于降水傳感器下面和風變換器內(nèi)部的加熱元件使降水傳感器和風傳感器上面不會堆積冰雪,降水傳感器下面的加熱溫度傳感器控制加熱。該傳感器還可配備鳥刺套件用于降低鳥類對風雨測量的干擾。
表1 WXT536技術(shù)指標Table.1 WXT536 technical indicators
六要素一體化傳感器通訊協(xié)議采用ASCII自動模式,串行接口采用RS-485。測試時傳感器采用24 V進行供電,串口配置:波特率4 800,數(shù)據(jù)位7位,停止位1位,校驗位Even。軟件根據(jù)協(xié)議格式,對數(shù)據(jù)進行解析和處理。風速、風向數(shù)據(jù)采集間隔設(shè)置為1 s,溫度、濕度、壓力、降水采集間隔設(shè)置為20 s。測試數(shù)據(jù)如圖3所示。
圖3 測試數(shù)據(jù)截圖Figure.3 Screenshot of test data
一體化氣象傳感器通過廠家配套的橫臂及附件安裝于拖輪桅桿或甲板上,通常建議在距離風桿的所有方向上都有至少150 m的開放區(qū)域。與任何高度h的物體的最小距離間隔為該物體高度的10倍,才不會對風測量有顯著干擾,傳感器集成電子羅盤,安裝時無需固定傳感器方向,如圖4所示。根據(jù)傳感器廠家建議,結(jié)合拖輪上安裝空間,選擇將傳感器安裝在桅桿上,如圖5所示。
圖4 開闊區(qū)域中建議的風桿位置Figure.4 Suggested position of wind mast in open area
圖5 桅桿安裝位置Figure.5 Schematic diagram of mast installation position
本系統(tǒng)采用氣象數(shù)據(jù)邊緣計算新模式,使得系統(tǒng)具備本地數(shù)據(jù)采集、分析計算、智能處理的能力[7]。設(shè)備不再需要持續(xù)不斷地將各種傳感數(shù)據(jù)上傳到云平臺,而在邊緣側(cè)即可完成各種氣象數(shù)據(jù)的處理,只需要把處理及分析后的少量結(jié)果數(shù)據(jù)進行上傳即可,大大減少了數(shù)據(jù)傳輸量。由于港作拖輪距離岸基有一定距離(最遠可達20 nmile左右,1 nmile=1 852 m),數(shù)據(jù)傳輸距離和帶寬都受一定限制,因此采用邊緣計算變得非常有必要。主要實現(xiàn)如下功能。
(1)完成數(shù)據(jù)格式標準化
數(shù)據(jù)具有異構(gòu)性的特點,不同類型的數(shù)據(jù)在傳入數(shù)據(jù)中心后需要作進一步的規(guī)范化才能夠在超算中進行處理,傳統(tǒng)方式將數(shù)據(jù)統(tǒng)一上傳至數(shù)據(jù)中心服務(wù)器中統(tǒng)一進行規(guī)范化處理。而通過邊緣計算就可以將數(shù)據(jù)在數(shù)據(jù)源到數(shù)據(jù)中心路徑之間的任意計算和網(wǎng)絡(luò)資源中按照符合超算的規(guī)范來統(tǒng)一格式,然后將處理后的數(shù)據(jù)上傳到數(shù)據(jù)中心,簡化了數(shù)據(jù)中心對數(shù)據(jù)的處理步驟。
(2)控制數(shù)據(jù)源質(zhì)量
從邊緣設(shè)備傳輸數(shù)據(jù)到數(shù)據(jù)中心致使網(wǎng)絡(luò)的數(shù)據(jù)較繁雜,會使傳輸帶寬的負載量急劇增加,造成較長的網(wǎng)絡(luò)延遲。通過邊緣計算可以在數(shù)據(jù)傳入數(shù)據(jù)中心之前對數(shù)據(jù)的質(zhì)量進行篩選,對高質(zhì)量的數(shù)據(jù)保留并上傳,低質(zhì)量的冗余數(shù)據(jù)則進行備份刪除,不進行上傳,提高了上傳數(shù)據(jù)的質(zhì)量,降低了傳輸帶寬的負載量。
(3)輕量化的存儲與管理
通過邊緣計算對數(shù)據(jù)的規(guī)范以及質(zhì)量的篩選等操作,數(shù)據(jù)質(zhì)量更高,可靠性更強,易讀性更好。為了提高數(shù)據(jù)的復(fù)用性,邊緣設(shè)備需要對上傳至數(shù)據(jù)中心的數(shù)據(jù)進行存儲備份,提高數(shù)據(jù)的傳輸速率,數(shù)據(jù)的存取過程以及管理都是輕量化的。
以氣象風向和風速數(shù)據(jù)為例,介紹了數(shù)據(jù)分析流程。主要完成數(shù)據(jù)準確度評估。在進行分析評估之前需要對數(shù)據(jù)進行預(yù)處理,而數(shù)據(jù)預(yù)處理對于后續(xù)的數(shù)據(jù)分析和建模來說是至關(guān)重要的[8],因為大部分原始數(shù)據(jù)是不完整的,而且通常會包含很多噪聲,如重復(fù)數(shù)據(jù)、缺失值、離散值(異常值)等問題。由于噪聲的存在,需要對數(shù)據(jù)進行預(yù)處理,主要包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)歸約4個步驟。
以采集到的風場數(shù)據(jù)為例,主要包括日期、時間、經(jīng)度、緯度、風速以及風向等6個重要參數(shù)。
風場原始數(shù)據(jù)中包含的主要噪聲如下。(1)重復(fù)數(shù)據(jù):完全相同的兩組數(shù)據(jù)。
(2)缺失值:判定處理相鄰兩個單位時間內(nèi)是否有數(shù)據(jù)。如果數(shù)據(jù)缺失,使用9999填充。
(3)異常值:在拖輪上,大多數(shù)情況下風速低于20 m/s,當出現(xiàn)雷雨大風等極端天氣的時候風速值會更大,但是風速的變化是漸變的,因此,處理判斷風速是否出現(xiàn)異常大的值外,還需要判斷相鄰風速差值是否出現(xiàn)比較大的變化。
以上為風場數(shù)據(jù)的噪聲判定和處理準則。
3.2.1 數(shù)據(jù)清洗
一體化氣象傳感器采集的氣象數(shù)據(jù)會存在冗余信息,通過數(shù)據(jù)清洗可以刪除重復(fù)信息、糾正存在的錯誤,并提供數(shù)據(jù)一致性[9]。首先對傳感器獲取得數(shù)據(jù)進行缺失值清洗,對重要性較高的字段可以通過計算進行填充,或者根據(jù)經(jīng)驗進行估計,而對重要性較低的字段,可以只進行簡單的填充。其次要對數(shù)據(jù)進行格式內(nèi)容清洗,通過氣象數(shù)據(jù)質(zhì)控方法對數(shù)據(jù)中時間、日期等顯示格式的不一致進行修正,并去除對內(nèi)容中不應(yīng)該存在的字符。然后將容易發(fā)現(xiàn)的邏輯錯誤以及異常值進行修正,將數(shù)據(jù)中非需求的字段清除,最終得到可靠性較高的數(shù)據(jù)。
3.2.2 氣象數(shù)據(jù)質(zhì)控方法
氣象數(shù)據(jù)對質(zhì)量控制的方法要求數(shù)據(jù)符合天氣學(xué)、氣候?qū)W原理,以氣象要素的時間、空間變化規(guī)律和各要素間相互聯(lián)系的規(guī)律,從多個方面分析氣象資料的質(zhì)量[10]。通過氣象數(shù)據(jù)質(zhì)量控制可以發(fā)現(xiàn)傳感器采集的氣象數(shù)據(jù)中質(zhì)量較低的部分,質(zhì)量控制主要以實時檢查為主。首先對監(jiān)測數(shù)據(jù)進行極值檢查,對數(shù)據(jù)中是否有超出氣候極值的記錄進行排查,其次對數(shù)據(jù)的界限值進行檢查,找出從氣候?qū)W的角度出發(fā),超出數(shù)據(jù)界限的數(shù)據(jù),還需要對數(shù)據(jù)的內(nèi)部一致性以及時間一致性進行檢查,即獲取的氣象數(shù)據(jù)各記錄之間的關(guān)系以及這些記錄在一定時間范圍內(nèi)的變化是否符合一定的規(guī)律。
3.2.3 深度學(xué)習(xí)異常檢測模型
針對數(shù)據(jù)中的異常值,采用BP神經(jīng)網(wǎng)絡(luò)的方法進行檢測,深度學(xué)習(xí)作為機器學(xué)習(xí)的新發(fā)展方向,它可以利用具有多個處理層的模型架構(gòu)來學(xué)習(xí)輸入數(shù)據(jù)間的高階隱含特征[11]。BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋型神經(jīng)網(wǎng)絡(luò),由輸入層、隱藏層和輸出層組成,BP神經(jīng)網(wǎng)絡(luò)異常檢測模型如圖6所示。
圖6 異常檢測BP神經(jīng)網(wǎng)絡(luò)模型Fig.6 Anomaly detection BP neural network Model
圖中,網(wǎng)絡(luò)的輸入層對應(yīng)傳感器采集的風速值,x1,x2,…,xn表示采集到的風速值,網(wǎng)絡(luò)輸出層輸出節(jié)點數(shù)與輸入節(jié)點數(shù)相同,每一個節(jié)點即z1,z2,…,zn對應(yīng)相應(yīng)的輸入數(shù)據(jù)是否是異常值,BP神經(jīng)網(wǎng)絡(luò)通過計算輸出值與標簽之間的誤差,使用反向傳播的方式訓(xùn)練模型中隱藏層的參數(shù),最終得到擬合后的模型。通過訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)能夠自動對傳感器采集的風速信息進行異常值檢測,不需要人工標注,降低了人工成本,且提高了數(shù)據(jù)處理效率。
3.2.4 數(shù)據(jù)變換
數(shù)據(jù)轉(zhuǎn)換就是將氣象數(shù)據(jù)進行轉(zhuǎn)換或歸并,從而構(gòu)成一個適合數(shù)據(jù)處理的描述形式。將觀測數(shù)據(jù)和GPS的時間信息、位置信息等按照BUFR編碼格式對氣象數(shù)據(jù)進行編碼。例如對于同一個數(shù)據(jù)對象的名稱應(yīng)該是一致的,同一個數(shù)據(jù)對象的數(shù)據(jù)類型必須統(tǒng)一,對于數(shù)值型字段,單位需要統(tǒng)一且小數(shù)位數(shù)也需要統(tǒng)一。
MySQL數(shù)據(jù)庫是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng),其快速、健壯和易用,且操作簡單,是一個輕量級的性能強大的數(shù)據(jù)庫。MySQL數(shù)據(jù)庫還具有跨平臺性,能夠支持不同的操作系統(tǒng),方便了數(shù)據(jù)的管理[12]。將氣象數(shù)據(jù)儲存在MySQL數(shù)據(jù)庫中,能夠?qū)崿F(xiàn)數(shù)據(jù)存取的快速響應(yīng),根據(jù)氣象數(shù)據(jù)建立對應(yīng)的數(shù)據(jù)表,用于存儲數(shù)據(jù)預(yù)處理后的氣象數(shù)據(jù)。以風場數(shù)據(jù)為例,建立的數(shù)據(jù)庫表列名與風場數(shù)據(jù)各個指標相對應(yīng),將風場數(shù)據(jù)編號設(shè)置為主鍵,設(shè)置所有指標的數(shù)據(jù)類型及數(shù)據(jù)長度,是否為空值,風場數(shù)據(jù)的數(shù)據(jù)庫設(shè)計如表2所示。
表2 風場數(shù)據(jù)表Tab.2 Wind farm data table
船載智能通訊模塊采用一體式設(shè)計,支持4G和北斗傳輸模式,氣象監(jiān)測數(shù)據(jù)經(jīng)過統(tǒng)一標準的數(shù)據(jù)格式,經(jīng)過4G網(wǎng)絡(luò)傳輸?shù)礁劭诘恼{(diào)度中心。其中,港口調(diào)度中心的服務(wù)器配置固定IP地址,所有來自船載移動觀測系統(tǒng)的數(shù)據(jù)經(jīng)過雙網(wǎng)路進入固定地址的服務(wù)器,通過系統(tǒng)軟件對數(shù)據(jù)進行處理和展示,其網(wǎng)絡(luò)拓撲圖如圖7所示。關(guān)鍵數(shù)據(jù)及報警信息通過北斗短報文進行雙網(wǎng)冗余傳輸,保證數(shù)據(jù)可靠性。
圖7 網(wǎng)絡(luò)拓撲Fig.7 Network topology diagram
本文通過邊緣計算技術(shù)及氣象觀測技術(shù)的結(jié)合,重新構(gòu)架船載移動式氣象觀測系統(tǒng),充分發(fā)揮邊緣處理能力,將氣象數(shù)據(jù)在邊緣側(cè)進行處理,傳輸少量處理后的數(shù)據(jù),降低了數(shù)據(jù)傳輸?shù)臅r延,提高了氣象數(shù)據(jù)傳輸?shù)膶崟r性,通過采用人工智能、大數(shù)據(jù)、輕量級數(shù)據(jù)庫等工具的運用,提高了移動式氣象觀測數(shù)據(jù)的質(zhì)控水平,減少了傳輸數(shù)據(jù)的冗余信息,實現(xiàn)了數(shù)據(jù)的時空歸一化處理,為未來港口氣象數(shù)據(jù)的進一步加工挖掘,提升港口企業(yè)生產(chǎn)數(shù)據(jù)的價值,奠定良好基礎(chǔ)。