羅成,付桂
(上海航鴻工程管理有限公司,上海 200137)
長(zhǎng)江口航道作為長(zhǎng)江黃金水道和上海國際航運(yùn)中心建設(shè)的重要組成部分,對(duì)流域經(jīng)濟(jì)發(fā)展和國防安全建設(shè)具有重大影響。長(zhǎng)江口河勢(shì)演變規(guī)律復(fù)雜,航道的管理和維護(hù)面臨著巨大的挑戰(zhàn)。近半個(gè)世紀(jì),工程師和專家學(xué)者通過對(duì)長(zhǎng)江口航道的研究,積累了大量的寶貴數(shù)據(jù)。但由于這些歷史數(shù)據(jù)時(shí)間跨度長(zhǎng)、數(shù)據(jù)種類多樣、數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一,且分散于不同單位等原因,導(dǎo)致使用數(shù)據(jù)前需耗費(fèi)大量的收集和處理時(shí)間,嚴(yán)重限制了長(zhǎng)江口航道數(shù)據(jù)資源的利用面和利用率[1]。
隨著WebGIS 新技術(shù)的快速發(fā)展,人們可以在Internet 環(huán)境下對(duì)地理空間數(shù)據(jù)進(jìn)行整合,從而實(shí)現(xiàn)空間數(shù)據(jù)的共享和互操作,提高對(duì)大量數(shù)據(jù)信息資源的利用率,同時(shí)在已有數(shù)據(jù)的基礎(chǔ)上對(duì)未來可能出現(xiàn)的情況進(jìn)行預(yù)測(cè)和模擬。目前WebGIS 雖然已廣泛用于城市規(guī)劃[2]、地質(zhì)災(zāi)害自動(dòng)化監(jiān)測(cè)[3]、海洋預(yù)警[4]以及長(zhǎng)江航道測(cè)繪成果數(shù)據(jù)管理[5]等多個(gè)領(lǐng)域,但尚未在長(zhǎng)江口航道測(cè)繪數(shù)據(jù)管理中得到有效的應(yīng)用。因此,針對(duì)復(fù)雜多樣的長(zhǎng)江口航道測(cè)繪信息,為了滿足長(zhǎng)江口航道管理局航道日常管理和應(yīng)急事件對(duì)水文、地形和航道等相關(guān)資料的處理和查詢要求,并對(duì)未來可能事件作出預(yù)測(cè),基于WebGIS 的長(zhǎng)江口航道測(cè)繪信息平臺(tái)(以下簡(jiǎn)稱“平臺(tái)”)的建設(shè)顯得尤為重要。
平臺(tái)的建設(shè)目標(biāo)首先要完成數(shù)據(jù)庫的建設(shè),以收集和整理1998年以來長(zhǎng)江口區(qū)域的水文、地形、航道和涉水工程相關(guān)數(shù)據(jù)為主,建成水文、地形、航道和涉水工程4 個(gè)數(shù)據(jù)庫。其次是應(yīng)用系統(tǒng)的開發(fā),分別建立水文整編與統(tǒng)計(jì)系統(tǒng)、河床沖淤演變分析系統(tǒng)和航道回淤分析系統(tǒng)3個(gè)應(yīng)用系統(tǒng)。最后借助局域網(wǎng)和Internet網(wǎng)絡(luò),實(shí)現(xiàn)多用戶在線信息的瀏覽、查詢、統(tǒng)計(jì)、分析和專題圖表輸出,“平臺(tái)”在現(xiàn)有長(zhǎng)江口區(qū)域數(shù)據(jù)的基礎(chǔ)上結(jié)合機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法對(duì)未來長(zhǎng)江口區(qū)域可能出現(xiàn)的情況進(jìn)行預(yù)測(cè)和模擬分析,包括但不限于長(zhǎng)江口航道中心線變化、航道回淤預(yù)測(cè)等。
平臺(tái)目的在于為長(zhǎng)江口航道管理局各項(xiàng)職能的行使提供數(shù)據(jù)支撐和信息支持,根據(jù)長(zhǎng)江口航道管理局信息化現(xiàn)狀和業(yè)務(wù)管理的需要,“平臺(tái)”包含數(shù)據(jù)庫、應(yīng)用系統(tǒng)和管理系統(tǒng)三個(gè)模塊,如圖1所示。
圖1 長(zhǎng)江口航道測(cè)繪信息管理系統(tǒng)模塊
“平臺(tái)”以數(shù)據(jù)為基礎(chǔ),通過數(shù)據(jù)庫的建設(shè),實(shí)現(xiàn)對(duì)水文、地形、航道以及涉水工程數(shù)據(jù)的標(biāo)準(zhǔn)化和一體化管理,大大提升數(shù)據(jù)管理水平,提高數(shù)據(jù)資源的利用效率,為航道管理提供更多的涉水工程信息?!捌脚_(tái)”數(shù)據(jù)庫的技術(shù)選型以關(guān)系型數(shù)據(jù)庫(Postgresql)和非關(guān)系型數(shù)據(jù)庫(Redis、Elasticsearch)配合使用為主。常規(guī)的水文、地形、航道數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫Postgresql 中,配合Postgresql 數(shù)據(jù)庫中PostGIS 進(jìn)行地理數(shù)據(jù)空間分析(水文變化態(tài)勢(shì)、航道變化態(tài)勢(shì)、航道回淤分析等)。為了保證“平臺(tái)”的并發(fā)量和伸縮性使用非關(guān)系型數(shù)據(jù)庫Redis 進(jìn)行查詢緩存和“平臺(tái)”消息訂閱與消息發(fā)布,“平臺(tái)”運(yùn)行需要保證數(shù)據(jù)安全性和系統(tǒng)運(yùn)行安全性,使用Elasticsearch 進(jìn)行“平臺(tái)”系統(tǒng)日志管理。關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫的配合使用可以極大程度提高“平臺(tái)”的健碩性和魯棒性,同時(shí)也能極大程度地提高系統(tǒng)的安全性和用戶體驗(yàn)度。
“平臺(tái)”以應(yīng)用為目標(biāo),通過應(yīng)用系統(tǒng)的開發(fā),實(shí)現(xiàn)常規(guī)數(shù)據(jù)處理分析業(yè)務(wù)的軟件自動(dòng)化操作,簡(jiǎn)化數(shù)據(jù)分析處理過程,提高航道科研管理的工作效率?!捌脚_(tái)”應(yīng)用系統(tǒng)有三個(gè)子系統(tǒng)組成:水文整編與統(tǒng)計(jì)系統(tǒng)、河床沖淤演變分析系統(tǒng)和航道回淤分析系統(tǒng)組成?!捌脚_(tái)”采用SOA(Service-Oriented Architecture,面向服務(wù)的架構(gòu))進(jìn)行系統(tǒng)的開發(fā)、部署和管理?!捌脚_(tái)”中所有的功能都被定義成了獨(dú)立的服務(wù),所有的服務(wù)通過服務(wù)總線(ESB,Enterprise Service Bus)或流程管理器來連接。
“平臺(tái)”通過管理系統(tǒng)的開發(fā),實(shí)現(xiàn)“平臺(tái)”的穩(wěn)定與可持續(xù)運(yùn)行,保證信息數(shù)據(jù)的安全與同步更新。“平臺(tái)”管理系統(tǒng)包括數(shù)據(jù)管理和平臺(tái)管理,數(shù)據(jù)管理系統(tǒng)主要是面向不同權(quán)限的用戶進(jìn)行數(shù)據(jù)的操作。平臺(tái)管理系統(tǒng)是系統(tǒng)高級(jí)用戶對(duì)不同級(jí)別的用戶進(jìn)行權(quán)限的分配和調(diào)整,以確保系統(tǒng)中不同級(jí)別用戶的差異性。
“平臺(tái)”的部署需要以下服務(wù)器:數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器和Web 服務(wù)器(見圖2)?!捌脚_(tái)”采用K8S(kubernetes)進(jìn)行部署容器的搭建和“平臺(tái)”的部署。
圖2 “平臺(tái)”部署
(1)數(shù)據(jù)庫服務(wù)器,建立適用于長(zhǎng)江口區(qū)域時(shí)空大數(shù)據(jù)分析的統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),解決了長(zhǎng)江口歷史數(shù)據(jù)的基準(zhǔn)不一致、分類編碼不統(tǒng)一、數(shù)據(jù)格式不兼容等問題,為“平臺(tái)”的運(yùn)行提供基礎(chǔ)數(shù)據(jù)服務(wù)。
(2)應(yīng)用服務(wù)器,使用Postgresql 的PostGIS 插件實(shí)現(xiàn)GIS 空間索引技術(shù)引入測(cè)深點(diǎn)DEM 建模,實(shí)現(xiàn)超大范圍、超大規(guī)模(10 萬以上點(diǎn)數(shù))測(cè)深點(diǎn)數(shù)據(jù)的云上快速建模和計(jì)算,為“平臺(tái)”的運(yùn)行提供GIS 應(yīng)用服務(wù)。
(3)Web 服務(wù)器,采用Vue 框架,使用Echart 可視化圖表實(shí)現(xiàn)快速生成報(bào)表及可視化圖表,滿足數(shù)據(jù)分析和可視化展示需求,對(duì)特定業(yè)務(wù)數(shù)據(jù)進(jìn)行全方位分析,實(shí)現(xiàn)“平臺(tái)”的對(duì)外信息發(fā)布。
根據(jù)長(zhǎng)江口航道管理局常規(guī)業(yè)務(wù)的需要,“平臺(tái)”主要功能包括水文整編與統(tǒng)計(jì)、河床沖淤演變分析和航道回淤分析三個(gè)。
水文整編與統(tǒng)計(jì)功能以大量的歷史水文數(shù)據(jù)為基礎(chǔ),通過對(duì)垂線流速、流向、含沙量、含鹽度,斷面流量、輸砂率和潮位等水文數(shù)據(jù)的整編與統(tǒng)計(jì),實(shí)現(xiàn)各要素平均值、最值等水文要素特征值的自動(dòng)計(jì)算,以過程線、對(duì)比圖和統(tǒng)計(jì)報(bào)表等圖形與報(bào)表為主要的結(jié)果輸出方式。水文整編與統(tǒng)計(jì)相關(guān)方法和算法參照《水文資料整編規(guī)范》。
河床沖淤演變分析系統(tǒng)的功能是通過離散的河道地形水深測(cè)點(diǎn)進(jìn)行地形分析建模,實(shí)現(xiàn)地形水深提取、斷面分析、等深線分析、容積(體積)計(jì)算和沖淤分析等功能。通過 GIS 可視化,實(shí)現(xiàn)河道地形、河床沖淤結(jié)果的可視化、河床歷史演變過程以及等深線變化過程的動(dòng)畫演示。在現(xiàn)有數(shù)據(jù)的基礎(chǔ)上引入機(jī)器學(xué)習(xí)隨機(jī)森林(RandomForest)回歸預(yù)測(cè)的方法,對(duì)未來河床沖淤的情況進(jìn)行模型訓(xùn)練進(jìn)而回歸預(yù)測(cè),為今后河床沖淤情況進(jìn)行合理模擬。
航道回淤分析功能是通過航道回淤統(tǒng)計(jì)分析建模,實(shí)現(xiàn)航道各單元的疏浚工程量(上、下方)、回淤量和平均水深等回淤特征值的自動(dòng)計(jì)算及回淤分布的可視化。輸出結(jié)果包括:航道疏浚量分布圖、航道回淤量分布圖和航道單元平均水深圖等。在獲得回淤數(shù)據(jù)的基礎(chǔ)上,“平臺(tái)”對(duì)數(shù)據(jù)進(jìn)行消息發(fā)布。
“平臺(tái)”的建成與應(yīng)用具有如下優(yōu)勢(shì):
(1)數(shù)據(jù)存儲(chǔ)格式更加規(guī)范,統(tǒng)一和全面??梢酝瑫r(shí)查看和分析不同歷史時(shí)期的同一類型的數(shù)據(jù),或者同一歷史時(shí)期的不同類型的數(shù)據(jù),為長(zhǎng)江口航道管理局航道日常管理和應(yīng)急事件對(duì)相關(guān)資料的處理和查詢提供方便。
(2)更加強(qiáng)大的數(shù)據(jù)計(jì)算與分析能力,“平臺(tái)”的DEM 建模功能,不但實(shí)現(xiàn)了數(shù)據(jù)的可視化展示,還可以對(duì)數(shù)據(jù)進(jìn)行二次分析,實(shí)現(xiàn)對(duì)長(zhǎng)江口航道測(cè)繪數(shù)據(jù)的充分利用。
(3)“平臺(tái)”用戶界面友好,操作簡(jiǎn)便,使得其具有更廣泛的受眾群體。
(4)“平臺(tái)”整體系統(tǒng)安全性強(qiáng)、魯棒性高、并發(fā)量大,能夠極大提高用戶的系統(tǒng)體驗(yàn)。
(5)“平臺(tái)”引入機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的技術(shù),有效提高“平臺(tái)”預(yù)測(cè)和分析的能力。
(1)利用“平臺(tái)”強(qiáng)大的數(shù)據(jù)分析與可視化功能,為長(zhǎng)江口航道管理提供了及時(shí)有效的數(shù)據(jù)支撐。
(2)“平臺(tái)”實(shí)現(xiàn)了歷史水文數(shù)據(jù)整編與分析、河床沖淤演變分析以及航道回淤分析等功能。實(shí)現(xiàn)了對(duì)長(zhǎng)江口航道測(cè)繪數(shù)據(jù)的有效管理。