陳 寧,邵夢琪,王延?xùn)|,龔 熙,黃 振,羅鴻宇
(湖北省氣象信息與技術(shù)保障中心,湖北武漢 430074)
目前湖北已經(jīng)建成3 個(gè)船舶自動氣象站,主要負(fù)責(zé)長江航線(重慶—上海)的天氣預(yù)報(bào)預(yù)警,并且計(jì)劃在未來幾年內(nèi)繼續(xù)增加船舶氣象站的數(shù)量。一般氣象站網(wǎng)的數(shù)據(jù)傳輸采用單中心模式,隨著氣象業(yè)務(wù)的發(fā)展壯大,各種氣象自動站的興起,如這種船舶自動站利用分布式傳感器采集不同地理位置的風(fēng)向、風(fēng)速、溫濕度、氣壓、能見度等氣象數(shù)據(jù),隨著站點(diǎn)的增大,數(shù)據(jù)采集頻次的增大,數(shù)據(jù)中心站服務(wù)器的運(yùn)算能力將成為氣象數(shù)據(jù)傳輸網(wǎng)絡(luò)中的瓶頸[1-4]。將云計(jì)算運(yùn)用于氣象數(shù)據(jù)的處理,是解決這一瓶頸比較好的方法。云計(jì)算是分布式計(jì)算的一種,是通過網(wǎng)絡(luò)“云”將龐大的數(shù)據(jù)處理程序分解成無數(shù)個(gè)小程序,然后通過多部服務(wù)器組成的系統(tǒng)進(jìn)行處理和分析這些小程序,得到結(jié)果并返回給用戶。其核心為大規(guī)模的分布式環(huán)境下的數(shù)據(jù)存儲和網(wǎng)絡(luò)服務(wù),通過分布式的規(guī)?;汉头?wù)器虛擬化軟件來實(shí)現(xiàn)。與公有云相比,私有云能在數(shù)據(jù)安全和可靠性方面進(jìn)行有效的控制[5-13]。
本氣象站網(wǎng)云平臺基于B/S 架構(gòu),由多個(gè)船舶氣象站組成的氣象站網(wǎng),船載自動氣象站組成結(jié)構(gòu)如圖1 所示,通過DTU無線網(wǎng)絡(luò)傳輸氣象中心站處理平臺。該架構(gòu)可以分為數(shù)據(jù)采集層、網(wǎng)絡(luò)層、應(yīng)用層。
圖1 船舶自動氣象站組成結(jié)構(gòu)
船舶氣象站的觀測要素包括航速、航向、經(jīng)緯度、風(fēng)向、風(fēng)速、溫度、濕度、氣壓、能見度等。通過各類氣象傳感器采集觀測數(shù)據(jù),將觀測數(shù)據(jù)轉(zhuǎn)換為各種電壓、電流、電阻等各類電信號,傳輸至氣象站主采集器進(jìn)行處理和存儲。
網(wǎng)絡(luò)層利用無線DTU 通信設(shè)備將氣象站采集器中處理后的數(shù)據(jù)傳輸至云平臺。云平臺是整個(gè)氣象站網(wǎng)的核心,完成大量的氣象數(shù)據(jù)的存儲、分析處理和發(fā)布,并有接口對接應(yīng)用層。
能夠基于瀏覽器或應(yīng)用程序,給用戶提供各種氣象產(chǎn)品和數(shù)據(jù)服務(wù),例如中短期天氣預(yù)報(bào)、各類數(shù)據(jù)查詢?yōu)g覽等。
基于物聯(lián)網(wǎng)卡的無線云平臺氣象站網(wǎng)通過無線數(shù)據(jù)傳輸、氣象數(shù)據(jù)云存儲以及氣象數(shù)據(jù)云應(yīng)用3 個(gè)方面進(jìn)行實(shí)現(xiàn)的[14-16]。
氣象站采用DTU 通信模塊進(jìn)行數(shù)據(jù)的無線傳輸,兼容2G/3G/4G 移動通信。早期利用的是各個(gè)移動運(yùn)營商的GPRS 等2G無線網(wǎng)絡(luò),當(dāng)時(shí)氣象數(shù)據(jù)采集和傳輸頻次較低,基本為1 h/次或10 min/次,數(shù)據(jù)量不大,GPRS 的數(shù)據(jù)吞吐量完全能夠滿足氣象站的數(shù)據(jù)傳輸。隨著氣象觀測要素的增多,數(shù)據(jù)傳輸頻次的增大,達(dá)到了5 min/次或1 min/次,目前使用的是4G 并向下兼容的DTU 模塊,保證了傳輸速度和穩(wěn)定高效。
采用DTU 無線傳輸有2 個(gè)優(yōu)點(diǎn):①可以實(shí)現(xiàn)云平臺管理的規(guī)模化、集中化;②支持SIM 卡管理,提升規(guī)模化。
本系統(tǒng)自動氣象監(jiān)測網(wǎng)絡(luò)如圖2 所示:
圖2 船舶自動氣象站監(jiān)測網(wǎng)絡(luò)
本系統(tǒng)使用華為云平臺Manage One 取代以往氣象監(jiān)測中心的硬件計(jì)算和存儲方式,Manage One 提供統(tǒng)一的數(shù)據(jù)中心管理平臺,針對分布云數(shù)據(jù)中心的服務(wù)保障和服務(wù)編排提供先進(jìn)的管理方案,能夠做到:物理分布、邏輯集中,多數(shù)據(jù)中心統(tǒng)一管理、異構(gòu)虛擬平臺統(tǒng)一管理、運(yùn)營和運(yùn)維統(tǒng)一管理;可基于VDC(Virtual Data Center,虛擬數(shù)據(jù)中心)模式,為不同的部門、業(yè)務(wù)提供不同的資源服務(wù),實(shí)現(xiàn)資源的建設(shè)與使用分離,更加匹配企業(yè)和運(yùn)營商的商業(yè)模式。
Manage One 的優(yōu)勢:①提供統(tǒng)一的運(yùn)維平臺,可以統(tǒng)一管理物理服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、虛擬資源等多種類型;②提供高效的運(yùn)維管理手段,提升問題處理效率,縮減問題處理時(shí)間;③自動生成報(bào)表,并通過靈活的通知機(jī)制,在問題發(fā)生時(shí)可快速通知到維護(hù)人員,從而快速響應(yīng),解決問題;④提供先進(jìn)的分析工具,方便預(yù)先研判故障。容量管理功能可通過歷史容量指標(biāo)給出容量預(yù)測的能力,以便管理員對資源容量做好規(guī)劃和擴(kuò)容。
當(dāng)氣象站監(jiān)測所得數(shù)據(jù)通過4G 網(wǎng)絡(luò)傳輸?shù)皆朴?jì)算中心后,云計(jì)算平臺需要對這些數(shù)字信號進(jìn)行分析處理和存儲,本系統(tǒng)通過RDS(Relational Database Service,云關(guān)系型數(shù)據(jù)庫)的存儲服務(wù)和SQL Server 實(shí)現(xiàn)上述功能。Manage One 需要處理的數(shù)據(jù)有:從感知層獲取的數(shù)據(jù)和供應(yīng)層使用的數(shù)據(jù),兩種數(shù)據(jù)分別應(yīng)用Manage One 的HBase 和Tables 存儲及SQL Server數(shù)據(jù)庫存儲。
在氣象業(yè)務(wù)環(huán)境中,私有云的設(shè)計(jì)從邏輯上分為4 個(gè)層次:基礎(chǔ)硬件層、資源調(diào)度層、會話管理層和終端接入層。
(1)基礎(chǔ)硬件層。目前氣象環(huán)境中根據(jù)用戶需求不同建立了虛擬服務(wù)器集群和物理工作站池兩種不同的硬件環(huán)境,虛擬服務(wù)器集群負(fù)責(zé)為普通用戶組提供服務(wù),物理池負(fù)責(zé)為特殊用戶組提供服務(wù)。
(2)資源調(diào)度層。用于實(shí)現(xiàn)基礎(chǔ)硬件的云化,通過建立計(jì)算機(jī)資源池、存儲資源池和網(wǎng)絡(luò)資源池來實(shí)現(xiàn)IT 基礎(chǔ)資源的統(tǒng)一管理、按需分配。依托ManageOne Service Center 管理軟件實(shí)現(xiàn)資源利用率的最大化。
(3)會話管理層。負(fù)責(zé)整個(gè)私有云資源調(diào)度分配、用戶身份鑒別和安全控制功能,其中資源調(diào)度分配主要由VCS 連接服務(wù)器和部署在各種網(wǎng)絡(luò)環(huán)境下的VSS 安全服務(wù)器組來實(shí)現(xiàn),用戶身份鑒別和安全控制主要由ActiveDirectory 服務(wù)器實(shí)現(xiàn),通過域用戶管理策略管理全體用戶的賬戶策略—安全策略—軟件策略,提升了對用戶行為控制的效率。
(4)終端應(yīng)用層。負(fù)責(zé)在各種網(wǎng)絡(luò)環(huán)境下臺式電腦、筆記本電腦客戶機(jī)和使用APPLE iOS 或者Google Android 操作系統(tǒng)的智能終端設(shè)備接入氣象私有云。
目前船舶氣象站每隔5 min 采集1 條氣象數(shù)據(jù)傳回?cái)?shù)據(jù)庫服務(wù)器,以后的發(fā)展趨勢是每隔1 min 采集并上傳。長此以往,數(shù)據(jù)庫中將會存入大量的氣象數(shù)據(jù),因此需要解決氣象數(shù)據(jù)的存儲和處理問題。
RDS 是一種基于云平臺的、穩(wěn)定可靠、便捷管理的在線關(guān)系型數(shù)據(jù)庫,可以支持SQL Server,利用Manage One 華為云數(shù)據(jù)庫RDS for SQL Server 2017 數(shù)據(jù)庫,它可以支持5 個(gè)只讀副本,無論是讀寫分離還是負(fù)載均衡的支持都能實(shí)現(xiàn)。
RDS 無需用戶親自完成數(shù)據(jù)庫安裝、部署、維護(hù)、擴(kuò)容和監(jiān)控等工作,用戶只需一些簡單的操作,繁瑣復(fù)雜的過程即可由RDS 高度自動化完成,包括安裝數(shù)據(jù)庫軟件、為數(shù)據(jù)庫軟件升級版本或打補(bǔ)丁、搭建數(shù)據(jù)庫主備實(shí)例、只讀實(shí)例、數(shù)據(jù)備份和恢復(fù)、監(jiān)控?cái)?shù)據(jù)庫運(yùn)行指標(biāo)等。另外,RDS 主備實(shí)例可以在主實(shí)例發(fā)生故障時(shí),由備實(shí)例快速自動接管業(yè)務(wù)讀寫請求,最大限度減少業(yè)務(wù)中斷時(shí)間,而這個(gè)過程無需用戶介入。
使用RDS,數(shù)據(jù)庫實(shí)例的生命周期狀態(tài)、各實(shí)例的角色關(guān)系、實(shí)例OS 和DB 引擎的各項(xiàng)指標(biāo)監(jiān)控信息、數(shù)據(jù)庫日志信息、數(shù)據(jù)庫備份信息、數(shù)據(jù)庫引擎參數(shù)信息等,都可以通過Console圖形化界面對用戶可視,而且用戶可以很方便地通過Console或者Open API 進(jìn)行管理和監(jiān)控。
使用RDS,用戶可以隨時(shí)根據(jù)數(shù)據(jù)庫的讀寫比和負(fù)載壓力情況,通過一些簡單操作即可完成增加刪除只讀實(shí)例,及時(shí)水平擴(kuò)容以應(yīng)對業(yè)務(wù)暴漲情況,或者及時(shí)縮容回收資源以應(yīng)對業(yè)務(wù)回落情況,避免資源長期閑置浪費(fèi)。
數(shù)據(jù)庫設(shè)計(jì)了站點(diǎn)信息表、氣象站觀測數(shù)據(jù)表、用戶賬號信息表3 個(gè)表格,氣象站觀測數(shù)據(jù)表見表1。
表1 氣象站觀測數(shù)據(jù)表
湖北省的船舶氣象自動站數(shù)據(jù)可以分為兩類:結(jié)構(gòu)化數(shù)據(jù)和半/非結(jié)構(gòu)化數(shù)據(jù)。云存儲平臺根據(jù)氣象資料屬性不同提供了結(jié)構(gòu)化存儲(Table Storage)和半/非結(jié)構(gòu)化數(shù)據(jù)存儲(HBase Storage)兩種存儲方式[17-20]。
泛氣象數(shù)據(jù)及各類服務(wù)產(chǎn)品數(shù)據(jù)結(jié)構(gòu)化程度低,數(shù)據(jù)參數(shù)一致性低,數(shù)據(jù)大小不定。對于此類非結(jié)構(gòu)化數(shù)據(jù),如果采用通用的結(jié)構(gòu)化存儲方式,必然導(dǎo)致其在數(shù)據(jù)存取方面出現(xiàn)問題,無法滿足業(yè)務(wù)需求。故采用HBase 非結(jié)構(gòu)化數(shù)據(jù)庫進(jìn)行存儲。
HBase Storage 主要存儲氣象觀測資料中的圖像及Flash 文件,對處理后的歷史氣象數(shù)據(jù)圖表、曲線、實(shí)時(shí)圖像圖片及天氣預(yù)測圖片等進(jìn)行保存,并提供接口供應(yīng)用層展示,F(xiàn)lash 文件主要有movie.swf 和mycurve.swf 兩種格式,分別用來展示動態(tài)的氣象動畫及統(tǒng)計(jì)動畫。這類數(shù)據(jù)結(jié)構(gòu)化程度低,數(shù)據(jù)參數(shù)一致性低,數(shù)據(jù)大小不定,采用HBase非結(jié)構(gòu)化數(shù)據(jù)庫進(jìn)行存儲。
HBase 的數(shù)據(jù)表由行和列組成。邏輯上,數(shù)據(jù)存儲在表里,而表由行和列組成,每行由一個(gè)可排序的主鍵和任意多的列構(gòu)成,列又歸屬于不同列族。HBase 是面向列的稀疏存儲,列族是固定不變,在創(chuàng)建表時(shí)被定義,相當(dāng)于表結(jié)構(gòu),HBase 將同一個(gè)列族下的數(shù)據(jù)存儲在同一個(gè)目錄下,而列族中的列成員不必在表定義時(shí)聲明,可以在表實(shí)時(shí)運(yùn)行中動態(tài)定義。
Table Storage 存儲則通過ASP.net 實(shí)現(xiàn)普通數(shù)據(jù)的保存。在用戶進(jìn)行數(shù)據(jù)獲取時(shí)利用唯一的Session 進(jìn)行事務(wù)跟蹤,如用戶登錄、密碼設(shè)置、數(shù)據(jù)查詢更新等操作。
氣象觀測數(shù)據(jù)利用HBase Storage 和 Table Storage 兩種存儲方式,通過SQL Server 進(jìn)行數(shù)據(jù)的查詢、關(guān)聯(lián)、更新及修改。
針對存儲的氣象數(shù)據(jù),采用B/S 結(jié)構(gòu)開發(fā)了船舶氣象站網(wǎng)的數(shù)據(jù)顯示系統(tǒng)(圖3)。該系統(tǒng)能夠幫助氣象監(jiān)控預(yù)報(bào)人員更有效直觀地獲得長江沿線的氣象數(shù)據(jù),同時(shí)對長江沿線氣象災(zāi)害的預(yù)警信息有著更快的反應(yīng)。也為長江沿線的水文氣象服務(wù)、氣候變化研究提供重要的觀測資料。
圖3 船舶氣象站網(wǎng)數(shù)據(jù)顯示系統(tǒng)
對基于私有云的船舶自動氣象站網(wǎng)的設(shè)計(jì)與實(shí)現(xiàn)做了全面描述,基于華為的Manage One 云平臺技術(shù),完成氣象數(shù)據(jù)共享服務(wù)系統(tǒng)建設(shè),實(shí)現(xiàn)長江流域大數(shù)據(jù)處理分析及共享服務(wù)。為長江航道災(zāi)害天氣實(shí)況監(jiān)測預(yù)警、開展精細(xì)化的預(yù)報(bào)預(yù)警服務(wù)提供全方位高覆蓋的發(fā)布手段;開展長江航運(yùn)專業(yè)氣象服務(wù),提升長江航道氣象預(yù)報(bào)專業(yè)化水平和服務(wù)效益,滿足船舶駕駛?cè)藛T、旅客、政府相關(guān)管理部門對氣象服務(wù)的需要。