馬艷軍 江蕾 劉俊宏

摘 要 本文針對省級數(shù)據(jù)分發(fā)系統(tǒng)集群故障頻發(fā)，難以支撐海量數(shù)據(jù)分發(fā)，影響業(yè)務(wù)應(yīng)用的問題，研究新一代國內(nèi)通信系統(tǒng)、CMACast系統(tǒng)及數(shù)據(jù)下載系統(tǒng)的軟件結(jié)構(gòu)、硬件結(jié)構(gòu)和硬件虛擬化技術(shù)，基于虛擬化環(huán)境整合混閃存儲和服務(wù)器，構(gòu)建與硬件無關(guān)的操作系統(tǒng)環(huán)境，通過整合新一代國內(nèi)通信系統(tǒng)的數(shù)據(jù)、CMACast衛(wèi)星接收系統(tǒng)和數(shù)據(jù)下載系統(tǒng)，實現(xiàn)單臺服務(wù)器完成數(shù)據(jù)接收、下載和面向用戶的海量數(shù)據(jù)分發(fā)。并基于虛擬化環(huán)境實現(xiàn)系統(tǒng)的高可用性，最終形成一臺虛擬機替換原有6臺服務(wù)器加存儲的一個集群系統(tǒng)，在降低能耗和運維難度的同時，提高系統(tǒng)的穩(wěn)定性，為各類業(yè)務(wù)系統(tǒng)提供穩(wěn)定的數(shù)據(jù)保障。

關(guān)鍵詞 分發(fā)系統(tǒng);CMACast;虛擬化;氣象數(shù)據(jù)

引言

隨著氣象業(yè)務(wù)的快速發(fā)展和預(yù)報技術(shù)手段的逐漸豐富，氣象預(yù)報所需資料越來越多，氣象數(shù)據(jù)也趨于海量增加，CMACast衛(wèi)星數(shù)據(jù)廣播系統(tǒng)下發(fā)的數(shù)據(jù)巨大。因此，保證各類氣象數(shù)據(jù)的完整高效接收，實時提供給預(yù)報人員，對于預(yù)報預(yù)測、氣象預(yù)警和決策服務(wù)等具有重要意義。

1研究背景

目前，全省氣象預(yù)測預(yù)報的所需各類資料主要通過新一代國內(nèi)通信系統(tǒng)完成分發(fā)，包括CMACast衛(wèi)星數(shù)據(jù)廣播系統(tǒng)下發(fā)的各類資料，以及新一代主動從北京下載的各類資料。CMACast采用衛(wèi)星廣播的方式，快速、大容量的下發(fā)各類資料，包括常規(guī)資料，數(shù)值預(yù)報，雷達PUP產(chǎn)品，衛(wèi)星資料，數(shù)據(jù)接收量每日大概430多G，新一代下載系統(tǒng)主動下載各類資料，每日數(shù)據(jù)量大概200多G。新一代國內(nèi)通信系統(tǒng)完成各類資料的分發(fā)，同時分發(fā)給多個業(yè)務(wù)單位的業(yè)務(wù)系統(tǒng)，其中包括氣象臺數(shù)值預(yù)報解碼系統(tǒng)，集合預(yù)報處理系統(tǒng)，雷達處理系統(tǒng)，數(shù)據(jù)存儲系統(tǒng)等，氣象服務(wù)中心全國區(qū)域站接收處理系統(tǒng)，數(shù)據(jù)中心基于Cassandra的Micaps 4系統(tǒng)，全省資料共享服務(wù)器和四川周邊11個省的區(qū)域站和雷達基數(shù)據(jù)共享等[1]。

新一代國內(nèi)通信系統(tǒng)始建于2009年，其由6臺服務(wù)器構(gòu)建的一個集群系統(tǒng)，共享存儲盤陣，由于使用時間比較久，盤陣的讀寫能力已經(jīng)大大減弱。由于CMACast衛(wèi)星廣播系統(tǒng)和新一代下載系統(tǒng)每天接收和下載的數(shù)據(jù)量特別大，新一代共享盤陣的讀寫能力嚴重不足，出現(xiàn)了大文件接收不完整，錯誤文件特別多的現(xiàn)象。更嚴重的是今年已出現(xiàn)3次共享盤陣崩潰的現(xiàn)象，雖然共享盤陣修復(fù)成功，但其穩(wěn)定性已嚴重不足，嚴重影響業(yè)務(wù)運行。

綜上所述，目前急需建設(shè)一套氣象數(shù)據(jù)分發(fā)集成系統(tǒng)，集CMACast衛(wèi)星數(shù)據(jù)廣播系統(tǒng)接收，新一代下載分發(fā)于一體，穩(wěn)定高效運行，實時提供各類氣象數(shù)據(jù)，保證全省氣象預(yù)報預(yù)測的正常需要。該系統(tǒng)運行的穩(wěn)定性將是我省氣象業(yè)務(wù)正常開展與否的一個決定性因素，該系統(tǒng)作為氣象信息系統(tǒng)的核心基礎(chǔ)系統(tǒng)，保證其用備健全是最基本的要求。

2氣象虛擬化資源池云

服務(wù)器虛擬化設(shè)計運用VMware整體解決方案設(shè)計建設(shè)省級計算資源池，實現(xiàn)了計算資源的虛擬化。利用雙路機架式中端服務(wù)器5臺和四路機架式高端服務(wù)器10臺初步建成計算資源池提供應(yīng)用計算型服務(wù)。其中高端四路機架式服務(wù)器每臺配置4顆Xeon E7-4830 v2 CPU、160G內(nèi)存，中端雙路機架式服務(wù)器每臺2顆XeonE5-2620 CPU、192G內(nèi)存，軟件上配置相應(yīng)虛擬化軟件許可，以及服務(wù)器操作系統(tǒng)、GIS、云自動化管理運維等基礎(chǔ)軟件，資源池整體可提供約250臺虛擬服務(wù)器供應(yīng)用級業(yè)務(wù)系統(tǒng)使用。 VMware底層架構(gòu)內(nèi)置了虛擬機交換機和存儲多路徑軟件，可以靈活實現(xiàn)虛擬化系統(tǒng)中網(wǎng)絡(luò)環(huán)境和存儲環(huán)境的共享和隔離。通過充分利用資源和自動化，實現(xiàn)只有由 VMware 虛擬化驅(qū)動的云計算基礎(chǔ)架構(gòu)才能提供的經(jīng)濟性、彈性、安全性和遵從性。通過將 IT 硬件抽象為按需分配的資源池和部署私有云，可以實現(xiàn)極高的資源利用率和效率，以及更好地支持業(yè)務(wù)增長所需的敏捷性。

存儲虛擬化設(shè)計，采用業(yè)界先進SAN+NAS統(tǒng)一存儲技術(shù)，通過搭建一套NetApp FAS8040，與NetApp V3250存儲進行存儲集群部署，實現(xiàn)對現(xiàn)有的主流存儲進行虛擬化，對現(xiàn)有存儲資源的統(tǒng)一，形成塊級存儲資源池，可用存儲容量200T，并可線性擴展，可對群集中引擎之間的存儲域進行自動共享、平衡和故障切換。通過SnapMirror復(fù)制軟件，與NetApp VSC備份功能相結(jié)合，實現(xiàn)四川氣象關(guān)鍵業(yè)務(wù)數(shù)據(jù)的在線實時復(fù)制，虛機本地和遠程周期性備份，進一步提升四川氣象局數(shù)據(jù)安全和業(yè)務(wù)系統(tǒng)高可用。

運維管理設(shè)計，設(shè)計建設(shè)基礎(chǔ)資源池運維管理系統(tǒng)，實現(xiàn)資源池的資源自動化調(diào)度、運維管理和監(jiān)控、日志管理、故障分析等功能;通過搭建云門戶平臺，滿足對資源池的可視化管理、滿足對資源的自助式服務(wù)，自動化、流程化、標準化分配和回收。為多個業(yè)務(wù)及部門或單位提供隔離的自助式門戶，實現(xiàn)統(tǒng)一資源調(diào)配、分級管理。

通過資源的集約化，利用率大大提高，按照標準規(guī)范化建設(shè)完成具備一定規(guī)模、統(tǒng)一管理、擴展靈活的基礎(chǔ)設(shè)施資源池，建立健全基礎(chǔ)設(shè)施資源池管理機制，逐步向基礎(chǔ)設(shè)施資源池遷移現(xiàn)有資源分散式、煙囪型業(yè)務(wù)系統(tǒng)，面向省級業(yè)務(wù)單位統(tǒng)一提供服務(wù)。虛擬化整合后，兩路中端服務(wù)器能夠承載的虛擬機為1：10，四路高端服務(wù)器能夠承載的虛擬機為1：20;物理機數(shù)量少，服務(wù)器資源利用率高，可根據(jù)各應(yīng)用情況動態(tài)調(diào)節(jié)資源;通過預(yù)先制定好的各種操作系統(tǒng)、應(yīng)用模板和自部署向?qū)Щ蚩截愄摂M機，快速部署開發(fā)測試環(huán)境和應(yīng)用;自動備份和快速恢復(fù)虛擬機和重要數(shù)據(jù);可以通過在線遷移功能將虛擬機遷移至另一臺物理機，硬件故障維護或升級時不影響業(yè)務(wù)的正常開展;管理維護的物理機數(shù)量大大減少;通過VMware HA功能，當服務(wù)器故障時，自動重新啟動虛擬機;物理機數(shù)量和機柜大大減少，減少耗電量[2]。

3氣象數(shù)據(jù)分發(fā)系統(tǒng)集成優(yōu)化技術(shù)應(yīng)用

3.1 虛擬化及CMACast衛(wèi)星接收機和加密狗的接入

數(shù)據(jù)中心虛擬化資源池設(shè)計運用基于VMware虛擬化和深信服超融合云兩種主流技術(shù)架構(gòu)整體解決方案設(shè)計建設(shè)省級計算資源池，實現(xiàn)了計算資源的虛擬化。底層架構(gòu)內(nèi)置了虛擬機交換機和存儲多路徑軟件，可以靈活實現(xiàn)虛擬化系統(tǒng)中網(wǎng)絡(luò)環(huán)境和存儲環(huán)境的共享和隔離。通過充分利用資源和自動化，實現(xiàn)只有由虛擬化驅(qū)動的云計算基礎(chǔ)架構(gòu)才能提供的經(jīng)濟性、彈性、安全性和遵從性。存儲虛擬化設(shè)計，采用業(yè)界先進SAN+NAS統(tǒng)一存儲技術(shù)，通過搭建一套整合混閃存儲進行存儲集群部署，實現(xiàn)對現(xiàn)有的主流存儲進行虛擬化，對現(xiàn)有存儲資源的統(tǒng)一，形成塊級存儲資源池，并可線性擴展，可對群集中引擎之間的存儲域進行自動共享、平衡和故障切換[3]。

CAMCast衛(wèi)星接收系統(tǒng)主要由室外天線系統(tǒng)、衛(wèi)星接收機、小站服務(wù)器和軟件子系統(tǒng)組成。CMACast衛(wèi)星接收機擁有獨立的私網(wǎng)網(wǎng)段，同時，CMACast軟件系統(tǒng)需要USB接口的加密狗，所以在基于虛擬化環(huán)境整合混閃存儲和服務(wù)器后，構(gòu)建與硬件無關(guān)的操作系統(tǒng)環(huán)境中，接入CMACast衛(wèi)星接收機私有網(wǎng)址，與CMACast衛(wèi)星接收機連通后，測試其連通。同時，在虛擬化的操作系統(tǒng)里，配置USB接口模塊的加載，接入CMACast接收系統(tǒng)加密狗，使其識別加密狗，讀出加密狗的卡號。

3.2 氣象數(shù)據(jù)分發(fā)系統(tǒng)單機構(gòu)建及其高可用性

在研究虛擬化和CMACast衛(wèi)星接收機和加密狗接入虛擬機的基礎(chǔ)上，構(gòu)建氣象數(shù)據(jù)分發(fā)系統(tǒng)，在虛擬機linux操作系統(tǒng)穩(wěn)定運行的基礎(chǔ)上，首先，用root用戶安裝mysql和tomcat，導(dǎo)入mysql的相關(guān)數(shù)目庫表，然后用cmss用戶安裝新一代分發(fā)下載軟件，配置相關(guān)分發(fā)下載，最后用cmacast用戶安裝衛(wèi)星系統(tǒng)接收軟件，配置相關(guān)接收和ftp推送，優(yōu)化相關(guān)接收通道，接入CMACast衛(wèi)星接收機，測試其連通性，同時接入加密狗，測試加密狗識別加密狗卡號。至此，基于虛擬化環(huán)境的氣象數(shù)據(jù)分發(fā)系統(tǒng)完成，最終形成一臺虛擬機替換原有6臺服務(wù)器加存儲的集群系統(tǒng)，構(gòu)建與硬件無關(guān)的操作系統(tǒng)環(huán)境，通過整合新一代國內(nèi)通信系統(tǒng)的分發(fā)、CMACast衛(wèi)星接收系統(tǒng)和數(shù)據(jù)下載系統(tǒng)，實現(xiàn)單臺服務(wù)器完成數(shù)據(jù)接收、下載和面向用戶的海量數(shù)據(jù)分發(fā)[4]。氣象數(shù)據(jù)分發(fā)系統(tǒng)如圖1。

圖1 氣象數(shù)據(jù)分發(fā)系統(tǒng)

基于數(shù)據(jù)中心VMware虛擬化和深信服超融合云2套資源池，建設(shè)2套與硬件無關(guān)的氣象數(shù)據(jù)分發(fā)系統(tǒng)，系統(tǒng)可以定期備份，如果故障，可以恢復(fù)到前一個時間點。2套氣象數(shù)據(jù)分發(fā)系統(tǒng)分別用2套CMACast衛(wèi)星接收機，2套CMACast加密狗，形成一主一備，互為備份，提高系統(tǒng)的高可用性，在降低能耗和運維難度的同時，提高系統(tǒng)的穩(wěn)定性，為各類業(yè)務(wù)系統(tǒng)提供穩(wěn)定的數(shù)據(jù)保障[5]。

氣象分發(fā)系統(tǒng)是7*24小時不能間斷的業(yè)務(wù)，特點是實時性要求高、數(shù)據(jù)量大、處理復(fù)雜，必須保證整個系統(tǒng)的長期穩(wěn)定性，不能出現(xiàn)任何系統(tǒng)級的影響業(yè)務(wù)運行的故障。

4結(jié)束語

基于虛擬化構(gòu)建與硬件無關(guān)的操作系統(tǒng)環(huán)境建設(shè)的氣象數(shù)據(jù)分發(fā)系統(tǒng)是7*24小時不能間斷的實時業(yè)務(wù)，該系統(tǒng)穩(wěn)定高效運行，實時提供各類氣象數(shù)據(jù)，保證全省氣象預(yù)報預(yù)測的正常需要。該系統(tǒng)運行的穩(wěn)定性將是我省氣象業(yè)務(wù)正常開展與否的一個決定性因素，該系統(tǒng)作為氣象信息系統(tǒng)的核心基礎(chǔ)系統(tǒng)，對于預(yù)報預(yù)測、氣象預(yù)警和決策服務(wù)等具有重要意義[6]。

參考文獻

[1] 馬渝勇，徐曉莉，宋智，等.省級氣象信息共享系統(tǒng)的設(shè)計與實現(xiàn)[J].應(yīng)用氣象學(xué)報，2011，22（4）：505-512.

[2] 沈文海，趙芳，高華云，等.國家級氣象資料存儲檢索系統(tǒng)的建立[J].應(yīng)用氣象學(xué)報，2004，15（6）：727-736.

[3] 李集明，熊安元.氣象科學(xué)數(shù)據(jù)共享系統(tǒng)研究綜述[J].應(yīng)用氣象學(xué)，2004，15（B12）：1-9.

[4] 聶峰英.大數(shù)據(jù)資源技術(shù)服務(wù)協(xié)同研究—以氣象數(shù)據(jù)為例[J].信息化研究，2016（1）：6-11.

[5] 王若瞳，黃向東，張博，等.海量氣象數(shù)據(jù)實時解析與存儲系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機工程與科學(xué)，2015，37（11）：58-64.

[6] 楊芳，金琪，邢麗平，等.基于Cassandra的實時氣象數(shù)據(jù)分布式存儲系統(tǒng)[J].陜西氣象，2017（4）：26-30.

作者簡介

馬艷軍（1976-），男，甘肅省平?jīng)鋈?學(xué)歷：碩士學(xué)位，職稱：高級工程師，現(xiàn)就職單位：四川省氣象探測數(shù)據(jù)中心，研究方向：計算機應(yīng)用及HPC。