摘要:為滿足省級氣象服務系統(tǒng)的業(yè)務需求,該研究結合安徽省現(xiàn)有氣象服務產(chǎn)品與系統(tǒng)架構,設計并實現(xiàn)了基于虛擬化與容器化的省級氣象服務云平臺。該平臺運用虛擬化技術整合安徽省公共氣象服務中心的物理服務器資源并進行動態(tài)調(diào)度,同時基于Docker容器技術構建集約化云平臺,實現(xiàn)資源的彈性擴展與高效管理。實際應用表明,平臺已成功對接安徽省氣象局多源異構數(shù)據(jù)環(huán)境,實現(xiàn)氣象服務業(yè)務的深度集成,并具備氣象產(chǎn)品自動化加工及一鍵式多渠道發(fā)布的智能化功能。通過構建省、市、縣三級共享服務機制,該平臺顯著提高了氣象服務資源的整合效率,優(yōu)化了業(yè)務響應能力,為公眾及行業(yè)用戶提供了精準、高效的信息化服務支撐。
關鍵詞:氣象服務;資源虛擬化;Docker容器;云平臺;服務集成
中圖分類號:TP315文獻標識碼:A
文章編號:1009-3044(2025)15-0114-04
0引言
隨著氣象服務信息化進程的加速,省級氣象業(yè)務系統(tǒng)面臨數(shù)據(jù)激增和服務需求多元化的雙重挑戰(zhàn)。當前,安徽省氣象服務中心運行著多個異構業(yè)務系統(tǒng),各系統(tǒng)采用獨立部署模式,導致數(shù)據(jù)共享壁壘突出、資源調(diào)配效率低下等問題。統(tǒng)計顯示,傳統(tǒng)“一機一應用”部署方式導致服務器平均CPU利用率不足15%,而運維成本卻以年均23%的速度遞增,嚴重制約了氣象服務效能的提升。
針對上述問題,國內(nèi)外學者在資源虛擬化與容器化技術[1-3]上已取得重要進展。VMware等虛擬化方案通過硬件資源池化有效提升了基礎設施利用率[4],而Docker容器技術憑借其輕量級特性為微服務架構提供了新的實現(xiàn)路徑[5-6]。
本研究通過基礎設施虛擬化實現(xiàn)物理資源的彈性池化,結合容器化技術構建輕量化服務單元,形成“縱向貫通業(yè)務鏈條、橫向整合服務矩陣”的立體化解決方案。該方案在安徽省氣象服務領域率先實施,成功搭建覆蓋省、市、縣三級節(jié)點的公共氣象服務云平臺。
1系統(tǒng)設計
1.1系統(tǒng)體系架構
基于虛擬化與容器化的省級氣象服務云平臺(如圖1所示),包括四個層次:基礎設施層、云存儲層、云平臺層、應用平臺層。
1)基礎設施層。基礎設施層通過虛擬化架構,實現(xiàn)對服務器集群、存儲陣列和網(wǎng)絡設備的資源池化,消除異構硬件的物理差異特性?;跇I(yè)務需求實施動態(tài)資源調(diào)度管理,涵蓋資源虛擬化封裝、運行態(tài)指標監(jiān)測、自動化服務編排及多層級安全防護等核心模塊。
2)云存儲層,對。海量數(shù)據(jù)資源進行集中化管理,對外提供服務。安徽省公共氣象服務中心的數(shù)據(jù)主要為氣象監(jiān)測數(shù)據(jù)、陸地水文數(shù)據(jù)、天氣雷達數(shù)據(jù)、衛(wèi)星產(chǎn)品數(shù)據(jù)、數(shù)值分析數(shù)據(jù)、海洋監(jiān)測數(shù)據(jù)、氣象傳真數(shù)據(jù)、地圖地理等,數(shù)據(jù)種類多,操作管理難度大,而采用云存儲(DaaS)技術將不同來源的異構數(shù)據(jù)、大規(guī)模原始數(shù)據(jù)、半結構化數(shù)據(jù)等進行集中化管理,統(tǒng)一為外部服務使用,減少了數(shù)據(jù)操作流程。
3)云平臺層?;谔摂M化與容器化的省級氣象服務云平臺中所有的計算任務都運行在分布式系統(tǒng)上,采用Docker容器技術結合Kubernetes技術,保障了各個計算任務的獨立性,同時充分利用多核多CPU以及服務器集群的力量處理海量數(shù)據(jù)。
4)應用平臺層。借助NCL、Python、WebGIS、HTML5、WebGL、OSGEarth等技術,直接向服務人員提供綜合信息發(fā)布、行業(yè)氣象服務、系統(tǒng)智能監(jiān)控、產(chǎn)品共享等服務。
1.2業(yè)務流程
省級氣象服務云平臺的業(yè)務流程如圖2所示。根據(jù)系統(tǒng)業(yè)務開展需要,形成統(tǒng)一的數(shù)據(jù)環(huán)境,通過采集CIMISS、MICAPS、國家公服中心、信息中心數(shù)據(jù)庫、外單位行業(yè)等數(shù)據(jù),整合業(yè)務需求對采集的數(shù)據(jù)進行預處理,然后對外提供數(shù)據(jù)接口服務。
從數(shù)據(jù)接口服務獲取數(shù)據(jù),采用空間插值技術、天氣識別技術、氣候統(tǒng)計方法、指標模型技術等方法對數(shù)據(jù)進行初級加工與分析,實現(xiàn)對氣象圖文產(chǎn)品的加工和服務指標的實時告警,生成初級產(chǎn)品。
在初級產(chǎn)品加工的基礎上,利用自然語言處理技術、模板配置技術、語音合成技術等實現(xiàn)產(chǎn)品的自動化生成。
采用多種發(fā)布渠道及發(fā)布策略對服務產(chǎn)品進行發(fā)布,發(fā)揮省公共氣象服務中心服務產(chǎn)品共享功能,實現(xiàn)了省、市、縣三級公共氣象服務業(yè)務一體化平臺的共享聯(lián)動。
通過分布式監(jiān)測網(wǎng)絡,對服務器、網(wǎng)絡、數(shù)據(jù)、產(chǎn)品、API等資源進行全天候監(jiān)測,聚合海量氣象應用數(shù)據(jù),構建一體化實時監(jiān)控平臺及數(shù)據(jù)應用體系,從業(yè)務視角實時感知業(yè)務系統(tǒng)運行狀態(tài),確保業(yè)務連續(xù)性和全渠道業(yè)務的高效管控。
2系統(tǒng)功能模塊的實現(xiàn)
平臺采用“數(shù)據(jù)—業(yè)務—發(fā)布”三層架構(如圖3所示),包含10個子系統(tǒng)和31個功能模塊,核心功能如下。
2.1數(shù)據(jù)服務層:構建氣象數(shù)據(jù)全生命周期管理體系
服務產(chǎn)品庫:基于分布式文件系統(tǒng)設計,實現(xiàn)PB級氣象觀測與預報數(shù)據(jù)混合存儲;創(chuàng)新時空要素多維索引技術,使查詢響應時間縮短至毫秒級;開發(fā)標準化RESTfulAPI接口套件,日均調(diào)用量突破5萬次。
產(chǎn)品共享平臺:構建“省級熱數(shù)據(jù)緩存—市級區(qū)域副本—縣級輕量化快照”三級緩存機制,支持萬級并發(fā)訪問;集成數(shù)據(jù)血緣分析模塊,實現(xiàn)觀測產(chǎn)品(自動站、雷達、衛(wèi)星)與模式產(chǎn)品(智能網(wǎng)格、WRF)的關聯(lián)溯源。
2.2業(yè)務邏輯層:打造智能化業(yè)務生產(chǎn)流水線
綜合分析系統(tǒng):基于WebGIS引擎開發(fā)氣象專用可視化工具包,支持12類圖形渲染(含動態(tài)風場、三維流線圖);創(chuàng)新數(shù)值訂正算法,實現(xiàn)觀測數(shù)據(jù)與模式產(chǎn)品的偏差自動校正,訂正精度提升40%。
服務制作平臺:構建AI輔助生產(chǎn)系統(tǒng),集成初級產(chǎn)品自動加工引擎(支持18類數(shù)據(jù)格式轉換)和智能審核機器人(基于知識圖譜的質檢規(guī)則庫)。
行業(yè)氣象服務:研發(fā)多源數(shù)據(jù)融合引擎,建立“氣象+行業(yè)”影響模型庫;開發(fā)定制化預警產(chǎn)品生成器,支持GIS矢量圖、統(tǒng)計圖表、多媒體報告的自動化生成與交互式修正。
2.3發(fā)布展示層:構建全媒體服務矩陣
全媒體管理中心:設計素材特征提取算法,實現(xiàn)視頻、音頻、文檔的自動標簽化分類;開發(fā)智能檢索系統(tǒng),支持語義理解與多模態(tài)聯(lián)合查詢。
智能分發(fā)中心:構建路由優(yōu)化引擎,根據(jù)產(chǎn)品屬性自動匹配最佳發(fā)布渠道;集成消息隊列(Kafka)實現(xiàn)異步分發(fā);支持應急場景下的優(yōu)先級推送策略。
決策會商大屏:基于數(shù)據(jù)可視化框架開發(fā)多屏聯(lián)動系統(tǒng);設計情境感知界面,實現(xiàn)數(shù)據(jù)鉆取、預案推演與應急指揮的三維可視化集成。
2.4運維保障體系:打造智能化運維中臺
系統(tǒng)管理:配置三級用戶權限、業(yè)務流程及算法參數(shù),提升系統(tǒng)靈活性。
系統(tǒng)監(jiān)控:實時監(jiān)測服務器、數(shù)據(jù)到報及任務狀態(tài);異常信息通過短信/系統(tǒng)告警實現(xiàn)雙渠道推送,保障業(yè)務連續(xù)性。
3關鍵技術
3.1服務器虛擬化的設計
虛擬化技術體系由計算資源虛擬化、網(wǎng)絡虛擬化和存儲虛擬化三大核心模塊構成。在計算資源虛擬化層面,通過構建邏輯隔離的虛擬計算實例,不僅顯著優(yōu)化了物理服務器的資源使用效率,更實現(xiàn)了業(yè)務系統(tǒng)的快速部署與彈性擴展。省氣象中心服務器虛擬化應用情況如表1所示。
利用3臺高配置物理服務器,采用VMwarevSphere6.5組成一個虛擬化集群,在此集群上建立虛擬機應用,3臺高配置物理服務器配置了14臺虛擬機,1臺nginx反向代理服務器、1臺NFS文件共享服務、1臺數(shù)據(jù)庫采集服務器、2臺數(shù)據(jù)庫服務器、9臺Web服務器,實現(xiàn)了對硬件服務器的虛擬化。
1)服務器虛擬化。服務器虛擬化的核心思想是通過區(qū)分資源的優(yōu)先次序,并隨時隨地能將服務器資源分配給最需要它們的工作負載以簡化管理和提高效率,繼而減少為單個工作負載峰值而儲備的資源的方法[7]。安徽省公共氣象服務中心對現(xiàn)有服務器進行了CPU、內(nèi)存和磁盤容量等評估。選用3臺CiscoB200作為物理服務器,創(chuàng)建14個虛擬機,CiscoB200的配置為:中央處理器四核Intel(R)E5-2620CPU,DDR4內(nèi)存的24個DIMM插槽,每個插槽28個內(nèi)核,速度2666MHz,使用128GBDIMM時,內(nèi)存3TB,兩個熱插拔硬盤驅動HDD、固態(tài)硬盤SSD,高速緩存2GB,SASRAID控制器,兩組4×10Gbps統(tǒng)一I/O端口,提供10Gbps的連接速度,滿足了氣象大數(shù)據(jù)、高密度和高性能計算需求。
2)網(wǎng)絡虛擬化。系統(tǒng)共有3臺物理服務器(pServer1-pServer3),14臺虛擬機(VM1-VM14),需要配置14個網(wǎng)絡接口卡,7臺虛擬機交換機,ServiceConsole連接至管理網(wǎng)絡,VMkernel連接至VLAN1,用于VMotion/iSCSI/NAS,VM1-VM14接入虛擬網(wǎng)絡VLAN2,從而實現(xiàn)位于安徽省公共氣象服務中心的各個虛擬機像在物理環(huán)境一樣進行物理通信。
3)存儲虛擬化。存儲虛擬化的技術本質在于對底層異構存儲硬件實施抽象化處理,通過構建統(tǒng)一的邏輯資源池實現(xiàn)集中化管控。該技術屏蔽了物理設備的硬件差異特性,僅保留標準化的邏輯訪問接口,形成了與物理介質無關的統(tǒng)一存儲視圖?;谔摂M化與容器化的省級氣象服務云平臺對存儲卷進行全量虛擬化升級,將物理存儲設備解耦為標準化虛擬卷,實現(xiàn)異構存儲資源的統(tǒng)一納管與彈性調(diào)配,把存儲系統(tǒng)整合成一個完整的資源池。
3.2Docker容器技術
Docker包括三大核心概念,即鏡像、倉庫和容器。容器是從鏡像創(chuàng)建的運行實例,可啟動、開始、停止、刪除,容器間相互隔離,各自獨立運行進程,鏡像是創(chuàng)建容器的基礎,倉庫是Docker集中存放鏡像文件的場所[8]。Docker構建分發(fā)運行如圖4所示。
Kubernetes是Google開源的容器集群管理系統(tǒng),它基于Docker容器技術構建一個容器云管理平臺,為應用提供資源調(diào)度、部署運行、服務發(fā)現(xiàn)、擴容等功能[9]。Kubernetes的數(shù)據(jù)流程如圖5所示。Master節(jié)點負責控制Kubernetes集群,Node是工作負載節(jié)點,其中Master節(jié)點最核心的組件是APIserver和Sched?uler,APIserver(服務接口)組件提供Kubernetes中所有資源的增刪改查API服務接口,所有的資源改變都要與之對接,Scheduler(調(diào)度)組件是Kubernetes的調(diào)度總管,與APIserver直接通信,負責資源(Pod)的安排調(diào)度,Node節(jié)點會被Master安排任務負載,當某個Node節(jié)點不可用時,Master會自動將其負載的任務調(diào)度到其他可用Node節(jié)點上[10]。
Kubernetes結合Docker容器技術,將硬件服務器虛擬化成多個Docker容器,并將容器構建成Pod,基礎平臺以Pod為管理單元,并且多個Pod構成Service,通過APIService統(tǒng)一管理,工作流程如圖6所示。基于虛擬化的氣象服務一體化平臺采用服務器虛擬化技術對3臺硬件服務器按照內(nèi)存規(guī)劃、網(wǎng)絡規(guī)劃和存儲規(guī)劃等,配置了14臺虛擬機,在每臺服務器上安裝Docker,在14臺虛擬機上,部署10大子系統(tǒng)、33個子功能模塊,同時采用Docker容器虛擬化技術將33個子功能模塊相互獨立運行在隔離的空間。14臺虛擬機通過Docker容器技術分割出72個容器,分別運行33個子功能模塊、Nginx、Redis、Zabbix、Elasticsearch等服務,Kubernetes對72個容器組成880個Pod,根據(jù)Pod配置文件,選擇合適的工作節(jié)點完成對Pod整個生命周期的維護。
4.業(yè)務應用
基于虛擬化與容器化的省級氣象服務云平臺已在安徽省16個地市級氣象單位成功部署,累計穩(wěn)定運行超過9個月,服務連續(xù)性達99.98%。其間處理氣象觀測數(shù)據(jù)總量達3.2PB,成功生成服務產(chǎn)品127萬件,未發(fā)生因平臺故障導致的數(shù)據(jù)丟失或業(yè)務中斷事件。通過三級服務共享機制,平臺實現(xiàn)了縱向與橫向的協(xié)同能力突破。省級氣象產(chǎn)品至縣級節(jié)點的傳輸延遲從15分鐘壓縮至8秒,數(shù)據(jù)流轉效率提升112倍;支持合肥、蕪湖等6市同步開展暴雨災害情景推演,計算資源消耗降低43%;單物理節(jié)點容器部署密度提升至24實例/服務器,資源利用效率達傳統(tǒng)架構的7倍。在功能效能方面,多源數(shù)據(jù)接入延遲≤800ms,短臨預報產(chǎn)品生成時效提升41%,容器啟動延遲<3s,異常檢測準確率達98.7%。
5結論
本研究基于虛擬化與容器化的云原生技術構建的氣象服務一體化平臺,實現(xiàn)了氣象業(yè)務系統(tǒng)向云原生體系的轉型。主要創(chuàng)新成果包括:1)多層虛擬化架構實現(xiàn)資源效能顯著提升。采用服務器虛擬化與容器化技術構建“物理層—虛擬機層—容器層”三級資源池,將3臺物理服務器虛擬化為14臺虛擬機集群,并通過Docker容器技術承載安徽省公共服務中心的10大業(yè)務子系統(tǒng)(包含33個功能模塊),使服務器資源利用率提升至72.4%,年均運維成本降低48%。2)智能編排引擎保障業(yè)務彈性。基于Kubernetes構建的容器編排管理系統(tǒng),實現(xiàn)了服務資源的動態(tài)調(diào)度與自動擴縮容。通過Pod部署策略與HorizontalPodAuto?scaler(HPA)機制,系統(tǒng)可根據(jù)實時業(yè)務負載自動調(diào)整容器實例數(shù)量,在汛期氣象服務高峰期可動態(tài)擴展50%計算資源,確保分鐘級數(shù)據(jù)產(chǎn)品生成時效性,同時,結合Kubernetes的自愈機制,實現(xiàn)故障容器秒級重啟與異常節(jié)點自動隔離,保障了汛期暴雨預警服務的零中斷運行。3)服務生態(tài)體系創(chuàng)新拓展。構建的微服務架構支持33個功能模塊獨立迭代升級,新增行業(yè)氣象服務模塊部署周期從14天壓縮至2小時。平臺已接入16個地市氣象局,形成日均處理2.4TB數(shù)據(jù)、生成1.7萬份服務產(chǎn)品的能力,其中短臨預報產(chǎn)品生成時效提升41%,服務覆蓋密度達到縣級行政區(qū)劃100%覆蓋。未來工作將重點突破異構云資源調(diào)度算法優(yōu)化,探索氣象大模型與容器化平臺的深度融合,進一步提升極端天氣場景下的服務彈性。本研究形成的“虛擬化筑基—容器化賦能—智能化演進”技術路徑,為省級氣象服務數(shù)字化轉型提供了可復用的工程范式。
參考文獻:
[1]KIMMH,LEEJY,SHAHSAR,etal.Min-maxexclusivevir?tualmachineplacementincloudcomputingforscientificdata
[2]environment汪愷,張功萱[J,].周秀敏JournalofCloudComputing.基于容器虛擬化技術研究,2021,10([1J):].1計算機-17.技術與發(fā)展,2015,25(8):138-141.
[3]武志學.云計算虛擬化技術的發(fā)展與趨勢[J].計算機應用,2017,37(4):915-923.
[4]RAJAND.CommonplatformarchitecturefornetworkfunctionvirtualizationdeploymentsConferenceonMobileCloudComputing[C]//20164thIEEEInternational,Services,andEngineer?ing(MobileCloud).Oxford:IEEE,2016:73-78.
[5]MUZUMDARP,BHOSALEA,BASYALGP,etal.NavigatingtheDockerecosystemOL].arXiv:2403.17940:Acomprehensivetaxonomyandsurvey,2024.[2025-02-20].https://arxiv.org/[J/abs/2403.17940.
[6]AGRAWALS,SINGHD.StudycontainerizationtechnologieslikeDockerandKubernetesandtheirroleinmoderncloudde?ployments[C]//2024IEEE9thInternationalConferenceforCon?vergenceinTechnology(I2CT).IEEE,2024:1-6.
[7]施慶.基于VMwarevSphere的高校數(shù)據(jù)中心虛擬化建設研究[D].上海:復旦大學,2012.
[8]彭麗蘋,呂曉丹,蔣朝惠,等.基于Docker的云資源彈性調(diào)度策略[J].計算機應用,2018,38(2):557-562.
[9]盛樂標,周慶林,游偉倩,等.Kubernetes高可用集群的部署實踐[J].電腦知識與技術,2018,14(26):40-43.
[10]趙樹君,黃倩.基于Kubernetes云原生的彈性伸縮研究[J].計算機與現(xiàn)代化,2021(11):28-38.
【通聯(lián)編輯:謝媛媛】