亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        支撐氣象大數據實時預報業(yè)務應用的MICAPS4系統(tǒng)概述

        2018-04-02 10:54:34劉盼高嵩王若曈賀雅楠曹莉韓豐
        關鍵詞:系統(tǒng)

        劉盼 高嵩 王若曈 賀雅楠 曹莉 韓豐

        (國家氣象中心,北京 100081)

        0 引言

        MICAPS(Meteorological Information Comprehensive Analysis and Processing System)系統(tǒng)是中國氣象局自主研發(fā)的現代化人機交互氣象信息處理和天氣預報制作系統(tǒng),已經成為全國氣象預報制作的業(yè)務平臺,在天氣預報及氣象服務中發(fā)揮了重要的作用[1]。

        中國氣象局自1994年起組織MICAPS項目的研發(fā),至2007年12月,先后共發(fā)布了3個版本:1997年發(fā)布的MICAPS第一版實現了預報業(yè)務流程從紙質到電子版的革命性變革,預報員可在計算機上實現氣象數據的快速檢索、預報分析及交互預報制作;2002年發(fā)布的MICAPS第二版提升了系統(tǒng)功能,擴展了數據顯示能力,增加格點資料的顯示和分析功能;2007年發(fā)布的MICAPS第三版改進了繪圖引擎實現機制,提升了氣象數據的顯示效率和效果,同時首次提供了基于“模塊可插拔”的客戶端框架設計,提供了界面、功能模塊的自定義擴展能力,并先后發(fā)布了除基礎版本之外的臺風、短臨、山洪、中尺度分析、海洋、精細化要素預報訂正等多個專業(yè)版本,并已經成為中國氣象局各級氣象業(yè)務部門的核心系統(tǒng),在各級預報業(yè)務應用中發(fā)揮了巨大作用[2-5],并在民航、水利、海洋等部門以及多個亞洲國家推廣應用。

        隨著氣象數據規(guī)模持續(xù)高速增長,MICAPS3自2010年起開始面臨嚴峻的性能和存儲壓力,主要表現在海量氣象數據解析、訪問緩慢,集合預報產品及新型觀測數據難以應用,MICAPS3系統(tǒng)框架難以滿足業(yè)務發(fā)展需求。為解決上述問題,中國氣象局聯合清華大學,于2013年啟動了 MICAPS4的開發(fā)工作。

        1 MICAPS4系統(tǒng)建設背景和目標

        1.1 氣象大數據的特點與用戶行為分析

        實時氣象數據種類繁多,可以劃分為兩類:實況觀測數據和模式數據。其中,模式數據是由高性能計算機根據當前天氣實況數據通過物理方程計算得出的。由于模式物理量多,每天多次起報,預報時效密集,模式種類多,存儲時間較長,無論從數據個數還是數據存儲量來說,模式數據是比重最大的“大數據”[6]。

        對于任一數據來說,能對該數據進行唯一標識所需的最少屬性稱為該數據的檢索維度。氣象數據是典型的非結構化數據,具有多維索引結構,如確定性模式數據,只有在明確其模式名、物理量、層次、起報時間、預報時效后,才能檢索到唯一的格點場數據——稱其檢索維度為5。各類氣象數據的檢索維度如表1所示。

        表1 氣象數據的檢索維度Table 1 Data retrieval dimension of different meteorological data

        預報員的常用操作,既包括在有序維度上進行高速連續(xù)訪問,如在預報時效(3 h<->6 h<->9 h…)或層次(500 hPa<->700 hPa<->850 hPa…)上進行雙向快速連續(xù)翻頁,也包括在無序維度上進行高速隨機訪問,如在相同模式的不同物理量之間進行數據切換,或者在不同模式之間進行快速切換。這兩個用戶行為盡管可以通過數據預處理來實現,但預報員希望數據到達即使用,不能夠容忍較長時間的預處理和數據延遲。

        1.2 MICAPS3系統(tǒng)面臨的問題

        隨著氣象觀測手段的不斷發(fā)展以及數值模式預報的精細化水平不斷提升,氣象資料呈現爆發(fā)式增長,使得原有的預報系統(tǒng)已經不能滿足數據快速顯示與天氣分析的需求,具體存在以下問題:

        1)MICAPS第三版客戶端系統(tǒng)缺乏對海量數據的高效處理能力,無法幫助預報員快速瀏覽與分析高時空分辨率的模式產品與集合預報產品,也無法提供快捷高效的工具幫助預報員進行產品制作。

        2)傳統(tǒng)的MICAPS數據服務器不具備針對大數據量的預處理能力,僅提供簡單格式轉換與文件儲存功能,大量的原始氣象數據以原始分辨率的純文本格式提供給客戶端直接調用,增加了網絡傳輸壓力以及客戶端的資源消耗。

        3)傳統(tǒng)的MICAPS數據服務器與客戶端之間的數據共享為簡單共享,服務器利用Samba/SMB協(xié)議通過掛載虛擬磁盤的方式為客戶端提供數據服務,在文件個數較多的情況下,數據檢索效率驟降。

        1.3 MICAPS4系統(tǒng)建設目標

        將MICAPS4系統(tǒng)建成適應我國氣象預報業(yè)務發(fā)展需求的綜合性業(yè)務平臺,需要實現以下幾個目標:

        1)MICAPS4服務器作為實時數據的高速緩存使用,可以容納上千萬個海量實時數據;幾乎所有的數據都是一次性寫入,多次讀取,MICAPS4客戶端不對數據進行刪除或修改操作,數據寫入后須立即可被快速訪問;可以滿足MICAPS4客戶端最新數據檢索、隨機數據檢索,和按照時間維度和空間維度連續(xù)檢索數據的要求。

        2)實現面向專業(yè)預報服務的數據應用和平臺建設,隨著預報業(yè)務更加趨向于精細化與專業(yè)化,預報業(yè)務平臺與數據應用方式也應針對各專業(yè)預報業(yè)務特點進行定制,新的數據應用服務器與客戶端系統(tǒng)應能提供更加開放的定制與功能擴展能力,為各個專業(yè)化應用提供基礎性的平臺支撐。

        3)實現預報技術方法與人機交互功能的融合,通過移植成熟的客觀分析方法與天氣概念模型,從而提升系統(tǒng)平臺的智能化水平,降低客戶端的操作復雜度,減輕大規(guī)模數據對客戶端以及數據傳輸過程中帶來的壓力。

        2 MICAPS4客戶端和服務器

        MICAPS4體系分為“數據處理及存儲服務器”與“交互展示客戶端”兩個子系統(tǒng),為滿足海量氣象數據的快速應用需求,提供了數據快速解析與數據高速訪問支持;為滿足多樣異構數據的存儲需求,提供了靈活自由的數據庫存儲方式;為適應各專業(yè)方向對數據的快速應用,研發(fā)了靈活的客戶端配置方式以及開放的二次開發(fā)框架。MICAPS4體系結構圖與數據處理流程如圖1所示。

        圖1 MICAPS4體系結構與數據流程圖Fig. 1 Architecture and data flow of MICAPS4 system

        2.1 MICAPS4客戶端系統(tǒng)

        MICAPS4客戶端是MICAPS4體系中直接參與用戶交互的核心,也是海量氣象數據集中顯示與應用的主體,同時還為用戶自定義功能模塊、本地數據加載與本地化業(yè)務流程提供支撐。

        MICAPS4客戶端界面為用戶提供了資料檢索、圖層控制、數據顯示、高級操作等功能的統(tǒng)一圖形化用戶接口,涵蓋了MICAPS1-3版客戶端的全部功能。對舊版本MICAPS客戶端的界面進行了梳理,對用戶界面布局以及用戶使用習慣進行了保留,整個客戶端界面風格以及功能模塊操作方式與舊版本基本保持一致。

        MICAPS4客戶端分為菜單欄、工具欄、交互工具箱、主地圖、圖層屬性設置、圖層管理窗口、日志窗口以及狀態(tài)欄幾個部分,客戶端的整體界面如圖2所示。

        MICAPS4客戶端的菜單欄保留了傳統(tǒng)MICAPS客戶端的基本功能,為用戶提供系統(tǒng)設置、地圖參數設置、綜合圖加載、MICAPS數據快捷調閱及系統(tǒng)幫助等功能的快速入口,并提供了一些新的便捷性功能,包括綜合圖和工具欄窗口布局的快速保存、切片地圖調用服務、在線自動升級服務。工具欄用于提供系統(tǒng)工具以及部分高級功能模塊調用,在系統(tǒng)工具中,新增了“黑白主題切換功能”和“多屏窗口彈出”功能,增加了“預報產品保存助手”工具;在圖層控制部分,新增了設置翻頁時間間隔功能;在擴展功能模塊部分提供系統(tǒng)以及用戶二次開發(fā)的功能模塊擴展。交互工具箱提供了常規(guī)天氣交互分析和中尺度交互分析符號。

        圖2 MICAPS4客戶端界面布局Fig. 2 MICAPS4 client layout

        主地圖是數據顯示及用戶交互區(qū)域,該區(qū)域以可視化的方式對多種類的氣象數據與基礎地理信息數據進行疊加顯示,用戶在此區(qū)域內通過鼠標操作完成地圖縮放、要素顯隱控制、客觀分析/統(tǒng)計方法調用以及人機交互繪制等功能。圖層管理窗口用于顯示各個圖層的描述信息以及對圖層進行控制操作。日志窗口用來顯示當前客戶端執(zhí)行各個操作的執(zhí)行狀況以及記錄用戶操作中可能出現的錯誤信息,可協(xié)助用戶對存在的錯誤進行簡單的排查。狀態(tài)欄用于為用戶提供當前激活地圖的投影信息,當前鼠標所在位置的經緯度、海拔高度、處于激活狀態(tài)的圖層相關信息,以及鼠標臨近的國家站站點信息。MICAPS4客戶端對常用操作提供鍵盤快捷鍵支持,用戶可通過鍵盤操作實現圖層翻頁、地圖重置、清空圖層、新建交互圖層、交互撤銷/重做操作、交互圖層保存、全屏切換、圖片保存等基本功能。

        屬性設置窗口是MICAPS4客戶端改變最大的部分,相對于MICAPS3客戶端中無差別的圖層屬性設置控件,MICAPS4屬性設置窗口變成了針對不同種類數據圖層進行單獨設計的“扁平化”樣式(圖3)。

        MICAPS4客戶端除提供基本的氣象數據疊加與交互繪制之外,還提供了高級的數據統(tǒng)計與數據分析功能模塊。模式資料曲線模塊主要對不同客觀預報產品在相同經緯度上隨時間變化趨勢的顯示或對比;模式探空模塊可利用數值預報模式資料生成任意站點/經緯度在選定預報時間下的溫度/對數壓力圖,并計算相應的物理量;模式資料剖面模塊可對數值預報模式數據或實況觀測的客觀分析數據進行分析顯示;時間垂直剖模塊主要用來展示指定某一站點或任意經緯度位置上空不同層次上的要素隨時間的變化情況;空間垂直剖面模塊主要用來展示某一范圍內各預報要素隨層次的變化情況,可以用來協(xié)助預報員了解其三維空間分布。

        圖3 MICAPS4圖層屬性設置窗口Fig. 3 MICAPS4 layer property configure window

        2.2 MICAPS4服務器系統(tǒng)

        MICAPS4服務器系統(tǒng)由分布式存儲系統(tǒng)、分布式前處理系統(tǒng)、流式計算[7-12]系統(tǒng)、站點實況輪詢系統(tǒng)、查詢服務器系統(tǒng)、監(jiān)控系統(tǒng)等6個子系統(tǒng)組成(圖4)。

        圖4 MICAPS4服務器系統(tǒng)架構Fig. 4 MICAPS4 server system architecture

        所有模式原始數據、衛(wèi)星數據、雷達數據都經CTS通信收發(fā)系統(tǒng)實時將數據分發(fā)至針對MICAPS數據處理的DPC集群,地面實況填圖、高空填圖等站點填圖數據則由一個周期性數據加工程序,將原有CIMISS的SOD數據庫中的站點數據取出并合并成為對應觀測時刻的完整文件,推送至MICAPS數據處理DPC集群。所有氣象數據到達MICAPS4-DPC集群后,立即觸發(fā)相應的處理程序:對于模式數據,在集群內完成GRIB解碼、風場計算、分段降水量計算、網格裁剪、網格合并等工作;對于衛(wèi)星、雷達和站點填圖類數據,在集群內完成配置信息的添加,時區(qū)時間的調整。MICAPS4-DPC集群接收的所有原始數據處理成為MICAPS數據格式后,立即開始向存儲系統(tǒng)的寫入操作。分布式數據存儲集群系統(tǒng)是一個由15~20臺機架服務器組成的物理集群,擁有高達360~480 TB的存儲容量,為了提升預報員的數據訪問性能,每一個相同的數據都被同時存放在3臺不同的節(jié)點上,即每個數據有3個副本,因此有效存儲量為總存儲量的1/3。和傳統(tǒng)的文件系統(tǒng)相比,分布式數據存儲集群采用非關系型數據庫來進行所有數據的物理存儲,上萬個數據實際上被壓縮為一個真正的大文件,極大的減少了物理文件個數,通過數據庫內部高效的索引、緩存機制,實現對于預報員數據檢索請求的高效查詢。除MICAPS4-DPC導入系統(tǒng)外,分布式存儲集群系統(tǒng)還有另外兩個數據寫入接口:一個是產品數據加工接口,用于接收由預報員開發(fā)的各種復雜氣象產品數據,如雷達外推產品,自動站外推產品等,和MICAPS4-DPC導入接口相比,這個接口大多由定時程序進行寫入,而不是由原始數據驅動的實時寫入;另外一個寫入接口是MICAPS客戶端的產品生成寫入接口,將預報員制作的降水落區(qū)預報等結果寫入分布式存儲集群中,和模式、衛(wèi)星等數據一樣,實現數據共享。MICAPS客戶端自身綁定了針對分布式數據存儲系統(tǒng)的數據讀取接口,可以實現對于存儲集群的數據查詢。針對瀏覽器、手機和其他智能終端,數據發(fā)布服務器提供了針對這些設備的訪問接口,并將數據訪問請求傳遞給分布式存儲集群的讀取接口,得到數據后,返回給這些客戶端。

        MICAPS4服務器系統(tǒng)的核心子系統(tǒng)包括分布式存儲系統(tǒng)、分布式前處理系統(tǒng)等。

        1)海量氣象實時數據分布式存儲系統(tǒng)

        由前文1.1節(jié)分析的氣象大數據特點和預報員行為,MICAPS4數據服務器需要的是海量實時數據高速處理緩存系統(tǒng)。同文件系統(tǒng)相比,數據庫系統(tǒng)針對小數據一般會設計實現相當完善的讀寫緩存機制,從而大幅度提升性能。由于氣象實時數據單個數據大小通常都小于5MB,因此首選數據庫系統(tǒng)作為MICAPS4存儲系統(tǒng)。氣象數據的使用以讀取為主,并且沒有強一致性要求,因此分布式物理集群架構的系統(tǒng)將單臺機器的存儲、計算、網絡IO壓力分配到多個節(jié)點上,從而可以顯著提升數據讀取的效率。傳統(tǒng)關系型數據庫并不適合保存氣象非結構化實時數據,因此我們的系統(tǒng)選型確定在非關系型分布式數據庫上。Cassandra是一個基于Key-Value的P2P分布式系統(tǒng),適合作為多維數據空間結構的實現[13],這同氣象數據多維索引鍵值結構相呼應。通過詳細的理論分析和性能對比,由于Cassandra在存儲具有多維空間特點的海量小數據方面具有顯著的優(yōu)勢,因此采用Cassandra作為實時氣象數據存儲的實現方案。

        采用Cassandra數據庫來進行氣象實時數據的存儲,客觀要求MICAPS客戶端利用數據庫查詢接口讀取數據后,必須能夠在內存中直接解析該數據。因此在MICAPS4分布式存儲中,保留了全部的MICAPS文本文件格式,以及AWX衛(wèi)星和bz單站雷達格式,同時又研制了讀寫更加高效,通用性、擴展性更強的模式標量/矢量統(tǒng)一的二進制數據格式和站點實況可變物理量列寬的二進制數據格式,作為MICAPS4模式數據和實況數據的最主要存儲格式。

        2)海量氣象數據分布式前處理系統(tǒng)

        前處理系統(tǒng)數據處理的主流程是:FTP數據接收->數據解析->數據寫入。在前處理系統(tǒng)處理數據的過程中,新數據仍然可以不間斷的進行實時接收,即數據處理和數據接收是異步、高效的,這個過程由前處理系統(tǒng)的線程池模塊來統(tǒng)一管理。由于所有數據的處理都是到達即處理,避免了傳統(tǒng)的定時處理的方法,因此極大的提高了數據處理的性能。除此之外,作為一個功能完善的軟件,還需要集成一些其他的必備功能,例如原始數據文件的刪除,日志文件的刪除,流式計算中間結果文件刪除,系統(tǒng)管理員遠程命令行交互功能,數據恢復功能等。如果采用不同的進程來實現這些功能的話,會造成系統(tǒng)部署和運維的復雜,同時不便于對前處理系統(tǒng)現有功能的復用以及程序狀態(tài)的共享。因此,前處理系統(tǒng)的設計采用單一進程,多線程的設計,將嵌入式FTP服務器[14]、解碼線程、文件清除器、管理員交互線程、數據恢復線程同時集成到一個軟件進程中,系統(tǒng)的啟動和停止各自只需要一條指令即可完成,簡化了管理員的操作,同時提高了系統(tǒng)的可靠性。

        由于前處理系統(tǒng)通常將會運行在服務器集群上,作為生產環(huán)境下多線程服務器的首選開發(fā)語言,采用Java作為前處理系統(tǒng)的開發(fā)語言。同其他語言相比,Java具有類庫豐富,運行安全,便于同各種存儲系統(tǒng)集成,開發(fā)速度快,跨平臺運行等特點。目前分布式前處理系統(tǒng)在生產環(huán)境的Linux平臺上持續(xù)穩(wěn)定運行,不過對于Windows的平臺也具有良好的可移植性。

        在真實業(yè)務環(huán)境下,MICAPS4分布式存儲系統(tǒng)的性能測量結果如表2所示。相較于傳統(tǒng)的文件存儲系統(tǒng)進行相同樣例數據的測試,其歐洲細網格數據獲取最新文件需要6.5 s,隨機讀取需要4.0 s,左右翻頁需要8.0 s,MICAPS4分布式存儲系統(tǒng)在用戶高并發(fā)訪問時,數據調閱和翻頁仍然可以保持在毫秒級別。

        以原始數據大小為5.4 G的歐洲細網格資料為例,測試了MICAPS4分布式前處理系統(tǒng)的解碼和寫入性能,發(fā)現傳統(tǒng)的文件解碼系統(tǒng)對歐洲細網格單個數據解碼和寫入耗時552 s,速度為10.2 MB/s,而MICAPS4分布式前處理系統(tǒng)相應的解碼和寫入耗時為5 s,速度為39.8 MB/s,比傳統(tǒng)的文件系統(tǒng)提升了兩個數量級。

        表2 高并發(fā)查詢性能Table 2 High concurrency query performance

        3 MICAPS4專業(yè)預報領域應用

        隨著預報業(yè)務更加趨向于精細化與專業(yè)化,預報業(yè)務平臺與數據應用方式也應針對各專業(yè)預報業(yè)務特點進行定制。MICAPS4提供了靈活開放的底層框架,支持多個專業(yè)領域應用,如智能網格預報平臺、臺風海洋一體化預報平臺、災害性天氣短時臨近預報系統(tǒng)等多個專業(yè)版本。MICAPS4對專業(yè)版本的底層支持,使得專業(yè)版本除了可以無差別的使用MICAPS4客戶端底層框架提供的所有功能服務以及資源服務外,還可以根據實際操作流程對界面布局、用戶圖形界面進行深度定制。

        3.1 智能網格預報平臺

        智能網格預報平臺是我國各?。ㄊ?、區(qū))氣象臺預報員通過人機交互方式進行本省轄區(qū)范圍氣象網格預報產品制作與發(fā)布的圖形化預報制作平臺。該平臺實現高分辨率模式資料的獲取和顯示分析,提供基于等值線、網格、關鍵點等交互預報制作工具供預報員對背景場進行編輯,并對不同要素之間的預報結果進行協(xié)同處理,最終輸出網格預報產品,進而轉化為文字、圖形化預報產品[15-17]。此外,平臺集成了降水時間一致性、高低溫極值訂正等智能化客觀預報方法,開發(fā)了降水、溫度、相對濕度等多要素協(xié)同方法,提高了預報員工作效率。目前,該平臺已經在業(yè)務中應用,為全國智能網格預報業(yè)務提供了重要支撐。

        目前,我國省級的智能網格預報業(yè)務基本流程如圖5所示。首先,由數值模式預報數據和自動站實況數據經過最優(yōu)集成方法生成高分辨率背景場。然后,利用網格預報制作平臺對背景場進行編輯生成網格預報產品,并基于該網格預報產品加工生成站點、落區(qū)、文字、圖片等衍生產品。最終,利用生成的衍生產品對公眾提供服務。

        圖5 省級智能網格預報基本業(yè)務流程Fig. 5 Provincial intelligent grid forecasting business process

        3.2 臺風海洋一體化預報平臺

        在臺風、海洋業(yè)務不斷發(fā)展的過程中,可利用的觀測數據和模式數據不斷增多,目前臺風海洋業(yè)務中有多種軟件支持日常的預報服務業(yè)務,如基于MICAPS3.1 臺風預報業(yè)務平臺、基于MICAPS3.2的海洋預報業(yè)務平臺、基于GIS的海洋格點分析和產品制作平臺等[3,18-19]。對原有臺風、海洋業(yè)務分散在多個平臺中的狀況需要得到進一步的功能提升,以及對精細化預報及服務提出更高要求,亟需開發(fā)能將臺風海洋業(yè)務整合在一起,滿足對臺風海洋觀測數據與高分辨率數據的高效顯示,以及精細化預報制作的臺風海洋一體化預報平臺。

        臺風海洋一體化預報平臺基于MICAP4系統(tǒng)框架,采用C/S(客戶機/服務器)結構的設計方式,采用了面向服務架構(SOA,Service-Oriented Architecture)和多層的體系結構,是針對臺風和海洋業(yè)務的預報預警服務的專業(yè)平臺,集臺風、海洋數據的顯示,預報及服務產品制作,精細化預報制作及發(fā)布等功能為一體的業(yè)務應用系統(tǒng),主要功能特點是加強對臺風實況路徑數據、海洋觀測數據、模式資料、常規(guī)觀測資料等的應用和分析,在應用服務器端主要對臺風海洋數據進行轉換處理,分別存儲到臺風實時庫、海洋產品庫,通過預處理,形成海洋產品,提供客戶端使用。在客戶端,利用服務器端處理的數據,結合臺風、海洋預報流程,實現臺風、海洋數據顯示,預報及服務產品制作,精細化預報制作及發(fā)布等功能。

        3.3 災害性天氣短時臨近預報系統(tǒng)

        災害天氣短時臨近預報系統(tǒng)(Severe Weather Automatic Nowcasting System,SWAN)是面向短臨監(jiān)測、分析、預報、預警制作等功能為一體的業(yè)務平臺。SWAN系統(tǒng)以雷達觀測和自動站資料為基礎,提供三維雷達拼圖、自動站實況、降水估測等監(jiān)測產品以及基于交叉相關法(COTREC)運動矢量和風暴識別技術的臨近預報產品。SWAN系統(tǒng)歷時8年發(fā)展,已經在全國絕大多數的省級氣象臺投入了業(yè)務應用,并在上海世博會和第十一屆全運會的氣象保障工作中發(fā)揮了重要作用[20-23]。

        SWAN2.0是SWAN系統(tǒng)的最新版本,采用C/S架構,服務器部署在省級,負責收集數據,運算SWAN短臨產品;客戶端部署在氣象臺站,以MICAPS4二次開發(fā)框架為基礎進行開發(fā),形成算法二次開發(fā)接口。

        圖6給出的是SWAN2.0的主要算法結構圖。目前SWAN2.0的數據源(點畫線)主要有雷達基數據、自動站報文、閃電資料、PUP產品和探空資料,產品種類分為實況監(jiān)測產品(圓角矩形)、臨近預報產品(虛線)和報警產品(矩形)。SWAN2.0主要技術方法包括三維變分風場反演、基于分雨團技術的雷達降水估測、冰雹識別等,發(fā)展的主要業(yè)務功能包括短臨算法管理、產品生成、分析處理、資料檢索顯示、實時監(jiān)控報警、預警產品制作等。

        圖6 SWAN2.0算法結構Fig. 6 The algorithm structure of SWAN 2.0

        4 小結與展望

        MICAPS作為實時氣象預報業(yè)務系統(tǒng),包含了完整的原始數據采集與預處理服務,異構數據的存儲與檢索服務,以及前端的預報員交互操作與數據分析服務。并且實現了與CIMISS數據環(huán)境的無縫對接,并利用大數據技術將CIMISS數據的應用延伸到實時預報業(yè)務場景中,采用微內核開放式系統(tǒng)架構、高級繪圖引擎等技術,顯著提升了系統(tǒng)對高分辨、多維度氣象數據的應用能力和訪問效率;根據氣象數據傳輸特點設計的流式解析技術可將數據解析時間壓縮到毫秒量級,并將EC細網格數據入庫時間提前1.5 h;利用氣象數據的復雜檢索維度特點設計的分布式數據存儲技術可存儲上億條記錄,并將數據的檢索命中時間縮短了兩個數量級;利用現代軟件編程思路設計的客戶端框架降低了模塊與框架間的耦合度,并支持各個專業(yè)版本的深度定制開發(fā);利用高級繪圖技術設計了高質量的渲染引擎,可顯著提升高分辨率數據的顯示效率與效果,實現了將先進信息技術與現代天氣預報技術的緊密結合,同時,整個MICAPS4系統(tǒng)的設計與開發(fā)還考慮到后期維護與工程實施的便捷性,無論是后端數據處理與存儲,還是前端客戶端應用,都試圖將無法避免的系統(tǒng)災難(如斷電、硬件故障等)帶來的影響降到最低。

        MICAPS4服務器和客戶端系統(tǒng)目前已在國家局和25個省份部署,至今7×24 h穩(wěn)定運行。隨著系統(tǒng)在各級氣象部門的持續(xù)推廣與應用,MICAPS4系統(tǒng)也會逐漸滿足各級預報環(huán)境與預報業(yè)務發(fā)展需求。MICAPS4體系也正從傳統(tǒng)的綜合氣象數據顯示分析系統(tǒng)向開放、眾創(chuàng)并支持智能化運算的現代天氣預報平臺演變,通過與“氣象云”的協(xié)同發(fā)展,MICAPS系統(tǒng)將來會吸引越來越多的成熟功能模塊與算法進行集成,利用MICAPS體系的數據服務與交互分析及數據顯示服務,可為氣象預報方法、科研算法、成熟產品提供研發(fā)、發(fā)布、交流、推廣的一體化渠道,從而搭建集約化的、健壯的MICAPS應用環(huán)境,為各級氣象部門提供更加豐富、更加實用的預報業(yè)務應用平臺。

        [1]李月安, 曹莉, 高嵩, 等. MICAPS業(yè)務平臺現狀與發(fā)展. 氣象,2010, 36(7): 50-55.

        [2]于連慶, 胡爭光. MICAPS中天氣圖交互制作子系統(tǒng). 應用氣象學報, 2011, 22(3): 375-384.

        [3]高嵩, 代刊, 薛峰. 基于MICAPS3. 2平臺的格點編輯平臺設計與開發(fā). 氣象, 2014, 40(9): 1152-1158.

        [4]吳林林, 劉黎平, 徐海軍, 等. 基于MICAPS3核心的人影業(yè)務平臺設計與開發(fā). 氣象, 2013, 39(3): 383-388.

        [5]孫卓, 李江波, 曾健剛. 基于MICAPS3.2的災害性天氣個例庫與預報訓練系統(tǒng)的設計與應用. 干旱氣象, 2017, 35(3): 522–527.

        [6] 王若曈, 黃向東. 海量氣象數據實時解析與存儲系統(tǒng)的設計與實現. 計算機工程與科學, 2015, 37(11): 58–64.

        [7]Kreps J, Narkhede N, Rao J. A distributed messaging system for log processing //Proceedings of the NetDB. 2011: 1-7.

        [8]Toshniwal A, Taneja S, Shukla A, et al. Storm@ twitter //Proceedings of the 2014 ACM SIGMOD international conference on Management of data. ACM, 2014: 147-156.

        [9]Zaharia M, Chowdhury M, Das T, et al. Fast and interactive analytics over Hadoop data with Spark. USENIX Login, 2012,37(4): 45-51.

        [10]Carbone P, Katsifodimos A, Ewen S, et al. Apache flink: Stream and batch processing in a single engine. Bulletin of the IEEE Computer Society Technical Committee on Data Engineering,2015, 36(4): 28-38.

        [11]Ranjan R. Streaming big data processing in datacenter clouds.IEEE Cloud Computing, 2014, 1(1): 78-83.

        [12]Zaharia M, Chowdhury M, Das T, et al. Resilient distributed datasets: A fault-tolerant abstraction for in-memory cluster computing //Proceedings of the 9th USENIX conference on Networked Systems Design and Implementation. USENIX Association, 2012: 2-2.

        [13]黃向東, 王建民, 葛斯函, 等. 一種海量多維文件集合的存儲模型//第 31 屆中國數據庫學術會議, 2014: 1.

        [14]郝浩. FTP原理解析. 計算機與網絡, 2016(14): 40-41.

        [15]朱小祥, 劉震坤, 羅兵, 等. 美國AWIPSⅡ系統(tǒng)開發(fā)進展及業(yè)務應用. 氣象科技合作動態(tài), 2014(F06): 1-30.

        [16]Hansen T, Mathewson B M, LeFebvre T J, et al. Forecast methodology using the GFE suite. 17th International Conference on Interactive Information and Processing Systems (IIPS) for Meteorology, 2001.

        [17]H Gerapetritis, LG Lee. Intelligent use of a lapse rate smart tool in the graphical forecast editor. Eastern Region Technical Attachment, 2003(1): 1-9.

        [18]Yu L, Cao L, Li Y, et al. Introduce on Typhoon Forecast Operational System //Proceedings of 27th IIPS for Meteorology,Oceanography, and Hydrology. 2011.

        [19]鄭衛(wèi)江, 吳煥萍, 羅兵, 等. GIS技術在臺風預報服務產品制作系統(tǒng)中的應用. 應用氣象學報, 2010, 21(2): 250-255.

        [20]鄭永光, 張小玲, 周慶亮, 等. 強對流天氣短時臨近預報業(yè)務技術進展與挑戰(zhàn). 氣象, 2010, 36(7): 33-42.

        [21]趙棟, 郭煜, 壽紹文, 等. SWAN 系統(tǒng)在一次暴雨天氣過程分析中的應用. 氣象科技, 2013, 41(2): 326-333.

        [22]呂曉娜, 牛淑貞, 袁春風, 等. SWAN 中定量降水估測和預報產品的檢驗與誤差分析. 暴雨災害, 2013, 32(2): 142-150.

        [23]李俊, 支樹林, 郭艷, 等. SWAN 系統(tǒng)雷達定量降水估測產品在江西的應用. 氣象與減災研究, 2012, 35(2): 61-66.

        猜你喜歡
        系統(tǒng)
        Smartflower POP 一體式光伏系統(tǒng)
        WJ-700無人機系統(tǒng)
        ZC系列無人機遙感系統(tǒng)
        北京測繪(2020年12期)2020-12-29 01:33:58
        基于PowerPC+FPGA顯示系統(tǒng)
        基于UG的發(fā)射箱自動化虛擬裝配系統(tǒng)開發(fā)
        半沸制皂系統(tǒng)(下)
        FAO系統(tǒng)特有功能分析及互聯互通探討
        連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
        一德系統(tǒng) 德行天下
        PLC在多段調速系統(tǒng)中的應用
        久久午夜羞羞影院免费观看| 亚洲素人日韩av中文字幕| 亚洲女同一区二区三区| 蜜桃av精品一区二区三区| 欧美性猛交xxxx乱大交3| 国产成人一区二区三中文| 日本一区二区三区在线观看免费 | 国产亚洲真人做受在线观看| 亚洲视频天堂| 国产一区二区三区日韩精品| 日韩女同精品av在线观看| 国产成人亚洲精品青草天美| 国产精品麻豆成人AV电影艾秋| 国产成a人亚洲精v品无码性色| 深夜国产成人福利在线观看女同| 大又黄又粗又爽少妇毛片| 亚洲精品中文字幕一区二区| 男男啪啪激烈高潮cc漫画免费| 亚洲AⅤ永久无码精品AA| 国产午夜在线观看视频| 日本三级片在线观看| 老熟妻内射精品一区| 国产高清一级毛片在线看| 黄色精品一区二区三区| 久久精品国产久精国产果冻传媒| 亚洲精品第一页国产精品| 亚洲av高清资源在线观看三区| 免费在线观看av不卡网站 | 又色又污又爽又黄的网站| 一区欧美在线动漫| 国产av丝袜熟女丰满一区二区| 尤物在线精品视频| 少妇精品无码一区二区三区| 自拍偷拍一区二区三区四区| 又硬又粗进去好爽免费| 久久老子午夜精品无码怎么打| 亚洲AV无码成人精品区日韩密殿| 亚洲乱码中文字幕一线区| 欧美私人情侣网站| 亚洲两性视频一三区| 亚洲精品在线97中文字幕|