顧文靜 戴晴 張媛媛 王鵬

(1 國家氣象信息中心， 北京 100081; 2 華云信息技術工程有限公司，北京 100081)

引言

目前，基于衛(wèi)星鏈路的CMACast廣播[1]和基于地面寬帶網的實時資料下載平臺是國省數(shù)據共享的兩大主要傳輸通道。通過CMACast衛(wèi)星廣播傳輸，具備“只播發(fā)一份數(shù)據量，所有接收站均可接收到”的優(yōu)勢，但是也存在單向傳輸、受雨衰影響和無線電干擾丟失文件等缺陷,且CMACast每日廣播400 GB已接近飽和[2]。實時資料下載平臺提供的被動自由下載能夠避免衛(wèi)星廣播的缺陷，但需要用戶定時輪詢接口目錄，不僅影響實時數(shù)據的獲取時效，也造成了大量無序輪詢操作，且不具備用戶訪問控制管理能力。

為解決上述問題，且滿足省級用戶獲取臨省實時觀測資料和實況分析產品等迫切的業(yè)務需求，國家氣象信息中心設計了基于消息通信進行數(shù)據共享的新流程[3-4]。目前，已經實現(xiàn)國省之間消息通信、國家級授權、省級訂閱等功能。當國家級新資料到達后，觸發(fā)數(shù)據到達消息通知，省級系統(tǒng)客戶端收到消息通知后，啟動數(shù)據下載。

本文詳細介紹了國省數(shù)據共享系統(tǒng)的設計實現(xiàn)及業(yè)務應用等，依次對系統(tǒng)架構、數(shù)據共享流程及技術實現(xiàn)進行詳細描述，并闡述下一階段的工作方向。

1 系統(tǒng)設計

1.1 功能設計

國省數(shù)據共享系統(tǒng)基于消息通知機制開發(fā)，實現(xiàn)省級從國家級主動獲取數(shù)據的功能，能夠覆蓋地面寬帶的數(shù)據下載和衛(wèi)星廣播的數(shù)據補調等國家級對省級提供的數(shù)據共享需求，支持大容量多種數(shù)據的高速傳輸，具備國家級多種來源(國內、國際等)的數(shù)據采集能力，支持HTTP、FTP、SFTP等多種數(shù)據傳輸協(xié)議[5]。

國省數(shù)據共享系統(tǒng)包含基于消息機制的數(shù)據到達通知、數(shù)據下載與補調、數(shù)據共享訂閱與授權管理、數(shù)據管理和監(jiān)視與統(tǒng)計等5個功能模塊，如圖1所示。

圖1 功能結構

基于消息機制的數(shù)據到達通知。實現(xiàn)省級客戶端收到數(shù)據到達消息通知后，主動從國家級下載數(shù)據的功能，滿足國省數(shù)據協(xié)同傳輸?shù)臉I(yè)務需求。

數(shù)據下載與補調。支持HTTP、FTP、SFTP等多種數(shù)據下載協(xié)議，具備數(shù)據重傳和自動/手工補調功能。對接CMACast廣播系統(tǒng)，在新框架下重構CMACast數(shù)據補調功能。

數(shù)據共享訂閱與授權管理。實現(xiàn)國家級數(shù)據授權與省級數(shù)據訂閱功能，數(shù)據訂閱與授權的實時動態(tài)生效。支持基于4級編碼和省級編碼資料的授權與訂閱。數(shù)據管理。根據實時資料下載平臺數(shù)據分級存儲規(guī)劃，開發(fā)相應的數(shù)據遷移程序，實現(xiàn)數(shù)據的統(tǒng)一管理。

監(jiān)視與統(tǒng)計。按照綜合業(yè)務監(jiān)控的要求，實現(xiàn)數(shù)據傳輸、消息通知和訂閱與授權管理等業(yè)務信息，以及系統(tǒng)運行狀態(tài)信息，記錄并發(fā)送到氣象綜合業(yè)務實時監(jiān)控。

1.2 架構設計

基于消息通知機制的國省數(shù)據共享系統(tǒng)采用集中管理和多層的體系結構以簡化系統(tǒng)的業(yè)務邏輯，降低系統(tǒng)的設計和實現(xiàn)的復雜度，提供簡單、方便有效的管理手段[6]。平臺總體架構可以劃分為4個層次和4個保障體系，如圖2所示，4個層次自底向上分為基礎設施層、數(shù)據服務層、應用服務層、訪問接入層；4個保障體系分別為標準規(guī)范體系、運行維護體系、安全保障體系、技術支持體系[7-8]。

圖2 技術架構

基礎設施層是指支撐系統(tǒng)正常運轉的基礎軟件和基礎硬件設施，包括服務器、網絡安全設備、存儲設備、磁盤陣列以及支撐系統(tǒng)運轉的操作系統(tǒng)、數(shù)據庫軟件、存儲備份系統(tǒng)、安全軟件等。

數(shù)據資源層是系統(tǒng)信息匯集和數(shù)據存儲與管理的基礎。包括文件系統(tǒng)、數(shù)據庫和內存緩存這3種數(shù)據的存儲方式。其中數(shù)據文件、配置文件和日志文件通過文件系統(tǒng)進行存儲；系統(tǒng)和業(yè)務監(jiān)視信息、統(tǒng)計信息、業(yè)務策略和配置信息和用戶信息、目錄信息等通過數(shù)據庫進行存儲；對數(shù)據傳遞過程中的中間態(tài)文件以內存方式進行緩存[9]。

應用服務層的系統(tǒng)軟件包括監(jiān)視統(tǒng)計、下載客戶端、數(shù)據到達通知、CMACast補調、數(shù)據管理等業(yè)務功能。

訪問接入層提供界面服務和接口服務。其中，界面服務主要指人機交互的相關功能，值班員和維護人員通過界面監(jiān)視系統(tǒng)運行和業(yè)務處理狀態(tài)，系統(tǒng)管理員通過后臺管理界面對數(shù)據目錄管理、數(shù)據授權等操作，省級管理員通過交互界面進行數(shù)據查詢、數(shù)據訂閱等操作，此外，用戶也可以通過ES數(shù)據庫的接口進行數(shù)據發(fā)布查詢、下載記錄查詢、數(shù)據統(tǒng)計等。該層采用B/S結構[10]。

標準規(guī)范體系是支撐系統(tǒng)運轉的基礎，用以實現(xiàn)應用協(xié)同和信息共享，節(jié)省項目建設成本、提高項目建設效率，滿足系統(tǒng)不斷擴充、持續(xù)改進和版本升級的需要。

運行維護體系為確保國省數(shù)據共享系統(tǒng)的協(xié)調性和連續(xù)性，構建以系統(tǒng)運行保障為基礎的運行維護體系，建立了運維管理機制，明確以事件管理、問題管理、變更管理和配置管理等環(huán)節(jié)為基礎的運行維護流程[11]。

安全保障體系是保障系統(tǒng)安全應用的基礎，包括物理安全、網絡安全、信息安全及安全管理等。

技術支持體系的核心是人，通過科學的服務管理流程建立專業(yè)服務體系的標準化，針對國省數(shù)據共享系統(tǒng)新的數(shù)據需求和功能需求不斷推陳出新，優(yōu)化組合，保障系統(tǒng)的不斷優(yōu)化和完善。

1.3 流程設計

國家級系統(tǒng)服務端發(fā)布實時數(shù)據共享服務，省級部署系統(tǒng)客戶端，當授權訂閱的數(shù)據到達國家級設定位置后，國家級服務端向省級客戶端發(fā)送數(shù)據到達通知，由省級客戶端從國家級下載對應資料，并存入省級數(shù)據環(huán)境[12]。如果下載失敗，下載客戶端根據時效配置嘗試重新下載直至超時。對于自動下載失敗的數(shù)據支持通過頁面進行人工手動下載。整合原CMACast數(shù)據補調功能，根據省級CMACast小站接收情況自動生成補調清單，生成補調任務消息，由省級客戶端執(zhí)行數(shù)據補調任務，數(shù)據流程如圖3所示。

圖3 數(shù)據共享流程

2 系統(tǒng)實現(xiàn)

2.1 關鍵點解決方案

(1)基于消息通知機制的數(shù)據到達通知。國省數(shù)據共享系統(tǒng)基于RabbitMQ的消息機制進行設計，當國家級下載平臺接收到文件后直接將文件屬性、資料路徑等信息封裝到RabbitMQ的Exchange中，Exchange根據各省的訂閱情況轉發(fā)到本省的消息隊列；同時省級客戶端通過監(jiān)聽本省的消息隊列，從消息中獲取該資料的路徑并下載數(shù)據[13-15]。這種方式避免了各省到下載平臺服務端的目錄輪詢，提高了數(shù)據流轉速率，同時減少了目錄輪詢對服務端硬盤的I/O壓力。

(2)分省數(shù)據權限控制。國家級下發(fā)的資料分為全國和分省數(shù)據，針對不同省份對他省分省資料的訂閱需求，設計他省數(shù)據授權及訂閱流程。比如四川、湖北、新疆的HRCLDAS分省0.01°×0.01°逐小時融合實況分析產品提供新疆訂閱，則新疆在訂閱HRCLDAS分省0.01°×0.01°逐小時融合實況分析產品時，系統(tǒng)比對訂閱請求列表和授權列表，篩選出已授權的省份代碼，因此新疆只能成功訂閱四川、湖北、新疆的數(shù)據，其他省份數(shù)據訂閱失敗。

(3)CMACast補調設計。廣播下載客戶端的下載日志和國家級的播發(fā)日志都發(fā)送到省級磁盤陣列，省級將下載日志和播發(fā)日志分別進行解析以Key-Value的Map格式存儲到省級的緩存中，然后對廣播數(shù)據Map、下載記錄Map和廣播應收節(jié)目表三者做比對，找出省級已經訂閱且國家級已經播發(fā)，但沒有下載記錄的資料，封裝成通知消息發(fā)給RabbitMQ中間件，由省級的下載客戶端再次進行下載，補調流程如圖4所示。

圖4 CMACast補調流程

2.2 技術實現(xiàn)

國省數(shù)據共享系統(tǒng)基于RMQ的架構體系進行業(yè)務和數(shù)據資源的整合及集成，采用多層體系架構，保證功能自頂向下合理分解[16]。通過分層架構設計，減少子系統(tǒng)間的依賴關系，降低耦合度，從而更易于系統(tǒng)建設、維護和優(yōu)化；根據業(yè)務的需求，通過快速開發(fā)或者配置調整系統(tǒng)來適應數(shù)據傳輸升級建設項目的業(yè)務需求。

2.2.1 基于消息機制的數(shù)據到達通知模塊

國省數(shù)據共享系統(tǒng)應用Flume監(jiān)聽FTP日志，讀取到1條日志后，首先進行傳輸狀態(tài)(OK UPLOAD或OK RENAME)、用戶名、讀取資料落盤路徑的匹配，隨后進行文件名檢查，通過filematch匹配4級編碼，并通過4級編碼或目錄路徑判斷是否是分省資料，分省資料拼接的RoutingKey為R.MSG.RDS.4級編碼.省級編碼，不分省資料拼接的RoutingKey為R.MSG.RDS.4級編碼，根據解析出來的字段封裝消息和RoutingKey發(fā)送到配置文件中配置的Exchange中生成數(shù)據到達通知消息，發(fā)送到國家級消息服務器的國省隊列里，省級客戶端監(jiān)聽各省自己的國省隊列，監(jiān)聽到消息之后根據消息中的路徑進行下載。

數(shù)據到達通知模塊用以采集國家級下載平臺要發(fā)布的數(shù)據，采集后以消息通知的方式給各省RabbitMQ消息隊列發(fā)通知消息[17]，與其他模塊交互關系如圖5所示。

圖5 基于消息機制的數(shù)據到達通知模塊交互關系

2.2.2 數(shù)據下載與補調模塊

省級客戶端收到國家級發(fā)送的數(shù)據到達通知后，根據通知消息攜帶的信息從國家級進行文件下載，下載分批次從隊列獲取消息，每批次取10個消息，分別交給10個下載線程并行下載。同時監(jiān)聽本省RMQ消息隊列，若下載失敗，該消息重新放回隊列，每條消息最多支持3次下載，3次均失敗則將該消息存入下載失敗索引中，隨后進入補調下載流程。通過掃描緩存中的下載失敗索引，獲取索引進行下載，直到下載成功或者該索引過期失效。

數(shù)據下載與補調模塊通過從RabbitMQ消息中間件中讀取消息，接收到消息之后給氣象綜合業(yè)務實時監(jiān)控發(fā)送消息到達的DI進行下載，下載結束后拼接下載DI發(fā)送到氣象綜合業(yè)務實時監(jiān)控的ES庫[18]。與其他模塊交互關系如圖6所示。

圖6 數(shù)據下載與補調模塊交互關系

2.2.3 數(shù)據共享訂閱與授權管理模塊

國家級運維人員給各省進行數(shù)據授權之后，省級運維人員才能獲取到已經授權的數(shù)據列表，省級運維人員從已授權數(shù)據列表中進行訂閱，訂閱成功后會在RabbitMQ中通過資料類型建立Exchange交換機和該省隊列的綁定關系[19]，數(shù)據授權管理與共享訂閱模塊與其他模塊的交互關系如圖7所示。

圖7 數(shù)據下載與補調模塊交互關系

2.2.4 數(shù)據管理模塊

配置資料名稱、目錄名稱、上級目錄ID和4級編碼。每種類型資料都配置目錄名稱ID和上級目錄父節(jié)點ID，實現(xiàn)資料管理的樹形結構。

數(shù)據管理模塊是國省數(shù)據共享系統(tǒng)的基礎模塊，為其他模塊提供支撐。國家級運維人員負責數(shù)據管理，數(shù)據管理后實現(xiàn)數(shù)據的授權管理和省級的共享訂閱等功能，數(shù)據管理模塊與其他模塊的交互關系如圖8所示。

圖8 數(shù)據管理模塊交互關系

2.2.5 監(jiān)視和統(tǒng)計模塊

對數(shù)據傳輸、消息通知和訂閱與授權管理等業(yè)務信息的整個流程，以及系統(tǒng)實時運行狀態(tài)信息，按照氣象綜合業(yè)務實時監(jiān)控的要求記錄并發(fā)送DI和EI信息，包括數(shù)據到達后，通知發(fā)送成功DI和發(fā)送失敗的EI；客戶端下載之前、下載成功的DI和下載失敗的EI[20]。

監(jiān)視與統(tǒng)計模塊對共享數(shù)據的全流程發(fā)送DI進行統(tǒng)計，監(jiān)視和統(tǒng)計模塊與其他模塊的交互關系如圖9所示。

圖9 監(jiān)視與統(tǒng)計模塊交互關系

2.3 數(shù)據庫結構

為降低數(shù)據的冗余，基于消息通知機制的國省數(shù)據共享系統(tǒng)在國內氣象通信系統(tǒng)的表結構基礎上新增了5張表，這5張表和國內氣象通信系統(tǒng)的原有業(yè)務高內聚，和原有的軟件結構低耦合。其中用戶信息表(TD_BUDIAO_USER)存儲各個省份的用戶信息;目錄信息表(TD_BUDIAO_DIR)存儲國家級要發(fā)布的各類資料的基本信息，包含資料編碼、分省標志等;用戶和資料授權關系表(TD_BUDIAO_USR_DIR)存儲各個用戶和各類資料的授權關系以及用戶對該類資料的訂閱狀態(tài)標志;各省可訂閱外省數(shù)據的授權表(TD_ORDER_PROV_AUTH)存儲國家級對各省可訂閱的外省數(shù)據的授權情況;各省的省級編碼表(TD_PROV_CCCC)存儲各省省份名稱和省級編碼的對應關系。國省數(shù)據共享系統(tǒng)的數(shù)據庫表結構如圖10所示。

圖10 數(shù)據庫表結構

3 業(yè)務應用

3.1 國家級下發(fā)

新增資料目錄配置,如圖11所示,登錄國省數(shù)據共享系統(tǒng)，進入【數(shù)據目錄配置管理】分頁面。分別配置資料大類和下屬資料信息，資料大類是1級目錄，后續(xù)新增同一大類資料不需要重復配置；下屬資料位于2級目錄，每新增1類資料均需填寫配置信息。配置信息包括目錄名稱、資料名稱、上級目錄名稱、4級編碼和是否分省資料。

圖11 新增資料配置頁面

新增資料授權,如圖12所示,進入【數(shù)據授權】分頁，選擇需要授權的省份，勾選授權的資料，保存后完成授權。

圖12 新增資料授權頁面:(a)省級列表,(b)省級授權

分省數(shù)據授權,如圖13所示,國省共享的數(shù)據分為中國的資料和分省切片的資料，分省資料的文件名中包含省級編碼，4級編碼一般為R002結尾。以山西的/ANALYSIS/CMPAS分省0.01°×0.01°逐小時降水實時融合實況分析產品為例，經授權配置可以提供四川、廣東、甘肅下載。

圖13 分省資料授權頁面:(a)分省資料配置,(b)分省資料授權

3.2 省級訂閱流程

登錄省級系統(tǒng)，進入【目錄訂閱配置】分頁面，可看到國家級授權給該省訂閱的數(shù)據目錄清單，各省級根據自己的需要在授權的目錄清單中，訂閱需要的資料，如圖14所示。

圖14 省級訂閱頁面

3.3 下發(fā)數(shù)據量統(tǒng)計

國省數(shù)據共享系統(tǒng)目前承擔多源融合實況分析產品、智能網格產品以及2類臨時資料的國省數(shù)據共享服務，其中實況產品17種，智能網格產品6種。2021年6月下發(fā)的數(shù)據總量共計6361.61 GB，詳見表1。

表1 2021年6月國省數(shù)據共享系統(tǒng)下發(fā)數(shù)據量統(tǒng)計

3.4 系統(tǒng)監(jiān)視和時效統(tǒng)計

系統(tǒng)監(jiān)視，如圖15所示,國省數(shù)據共享系統(tǒng)的全流程業(yè)務監(jiān)視，實現(xiàn)數(shù)據收集、消息到達通知、省級數(shù)據下載情況的全流程追蹤和時效分析，保障國省數(shù)據的快速可靠共享。

圖15 國省數(shù)據共享系統(tǒng)監(jiān)視頁面

對全國31個省份全部訂閱的11種共享數(shù)據進行時效統(tǒng)計(圖16)，統(tǒng)計時間包含數(shù)據收集、通知下載和省級傳輸?shù)娜^程，數(shù)據下發(fā)時間基本在5～35 s 之間，平均時效為17.49 s，滿足省級業(yè)務需求。

4 結論與討論

本文基于消息通知機制的國省數(shù)據共享系統(tǒng)的設計與實現(xiàn)目前支撐國省智能網格產品和多源融合實況分析產品實時傳輸，平均時效為17.49 s，滿足省級地面寬帶的數(shù)據下載和衛(wèi)星廣播的數(shù)據補調需求，資料下發(fā)后通過省級通信系統(tǒng)接入省級數(shù)據環(huán)境，并由MUSIC接口提供用戶使用。

后續(xù)我們將統(tǒng)籌全國地面寬帶網(CMANet)的資源，加快數(shù)據接入，并依托國省數(shù)據共享系統(tǒng)實現(xiàn)對國省數(shù)據共享的有效管理和控制。根據資料對省級業(yè)務的重要性、資料數(shù)據量和時效要求，設置高中低優(yōu)先級進行傳輸，建設可靠、高效、有序的國省數(shù)據共享業(yè)務流程。