霍 慶 何文春* 何 林 高 峰 陳士旺 徐擁軍

1)(國(guó)家氣象信息中心, 北京 100081) 2)(陜西省氣象信息中心, 西安 710014)

引 言

氣象信息化是氣象現(xiàn)代化的重要標(biāo)志[1]。經(jīng)過(guò)多年發(fā)展,我國(guó)氣象部門(mén)氣象數(shù)據(jù)傳輸、處理、加工、存儲(chǔ)與服務(wù)等業(yè)務(wù)能力不斷增強(qiáng),氣象信息化水平不斷提高。國(guó)家氣象信息中心先后建立了國(guó)家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng)(MDSS)和全國(guó)綜合氣象信息共享系統(tǒng)(CIMISS),逐步實(shí)現(xiàn)氣象數(shù)據(jù)環(huán)境在全國(guó)的統(tǒng)一[2-5],具備一定的數(shù)據(jù)產(chǎn)品加工能力[6],一定程度上實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一供給。隨著氣象業(yè)務(wù)的發(fā)展,各業(yè)務(wù)系統(tǒng)紛紛構(gòu)建自己的產(chǎn)品加工系統(tǒng)和配套數(shù)據(jù)管理系統(tǒng)[7-16],但也產(chǎn)生了一個(gè)難以回避的問(wèn)題,即數(shù)據(jù)孤島與應(yīng)用煙囪,是氣象業(yè)務(wù)不集約的表現(xiàn)[17-18]。

氣象業(yè)務(wù)的不集約會(huì)帶來(lái)諸多問(wèn)題[19-22]:①針對(duì)相似的應(yīng)用場(chǎng)景,數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一,運(yùn)維難度大。②各業(yè)務(wù)系統(tǒng)自建數(shù)據(jù)庫(kù),數(shù)據(jù)重復(fù)存儲(chǔ),造成巨大浪費(fèi)。③數(shù)據(jù)本地化存儲(chǔ),因同步不及時(shí)導(dǎo)致數(shù)據(jù)不一致。④業(yè)務(wù)系統(tǒng)獨(dú)立開(kāi)發(fā)與運(yùn)行,導(dǎo)致嚴(yán)重的信息與技術(shù)壁壘,上下游業(yè)務(wù)無(wú)法聯(lián)動(dòng)。

近年中國(guó)氣象局陸續(xù)印發(fā)多個(gè)氣象信息化頂層設(shè)計(jì),其中《氣象大數(shù)據(jù)行動(dòng)計(jì)劃(2017—2020年)》[23]首次提出建設(shè)氣象大數(shù)據(jù)云平臺(tái),明確以氣象大數(shù)據(jù)云平臺(tái)為云、氣象業(yè)務(wù)系統(tǒng)為端的“云+端”業(yè)務(wù)技術(shù)體制[24-26],實(shí)現(xiàn)數(shù)據(jù)管理、加工處理、應(yīng)用服務(wù)的高度集約,促進(jìn)業(yè)務(wù)系統(tǒng)有效銜接、高效協(xié)同。國(guó)家氣象信息中心于2018年設(shè)計(jì)建設(shè)氣象大數(shù)據(jù)云平臺(tái)(簡(jiǎn)稱天擎),2021年12月實(shí)現(xiàn)業(yè)務(wù)運(yùn)行。天擎設(shè)計(jì)定位為全國(guó)氣象業(yè)務(wù)的基礎(chǔ)性平臺(tái),基于混合云提供數(shù)算一體的平臺(tái)化服務(wù),系統(tǒng)包括交換及質(zhì)量控制、存儲(chǔ)與服務(wù)、加工流水線、門(mén)戶網(wǎng)站等[27]。

加工流水線是天擎實(shí)現(xiàn)算法統(tǒng)一管理與集約運(yùn)行、消除應(yīng)用煙囪、實(shí)現(xiàn)“云+端”業(yè)務(wù)技術(shù)體制的重要基礎(chǔ)。本文在分析業(yè)務(wù)需求的基礎(chǔ)上,詳細(xì)介紹加工流水線的功能設(shè)計(jì)、關(guān)鍵技術(shù)、算法云化集成、應(yīng)用效益,并對(duì)未來(lái)發(fā)展方向進(jìn)行展望。

1 業(yè)務(wù)需求

氣象業(yè)務(wù)對(duì)數(shù)據(jù)產(chǎn)品加工的需求,可以分為3個(gè)層面:①單一業(yè)務(wù)系統(tǒng)更關(guān)注產(chǎn)品生成效率和穩(wěn)定性,要求算法高效調(diào)度、穩(wěn)定運(yùn)行,及時(shí)生成數(shù)據(jù)產(chǎn)品。②不同業(yè)務(wù)系統(tǒng)之間要求數(shù)據(jù)產(chǎn)品共享,實(shí)現(xiàn)協(xié)同聯(lián)動(dòng)。③全局氣象業(yè)務(wù)期望集約高效,形成“云+端”業(yè)務(wù)技術(shù)體制,提高整體運(yùn)行效能。

1.1 數(shù)據(jù)產(chǎn)品加工高效及穩(wěn)定需求

氣象數(shù)據(jù)產(chǎn)品及其加工算法是氣象業(yè)務(wù)的核心,算法的高效、穩(wěn)定調(diào)度運(yùn)行是保障產(chǎn)品能否及時(shí)、穩(wěn)定生成的基礎(chǔ)條件。算法調(diào)度需要建立集約、高效的調(diào)度框架,實(shí)現(xiàn)定時(shí)、實(shí)時(shí)等多種調(diào)度策略。數(shù)算一體是算法高效運(yùn)行的重要手段,算法靠近數(shù)據(jù),減少數(shù)據(jù)搬運(yùn),提升數(shù)據(jù)的讀寫(xiě)效率及算法運(yùn)行時(shí)效。

1.2 業(yè)務(wù)系統(tǒng)數(shù)據(jù)共享及協(xié)同需求

數(shù)據(jù)、算法、算力是氣象業(yè)務(wù)的基礎(chǔ)三要素,三者協(xié)同共享對(duì)提升氣象業(yè)務(wù)效率和實(shí)現(xiàn)高質(zhì)量發(fā)展至關(guān)重要。應(yīng)用煙囪和數(shù)據(jù)孤島導(dǎo)致數(shù)據(jù)產(chǎn)品僅在單一業(yè)務(wù)系統(tǒng)內(nèi)循環(huán),有待互聯(lián)互通,實(shí)現(xiàn)不同業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)共享;數(shù)據(jù)共享流程亟待優(yōu)化,減少傳輸、下載等流轉(zhuǎn)環(huán)節(jié),實(shí)現(xiàn)數(shù)據(jù)生產(chǎn)者的直存與數(shù)據(jù)需求者的直取。共享先進(jìn)算法可以減少重復(fù)研發(fā),縮短業(yè)務(wù)系統(tǒng)的上線周期,統(tǒng)一管理算法,支持用戶獲取較全面的氣象算法清單。在保障各業(yè)務(wù)系統(tǒng)資源隔離的基礎(chǔ)上,實(shí)現(xiàn)算力資源充分共享是提升業(yè)務(wù)效能的重要手段。

1.3 業(yè)務(wù)應(yīng)用高效集約運(yùn)行需求

構(gòu)建以天擎為云、氣象業(yè)務(wù)系統(tǒng)為端的“云+端”業(yè)務(wù)技術(shù)體制,是實(shí)現(xiàn)氣象業(yè)務(wù)集約化和高質(zhì)量發(fā)展的必由之路。集約的數(shù)據(jù)環(huán)境和算法環(huán)境是云的核心能力,算法集約需實(shí)現(xiàn)氣象算法統(tǒng)一管理,支持版權(quán)控制下的共建共享,同時(shí)需具備豐富的算力資源和高并發(fā)的任務(wù)調(diào)度能力,支撐算法的高效調(diào)度運(yùn)行。

2 技術(shù)設(shè)計(jì)

2.1 總體架構(gòu)

加工流水線采用面向服務(wù)架構(gòu)(SOA)的設(shè)計(jì)思想[28],各功能模塊實(shí)現(xiàn)面向服務(wù)的封裝,系統(tǒng)架構(gòu)如圖1所示。依托于天擎的算力資源,加工流水線以算法庫(kù)和任務(wù)管控為核心,與天擎數(shù)據(jù)存儲(chǔ)共同構(gòu)建數(shù)算一體的算法環(huán)境。算法庫(kù)實(shí)現(xiàn)算法的標(biāo)準(zhǔn)化,統(tǒng)一管理算法并共享;任務(wù)管控支持多種調(diào)度策略,以高可靠性與容錯(cuò)性,支撐算法的高效、穩(wěn)定調(diào)度運(yùn)行。加工流水線面向應(yīng)用前端將所有功能以接口形式開(kāi)放調(diào)用?；跉庀髽I(yè)務(wù)綜合監(jiān)控系統(tǒng)(簡(jiǎn)稱天鏡),實(shí)現(xiàn)算法運(yùn)行狀態(tài)的自動(dòng)采集與異常告警。

圖1 加工流水線框架

2.2 功能設(shè)計(jì)

2.2.1 算法管理

算法管理實(shí)現(xiàn)算法注冊(cè)、算法審核、算法版本管理、算法清單與算法檢索、算法版權(quán)控制等,支撐用戶對(duì)氣象算法的發(fā)現(xiàn)、查看與共享,加工流水線算法管理流程見(jiàn)圖2。算法注冊(cè)實(shí)現(xiàn)算法向算法庫(kù)的提交,同時(shí)填報(bào)算法元數(shù)據(jù)。算法通過(guò)審核后進(jìn)入算法清單,供用戶檢索查看。算法管理實(shí)現(xiàn)嚴(yán)格的版權(quán)控制,用戶向算法所有者申請(qǐng)使用權(quán)后才能使用。

圖2 加工流水線算法管理

2.2.2 任務(wù)定義

任務(wù)定義主要實(shí)現(xiàn)算法運(yùn)行參數(shù)、算法運(yùn)行節(jié)點(diǎn)、算法調(diào)度策略、算法日志管理策略、算法監(jiān)控策略等配置(圖3)。通過(guò)新增任務(wù)確定任務(wù)名稱,向任務(wù)中添加算法并指定運(yùn)行節(jié)點(diǎn),實(shí)現(xiàn)任務(wù)、算法和算力資源的關(guān)聯(lián)。當(dāng)一個(gè)任務(wù)由多個(gè)算法組成時(shí),可以配置算法的上下游關(guān)系,確定算法運(yùn)行時(shí)序。任務(wù)定義的核心是完成算法調(diào)度策略配置,選定調(diào)度方式并定義算法啟動(dòng)時(shí)間等。算法監(jiān)控策略配置包括算法調(diào)度運(yùn)行監(jiān)控策略和產(chǎn)品完整性監(jiān)控策略配置,實(shí)現(xiàn)算法運(yùn)行與天鏡的關(guān)聯(lián)與監(jiān)控告警。任務(wù)定義支持用戶以可視化頁(yè)面操作的方式進(jìn)行。

圖3 加工流水線任務(wù)定義

2.2.3 任務(wù)調(diào)度

任務(wù)調(diào)度根據(jù)任務(wù)定義中配置的調(diào)度策略實(shí)現(xiàn)算法的調(diào)度運(yùn)行。任務(wù)調(diào)度是加工流水線的核心功能,支持多種任務(wù)調(diào)度策略,包括定時(shí)調(diào)度、人工調(diào)度、實(shí)時(shí)調(diào)度、順序調(diào)度和數(shù)據(jù)源感知調(diào)度等。其中,數(shù)據(jù)源感知調(diào)度實(shí)時(shí)分析數(shù)據(jù)到報(bào)狀態(tài),在數(shù)據(jù)達(dá)到的第一時(shí)間啟動(dòng)算法。

任務(wù)調(diào)度由調(diào)度服務(wù)端、調(diào)度客戶端(即計(jì)算節(jié)點(diǎn))和消息中間件組成。調(diào)度服務(wù)端基于算法信息(包括算法ID、算法參數(shù)、算法執(zhí)行命令、算法執(zhí)行所需CPU和內(nèi)存等)、任務(wù)信息(包括調(diào)度策略、任務(wù)可執(zhí)行的計(jì)算節(jié)點(diǎn)等)和計(jì)算節(jié)點(diǎn)負(fù)載狀態(tài)生成調(diào)度指令,下發(fā)至調(diào)度客戶端,調(diào)度客戶端基于調(diào)度指令啟動(dòng)并執(zhí)行算法,將算法執(zhí)行狀態(tài)、計(jì)算節(jié)點(diǎn)狀態(tài)等通過(guò)消息中間件反饋至調(diào)度服務(wù)端。任務(wù)調(diào)度流程見(jiàn)圖4。

圖4 加工流水線任務(wù)調(diào)度

2.2.4 任務(wù)管理

任務(wù)管理實(shí)現(xiàn)任務(wù)啟?？刂?、任務(wù)運(yùn)行狀態(tài)和日志查看以及任務(wù)人工補(bǔ)做。任務(wù)運(yùn)行狀態(tài)和日志查看頁(yè)面展示任務(wù)的計(jì)劃執(zhí)行開(kāi)始時(shí)間、實(shí)際執(zhí)行開(kāi)始時(shí)間、執(zhí)行結(jié)束時(shí)間、執(zhí)行計(jì)算節(jié)點(diǎn)以及執(zhí)行日志等。

2.2.5 功能開(kāi)放接口

功能開(kāi)放接口將加工流水線的主要功能以接口形式發(fā)布,支持應(yīng)用系統(tǒng)前端直接調(diào)用,可以更有效地支撐“云+端”業(yè)務(wù)技術(shù)體制的建立,如圖5所示。加工流水線的功能開(kāi)放接口包括算法管理接口和任務(wù)管理接口。

圖5 基于加工流水線功能開(kāi)放接口構(gòu)建“云+端”業(yè)務(wù)架構(gòu)

2.2.6 可靠性設(shè)計(jì)

加工流水線的安全穩(wěn)定運(yùn)行對(duì)氣象業(yè)務(wù)至關(guān)重要。從技術(shù)層面采用3條措施提高加工流水線的安全穩(wěn)定性:①調(diào)度服務(wù)端采用主備雙節(jié)點(diǎn)設(shè)計(jì),實(shí)時(shí)監(jiān)聽(tīng)進(jìn)程運(yùn)行狀態(tài)和調(diào)度服務(wù)可用性,發(fā)生異常時(shí)主備自動(dòng)切換。②計(jì)算節(jié)點(diǎn)基于容器技術(shù),當(dāng)某個(gè)計(jì)算節(jié)點(diǎn)出現(xiàn)故障時(shí),實(shí)現(xiàn)算法向其他節(jié)點(diǎn)自動(dòng)遷移。③基于天擎?zhèn)浞莪h(huán)境,算法在主備環(huán)境同時(shí)運(yùn)行,異常狀態(tài)下應(yīng)用系統(tǒng)可實(shí)現(xiàn)主備切換。

3 關(guān)鍵技術(shù)

3.1 數(shù)算一體技術(shù)

加工流水線實(shí)現(xiàn)氣象數(shù)據(jù)資源、算法資源、算力資源的一體化,數(shù)算一體的特性從3個(gè)方面予以保障:①算法靠近數(shù)據(jù),天擎同時(shí)承載氣象數(shù)據(jù)管理與氣象算法運(yùn)行,算法向加工流水線部署的過(guò)程,即算法向數(shù)據(jù)靠攏的過(guò)程,減少數(shù)據(jù)搬運(yùn)與傳輸。②加工流水線上的算法可以訪問(wèn)數(shù)據(jù)庫(kù),不用通過(guò)調(diào)用服務(wù)接口即可直接讀取或?qū)懭霐?shù)據(jù)。③存儲(chǔ)環(huán)境與加工流水線的計(jì)算環(huán)境在物理部署上高速互聯(lián)。加工流水線的數(shù)算一體特性顯著提升氣象數(shù)據(jù)產(chǎn)品的加工時(shí)效。

3.2 容器技術(shù)

天擎投入運(yùn)行與應(yīng)用前,氣象業(yè)務(wù)系統(tǒng)主要以虛擬機(jī)或物理機(jī)方式運(yùn)行。物理機(jī)無(wú)法實(shí)現(xiàn)資源隔離,不同業(yè)務(wù)間會(huì)出現(xiàn)資源搶占,影響業(yè)務(wù)運(yùn)行穩(wěn)定性。虛擬機(jī)運(yùn)算性能相對(duì)較低,一般用于支撐系統(tǒng)前端[29]。相比于物理機(jī),容器實(shí)現(xiàn)了資源隔離,業(yè)務(wù)系統(tǒng)部署與遷移更便捷;相比于虛擬機(jī),容器具備運(yùn)算性能高、資源利用率高、啟動(dòng)耗時(shí)短等特性[30-37]。

加工流水線的容器集群管理基于Kubernetes(K8s)實(shí)現(xiàn),將集群系統(tǒng)分為管理節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)[38-39](圖6)。管理節(jié)點(diǎn)接收加工流水線調(diào)度服務(wù)端的調(diào)度指令,基于API管理服務(wù)、容器控制服務(wù)、容器調(diào)度服務(wù)、數(shù)據(jù)存儲(chǔ)組件等實(shí)現(xiàn)集群的資源管理、容器啟停與擴(kuò)縮容、系統(tǒng)監(jiān)控等。計(jì)算節(jié)點(diǎn)基于容器執(zhí)行服務(wù)、容器網(wǎng)絡(luò)管理等組件,完成容器創(chuàng)建與容器狀態(tài)采集。管理節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)通過(guò)超文本傳輸協(xié)議http進(jìn)行通信。

圖6 加工流水線容器技術(shù)

3.3 加工流程可視化技術(shù)

氣象數(shù)據(jù)產(chǎn)品加工任務(wù)一般由多個(gè)算法串接而成,如天氣雷達(dá)產(chǎn)品加工任務(wù)包含單站質(zhì)量控制產(chǎn)品生成算法、單站圖片產(chǎn)品生成算法、組網(wǎng)產(chǎn)品生成算法和組網(wǎng)圖片產(chǎn)品生成算法(圖7)。加工流水線基于mxGraph實(shí)現(xiàn)可視化任務(wù)流程的創(chuàng)建、修改、編輯、串接等[40]。

圖7 加工流水線天氣雷達(dá)產(chǎn)品加工任務(wù)流程示意圖

4 算法云化集成

按照“云+端”業(yè)務(wù)技術(shù)體制的要求,前端應(yīng)用部署在虛擬資源中,后端產(chǎn)品加工算法按照規(guī)范進(jìn)行云化改造并部署于天擎上運(yùn)行。算法云化要求輸入數(shù)據(jù)來(lái)自天擎、輸出產(chǎn)品回寫(xiě)至天擎且進(jìn)行產(chǎn)品注冊(cè)發(fā)布、算法由加工流水線統(tǒng)一調(diào)度運(yùn)行、天鏡統(tǒng)一監(jiān)視運(yùn)行等。

算法云化集成的核心流程包括:天擎業(yè)務(wù)賬戶與數(shù)據(jù)訪問(wèn)權(quán)限申請(qǐng)、算力資源申請(qǐng)、數(shù)據(jù)產(chǎn)品注冊(cè)、算法開(kāi)發(fā)測(cè)試、算法鏡像封裝和算法集成運(yùn)行。賬戶與數(shù)據(jù)訪問(wèn)權(quán)限申請(qǐng)、算力資源申請(qǐng)和數(shù)據(jù)產(chǎn)品注冊(cè)等參見(jiàn)《天擎應(yīng)用開(kāi)發(fā)手冊(cè)》,本文主要介紹算法開(kāi)發(fā)測(cè)試、算法鏡像封裝、算法集成運(yùn)行的技術(shù)操作。

4.1 算法開(kāi)發(fā)測(cè)試

基于天擎臨時(shí)容器資源進(jìn)行算法開(kāi)發(fā)測(cè)試,且須符合一定的開(kāi)發(fā)規(guī)范,包括應(yīng)用加工流水線的公共配置文件、輸入數(shù)據(jù)與輸出產(chǎn)品對(duì)接天擎存儲(chǔ)、監(jiān)視信息對(duì)接天鏡等。天擎主備環(huán)境及省級(jí)節(jié)點(diǎn)各自的公共配置文件存儲(chǔ)著該節(jié)點(diǎn)的數(shù)據(jù)庫(kù)IP、服務(wù)接口域名、天鏡監(jiān)視域名等公共信息。應(yīng)用公共配置文件使算法在不同節(jié)點(diǎn)間的遷移部署更便捷,避免遷移時(shí)因公共配置不同而需對(duì)算法進(jìn)行修改。數(shù)據(jù)訪問(wèn)權(quán)限申請(qǐng)經(jīng)審核通過(guò),即可直連數(shù)據(jù)庫(kù)或服務(wù)接口讀取數(shù)據(jù),直連數(shù)據(jù)庫(kù)所需的表名和字段名可在天擎門(mén)戶網(wǎng)站上查看。數(shù)據(jù)產(chǎn)品回存所需的存儲(chǔ)目錄或數(shù)據(jù)表,在產(chǎn)品注冊(cè)完成后自動(dòng)創(chuàng)建。監(jiān)視信息須按照天鏡的規(guī)范要求,通過(guò)接口發(fā)送至天鏡。

4.2 算法鏡像封裝

算法在臨時(shí)容器資源中完成開(kāi)發(fā)與測(cè)試,在線完成算法鏡像一鍵封裝,存入加工流水線的鏡像倉(cāng)庫(kù)。算法鏡像中包含算法實(shí)體、算法配置及算法依賴環(huán)境等,支撐算法的調(diào)度運(yùn)行。

4.3 算法集成運(yùn)行

算法集成運(yùn)行包括算法注冊(cè)、加載部署及任務(wù)定義。算法注冊(cè)時(shí)需提交算法實(shí)體并填報(bào)算法元數(shù)據(jù)信息,經(jīng)審核通過(guò),加載部署實(shí)現(xiàn)算法與計(jì)算資源的關(guān)聯(lián)。任務(wù)定義的核心操作是配置算法的調(diào)度策略,如針對(duì)定時(shí)調(diào)度,通過(guò)可視化crontab的方式設(shè)定算法的定時(shí)啟動(dòng)時(shí)間,針對(duì)數(shù)據(jù)源感知調(diào)度,需選定數(shù)據(jù)源(如中國(guó)地面自動(dòng)站逐小時(shí)數(shù)據(jù))并配置觸發(fā)閾值(如每個(gè)時(shí)次到報(bào)90%的站數(shù))。完成任務(wù)定義,算法即可由流水線進(jìn)行自動(dòng)調(diào)度運(yùn)行與生成產(chǎn)品。

5 業(yè)務(wù)應(yīng)用效益

2021年12月15日加工流水線隨天擎開(kāi)始全國(guó)業(yè)務(wù)運(yùn)行,發(fā)揮業(yè)務(wù)效益:①實(shí)現(xiàn)算法統(tǒng)一管理,便于國(guó)省統(tǒng)一部署運(yùn)維,同時(shí)基于加工流水線的數(shù)算一體、任務(wù)調(diào)度等技術(shù),提升運(yùn)行效率。②實(shí)現(xiàn)數(shù)據(jù)產(chǎn)品直存天擎,消除數(shù)據(jù)壁壘,有利于數(shù)據(jù)開(kāi)放共享,且基于自然時(shí)序的數(shù)據(jù)源感知調(diào)度能夠串聯(lián)全業(yè)務(wù)鏈條,消除應(yīng)用煙囪,提升各業(yè)務(wù)間的協(xié)同度。③建立“云+端”技術(shù)體制,初步實(shí)現(xiàn)“云+端”業(yè)務(wù)技術(shù)體制改革目標(biāo),構(gòu)筑集約發(fā)展的基礎(chǔ)。

截至2023年11月底,全國(guó)有202個(gè)應(yīng)用系統(tǒng)融入天擎并基于加工流水線業(yè)務(wù)運(yùn)行。國(guó)省融入氣象算法6739個(gè)(圖8),氣象算法庫(kù)算法資源的規(guī)模效益初現(xiàn),為國(guó)省算法共建共享提供基礎(chǔ)。

國(guó)家氣象中心的指揮決策分析系統(tǒng)(MESIS3.0)實(shí)現(xiàn)業(yè)務(wù)全流程深度融入天擎,40余個(gè)算法基于加工流水線調(diào)度運(yùn)行,支撐超1000個(gè)數(shù)據(jù)產(chǎn)品的高效生產(chǎn),系統(tǒng)在多次天氣過(guò)程中發(fā)揮重要作用。MESIS3.0融入天擎后,集約化程度和系統(tǒng)性能大幅提升,其中圖形產(chǎn)品加工效率由15 s提升至 5 s,極值統(tǒng)計(jì)效率提升近10倍。

國(guó)家氣象信息中心基于位置的實(shí)況服務(wù)系統(tǒng)完全基于天擎原生設(shè)計(jì)開(kāi)發(fā)[41],為氣象部門(mén)提供統(tǒng)一、準(zhǔn)確、高時(shí)空分辨率的天氣實(shí)況服務(wù),2020年12月業(yè)務(wù)運(yùn)行,實(shí)時(shí)支撐氣象實(shí)況微信小程序和中國(guó)氣象APP。融合站點(diǎn)分鐘觀測(cè)數(shù)據(jù)的實(shí)況格點(diǎn)產(chǎn)品基于加工流水線實(shí)時(shí)生成,實(shí)現(xiàn)溫度、降水、相對(duì)濕度、風(fēng)等要素逐分鐘和能見(jiàn)度、天氣現(xiàn)象逐5 min快速更新。

中國(guó)氣象局氣象探測(cè)中心的天氣雷達(dá)拼圖系統(tǒng)V3.0于2023年4月開(kāi)始基于天擎業(yè)務(wù)運(yùn)行,實(shí)時(shí)生成單站和組網(wǎng)拼圖產(chǎn)品30余種,提供國(guó)省用戶應(yīng)用。融入天擎后,應(yīng)用加工流水線的數(shù)算一體和高效任務(wù)調(diào)度技術(shù)極大簡(jiǎn)化業(yè)務(wù)流程,減少數(shù)據(jù)搬運(yùn)耗時(shí),提升算法運(yùn)行效率,雷達(dá)產(chǎn)品生成與服務(wù)時(shí)效由6 min提升至1 min(圖9)。

圖9 基于加工流水線的天氣雷達(dá)拼圖系統(tǒng)V3.0優(yōu)化效果(a)原流程,(b)現(xiàn)流程

6 小 結(jié)

本文在分析業(yè)務(wù)需求的基礎(chǔ)上,對(duì)加工流水線的總體架構(gòu)、主要功能、關(guān)鍵技術(shù)等進(jìn)行詳細(xì)介紹,并總結(jié)系統(tǒng)的業(yè)務(wù)應(yīng)用效益:

1) 通過(guò)建立算法庫(kù),實(shí)現(xiàn)國(guó)省氣象算法統(tǒng)一管理,集成氣象算法6739個(gè),形成一定規(guī)模的氣象算法資產(chǎn),為氣象算法的共建共享提供支撐。

2) 加工流水線建立數(shù)算一體、高效任務(wù)調(diào)度和加工流程可視化定義等技術(shù),并充分應(yīng)用容器技術(shù),實(shí)現(xiàn)氣象數(shù)據(jù)產(chǎn)品加工任務(wù)的高效、集約調(diào)度運(yùn)行。

3) 國(guó)省兩級(jí)業(yè)務(wù)應(yīng)用證明加工流水線對(duì)提升氣象業(yè)務(wù)系統(tǒng)的運(yùn)行效率、消除數(shù)據(jù)壁壘和應(yīng)用煙囪、建立“云+端”業(yè)務(wù)技術(shù)體制、推進(jìn)氣象業(yè)務(wù)集約發(fā)展具有重要支撐作用。

隨著大數(shù)據(jù)、云計(jì)算、人工智能等信息技術(shù)的不斷發(fā)展,加工流水線需不斷進(jìn)行功能升級(jí)與性能提升:①應(yīng)用DevOps思想實(shí)現(xiàn)流水線的敏捷開(kāi)發(fā)與快速迭代升級(jí),以快速響應(yīng)多變的業(yè)務(wù)需求,減少系統(tǒng)升級(jí)對(duì)已運(yùn)行業(yè)務(wù)的影響。②算法與資源調(diào)度需更加智能化,實(shí)現(xiàn)計(jì)算資源的動(dòng)態(tài)擴(kuò)縮容,提升資源利用效能。③建立完備的算法開(kāi)發(fā)測(cè)試環(huán)境,支撐算法的高效開(kāi)發(fā)、測(cè)試及向業(yè)務(wù)環(huán)境的一鍵遷移部署,提升算法業(yè)務(wù)上線的時(shí)效與規(guī)范性。