李顯風(fēng) 袁正國 周雪瑩 鄧衛(wèi)華 劉海燕

(江西省氣象數(shù)據(jù)中心,南昌 330096)

引言

隨著觀測手段和信息技術(shù)的不斷發(fā)展,氣象及相關(guān)行業(yè)數(shù)據(jù)量日益增長,為開展氣象業(yè)務(wù)服務(wù)提供了重要數(shù)據(jù)支撐,同時(shí)也給數(shù)據(jù)的存儲(chǔ)管理帶來嚴(yán)峻挑戰(zhàn)。為實(shí)現(xiàn)數(shù)據(jù)資源高效匯聚、統(tǒng)一存儲(chǔ)和共享服務(wù),中國氣象局利用云計(jì)算、大數(shù)據(jù)等新一代信息技術(shù),在國省兩級構(gòu)建了“數(shù)算一體”的氣象大數(shù)據(jù)云平臺(tái)(天擎),實(shí)現(xiàn)氣象部門內(nèi)外多種數(shù)據(jù)產(chǎn)品的統(tǒng)一管理和云上計(jì)算能力,全面支撐“云+端”的氣象應(yīng)用業(yè)務(wù),形成集約化、標(biāo)準(zhǔn)化、開放發(fā)展的氣象新業(yè)態(tài)[1-2]。

氣象衛(wèi)星作為天基探測的主要手段,在氣象觀測、天氣預(yù)報(bào)及防災(zāi)減災(zāi)中發(fā)揮著越來越突出的重要作用。我國從20世紀(jì)70年代開始自主發(fā)展氣象衛(wèi)星,截至2022年6月已發(fā)射了19顆氣象衛(wèi)星,其中7顆在軌運(yùn)行,實(shí)現(xiàn)了極軌衛(wèi)星和靜止衛(wèi)星的業(yè)務(wù)化運(yùn)行[3-4]。FY-3、FY-4衛(wèi)星分別是我國目前在軌運(yùn)行的第二代極軌氣象衛(wèi)星和靜止氣象衛(wèi)星,成為我國獲取全球資料和滿足區(qū)域?yàn)?zāi)害性天氣和環(huán)境監(jiān)測、氣象服務(wù)和地球系統(tǒng)科學(xué)研究的重要工具,并通過用戶直收、中國氣象局衛(wèi)星廣播系統(tǒng)(CMACast)[5]廣播分發(fā)、門戶網(wǎng)站注冊下載、人工定制等多種方式為全球用戶提供觀測數(shù)據(jù)和應(yīng)用服務(wù)。目前,省級氣象部門主要通過CMACast衛(wèi)星廣播系統(tǒng)轉(zhuǎn)發(fā)獲取FY-3、FY-4等各類原始探測數(shù)據(jù)及加工產(chǎn)品,各類數(shù)據(jù)產(chǎn)品廣泛應(yīng)用于天氣預(yù)報(bào)服務(wù)、自然災(zāi)害監(jiān)測業(yè)務(wù)和科研工作等領(lǐng)域[6-9]。但是通過CMACast系統(tǒng)廣播獲取的衛(wèi)星資料種類有限并且存在滯后時(shí)間較長等問題,從而影響了資料的實(shí)際應(yīng)用效果,特別是對森林火點(diǎn)監(jiān)測等高時(shí)效業(yè)務(wù)。為了滿足對氣象衛(wèi)星數(shù)據(jù)高時(shí)效性應(yīng)用需求,中國氣象局在全國各省氣象局、區(qū)域中心建設(shè)了高速數(shù)據(jù)地面衛(wèi)星直收站,實(shí)時(shí)接收處理FY-3、FY-4等多種衛(wèi)星數(shù)據(jù)產(chǎn)品,顯著提高了資料獲取數(shù)量和資料時(shí)效。

極地軌道衛(wèi)星具有獲取全球資料的能力,其探測數(shù)據(jù)覆蓋范圍廣;靜止軌道衛(wèi)星具有獲取高頻次資料的能力,如FY-4衛(wèi)星每15分鐘可獲得一次全圓盤觀測資料。因此,省級衛(wèi)星直收站實(shí)時(shí)接收數(shù)據(jù)量大(每日約700 GB),各個(gè)接收站數(shù)據(jù)存儲(chǔ)在不同存儲(chǔ)系統(tǒng)。目前尚缺乏統(tǒng)一的服務(wù)系統(tǒng)支持有效的數(shù)據(jù)應(yīng)用服務(wù),導(dǎo)致數(shù)據(jù)產(chǎn)品在實(shí)際業(yè)務(wù)中難以充分發(fā)揮效益。盡管產(chǎn)品文件可以通過天擎統(tǒng)一服務(wù)接口進(jìn)行讀取訪問,但是需要逐時(shí)次逐個(gè)文件下載,并將下載的文件存儲(chǔ)到本地磁盤目錄進(jìn)行加工處理。這種傳統(tǒng)服務(wù)方式資料獲取時(shí)效慢、資料時(shí)序短,不能滿足人工智能等大數(shù)據(jù)應(yīng)用對長時(shí)間序列產(chǎn)品文件的需求。因此,迫切需要建設(shè)統(tǒng)一的大數(shù)據(jù)文件共享系統(tǒng)。

數(shù)據(jù)湖可以用于存儲(chǔ)任意類型的海量數(shù)據(jù),并具有良好的可擴(kuò)展性。通過數(shù)據(jù)湖引擎可直接訪問集中存儲(chǔ)的各類數(shù)據(jù)文件,并可根據(jù)業(yè)務(wù)、科研等不同需求解析數(shù)據(jù),挖掘價(jià)值,減少數(shù)據(jù)的重復(fù)存儲(chǔ)[10],顯著提升大數(shù)據(jù)應(yīng)用支撐能力。近年來,數(shù)據(jù)湖技術(shù)在交通、通信、衛(wèi)生醫(yī)療、檔案管理等眾多行業(yè)領(lǐng)域得到深入應(yīng)用和發(fā)展[11-15]。根據(jù)氣象數(shù)據(jù)集約化管理需求,中國氣象局依托天擎建設(shè)了氣象數(shù)據(jù)湖系統(tǒng),實(shí)現(xiàn)對多套氣象文件存儲(chǔ)系統(tǒng)集成,并提供統(tǒng)一目錄視圖服務(wù),可以滿足不同業(yè)務(wù)對多源數(shù)據(jù)訪問需求,為挖掘數(shù)據(jù)價(jià)值提供高性能的服務(wù)支撐。徐娟等[16]將數(shù)據(jù)湖技術(shù)應(yīng)用于青海氣象信息系統(tǒng)管理與服務(wù);劉海燕等[17]探討了利用數(shù)據(jù)湖進(jìn)行智能網(wǎng)格氣象預(yù)報(bào)業(yè)務(wù)產(chǎn)品服務(wù)的新模式,提升了產(chǎn)品的服務(wù)效益。

本文依托天擎系統(tǒng),采用數(shù)據(jù)湖技術(shù)建設(shè)全國統(tǒng)一規(guī)范的省級氣象數(shù)據(jù)湖系統(tǒng),建成全省統(tǒng)一的文件級數(shù)據(jù)環(huán)境,結(jié)合省級衛(wèi)星直收站數(shù)據(jù)現(xiàn)狀和實(shí)際服務(wù)需求,利用數(shù)據(jù)湖系統(tǒng)實(shí)現(xiàn)對衛(wèi)星直收站數(shù)據(jù)產(chǎn)品的統(tǒng)一管理和服務(wù),以滿足江西省氣象人工智能等大數(shù)據(jù)應(yīng)用對多源長時(shí)間序列數(shù)據(jù)文件的“存管用”需求,為大數(shù)據(jù)背景下海量氣象數(shù)據(jù)的存儲(chǔ)管理和共享服務(wù)提供思路和參考。

1 衛(wèi)星直收站數(shù)據(jù)

目前江西省氣象局在九江市和撫州市兩地建設(shè)了九江極軌衛(wèi)星直收站和撫州靜止衛(wèi)星直收站2個(gè)省級衛(wèi)星地面直收站。其中九江直收站于2016年6月建成并投入應(yīng)用,通過X波段、L波段天線信號(hào)接收FY-3C、FY-3D、FY-3E、Aqua/Terra、NOAA18/19、NPP等6種極軌衛(wèi)星數(shù)據(jù)L0、L1級數(shù)據(jù)產(chǎn)品,并在省級端生成相應(yīng)的L1級數(shù)據(jù)產(chǎn)品,數(shù)據(jù)格式均為HDF,每日數(shù)據(jù)量約105.72 GB,數(shù)據(jù)時(shí)長為2016年6月至今。撫州直收站于2018年6月建成并投入應(yīng)用,為FY-4A衛(wèi)星高速數(shù)據(jù)(HRIT)接收站,主要接收包括多通道掃描成像輻射計(jì)(AGRI)、干涉式大氣垂直探測儀(GIIRS)和閃電成像儀(LMI)三個(gè)載荷的L1 、L2、L3級播發(fā)數(shù)據(jù)和處理產(chǎn)品,數(shù)據(jù)格式為HDF和NetCDF兩種,每日數(shù)據(jù)總量約638.09 GB,數(shù)據(jù)時(shí)長為2016年6月至今。具體接收數(shù)據(jù)情況詳見表1所示。

表1 江西省衛(wèi)星直收站數(shù)據(jù)資源統(tǒng)計(jì)

地面直收站主要包括站運(yùn)行管理系統(tǒng)、天線控制系統(tǒng)和接收處理系統(tǒng)3部分(圖1),通過接收處理系統(tǒng)實(shí)時(shí)接收并處理生成各類數(shù)據(jù)產(chǎn)品,將數(shù)據(jù)文件寫入本地存儲(chǔ)單元,具備對系統(tǒng)運(yùn)行的實(shí)時(shí)監(jiān)控,并通過網(wǎng)絡(luò)將數(shù)據(jù)產(chǎn)品實(shí)時(shí)傳輸至省級服務(wù)器存儲(chǔ)系統(tǒng),支撐全省各類業(yè)務(wù)和用戶訪問使用。

圖1 衛(wèi)星直收站數(shù)據(jù)流程

2 數(shù)據(jù)湖架構(gòu)設(shè)計(jì)

數(shù)據(jù)湖是一個(gè)集中式數(shù)據(jù)存儲(chǔ)庫,支持所有的數(shù)據(jù)類型,可以保存大量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的原始數(shù)據(jù)?；跉庀蟠髷?shù)據(jù)云平臺(tái)建設(shè)氣象數(shù)據(jù)湖,可以實(shí)現(xiàn)分散儲(chǔ)存的各類氣象數(shù)據(jù)資源匯聚整合,提供統(tǒng)一的數(shù)據(jù)存儲(chǔ)和訪問服務(wù),滿足大數(shù)據(jù)框架各種海量、高性能的訪問需求,以及人工智能的低延時(shí)、高吞吐的使用需求,充分發(fā)揮數(shù)據(jù)價(jià)值。

2.1 氣象大數(shù)據(jù)云平臺(tái)

根據(jù)中國氣象局統(tǒng)一規(guī)劃部署,省級氣象大數(shù)據(jù)云平臺(tái)(天擎)建設(shè)遵循統(tǒng)籌規(guī)劃、分步實(shí)施、集約整合、融合發(fā)展的原則,應(yīng)用云計(jì)算、大數(shù)據(jù)等新一代信息技術(shù),打造“專有云+公共云”的混合云模式[18]。通過升級氣象信息基礎(chǔ)設(shè)施,優(yōu)化數(shù)據(jù)匯聚、加工、服務(wù)和應(yīng)用支撐流程,實(shí)現(xiàn)氣象部門內(nèi)外數(shù)據(jù)高效匯聚,提供云上計(jì)算、挖掘分析的計(jì)算服務(wù),全面支撐“云+端”的氣象業(yè)務(wù)[19],實(shí)現(xiàn)了對原有全國綜合氣象信息共享系統(tǒng)(CIMSS)[20]的全面升級和替代[21]。天擎系統(tǒng)是以“云+端”設(shè)計(jì)思路支撐各應(yīng)用系統(tǒng)圍繞數(shù)據(jù)結(jié)合算法和算力進(jìn)行集約化運(yùn)行,提升業(yè)務(wù)流程運(yùn)行效率并節(jié)約系統(tǒng)資源,改變了過去業(yè)務(wù)林立的“煙囪式”應(yīng)用系統(tǒng)建設(shè)方式,避免了數(shù)據(jù)重復(fù)搬遷,實(shí)現(xiàn)數(shù)據(jù)、算法和算力資源的集約化管理[22]。省級天擎系統(tǒng)包括數(shù)據(jù)交換及質(zhì)控、產(chǎn)品加工、挖掘分析、數(shù)據(jù)存儲(chǔ)及服務(wù)、業(yè)務(wù)監(jiān)控等五大功能子系統(tǒng),自2021年開始投入業(yè)務(wù)運(yùn)行,有效支撐全省省市縣三級業(yè)務(wù)。天擎系統(tǒng)采用NAS(Network Attached Storage)、SAN(Storage Area Network)等多種存儲(chǔ)方式,建立以分布式關(guān)系型數(shù)據(jù)庫、分布式列式數(shù)據(jù)庫、分布式文件庫和分布式對象庫等多種存儲(chǔ)技術(shù)的數(shù)據(jù)存儲(chǔ)管理系統(tǒng),對各類氣象數(shù)據(jù)資源進(jìn)行規(guī)范化存儲(chǔ)管理,為氣象數(shù)據(jù)湖建設(shè)提供了系統(tǒng)資源和數(shù)據(jù)資源支撐。

2.2 不同存儲(chǔ)方案的對比分析

根據(jù)文件類型和應(yīng)用服務(wù)場景,天擎設(shè)計(jì)了3種文件級氣象數(shù)據(jù)處理和存儲(chǔ)管理方式,即非結(jié)構(gòu)件處理、半結(jié)構(gòu)化處理和數(shù)據(jù)湖處理3種方式,其處理流程如圖2所示。①非結(jié)構(gòu)化處理:通過讀取共享文件系統(tǒng)的數(shù)據(jù)文件,進(jìn)行文件名解析,將文件名、文件路徑、文件時(shí)間、文件大小等索引信息寫入分布式關(guān)系型數(shù)據(jù)庫(文件索引庫),同時(shí)將共享文件系統(tǒng)上的文件轉(zhuǎn)儲(chǔ)到分布式NAS系統(tǒng)。采用該處理方式有雷達(dá)、服務(wù)產(chǎn)品等數(shù)據(jù)。②半結(jié)構(gòu)化處理:首先按照非結(jié)構(gòu)化處理方式,將文件轉(zhuǎn)儲(chǔ)到分布式NAS系統(tǒng),將文件索引信息寫入文件索引庫,然后通過對文件進(jìn)行解碼處理,將文件數(shù)據(jù)信息寫入分布式表格數(shù)據(jù)庫,支持按區(qū)域和時(shí)間范圍進(jìn)行數(shù)據(jù)時(shí)空裁剪處理。目前GRIB格式數(shù)值模式產(chǎn)品采用半結(jié)構(gòu)化處理方式。③數(shù)據(jù)湖處理:直接將共享文件系統(tǒng)上的數(shù)據(jù)文件遷移轉(zhuǎn)儲(chǔ)到分布式NAS系統(tǒng)。上述3種處理方式中,非結(jié)構(gòu)處理和半結(jié)構(gòu)化處理存儲(chǔ)的數(shù)據(jù)可以通過配置天擎數(shù)據(jù)接口提供數(shù)據(jù)共享服務(wù),其中非結(jié)構(gòu)化數(shù)據(jù)通過數(shù)據(jù)接口可以獲取數(shù)據(jù)文件,半結(jié)構(gòu)化數(shù)據(jù)可以同時(shí)獲取數(shù)據(jù)文件和數(shù)據(jù)塊信息,兩種方式獲取的數(shù)據(jù)文件均需要下載到本地存儲(chǔ)。數(shù)據(jù)湖處理通過發(fā)布統(tǒng)一的目錄服務(wù),提供對數(shù)據(jù)文件以掛載盤符方式直接讀取訪問,不需要對文件進(jìn)行本地存儲(chǔ)。從上述分析可見,3種方式均能實(shí)現(xiàn)數(shù)據(jù)的集約共享服務(wù),結(jié)構(gòu)化和半結(jié)構(gòu)化需要進(jìn)行文件解碼入庫處理,適合數(shù)據(jù)量小的實(shí)時(shí)數(shù)據(jù)。數(shù)據(jù)湖具有處理流程簡單,不需要進(jìn)行復(fù)雜解碼入庫處理,可以實(shí)現(xiàn)任意數(shù)文件據(jù)特別是長時(shí)間序列數(shù)據(jù)文件的全量和增量存儲(chǔ)管理,具有處理環(huán)節(jié)少,數(shù)據(jù)訪問簡便等優(yōu)勢。省級衛(wèi)星直收站保存了建站以來的全部歷史和實(shí)時(shí)觀測數(shù)據(jù)產(chǎn)品,其數(shù)據(jù)時(shí)間序列長,文件數(shù)量和容量大,適合采用數(shù)據(jù)湖方式進(jìn)行數(shù)據(jù)的存儲(chǔ)管理和共享服務(wù)。

圖2 不同儲(chǔ)存方式的數(shù)據(jù)處理流程對比

2.3 數(shù)據(jù)湖總體設(shè)計(jì)

依托天擎數(shù)算一體的平臺(tái)服務(wù)能力,基于集中式數(shù)據(jù)存儲(chǔ)機(jī)制構(gòu)建一套虛擬數(shù)據(jù)存儲(chǔ)資源池,將天擎各類氣象數(shù)據(jù)進(jìn)行引接匯聚,提供統(tǒng)一的命名空間,支持多協(xié)議互通互聯(lián),減少數(shù)據(jù)移動(dòng),實(shí)現(xiàn)數(shù)據(jù)資源的高效共享。省級數(shù)據(jù)湖部署在天擎中四臺(tái)建立互信的Linux服務(wù)器上,通過應(yīng)用的部署實(shí)現(xiàn)虛擬文件系統(tǒng)搭建、存儲(chǔ)接入、元數(shù)據(jù)管理、系統(tǒng)后臺(tái)管理以及系統(tǒng)的高可用。其物理架構(gòu)如圖3所示,主要由存儲(chǔ)節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)、管理節(jié)點(diǎn)和客戶端節(jié)點(diǎn)4部分組成。①存儲(chǔ)節(jié)點(diǎn):為接入的實(shí)際物理存儲(chǔ)系統(tǒng),數(shù)據(jù)湖支持分布式NAS、分布式文件系統(tǒng)和對象存儲(chǔ)等不同存儲(chǔ)系統(tǒng)類型,通過數(shù)據(jù)湖實(shí)現(xiàn)多個(gè)存儲(chǔ)的集成整合。②管理節(jié)點(diǎn):主要用于提供后臺(tái)管理服務(wù)和元數(shù)據(jù)服務(wù),由兩臺(tái)高負(fù)載服務(wù)器組成,均需部署PostgreSQL、Redis、Redis-Sentinel服務(wù)和ElasticSearch服務(wù),其中一臺(tái)管理節(jié)點(diǎn)作為PostgreSQL主節(jié)點(diǎn),該節(jié)點(diǎn)還需要部署Ansible自動(dòng)化工具和Kibana服務(wù),另一臺(tái)管理節(jié)點(diǎn)作為PostgreSQL備份節(jié)點(diǎn)和Redis主節(jié)點(diǎn),該節(jié)點(diǎn)還需要部署FS Gateway-rest管理服務(wù)。③計(jì)算節(jié)點(diǎn):主要用于提供虛擬文件系統(tǒng)服務(wù)和存儲(chǔ)接入服務(wù),由兩臺(tái)低負(fù)載服務(wù)器組成,一臺(tái)部署FS Gateway-gw存儲(chǔ)服務(wù)和Redis-Sentinel服務(wù),另一臺(tái)只部署FS Gateway-gw存儲(chǔ)服務(wù)。④客戶端節(jié)點(diǎn):為訪問數(shù)據(jù)湖資源的客戶端服務(wù)器,數(shù)據(jù)湖提供Linux和Windows兩種類型客戶端,經(jīng)過授權(quán)后的客戶端便可通過統(tǒng)一命名空間的虛擬文件系統(tǒng)訪問湖內(nèi)各類數(shù)據(jù)資源。

圖3 數(shù)據(jù)湖系統(tǒng)架構(gòu)

2.4 應(yīng)用流程及關(guān)鍵技術(shù)

基于上述系統(tǒng)架構(gòu),應(yīng)用PostgreSQL、ElasticSearch、Redis、 Kibana等開源軟件,采用FSGateway(Factory Suite Gateway)技術(shù)進(jìn)行數(shù)據(jù)湖系統(tǒng)開發(fā),實(shí)現(xiàn)服務(wù)接口、訪問客戶端和監(jiān)控管理等功能模塊,提供統(tǒng)一文件目錄服務(wù)。PostgreSQL是一個(gè)開源的對象關(guān)系型數(shù)據(jù)庫管理系統(tǒng)(ORDBMS),支持大部分SQL標(biāo)準(zhǔn)并且提供了包括復(fù)雜查詢、外鍵、觸發(fā)器、可更新視圖、事務(wù)完整性、多版本并發(fā)控制等特性,具有跨平臺(tái)、可擴(kuò)展和支持復(fù)雜數(shù)據(jù)類型等優(yōu)勢[23-24]。ElasticSearch(ES)數(shù)據(jù)庫是一個(gè)分布式存儲(chǔ)引擎,為非關(guān)系型實(shí)時(shí)數(shù)據(jù)庫,可以實(shí)時(shí)存儲(chǔ)并檢索序列化的JSON結(jié)構(gòu)數(shù)據(jù)[25-26],采用反向索引機(jī)制實(shí)現(xiàn)高效的訪問性能,支持通過 Kibana服務(wù)實(shí)現(xiàn)存儲(chǔ)在ES庫中數(shù)據(jù)的查看和搜索,并能實(shí)現(xiàn)基于瀏覽器的用戶界面快速創(chuàng)建儀表板實(shí)時(shí)顯示ES查詢動(dòng)態(tài)。Redis(REmote DIctionary Server)緩存技術(shù)是一種基于內(nèi)存亦可持久化的日志型、Key-Value 數(shù)據(jù)庫,并提供多種語言的應(yīng)用程序接口(Application Program Interface, API),支持應(yīng)用的配置和元數(shù)據(jù)的加速緩存,同時(shí)還支持Master-Slave(主從設(shè)備模式)的數(shù)據(jù)備份[27]。

氣象數(shù)據(jù)湖實(shí)現(xiàn)了與天擎存儲(chǔ)管理系統(tǒng)(SOD)、服務(wù)接口系統(tǒng)(MUSIC)的耦合處理,實(shí)現(xiàn)對天擎數(shù)據(jù)資源統(tǒng)一管理并提供共享服務(wù)和權(quán)限控制。通過接入SOD、MUSIC元數(shù)據(jù)信息,實(shí)現(xiàn)對天擎業(yè)務(wù)用戶的訪問權(quán)限控制。天擎加工流水線(DPL)通過數(shù)據(jù)湖接口訪問湖內(nèi)數(shù)據(jù)資源進(jìn)行數(shù)據(jù)產(chǎn)品的加工處理。氣象數(shù)據(jù)湖技術(shù)流程如圖4所示,首先應(yīng)用Ansible自動(dòng)化運(yùn)維工具,通過配置服務(wù)器登錄和分組信息、軟件部署信息等,實(shí)現(xiàn)所有開源系統(tǒng)軟件在各服務(wù)器節(jié)點(diǎn)的批量安裝部署。采用PostgreSQL數(shù)據(jù)庫對天擎SOD和MUSIC的用戶信息、資料編碼信息、用戶權(quán)限信息、物理存儲(chǔ)信息、目錄及目錄映射信息等元數(shù)據(jù)進(jìn)行存儲(chǔ)管理。采用ES存儲(chǔ)包括用戶行為記錄、系統(tǒng)運(yùn)行狀態(tài)、接口請求記錄、資料編碼目錄規(guī)則檢查記錄和客戶端狀態(tài)信息記錄等數(shù)據(jù)。通過Redis對用戶信息、資料編碼信息、用戶權(quán)限信息、目錄映射信息等系統(tǒng)元數(shù)據(jù)進(jìn)行緩存加速,并采用Redis-Sentinel服務(wù)進(jìn)程對Redis的運(yùn)行狀態(tài)進(jìn)行監(jiān)控,實(shí)現(xiàn)master節(jié)點(diǎn)故障后主備節(jié)點(diǎn)的自動(dòng)切換。采用FS Gateway(Factory Suite Gateway)技術(shù)將不同通信協(xié)議的不同數(shù)據(jù)源連接在一起,根據(jù)應(yīng)用需求定制開發(fā)fsgateway-rest、fsgateway-gw和fsgateway-monitor三個(gè)系統(tǒng)模塊,為天擎DPL和其他應(yīng)用系統(tǒng)提供數(shù)據(jù)應(yīng)用服務(wù)。其中fsgateway-rest主要實(shí)現(xiàn)服務(wù)接口、存儲(chǔ)管理和產(chǎn)品加工等功能;fsgateway-gw實(shí)現(xiàn)Linux、Windows客戶端訪問功能;fsgateway-monitor實(shí)現(xiàn)對接氣象綜合業(yè)務(wù)實(shí)時(shí)監(jiān)控系統(tǒng)(天鏡)提供系統(tǒng)監(jiān)控功能,確保數(shù)據(jù)湖系統(tǒng)連續(xù)穩(wěn)定運(yùn)行。

圖4 數(shù)據(jù)湖技術(shù)流程

3 衛(wèi)星直收站數(shù)據(jù)入湖管理

目前江西省內(nèi)兩個(gè)衛(wèi)星直收站的數(shù)據(jù)產(chǎn)品實(shí)時(shí)傳輸至省級不同服務(wù)器存儲(chǔ)系統(tǒng),但無法提供對數(shù)據(jù)、用戶權(quán)限、文件目錄等進(jìn)行統(tǒng)一管理,用戶獲取數(shù)據(jù)需要訪問多個(gè)節(jié)點(diǎn),不能充分發(fā)揮數(shù)據(jù)價(jià)值。該產(chǎn)品接入數(shù)據(jù)湖后,用戶可以通過數(shù)據(jù)湖客戶端連接至數(shù)據(jù)湖文件管理系統(tǒng),采用掛載盤符的方式獲取以時(shí)間為粒度的長時(shí)間序列數(shù)據(jù)文件。

3.1 存儲(chǔ)規(guī)劃

將不同存儲(chǔ)節(jié)點(diǎn)的衛(wèi)星直收站數(shù)據(jù)實(shí)時(shí)同步至省級天擎NAS存儲(chǔ),采用虛擬入湖的方式將天擎NAS存儲(chǔ)的各類數(shù)據(jù)文件匯聚處理,形成統(tǒng)一服務(wù)虛擬目錄視圖,實(shí)現(xiàn)數(shù)據(jù)入湖存儲(chǔ)。具體處理流程如下:首先通過確定存儲(chǔ)類型、讀寫權(quán)限以及掛載節(jié)點(diǎn)等信息,在數(shù)據(jù)湖服務(wù)端創(chuàng)建數(shù)據(jù)湖的后端存儲(chǔ)節(jié)點(diǎn)。然后進(jìn)行虛擬目錄創(chuàng)建,根據(jù)“/根目錄/{衛(wèi)星類型}/{接收類型}/{資料類型}/{資料編碼}/{產(chǎn)品屬性[加工中心]/[產(chǎn)品種類]/[加工系統(tǒng)]/[產(chǎn)品等級]/[產(chǎn)品代碼]/[產(chǎn)品格式]/[空間屬性]/[要素]/[時(shí)間屬性]} ”目錄規(guī)則,定義存儲(chǔ)虛擬目錄,其中{}內(nèi)為必選,[]內(nèi)為可選。各數(shù)據(jù)產(chǎn)品虛擬目錄規(guī)劃如表2所示。最后通過入戶模板創(chuàng)建虛擬目錄和物理目錄的映射關(guān)系進(jìn)行虛擬目錄掛載,確定數(shù)據(jù)文件的實(shí)際物理存儲(chǔ)位置,根據(jù)掛載具體日期目錄完成相應(yīng)數(shù)據(jù)的全量抽取或增量接入,并且長期存儲(chǔ)不會(huì)隨意遷移。

表2 虛擬目錄說明

3.2 訪問控制

數(shù)據(jù)湖通過統(tǒng)一權(quán)限控制系統(tǒng),為用戶提供可靠認(rèn)證機(jī)制,保障用戶信息和數(shù)據(jù)安全。在數(shù)據(jù)湖服務(wù)端創(chuàng)建用戶及用戶所屬分組,并對所屬分組進(jìn)行授權(quán),實(shí)現(xiàn)用戶對數(shù)據(jù)湖數(shù)據(jù)資源訪問權(quán)限控制。只有通過授權(quán)的用戶才能接入數(shù)據(jù)湖,按照確定的規(guī)則控制用戶訪問指定的目錄、子目錄和文件,以及適當(dāng)?shù)牟僮鳈?quán)限,實(shí)現(xiàn)業(yè)務(wù)用戶更安全、更便捷地獲取長時(shí)間序列、多類型細(xì)粒度的產(chǎn)品文件,并有效控制用戶對湖內(nèi)數(shù)據(jù)的使用。由系統(tǒng)管理員對數(shù)據(jù)湖進(jìn)行統(tǒng)一的強(qiáng)制性控制,并且對認(rèn)證、授權(quán)和使用等操作進(jìn)行記錄和監(jiān)控,包括用戶使用的產(chǎn)品、使用的時(shí)間、以及執(zhí)行的操作等,保障用戶正常使用湖內(nèi)數(shù)據(jù),避免數(shù)據(jù)湖遭受非法授權(quán)用戶的侵害,同時(shí)對數(shù)據(jù)恢復(fù)提供幫助。

數(shù)據(jù)湖授權(quán)以組為單位,組內(nèi)用戶具有相同的權(quán)限。通過配置統(tǒng)一服務(wù)目錄的路徑規(guī)則,實(shí)現(xiàn)一個(gè)或多個(gè)目錄文件的訪問授權(quán),支持以枚舉類型、正則表達(dá)式類型和日期類型進(jìn)行目錄解析,其中對于枚舉型的標(biāo)識(shí)字符為“#”,正則類型標(biāo)識(shí)符為“$”,日期類型為“@”。以FY-4A AGRI L1級標(biāo)稱數(shù)據(jù)為例,其統(tǒng)一服務(wù)目錄為“/SATE/FY4/FY4A/AGRI/L1/FDI/{#SATEAREA}/NOM/{@YYYY}/{@YYYYMMDD}/”,其路徑規(guī)則定義如表3所示。通過對目錄規(guī)則解析處理,實(shí)現(xiàn)目錄路徑授權(quán)、時(shí)間范圍授權(quán)和資料編碼授權(quán)等多種權(quán)限控制方式。其中目錄授權(quán)操作對目錄中的所有文件和子目錄均有效,如NOAA AVHRR資料根據(jù)衛(wèi)星類型和時(shí)間屬性分塊存儲(chǔ)在NOAA目錄下,如果將NOAA目錄授權(quán)給業(yè)務(wù)用戶,則授權(quán)用戶可以獲取該目錄下所有子目錄的NOAA18、NOAA19衛(wèi)星數(shù)據(jù)文件,如將NOAA18目錄授權(quán)給業(yè)務(wù)用戶,則授權(quán)用戶只能訪問該目錄下的NOAA18衛(wèi)星數(shù)據(jù)文件;時(shí)間范圍授權(quán)可以在目錄路徑授權(quán)基礎(chǔ)上進(jìn)行更為細(xì)粒度的權(quán)限控制,通過定義目錄路徑的訪問開始時(shí)間和結(jié)束時(shí)間,實(shí)現(xiàn)限定時(shí)間范圍內(nèi)數(shù)據(jù)文件的讀寫訪問。資料編碼授權(quán)是對特定資料編碼的訪問權(quán)限控制,同時(shí)可以控制資料編碼的時(shí)間范圍、操作權(quán)限以及子目錄訪問權(quán)限等多種層級控制。

表3 目錄規(guī)則定義示例

3.3 客戶端服務(wù)

通過發(fā)布統(tǒng)一文件目錄服務(wù),提供Linux和Windows兩種類型客戶端訪問數(shù)據(jù)湖授權(quán)的文件目錄。對于Linux系統(tǒng),數(shù)據(jù)湖客戶端提供類似于NAS的連接數(shù)據(jù)湖文件管理系統(tǒng)服務(wù),可以把數(shù)據(jù)湖目錄直接掛載到Linux系統(tǒng)上,提供用戶使用。用戶需要將客戶端所在IP地址和系統(tǒng)用戶與數(shù)據(jù)湖已授權(quán)的虛擬目錄用戶進(jìn)行關(guān)聯(lián),系統(tǒng)用戶便會(huì)擁有虛擬目錄用戶的相應(yīng)權(quán)限。對于Windows系統(tǒng),用戶需要在系統(tǒng)中安裝客戶端軟件,軟件界面如圖5所示,用戶只需要輸入虛擬目錄用戶的賬號(hào)信息即可實(shí)現(xiàn)目錄在本機(jī)的掛載(圖6),直接以本地盤符方式訪問該用戶對應(yīng)的授權(quán)文件。

圖5 數(shù)據(jù)湖Windows客戶端界面

圖6 本地掛載盤符目錄示例

3.4 訪問時(shí)效分析

通過數(shù)據(jù)湖可以實(shí)現(xiàn)對多源異構(gòu)存儲(chǔ)系統(tǒng)進(jìn)行統(tǒng)一數(shù)據(jù)管理,同時(shí)通過采用數(shù)據(jù)塊緩存、并發(fā)訪問、讀寫分離等技術(shù),還能顯著提升數(shù)據(jù)服務(wù)效率。數(shù)據(jù)塊緩存中不使用第三方中間件,通過直接操作服務(wù)器系統(tǒng)內(nèi)存實(shí)現(xiàn)數(shù)據(jù)塊緩存處理,對已訪問數(shù)據(jù)不需要頻繁訪問物理存儲(chǔ),提升了文件I/O讀寫效率。通過文件鎖實(shí)現(xiàn)并發(fā)訪問,將讀寫操作在不同線程處理,優(yōu)化了大文件讀取性能。通過NAS讀寫操作資源隔離,避免由于某個(gè)NAS堵塞導(dǎo)致數(shù)據(jù)湖不可用,并增加了按照文件進(jìn)行負(fù)載的策略,進(jìn)一步提高了數(shù)據(jù)服務(wù)的可靠性。為檢驗(yàn)評估數(shù)據(jù)湖訪問時(shí)效,采用數(shù)據(jù)湖目錄訪問和天擎數(shù)據(jù)接口下載方式,分別獲取2023年1—31日衛(wèi)星直收站的FY-4A多通道掃描成像輻射計(jì)(AGRI)L2級地表溫度產(chǎn)品文件,該時(shí)段內(nèi)文件數(shù)量約6210個(gè),數(shù)據(jù)總量約12 GB。按日尺度分別統(tǒng)計(jì)兩種方式的處理耗時(shí),得到2023年1—31日的逐日文件訪問耗時(shí)結(jié)果(圖7)。從圖中可見,基于數(shù)據(jù)湖目錄訪問方式的每個(gè)時(shí)次的處理耗時(shí)明顯要小于天擎接口方式。天擎數(shù)據(jù)接口訪問耗時(shí)大部分時(shí)次都在12 s以上,最高耗時(shí)達(dá)14.9 s,平均耗時(shí)為11.9 s。數(shù)據(jù)湖訪問耗時(shí)各時(shí)次都在5 s以內(nèi),最高耗時(shí)僅為4.6 s,平均耗時(shí)為3.6 s?；跀?shù)據(jù)湖目錄訪問較天擎數(shù)據(jù)接口訪問方式的時(shí)效提升了69.7%。

圖7 2023年1月1—31日逐日文件訪問耗時(shí)對比

4 應(yīng)用示例

省級衛(wèi)星直收站數(shù)據(jù)通過數(shù)據(jù)湖統(tǒng)一文件目錄方式提供全省各級氣象部門訪問使用,已廣泛應(yīng)用于全省天氣監(jiān)測、預(yù)報(bào)預(yù)警、生態(tài)文明建設(shè)保障等業(yè)務(wù)服務(wù)。江西省生態(tài)氣象中心通過數(shù)據(jù)湖客戶端實(shí)時(shí)訪問獲取湖內(nèi)各種衛(wèi)星數(shù)據(jù)產(chǎn)品,基于獲取的數(shù)據(jù)產(chǎn)品開展鄱陽湖水體面積、全省早晚稻種植面積、大霧、城市熱島等實(shí)時(shí)監(jiān)測業(yè)務(wù)。如2023年4月1日使用FY-3D衛(wèi)星資料,監(jiān)測了鄱陽湖主體及附件水域面積為1430 km2,較2023年3月14日監(jiān)測的水域面積(936 km2)增加了494 km2,較歷史同期(1980 km2)偏小近3成(圖8)。

圖8 2023年4月1日與2023年3月14日鄱陽湖水域面積遙感監(jiān)測影像

5 結(jié)論

本文從省級衛(wèi)星直收站數(shù)據(jù)實(shí)際應(yīng)用需求出發(fā),在詳細(xì)介紹衛(wèi)星直收站數(shù)據(jù)現(xiàn)狀基礎(chǔ)上,提出了一種采用數(shù)據(jù)湖技術(shù)的數(shù)據(jù)共享服務(wù)思路,從衛(wèi)星直收站數(shù)據(jù)接收處理、氣象數(shù)據(jù)湖設(shè)計(jì)、應(yīng)用流程及實(shí)現(xiàn)技術(shù)、衛(wèi)星直收站數(shù)據(jù)入湖存儲(chǔ)等方面進(jìn)行了詳細(xì)闡述。

(1)依托天擎數(shù)據(jù)和計(jì)算資源環(huán)境,采用開源技術(shù)平臺(tái)設(shè)計(jì)與建設(shè)了氣象數(shù)據(jù)湖系統(tǒng),實(shí)現(xiàn)對多套文件存儲(chǔ)系統(tǒng)集成管理,提供統(tǒng)一目錄視圖,支持集中權(quán)限管理,支持目錄級別權(quán)限設(shè)置。

(2)實(shí)現(xiàn)衛(wèi)星直收站數(shù)據(jù)接入氣象數(shù)據(jù)湖統(tǒng)一儲(chǔ)存管理,能夠減少數(shù)據(jù)的重復(fù)存儲(chǔ),反復(fù)遷移,避免數(shù)據(jù)孤島的產(chǎn)生,保障了數(shù)據(jù)訪問性和正確性,提升了數(shù)據(jù)訪問時(shí)效。

(3)通過統(tǒng)一的權(quán)限管理,提供文件目錄管理、強(qiáng)制性訪問控制和權(quán)限控制等安全策略,確保湖內(nèi)數(shù)據(jù)安全和系統(tǒng)安全。

(4)通過統(tǒng)一虛擬文件目錄服務(wù),實(shí)現(xiàn)長時(shí)間序列大數(shù)據(jù)文件便捷高效讀取訪問,為氣象大數(shù)據(jù)的挖掘分析和智慧氣象業(yè)務(wù)的發(fā)展提供精準(zhǔn)高效的大數(shù)據(jù)資源支撐。

本文實(shí)現(xiàn)了省級衛(wèi)星直收站數(shù)據(jù)的統(tǒng)一儲(chǔ)存管理和共享服務(wù),滿足了現(xiàn)代化氣象業(yè)務(wù)對海量衛(wèi)星數(shù)據(jù)產(chǎn)品服務(wù)需求,為其他大數(shù)據(jù)產(chǎn)品的共享服務(wù)提供了思路和參考,如何進(jìn)一步提升海量文件和大數(shù)據(jù)文件的并發(fā)讀取效率以及數(shù)據(jù)訪問安全還有待進(jìn)一步深入研究。