亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于“天擎”的智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)共享方法研究

        2022-11-23 13:57:38趙玉娟姜罕盛李宗飛陳凱華
        天津科技 2022年11期
        關(guān)鍵詞:智能網(wǎng)氣象要素

        趙玉娟,姜罕盛,李宗飛,王 琪,陳凱華,王 藝

        (天津市氣象信息中心 天津 300074)

        為推動(dòng)氣象數(shù)據(jù)資源整合共享、促進(jìn)氣象業(yè)務(wù)集約化發(fā)展,中國氣象局研發(fā)了“數(shù)算一體”的氣象大數(shù)據(jù)云平臺(tái)(簡稱“天擎”)[1-2],并在國、省兩級(jí)部署應(yīng)用。智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)時(shí)空分辨率高、要素多[3-4],是開展氣象服務(wù)的重要基礎(chǔ)數(shù)據(jù)之一,天津市氣象局在該數(shù)據(jù)的存儲(chǔ)服務(wù)方面仍存在訪問控制不足、服務(wù)穩(wěn)定性不高等問題。基于天擎實(shí)現(xiàn)該數(shù)據(jù)的存儲(chǔ)共享是提升其共享服務(wù)能力的有效途徑,目前智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)研究多集中在可視化、監(jiān)控等方面[5-6]。鑒于天擎的共享研究未見報(bào)道。立足于上述背景,本文設(shè)計(jì)實(shí)現(xiàn)了基于天擎的存儲(chǔ)共享方案,文中對(duì)相關(guān)設(shè)計(jì)進(jìn)行了介紹。

        1 基于天擎的智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)存儲(chǔ)共享架構(gòu)設(shè)計(jì)

        天擎由交換及質(zhì)控、產(chǎn)品加工、存儲(chǔ)與服務(wù)等系統(tǒng)構(gòu)成,承擔(dān)數(shù)據(jù)接入、產(chǎn)品加工及存儲(chǔ)服務(wù),底層存儲(chǔ)包括結(jié)構(gòu)化數(shù)據(jù)庫、文件索引庫、文件NAS等多種類型。

        本文擬建立的基于天擎的智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)存儲(chǔ)共享服務(wù)架構(gòu)如圖1所示。存儲(chǔ)層基于天擎文件索引庫和文件NAS構(gòu)建,實(shí)現(xiàn)智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)文件及接口訪問相關(guān)元數(shù)據(jù)存儲(chǔ),相關(guān)數(shù)據(jù)通過接口寫入存儲(chǔ)層;數(shù)據(jù)管理層按業(yè)務(wù)需求進(jìn)行資料編碼、數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和存儲(chǔ)策略管理,基于天擎Portal、公共元數(shù)據(jù)管理系統(tǒng)和存儲(chǔ)管理系統(tǒng)實(shí)現(xiàn);接口層為應(yīng)用提供數(shù)據(jù)讀、寫接口并實(shí)現(xiàn)數(shù)據(jù)訪問的用戶認(rèn)證、訪問控制、行為記錄等功能,基于天擎的接口服務(wù)系統(tǒng)(MUSIC)構(gòu)建定制接口實(shí)現(xiàn);應(yīng)用層為讀寫智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)的各類系統(tǒng)和用戶。

        圖1 基于天擎的智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)共享服務(wù)架構(gòu) Fig.1 Intelligent grid forecast data sharing service architecture based on Sky Engine

        2 核心設(shè)計(jì)及關(guān)鍵技術(shù)

        2.1 智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)存儲(chǔ)設(shè)計(jì)

        NectCDF格式是一種面向數(shù)組型數(shù)據(jù),適于網(wǎng)絡(luò)共享的數(shù)據(jù)描述和編碼標(biāo)準(zhǔn),每個(gè)NectCDF文件(簡稱NC文件)由維、變量和屬性、數(shù)據(jù)構(gòu)成[7-8],支持多維數(shù)據(jù)存儲(chǔ)。天津智能網(wǎng)格預(yù)報(bào)包括各種天氣現(xiàn)象的定性預(yù)報(bào)及降水、氣溫等13種要素的定量預(yù)報(bào),每次發(fā)布未來10 d預(yù)報(bào),0~3 d、4~10 d預(yù)報(bào)時(shí)空分辨率分別為1 h、1 km和3 h、5 km,天津地區(qū)單要素未來10 d格點(diǎn)預(yù)報(bào)值近235萬個(gè)。各要素預(yù)報(bào)均具備時(shí)間、經(jīng)度、緯度屬性,未來N個(gè)時(shí)間單要素預(yù)報(bào)可抽象為X×Y×Z的三維數(shù)組。NC文件可支持此類數(shù)據(jù)存儲(chǔ),且對(duì)于NC文件,通過設(shè)計(jì)文件元數(shù)據(jù),可基于MUSIC構(gòu)建數(shù)據(jù)級(jí)訪問接口。因此,本文采用NC文件將智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)存入天擎存儲(chǔ),針對(duì)其特點(diǎn),將每次發(fā)布的預(yù)報(bào)按要素、時(shí)空分辨率存儲(chǔ)為不同NC文件,各類文件按制作單位、要素、發(fā)布時(shí)間等屬性分目錄存儲(chǔ)。

        按照全國精細(xì)化預(yù)報(bào)業(yè)務(wù)要求,需存儲(chǔ)3~5年的智能網(wǎng)格預(yù)報(bào)數(shù)據(jù),以便回算檢驗(yàn)。天津天擎基于X86服務(wù)器,按照氣象應(yīng)用特征,構(gòu)建了規(guī)模近3 PB的分布式數(shù)據(jù)存儲(chǔ)環(huán)境,包括虛谷分布式關(guān)系型數(shù)據(jù)庫、分布式分析型數(shù)據(jù)庫Gbase8a和分布式NAS。智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)接口服務(wù)相關(guān)文件元數(shù)據(jù)屬于結(jié)構(gòu)化數(shù)據(jù),采用虛谷數(shù)據(jù)庫存儲(chǔ)。分布式NAS適合文件級(jí)數(shù)據(jù)存儲(chǔ),響應(yīng)速度快,采用存儲(chǔ)NC格式智 能網(wǎng)格預(yù)報(bào)數(shù)據(jù)文件可滿足存儲(chǔ)5年以上產(chǎn)品的 需求。

        2.2 接口設(shè)計(jì)

        MUSIC是天擎為應(yīng)用訪問數(shù)據(jù)提供的接口服務(wù)系統(tǒng),利用集群服務(wù)、通過主備網(wǎng)關(guān)實(shí)現(xiàn)用戶認(rèn)證、流量控制、負(fù)載均衡等功能,可在接口調(diào)用方法、參數(shù)等方面采用統(tǒng)一標(biāo)準(zhǔn),支持設(shè)置IP白名單,對(duì)接口訪問行為有完備記錄,提供多種調(diào)用方式,可按需配置新接口。本文按照MUSIC規(guī)范,結(jié)合天津智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)特點(diǎn)及訪問需求,設(shè)計(jì)了接口訪問元數(shù)據(jù),構(gòu)建了文件級(jí)、數(shù)據(jù)級(jí)兩類11種讀接口和4種文件級(jí)寫接口。接口訪問元數(shù)據(jù)設(shè)計(jì)如下。

        ①文件元數(shù)據(jù):設(shè)計(jì)了時(shí)間、預(yù)報(bào)要素、預(yù)報(bào)時(shí)效、存儲(chǔ)路徑等與數(shù)據(jù)定位、下載相關(guān)的信息,并定義了文件格式、預(yù)報(bào)區(qū)域等信息為應(yīng)用提供支撐,智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)文件元數(shù)據(jù)關(guān)鍵字段設(shè)計(jì)如表1所示,字段命名參照QX/T 133—2011氣象要素分類與編碼和云平臺(tái)規(guī)范。

        表1 智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)文件元數(shù)據(jù)關(guān)鍵字段設(shè)計(jì) Tab.1 Design of metadata key fields of intelligent grid forecast data file

        ②存儲(chǔ)路徑元數(shù)據(jù):支撐寫接口按存儲(chǔ)規(guī)范創(chuàng)建目錄并將文件存儲(chǔ)到對(duì)應(yīng)目錄,包括根路徑和子目錄兩部分,分別對(duì)應(yīng)存儲(chǔ)路徑固定和動(dòng)態(tài)信息,子目錄基于文件元數(shù)據(jù)字段組合定義,本文設(shè)計(jì)的智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)的存儲(chǔ)路徑元數(shù)據(jù)為:

        ③格點(diǎn)檢索元數(shù)據(jù):點(diǎn)、線、面類型數(shù)據(jù)級(jí)讀接口功能支撐數(shù)據(jù),包括基本屬性和要素屬性?;緦傩远x數(shù)據(jù)的資料代碼及要素、經(jīng)緯度、時(shí)效字段;要素屬性定義解析NC文件所需的要素代碼、要素名稱、時(shí)次、空間分辨率、層次轉(zhuǎn)換因子等信息。針對(duì)天津智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)同類要素在不同預(yù)報(bào)時(shí)效存在多種時(shí)空分辨率的特點(diǎn),采取一種預(yù)報(bào)要素定義多條文件元數(shù)據(jù)和格點(diǎn)檢索元數(shù)據(jù)的方式實(shí)現(xiàn)數(shù)據(jù)正確解析。

        2.3 基于接口的實(shí)時(shí)預(yù)報(bào)數(shù)據(jù)接入

        接口方面,設(shè)計(jì)了支持按時(shí)間點(diǎn)、時(shí)間段獲取一個(gè)、多個(gè)要素預(yù)報(bào)文件的4類接口;設(shè)計(jì)了支持按時(shí)間、要素、經(jīng)緯度、預(yù)報(bào)時(shí)效、站號(hào)為條件的4類數(shù)據(jù)級(jí)訪問接口,可滿足業(yè)務(wù)中獲取某個(gè)位置特定時(shí)間、 某個(gè)區(qū)域特定時(shí)間、某個(gè)站點(diǎn)特定時(shí)間段某要素預(yù)報(bào)等需求;針對(duì)增、刪、改數(shù)據(jù)需求設(shè)計(jì)了4類寫接口。 接口具有高內(nèi)聚、低耦合特性[9],智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)由預(yù)報(bào)員主觀制作,制作頻率低,文件小,采用接口寫入方式可滿足業(yè)務(wù)時(shí)效要求,且對(duì)應(yīng)用端有效屏蔽了底層存儲(chǔ)結(jié)構(gòu),故采用接口方式寫入天擎存儲(chǔ)。數(shù)據(jù)寫入功能模塊利用Spring Boot框架開發(fā),通過SDK方式調(diào)用本文構(gòu)建寫入接口實(shí)現(xiàn),發(fā)布成REST接口為應(yīng)用端服務(wù)。

        3 應(yīng)用效果及展望

        本文設(shè)計(jì)方案于2021年在天津市氣象局投入應(yīng)用,預(yù)報(bào)一體化平臺(tái)通過接口方式將實(shí)時(shí)預(yù)報(bào)數(shù)據(jù)寫入天津天擎存儲(chǔ),市、區(qū)兩級(jí)的氣象業(yè)務(wù)系統(tǒng)和用戶,可按需調(diào)用讀接口獲取預(yù)報(bào)文件及格點(diǎn)場數(shù)據(jù)。智能網(wǎng)格預(yù)報(bào)數(shù)據(jù)服務(wù)方式更豐富、服務(wù)穩(wěn)定性和效率更高,為市區(qū)兩級(jí)開展氣象服務(wù)提供了更高效、有力的支撐,也為其他省市級(jí)氣象部門基于天擎優(yōu)化本地特色數(shù)據(jù)存儲(chǔ)和共享服務(wù)提供了借鑒和參考。下一步將圍繞本省氣象數(shù)據(jù)管理和服務(wù)需求繼續(xù)開展其他數(shù)據(jù)融入天擎的研究。

        猜你喜歡
        智能網(wǎng)氣象要素
        氣象
        氣象樹
        《內(nèi)蒙古氣象》征稿簡則
        掌握這6點(diǎn)要素,讓肥水更高效
        5G賦能智能網(wǎng)聯(lián)汽車
        智能網(wǎng)聯(lián)硬實(shí)力趨強(qiáng)
        汽車觀察(2018年12期)2018-12-26 01:05:26
        迎戰(zhàn)智能網(wǎng)聯(lián)大爆發(fā)
        汽車觀察(2018年10期)2018-11-06 07:05:20
        大國氣象
        觀賞植物的色彩要素在家居設(shè)計(jì)中的應(yīng)用
        論美術(shù)中“七大要素”的辯證關(guān)系
        夜色视频在线观看麻豆| 8888四色奇米在线观看| 国产精品美女久久久久久大全| 韩国免费一级a一片在线| 在线天堂av一区二区| 麻豆精品久久久久久中文字幕无码| 亚洲爱婷婷色婷婷五月| 亚洲性无码av在线| 日本视频一区二区三区在线| 欧美综合天天夜夜久久| 亚洲av无码资源在线观看| 素人激情福利视频| 亚州无吗一区二区三区| 国产伦精品免编号公布| 欧美在线视频免费观看| 亚洲中文字幕有综合久久| 久久黄色国产精品一区视频| 日本久久高清一区二区三区毛片| 亚洲高清无码第一| 亚洲成av人片在久久性色av| 大尺度无遮挡激烈床震网站| 午夜三级a三级三点| 国产在线视频h| 日韩国产精品一区二区三区 | 国产熟妇另类久久久久| 尤物视频一区二区| 一区二区三区国产亚洲网站| av在线免费观看蜜桃| 国产成人无码一区二区在线观看| 日本专区一区二区三区| 一区二区三区日韩蜜桃| 国产免费a∨片在线软件| 中文字幕欧美一区| 精品一区二区三区女同免费 | 一本大道熟女人妻中文字幕在线 | 国产日韩欧美网站| 亚洲人妻av综合久久| 久久中文骚妇内射| 富婆如狼似虎找黑人老外| 久久免费精品视频老逼| 无码国产精成人午夜视频一区二区 |