亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于云平臺(tái)的氣象數(shù)據(jù)共享服務(wù)平臺(tái)架構(gòu)建設(shè)

        2018-04-02 10:54:48陳京華何小明張志強(qiáng)
        關(guān)鍵詞:服務(wù)

        ■ 陳京華 何小明 張志強(qiáng)

        氣象數(shù)據(jù)共享服務(wù)平臺(tái)正在從傳統(tǒng)自建服務(wù)系統(tǒng)向更具彈性的云平臺(tái)遷移。結(jié)合中國(guó)氣象數(shù)據(jù)網(wǎng)(阿里云版)的建設(shè),探索了基于云平臺(tái)的氣象共享服務(wù)平臺(tái)架構(gòu),并針對(duì)該架構(gòu)提出了文件向?qū)ο蟠鎯?chǔ)遷移方案、對(duì)象存儲(chǔ)省流量方案和基于阿里云的中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0數(shù)據(jù)傳輸策略。

        2015年9月中國(guó)氣象數(shù)據(jù)網(wǎng)(簡(jiǎn)稱(chēng)“數(shù)據(jù)網(wǎng)”)v1.0上線(xiàn)對(duì)外服務(wù),取代了中國(guó)氣象科學(xué)共享服務(wù)網(wǎng)(CDC)。中國(guó)氣象數(shù)據(jù)網(wǎng)是一個(gè)完整的氣象數(shù)據(jù)服務(wù)體系,包括來(lái)源于中國(guó)及全球的、高質(zhì)量的觀(guān)探測(cè)氣象資料及數(shù)據(jù)加工產(chǎn)品(含衛(wèi)星遙感反演產(chǎn)品),以實(shí)況數(shù)據(jù)與歷史氣象數(shù)據(jù)集為主,并提供數(shù)據(jù)統(tǒng)計(jì)分析與可視化服務(wù)。同時(shí),網(wǎng)站提供界面優(yōu)化、方便快捷的數(shù)據(jù)服務(wù)方式,用戶(hù)可以快速定位、檢索、下載氣象數(shù)據(jù)。中國(guó)氣象數(shù)據(jù)網(wǎng)涵蓋了數(shù)據(jù)目錄與元數(shù)據(jù)服務(wù)分系統(tǒng)、數(shù)據(jù)檢索與服務(wù)分系統(tǒng)、數(shù)據(jù)分析與可視化分系統(tǒng)、服務(wù)產(chǎn)品加工與管理分系統(tǒng)、數(shù)據(jù)服務(wù)移動(dòng)應(yīng)用分系統(tǒng)等八個(gè)分系統(tǒng)。在對(duì)外服務(wù)情況上,截止到2016年3月底,中國(guó)氣象數(shù)據(jù)網(wǎng)累計(jì)注冊(cè)用戶(hù)數(shù)113124人,其中從CDC遷入用戶(hù)101502人,數(shù)據(jù)網(wǎng)新注冊(cè)用戶(hù)11622人,服務(wù)訂單數(shù)192271個(gè)。在數(shù)據(jù)存儲(chǔ)方面,截止到2016年3月,數(shù)據(jù)網(wǎng)的數(shù)據(jù)庫(kù)存儲(chǔ)總量約47.5 GB,平均每日新增約301 MB,文件存儲(chǔ)總量約32 TB,每日新增約23.1 GB(圖1)。

        圖1 2015年中國(guó)氣象數(shù)據(jù)網(wǎng)v1.0的訂單量和文件下載量

        中國(guó)氣象數(shù)據(jù)網(wǎng)v1.0版本存在的問(wèn)題是骨干網(wǎng)與Internet服務(wù)區(qū)之間存在多處系統(tǒng)耦合,這其中包括氣象數(shù)據(jù)推送流程、元數(shù)據(jù)更新流程、臨時(shí)工作區(qū)的加工處理以及訂單處理流程。數(shù)據(jù)流跨越骨干網(wǎng)和Internet服務(wù)區(qū),因?yàn)橄到y(tǒng)的耦合性,不利于數(shù)據(jù)網(wǎng)的升級(jí)。最重要的是因?yàn)橛脩?hù)量的快速增長(zhǎng),及氣象數(shù)據(jù)服務(wù)量的逐日遞增,未來(lái)中國(guó)氣象數(shù)據(jù)網(wǎng)將面臨存儲(chǔ)和計(jì)算資源問(wèn)題,以及用戶(hù)高并發(fā)、定制化等特殊訪(fǎng)問(wèn)需求,這將會(huì)給Internet服務(wù)區(qū)帶來(lái)巨大壓力。因此有必要充分利用公有云相關(guān)技術(shù)及網(wǎng)絡(luò)服務(wù)資源,研究開(kāi)發(fā)中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0(公有云版),建設(shè)基于公有云的權(quán)威和統(tǒng)一的氣象數(shù)據(jù)共享服務(wù)平臺(tái)。

        1 中國(guó)氣象數(shù)據(jù)網(wǎng)特點(diǎn)

        1.1 資料種類(lèi)豐富

        中國(guó)氣象數(shù)據(jù)網(wǎng)對(duì)社會(huì)公眾服務(wù)的氣象數(shù)據(jù)包括2015年共享清單資料和中國(guó)氣象科學(xué)共享服務(wù)網(wǎng)存儲(chǔ)的資料,這其中涵蓋了地面、高空、海洋、輻射、農(nóng)氣等14大類(lèi)氣象行業(yè)標(biāo)準(zhǔn)所列資料。在數(shù)據(jù)集產(chǎn)品方面包括了地面氣象觀(guān)測(cè)站2170個(gè)、高空觀(guān)測(cè)站88個(gè)的基本氣象要素實(shí)時(shí)觀(guān)測(cè)資料和氣候標(biāo)準(zhǔn)值數(shù)據(jù)集、風(fēng)云氣象衛(wèi)星的實(shí)時(shí)云圖產(chǎn)品、定量產(chǎn)品和歷史數(shù)據(jù)產(chǎn)品,天氣雷達(dá)實(shí)時(shí)圖像產(chǎn)品,全球數(shù)值天氣預(yù)報(bào)(T639)產(chǎn)品、區(qū)域數(shù)值天氣預(yù)報(bào)產(chǎn)品等。在數(shù)據(jù)存儲(chǔ)方式上又分為要素型資料和文件型資料,文件型資料包括雷達(dá)圖像產(chǎn)品(每日新增14 GB)、雷達(dá)基數(shù)據(jù)(每日新增15 GB)、T639產(chǎn)品(每日新增4.3 GB)、Grapes-MESO產(chǎn)品(每日新增2.5 GB)、CDC資料文件(每日新增2.1 GB)等,要素型資料包括服務(wù)數(shù)據(jù)(配置信息、用戶(hù)信息等,每日新增3 MB)、CDC數(shù)據(jù)(含文件索引信息,每日新增42 MB)、CIMISS數(shù)據(jù)(含文件索引信息,每日新增256 MB)。

        1.2 穩(wěn)定與可靠

        中國(guó)氣象數(shù)據(jù)網(wǎng)是一個(gè)重要的業(yè)務(wù)系統(tǒng),在軟硬件的設(shè)計(jì)實(shí)現(xiàn)上考慮系統(tǒng)長(zhǎng)期運(yùn)行的穩(wěn)定性和可靠性。軟件在運(yùn)行期間,針對(duì)任何一個(gè)重要操作,都具有判斷錯(cuò)誤的能力,必要時(shí)可以進(jìn)行恢復(fù)性操作。在支撐平臺(tái)可靠性的保證下,關(guān)鍵高可用業(yè)務(wù)系統(tǒng)在3分鐘內(nèi)恢復(fù)運(yùn)行狀態(tài)。中國(guó)氣象數(shù)據(jù)網(wǎng)除了在系統(tǒng)上考慮安全性外(如內(nèi)外網(wǎng)隔離、防火墻等),同時(shí)提供了基于角色(例如:系統(tǒng)管理員、操作員、高級(jí)用戶(hù)、一般用戶(hù)等)的安全控制策略,從訪(fǎng)問(wèn)級(jí)別上嚴(yán)格控制不同用戶(hù)的權(quán)限,避免用戶(hù)越權(quán)使用或非法使用系統(tǒng)資源。

        2 公有云的特點(diǎn)——以阿里云為例

        2.1 數(shù)據(jù)安全,穩(wěn)定可靠

        阿里云服務(wù)能夠保證數(shù)據(jù)高可靠性,在不發(fā)生海嘯、地震等特大自然災(zāi)害的情況下,阿里云服務(wù)器基本實(shí)現(xiàn)99.9999%的數(shù)據(jù)安全。在硬件方面,阿里云服務(wù)器在物理架構(gòu)設(shè)計(jì)上,采用了分布式高可靠存儲(chǔ)系統(tǒng),數(shù)據(jù)在不同的硬盤(pán)上按照隨機(jī)原理實(shí)現(xiàn)多重備份,即便其中一份數(shù)據(jù)因?yàn)槟撤N原因遭到破壞,按照預(yù)定的數(shù)據(jù)修復(fù)算法,阿里云服務(wù)器可以實(shí)現(xiàn)在最短時(shí)間基于備份的數(shù)據(jù)將被破壞的部分實(shí)現(xiàn)修復(fù)。利用快照快速回滾技術(shù),即便系統(tǒng)遭到計(jì)算機(jī)病毒的入侵而導(dǎo)致破壞,數(shù)據(jù)依然可以快速還原。阿里云服務(wù)的高可靠性還體現(xiàn)在對(duì)服務(wù)器硬件自動(dòng)檢測(cè),一旦故障發(fā)生,阿里云服務(wù)器可以實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)遷移,并保證遷移后磁盤(pán)數(shù)據(jù)、MAC地址、IP地址等信息不發(fā)生變化。在軟件方面,阿里云服務(wù)采用安全隔離和自定義防火墻技術(shù),能夠避免地址解析協(xié)議攻擊和網(wǎng)絡(luò)地址欺騙,同時(shí)云盾還提供木馬掃描、端口入侵掃描和系統(tǒng)漏洞掃描,網(wǎng)絡(luò)安全保障業(yè)務(wù)的穩(wěn)定運(yùn)行。在法律層面,阿里云完全遵守《中華人民共和國(guó)網(wǎng)絡(luò)安全法》,2016年10月14日,阿里云宣布完成公安部組織的等級(jí)保護(hù)標(biāo)準(zhǔn)和云計(jì)算等級(jí)保護(hù)新標(biāo)準(zhǔn)試點(diǎn)示范工作,成為全國(guó)首家通過(guò)國(guó)家級(jí)權(quán)威測(cè)評(píng)的云計(jì)算服務(wù)商,其中公有云平臺(tái)通過(guò)等級(jí)保護(hù)三級(jí)備案。

        2.2 獨(dú)享帶寬,高速訪(fǎng)問(wèn)

        阿里云服務(wù)提供高性?xún)r(jià)比的千兆光纖接入,阿里云服務(wù)系統(tǒng)內(nèi)部數(shù)據(jù)流量不存在計(jì)費(fèi)問(wèn)題,寬帶擴(kuò)容按天計(jì)算,傳統(tǒng)帶寬無(wú)法與其相比。同時(shí)阿里云服務(wù)對(duì)于中國(guó)移動(dòng)、中國(guó)聯(lián)通、中國(guó)電信以及教育網(wǎng)等主干線(xiàn)路進(jìn)行高速連接,實(shí)現(xiàn)了南北網(wǎng)絡(luò)互通互聯(lián),保障國(guó)內(nèi)訪(fǎng)問(wèn)順暢。阿里云在國(guó)外共有八個(gè)節(jié)點(diǎn),分別部署在新加坡、悉尼、弗吉尼亞、法蘭克福和迪拜等地,充分保障國(guó)外用戶(hù)的訪(fǎng)問(wèn)效率。阿里云服務(wù)保證帶寬資源絕對(duì)獨(dú)享,消除傳統(tǒng)帶寬資源在不同應(yīng)用系統(tǒng)間搶奪的問(wèn)題,徹底消除帶寬帶來(lái)的系統(tǒng)訪(fǎng)問(wèn)瓶頸。

        2.3 簡(jiǎn)單易用、彈性伸縮

        阿里云服務(wù)器的創(chuàng)建在幾分鐘內(nèi)便可完成,而且擁有超級(jí)管理權(quán)限,對(duì)于資源的數(shù)量和配置完全按需分配,無(wú)論增加或者減少資源,均在幾分鐘內(nèi)就能實(shí)現(xiàn)。對(duì)于一次開(kāi)啟服務(wù)器的數(shù)量沒(méi)有限制,方便實(shí)現(xiàn)互聯(lián)網(wǎng)應(yīng)用的部署。購(gòu)買(mǎi)資源、系統(tǒng)配置變更、續(xù)費(fèi)等通過(guò)Web方式實(shí)時(shí)完成。阿里云服務(wù)器相比于傳統(tǒng)硬件采購(gòu),成本降低30%~80%,阿里云服務(wù)支持任意時(shí)刻升級(jí)CPU、新增數(shù)據(jù)盤(pán)和系統(tǒng)內(nèi)存。

        2)盡管英語(yǔ)專(zhuān)業(yè)大三學(xué)生的英語(yǔ)綜合能力較之低年級(jí)學(xué)生有較大提高和進(jìn)步,但是由于語(yǔ)言環(huán)境的限制,他們用英語(yǔ)練習(xí)翻譯和交流的時(shí)間并不多,所以容易受漢語(yǔ)母語(yǔ)的影響,做漢譯英的翻譯練習(xí)時(shí),不可避免地把漢語(yǔ)中的一些詞語(yǔ),短語(yǔ)以及句型與英語(yǔ)相互聯(lián)系,導(dǎo)致他們的譯文里頻繁地出現(xiàn)“中國(guó)式”英語(yǔ)。學(xué)生們的譯文翻譯腔較重,譯文往往只是勉強(qiáng)達(dá)意,干癟生硬,缺乏可讀性。

        因?yàn)榘⒗镌扑哂械臄?shù)據(jù)可靠、高速訪(fǎng)問(wèn)、彈性伸縮、節(jié)約成本等特點(diǎn),可以有效的解決中國(guó)氣象數(shù)據(jù)網(wǎng)面臨的存儲(chǔ)和計(jì)算資源問(wèn)題,所以中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0采用阿里云進(jìn)行部署,通過(guò)Web或應(yīng)用程序接口(API)方式中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0實(shí)現(xiàn)便捷的自助管理,而且根據(jù)業(yè)務(wù)的具體需要?jiǎng)討B(tài)的增減虛擬硬件的數(shù)量、調(diào)整系統(tǒng)配置。

        3 基于阿里云的中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0物理架構(gòu)

        3.1 基于云的總體架構(gòu)

        基于阿里云的中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0服務(wù)應(yīng)用全部部署于阿里云上,包括前端數(shù)據(jù)網(wǎng)Web門(mén)戶(hù)、移動(dòng)應(yīng)用與API應(yīng)用,以及后端訂單處理及數(shù)據(jù)下載服務(wù)等。網(wǎng)站應(yīng)用主要系統(tǒng)軟件采用阿里云服務(wù)替代(表1)。

        表1 軟件替代匯總

        具體軟件功能如下:

        服務(wù)器(ECS):分別用于Web服務(wù)器、可視化服務(wù)器、應(yīng)用服務(wù)器、訂單處理服務(wù)器。

        緩存服務(wù)(OCS):用于緩沖Web數(shù)據(jù)緩存。

        數(shù)據(jù)庫(kù)服務(wù)(RDS):用于部署數(shù)據(jù)庫(kù)結(jié)構(gòu)與內(nèi)容,存儲(chǔ)氣象要素內(nèi)容、氣象文件元數(shù)據(jù)和相關(guān)配置與服務(wù)信息。

        存儲(chǔ)服務(wù)(OSS):用于存儲(chǔ)氣象文件,同時(shí)提供影像的對(duì)外Web訪(fǎng)問(wèn)服務(wù)。

        根據(jù)服務(wù)需要,數(shù)據(jù)網(wǎng)使用云服務(wù)器(ECS)14臺(tái)、一個(gè)分布式云數(shù)據(jù)庫(kù)(DRDS,6個(gè)節(jié)點(diǎn))、負(fù)載均衡服務(wù)(SLB)公網(wǎng)帶寬150 MB、開(kāi)放緩存服務(wù)(OCS)30 GB、開(kāi)放存儲(chǔ)服務(wù)(OSS)50 TB。

        在國(guó)家氣象信息中心的骨干網(wǎng),部署兩臺(tái)數(shù)據(jù)和元數(shù)據(jù)同步服務(wù)器,負(fù)責(zé)將氣象數(shù)據(jù)定時(shí)推送到信息中心的Internet服務(wù)區(qū),兩臺(tái)服務(wù)器的關(guān)系為一臺(tái)在線(xiàn)運(yùn)行,一臺(tái)進(jìn)行熱備。在信息中心的Internet服務(wù)區(qū)同樣部署兩臺(tái)數(shù)據(jù)和元數(shù)據(jù)同步服務(wù)器,部署方式一主一備,負(fù)責(zé)將骨干網(wǎng)推送過(guò)來(lái)的氣象數(shù)據(jù)定時(shí)推送到阿里云。與此同時(shí)阿里云中兩臺(tái)(ECS)服務(wù)器,部署方式一主一備,負(fù)責(zé)接收并處理從信息中心Internet服務(wù)區(qū)推送過(guò)來(lái)的氣象數(shù)據(jù),將數(shù)據(jù)分類(lèi)別存儲(chǔ)到阿里云的一臺(tái)存儲(chǔ)服務(wù)器和一個(gè)(6個(gè)節(jié)點(diǎn)的DRDS)云數(shù)據(jù)庫(kù),存儲(chǔ)服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器共同構(gòu)成了氣象共享服務(wù)平臺(tái)的底層數(shù)據(jù)環(huán)境。兩臺(tái)(LBS)負(fù)載均衡服務(wù)器,部署方式一主一備,負(fù)責(zé)接收外部用戶(hù)的前端請(qǐng)求。在負(fù)載均衡服務(wù)器的后端,分別是一臺(tái)GIS圖像處理應(yīng)用服務(wù)器,負(fù)責(zé)服務(wù)門(mén)戶(hù)Web部件組的圖像展示與WebGIS服務(wù),一臺(tái)Web應(yīng)用服務(wù)器,負(fù)責(zé)網(wǎng)站門(mén)戶(hù)的運(yùn)行,一臺(tái)對(duì)外接口應(yīng)用服務(wù)器,負(fù)責(zé)支持?jǐn)?shù)據(jù)網(wǎng)用戶(hù)的接口調(diào)用,以及一臺(tái)下載服務(wù)器。當(dāng)負(fù)載均衡服務(wù)器接收到用戶(hù)的前端請(qǐng)求后,按照請(qǐng)求的類(lèi)別,請(qǐng)求將被轉(zhuǎn)發(fā)到上述四臺(tái)應(yīng)用服務(wù)器。數(shù)據(jù)網(wǎng)在阿里云還部署了一臺(tái)配置與監(jiān)視服務(wù)器,主要負(fù)責(zé)監(jiān)測(cè)負(fù)載均衡服務(wù)器、GIS圖像處理應(yīng)用服務(wù)器、Web應(yīng)用服務(wù)器和對(duì)外接口應(yīng)用服務(wù)器的運(yùn)行狀況,并進(jìn)行必要的日志記錄。另外在阿里云中數(shù)據(jù)網(wǎng)還部署了訂單處理服務(wù)器一臺(tái),數(shù)據(jù)檢索服務(wù)器一臺(tái),以及數(shù)據(jù)緩存服務(wù)器一臺(tái)。系統(tǒng)物理架構(gòu)見(jiàn)圖2。

        圖2 系統(tǒng)物理架構(gòu)部署圖

        該方案直接面臨的兩個(gè)問(wèn)題,一是目前阿里云面向?qū)ο蟮臄?shù)據(jù)存儲(chǔ)服務(wù)與現(xiàn)有業(yè)務(wù)的文件共享存儲(chǔ)模式之間存在較大差異,二是阿里云計(jì)費(fèi)問(wèn)題,存儲(chǔ)服務(wù)按外出流量計(jì)費(fèi),直接利用存儲(chǔ)服務(wù)進(jìn)行數(shù)據(jù)服務(wù)費(fèi)用較高。

        3.2 文件向?qū)ο蟠鎯?chǔ)遷移方案

        阿里云與現(xiàn)有業(yè)務(wù)的文件共享存儲(chǔ)不同之處首先體現(xiàn)在文件夾的概念上,現(xiàn)有業(yè)務(wù)的文件夾是一個(gè)實(shí)體,文件存儲(chǔ)在文件夾里面,方便進(jìn)行文件夾下信息的匯總。而OSS中文件夾的概念僅是一個(gè)邏輯概念,在阿里云上創(chuàng)建文件夾有多種方式,其中最方便的就是通過(guò)新建文件夾按鈕來(lái)創(chuàng)建文件夾和通過(guò)API/SDK的方式設(shè)置文件夾,其底層實(shí)現(xiàn)的邏輯方式是一樣的。比如在OSS存儲(chǔ)中創(chuàng)建一個(gè)“surf”文件夾,在這個(gè)文件夾下存儲(chǔ)一個(gè)“V0001.txt”的文件,系統(tǒng)會(huì)在后臺(tái)定義一個(gè)“對(duì)象”,其Key值就是surf/V0001.txt,但“surf”文件夾只是在邏輯概念上存在,其實(shí)質(zhì)是一個(gè)大小為0KB的空文件。因?yàn)镺SS采用的是分布式存儲(chǔ)方式,對(duì)象并不是根據(jù)文件夾的物理位置進(jìn)行存儲(chǔ)的,雖然給用戶(hù)的感覺(jué)是在“surf”文件夾存儲(chǔ)了N個(gè)文件,但這N個(gè)文件并不一定存儲(chǔ)在同一個(gè)物理位置上,在后端存儲(chǔ)的過(guò)程中不同文件夾下的文件僅僅是key值的前綴不一樣。而想要遍歷某個(gè)文件夾下的所有的文件也需要首先通過(guò)ListObject接口獲取文件夾下的所有文件的key值(這里需要通過(guò)prefix指定文件夾),然后再進(jìn)行操作。由于OSS的數(shù)據(jù)存儲(chǔ)對(duì)象化、服務(wù)化,不支持標(biāo)準(zhǔn)文件協(xié)議,不支持文件目錄,其虛擬目錄功能對(duì)目錄名與文件名也有著嚴(yán)格的關(guān)聯(lián)限制,數(shù)據(jù)網(wǎng)現(xiàn)有業(yè)務(wù)數(shù)據(jù)存儲(chǔ)管理模式已不適用,必須基于阿里云面向服務(wù)重新設(shè)計(jì)建立符合服務(wù)要求的文件存儲(chǔ)規(guī)則來(lái)支持?jǐn)?shù)據(jù)環(huán)境。在阿里云內(nèi)部開(kāi)發(fā)數(shù)據(jù)文件轉(zhuǎn)換模塊,將原有的數(shù)據(jù)文件在OSS中進(jìn)行地址定義并存儲(chǔ)。對(duì)于中國(guó)氣象數(shù)據(jù)網(wǎng)v1.0中涉及的系統(tǒng)內(nèi)部文件訪(fǎng)問(wèn)模塊,對(duì)其進(jìn)行文件訪(fǎng)問(wèn)方式的改造,將原來(lái)的絕對(duì)物理地址,修改為內(nèi)部OSS服務(wù)地址。

        3.3 對(duì)象存儲(chǔ)省流量方案

        阿里云OSS主要計(jì)費(fèi)項(xiàng)包括按存儲(chǔ)容量時(shí)間計(jì)費(fèi)和按外出流量計(jì)費(fèi)。存儲(chǔ)容量時(shí)間計(jì)費(fèi)標(biāo)準(zhǔn)大約1萬(wàn)元/5T·年,外出流量計(jì)費(fèi)標(biāo)準(zhǔn)為0.05萬(wàn)元/T。2014年中國(guó)氣象科學(xué)共享服務(wù)網(wǎng)存儲(chǔ)數(shù)據(jù)量不超過(guò)10T,服務(wù)量(含離線(xiàn))合計(jì)為206 T,服務(wù)量約為存儲(chǔ)量的20倍。存儲(chǔ)容量計(jì)費(fèi)比較簡(jiǎn)單,不含衛(wèi)星數(shù)據(jù),2016年中國(guó)氣象數(shù)據(jù)網(wǎng)v1.0數(shù)據(jù)量擁有量約為33 TB,OSS存儲(chǔ)收費(fèi)7萬(wàn)元/年。按中國(guó)氣象科學(xué)共享服務(wù)網(wǎng)服務(wù)量與存儲(chǔ)量的比例計(jì)算,數(shù)據(jù)網(wǎng)年外出服務(wù)流量約為660 TB,OSS流量收費(fèi)33萬(wàn)元/年。兩項(xiàng)合計(jì),僅OSS服務(wù)收費(fèi)可達(dá)40萬(wàn)元/年。若考慮費(fèi)用問(wèn)題,一個(gè)可行的解決方式是不直接使用OSS存儲(chǔ)提供對(duì)外服務(wù),而是對(duì)數(shù)據(jù)網(wǎng)應(yīng)用軟件根據(jù)OSS存儲(chǔ)進(jìn)行改造,將OSS數(shù)據(jù)服務(wù)轉(zhuǎn)向阿里云應(yīng)用內(nèi)部(OSS數(shù)據(jù)服務(wù)在阿里云內(nèi)部環(huán)境免費(fèi)),再通過(guò)數(shù)據(jù)網(wǎng)的固定帶寬(20 MB)應(yīng)用提供對(duì)外服務(wù),盡量減少或避免OSS外出流量,數(shù)據(jù)網(wǎng)應(yīng)用軟件主要服務(wù)和管理功能模塊的設(shè)計(jì)需要在此基礎(chǔ)上進(jìn)行調(diào)整并進(jìn)行代碼開(kāi)發(fā)。

        4 基于阿里云的中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0數(shù)據(jù)傳輸策略

        利用阿里云服務(wù)資源,考慮到網(wǎng)絡(luò)安全問(wèn)題,中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0數(shù)據(jù)傳輸應(yīng)用涉及三個(gè)網(wǎng)絡(luò),分別是國(guó)家氣象信息中心內(nèi)部骨干網(wǎng)、國(guó)家氣象信息中心Internet服務(wù)區(qū)(DMZ區(qū))和阿里云。數(shù)據(jù)網(wǎng)提供服務(wù)的氣象數(shù)據(jù)全部存儲(chǔ)于阿里云。

        從國(guó)家氣象信息中心骨干網(wǎng)氣象數(shù)據(jù)環(huán)境中同步數(shù)據(jù)和文件,對(duì)于要素型資料,對(duì)需要同步更新的數(shù)據(jù)存儲(chǔ)成數(shù)據(jù)文件,然后將數(shù)據(jù)文件從骨干網(wǎng)傳輸?shù)紻MZ區(qū),然后從DMZ區(qū)通過(guò)FTP推送到阿里云ECS中,在ECS通過(guò)程序解析數(shù)據(jù)文件中的數(shù)據(jù),將數(shù)據(jù)同步更新到阿里云數(shù)據(jù)庫(kù)中;對(duì)于文件型資料,需要將相應(yīng)的資料文件從骨干網(wǎng)推送到DMZ區(qū),然后通過(guò)FTP推送到阿里云ECS,通過(guò)調(diào)用API的方式,將資料文件從ECS推送OSS進(jìn)行存儲(chǔ)。

        在數(shù)據(jù)傳輸策略(圖3)中充分考慮了數(shù)據(jù)同步的穩(wěn)定性和數(shù)據(jù)傳輸?shù)臅r(shí)效性。針對(duì)數(shù)據(jù)同步的穩(wěn)定性,不論在國(guó)家氣象信息中心內(nèi)部骨干網(wǎng),還是在國(guó)家氣象信息中心的DMZ區(qū),都設(shè)置了相應(yīng)的數(shù)據(jù)傳輸監(jiān)控管理,一旦有數(shù)據(jù)同步失敗情況發(fā)生,系統(tǒng)會(huì)自動(dòng)觸發(fā)補(bǔ)錄機(jī)制,如果補(bǔ)錄連續(xù)失敗三次,監(jiān)控系統(tǒng)會(huì)發(fā)送消息給系統(tǒng)管理員,管理員進(jìn)行問(wèn)題排查,然后進(jìn)行人工補(bǔ)錄。針對(duì)數(shù)據(jù)傳輸?shù)臅r(shí)效性,數(shù)據(jù)網(wǎng)的數(shù)據(jù)更新頻次包括逐小時(shí)、逐日、延遲三個(gè)月等,我們采用多進(jìn)程和多線(xiàn)程等手段對(duì)資料分類(lèi)進(jìn)行數(shù)據(jù)傳輸,其中數(shù)據(jù)傳輸過(guò)程中時(shí)效性要求最高的是“中國(guó)地面氣象站逐小時(shí)觀(guān)測(cè)資料”,更新頻次是逐小時(shí),針對(duì)該資料在數(shù)據(jù)傳輸過(guò)程中時(shí)效性完全能夠滿(mǎn)足。

        圖3 數(shù)據(jù)傳輸策略

        同步要求:共享目標(biāo)數(shù)據(jù)表中存在創(chuàng)建時(shí)間和更新時(shí)間(對(duì)于有更新的數(shù)據(jù)),程序以時(shí)間為依據(jù)查找待更新數(shù)據(jù)。

        5 效率和效益分析

        2016年3月8日,中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0(http://data.cma.cn)正式遷址阿里云,通過(guò)利用阿里云的計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)服務(wù)資源,進(jìn)一步提高了中國(guó)氣象數(shù)據(jù)網(wǎng)的高可靠、高并發(fā)服務(wù)能力,2016年新增用戶(hù)數(shù)42929人次,新增人數(shù)比2015年增長(zhǎng)173%(圖4)。

        圖4 中國(guó)氣象數(shù)據(jù)網(wǎng)用戶(hù)統(tǒng)計(jì)

        在性能對(duì)比上,可以看出阿里云版的中國(guó)氣象數(shù)據(jù)網(wǎng)服務(wù)能力有了顯著提升(表2)。

        表2 性能對(duì)比分析

        中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0(阿里云版)應(yīng)用建設(shè)與上線(xiàn)服務(wù),實(shí)現(xiàn)了基礎(chǔ)氣象數(shù)據(jù)服務(wù)業(yè)務(wù)與阿里云平臺(tái)的有機(jī)結(jié)合。

        由于公有云與生俱來(lái)的穩(wěn)定可靠、高效訪(fǎng)問(wèn)和優(yōu)越性?xún)r(jià)比等特點(diǎn),未來(lái)的各類(lèi)氣象數(shù)據(jù)服務(wù)都將面臨向公有云遷移的問(wèn)題,本文對(duì)其他數(shù)據(jù)服務(wù)系統(tǒng)向云平臺(tái)的遷移具有借鑒意義。

        深入閱讀

        洪偉, 任芬, 2016. 云服務(wù)器技術(shù)的發(fā)展與安全遠(yuǎn)程訪(fǎng)問(wèn)研究. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用, (9): 70-70.

        李國(guó)杰, 2015. 對(duì)大數(shù)據(jù)的再認(rèn)識(shí). 大數(shù)據(jù), 1(1): 1-9.

        林楠, 魏濤, 2015. 基于云服務(wù)的統(tǒng)計(jì)測(cè)試非監(jiān)督故障診斷預(yù)測(cè).計(jì)算機(jī)測(cè)量與控制, (5): 1457-1459.

        武小年, 鄧夢(mèng)琴, 張明玲, 等, 2013. 云計(jì)算中基于優(yōu)先級(jí)和費(fèi)用約束的任務(wù)調(diào)度算法. 計(jì)算機(jī)應(yīng)用, 33(8): 2147-2150.

        猜你喜歡
        服務(wù)
        自助取卡服務(wù)
        服務(wù)在身邊 健康每一天
        服務(wù)在身邊 健康每一天
        服務(wù)在身邊 健康每一天
        服務(wù)在身邊 健康每一天
        服務(wù)在身邊 健康每一天
        服務(wù)在身邊 健康每一天
        服務(wù)在身邊 健康每一天
        高等教育為誰(shuí)服務(wù):演變與啟示
        招行30年:從“滿(mǎn)意服務(wù)”到“感動(dòng)服務(wù)”
        商周刊(2017年9期)2017-08-22 02:57:56
        级毛片无码av| 天天弄天天模| 肉体裸交丰满丰满少妇在线观看| 小13箩利洗澡无码免费视频| 男男做h嗯啊高潮涩涩| 亚洲无av在线中文字幕| 国产在线观看www污污污| 精品中文字幕制服中文| 国产一区二区三区不卡在线播放| 精品一二三四区中文字幕| 夜先锋av资源网站| 亚洲V在线激情| 亚洲第一页在线免费观看| 欧美巨鞭大战丰满少妇| 国外亚洲成av人片在线观看| 日韩在线视精品在亚洲 | 久久免费大片| 亚洲av精品一区二区| 久久综合99re88久久爱| 性一交一乱一伦一色一情孩交| 91精品久久久久含羞草| 日本淫片一区二区三区| 国产综合色在线视频区| 亚洲久热无码av中文字幕| 丝袜美腿爆炒国产在线观看 | 香蕉久久夜色精品国产| 羞羞色院99精品全部免| 久久精品国产亚洲av高清热| 四虎在线播放免费永久视频| 国产视频在线播放亚洲| 国产精品成人无码久久久久久| 国产精品成年片在线观看| 亚洲国产AⅤ精品一区二区不卡| 日本免费精品一区二区| 天天躁日日躁狠狠躁欧美老妇| 专区国产精品第一页| 亚洲国产人成自精在线尤物| 欧美亚洲一区二区三区| 八戒网站免费观看视频| 人妻少妇久久精品一区二区| 亚洲国产精品高清一区|