■ 陳京華 何小明 張志強(qiáng)

氣象數(shù)據(jù)共享服務(wù)平臺(tái)正在從傳統(tǒng)自建服務(wù)系統(tǒng)向更具彈性的云平臺(tái)遷移。結(jié)合中國(guó)氣象數(shù)據(jù)網(wǎng)（阿里云版）的建設(shè)，探索了基于云平臺(tái)的氣象共享服務(wù)平臺(tái)架構(gòu)，并針對(duì)該架構(gòu)提出了文件向?qū)ο蟠鎯?chǔ)遷移方案、對(duì)象存儲(chǔ)省流量方案和基于阿里云的中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0數(shù)據(jù)傳輸策略。

2015年9月中國(guó)氣象數(shù)據(jù)網(wǎng)（簡(jiǎn)稱(chēng)“數(shù)據(jù)網(wǎng)”）v1.0上線(xiàn)對(duì)外服務(wù)，取代了中國(guó)氣象科學(xué)共享服務(wù)網(wǎng)（CDC）。中國(guó)氣象數(shù)據(jù)網(wǎng)是一個(gè)完整的氣象數(shù)據(jù)服務(wù)體系，包括來(lái)源于中國(guó)及全球的、高質(zhì)量的觀(guān)探測(cè)氣象資料及數(shù)據(jù)加工產(chǎn)品（含衛(wèi)星遙感反演產(chǎn)品），以實(shí)況數(shù)據(jù)與歷史氣象數(shù)據(jù)集為主，并提供數(shù)據(jù)統(tǒng)計(jì)分析與可視化服務(wù)。同時(shí)，網(wǎng)站提供界面優(yōu)化、方便快捷的數(shù)據(jù)服務(wù)方式，用戶(hù)可以快速定位、檢索、下載氣象數(shù)據(jù)。中國(guó)氣象數(shù)據(jù)網(wǎng)涵蓋了數(shù)據(jù)目錄與元數(shù)據(jù)服務(wù)分系統(tǒng)、數(shù)據(jù)檢索與服務(wù)分系統(tǒng)、數(shù)據(jù)分析與可視化分系統(tǒng)、服務(wù)產(chǎn)品加工與管理分系統(tǒng)、數(shù)據(jù)服務(wù)移動(dòng)應(yīng)用分系統(tǒng)等八個(gè)分系統(tǒng)。在對(duì)外服務(wù)情況上，截止到2016年3月底，中國(guó)氣象數(shù)據(jù)網(wǎng)累計(jì)注冊(cè)用戶(hù)數(shù)113124人，其中從CDC遷入用戶(hù)101502人，數(shù)據(jù)網(wǎng)新注冊(cè)用戶(hù)11622人，服務(wù)訂單數(shù)192271個(gè)。在數(shù)據(jù)存儲(chǔ)方面，截止到2016年3月，數(shù)據(jù)網(wǎng)的數(shù)據(jù)庫(kù)存儲(chǔ)總量約47.5 GB，平均每日新增約301 MB，文件存儲(chǔ)總量約32 TB，每日新增約23.1 GB（圖1）。

圖1　2015年中國(guó)氣象數(shù)據(jù)網(wǎng)v1.0的訂單量和文件下載量

中國(guó)氣象數(shù)據(jù)網(wǎng)v1.0版本存在的問(wèn)題是骨干網(wǎng)與Internet服務(wù)區(qū)之間存在多處系統(tǒng)耦合，這其中包括氣象數(shù)據(jù)推送流程、元數(shù)據(jù)更新流程、臨時(shí)工作區(qū)的加工處理以及訂單處理流程。數(shù)據(jù)流跨越骨干網(wǎng)和Internet服務(wù)區(qū)，因?yàn)橄到y(tǒng)的耦合性，不利于數(shù)據(jù)網(wǎng)的升級(jí)。最重要的是因?yàn)橛脩?hù)量的快速增長(zhǎng)，及氣象數(shù)據(jù)服務(wù)量的逐日遞增，未來(lái)中國(guó)氣象數(shù)據(jù)網(wǎng)將面臨存儲(chǔ)和計(jì)算資源問(wèn)題，以及用戶(hù)高并發(fā)、定制化等特殊訪(fǎng)問(wèn)需求，這將會(huì)給Internet服務(wù)區(qū)帶來(lái)巨大壓力。因此有必要充分利用公有云相關(guān)技術(shù)及網(wǎng)絡(luò)服務(wù)資源，研究開(kāi)發(fā)中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0（公有云版），建設(shè)基于公有云的權(quán)威和統(tǒng)一的氣象數(shù)據(jù)共享服務(wù)平臺(tái)。

1　中國(guó)氣象數(shù)據(jù)網(wǎng)特點(diǎn)

1.1　資料種類(lèi)豐富

中國(guó)氣象數(shù)據(jù)網(wǎng)對(duì)社會(huì)公眾服務(wù)的氣象數(shù)據(jù)包括2015年共享清單資料和中國(guó)氣象科學(xué)共享服務(wù)網(wǎng)存儲(chǔ)的資料，這其中涵蓋了地面、高空、海洋、輻射、農(nóng)氣等14大類(lèi)氣象行業(yè)標(biāo)準(zhǔn)所列資料。在數(shù)據(jù)集產(chǎn)品方面包括了地面氣象觀(guān)測(cè)站2170個(gè)、高空觀(guān)測(cè)站88個(gè)的基本氣象要素實(shí)時(shí)觀(guān)測(cè)資料和氣候標(biāo)準(zhǔn)值數(shù)據(jù)集、風(fēng)云氣象衛(wèi)星的實(shí)時(shí)云圖產(chǎn)品、定量產(chǎn)品和歷史數(shù)據(jù)產(chǎn)品，天氣雷達(dá)實(shí)時(shí)圖像產(chǎn)品，全球數(shù)值天氣預(yù)報(bào)（T639）產(chǎn)品、區(qū)域數(shù)值天氣預(yù)報(bào)產(chǎn)品等。在數(shù)據(jù)存儲(chǔ)方式上又分為要素型資料和文件型資料，文件型資料包括雷達(dá)圖像產(chǎn)品（每日新增14 GB）、雷達(dá)基數(shù)據(jù)（每日新增15 GB）、T639產(chǎn)品（每日新增4.3 GB）、Grapes-MESO產(chǎn)品（每日新增2.5 GB）、CDC資料文件（每日新增2.1 GB）等，要素型資料包括服務(wù)數(shù)據(jù)（配置信息、用戶(hù)信息等，每日新增3 MB）、CDC數(shù)據(jù)（含文件索引信息，每日新增42 MB）、CIMISS數(shù)據(jù)（含文件索引信息，每日新增256 MB）。

1.2　穩(wěn)定與可靠

中國(guó)氣象數(shù)據(jù)網(wǎng)是一個(gè)重要的業(yè)務(wù)系統(tǒng)，在軟硬件的設(shè)計(jì)實(shí)現(xiàn)上考慮系統(tǒng)長(zhǎng)期運(yùn)行的穩(wěn)定性和可靠性。軟件在運(yùn)行期間，針對(duì)任何一個(gè)重要操作，都具有判斷錯(cuò)誤的能力，必要時(shí)可以進(jìn)行恢復(fù)性操作。在支撐平臺(tái)可靠性的保證下，關(guān)鍵高可用業(yè)務(wù)系統(tǒng)在3分鐘內(nèi)恢復(fù)運(yùn)行狀態(tài)。中國(guó)氣象數(shù)據(jù)網(wǎng)除了在系統(tǒng)上考慮安全性外（如內(nèi)外網(wǎng)隔離、防火墻等），同時(shí)提供了基于角色（例如：系統(tǒng)管理員、操作員、高級(jí)用戶(hù)、一般用戶(hù)等）的安全控制策略，從訪(fǎng)問(wèn)級(jí)別上嚴(yán)格控制不同用戶(hù)的權(quán)限，避免用戶(hù)越權(quán)使用或非法使用系統(tǒng)資源。

2　公有云的特點(diǎn)——以阿里云為例

2.1　數(shù)據(jù)安全，穩(wěn)定可靠

阿里云服務(wù)能夠保證數(shù)據(jù)高可靠性，在不發(fā)生海嘯、地震等特大自然災(zāi)害的情況下，阿里云服務(wù)器基本實(shí)現(xiàn)99.9999%的數(shù)據(jù)安全。在硬件方面，阿里云服務(wù)器在物理架構(gòu)設(shè)計(jì)上，采用了分布式高可靠存儲(chǔ)系統(tǒng)，數(shù)據(jù)在不同的硬盤(pán)上按照隨機(jī)原理實(shí)現(xiàn)多重備份，即便其中一份數(shù)據(jù)因?yàn)槟撤N原因遭到破壞，按照預(yù)定的數(shù)據(jù)修復(fù)算法，阿里云服務(wù)器可以實(shí)現(xiàn)在最短時(shí)間基于備份的數(shù)據(jù)將被破壞的部分實(shí)現(xiàn)修復(fù)。利用快照快速回滾技術(shù)，即便系統(tǒng)遭到計(jì)算機(jī)病毒的入侵而導(dǎo)致破壞，數(shù)據(jù)依然可以快速還原。阿里云服務(wù)的高可靠性還體現(xiàn)在對(duì)服務(wù)器硬件自動(dòng)檢測(cè)，一旦故障發(fā)生，阿里云服務(wù)器可以實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)遷移，并保證遷移后磁盤(pán)數(shù)據(jù)、MAC地址、IP地址等信息不發(fā)生變化。在軟件方面，阿里云服務(wù)采用安全隔離和自定義防火墻技術(shù)，能夠避免地址解析協(xié)議攻擊和網(wǎng)絡(luò)地址欺騙，同時(shí)云盾還提供木馬掃描、端口入侵掃描和系統(tǒng)漏洞掃描，網(wǎng)絡(luò)安全保障業(yè)務(wù)的穩(wěn)定運(yùn)行。在法律層面，阿里云完全遵守《中華人民共和國(guó)網(wǎng)絡(luò)安全法》，2016年10月14日，阿里云宣布完成公安部組織的等級(jí)保護(hù)標(biāo)準(zhǔn)和云計(jì)算等級(jí)保護(hù)新標(biāo)準(zhǔn)試點(diǎn)示范工作，成為全國(guó)首家通過(guò)國(guó)家級(jí)權(quán)威測(cè)評(píng)的云計(jì)算服務(wù)商，其中公有云平臺(tái)通過(guò)等級(jí)保護(hù)三級(jí)備案。

2.2　獨(dú)享帶寬，高速訪(fǎng)問(wèn)

阿里云服務(wù)提供高性?xún)r(jià)比的千兆光纖接入，阿里云服務(wù)系統(tǒng)內(nèi)部數(shù)據(jù)流量不存在計(jì)費(fèi)問(wèn)題，寬帶擴(kuò)容按天計(jì)算，傳統(tǒng)帶寬無(wú)法與其相比。同時(shí)阿里云服務(wù)對(duì)于中國(guó)移動(dòng)、中國(guó)聯(lián)通、中國(guó)電信以及教育網(wǎng)等主干線(xiàn)路進(jìn)行高速連接，實(shí)現(xiàn)了南北網(wǎng)絡(luò)互通互聯(lián)，保障國(guó)內(nèi)訪(fǎng)問(wèn)順暢。阿里云在國(guó)外共有八個(gè)節(jié)點(diǎn)，分別部署在新加坡、悉尼、弗吉尼亞、法蘭克福和迪拜等地，充分保障國(guó)外用戶(hù)的訪(fǎng)問(wèn)效率。阿里云服務(wù)保證帶寬資源絕對(duì)獨(dú)享，消除傳統(tǒng)帶寬資源在不同應(yīng)用系統(tǒng)間搶奪的問(wèn)題，徹底消除帶寬帶來(lái)的系統(tǒng)訪(fǎng)問(wèn)瓶頸。

2.3　簡(jiǎn)單易用、彈性伸縮

阿里云服務(wù)器的創(chuàng)建在幾分鐘內(nèi)便可完成，而且擁有超級(jí)管理權(quán)限，對(duì)于資源的數(shù)量和配置完全按需分配，無(wú)論增加或者減少資源，均在幾分鐘內(nèi)就能實(shí)現(xiàn)。對(duì)于一次開(kāi)啟服務(wù)器的數(shù)量沒(méi)有限制，方便實(shí)現(xiàn)互聯(lián)網(wǎng)應(yīng)用的部署。購(gòu)買(mǎi)資源、系統(tǒng)配置變更、續(xù)費(fèi)等通過(guò)Web方式實(shí)時(shí)完成。阿里云服務(wù)器相比于傳統(tǒng)硬件采購(gòu)，成本降低30%～80%，阿里云服務(wù)支持任意時(shí)刻升級(jí)CPU、新增數(shù)據(jù)盤(pán)和系統(tǒng)內(nèi)存。

2）盡管英語(yǔ)專(zhuān)業(yè)大三學(xué)生的英語(yǔ)綜合能力較之低年級(jí)學(xué)生有較大提高和進(jìn)步，但是由于語(yǔ)言環(huán)境的限制，他們用英語(yǔ)練習(xí)翻譯和交流的時(shí)間并不多，所以容易受漢語(yǔ)母語(yǔ)的影響，做漢譯英的翻譯練習(xí)時(shí)，不可避免地把漢語(yǔ)中的一些詞語(yǔ)，短語(yǔ)以及句型與英語(yǔ)相互聯(lián)系，導(dǎo)致他們的譯文里頻繁地出現(xiàn)“中國(guó)式”英語(yǔ)。學(xué)生們的譯文翻譯腔較重，譯文往往只是勉強(qiáng)達(dá)意，干癟生硬，缺乏可讀性。

因?yàn)榘⒗镌扑哂械臄?shù)據(jù)可靠、高速訪(fǎng)問(wèn)、彈性伸縮、節(jié)約成本等特點(diǎn)，可以有效的解決中國(guó)氣象數(shù)據(jù)網(wǎng)面臨的存儲(chǔ)和計(jì)算資源問(wèn)題，所以中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0采用阿里云進(jìn)行部署，通過(guò)Web或應(yīng)用程序接口（API）方式中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0實(shí)現(xiàn)便捷的自助管理，而且根據(jù)業(yè)務(wù)的具體需要?jiǎng)討B(tài)的增減虛擬硬件的數(shù)量、調(diào)整系統(tǒng)配置。

3　基于阿里云的中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0物理架構(gòu)

3.1　基于云的總體架構(gòu)

基于阿里云的中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0服務(wù)應(yīng)用全部部署于阿里云上，包括前端數(shù)據(jù)網(wǎng)Web門(mén)戶(hù)、移動(dòng)應(yīng)用與API應(yīng)用，以及后端訂單處理及數(shù)據(jù)下載服務(wù)等。網(wǎng)站應(yīng)用主要系統(tǒng)軟件采用阿里云服務(wù)替代（表1）。

表1　軟件替代匯總

具體軟件功能如下：

服務(wù)器（ECS）：分別用于Web服務(wù)器、可視化服務(wù)器、應(yīng)用服務(wù)器、訂單處理服務(wù)器。

緩存服務(wù)（OCS）：用于緩沖Web數(shù)據(jù)緩存。

數(shù)據(jù)庫(kù)服務(wù)（RDS）：用于部署數(shù)據(jù)庫(kù)結(jié)構(gòu)與內(nèi)容，存儲(chǔ)氣象要素內(nèi)容、氣象文件元數(shù)據(jù)和相關(guān)配置與服務(wù)信息。

存儲(chǔ)服務(wù)（OSS）：用于存儲(chǔ)氣象文件，同時(shí)提供影像的對(duì)外Web訪(fǎng)問(wèn)服務(wù)。

根據(jù)服務(wù)需要，數(shù)據(jù)網(wǎng)使用云服務(wù)器（ECS）14臺(tái)、一個(gè)分布式云數(shù)據(jù)庫(kù)（DRDS，6個(gè)節(jié)點(diǎn)）、負(fù)載均衡服務(wù)（SLB）公網(wǎng)帶寬150 MB、開(kāi)放緩存服務(wù)（OCS）30 GB、開(kāi)放存儲(chǔ)服務(wù)（OSS）50 TB。

在國(guó)家氣象信息中心的骨干網(wǎng)，部署兩臺(tái)數(shù)據(jù)和元數(shù)據(jù)同步服務(wù)器，負(fù)責(zé)將氣象數(shù)據(jù)定時(shí)推送到信息中心的Internet服務(wù)區(qū)，兩臺(tái)服務(wù)器的關(guān)系為一臺(tái)在線(xiàn)運(yùn)行，一臺(tái)進(jìn)行熱備。在信息中心的Internet服務(wù)區(qū)同樣部署兩臺(tái)數(shù)據(jù)和元數(shù)據(jù)同步服務(wù)器，部署方式一主一備，負(fù)責(zé)將骨干網(wǎng)推送過(guò)來(lái)的氣象數(shù)據(jù)定時(shí)推送到阿里云。與此同時(shí)阿里云中兩臺(tái)（ECS）服務(wù)器，部署方式一主一備，負(fù)責(zé)接收并處理從信息中心Internet服務(wù)區(qū)推送過(guò)來(lái)的氣象數(shù)據(jù)，將數(shù)據(jù)分類(lèi)別存儲(chǔ)到阿里云的一臺(tái)存儲(chǔ)服務(wù)器和一個(gè)（6個(gè)節(jié)點(diǎn)的DRDS）云數(shù)據(jù)庫(kù)，存儲(chǔ)服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器共同構(gòu)成了氣象共享服務(wù)平臺(tái)的底層數(shù)據(jù)環(huán)境。兩臺(tái)（LBS）負(fù)載均衡服務(wù)器，部署方式一主一備，負(fù)責(zé)接收外部用戶(hù)的前端請(qǐng)求。在負(fù)載均衡服務(wù)器的后端，分別是一臺(tái)GIS圖像處理應(yīng)用服務(wù)器，負(fù)責(zé)服務(wù)門(mén)戶(hù)Web部件組的圖像展示與WebGIS服務(wù)，一臺(tái)Web應(yīng)用服務(wù)器，負(fù)責(zé)網(wǎng)站門(mén)戶(hù)的運(yùn)行，一臺(tái)對(duì)外接口應(yīng)用服務(wù)器，負(fù)責(zé)支持?jǐn)?shù)據(jù)網(wǎng)用戶(hù)的接口調(diào)用，以及一臺(tái)下載服務(wù)器。當(dāng)負(fù)載均衡服務(wù)器接收到用戶(hù)的前端請(qǐng)求后，按照請(qǐng)求的類(lèi)別，請(qǐng)求將被轉(zhuǎn)發(fā)到上述四臺(tái)應(yīng)用服務(wù)器。數(shù)據(jù)網(wǎng)在阿里云還部署了一臺(tái)配置與監(jiān)視服務(wù)器，主要負(fù)責(zé)監(jiān)測(cè)負(fù)載均衡服務(wù)器、GIS圖像處理應(yīng)用服務(wù)器、Web應(yīng)用服務(wù)器和對(duì)外接口應(yīng)用服務(wù)器的運(yùn)行狀況，并進(jìn)行必要的日志記錄。另外在阿里云中數(shù)據(jù)網(wǎng)還部署了訂單處理服務(wù)器一臺(tái)，數(shù)據(jù)檢索服務(wù)器一臺(tái)，以及數(shù)據(jù)緩存服務(wù)器一臺(tái)。系統(tǒng)物理架構(gòu)見(jiàn)圖2。

圖2　系統(tǒng)物理架構(gòu)部署圖

該方案直接面臨的兩個(gè)問(wèn)題，一是目前阿里云面向?qū)ο蟮臄?shù)據(jù)存儲(chǔ)服務(wù)與現(xiàn)有業(yè)務(wù)的文件共享存儲(chǔ)模式之間存在較大差異，二是阿里云計(jì)費(fèi)問(wèn)題，存儲(chǔ)服務(wù)按外出流量計(jì)費(fèi)，直接利用存儲(chǔ)服務(wù)進(jìn)行數(shù)據(jù)服務(wù)費(fèi)用較高。

3.2　文件向?qū)ο蟠鎯?chǔ)遷移方案

阿里云與現(xiàn)有業(yè)務(wù)的文件共享存儲(chǔ)不同之處首先體現(xiàn)在文件夾的概念上，現(xiàn)有業(yè)務(wù)的文件夾是一個(gè)實(shí)體，文件存儲(chǔ)在文件夾里面，方便進(jìn)行文件夾下信息的匯總。而OSS中文件夾的概念僅是一個(gè)邏輯概念，在阿里云上創(chuàng)建文件夾有多種方式，其中最方便的就是通過(guò)新建文件夾按鈕來(lái)創(chuàng)建文件夾和通過(guò)API/SDK的方式設(shè)置文件夾，其底層實(shí)現(xiàn)的邏輯方式是一樣的。比如在OSS存儲(chǔ)中創(chuàng)建一個(gè)“surf”文件夾，在這個(gè)文件夾下存儲(chǔ)一個(gè)“V0001.txt”的文件，系統(tǒng)會(huì)在后臺(tái)定義一個(gè)“對(duì)象”，其Key值就是surf/V0001.txt，但“surf”文件夾只是在邏輯概念上存在，其實(shí)質(zhì)是一個(gè)大小為0KB的空文件。因?yàn)镺SS采用的是分布式存儲(chǔ)方式，對(duì)象并不是根據(jù)文件夾的物理位置進(jìn)行存儲(chǔ)的，雖然給用戶(hù)的感覺(jué)是在“surf”文件夾存儲(chǔ)了N個(gè)文件，但這N個(gè)文件并不一定存儲(chǔ)在同一個(gè)物理位置上，在后端存儲(chǔ)的過(guò)程中不同文件夾下的文件僅僅是key值的前綴不一樣。而想要遍歷某個(gè)文件夾下的所有的文件也需要首先通過(guò)ListObject接口獲取文件夾下的所有文件的key值（這里需要通過(guò)prefix指定文件夾），然后再進(jìn)行操作。由于OSS的數(shù)據(jù)存儲(chǔ)對(duì)象化、服務(wù)化，不支持標(biāo)準(zhǔn)文件協(xié)議，不支持文件目錄，其虛擬目錄功能對(duì)目錄名與文件名也有著嚴(yán)格的關(guān)聯(lián)限制，數(shù)據(jù)網(wǎng)現(xiàn)有業(yè)務(wù)數(shù)據(jù)存儲(chǔ)管理模式已不適用，必須基于阿里云面向服務(wù)重新設(shè)計(jì)建立符合服務(wù)要求的文件存儲(chǔ)規(guī)則來(lái)支持?jǐn)?shù)據(jù)環(huán)境。在阿里云內(nèi)部開(kāi)發(fā)數(shù)據(jù)文件轉(zhuǎn)換模塊，將原有的數(shù)據(jù)文件在OSS中進(jìn)行地址定義并存儲(chǔ)。對(duì)于中國(guó)氣象數(shù)據(jù)網(wǎng)v1.0中涉及的系統(tǒng)內(nèi)部文件訪(fǎng)問(wèn)模塊，對(duì)其進(jìn)行文件訪(fǎng)問(wèn)方式的改造，將原來(lái)的絕對(duì)物理地址，修改為內(nèi)部OSS服務(wù)地址。

3.3　對(duì)象存儲(chǔ)省流量方案

阿里云OSS主要計(jì)費(fèi)項(xiàng)包括按存儲(chǔ)容量時(shí)間計(jì)費(fèi)和按外出流量計(jì)費(fèi)。存儲(chǔ)容量時(shí)間計(jì)費(fèi)標(biāo)準(zhǔn)大約1萬(wàn)元/5T·年，外出流量計(jì)費(fèi)標(biāo)準(zhǔn)為0.05萬(wàn)元/T。2014年中國(guó)氣象科學(xué)共享服務(wù)網(wǎng)存儲(chǔ)數(shù)據(jù)量不超過(guò)10T，服務(wù)量（含離線(xiàn)）合計(jì)為206 T，服務(wù)量約為存儲(chǔ)量的20倍。存儲(chǔ)容量計(jì)費(fèi)比較簡(jiǎn)單，不含衛(wèi)星數(shù)據(jù)，2016年中國(guó)氣象數(shù)據(jù)網(wǎng)v1.0數(shù)據(jù)量擁有量約為33 TB，OSS存儲(chǔ)收費(fèi)7萬(wàn)元/年。按中國(guó)氣象科學(xué)共享服務(wù)網(wǎng)服務(wù)量與存儲(chǔ)量的比例計(jì)算，數(shù)據(jù)網(wǎng)年外出服務(wù)流量約為660 TB，OSS流量收費(fèi)33萬(wàn)元/年。兩項(xiàng)合計(jì)，僅OSS服務(wù)收費(fèi)可達(dá)40萬(wàn)元/年。若考慮費(fèi)用問(wèn)題，一個(gè)可行的解決方式是不直接使用OSS存儲(chǔ)提供對(duì)外服務(wù)，而是對(duì)數(shù)據(jù)網(wǎng)應(yīng)用軟件根據(jù)OSS存儲(chǔ)進(jìn)行改造，將OSS數(shù)據(jù)服務(wù)轉(zhuǎn)向阿里云應(yīng)用內(nèi)部（OSS數(shù)據(jù)服務(wù)在阿里云內(nèi)部環(huán)境免費(fèi)），再通過(guò)數(shù)據(jù)網(wǎng)的固定帶寬（20 MB）應(yīng)用提供對(duì)外服務(wù)，盡量減少或避免OSS外出流量，數(shù)據(jù)網(wǎng)應(yīng)用軟件主要服務(wù)和管理功能模塊的設(shè)計(jì)需要在此基礎(chǔ)上進(jìn)行調(diào)整并進(jìn)行代碼開(kāi)發(fā)。

4　基于阿里云的中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0數(shù)據(jù)傳輸策略

利用阿里云服務(wù)資源，考慮到網(wǎng)絡(luò)安全問(wèn)題，中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0數(shù)據(jù)傳輸應(yīng)用涉及三個(gè)網(wǎng)絡(luò)，分別是國(guó)家氣象信息中心內(nèi)部骨干網(wǎng)、國(guó)家氣象信息中心Internet服務(wù)區(qū)（DMZ區(qū)）和阿里云。數(shù)據(jù)網(wǎng)提供服務(wù)的氣象數(shù)據(jù)全部存儲(chǔ)于阿里云。

從國(guó)家氣象信息中心骨干網(wǎng)氣象數(shù)據(jù)環(huán)境中同步數(shù)據(jù)和文件，對(duì)于要素型資料，對(duì)需要同步更新的數(shù)據(jù)存儲(chǔ)成數(shù)據(jù)文件，然后將數(shù)據(jù)文件從骨干網(wǎng)傳輸?shù)紻MZ區(qū)，然后從DMZ區(qū)通過(guò)FTP推送到阿里云ECS中，在ECS通過(guò)程序解析數(shù)據(jù)文件中的數(shù)據(jù)，將數(shù)據(jù)同步更新到阿里云數(shù)據(jù)庫(kù)中；對(duì)于文件型資料，需要將相應(yīng)的資料文件從骨干網(wǎng)推送到DMZ區(qū)，然后通過(guò)FTP推送到阿里云ECS，通過(guò)調(diào)用API的方式，將資料文件從ECS推送OSS進(jìn)行存儲(chǔ)。

在數(shù)據(jù)傳輸策略（圖3）中充分考慮了數(shù)據(jù)同步的穩(wěn)定性和數(shù)據(jù)傳輸?shù)臅r(shí)效性。針對(duì)數(shù)據(jù)同步的穩(wěn)定性，不論在國(guó)家氣象信息中心內(nèi)部骨干網(wǎng)，還是在國(guó)家氣象信息中心的DMZ區(qū)，都設(shè)置了相應(yīng)的數(shù)據(jù)傳輸監(jiān)控管理，一旦有數(shù)據(jù)同步失敗情況發(fā)生，系統(tǒng)會(huì)自動(dòng)觸發(fā)補(bǔ)錄機(jī)制，如果補(bǔ)錄連續(xù)失敗三次，監(jiān)控系統(tǒng)會(huì)發(fā)送消息給系統(tǒng)管理員，管理員進(jìn)行問(wèn)題排查，然后進(jìn)行人工補(bǔ)錄。針對(duì)數(shù)據(jù)傳輸?shù)臅r(shí)效性，數(shù)據(jù)網(wǎng)的數(shù)據(jù)更新頻次包括逐小時(shí)、逐日、延遲三個(gè)月等，我們采用多進(jìn)程和多線(xiàn)程等手段對(duì)資料分類(lèi)進(jìn)行數(shù)據(jù)傳輸，其中數(shù)據(jù)傳輸過(guò)程中時(shí)效性要求最高的是“中國(guó)地面氣象站逐小時(shí)觀(guān)測(cè)資料”，更新頻次是逐小時(shí)，針對(duì)該資料在數(shù)據(jù)傳輸過(guò)程中時(shí)效性完全能夠滿(mǎn)足。

圖3　數(shù)據(jù)傳輸策略

同步要求：共享目標(biāo)數(shù)據(jù)表中存在創(chuàng)建時(shí)間和更新時(shí)間（對(duì)于有更新的數(shù)據(jù)），程序以時(shí)間為依據(jù)查找待更新數(shù)據(jù)。

5　效率和效益分析

2016年3月8日，中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0（http://data.cma.cn）正式遷址阿里云，通過(guò)利用阿里云的計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)服務(wù)資源，進(jìn)一步提高了中國(guó)氣象數(shù)據(jù)網(wǎng)的高可靠、高并發(fā)服務(wù)能力，2016年新增用戶(hù)數(shù)42929人次，新增人數(shù)比2015年增長(zhǎng)173%（圖4）。

圖4　中國(guó)氣象數(shù)據(jù)網(wǎng)用戶(hù)統(tǒng)計(jì)

在性能對(duì)比上，可以看出阿里云版的中國(guó)氣象數(shù)據(jù)網(wǎng)服務(wù)能力有了顯著提升（表2）。

表2　性能對(duì)比分析

中國(guó)氣象數(shù)據(jù)網(wǎng)v2.0（阿里云版）應(yīng)用建設(shè)與上線(xiàn)服務(wù)，實(shí)現(xiàn)了基礎(chǔ)氣象數(shù)據(jù)服務(wù)業(yè)務(wù)與阿里云平臺(tái)的有機(jī)結(jié)合。

由于公有云與生俱來(lái)的穩(wěn)定可靠、高效訪(fǎng)問(wèn)和優(yōu)越性?xún)r(jià)比等特點(diǎn)，未來(lái)的各類(lèi)氣象數(shù)據(jù)服務(wù)都將面臨向公有云遷移的問(wèn)題，本文對(duì)其他數(shù)據(jù)服務(wù)系統(tǒng)向云平臺(tái)的遷移具有借鑒意義。

深入閱讀

洪偉, 任芬, 2016. 云服務(wù)器技術(shù)的發(fā)展與安全遠(yuǎn)程訪(fǎng)問(wèn)研究. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用, (9): 70-70.

李國(guó)杰, 2015. 對(duì)大數(shù)據(jù)的再認(rèn)識(shí). 大數(shù)據(jù), 1(1): 1-9.

林楠, 魏濤, 2015. 基于云服務(wù)的統(tǒng)計(jì)測(cè)試非監(jiān)督故障診斷預(yù)測(cè).計(jì)算機(jī)測(cè)量與控制, (5): 1457-1459.

武小年, 鄧夢(mèng)琴, 張明玲, 等, 2013. 云計(jì)算中基于優(yōu)先級(jí)和費(fèi)用約束的任務(wù)調(diào)度算法. 計(jì)算機(jī)應(yīng)用, 33(8): 2147-2150.