郝永生，季 賽，曹 杰

(1.南京信息工程大學 網(wǎng)絡信息中心，江蘇 南京 210044；2.徐州工程學院 管理學院，江蘇 南京 221018)

0 引 言

氣象部門保存的數(shù)據(jù)不但種類繁雜，而且體量巨大，具有大數(shù)據(jù)的基本特征。目前，氣象部門永久保存的數(shù)據(jù)達到4～5 PB(1 PB=1 024 TB)，年增量約1 PB(氣象數(shù)據(jù)體積Volume)。氣象資料分為14大類，有數(shù)百種之多(氣象數(shù)據(jù)種類Varity)。隨著自動觀測站、衛(wèi)星等設備數(shù)量及觀測精細度的不斷提高，其存儲體積也飛速發(fā)展(氣象數(shù)據(jù)速度Velocity)。當前，海量氣象數(shù)據(jù)主要用于氣象業(yè)務及相關領域，即天氣預報、氣候預測及氣象服務；隨著氣象大數(shù)據(jù)時代的來臨，氣象數(shù)據(jù)將涉及到人們生活的方方面面。但單個氣象數(shù)據(jù)價值低(氣象數(shù)據(jù)價值Value)。綜上所述，氣象大數(shù)據(jù)將具有大數(shù)據(jù)的“4V”特性，即規(guī)模性(Volume)、多樣性(Varity)、高速性(Velocity)和價值性(Value)。

氣象大數(shù)據(jù)的一個典型價值在于其為氣象模式提供支撐[1-2]，通過氣象模式模擬，預測未來氣候與氣象變化。但是，這些氣象模式要求的氣象數(shù)據(jù)不一樣(來源，氣象信息的精確度)，如何對這些氣象大數(shù)據(jù)進行布局，在多個氣象中心實現(xiàn)計算平衡，是當前需要解決的一個難題。在氣象教學過程中，不同學生重復地下載氣象基礎數(shù)據(jù)，對氣象模式重復配置，這些工作既費力，又浪費資源。針對這一情況，提出氣象大數(shù)據(jù)數(shù)字資源平臺設計問題。

1 大數(shù)據(jù)布局相關算法

大數(shù)據(jù)布局算法的主要目標包括實現(xiàn)負載均衡，保證用戶需求，減少系統(tǒng)能耗等。針對不同的研究環(huán)境及目標，研究者提出了大量數(shù)據(jù)布局算法。

傳統(tǒng)數(shù)據(jù)布局方法大多采用基于負載均衡的劃分模型布局數(shù)據(jù)集,該方法可以獲得很好的負載平衡布局,然而傳輸時間并非最優(yōu)。李學俊等[3]結合混合云中數(shù)據(jù)布局的特點,設計了一種基于數(shù)據(jù)依賴破壞度的矩陣劃分模型,生成對數(shù)據(jù)依賴度破壞最小的劃分，并提出一種面向數(shù)據(jù)中心的數(shù)據(jù)布局方法。該方法依據(jù)劃分模型將依賴度高的數(shù)據(jù)集盡量放在同一數(shù)據(jù)中心,從而減少數(shù)據(jù)集跨數(shù)據(jù)中心的傳輸時間。數(shù)據(jù)庫即服務(database as a service，DaaS)作為一種新型的數(shù)據(jù)存儲提供模式被廣泛應用。而對于服務提供者來說，提高服務質(zhì)量和降低服務成本是一對矛盾的目標。張?zhí)鹛鸬萚4]提出DaaS模式下的數(shù)據(jù)布局圖概念，并采用Pareto最優(yōu)思想適合于解決多目標矛盾性問題的特點，給出一個基于性能與代價之間進行折中的多節(jié)點DaaS數(shù)據(jù)布局策略。萬武南等[5]針對數(shù)據(jù)布局中的容錯問題，提出了一種容錯布局方案。他們對雙容錯RDP(row diagonal parity)碼進行了擴展，提出了一種基于X-RDP陣列碼3容錯的數(shù)據(jù)分布策略。采用X-RDP碼的代數(shù)定義，證明了X-RDP碼具有MDS編碼特性。并采用不同斜率幾何直線圖描述編譯碼過程，易于軟硬件實現(xiàn)。

大數(shù)據(jù)平臺由于資源種類繁多，必然是異構的。傳統(tǒng)的重用距離在異構背景下面臨平臺差異性挑戰(zhàn),缺乏統(tǒng)一的計算框架。為了更好地刻畫和優(yōu)化異構程序的局部性,劉穎等[6]建立了一個多平臺統(tǒng)一的重用距離計算機制和數(shù)據(jù)布局優(yōu)化框架。該框架根據(jù)應用在異構架構下的并行執(zhí)行方式,從統(tǒng)計平均的角度提出了放松重用距離,并以OpenCL程序為例給出了它的計算方法,為多平臺數(shù)據(jù)布局優(yōu)化決策提供統(tǒng)一的依據(jù)。

多數(shù)據(jù)中心的云計算環(huán)境下數(shù)據(jù)布局方面遇到了新的挑戰(zhàn),主要表現(xiàn)在如何減少跨數(shù)據(jù)中心的數(shù)據(jù)傳輸、如何保持數(shù)據(jù)間的依賴性以及如何在提高效率的同時兼顧全局的負載均衡等。鄭湃等[7]針對這些挑戰(zhàn),提出一種三階段數(shù)據(jù)布局策略,分別針對跨數(shù)據(jù)中心數(shù)據(jù)傳輸、數(shù)據(jù)依賴關系和全局負載均衡三個目標對數(shù)據(jù)布局方案進行求解和優(yōu)化。

Map-Reduce計算框架下，數(shù)據(jù)布局對計算效率、能耗也影響巨大。傳統(tǒng)方法難以應用到MapReduce集群。良好的數(shù)據(jù)布局可以優(yōu)化集群能耗。基于此，宋杰[8]等首先定義了數(shù)據(jù)布局的能耗優(yōu)化目標,并提出相應的數(shù)據(jù)布局算法;接著,從理論上證明該算法能夠?qū)崿F(xiàn)數(shù)據(jù)布局的能耗優(yōu)化目標;最后,在異構集群中部署3種數(shù)據(jù)布局不同的MapReduce系統(tǒng),通過對比三者在執(zhí)行CPU密集型、I/O密集型和交互型這3種典型運算時的集群能耗,驗證了所提出的數(shù)據(jù)布局算法的能耗優(yōu)化效果。

綜上所述，廣大研究人員已經(jīng)從大數(shù)據(jù)布局的均衡方法，能耗，異構性等多方面進行了廣泛研究。但是這些并沒有針對氣象大數(shù)據(jù)環(huán)境下進行的數(shù)據(jù)布局。針對氣象大數(shù)據(jù)既是計算密集型作業(yè)，又是數(shù)據(jù)密集型作業(yè)，提出了一種在多數(shù)據(jù)中心與計算中心混合存在的情況下，兼顧計算與數(shù)據(jù)訪問效率的數(shù)據(jù)布局算法。氣象數(shù)字平臺，不但需要提供資源共享機制，更需要提供計算能力?，F(xiàn)在應用廣泛的氣象模式種類繁多，其需要的氣象基礎數(shù)據(jù)也不相同。建設氣象大數(shù)據(jù)氣象數(shù)據(jù)[9-10]平臺的目的是：(1)節(jié)省廣大學生學校氣象模式，對模式進行配置的時間，通過虛擬機模版實現(xiàn)直接克隆，即可實現(xiàn)氣象模式的基本配置；(2)節(jié)省廣大學生重復下載氣象基礎數(shù)據(jù)的時間，通過管理員設置讀取權限，廣大學生就可以獲得相關的氣象基礎數(shù)據(jù)；(3)統(tǒng)一的基礎數(shù)據(jù)及氣象模式，也可以幫助教師統(tǒng)一授課，并且更容易對學習效果進行檢驗。

2 系統(tǒng)物理構架

系統(tǒng)結構如圖1所示。氣象大數(shù)據(jù)數(shù)字資源平臺包括多個虛擬中心，其中包括VMware中心，超融合中心，以及學校以租賃形式購買的遠程虛擬資源(計算資源及存儲資源)。氣象大數(shù)據(jù)數(shù)字平臺，既要提供計算資源，又要提供數(shù)字資源。其提供的計算資源與其他資源不同的是，氣象大數(shù)據(jù)數(shù)字平臺主要提供的是氣象模式的計算能力。通過統(tǒng)計，對常用的氣象模式，如WRF(weather research and forecasting model)[11]、MASNUM(marine science and numerical modeling)[12-13]等，預先安裝在相關的氣象模式，并生成虛擬機模板，這樣在用戶申請之時，直接生成支持用戶需求海浪模式即可。如圖1，虛擬中心1與2提供了不同的虛擬機，這些虛擬機上面已經(jīng)預裝了相關的氣象模式，管理員按照用戶需求，提供支持用戶需求的氣象模式虛擬機。氣象模式需要的數(shù)據(jù)存儲在各個虛擬中心，管理員根據(jù)用戶需求，將相關磁盤的讀權限授予相關的用戶(用戶氣象基礎數(shù)據(jù)一般不需要修改，用戶自己生成的數(shù)據(jù)存放在本地磁盤；如果氣象基礎數(shù)據(jù)集需要修改，一般由管理員完成)。用戶向系統(tǒng)提出資源申請，申請信息包含需要的氣象模式名稱，需要的氣象基礎數(shù)據(jù)，申請的私有空間等，系統(tǒng)管理員根據(jù)這些信息及系統(tǒng)負載，決定計算資源分配位置(哪個虛擬中心)、計算資源、氣象基礎數(shù)據(jù)集及所需的私有存儲資源。分配時，盡量以學校資源為主，只有在學校系統(tǒng)資源不夠的情況下，才申請購買云資源。

圖1 氣象大數(shù)據(jù)數(shù)字平臺物理結構

3 系統(tǒng)設計

圖2給出了系統(tǒng)模塊圖。系統(tǒng)主要由四個模塊組成：首頁、共有數(shù)據(jù)管理、資源分配及資源使用情況統(tǒng)計。

圖2 系統(tǒng)模塊

首頁主要展示系統(tǒng)資源分配及使用情況，系統(tǒng)當前負載，當前用戶情況。這里不僅展示了自建虛擬中心與存儲的使用情況，也展示當前購買的云資源使用情況。系統(tǒng)管理員從首頁就可以對系統(tǒng)當前負載，使用情況進行監(jiān)視，從而知道系統(tǒng)管理工作。

共有數(shù)據(jù)管理主要包含五個方面：氣象模式虛擬機模板管理、氣象基礎數(shù)據(jù)管理、用戶信息管理、存儲資源管理及系統(tǒng)信息管理。這里每一個虛擬機模板可以支持一種或幾種氣象模式，這些虛擬機模板已經(jīng)完成了氣象模式的基本設置，從這些虛擬機模板克隆的虛擬機，只需要用戶很少配置，就可以直接使用相關的氣象模式。氣象基礎數(shù)據(jù)管理，不僅涉及到氣象基礎數(shù)據(jù)的增加、刪除、修改，還涉及到氣象基礎數(shù)據(jù)的分配，氣象基礎數(shù)據(jù)一般是只讀的，普通用戶只能讀取氣象基礎數(shù)據(jù)。用戶通過向管理員申請，提出對某一類氣象數(shù)據(jù)集的讀取權限，管理員通過磁盤映射方式，將基礎數(shù)據(jù)分配給用戶。用戶信息管理主要是指增加用戶、刪除用戶、修改用戶秘密等操作。存儲資源管理主要指當多用戶需要的氣象基礎數(shù)據(jù)之外的存儲空間的管理。系統(tǒng)信息管理主要指系統(tǒng)配置信息管理：包括系統(tǒng)管理員信息管理，各個虛擬中心管理信息，系統(tǒng)備份信息等。

資源分配是氣象大數(shù)據(jù)數(shù)字資源的核心，其分配方法的好壞，決定了系統(tǒng)的性能。主要包含三個模塊：計算資源分配、公有氣象基礎數(shù)據(jù)分配方法及私有數(shù)據(jù)空間分配。計算資源分配除了分配計算資源(內(nèi)存、CPU數(shù)量、帶寬等)，還包含與用戶需求相適應的虛擬機。公有氣象基礎數(shù)據(jù)分配也是按照用戶申請，分配相應權限，管理員將包含用戶申請的數(shù)據(jù)磁盤映射給相應的用戶，用戶即可訪問相關數(shù)據(jù)。如果某個數(shù)據(jù)集使用頻率過高，管理員通過數(shù)據(jù)集副本方法，降低相應的數(shù)據(jù)集負載。私有存儲空間分配主要指用戶在申請計算資源、氣象基礎數(shù)據(jù)之外需要的存儲空間。

資源使用情況統(tǒng)計主要是對系統(tǒng)的計算資源、氣象基礎數(shù)據(jù)、存儲空間、租賃資源等進行統(tǒng)計分析。主要包含四個模塊：公有計算資源統(tǒng)計、公有氣象基礎資源統(tǒng)計、存儲資源統(tǒng)計及租賃資源統(tǒng)計。公有資源統(tǒng)計主要指統(tǒng)計計算資源(CPU、內(nèi)存等)等分配情況，用戶根據(jù)計算資源統(tǒng)計，決定資源分配策略。公有氣象基礎資源統(tǒng)計主要對各種氣象基礎數(shù)據(jù)訪問頻率進行統(tǒng)計，用以判斷是否需要創(chuàng)建新的數(shù)據(jù)副本。存儲資源統(tǒng)計主要統(tǒng)計已經(jīng)分配的存儲資源及系統(tǒng)負載。由于系統(tǒng)采用延遲分配方式，實際系統(tǒng)負載往往遠低于已經(jīng)分配的存儲資源。租賃資源統(tǒng)計主要對租賃的計算資源，存儲資源進行統(tǒng)計，分析租賃資源的效率。

4 氣象基礎數(shù)據(jù)布局策略

氣象基礎數(shù)據(jù)類別繁多，而各個氣象模式需要的數(shù)據(jù)存在不一致，在多用戶情況下，如何滿足這些用戶需求，是該系統(tǒng)需要解決的一個難題。圖3給出了存儲結構示意圖。

圖3 氣象基礎數(shù)據(jù)布局示意圖

如圖3所示，系統(tǒng)存儲包含兩種磁盤：高速磁盤及一般磁盤。高速磁盤主要存放的是虛擬機模板、虛擬機及常用氣象基礎數(shù)據(jù)。一般磁盤主要存放的是不常用的氣象基礎數(shù)據(jù)及用戶申請的磁盤空間。對于氣象基礎數(shù)據(jù)采用加權排序方式，按照權值從高到底的方式計算。

系統(tǒng)的數(shù)據(jù)關系如圖4所示。一個虛擬機模板可以支持多種氣象模式，而一個氣象模式需要的氣象基礎數(shù)據(jù)也可以是多個。從而，虛擬機模板、虛擬機、氣象基礎數(shù)據(jù)集之間建立起來了多對多的關系。氣象模式需要的數(shù)據(jù)集既可以通過授權訪問，也可以直接從歷史記錄中挖掘氣象模式與數(shù)據(jù)集的關系，根據(jù)這種關系，由系統(tǒng)管理員直接授權訪問。通過用戶使用的氣象模式、虛擬機、氣象基礎數(shù)據(jù)集的記錄，統(tǒng)計常用的氣象基礎數(shù)據(jù)集，將這些數(shù)據(jù)集放在存儲中心的高速磁盤之中，從而提高用戶使用效果。

圖4 系統(tǒng)數(shù)據(jù)關系示意圖

5 基于大數(shù)據(jù)挖掘的氣象數(shù)據(jù)布局算法

氣象公共大數(shù)據(jù)包含天氣資料也包含氣候資料，主要指來源于各類氣象觀測站。在氣象大數(shù)據(jù)環(huán)境下，公共氣象數(shù)據(jù)存在體量大(時間長、記錄條數(shù)多)、動態(tài)開放(更新頻率高)、多源(衛(wèi)星、氣象站等)特征，考慮到氣象數(shù)據(jù)與氣象模式調(diào)用的關系，這為公共氣象數(shù)據(jù)布局帶來了新的技術挑戰(zhàn)。其一，氣象作業(yè)可能需要調(diào)度多種公共氣象數(shù)據(jù)進行運算，而對于一種公共氣象數(shù)據(jù)，可能只涉及部分屬性(比如說站點資料的列)；其二，多個氣象作業(yè)可能需要同一種公共氣象數(shù)據(jù)資料；其三，對于耦合氣象模式，一個氣象作業(yè)的調(diào)度輸出會成為另一個氣象作業(yè)的輸入。因此，需要在氣象大數(shù)據(jù)環(huán)境下，對公共氣象數(shù)據(jù)進行合理優(yōu)化的數(shù)據(jù)布局，使氣象作業(yè)執(zhí)行中公共氣象數(shù)據(jù)讀取負載均衡、減少數(shù)據(jù)中心之間數(shù)據(jù)移動成本、各中心與數(shù)據(jù)相關的計算負載均衡等，是本子課題主要研究內(nèi)容。

挖掘氣象模式與數(shù)據(jù)集之間的關系，是從調(diào)度日志數(shù)據(jù)挖掘某個氣象模式可能需要的基礎數(shù)據(jù)，這樣在數(shù)據(jù)布局時即可以實現(xiàn)聚集(防止一個氣象模式需要的數(shù)據(jù)集在多個數(shù)據(jù)中心，這里只涉及數(shù)據(jù)集，不涉及到采用某個數(shù)據(jù)集的多少列)。以氣象模式為例，先對每個氣象模式M[i](每一個氣象模式)挖掘其與數(shù)據(jù)集D同時被調(diào)用的關系；再對氣象模式集M挖掘其與數(shù)據(jù)集D[j](每一個數(shù)據(jù)集)同時被調(diào)用的關系；從而得到模式與數(shù)據(jù)集關聯(lián)數(shù)據(jù)。圖5給出了采用Apriori算法挖掘氣象模式M[1]與數(shù)據(jù)集關聯(lián)關系的算法。運算過程中，最小支持度可以采用動態(tài)嘗試的方法獲得，其結果只保留包含M[1]的頻繁項集(閾值可以采取從大向小逐漸嘗試方法)。同樣，對每個數(shù)據(jù)集與氣象模式采用圖6中的方法，挖掘數(shù)據(jù)集同氣象模式的關聯(lián)關系。

圖5 利用Apriori算法挖掘氣象模式M[1]與數(shù)據(jù)集D的關聯(lián)關系

圖6 重復調(diào)用Apriori算法挖掘氣象模式M與數(shù)據(jù)集D的關聯(lián)關系

6 結束語

提出了一種氣象大數(shù)據(jù)數(shù)字化教學平臺的建設方案。采用Apriori算法挖掘氣象模式與氣象基礎數(shù)據(jù)之間的關系，為氣象大數(shù)據(jù)平臺提供布局方案，方便用戶操作。氣象大數(shù)據(jù)數(shù)字平臺不但提供計算能力，而且提供氣象基礎數(shù)據(jù)集。氣象大數(shù)據(jù)數(shù)字平臺為廣大學生及教師節(jié)省了時間，方便配置，消除重復勞動，為氣象模式教學提供了便利?？紤]到用戶的需求及系統(tǒng)負載，根據(jù)氣象基礎數(shù)據(jù)使用的頻繁程度對氣象基礎數(shù)據(jù)集進行差別布局，提高了用戶使用感知。由于氣象大數(shù)據(jù)平臺提供的磁盤速度與虛擬機計算速度有差異[14]，如何有區(qū)分的分配滿足不同用戶的不同需求(磁盤容量、速度，計算速度)[15]，是下一步需要解決的問題。