范超宇

摘 要：本文對(duì)云計(jì)算背景下氣象大數(shù)據(jù)的服務(wù)架構(gòu)進(jìn)行了介紹。MapReduce處理技術(shù)能夠高效完成分布型處理服務(wù)，也是用于氣象大數(shù)據(jù)服務(wù)的運(yùn)算架構(gòu)?；贛apReduce技術(shù)對(duì)氣溫與降水量的統(tǒng)計(jì)方法做了闡述，希望對(duì)氣象行業(yè)工作者有所啟發(fā)。

關(guān)鍵詞：云計(jì)算；氣象；大數(shù)據(jù)服務(wù)；應(yīng)用

中圖分類號(hào)：P409 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.11974/nyyjs.20170833203

1 云計(jì)算背景下的氣象大數(shù)據(jù)服務(wù)架構(gòu)

我國(guó)氣象區(qū)域中心擁有很多的硬件配置，其中有新型計(jì)算機(jī)及常用的存儲(chǔ)服務(wù)器、網(wǎng)絡(luò)通信設(shè)施及其他配置。把基礎(chǔ)設(shè)施利用云計(jì)算手段加以綜合利用，就形成氣象行業(yè)的專有云。氣象行業(yè)大數(shù)據(jù)服務(wù)架構(gòu)能夠在氣象行業(yè)專有云基礎(chǔ)上布設(shè)。根據(jù)上述說(shuō)法構(gòu)建出云計(jì)算背景下氣象大數(shù)據(jù)服務(wù)架構(gòu)，這一架構(gòu)涉及以下5個(gè)層次。

1.1 基礎(chǔ)設(shè)施層

其作用是儲(chǔ)存及處置氣象大數(shù)據(jù)的硬件配置，對(duì)象涉及主機(jī)、網(wǎng)絡(luò)設(shè)備及其他配置。

1.2 平臺(tái)層

它的作用是依靠云計(jì)算當(dāng)中的關(guān)鍵技術(shù)在基礎(chǔ)設(shè)施層的前提下構(gòu)建平臺(tái)。通過(guò)Hadoop分布型文件系統(tǒng)對(duì)分布型文件進(jìn)行冗余存儲(chǔ)；通過(guò)分布型數(shù)據(jù)庫(kù)HBase對(duì)動(dòng)態(tài)氣象大數(shù)據(jù)進(jìn)行分布型數(shù)據(jù)的檢索；通過(guò)分布型運(yùn)算模型MapReaduce對(duì)數(shù)據(jù)實(shí)施并行運(yùn)算；通過(guò)數(shù)據(jù)倉(cāng)庫(kù)Hive完成對(duì)靜態(tài)氣象數(shù)據(jù)進(jìn)行的存儲(chǔ)及快捷檢索。平臺(tái)層構(gòu)建結(jié)束后，可以作為應(yīng)用層的技術(shù)支持。

1.3 應(yīng)用層

該層能夠運(yùn)用平臺(tái)層的軟件實(shí)施應(yīng)用的開發(fā)，涉及氣象站監(jiān)督控制等作用、云平臺(tái)監(jiān)督管控、氣象服務(wù)。站點(diǎn)監(jiān)督控制通常情況下指對(duì)氣象監(jiān)督觀測(cè)點(diǎn)與監(jiān)測(cè)設(shè)備實(shí)施管制及監(jiān)督控制，涉及氣象站及設(shè)備的信息管理、數(shù)據(jù)源狀態(tài)的監(jiān)督控制及其他措施。云平臺(tái)監(jiān)督管控是指對(duì)氣象數(shù)據(jù)中心的服務(wù)器節(jié)點(diǎn)實(shí)施監(jiān)督管控，涉及節(jié)點(diǎn)管制、能源消耗監(jiān)督控制及其他措施。依據(jù)各種使用要求實(shí)施氣象服務(wù)，涉及部門業(yè)務(wù)功能、預(yù)報(bào)產(chǎn)品制作及其他服務(wù)項(xiàng)目。

1.4 大數(shù)據(jù)服務(wù)層

它的作用是利用應(yīng)用層提供的各種應(yīng)用實(shí)施氣象大數(shù)據(jù)服務(wù)。其中，氣象站監(jiān)督控制及云平臺(tái)監(jiān)督管控2個(gè)作用憑借以HBase為基礎(chǔ)的實(shí)時(shí)數(shù)據(jù)索引為氣象行業(yè)服務(wù)；數(shù)值預(yù)報(bào)及其產(chǎn)品的產(chǎn)生能夠運(yùn)用分布型數(shù)據(jù)處理模型MapReduce實(shí)施氣象數(shù)據(jù)的分布型處置，從而實(shí)現(xiàn)氣象科研及公共氣象及其他方面的內(nèi)容。

1.5 用戶層

氣象大數(shù)據(jù)服務(wù)的對(duì)象涉及氣象行業(yè)業(yè)務(wù)部門、科研部門及相關(guān)行業(yè)。氣象業(yè)務(wù)部門能夠借助內(nèi)網(wǎng)接觸氣象大數(shù)據(jù)服務(wù)；氣象行業(yè)科研部門能夠借助Intnet得到一些數(shù)據(jù)；相關(guān)行業(yè)能夠借助Intnet得到預(yù)報(bào)結(jié)果。

2 利用MapReduce的氣象大數(shù)據(jù)服務(wù)舉例

2.1 MapReduce處理技術(shù)

MapReduce屬于編程方面的模型，適用大體量數(shù)據(jù)集的并行計(jì)算，“Map（映射）”與“Reduce（歸約）”即為該技術(shù)的中心思想。該技術(shù)在很大程度上為不懂分布式并行編程的編程者提供了幫助，只需把他們寫的程序錄入分布型系統(tǒng)就能運(yùn)行。氣象大數(shù)據(jù)能夠運(yùn)用該技術(shù)實(shí)現(xiàn)并行處理。MapReduce首先把輸進(jìn)去的數(shù)據(jù)區(qū)分成統(tǒng)一規(guī)模的數(shù)據(jù)片，然后借助MAP處置各分片中的數(shù)據(jù)信息，再將獲取的數(shù)據(jù)實(shí)行REDUCE操作，利用操作后的結(jié)果進(jìn)一步獲得最后的輸出。

2.2 基于MapReduce的氣溫和降水量統(tǒng)計(jì)方法

把我國(guó)某大型氣象站的日值數(shù)據(jù)作為處置對(duì)象，數(shù)據(jù)最開始存儲(chǔ)于HBase數(shù)據(jù)庫(kù)里，要想獲得氣象顯示這一服務(wù)，需通過(guò)MapReduce運(yùn)算模型對(duì)上述日值數(shù)據(jù)實(shí)施處置、分析，分析結(jié)果對(duì)氣溫與降水量的分析及統(tǒng)計(jì)有重要作用。依靠月周期對(duì)氣象站的最高氣溫、最低氣溫、最高平均氣溫、最低平均氣溫與降水量實(shí)施統(tǒng)計(jì)，能夠獲取氣象站的往期氣溫及降水量的變動(dòng)形勢(shì)，這能為估測(cè)日后氣溫及降水量的變動(dòng)提供重要的參照。

MapReduce的氣象日值數(shù)據(jù)處置邏輯流程。MapReduce計(jì)算模型可以分布式處理存儲(chǔ)于HBase表里的數(shù)據(jù)。多個(gè)Map任務(wù)會(huì)并行讀取氣象數(shù)據(jù)，輸至Map任務(wù)里的數(shù)據(jù)是{key，value}對(duì)，key是行鍵，value是行鍵相對(duì)的一行數(shù)據(jù)。依靠Map任務(wù)的操作會(huì)繼續(xù)產(chǎn)生{key，value}對(duì)，成為Reduce的輸入。Reduce任務(wù)處理之后把逐月信息寫至關(guān)系型數(shù)據(jù)庫(kù)MySQL里。運(yùn)用MySQL的SQL語(yǔ)句與有關(guān)函數(shù)，獲取逐年信息。

3 結(jié)語(yǔ)

本文所提的云背景下的氣象大數(shù)據(jù)服務(wù)架構(gòu)給氣象大數(shù)據(jù)服務(wù)奠定了基礎(chǔ)，通過(guò)利用MapReduce分布式處理技術(shù)對(duì)氣象中氣溫及降水量數(shù)據(jù)的統(tǒng)計(jì)方法的介紹，可以獲知其對(duì)氣象大數(shù)據(jù)的處置及分析的高效及便捷。云計(jì)算背景下氣象大數(shù)據(jù)的服務(wù)及應(yīng)用能夠加快氣象行業(yè)的信息化步伐，有利于該行業(yè)信息的進(jìn)一步分享，同時(shí)也提升了氣象行業(yè)的服務(wù)水平，對(duì)于提高大眾對(duì)氣象服務(wù)的滿意程度有積極意義，這也是日后氣象服務(wù)的關(guān)鍵所在。

參考文獻(xiàn)

[1]梁長(zhǎng)文，鄭海鵬，張冰.在大數(shù)據(jù)環(huán)境下科技型中小企業(yè)如何發(fā)展與應(yīng)用云計(jì)算[J].黑龍江科技信息，2016（29）：164.

[2]鮑慶芳.云計(jì)算背景下數(shù)字檔案館信息資源的安全管理探析[J].黑龍江科技信息，2016（13）：162.endprint