曾 沁,李永生

1.廣東省氣象臺(tái),廣州 510080; 2.廣東省氣象探測(cè)數(shù)據(jù)中心,廣州 510080)(*通信作者電子郵箱zengq@cma.gov.cn)

基于分布式計(jì)算框架的風(fēng)暴三維追蹤方法

曾 沁1*,李永生2

1.廣東省氣象臺(tái),廣州 510080; 2.廣東省氣象探測(cè)數(shù)據(jù)中心,廣州 510080)(*通信作者電子郵箱zengq@cma.gov.cn)

氣象數(shù)據(jù)的增長(zhǎng)規(guī)模已達(dá)到每小時(shí)TB級(jí),這使得傳統(tǒng)基于關(guān)系型數(shù)據(jù)庫和文件存儲(chǔ)系統(tǒng)在海量數(shù)據(jù)存儲(chǔ)與管理方面捉襟見肘,進(jìn)而使得基于大規(guī)模異構(gòu)氣象數(shù)據(jù)的應(yīng)用無法規(guī)?；?同時(shí),也無法滿足科研人員對(duì)海量氣象數(shù)據(jù)高效探索的需要。為解決這一系列問題,研究者分別基于MapReduce、HBase等分布式框架下的分布式計(jì)算和存儲(chǔ)技術(shù),嘗試為海量氣象數(shù)據(jù)的探索提供有效技術(shù)手段,然而,綜合性的研究據(jù)了解還未開展。因此,利用近年來積累的海量多普勒天氣雷達(dá)數(shù)據(jù),開展了基于MapReduce和HBase相結(jié)合的風(fēng)暴三維追蹤方法的研究,并基于傳統(tǒng)Rest標(biāo)準(zhǔn)化接口實(shí)現(xiàn)了雷達(dá)資料的點(diǎn)、線、面、體的多種分布式服務(wù)接口,與傳統(tǒng)的Rest標(biāo)準(zhǔn)化單機(jī)數(shù)據(jù)存儲(chǔ)和訪問接口的性能相比,所實(shí)現(xiàn)方法在性能方面有100%的效率提升。最后,以2007年至2009年珠江三角洲地區(qū)三年雷達(dá)數(shù)據(jù)的風(fēng)暴追蹤回算為例,進(jìn)一步驗(yàn)證了所提方法在計(jì)算和存儲(chǔ)管理方面的性能優(yōu)勢(shì)。

分布式計(jì)算框架;風(fēng)暴追蹤算法;長(zhǎng)時(shí)間序列分析

0 引言

隨著探測(cè)手段的不斷豐富和加工處理能力的不斷增強(qiáng),氣象數(shù)據(jù)產(chǎn)生的頻次和時(shí)增量已分別達(dá)到了秒級(jí)和TB級(jí),數(shù)據(jù)總量也呈指數(shù)級(jí)增長(zhǎng)。傳統(tǒng)氣象數(shù)據(jù)主要是以站點(diǎn)或者格點(diǎn)為表現(xiàn)形式的結(jié)構(gòu)化數(shù)據(jù),且大多采用Oracle、MySQL等關(guān)系型數(shù)據(jù)庫,以及常用于科學(xué)計(jì)算領(lǐng)域的NetCDF或HDF等文件數(shù)據(jù)形式存儲(chǔ),并根據(jù)時(shí)間形成序列化數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。

面對(duì)海量增長(zhǎng)的歷史氣候資料,無論是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫還是文件系統(tǒng),數(shù)據(jù)的檢索和定位性能均較差,多維數(shù)據(jù)查詢和分析的效率均較低,目前已難于滿足大規(guī)模、多樣化的氣象數(shù)據(jù)分析挖掘的性能需求。近年,NASA(National Aeronautics and Space Administration)氣候模擬中心利用MapReduce分布式計(jì)算框架開展了地球氣候模擬數(shù)據(jù)的高性能分析查詢研究[1-2],對(duì)比傳統(tǒng)的NetCDF數(shù)據(jù)集查詢有明顯的計(jì)算性能提升。廣東省氣象局李永生等[3]利用HBase實(shí)現(xiàn)了格點(diǎn)類數(shù)值天氣預(yù)報(bào)數(shù)據(jù)的分布式存儲(chǔ)和管理,其訪問效率比傳統(tǒng)方法也有明顯提升。然而,在氣象業(yè)務(wù)中將分布式存儲(chǔ)技術(shù)與分布式計(jì)算有效結(jié)合的相關(guān)研究還未見報(bào)道。

本文利用近年來積累的海量多普勒天氣雷達(dá)數(shù)據(jù),展開基于分布式計(jì)算框架的風(fēng)暴三維追蹤的方法研究,進(jìn)而研究氣象業(yè)務(wù)背景下的分布式存儲(chǔ)與計(jì)算技術(shù)相結(jié)合的方法,以幫助業(yè)務(wù)技術(shù)人員能夠更高效地實(shí)現(xiàn)局部地區(qū)強(qiáng)對(duì)流天氣的歷史氣候特征分析。最后，以珠三角超大城市群在不同季節(jié)對(duì)于風(fēng)暴的生消起到的促進(jìn)與抑制作用為例,驗(yàn)證了采用本文方法獲得的分析結(jié)果的有效性。

1 三維風(fēng)暴追蹤方法

1.1 TITAN算法

TITAN(Thunderstorm Identification, Tracking, Analysis and Nowcasting)算法是目前臨近天氣預(yù)報(bào)的主要方法之一,主要用于對(duì)強(qiáng)對(duì)流天氣的識(shí)別、跟蹤和預(yù)報(bào),它使用組合最優(yōu)算法對(duì)風(fēng)暴體進(jìn)行追蹤,使用幾何算法來實(shí)現(xiàn)對(duì)風(fēng)暴的合并、分裂的識(shí)別[4],本文以基于TITAN算法思想實(shí)現(xiàn)三維風(fēng)暴的追蹤,并將其與分布式存儲(chǔ)管理技術(shù)相結(jié)合實(shí)現(xiàn)高效計(jì)算。

1.2 三維風(fēng)暴的識(shí)別

三維風(fēng)暴的識(shí)別與追蹤其本質(zhì)可視為在立體網(wǎng)格數(shù)據(jù)中目標(biāo)像素點(diǎn)的近似鄰近像素點(diǎn)的搜索問題。其基本步驟包括以下幾步:

1)從給定的立體網(wǎng)格數(shù)據(jù)的最下層開始進(jìn)行行掃描,當(dāng)遇到第一個(gè)回波強(qiáng)度大于預(yù)先設(shè)定的閾值像素點(diǎn)(x,y,0)時(shí),則以該回波為起點(diǎn),搜索與該像素點(diǎn)相鄰的其他相連像素,并檢查是否有其他相鄰新像素點(diǎn)的回波強(qiáng)度達(dá)到閾值以上,如果有則進(jìn)行標(biāo)記,一方面實(shí)現(xiàn)覆蓋率的提高,另一方面可避免像素點(diǎn)的重復(fù),進(jìn)而提高搜索效率。

2)進(jìn)行垂直搜索,作適當(dāng)?shù)摹芭蛎洝碧幚?。?dāng)回波強(qiáng)度從閾值以上下降到閾值以下,像素點(diǎn)仍然被標(biāo)記為閾值以上,并進(jìn)行下一步的擴(kuò)展搜索,搜索過程中,如未發(fā)現(xiàn)“連通”的其他網(wǎng)格點(diǎn),則停止繼續(xù)膨脹。

3)對(duì)所有搜索到的新像素點(diǎn),重復(fù)1)中操作,直到搜索不到任何新的達(dá)到閾值的像素點(diǎn)為止,所得所有像素點(diǎn)的集合,便是一個(gè)強(qiáng)度在閾值范圍內(nèi)的強(qiáng)回波區(qū),形成風(fēng)暴單體。

4)從像素(x+1,y,0)開始,重復(fù)過程1)～3),直到立體數(shù)據(jù)掃描完畢完成掃描,并對(duì)所有風(fēng)暴單體進(jìn)行標(biāo)記。

經(jīng)過以上過程,即可實(shí)現(xiàn)立體網(wǎng)格數(shù)據(jù)中的風(fēng)暴單體的確定,進(jìn)而可以基于確定的各風(fēng)暴單體中包含的像素點(diǎn)數(shù)據(jù)計(jì)算獲得風(fēng)暴中心強(qiáng)度、風(fēng)暴伸展高度、風(fēng)暴單體厚度等其他風(fēng)暴體相關(guān)的一系列屬性信息。在該過程中,可利用MapReduce方法將各風(fēng)暴單體的搜索過程進(jìn)行任務(wù)切分,實(shí)現(xiàn)搜索過程的分布式,以及屬性信息計(jì)算的分布式。

1.3 三維風(fēng)暴的追蹤算法

雷暴、冰雹和強(qiáng)降水等惡劣天氣在雷達(dá)強(qiáng)度圖像上表現(xiàn)為強(qiáng)回波區(qū),即由彼此連通且回波強(qiáng)度大于某一閾值的像素點(diǎn)的集合。因此,識(shí)別和追蹤強(qiáng)烈的惡劣天氣,就是追蹤大氣三維立體網(wǎng)格數(shù)據(jù)中的強(qiáng)回波區(qū)域。本文將雷達(dá)回波反射率的閾值設(shè)定為35dBZ,三個(gè)垂直正交平面18連通,跟蹤搜索風(fēng)暴體位置和邊界(見圖1)。

圖1 基于18連通的立體三維掃描

基于大氣三維立體網(wǎng)格數(shù)據(jù)實(shí)現(xiàn)風(fēng)暴的追蹤算法如下所示。

輸入:三維立體網(wǎng)格數(shù)據(jù)。 輸出:風(fēng)暴中心強(qiáng)度、風(fēng)暴伸展高度、風(fēng)暴單體體積、風(fēng)暴單體厚度。

1)

雷達(dá)回波反射率的閾值=35dBZ;

2)

If(回波強(qiáng)度>閾值)

3)

Then起點(diǎn)=該回波強(qiáng)度的像素(x,y,0);

4)

搜索該起點(diǎn)鄰近相連的12個(gè)像素;

5)

If(有新像素點(diǎn)的回波強(qiáng)度>閾值)

6)

Then 打上記號(hào);

7)

垂直搜索時(shí),作適當(dāng)?shù)摹芭蛎洝碧幚?

8)

If(回波強(qiáng)度從閾值以上下降到閾值以下)

9)

Then 該點(diǎn)仍然標(biāo)記為閾值以上;

10)

進(jìn)行下一步的擴(kuò)展搜索;

11)

If(仍然沒有發(fā)現(xiàn)“連通”的網(wǎng)格點(diǎn))

12)

Then 放棄搜索;

13)

對(duì)所有搜索到的新像素點(diǎn);

14)

If(回波強(qiáng)度像素點(diǎn)<閾值)

15)

Then 停止搜索;

16)

Else GOTO 2);

17)

For(起點(diǎn)=像素(x+1,y,0),起點(diǎn)in立體數(shù)據(jù),起點(diǎn)的下一個(gè)數(shù)據(jù))

18)

對(duì)風(fēng)暴單體進(jìn)行標(biāo)記;

2 基于大規(guī)模多普勒天氣雷達(dá)數(shù)據(jù)的分布式實(shí)現(xiàn)

2.1 數(shù)據(jù)的分布式存儲(chǔ)管理

2.1.1 數(shù)據(jù)存儲(chǔ)管理模型設(shè)計(jì)

將三維多普勒天氣雷達(dá)數(shù)據(jù)解析后,利用HBase實(shí)現(xiàn)描述雷達(dá)數(shù)據(jù)屬性的元數(shù)據(jù)和雷達(dá)回波數(shù)據(jù)實(shí)體的存儲(chǔ),并以帶時(shí)間戳的Row Key進(jìn)行標(biāo)記?？紤]到三維風(fēng)暴追蹤算法和未來三維可視化的需求,沒有對(duì)數(shù)據(jù)垂直分層存儲(chǔ),而將三維數(shù)據(jù)整體存儲(chǔ)入HBase的列存儲(chǔ)中,通過帶時(shí)間的Row Key管理長(zhǎng)時(shí)間序列的雷達(dá)歷史資料集。由于大多數(shù)時(shí)間大氣是處在沒有降水的狀態(tài)下,因此,三維數(shù)據(jù)中存在數(shù)據(jù)稀疏問題。因此在存入HBase的列存儲(chǔ)之前,對(duì)數(shù)據(jù)將作GZIP壓縮,一方面可以有效地解決數(shù)據(jù)稀疏問題；另一方面可實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)空間的降低,進(jìn)而間接提升網(wǎng)絡(luò)數(shù)據(jù)訪問的延遲。在服務(wù)接口設(shè)計(jì)中,提供分層讀取數(shù)據(jù)的接口,滿足二維平面數(shù)據(jù)訪問需求。具體存儲(chǔ)方式如圖2所示。

圖2 多普勒天氣雷達(dá)三維數(shù)據(jù)存儲(chǔ)表結(jié)構(gòu)

2.1.2 數(shù)據(jù)服務(wù)接口開發(fā)

針對(duì)雷達(dá)數(shù)據(jù)量多、訪問頻次高的問題,本文設(shè)計(jì)了針對(duì)網(wǎng)絡(luò)應(yīng)用開發(fā)的基于文本流的Restful接口(實(shí)現(xiàn)方式如圖3所示),該接口用于對(duì)外提供數(shù)據(jù)服務(wù),主要包括數(shù)據(jù)查詢、時(shí)間序列數(shù)據(jù)接入與分析處理、三維雷達(dá)反射率場(chǎng)數(shù)據(jù)的接入與分析處理、二維平面和三維切片數(shù)據(jù)的接入與分析處理。此外,接口的數(shù)據(jù)標(biāo)準(zhǔn)遵循JSON格式,并可以支持可視化軟件Surfer格式文件下載的接口服務(wù),進(jìn)而實(shí)現(xiàn)滿足主流數(shù)據(jù)格式的具體應(yīng)用服務(wù)的接入。

圖3 Restful接口實(shí)現(xiàn)方式結(jié)構(gòu)

2.2 算法的分布式實(shí)現(xiàn)方法

通過實(shí)施算法的并行化可以顯著提高計(jì)算效率,可以從算法本身的并行化處理以及基于數(shù)據(jù)分割的分布式計(jì)算兩個(gè)方面進(jìn)行考慮。由于三維風(fēng)暴追蹤算法原理復(fù)雜度不高,所需數(shù)據(jù)是時(shí)間(Row Key,RADAR:YYYYMMDDHHmm)相關(guān)的,每次風(fēng)暴單體搜索過程是獨(dú)立的,主要的計(jì)算量源自長(zhǎng)時(shí)間序列海量數(shù)據(jù)帶來的密集型任務(wù)。因此,設(shè)計(jì)主要采取基于數(shù)據(jù)分割的分布式算法實(shí)現(xiàn),這也是MapReduce編程模型的典型應(yīng)用。如圖4所示,啟動(dòng)MapReduce計(jì)算過程時(shí)[5],HBase資源管理按照Row Key向Map任務(wù)提供數(shù)據(jù)片段,Map通過識(shí)別Row key所對(duì)應(yīng)的雷達(dá)元數(shù)據(jù)和回波反射率實(shí)體數(shù)據(jù)進(jìn)行分布式計(jì)算。計(jì)算結(jié)果通過Reduce任務(wù)匯總,可以回寫HBase,也可直接連接可視化組件或者進(jìn)入統(tǒng)計(jì)分析流程。

圖4 基于Map-Reduce 計(jì)算框架的風(fēng)暴追蹤算法實(shí)現(xiàn)流程

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境

采用HDFS技術(shù),建立適合氣象業(yè)務(wù)實(shí)際的大容量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng),基于MapReduce技術(shù)探討建立分布式計(jì)算模型,選取典型類型的氣象資料在云計(jì)算環(huán)境下設(shè)計(jì)開發(fā)大容量數(shù)據(jù)業(yè)務(wù)應(yīng)用程序。目前以數(shù)值預(yù)報(bào)產(chǎn)品和三維雷達(dá)拼圖進(jìn)行實(shí)驗(yàn)?；贛apReduce分布式計(jì)算框架如圖5所示。

圖5 基于MapReduce分布式計(jì)算框架

本文的實(shí)驗(yàn)平臺(tái)在廣東省氣象局?jǐn)?shù)值預(yù)報(bào)產(chǎn)品分布式管理服務(wù)平臺(tái)基礎(chǔ)上進(jìn)行拓展[6]。平臺(tái)的基礎(chǔ)架構(gòu)由分布式存儲(chǔ)設(shè)施層、基于分布式架構(gòu)的數(shù)據(jù)環(huán)境與計(jì)算平臺(tái)層和數(shù)據(jù)應(yīng)用服務(wù)的接口層組成。

基于Hadoop技術(shù)架構(gòu),構(gòu)建了分布式存儲(chǔ)設(shè)施層[7],為各類氣象數(shù)據(jù)提供可伸縮、高容錯(cuò)的彈性存儲(chǔ)資源。服務(wù)器配置為:CPU是Intel Xeon CPU E5-2603@ 1.80 GHz×4,內(nèi)存3 658 MB,硬盤2.5 TB,共7臺(tái)實(shí)驗(yàn)機(jī)器,網(wǎng)絡(luò)連接1 Gb/s。

分布式數(shù)據(jù)環(huán)境與計(jì)算平臺(tái)層由數(shù)據(jù)處理模塊、分布式數(shù)據(jù)存儲(chǔ)和管理模塊以及分布式計(jì)算引擎三部分組成,其中數(shù)據(jù)處理模塊對(duì)自定義格式的雷達(dá)基數(shù)據(jù)進(jìn)行解碼和三維格式轉(zhuǎn)換,并開發(fā)實(shí)現(xiàn)了將數(shù)據(jù)實(shí)時(shí)接入平臺(tái)的功能;分布式數(shù)據(jù)存儲(chǔ)和管理模塊對(duì)HDFS和HBase進(jìn)行集成[8],實(shí)現(xiàn)了高時(shí)空分辨率氣象雷達(dá)數(shù)據(jù)的高效管理和讀寫操作;在分布式計(jì)算引擎模塊中MapReduce通過把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)進(jìn)行處理[9],每個(gè)節(jié)點(diǎn)會(huì)周期性地把完成的工作和狀態(tài)同步更新到管理節(jié)點(diǎn)上。

服務(wù)接口層包括分布式數(shù)據(jù)服務(wù)接口和分布式算法服務(wù)接口,為了更好地與其他業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)對(duì)接,對(duì)外提供了基于Restful接口的標(biāo)準(zhǔn)化數(shù)據(jù)查詢和訪問接口[10]。

3.2 實(shí)驗(yàn)數(shù)據(jù)

多普勒天氣雷達(dá)通過發(fā)射電磁波,對(duì)三維大氣在不同仰角上作360°的立體掃描(Volume Scan),得到球坐標(biāo)系的三維基數(shù)據(jù)(Base Data),其中的雷達(dá)回波反射率表征大氣中降水的強(qiáng)度。設(shè)定不同的高度,應(yīng)用標(biāo)準(zhǔn)大氣下的雷達(dá)測(cè)高公式,獲取該高度上的數(shù)據(jù)。如果該高度上沒有數(shù)據(jù),則在最鄰近的上下2個(gè)仰角之間利用雙線性插值獲得數(shù)據(jù)。通過設(shè)定高度值就可以獲得等高平面上的雷達(dá)回波反射率值(Constant Altitude Planar Position Indicator,CAPPI)。循環(huán)進(jìn)行該算法,就可以獲得從近地層到對(duì)流層上部三維立體的雷達(dá)回波反射率。本文使用廣州及周邊地區(qū)多普勒天氣雷達(dá)基數(shù)據(jù)進(jìn)行三維立體CAPPI的網(wǎng)格化處理,獲得500×400×40層的雷達(dá)回波反射率產(chǎn)品,約21 MB,三維網(wǎng)格雷達(dá)回波反射率數(shù)據(jù)描述如表1所示。多普勒天氣雷達(dá)每6 min完成一次體掃描, 以2 007～2009年3年周期作為實(shí)驗(yàn)分析,原始數(shù)據(jù)文件262 800個(gè),共約5.52 TB數(shù)據(jù)。

表1 三維網(wǎng)格雷達(dá)回波反射率數(shù)據(jù)描述

實(shí)驗(yàn)測(cè)試包括雷達(dá)數(shù)據(jù)的訪問效率測(cè)試以及執(zhí)行雷達(dá)三維風(fēng)暴追蹤算法的性能測(cè)試,并分別與NetCDF數(shù)據(jù)接口和單機(jī)讀取文件序列方式進(jìn)行性能對(duì)比。

3.3 雷達(dá)數(shù)據(jù)訪問效率

雷達(dá)數(shù)據(jù)的訪問效率測(cè)試主要考察在并發(fā)條件下,分別讀取三維雷達(dá)資料場(chǎng)數(shù)據(jù)、等高的二維平面、任意方向的三維切片的性能效率,并和傳統(tǒng)的利用科學(xué)計(jì)算通用格式NetCDF[11]的訪問進(jìn)行對(duì)比,如圖6所示。利用通過分布式存儲(chǔ)管理系統(tǒng)訪問三維雷達(dá)數(shù)據(jù),一般控制在100 ms以內(nèi),同時(shí)隨著并發(fā)數(shù)的增長(zhǎng)能夠保持高效率。由于HBase采用了數(shù)據(jù)壓縮,因此在三維數(shù)據(jù)和數(shù)據(jù)切片讀取效率上,較NetCDF有明顯優(yōu)勢(shì)。NetCDF原本并不支持并發(fā)訪問,隨著用戶數(shù)的增加,出現(xiàn)訪問鎖死現(xiàn)象,所以沒有給出多用戶訪問數(shù)據(jù)。

圖6 多用戶并發(fā)下的三維雷達(dá)數(shù)據(jù)訪問效率對(duì)比

3.4 算法性能測(cè)試

采用分布式MapReduce/Hadoop架構(gòu),針對(duì)2007～2009年的雷達(dá)數(shù)據(jù),開展三維風(fēng)暴追蹤算法的3年回算,分析珠江三角洲(廣州為中心方圓200 km為界)發(fā)生的強(qiáng)對(duì)流天氣(雷達(dá)回波反射率>35)的活動(dòng)情況,共費(fèi)時(shí)193 min,獲取517時(shí)次風(fēng)暴活動(dòng)。此前,采用單機(jī)讀取26萬個(gè)文件,逐一計(jì)算的方式,扣除期間中斷時(shí)次,根據(jù)程序日志,共耗時(shí)219 h。

3.5 案例分析

利用風(fēng)暴活動(dòng)位置數(shù)據(jù),繪制不同月份的熱點(diǎn)圖,如圖6。前汛期(4月為代表),廣州及周邊地區(qū),強(qiáng)對(duì)流風(fēng)暴單體多發(fā)區(qū)在城市范圍,而周邊則是風(fēng)暴活動(dòng)的低值區(qū),特別是廣州市區(qū)一帶,5 km之內(nèi)的網(wǎng)格一個(gè)月平均有30～45個(gè)風(fēng)暴單體的活動(dòng)。由于風(fēng)暴的移動(dòng)特性,這種分布也往往表示著廣州市城市群在前汛期(濕季)對(duì)于風(fēng)暴的發(fā)生發(fā)展有促進(jìn)作用。

后汛期(7月為代表),風(fēng)暴活動(dòng)較前汛期更加頻繁,但活動(dòng)的主力區(qū)域是珠江三角洲的沿海地區(qū),這也反映了后汛期風(fēng)暴單體主要源于主要是副高南側(cè)邊緣的對(duì)流活動(dòng)以及東風(fēng)波動(dòng)系統(tǒng)西傳所致。從圖7所示的廣州市區(qū)的風(fēng)暴活動(dòng)分布圖上看,廣州的西邊(芳村一帶)是風(fēng)暴活動(dòng)的活躍區(qū),但進(jìn)入市區(qū)則風(fēng)暴活動(dòng)明顯減少,而東邊移出廣州市區(qū),風(fēng)暴又重新活躍。這也反映了在后汛期(相對(duì)的汛期干季),大城市效應(yīng)對(duì)于風(fēng)暴的活動(dòng)是有抑制和減弱作用的。這也和國外的一些研究以及開展的外場(chǎng)實(shí)驗(yàn)結(jié)果存在相似之處。

圖7 廣州市區(qū)風(fēng)暴活動(dòng)熱點(diǎn)圖(2007～2009年)

4 結(jié)語

本文基于分布式計(jì)算架構(gòu)搭建了海量氣象數(shù)據(jù)存儲(chǔ)管理和算法應(yīng)用平臺(tái),實(shí)現(xiàn)了TB級(jí)別的雷達(dá)三維格點(diǎn)數(shù)據(jù)的分布式存儲(chǔ)管理,具有較好的擴(kuò)展性;采用MapReduce計(jì)算框架設(shè)計(jì)和實(shí)現(xiàn)了風(fēng)暴追蹤算法的分布式處理,通過Restful API接口可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的高效訪問和算法的便捷調(diào)用。通過業(yè)務(wù)應(yīng)用測(cè)試和典型場(chǎng)景的應(yīng)用,可以看到基于分布式架構(gòu)的大數(shù)據(jù)分析應(yīng)用模型,對(duì)于未來高分衛(wèi)星的精細(xì)遙感資料的實(shí)時(shí)和長(zhǎng)時(shí)間序列的應(yīng)用挖掘帶來助力,為業(yè)務(wù)人員更好分析局地天氣氣候事件和環(huán)境生態(tài)演變提供更強(qiáng)的計(jì)算能力和效率工具。

References)

[1] ZHOU S, YANG X, LI X, et al. A Hadoop-based visualization and diagnosis framework for earth science data[C]// Proceedings of the 2015 IEEE International Conference on Big Data. Piscataway, NJ: IEEE, 2015:1972-1977.

[2] DUFFY D Q, SCHNASE J L, THOMPSON J H, et al. Preliminary evaluation of MapReduce for high-performance climate data analysis[EB/OL]. [2015- 10- 10]. https://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20120009187.pdf.

[3] 李永生, 曾沁, 徐美紅, 等. 基于Hapdoop的數(shù)值預(yù)報(bào)產(chǎn)品服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J]. 應(yīng)用氣象學(xué)報(bào), 2015, 26(1):122-128.(LI Y S, ZENG Q, XU M S, et al. Design and implementation of NWP data service platform based on Hadoop framework[J]. Journal of Applied Meteorological Science, 2015, 26(1):122-128.)

[4] 李英俊, 韓雷. 基于三維雷達(dá)圖像數(shù)據(jù)的風(fēng)暴體追蹤算法研究[J]. 計(jì)算機(jī)應(yīng)用, 2008, 28(4):1078-1080.(LI Y J, HAN L. Storm tracking algorithm development based on the three-dimensional radar image data[J]. Journal of Computer Applications, 2008, 28(4): 1078-1080.)

[5] 王海艷, 伏彩航. 基于HBase數(shù)據(jù)分類的壓縮策略選擇方法[J]. 通信學(xué)報(bào), 2016, 37(4):12-22.(WANG H Y, FU C H. Compression strategies selection method based on classification of HBase data[J]. Journal on Communications, 2016, 37(4):12-22.)

[6] 董春濤, 李文婷, 沈晴霓, 等. Hadoop YARN大數(shù)據(jù)計(jì)算框架及其資源調(diào)度機(jī)制研究[J]. 信息通信技術(shù), 2015(1):77-84.(DONG C T, LI W T, SHEN Q N, et al. Research on the framework and resource scheduling mechanisms of Hadoop YARN[J]. Information and Communications Technologies, 2015(1):77-84.)

[7] KARUN A K, CHITHARANJAN K. A review on Hadoop — HDFS infrastructure extensions[C]// Proceedings of the 2013 IEEE Conference on Information and Communication Technologies. Piscataway, NJ: IEEE, 2013:132-137.

[8] VORA M N. Hadoop-HBase for large-scale data[C]// Proceedings of the 2011 International Conference on Computer Science and Network Technology. Piscataway, NJ: IEEE, 2011,1:601-605.

[9] DITTRICH J, QUIANé-RUIZ J A. Efficient big data processing in Hadoop MapReduce[J]. Proceedings of the VLDB Endowment, 2012, 5(12):2014-2015.

[10] 張海懿, 張國穎, 徐云斌. 軟件定義傳送網(wǎng)標(biāo)準(zhǔn)化發(fā)展探討與思考[J]. 中興通訊技術(shù), 2015, 21(6):45-48.(ZHANG H Y, ZHANG G Y, XU Y B. Standardization development of software-defined transport networks[J]. ZTE Communications, 2015,21(6):45-48.)

[11] 王想紅,劉紀(jì)平,徐勝華,等. 基于NetCDF數(shù)據(jù)模型的海洋環(huán)境數(shù)據(jù)三維可視化研究[J]. 測(cè)繪科學(xué), 2013, 38(2):59-61.(WANG X H, LIU J P, XU S H, et al. Visualization of marine environment data based on NetCDF data model[J]. Science of Surveying and Mapping, 2013, 38(2):59-61.)

ZENG Qin, born in 1975, M. S., senior engineer. His research interests include big data, cloud computing, precise forecast, meteorological big data analysis.

LI Yongsheng, born in 1980, M. S., senior engineer. His research interests include big data, cloud computing, massive data storage, meteorological big data analysis.

Three dimensional strom tracking method based on distributed computing architecture

ZENG Qin1*, LI Yongsheng2

(1. Guangdong Meteorological Observatory, Guangzhou Guangdong 510080, China;2. Guangdong Meteorological Observation Data Center, Guangzhou Guangdong 510080, China)

In recent years, meteorological data increases dramatically, and the amount of data has been TB-per-hour-level. The traditional relational database and file storage system have troubles in the massive data storage and management, thus large-scale and heterogeneous meteorological data cannot also be used effectively in meteorological business. Furthermore, it would be also difficult for scientific researchers to efficiently explore the huge amount of heterogeneous meteorological data. In order to tackle these problems, researchers have developed many types of distributed computing frameworks based on MapReduce and HBase, etc., which provide an effective way to exploit large-scale meteorological data. The distributed computing and storing techniques have been tested separately in applications of meteorology field. However, to our best knowledge, these techniques have not been carefully studied jointly. Therefore, a new 3D storm tracking method based on the combination of MapReduce and Hbase was studied by using a large amount of weather radar data accumulated in recent years. Moreover, based on the original Rest interface, a series of distributed service interfaces were implemented for exploring a variety of point, line and surface data. Compared with the performance of the standard single data storage and access interface based on Rest, the proposed method has better comprehensive performance, and the efficiency is improved about 100%. A practical application for tracking 3D storm in Zhujiang River urban agglomeration from 2007 to 2009 was used to further validate the performance of the proposed method.

distributed computing framework; storm tracking method; long time series analysis

2016- 10- 08;

2017- 01- 06。

曾沁(1975—),男,廣東梅州人,高級(jí)工程師,碩士,主要研究方向:大數(shù)據(jù)、云計(jì)算、精細(xì)化預(yù)報(bào)、氣象大數(shù)據(jù)分析; 李永生(1980—),男,內(nèi)蒙古赤峰人,高級(jí)工程師,碩士,主要研究方向:大數(shù)據(jù)、云計(jì)算、海量數(shù)據(jù)存儲(chǔ)、氣象大數(shù)據(jù)分析。

1001- 9081(2017)04- 0941- 04

10.11772/j.issn.1001- 9081.2017.04.0941

TP391.7

A