勾志竟,任建玲,徐 梅,王 敏

(天津市氣象局 天津市氣象信息中心,天津 300074)

隨著科技的進(jìn)步,極大的推動(dòng)了氣象行業(yè)的信息化建設(shè),氣象數(shù)據(jù)的獲取途徑越來(lái)越多,數(shù)據(jù)量急劇增長(zhǎng),且其具有的空間復(fù)雜性、高維性、不穩(wěn)定性,使得傳統(tǒng)的基于數(shù)值計(jì)算和統(tǒng)計(jì)分析的方法不能有效的處理,在挖掘數(shù)據(jù)各要素之間的內(nèi)部聯(lián)系時(shí)更為乏力,已經(jīng)無(wú)法滿足人類對(duì)高效準(zhǔn)確氣象服務(wù)的需求.而數(shù)據(jù)挖掘算法和Hadoop 等技術(shù)的出現(xiàn),為從海量氣象數(shù)據(jù)中挖掘出潛在的規(guī)律和模式提供了新途徑,也為提高天氣預(yù)報(bào)準(zhǔn)確率,做好災(zāi)害的提前預(yù)警提供了新思路[1].

目前,已經(jīng)有大量學(xué)者將數(shù)據(jù)挖掘算法應(yīng)用到氣象領(lǐng)域.文獻(xiàn)[2]將SVM 方法應(yīng)用于降水異常的分類預(yù)測(cè)中,并利用四川盆地降水?dāng)?shù)據(jù)進(jìn)行了實(shí)驗(yàn),結(jié)果表明所建立的模型在短期氣候預(yù)測(cè)業(yè)務(wù)中有較好性能.文獻(xiàn)[3]采用Na?ve Bayes 算法對(duì)介休、運(yùn)城、豐寧3 個(gè)站進(jìn)行了降水概率分級(jí)預(yù)報(bào),結(jié)果表明該方法可以通過(guò)降低數(shù)值模式空?qǐng)?bào)率提高單站晴雨、小雨預(yù)報(bào)效果.文獻(xiàn)[4]選取濕度、溫度、大氣壓、風(fēng)速等要素為降水因子,并采用決策樹(shù)算法對(duì)降水進(jìn)行預(yù)報(bào),實(shí)驗(yàn)結(jié)果表明改進(jìn)后的模型有較好的適應(yīng)性.文獻(xiàn)[5]采用改進(jìn)的Adaboost 算法集成反向傳播(BP)神經(jīng)網(wǎng)絡(luò)組合分類模型,通過(guò)構(gòu)造多個(gè)神經(jīng)網(wǎng)絡(luò)分類器對(duì)江蘇境內(nèi)6 個(gè)站點(diǎn)降水等級(jí)進(jìn)行了預(yù)測(cè),結(jié)果表明所提出的模型有較好的預(yù)測(cè)精度.但是這些模型所采用的都是較小的數(shù)據(jù)集,不適用于較大規(guī)模的數(shù)據(jù)集.隨著氣象預(yù)報(bào)精度、準(zhǔn)度要求的提高,傳統(tǒng)的方法已經(jīng)無(wú)法及時(shí)準(zhǔn)確的處理海量數(shù)據(jù).

本文針對(duì)以上不足,采用Hadoop 分布式系統(tǒng)處理海量數(shù)據(jù),同時(shí)考慮BP 神經(jīng)網(wǎng)絡(luò)收斂速度慢,容易陷入局部最小值的問(wèn)題,結(jié)合遺傳算法全局搜索的優(yōu)勢(shì)對(duì)BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn),提出了在Hadoop 平臺(tái)上構(gòu)建基于遺傳神經(jīng)網(wǎng)絡(luò)算法的天氣預(yù)報(bào)方法,為海量氣象數(shù)據(jù)挖掘提供了一個(gè)可行的方案.

1 遺傳神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)

BP 神經(jīng)網(wǎng)絡(luò)算法是大氣科學(xué)領(lǐng)域的氣候分析和氣候預(yù)測(cè)中應(yīng)用比較廣泛的算法,能夠提供更好的預(yù)報(bào)能力[6-8].但BP 神經(jīng)網(wǎng)絡(luò)算法收斂速度慢,容易陷入局部最小值,而遺傳算法(Genetic Algorithm,GA)是一種全局優(yōu)化的搜索迭代算法,將其與BP 神經(jīng)網(wǎng)絡(luò)結(jié)合,可以克服BP 神經(jīng)網(wǎng)絡(luò)的缺點(diǎn),加速網(wǎng)絡(luò)的訓(xùn)練[9-10].本文首先利用GA 算法優(yōu)化BP 神經(jīng)網(wǎng)絡(luò)的連接權(quán)和網(wǎng)絡(luò)結(jié)構(gòu),并得到一群全局性較好的個(gè)體,在進(jìn)一步利用BP 神經(jīng)網(wǎng)絡(luò)得到最優(yōu)解,然后解碼得到對(duì)應(yīng)的BP 神經(jīng)網(wǎng)絡(luò)連接權(quán)和網(wǎng)絡(luò)結(jié)構(gòu),最后輸入檢測(cè)樣本進(jìn)行降水等級(jí)的預(yù)測(cè).

1.1 編碼方式

編碼方式對(duì)算法的實(shí)現(xiàn)尤為重要,不同編碼方式?jīng)Q定了計(jì)算的復(fù)雜程度和網(wǎng)絡(luò)學(xué)習(xí)的精度,并且也影響到解空間的大小.本文采用了實(shí)數(shù)編碼,另外對(duì)隱含層節(jié)點(diǎn)增加了一個(gè)二進(jìn)制碼用作控制基因,以確定隱含層節(jié)點(diǎn)對(duì)輸出層的影響關(guān)系,具體編碼方法舉例如圖1所示.

如圖1,隱含層第三個(gè)神經(jīng)元沒(méi)有連接,即控制基因?yàn)椋? 1 0 1,當(dāng)為0 時(shí),表示無(wú)連接,1 表示有連接.神經(jīng)元輸入層到隱含層的權(quán)重系數(shù)矩陣,按照一定順序展開(kāi)：0.3,0.2,0.7,0.6,0.4,0.3,0.1,0.9,0.6.隱含層神經(jīng)元的閥值為：0.6,-0.3,0.5.隱含層到輸出層的權(quán)重系數(shù)為：0.5,0.3,0.7.輸出層神經(jīng)元的閥值為：0.8.整個(gè)神經(jīng)網(wǎng)絡(luò)的編碼為：1 1 0 1 0.3 0.2 0.7 0.6 0.4 0.3 0.1 0.9 0.6 0.6 -0.3 0.5 0.5 0.3 0.7 0.8.

圖1 編碼示意圖

染色體編碼基因由控制基因、輸入層到隱含層的權(quán)重系數(shù)、隱含層神經(jīng)元的閥值、隱含層到輸出層的權(quán)重系數(shù)以及輸出層神經(jīng)元的閥值依次組成,共h+m*h1+h1+h1+n位(其中h為隱含層節(jié)點(diǎn)數(shù),m為輸入層節(jié)點(diǎn)數(shù),h1為有效隱含層節(jié)點(diǎn)數(shù),n為輸出層節(jié)點(diǎn)數(shù)目).

1.2 初始種群的生成

初始種群的生成,本文采用隨機(jī)數(shù)發(fā)生器隨機(jī)生成初始種群.

1.3 適應(yīng)度函數(shù)的建立

假設(shè)輸出層的實(shí)際輸出結(jié)果為dj,期望輸出為yj,則誤差函數(shù)如下：

神經(jīng)網(wǎng)絡(luò)的目標(biāo)是網(wǎng)絡(luò)的期望輸出與實(shí)際輸出結(jié)果的誤差函數(shù)值最小,因此本文構(gòu)造的適應(yīng)度函數(shù)為：

1.4 選擇算子(selection operator)

選擇策略是對(duì)當(dāng)前群體不同適應(yīng)度個(gè)體進(jìn)行優(yōu)勝劣汰的過(guò)程,本文采用輪盤(pán)賭和最佳保留相結(jié)合的方法選擇個(gè)體.

1.5 交叉算子(crossover operator)

交叉算子是用根據(jù)選擇操作得到的兩個(gè)染色體個(gè)體,以一定的概率Pc按照一定的方式互換一些基因,從而得到子代染色體的過(guò)程.交叉概率越大,子代染色體更新的越快,然而就更容易破壞優(yōu)良個(gè)體.交叉概率越小,算法的收斂速度越慢,通常Pc=0.5～1.0.為了盡量不破壞適應(yīng)度值高的染色體個(gè)體,同時(shí)保證群體的多樣性,本文采用自適應(yīng)的交叉率[11]公式如下：

其中,favg為平均適應(yīng)度,fmax為群體中個(gè)體最大的適應(yīng)度,f′為交換的兩個(gè)個(gè)體中適應(yīng)度值大的個(gè)體.

本文在進(jìn)行交叉操作時(shí),把父代染色體對(duì)應(yīng)基因位的染色體互換,即控制基因位與對(duì)應(yīng)的控制基因位互換,權(quán)重系數(shù)基因位與對(duì)應(yīng)的權(quán)重系數(shù)基因位互換,閥值基因位與閥值基因位互換.

1.6 變異算子(mutation operator)

變異操作是通過(guò)將染色體個(gè)體的編碼基因中某些位用其它等位基因代替,從而產(chǎn)生新的個(gè)體,通常Pm=0.001～0.05.本文采用自適應(yīng)的變異率,公式如下：

其中,favg、fmax、f′見(jiàn)上文.

以Pm的概率對(duì)交叉操作以后的染色體進(jìn)行變異,變異算子如下：

其中,Xtj是變異操作前的個(gè)體,Xtj+1是變異操作后的個(gè)體,cj是隨機(jī)數(shù).

1.7 終止條件

本文設(shè)計(jì)的算法終止條件如下：

當(dāng)算法運(yùn)行到預(yù)先設(shè)定的最大的進(jìn)化代數(shù)K0時(shí),就終止算法,把得到的結(jié)果輸出.

1.8 算法框架

遺傳神經(jīng)網(wǎng)絡(luò)算法具體步驟如下：

(1)確定解空間[12],對(duì)解空間進(jìn)行編碼,每串編碼代表解空間的一個(gè)解.

(2) 在編碼的解空間中,隨機(jī)生成一個(gè)初始群體(不要求一定是可行解).

(3)對(duì)群體中的每一個(gè)個(gè)體進(jìn)行適應(yīng)度評(píng)價(jià).

(4) 根據(jù)個(gè)體的適應(yīng)度,對(duì)群體中的個(gè)體進(jìn)行選擇、交叉、變異遺傳操作.

(5)生成新一代群體.

(6)反復(fù)進(jìn)行(3)、(4)、(5),每進(jìn)行一次,群體進(jìn)化一代,直至進(jìn)化了K0代(K0為預(yù)置的進(jìn)化代數(shù)).

(7)從第K0代群體中選擇S可能具有全局性的進(jìn)化解,選擇時(shí)要注意避免相似個(gè)體.

(8)分別以這些進(jìn)化解為初始解,用神經(jīng)網(wǎng)絡(luò)求解.

(9)比較S個(gè)由神經(jīng)網(wǎng)絡(luò)求得的解,從而獲得問(wèn)題的最優(yōu)解,然后輸入檢測(cè)樣本進(jìn)行預(yù)測(cè).

遺傳神經(jīng)網(wǎng)絡(luò)算法流程圖如圖2所示.

圖2 遺傳神經(jīng)網(wǎng)絡(luò)算法流程圖

2 GA-BP 算法的并行化

Hadoop 下的MapReduce 是Google 公司提出的用于處理海量數(shù)據(jù)的分布式計(jì)算模型,其主要由兩個(gè)階段組成：Map和Reduce.Map 階段主要負(fù)責(zé)將輸入數(shù)據(jù)分為多個(gè)分片(split),并將每個(gè)split 交給一個(gè)Map Task,最終轉(zhuǎn)化為key/value 數(shù)據(jù)結(jié)構(gòu).Reduce 階段將Map 階段的結(jié)果進(jìn)行歸約處理,輸出最終結(jié)果.降水?dāng)?shù)據(jù)規(guī)模較大,利用MapReuce 分布式計(jì)算的優(yōu)勢(shì),可以快速的完成對(duì)海量氣象數(shù)據(jù)的處理.

2.1 遺傳算法的并行化

GA 算法的并行思想：首先將整個(gè)群體分為m個(gè)種群,然后每一個(gè)種群在對(duì)應(yīng)的Map Task 上獨(dú)立完成種群的初始化、選擇、交叉、變異等操作,達(dá)到收斂條件后,將Map 得到的最后個(gè)體傳遞給相對(duì)應(yīng)的Reduce Task,然后將不同Reduce Task 得到的個(gè)體適應(yīng)度進(jìn)行比較,輸出適應(yīng)度值最大的個(gè)體.

Map 函數(shù)偽代碼如下：

遺傳算法迭代完成后,得到的結(jié)果就是BP 神經(jīng)網(wǎng)絡(luò)的初始的權(quán)值和閥值.

2.2 BP 神經(jīng)網(wǎng)絡(luò)的并行化

神經(jīng)網(wǎng)絡(luò)算法的并行思想：在Map 階段,根據(jù)遺傳算法輸出的最優(yōu)解得到神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閥值,然后把訓(xùn)練樣本轉(zhuǎn)化為鍵值對(duì)作為輸入,對(duì)每個(gè)樣本進(jìn)行迭代運(yùn)算,計(jì)算誤差,并反向傳播誤差,輸出權(quán)值的改變量.在Reduce 階段,對(duì)Map 輸出的各個(gè)權(quán)值的改變量進(jìn)行累加并求平均值,對(duì)權(quán)值進(jìn)行更新.重復(fù)Map和Reduce 階段,直到算法收斂.

Map 函數(shù)偽代碼如下：

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)采用Hadoop 分布式集群[13],選取1 臺(tái)虛擬機(jī)作為NameNode 節(jié)點(diǎn)和JobTracker 服務(wù)節(jié)點(diǎn),負(fù)責(zé)管理分布式數(shù)據(jù)和分解任務(wù)的執(zhí)行,其它7 臺(tái)虛擬機(jī)作為DataNode和TaskTracker 服務(wù)節(jié)點(diǎn),負(fù)責(zé)分布式存儲(chǔ)和任務(wù)執(zhí)行.虛擬機(jī)各項(xiàng)配置及集群的配置信息分別如表1、表2所示.

表2 集群信息配置

由表2我們可以看出Hadoop 分布式集群在運(yùn)行時(shí)需要一系列的后臺(tái)程序,主要有：

NameNode-負(fù)責(zé)管理文件系統(tǒng)的Namespace.

DataNode-負(fù)責(zé)管理各個(gè)存儲(chǔ)節(jié)點(diǎn).

SecondaryNameNode-NameNode 的熱備,負(fù)責(zé)周期性的合并Namespace image和Edit log.

ResourceManager-負(fù)責(zé)調(diào)度資源.

NodeManager-負(fù)責(zé)管理slave 節(jié)點(diǎn)的資源.

3.2 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

實(shí)驗(yàn)采用的數(shù)據(jù)來(lái)自于天津市地面氣候資料日值數(shù)據(jù)集,該數(shù)據(jù)集以天津市13 個(gè)站1951年～2006年各月的A0、D、A 文件為數(shù)據(jù)源,通過(guò)統(tǒng)計(jì)軟件處理轉(zhuǎn)換成日平均氣壓、日最高氣壓、日最低氣壓等氣象要素日值資料,如表3所示.

表3 天津市地面氣候資料日值數(shù)據(jù)集表

按照中國(guó)氣象局的劃分,將20-20 時(shí)降水量劃分為7 類,如表4所示,實(shí)驗(yàn)中不考慮31XXX 降雪以及32XXX 霧露霜天氣.為使網(wǎng)絡(luò)有良好的收斂性和映射能力,消除原始數(shù)據(jù)形式不同所帶來(lái)的不利,通常的做法是歸一化處理,將原始目標(biāo)、輸入數(shù)據(jù)轉(zhuǎn)換到區(qū)間內(nèi)將數(shù)據(jù)歸一化到[0,1]之間.歸一化公式如下：

其中,xi為輸入數(shù)據(jù),i為數(shù)據(jù)序號(hào),xmax、xmin為x中的最大值和最小值.

表4 降水量等級(jí)分類標(biāo)準(zhǔn)

在實(shí)驗(yàn)中,1951年～2005年的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),2006年的數(shù)據(jù)作為檢測(cè)數(shù)據(jù).經(jīng)過(guò)數(shù)據(jù)預(yù)處理后13 個(gè)臺(tái)站共計(jì)214 706 個(gè)樣,如表5所示.

表5 站點(diǎn)數(shù)據(jù)表

總體樣本降水等級(jí)分布如圖3所示,從圖3中不難看出13 個(gè)臺(tái)站無(wú)雨的樣本數(shù)最多,達(dá)到了80.32%,特大暴雨的樣本數(shù)最少,約1.85%.

3.3 降水因子選擇

天津市地面氣候資料日值數(shù)據(jù)集共包含了27 個(gè)要素,去除降水量還有24 個(gè)要素,而預(yù)測(cè)因子的選擇很大程度上影響了預(yù)測(cè)的結(jié)果,本文利用Pearson[14]相關(guān)系數(shù)法來(lái)考察各要素對(duì)降雨量的影響力,公式如下：

其中,x與y分別為2 個(gè)變量的觀測(cè)值.

圖3 總體樣本降水等級(jí)分布圖

若r＞0,表示2 個(gè)變量是正相關(guān)的；若r＜0,則表示2 個(gè)變量是負(fù)相關(guān),n為樣本數(shù)量(本文選100 個(gè)樣本計(jì)算相關(guān)系數(shù)).其它要素與降雨量之間的相關(guān)性初步由Pearson 求出之后,還要經(jīng)過(guò)顯著性檢驗(yàn)再最后判斷.顯著性檢驗(yàn)公式為：

分別計(jì)算平均氣溫、日最低氣溫、平均水汽壓等要素與降雨量的相關(guān)系數(shù),如表6所示.

表6 各要素與降雨量之間的相關(guān)系數(shù)

表6中平均相對(duì)濕度、小型蒸發(fā)量及大型蒸發(fā)量與降雨量的相關(guān)性已通過(guò)0.01 顯著性檢驗(yàn),平均水氣壓、最小相對(duì)濕度、平均本站氣壓、日最高本站氣壓、日最低本站氣壓與降雨量的相關(guān)性已通過(guò)0.05 顯著性檢驗(yàn),最后結(jié)合氣象專家的意見(jiàn),選取了平均氣溫、日最低氣溫、平均水汽壓、平均相對(duì)濕度、最小相對(duì)濕度、平均風(fēng)速、最大風(fēng)速、最大風(fēng)速的風(fēng)向、極大風(fēng)速、極大風(fēng)速的風(fēng)向、日照時(shí)數(shù)這11 個(gè)要素作為預(yù)測(cè)因子.網(wǎng)絡(luò)結(jié)構(gòu)為11-h-7 三層網(wǎng)絡(luò),其中11 為輸入層的節(jié)點(diǎn)數(shù)目,即11 個(gè)預(yù)測(cè)因子作為網(wǎng)絡(luò)的輸入向量,h為隱含層的數(shù)目,h=3+a(a 為1～10之間的調(diào)節(jié)常數(shù)),7 為輸出層節(jié)點(diǎn)數(shù)目,即7 個(gè)降水等級(jí),具體實(shí)驗(yàn)參數(shù)設(shè)置參考文獻(xiàn)[15].

3.4 實(shí)驗(yàn)結(jié)果分析

對(duì)13 個(gè)站06年降水等級(jí)預(yù)測(cè)結(jié)果如表7所示,由表7可以看出,本文提出的算法對(duì)整體樣本降水等級(jí)的預(yù)測(cè)準(zhǔn)確度較高,達(dá)到了82.4%.

表7 06年降水等級(jí)預(yù)測(cè)結(jié)果

與傳統(tǒng)的BP 算法對(duì)比實(shí)驗(yàn)結(jié)果如圖4所示,從圖中可以看出本文提出的遺傳神經(jīng)網(wǎng)絡(luò)算法對(duì)所有降水等級(jí)的預(yù)測(cè)準(zhǔn)確率都要優(yōu)于傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)算法,對(duì)無(wú)雨的預(yù)測(cè)準(zhǔn)確度最高,約87%,而對(duì)特大暴雨的預(yù)測(cè)準(zhǔn)確度最低,一方面是因?yàn)閷?shí)驗(yàn)樣本中無(wú)雨的樣本數(shù)量占總樣本數(shù)的80.32%,遠(yuǎn)大于其它降水等級(jí)的樣本數(shù),所建立的模型更準(zhǔn)確,而特大暴雨樣本數(shù)量?jī)H占總樣本數(shù)的1.85%,對(duì)模型的訓(xùn)練不充分,另一方面是因?yàn)樘卮蟊┯甑某梢蚝軓?fù)雜,我們實(shí)驗(yàn)僅僅選取了眾多因子中相關(guān)性較高的11 個(gè)因子,這是遠(yuǎn)遠(yuǎn)不夠的,實(shí)際情況要復(fù)雜的多,需要結(jié)合各種方法綜合預(yù)測(cè)才行.

為了檢測(cè)所提出方法的擴(kuò)展性和高效性,分別在不同的節(jié)點(diǎn)數(shù)進(jìn)行了實(shí)驗(yàn),運(yùn)行時(shí)間結(jié)果如圖5所示,由圖5我們不難看出,隨著DataNode 節(jié)點(diǎn)數(shù)量的增加,算法的運(yùn)行時(shí)間明顯縮短,說(shuō)明本文提出的方法在Hadoop 平臺(tái)上有很高的運(yùn)行效率和擴(kuò)展性.

圖4 實(shí)驗(yàn)結(jié)果對(duì)比圖

圖5 不同節(jié)點(diǎn)運(yùn)行時(shí)間圖

4 結(jié)論與展望

本文基于Hadoop 大數(shù)據(jù)離線分析平臺(tái)構(gòu)建了基于遺傳神經(jīng)網(wǎng)絡(luò)算法的天氣預(yù)報(bào)方法,并以天津市13 個(gè)臺(tái)站1951～2006年的地面氣候資料日值數(shù)據(jù)為基礎(chǔ),建立了遺傳神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型,最后以降雨量等級(jí)為決策屬性進(jìn)行了實(shí)驗(yàn).結(jié)果表明：

1)本文提出的方法對(duì)降水等級(jí)的預(yù)測(cè)準(zhǔn)確率優(yōu)于傳統(tǒng)的BP 算法,整體預(yù)測(cè)準(zhǔn)確率達(dá)到82.4%,其中對(duì)于等級(jí)R0的預(yù)測(cè)精度最高,高達(dá)87%.

2)該方法可以有效的處理海量氣象數(shù)據(jù),同時(shí)具有很高的運(yùn)行效率和良好的擴(kuò)展性,為天氣預(yù)報(bào)提拱了一種全新的思路和方法.

本文的方法對(duì)降水因子僅考慮了相關(guān)性比較高的11 個(gè)因子,對(duì)特大暴雨預(yù)測(cè)準(zhǔn)確率很低,還有一些方面需要進(jìn)一步研究,比如可以結(jié)合T213 數(shù)值天氣預(yù)報(bào),篩選出一些非常規(guī)的氣象要素來(lái)進(jìn)行降水等級(jí)的預(yù)測(cè),以及尋找更有效的算法來(lái)解決這個(gè)問(wèn)題,這些方面都很有意義,值得在未來(lái)的研究中仔細(xì)鉆研.