孫丹丹，寧　芊

(四川大學(xué) 電子信息學(xué)院，成都　610065)

?

基于Hadoop的GA-BP網(wǎng)絡(luò)在山洪預(yù)測中的研究

孫丹丹，寧芊

(四川大學(xué) 電子信息學(xué)院，成都610065)

研究了山洪災(zāi)害監(jiān)測預(yù)警系統(tǒng)中雨情數(shù)據(jù)的分布式存儲(chǔ)和分布式預(yù)測；針對(duì)采集到的水文數(shù)據(jù)急劇增長和對(duì)預(yù)測精度和預(yù)報(bào)時(shí)效的要求不斷提高，分別應(yīng)用Hadoop分布式文件系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)和 MapReduce框架結(jié)合遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行分布式預(yù)測；采用基于BP神經(jīng)網(wǎng)絡(luò)的多因子山洪災(zāi)害雨量預(yù)測模型，結(jié)合遺傳算法能夠?qū)崿F(xiàn)全局優(yōu)化特點(diǎn)來優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，并在數(shù)據(jù)并行處理過程中，采用了批處理和MapReduce工作流的方式，以誤差和準(zhǔn)確率來評(píng)估預(yù)測模型，解決了神經(jīng)網(wǎng)絡(luò)在處理海量數(shù)據(jù)時(shí)訓(xùn)練時(shí)間長等問題；實(shí)驗(yàn)表明，該方法可以在不影響準(zhǔn)確度的前提下，大大縮短運(yùn)行時(shí)間，提高預(yù)測效率。

Hadoop；Map-Reduce；并行計(jì)算；BP神經(jīng)網(wǎng)絡(luò)；遺傳算法

0　引言

山洪災(zāi)害預(yù)報(bào)對(duì)于山洪災(zāi)害防治有著重大的意義[1]，隨著對(duì)預(yù)測精度和預(yù)報(bào)時(shí)效的要求不斷提高,采集到的相關(guān)的雨情數(shù)據(jù)資料數(shù)目增多,數(shù)據(jù)量急劇增長;另一方面,數(shù)據(jù)相關(guān)性的計(jì)算要求越來越高,從而導(dǎo)致傳統(tǒng)數(shù)據(jù)挖掘技術(shù)逐漸無法有效地應(yīng)用于山洪數(shù)據(jù)挖掘。隨著科學(xué)技術(shù)發(fā)展,分布式技術(shù)的出現(xiàn)為更高效地處理海量雨情數(shù)據(jù)提供了可能,分布式技術(shù)已逐漸成為數(shù)據(jù)挖掘的重要組成部分。

結(jié)合目前山洪災(zāi)害預(yù)報(bào)情況,本文在開源云計(jì)算平臺(tái)hadoop[2]的基礎(chǔ)上，試驗(yàn)一種基于MapReduce的遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值[3]的并行計(jì)算預(yù)測方法[4],一方面結(jié)合遺傳算法對(duì)BP神經(jīng)網(wǎng)絡(luò)算法的權(quán)值和閾值進(jìn)行改進(jìn),克服BP算法中權(quán)值和閾值隨機(jī)生成導(dǎo)致訓(xùn)練結(jié)果可能會(huì)陷入局部最優(yōu)、學(xué)習(xí)過程收斂速度慢的缺點(diǎn);另一方面利用MapReduce并行分布式運(yùn)行機(jī)制,提升預(yù)測效率,縮短訓(xùn)練周期。

1　Hadoop框架工作機(jī)制

Hadoop[5]是一個(gè)由Apache基金會(huì)開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，能實(shí)現(xiàn)高效的分布式計(jì)算和海量存儲(chǔ)，主要由分布式文件系統(tǒng)HDFS(hadoop distributed file system)和MapReduce分布式并行計(jì)算架構(gòu)組成。

1.1HDFS

HDFS[5](hadoop distributed file system，分布式文件系統(tǒng))是Hadoop架構(gòu)中的一個(gè)分布式文件管理系統(tǒng)，整個(gè)Hadoop體系架構(gòu)主要通過HDFS實(shí)現(xiàn)分布式存儲(chǔ)的底層支持。因?yàn)镠DFS具有高容錯(cuò)性的特點(diǎn)，所以它可以用來部署在低廉的硬件上。它提供高吞吐率的特性用來訪問應(yīng)用程序的數(shù)據(jù)，適合有海量數(shù)據(jù)集的應(yīng)用程序。如圖1[5]所示，HDFS采用主從(Master/Slave)結(jié)構(gòu)模型，一個(gè)HDFS集群由一個(gè)NameNode和若干個(gè)DataNode組成，其中NameNode是主節(jié)點(diǎn)，管理與維護(hù)文件系統(tǒng)的命名空間和調(diào)節(jié)控制客戶端對(duì)文件的訪問操作，DataNode是從節(jié)點(diǎn)，管理真實(shí)文件數(shù)據(jù)的存儲(chǔ)。

圖1　HDFS體系結(jié)構(gòu)圖

1.2MapReduce

MapReduce[5]是一種并行編程模型，用于海量數(shù)據(jù)集的并行計(jì)算，基于它可以將任務(wù)分發(fā)到集群上，并以一種可靠容錯(cuò)的方式實(shí)現(xiàn)Hadoop的并行任務(wù)處理功能。MapReduce框架由一個(gè)JobTracker和多個(gè)TaskTracker組成，JobTracker運(yùn)行在主節(jié)點(diǎn)，負(fù)責(zé)調(diào)度構(gòu)成作業(yè)的所有任務(wù)并監(jiān)控它們的執(zhí)行情況，TaskTracker運(yùn)行在每個(gè)從節(jié)點(diǎn)，負(fù)責(zé)執(zhí)行由主節(jié)點(diǎn)指派的任務(wù)。

MapReduce模型主要有Map和Reducer兩個(gè)函數(shù)。Map主要負(fù)責(zé)對(duì)數(shù)據(jù)的分析處理，最終轉(zhuǎn)化為Key-Value的數(shù)據(jù)結(jié)構(gòu)；Reduce端主要是獲取Map出來的結(jié)果，對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)。如圖2[5]所示，MapReduce將輸入的大規(guī)模數(shù)據(jù)集切分為若干數(shù)據(jù)塊，由Map函數(shù)以完全并行的方式處理它們并生成中間結(jié)果，這些中間結(jié)果經(jīng)過合并形成最終結(jié)果。通常，分布式文件系統(tǒng)與MapReduce框架的計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)在一起，這樣可以使整個(gè)集群的網(wǎng)絡(luò)帶寬得到高效利用，允許框架在已經(jīng)存有數(shù)據(jù)的節(jié)點(diǎn)上高效地調(diào)度任務(wù)。

2　基于hadoop的遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值及閾值

本文中結(jié)合樣本數(shù)據(jù)特征，對(duì)基于hadoop的遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值及閾值，在前人基礎(chǔ)上[4]做了一些有效改進(jìn)：1)將數(shù)據(jù)預(yù)處理、樣本訓(xùn)練與驗(yàn)證、測試改進(jìn)為線性組合式MapReduce作業(yè)流；2)將降雨數(shù)據(jù)集分到多個(gè)Map端并行處理；3)在對(duì)樣本訓(xùn)練時(shí)采用批處理[9]的方式，即網(wǎng)絡(luò)的權(quán)值和閾值的更新是在本地所有的樣本處理完之后進(jìn)行的，這樣網(wǎng)絡(luò)的誤差是所有樣本的誤差和，可以獲得更精確的梯度，而且這種處理方式與樣本的輸入順序無關(guān)，可以更有利于數(shù)據(jù)的并行計(jì)算。實(shí)驗(yàn)結(jié)果表明，此方法在效率和精度上都有所提高。

整個(gè)過程分為3個(gè)階段:1)數(shù)據(jù)準(zhǔn)備階段。對(duì)獲取的降雨數(shù)據(jù)進(jìn)行預(yù)處理,定義訓(xùn)練集、驗(yàn)證集和測試集。2)數(shù)據(jù)訓(xùn)練階段。利用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，得到最優(yōu)后再利用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行訓(xùn)練。3)用訓(xùn)練后的權(quán)值和閾值進(jìn)行驗(yàn)證，評(píng)估是否滿足精度要求，若滿足則訓(xùn)練結(jié)束，不滿足則繼續(xù)進(jìn)行尋優(yōu)訓(xùn)練。

2.1數(shù)據(jù)預(yù)處理

由于時(shí)間跨度大，采集到的山洪災(zāi)害發(fā)生前的累計(jì)降雨量數(shù)據(jù)差異較大，因此要先對(duì)降雨樣本數(shù)據(jù)進(jìn)行預(yù)處理。為了提高運(yùn)行效率，本文中采用單獨(dú)的一個(gè)MapReduce任務(wù)完成對(duì)數(shù)據(jù)的歸一化操作，采用最大最小值法。歸一化公式為:

(1)

公式(1)中x表示某雨量數(shù)據(jù)，xmax表示樣本數(shù)據(jù)中的最大值，xmin表示樣本數(shù)據(jù)的最小值，x′表示經(jīng)歸一化處理后某雨量數(shù)據(jù)。結(jié)果在輸出之前經(jīng)由反歸一化公式處理后得出預(yù)測的雨量數(shù)據(jù)。

將歸一化后的所有樣本數(shù)據(jù)按60%、20%、20%比例輸出到3個(gè)文件中，分別做為訓(xùn)練樣本，驗(yàn)證樣本，測試樣本數(shù)據(jù)使用。

2.2基于hadoop的遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值及閾值

如圖3所示，本文中遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值及閾值基本流程如圖3所示。

由圖3可知，本文的總體思想是讓map端負(fù)責(zé)所在節(jié)點(diǎn)上本地?cái)?shù)據(jù)的遺傳算法優(yōu)化及神經(jīng)網(wǎng)絡(luò)訓(xùn)練,具體步驟為：

先通過遺傳算法對(duì)網(wǎng)絡(luò)的權(quán)值及閾值全局尋優(yōu)，經(jīng)過一定次數(shù)后用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，達(dá)到訓(xùn)練精度或迭代次數(shù)后,輸出本地最優(yōu)神經(jīng)網(wǎng)絡(luò)權(quán)值及閾值，reduce端負(fù)責(zé)收集各個(gè)map端輸出的最優(yōu)權(quán)值和閾值,然后對(duì)這些權(quán)值和閾值求平均值,作為全局新的神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值，然后將更新后的權(quán)值和閾值代入驗(yàn)證樣本中進(jìn)行測試，如果測試精度滿足條件或迭代次數(shù)達(dá)到后則結(jié)束，否則將進(jìn)入下一次的mapreduce任務(wù)繼續(xù)進(jìn)行遺傳算法尋優(yōu)和BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

2.2.1map函數(shù)

在map函數(shù)的初始化setup()函數(shù)中讀取全局權(quán)值及閾值，然后函數(shù)開始讀取需要訓(xùn)練的樣本數(shù)據(jù)(為了加快總體運(yùn)行速度，已單獨(dú)使用一個(gè)mapreduce任務(wù)對(duì)數(shù)據(jù)進(jìn)行歸一化處理，根據(jù)本文需要采用線性mapreduce job流方式)，根據(jù)結(jié)構(gòu)需要分解出BP神經(jīng)網(wǎng)絡(luò)的輸入和輸出。隨機(jī)生成30組權(quán)值及閾值通過遺傳算法進(jìn)行尋優(yōu)，經(jīng)過一定迭代次數(shù)后將得到的優(yōu)化后的權(quán)值和閾值代入BP神經(jīng)網(wǎng)絡(luò)對(duì)本地全部數(shù)據(jù)進(jìn)行訓(xùn)練尋求本地最優(yōu)。當(dāng)達(dá)到訓(xùn)練次數(shù)或誤差滿足要求時(shí)輸出最優(yōu)的權(quán)值及閾值。

2.2.2Reduce函數(shù)

Reduce函數(shù)將不同map端的權(quán)值和閾值融合處理。根據(jù)key值將相同key對(duì)應(yīng)的value值相加求平均，輸出最終優(yōu)化后的權(quán)值和閾值作為全局最優(yōu)。

反復(fù)執(zhí)行多次MapReduce任務(wù)后,若精度滿足要求或達(dá)到迭代次數(shù)了,則訓(xùn)練結(jié)束。

3　實(shí)驗(yàn)

3.1多因子山洪災(zāi)害雨量預(yù)測BP神經(jīng)網(wǎng)絡(luò)模型

如圖4所示，本文借助前人建立的基于BP神經(jīng)網(wǎng)絡(luò)的多因子山洪災(zāi)害雨量預(yù)測模型[8]來預(yù)測監(jiān)測站的降雨量值，并使

圖2　MapReduce任務(wù)處理流程圖

圖3基于MapReduce的遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值及閾值流程圖

用遺傳算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。該預(yù)測模型為:選取歷次山洪災(zāi)害爆發(fā)前3個(gè)時(shí)間段(1 h，3 h，12 h)內(nèi)自動(dòng)雨量監(jiān)測站采集的累計(jì)雨量值和預(yù)見期內(nèi)的降雨強(qiáng)度值，結(jié)合山洪實(shí)際爆發(fā)地的地質(zhì)地貌環(huán)境、土壤植被等因素，作為神經(jīng)網(wǎng)絡(luò)的輸入，以預(yù)見期內(nèi)的最大累計(jì)雨量值作為預(yù)測模型的輸出，該模型的數(shù)學(xué)表達(dá)式為：

注：Y(i+T)表示i+T時(shí)刻的最大累計(jì)雨量的預(yù)測值，A表示災(zāi)害發(fā)生地的地質(zhì)因子，B表示其地貌因子，C表示其植被因子，X(i-nj)表示i時(shí)刻前nj(j=1,2,3) 段時(shí)間內(nèi)的累計(jì)雨量值，I(i+T)表示未來T時(shí)間段內(nèi)的降雨強(qiáng)度值，e(i+T)為模型誤差。

圖4　雨情預(yù)測BP模型結(jié)構(gòu)圖

3.2基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)雖然具有強(qiáng)大的自適應(yīng)性，對(duì)于一些模糊的非線性問題能夠很好地構(gòu)建和逼近。然而由于算法本身的局限性，它也存在著明顯的缺陷：1)初始權(quán)值和閾值是隨機(jī)生成的，收斂速度較為緩慢；2)訓(xùn)練結(jié)果可能會(huì)陷入局部極小而導(dǎo)致得不到全局最優(yōu)。而遺傳算法是一種基于自然選擇與進(jìn)化機(jī)制的隨機(jī)搜索算法，具有良好的全局搜索性。因此對(duì)于雨情的預(yù)測，本文在如圖4所示的BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，利用遺傳算法對(duì)權(quán)值和閾值進(jìn)行全局尋優(yōu)，從而提高網(wǎng)絡(luò)的收斂速度和算法精度。如圖5所示。

圖5　遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值閾值結(jié)構(gòu)圖

3.3Hadoop平臺(tái)環(huán)境配置

本實(shí)驗(yàn)采用五臺(tái) Dell 臺(tái)式機(jī)搭建集群，其中1臺(tái)作為控制節(jié)點(diǎn)NameNode，其余4臺(tái)作為數(shù)據(jù)節(jié)點(diǎn)DateNode。操作系統(tǒng)win7，配置為：雙核 CPU，主頻1.8 G，內(nèi)存 1 G，硬盤100 G。網(wǎng)絡(luò)環(huán)境為百兆局域網(wǎng)。Hadoop 版本為hadoop-1.2.1。

3.4實(shí)驗(yàn)數(shù)據(jù)

本文以四川省崇州市26個(gè)雨量監(jiān)測站得到的山洪監(jiān)測數(shù)據(jù)為例(2014.1～2014.12)。去掉缺省值，共有9216條數(shù)據(jù)，由上可知，每條數(shù)據(jù)由8個(gè)特征值組成。

3.5結(jié)果分析

以下從運(yùn)行時(shí)間(取10次運(yùn)行結(jié)果的平均值)、誤差率(取10次運(yùn)行結(jié)果的平均值，以平均相對(duì)誤差率表示)及達(dá)到預(yù)測精度所迭代的次數(shù)3個(gè)方面對(duì)單機(jī)和hadoop集群實(shí)驗(yàn)情況進(jìn)行分析:

3.5.1運(yùn)行時(shí)間測試

如下圖6所示，參照隱層節(jié)點(diǎn)數(shù)的經(jīng)驗(yàn)公式[12]，分別測試了當(dāng)隱層節(jié)點(diǎn)數(shù)為2，8，15，20，25的情況下算法運(yùn)行時(shí)間，其中縱坐標(biāo)以分鐘為單位。

圖6　運(yùn)行時(shí)間

3.5.2誤差率測試

如表1所示。

表1　誤差率與迭代次數(shù)表

4　結(jié)論

針本文利用基于HDFS的海量數(shù)據(jù)存儲(chǔ)和基于MapReduce的分布式計(jì)算實(shí)現(xiàn)了山洪預(yù)測功能。利用遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化實(shí)現(xiàn)了對(duì)監(jiān)測站降雨量的預(yù)測。通過實(shí)驗(yàn)表明，與傳統(tǒng)方法相比，該方式預(yù)測的精準(zhǔn)性和單機(jī)較為接近，預(yù)測結(jié)果與實(shí)際值都比較接近；在預(yù)測時(shí)間上，該方式大大提高了計(jì)算效率。

[1]劉志雨,楊大文,胡健偉. 基于動(dòng)態(tài)臨界雨量的中小河流山洪預(yù)警方法及其應(yīng)用[J].北京師范大學(xué)學(xué)報(bào)(自然科學(xué)版) ,2010,46(3):317-321.

[2] 張麗.基于云平臺(tái)的短時(shí)交通流預(yù)測算法設(shè)計(jì)與實(shí)現(xiàn)[D].大連：大連理工大學(xué),2013.

[3] 王小川,史峰,郁磊,等.MATLAB神經(jīng)網(wǎng)絡(luò)43個(gè)案例分析[M].北京：北京航空航天大學(xué)出版社，2013.

[4] 陳春萍,查雅行,錢平,等.基于MapReduce的BP神經(jīng)網(wǎng)絡(luò)遺傳算法在非線性系統(tǒng)辨識(shí)中的研究[A].中國通信學(xué)會(huì)青年工作委員會(huì).虛擬運(yùn)營與云計(jì)算--第十八屆全國青年通信學(xué)術(shù)年會(huì)論文集(下冊(cè))[C].北京：國防工業(yè)出版社,2013.

[5] 陸嘉恒.Hadoop實(shí)戰(zhàn)(第2版)[M].北京:機(jī)械工業(yè)出版社,2012.

[6] 李榮斌.基于Hadoop平臺(tái)和遺傳算法的貝葉斯網(wǎng)結(jié)構(gòu)學(xué)習(xí)[D].云南：云南大學(xué),2014.

[7] 盧建中,程浩.改進(jìn)GA優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的短時(shí)交通流預(yù)測[J].合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版)，2015，38(1)：127-131.

[8] 鄧成靚. 神經(jīng)網(wǎng)絡(luò)優(yōu)化及其在山洪災(zāi)害預(yù)測中的應(yīng)用研究[D]. 成都：四川大學(xué),2014.

[9] 張弦.基于數(shù)據(jù)并行的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法[D].武漢：華中科技大學(xué),2008.

[10] Zhu C, Rao R. The Improved BP Algorithm Based on MapReduce and Genetic Algorithm[A]. Computer Science & Service System (CSSS), 2012 International Conference on[C]. IEEE, 2012:1567-1570.

[11] 劉寅. Hadoop下基于貝葉斯分類的氣象數(shù)據(jù)挖掘研究[D].南京：南京信息過程大學(xué),2012.

[12] 吳永明,吳晟.改進(jìn)的遺傳算法在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化中的應(yīng)用[J].微型機(jī)與應(yīng)用，2011, 30(3):79-81.

[13] 劉剛.Hadoop應(yīng)用開發(fā)技術(shù)詳解[M].北京:機(jī)械工業(yè)出版社,2014.

Study of Hadoop-based GA-BP Network in the Flash Flood Forecasting

Sun Dandan,Ning Qian

(College of Electronics and Information Engineering, Sichuan University, Chengdu610065, China)

Distributed storage and Distributed prediction method for flash flood forecasting disaster forecasting system of Rainfall data is researched. Focused on the rapid growth of the collected Hydrological data and the demands for prediction accuracy and timeliness of forecasts is increasing, respectively used Hadoop distributed file system to store data and use MapReduce framework and the genetic algorithm to optimize the number of hidden layer nodes and the weights as well as the thresholds of the network to predict data. Based on multi-factor flash flood disaster rainfall BP neural network prediction model, combining the characteristics of genetic algorithm can achieve global optimization to optimize the number of hidden layer nodes and the weights as well as the thresholds of the network,and in the procedure of data parallel processing adopted the way of batch mode and MapReduce workflow, and used the error and the accuracy to evaluate the prediction model,which solve the problem of network training time when the neural network in dealing with mass data. Experiments show that this method can greatly reduce the running time without affecting the accuracy, and improve prediction efficiency.

Hadoop; Map-Reduce; parallel computing; BP neural network;genetic algorithm

2015-07-03；

2015-08-25。

孫丹丹(1992-)，女，山東棗莊人，碩士研究生，主要從事云計(jì)算、智能控制方向的研究。

1671-4598(2016)01-0187-04

10.16526/j.cnki.11-4762/tp.2016.01.052

TP311.11

A