， ，

(西安理工大學(xué) 自動(dòng)化與信息工程學(xué)院，西安 710048)

0 引言

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展以及移動(dòng)互聯(lián)網(wǎng)科技的不斷進(jìn)步，網(wǎng)絡(luò)已經(jīng)滲透進(jìn)人們生活的方方面面，與此同時(shí)互聯(lián)網(wǎng)所產(chǎn)生的信息也發(fā)生了爆炸式的增長，隨著智能電網(wǎng)的發(fā)展，電力數(shù)據(jù)資源急劇增長。以云計(jì)算為代表的新一代IT技術(shù)在電力系統(tǒng)中的應(yīng)用更加廣泛[1]。智能電網(wǎng)的主要目的就是通過獲取更多相關(guān)信息來優(yōu)化電能的生產(chǎn)、分配和消耗[2]。從本質(zhì)上來說，智能電網(wǎng)是當(dāng)今的大數(shù)據(jù)技術(shù)在電網(wǎng)系統(tǒng)上的具體應(yīng)用。電網(wǎng)在實(shí)際的運(yùn)行、檢修和管理等過程中都將會(huì)產(chǎn)生海量數(shù)據(jù)，這些都是典型的大數(shù)據(jù)特點(diǎn)。由此可見，大數(shù)據(jù)技術(shù)即將成為我國智能電網(wǎng)未來發(fā)展的新方向[3]。

Hadoop是由Apache基金會(huì)開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，是一個(gè)大數(shù)據(jù)處理的框架，它能夠部署在任何普通PC機(jī)上，并可以在多種平臺(tái)上運(yùn)行，具有良好的可靠性和可擴(kuò)展性。Hadoop的分布式系統(tǒng)架構(gòu)，既保證了數(shù)據(jù)的安全又有效緩解了運(yùn)算時(shí)間過長等問題[4]。傳統(tǒng)方式處理大規(guī)模數(shù)據(jù)時(shí)，大多選擇高性能計(jì)算，硬件器材往往非常昂貴，并且對(duì)大規(guī)模數(shù)據(jù)進(jìn)行有效分割以及計(jì)算任務(wù)的合理分配都需要經(jīng)過開發(fā)人員繁瑣復(fù)雜的編程才能實(shí)現(xiàn)，而Hadoop的HDFS(Hadoop Distributed File System)系統(tǒng)與MapReduce編程框架很好的解決了這些問題[5]。

本文將機(jī)器學(xué)習(xí)中的SVR算法[6]以及能夠處理海量數(shù)據(jù)的Hadoop平臺(tái)相結(jié)合并應(yīng)用到電力負(fù)荷預(yù)測的領(lǐng)域中。針對(duì)傳統(tǒng)算法面對(duì)海量高維數(shù)據(jù)時(shí)單機(jī)運(yùn)算資源不足以及運(yùn)算時(shí)間成指數(shù)級(jí)增長的缺陷，引入了MapReduce編程框架、HDFS分布式文件系統(tǒng)等分布式計(jì)算技術(shù)，通過改進(jìn)負(fù)荷預(yù)測算法，以提高負(fù)荷預(yù)測算法的計(jì)算速度；使用基于均勻設(shè)計(jì)[7]的自調(diào)用SVR(UD-SVR)[8]方法進(jìn)行參數(shù)尋優(yōu)，在SVM算法中加入?yún)?shù)尋優(yōu)[9]進(jìn)一步提高預(yù)測算法的準(zhǔn)確性。最后，通過實(shí)驗(yàn)驗(yàn)證了本文實(shí)現(xiàn)的Hadoop平臺(tái)分布式SVR的算法性能與UD-SVR參數(shù)尋優(yōu)方法效果。

1 HADOOP平臺(tái)

1.1 HDFS

HDFS是Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System)的縮寫。HDFS是Hadoop的核心子項(xiàng)目[10]。HDFS具有很強(qiáng)的容錯(cuò)性，能夠保證在一個(gè)或者若干個(gè)出現(xiàn)故障后，集群仍舊能夠正常運(yùn)行；它能夠有效提高網(wǎng)絡(luò)帶寬的利用率，減少網(wǎng)絡(luò)阻塞的風(fēng)險(xiǎn)；同時(shí)可以提供高吞吐量的數(shù)據(jù)訪問。

在HDFS中文件的存儲(chǔ)、處理和備份的基本邏輯單元是block(塊)，默認(rèn)一個(gè)block的大小是64 M，每一個(gè)block都有自己的副本，默認(rèn)副本數(shù)為3。節(jié)點(diǎn)冗余一般是通過拷貝來實(shí)現(xiàn)的。默認(rèn)的3個(gè)副本的存儲(chǔ)方式為，在同一個(gè)機(jī)架的不同節(jié)點(diǎn)，各保存一份，在不同的機(jī)架上再保存一份。這樣的好處是，當(dāng)本節(jié)點(diǎn)出現(xiàn)故障時(shí)，優(yōu)先使用同一機(jī)架的另一個(gè)節(jié)點(diǎn)作為替代，原因是在同一個(gè)機(jī)架內(nèi)帶寬較大，速度較快；當(dāng)整個(gè)機(jī)架出現(xiàn)故障時(shí)，使用保存在另一個(gè)機(jī)架上的備份，這樣使得文件不會(huì)丟失。這樣就使得HDFS既安全可靠有很高的容錯(cuò)性，又保證高效性，提高帶寬利用率。

1.2 MapReduce

MapReduce是由主/從結(jié)構(gòu)組成，即JobTracker與TaskTracker[11]。對(duì)大規(guī)模數(shù)據(jù)集進(jìn)行復(fù)雜的并行化運(yùn)算都可以抽象成map函數(shù)和reduce函數(shù)。具體的底層實(shí)現(xiàn)被封裝起來了，用戶只要自己編寫map函數(shù)和reduce函數(shù)來實(shí)現(xiàn)功能即可。圖2展示了一種MapReduce的操作過程，MapReduce中數(shù)據(jù)轉(zhuǎn)換成如下鍵值對(duì)形式:

Input→Map(K 1, V1)→list(K2, V2)→Reduce(K2, list(V2))→list(K3, V3)→Output

首先，從HDFS中讀取數(shù)據(jù)，數(shù)據(jù)被分割成數(shù)據(jù)split；其次，數(shù)據(jù)會(huì)被轉(zhuǎn)化為key/value格式，MapReduce會(huì)為每一個(gè)map任務(wù)分配一個(gè)split進(jìn)行并行運(yùn)算；其中shuffle是一個(gè)map端的排序過程，最終reduce端以前對(duì)數(shù)據(jù)進(jìn)行合并，再把reduce端輸出的結(jié)果，保存到分布式系統(tǒng)所指定的位置。

2 預(yù)測模型

短期負(fù)荷預(yù)測對(duì)電力系統(tǒng)的安全運(yùn)營有著極為重要的作用，例如是制定階梯電價(jià)的重要依據(jù)，對(duì)電網(wǎng)的安全經(jīng)濟(jì)運(yùn)行提供了保證。本文所用的負(fù)荷數(shù)據(jù)來自我國西部某地級(jí)市2015年1月1日至2016年2月28日，共424天的真實(shí)用電量數(shù)據(jù)，一天24小時(shí)內(nèi)，每15分鐘采樣一次，每天96個(gè)采樣點(diǎn)，負(fù)荷的單位是兆瓦。其中2015年全年的歷史負(fù)荷數(shù)據(jù)作為訓(xùn)練樣本，將2016年的數(shù)據(jù)當(dāng)做未知數(shù)據(jù)，對(duì)不同時(shí)間的負(fù)荷值進(jìn)行預(yù)測。

在電力系統(tǒng)的負(fù)荷預(yù)測的角度，影響因素有很多，是一個(gè)多變量的預(yù)測問題[12]，為了提高SVM算法的推廣能力，需要兼顧各種因素。依據(jù)文獻(xiàn)[13]和生活經(jīng)驗(yàn)，t時(shí)刻的負(fù)荷量可以用下面的公式表示：

Y(t)=N(t)+W(t)+S(t)+r(t)

(1)

其中:Y(t)是t時(shí)刻的負(fù)荷總量，N(t)是受到歷史負(fù)荷的影響所產(chǎn)生的負(fù)荷分量，W(t)是受到受到氣象因素影響所產(chǎn)生的負(fù)荷分量，S(t)是受到特殊事件影響所產(chǎn)生的負(fù)荷分量，r(t)是不可控事件所產(chǎn)生的負(fù)荷分量。通過以下實(shí)驗(yàn)將討論各個(gè)因素對(duì)負(fù)荷預(yù)測問題的影響。

2.1 歷史負(fù)荷因素N(t)

它與天氣、節(jié)假日等其他因素?zé)o關(guān)，主要指的是所預(yù)測地區(qū)養(yǎng)成的用電習(xí)慣，在負(fù)荷預(yù)測中有延續(xù)性和類推性的原則，也就是說，我們可以根據(jù)先前發(fā)生的事件來推測后續(xù)事件發(fā)生的趨勢，從而對(duì)后續(xù)事件做出預(yù)測。

圖1 每周的相似日負(fù)荷特性

圖2 工作日與雙休日的負(fù)荷數(shù)據(jù)特性對(duì)比

圖1中，3月2日，9日，16日之間分別間隔7天，也就是說他們的星期屬性相同，由于相隔時(shí)間較遠(yuǎn)以及氣溫等其他因素的影響，因此這3天的負(fù)荷值，在數(shù)值上差別相較于連續(xù)3天的差值更大，但是在波動(dòng)的走勢上卻極為相似，也就是說連續(xù)幾周內(nèi)，星期屬性相同的時(shí)候，負(fù)荷特性具有相似性。

圖2中，3月5日至8日，共四天的時(shí)間內(nèi)，包括連續(xù)兩天的工作日，和連續(xù)兩天的休息日。可以看出，連續(xù)兩天的工作日，即5日和6日，它們的負(fù)荷量極為相似；連續(xù)兩天的休息日，即7日8日，它們之間的負(fù)荷特性極為相似，同時(shí)，6日和7日兩天雖然也是連續(xù)的時(shí)間，但是曲線之間的距離就相對(duì)比較遠(yuǎn)，也就是說工作日和雙休日之間的負(fù)荷特性差別較大。因?yàn)闅v史數(shù)據(jù)對(duì)待預(yù)測的負(fù)荷值相關(guān)性很大，因此，歷史數(shù)據(jù)是不可或缺的屬性值。

2.2 氣象因素W(t)

由氣象因素產(chǎn)生的負(fù)荷分量是W(t)，影響負(fù)荷的氣象因素有很多，比如溫度、濕度、降水量等等，天氣的突變會(huì)引起負(fù)荷的劇烈變化。在諸多氣象因素中，溫度對(duì)負(fù)荷的影響最為顯著，在短期負(fù)荷預(yù)測中，將氣溫?cái)?shù)據(jù)當(dāng)做重要的屬性考慮進(jìn)去，早已成為人們在研究負(fù)荷特性時(shí)的共識(shí)。

當(dāng)溫度值一定時(shí)，負(fù)荷總會(huì)在一個(gè)特定的范圍內(nèi)變化，表明氣溫與負(fù)荷之間相關(guān)性很強(qiáng)。

2.3 特殊事件因素S(t)

在S(t)因素的作用下，將會(huì)導(dǎo)致負(fù)荷量明顯偏離區(qū)域用電習(xí)慣的軌跡，特殊事件常指重大節(jié)假日、紀(jì)念日、電力系統(tǒng)限電、自然災(zāi)害等等。此類事件往往可以根據(jù)人為修正和優(yōu)化模型中的屬性得到改進(jìn)。以2015年除夕和春節(jié)作為特殊事件為例，圖3展示了除夕前后的負(fù)荷曲線。

圖3 節(jié)假日與負(fù)荷的關(guān)系

圖3中，2月18日是除夕，可以看出假期前的最后兩個(gè)工作日，即16日和17日，它們的負(fù)荷特性類似，18日和19日，這兩天假期的負(fù)荷特性相似，但是工作日和假期之間的負(fù)荷特性差別較明顯，因此影響負(fù)荷的因素中還應(yīng)該包括節(jié)假日因素。

在負(fù)荷L(t)中提取出N(t)、W(t)和S(t)后剩余的殘差，即不可控因素r(t)，它是隨機(jī)負(fù)荷序列，這些隨機(jī)序列因其隨機(jī)性從而往往難以預(yù)測，因此很難把它們量化到屬性值中。

2.4 預(yù)測負(fù)荷建模

綜上所述，通過閱讀資料和分析歷史數(shù)據(jù)，最終將輸入樣本的屬性值確定如下：

(1)自預(yù)測之日起前7天的同一個(gè)時(shí)間點(diǎn)的的負(fù)荷值:N1={n1,n2,......,n7}。

(2)自預(yù)測的時(shí)間點(diǎn)起最近的前7個(gè)時(shí)間點(diǎn)的的負(fù)荷值:N1={n8,n9,......,n14}。

(3)預(yù)測日的星期屬性，0表示周內(nèi)，1表示周末。

(4)預(yù)測日的特殊事件屬性，0表示工作日，1表示特殊日。

(5)預(yù)測日的溫度屬性,W={Th,Tl},Th表示當(dāng)日最高溫度，Tl表示當(dāng)日最低溫度。

3 UD-SVR參數(shù)尋優(yōu)

在大數(shù)據(jù)集情況下，單機(jī)SVR算法處理大數(shù)據(jù)集時(shí)耗時(shí)巨大，為了進(jìn)一步提高分布式SVR訓(xùn)練精度，本文采用了UD-SVR方法進(jìn)行參數(shù)尋優(yōu)。在眾多實(shí)驗(yàn)點(diǎn)中選取其中最具有代表性的若干個(gè)點(diǎn)，這些被選取的點(diǎn)以其在所有實(shí)驗(yàn)點(diǎn)中的“均勻分布”程度作為標(biāo)準(zhǔn)，均勻設(shè)計(jì)只考慮試驗(yàn)點(diǎn)在范圍內(nèi)的均勻散布[14]，通過提高試驗(yàn)點(diǎn)“均勻分散”的程度，使試驗(yàn)點(diǎn)具有更好的代表性，能用較少的試驗(yàn)獲得較多的信息[15]。

SVR算法有(c,g,p)三個(gè)參數(shù)需要優(yōu)化選擇，共有729組(c,g,p)參數(shù)，若將這所有729組全部進(jìn)行SVR計(jì)算，則耗時(shí)巨大，可行性較低。本文用均勻設(shè)計(jì)法，從這729組參數(shù)中選擇最具代表性的27組參數(shù)進(jìn)行參數(shù)計(jì)算，得到的結(jié)果作為訓(xùn)練樣本再利用SVR的預(yù)測功能對(duì)全部729組參數(shù)進(jìn)行預(yù)測，最終預(yù)測結(jié)果中誤差最小值所對(duì)應(yīng)參數(shù)為最優(yōu)參數(shù)，誤差選擇使用均方差MSE：

(2)

其中Y表示真實(shí)值,M表示實(shí)際值。

表1 27組參數(shù)SVR對(duì)應(yīng)MSE

具體參數(shù)尋優(yōu)步驟可分為：

(1)依據(jù)均勻設(shè)計(jì)表對(duì)729組參數(shù)進(jìn)行27組參數(shù)的選擇。

(2)對(duì)27組參數(shù)進(jìn)行單機(jī)SVR的訓(xùn)練，使用5折交叉驗(yàn)證，得到的27組MSE。

(3)將27組MSE與27組參數(shù)組合為新的訓(xùn)練樣本，使用留一法對(duì)729組參數(shù)進(jìn)行SVR訓(xùn)練，得到的MSE最小值所對(duì)應(yīng)的(c,g,p)即為新樣本的最優(yōu)參數(shù)。

(4)使用3中得到的最優(yōu)參數(shù)重復(fù)3中實(shí)驗(yàn)，最后得到的MSE最小值所對(duì)應(yīng)的(c,g,p)即為單機(jī)SVR的最優(yōu)參數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

本節(jié)設(shè)計(jì)三組實(shí)驗(yàn)用來檢驗(yàn)分布式SVR模型的預(yù)測性能，實(shí)驗(yàn)對(duì)比了包括訓(xùn)練時(shí)間、預(yù)測值與實(shí)際值的誤差、訓(xùn)練加速度等，綜合分析評(píng)判所建立的分布式SVR模型與單機(jī)SVR性能之間的差異。

4.1 訓(xùn)練時(shí)間

對(duì)于訓(xùn)練時(shí)間的比較，首先選用不同大小的數(shù)據(jù)集(1萬行，5萬行，10萬行，15萬行，20萬行)，數(shù)據(jù)集大小從0.6 M至12 M，分別對(duì)單機(jī)SVR算法、分布式SVR算法進(jìn)行訓(xùn)練預(yù)測模型時(shí)間的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 單機(jī)SVR,分布式SVR訓(xùn)練時(shí)間

分析可知，在實(shí)驗(yàn)樣本數(shù)據(jù)較少的情況下，Hadoop環(huán)境下由于存在一些集群的通訊協(xié)作開銷和Reduce端的SVR訓(xùn)練，訓(xùn)練時(shí)間比單機(jī)訓(xùn)練時(shí)間長，隨著訓(xùn)練樣本的增大，單機(jī)SVR的訓(xùn)練時(shí)間呈指數(shù)級(jí)增長，而Hadoop平臺(tái)分布式SVR訓(xùn)練時(shí)間增長斜率很小。

4.2 預(yù)測模型準(zhǔn)確率

對(duì)于預(yù)測模型準(zhǔn)確率的比較，訓(xùn)練數(shù)據(jù)選用原數(shù)據(jù)集中2015年一整年的數(shù)據(jù)，數(shù)據(jù)大小7.96 M占用Hadoop集群4個(gè)block塊。選用2016年1月1日0時(shí)0分—2016年1月7日23時(shí)45分(共一星期)的672個(gè)數(shù)據(jù)點(diǎn)作為預(yù)測數(shù)據(jù)集，分別對(duì)單機(jī)SVR算法、分布式SVR算法進(jìn)行預(yù)測實(shí)驗(yàn)。因篇幅有限，圖5列出了前三天的預(yù)測效果圖。

圖5 4種曲線對(duì)比圖

從圖中可得使用默認(rèn)參數(shù)的單機(jī)SVR與分布式SVR效果相似，而使用了參數(shù)尋優(yōu)后的分布式SVR與真實(shí)值最為接近，效果最好。表2顯示了使用平均相對(duì)誤差(MAPE)和均方差(MSE)來衡量預(yù)測值與真實(shí)值誤差。

表2 672個(gè)數(shù)據(jù)點(diǎn)平均相對(duì)誤差、均方差

從中可以看到默認(rèn)參數(shù)的單機(jī)SVR預(yù)測值稍好于默認(rèn)參數(shù)的分布式SVR，經(jīng)過參數(shù)尋優(yōu)的分布式SVR的預(yù)測效果最優(yōu)。

4.3 加速比

為了充分測試Hadoop平臺(tái)的并行SVR算法的性能變化與集群中Map任務(wù)的數(shù)量的關(guān)系，本文采用了加速比來衡量該并行算法在訓(xùn)練時(shí)間上的提升速率。

計(jì)算加速比方法如下：

P=T1/T2

(3)

其中:P表示加速比，T1為單機(jī)SVR算法的訓(xùn)練時(shí)間，T2為Hadoop平臺(tái)分布式SVR算法的訓(xùn)練時(shí)間。

實(shí)驗(yàn)結(jié)果如表3所示。

表3 加速比對(duì)比實(shí)驗(yàn)

當(dāng)Hadoop集群中的節(jié)點(diǎn)為1個(gè)Map任務(wù)時(shí)，由于集群中的節(jié)點(diǎn)間的網(wǎng)絡(luò)通訊和Reduce端的SVR訓(xùn)練，使得Hadoop平臺(tái)的并行SVM算法的訓(xùn)練時(shí)間超過了單機(jī)SVR算法。然而，隨著集群中計(jì)算Map任務(wù)數(shù)目的增加，并行算法的加速比逐漸提高。

5 結(jié)束語

本文在Hadoop平臺(tái)實(shí)現(xiàn)了分布式SVR算法，在大數(shù)據(jù)集情況下，使用了UD-SVR方法進(jìn)行了(c, g, p)參數(shù)尋優(yōu)。通過3組實(shí)驗(yàn)對(duì)比了單機(jī)SVR和分布式SVR算法在訓(xùn)練時(shí)間和預(yù)測模型準(zhǔn)確度上的效果。實(shí)驗(yàn)表明分布式SVR在保證準(zhǔn)確度不明顯降低的情況下大幅度縮短了訓(xùn)練時(shí)間，而使用了UD-SVR參數(shù)尋優(yōu)后的分布式SVR的預(yù)測效果極佳。