許瓏璋 向敏

摘 要：隨著智能電網(wǎng)的發(fā)展，數(shù)據(jù)的訪問(wèn)并發(fā)量在不斷增加，如何對(duì)這些海量的用電數(shù)據(jù)進(jìn)行高效讀取是現(xiàn)今電力企業(yè)亟待解決的問(wèn)題。文章在基于HDFS讀策略的基礎(chǔ)上，提出一種面向用電數(shù)據(jù)的HDFS數(shù)據(jù)讀取策略。綜合節(jié)點(diǎn)的網(wǎng)絡(luò)距離、帶寬利用率和CPU使用率3種因素，通過(guò)評(píng)判函數(shù)找出性能最優(yōu)的節(jié)點(diǎn)并進(jìn)行訪問(wèn)。實(shí)驗(yàn)驗(yàn)證，該策略可以有效提高數(shù)據(jù)的讀取效率，提升了數(shù)據(jù)的讀性能服務(wù)。

關(guān)鍵詞：用電數(shù)據(jù)；HDFS；智能電網(wǎng)；讀策略；讀取效率

隨著信息技術(shù)的飛速發(fā)展，大數(shù)據(jù)時(shí)代己走進(jìn)了人們的生活。由中國(guó)信息化專委會(huì)發(fā)布的《中國(guó)電力大數(shù)據(jù)發(fā)展白皮書(shū)》報(bào)告中顯示，電力大數(shù)據(jù)已呈現(xiàn)出“數(shù)字摩爾時(shí)代”的發(fā)展趨勢(shì)[1]。為了能夠?qū)崿F(xiàn)與居民用戶的實(shí)時(shí)交互，電表業(yè)務(wù)的數(shù)據(jù)采集頻度由現(xiàn)在的每月提高到每日，甚至每小時(shí)[2-3]。隨著用電信息采集系統(tǒng)的數(shù)據(jù)越來(lái)越多樣化，用戶對(duì)數(shù)據(jù)的訪問(wèn)并發(fā)性也越來(lái)越高，如何對(duì)數(shù)據(jù)有效地讀取是當(dāng)今電力企業(yè)急需解決的問(wèn)題。而分布式文件系統(tǒng)（HadoopDistributed File System，HDFS）作為云存儲(chǔ)的基本架構(gòu)，將其結(jié)合到電網(wǎng)領(lǐng)域當(dāng)中，可以有效地解決電力大數(shù)據(jù)的讀取速率慢、訪問(wèn)時(shí)延大等問(wèn)題。目前有不少的學(xué)者對(duì)HDFS讀取過(guò)程策略進(jìn)行了相關(guān)的研究。陳佳[4]通過(guò)將灰色優(yōu)勢(shì)分析應(yīng)用于HDFS系統(tǒng)中，根據(jù)用戶的歷史訪問(wèn)數(shù)據(jù)的規(guī)律來(lái)預(yù)測(cè)下一次的被訪問(wèn)到數(shù)據(jù)節(jié)點(diǎn)，從而有效提高了數(shù)據(jù)的訪問(wèn)速率。李強(qiáng)等[5]通過(guò)分析HDFS數(shù)據(jù)的存取與讀取的過(guò)程，提出一種基于HDFS的數(shù)據(jù)隨機(jī)訪問(wèn)策略。通過(guò)在數(shù)據(jù)節(jié)點(diǎn)添加本地?cái)?shù)據(jù)訪問(wèn)接口，為數(shù)據(jù)塊添加了管理權(quán)限，提升了數(shù)據(jù)的讀與寫(xiě)的性能。

本文通過(guò)詳細(xì)分析HDFS文件的讀流程，在HDFS讀策略的基礎(chǔ)上進(jìn)行優(yōu)化，綜合候選數(shù)據(jù)節(jié)點(diǎn)的多個(gè)指標(biāo)，評(píng)判出候選節(jié)點(diǎn)群最優(yōu)的數(shù)據(jù)節(jié)點(diǎn)進(jìn)行讀取數(shù)據(jù)，可以有效提高數(shù)據(jù)的訪問(wèn)速率，也提升了系統(tǒng)的服務(wù)性能。

1 HDFS讀過(guò)程

在HDFS中，客戶端訪問(wèn)HDFS文件主要有以下幾個(gè)步驟，具體如下。

（1）客戶端發(fā)送讀數(shù)據(jù)請(qǐng)求，打開(kāi)HDFS文件系統(tǒng)：客戶端首選調(diào)用open方法來(lái)打開(kāi)HDFS文件系統(tǒng)，通過(guò)RPC協(xié)議遠(yuǎn)程調(diào)用Namenode節(jié)點(diǎn)并進(jìn)行交互得到所有數(shù)據(jù)塊所在的Datanode節(jié)點(diǎn)信息。

（2）通過(guò)調(diào)用get Block Locations方法獲取訪問(wèn)數(shù)據(jù)的起始數(shù)據(jù)的所有數(shù)據(jù)節(jié)點(diǎn)位置信息，名字節(jié)點(diǎn)返回來(lái)的數(shù)據(jù)節(jié)點(diǎn)隊(duì)列是以數(shù)據(jù)節(jié)點(diǎn)與客戶端距離遠(yuǎn)近進(jìn)行排序。

（3）客戶端通過(guò)調(diào)用read方法從步驟2選出的Data node節(jié)點(diǎn)進(jìn)行讀數(shù)據(jù)，Data node里面的數(shù)據(jù)塊通過(guò)以數(shù)據(jù)包（packet）形式通過(guò)數(shù)據(jù)流管道傳輸?shù)娇蛻舳松?，?dāng)發(fā)送數(shù)據(jù)包的總大小達(dá)到一個(gè)數(shù)據(jù)塊時(shí)，接著繼續(xù)調(diào)用文件剩下的數(shù)據(jù)塊。

（4）當(dāng)客戶端成功的讀取文件所有數(shù)據(jù)塊后，調(diào)用clo se方法關(guān)閉數(shù)據(jù)流，整個(gè)數(shù)據(jù)的讀流程結(jié)束。HDFS讀流程如圖1所示。

2 一種面向用電數(shù)據(jù)的HDFS數(shù)據(jù)讀取策略

分析HDFS讀取原理可知，HDFS在選擇數(shù)據(jù)節(jié)點(diǎn)進(jìn)行讀取數(shù)據(jù)時(shí)，只考慮了數(shù)據(jù)節(jié)點(diǎn)離客戶端距離遠(yuǎn)近，這易造成離客戶端近的數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)熱點(diǎn)問(wèn)題，造成網(wǎng)絡(luò)擁塞。因此本文提出的策略基于候選節(jié)點(diǎn)的網(wǎng)絡(luò)距離（D）、帶寬利用率（Bu）及CPU使用率（Cu），從而選出性能最優(yōu)的節(jié)點(diǎn)進(jìn)行訪問(wèn)。

首先定義評(píng)價(jià)值P，代表每個(gè)節(jié)點(diǎn)的性能。其詳細(xì)定義如式1下：

P= αD+βB_u+γC_u

（1）

其中α，β，γ分別是網(wǎng)絡(luò)距離、帶寬利用率及CPU使用率的權(quán)值因子，α，β，γ的取值由各個(gè)因子的偏重程度決定，偏重程度越高的對(duì)應(yīng)的權(quán)值因子就越大，且α+β+γ=1。從式1可知，當(dāng)P值越大時(shí)，說(shuō)明對(duì)應(yīng)該數(shù)據(jù)節(jié)點(diǎn)的性能就越好，從而提供的數(shù)據(jù)讀取效率就越高。

3 測(cè)試與分析

在本次實(shí)驗(yàn)當(dāng)中，取出一個(gè)文件，對(duì)它采取不同的訪問(wèn)量進(jìn)行測(cè)試其相應(yīng)的響應(yīng)時(shí)間，響應(yīng)時(shí)間越快，說(shuō)明訪問(wèn)的速度越快。在本次實(shí)驗(yàn)當(dāng)中，采取的訪問(wèn)次數(shù)分別為30，40，50，60，70，80，并統(tǒng)計(jì)出其平均響應(yīng)時(shí)間，并和HDFS原策略進(jìn)行對(duì)比，對(duì)比效果如圖2所示。

從圖2可看出，文件的訪問(wèn)量在較小時(shí)，兩種策略下的響應(yīng)時(shí)間差異性不是很大，但隨著該文件的訪問(wèn)量不斷加大時(shí)，本文提出策略的響應(yīng)時(shí)間快于HDFS原讀取策略。這是因?yàn)镠DFS原讀取策略只考慮距離的原因，離客戶端越近的數(shù)據(jù)節(jié)點(diǎn)在數(shù)據(jù)傳輸?shù)臅r(shí)候易出現(xiàn)擁塞，造成了數(shù)據(jù)延時(shí)，而本文策略綜合考慮節(jié)點(diǎn)的離客戶端的距離、帶寬利用率和CPU使用率，選出最優(yōu)的節(jié)點(diǎn)進(jìn)行讀取數(shù)據(jù)，從而提升了數(shù)據(jù)的訪問(wèn)效率。

4 結(jié)語(yǔ)

本文策略以選取節(jié)點(diǎn)的離客戶端的距離、帶寬利用率和CPU使用率為評(píng)判因子，通過(guò)評(píng)判函數(shù)評(píng)判出每個(gè)節(jié)點(diǎn)的評(píng)判值，通過(guò)評(píng)判值選出性能最優(yōu)的數(shù)據(jù)節(jié)點(diǎn)進(jìn)行讀取數(shù)據(jù)。研究表明，該策略有效提升了數(shù)據(jù)的訪問(wèn)速率，提升了系統(tǒng)的服務(wù)性能。

[參考文獻(xiàn)]

[1]張沛，楊華飛，許元斌.電力大數(shù)據(jù)及其在電網(wǎng)公司的應(yīng)用[J].中國(guó)電機(jī)工程學(xué)報(bào)，2014（ Sl）：85-92.

[2]宋亞奇，周?chē)?guó)亮，朱永利.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J]電網(wǎng)技術(shù)，2013 （4）：927-935.

[3]胡江溢，祝恩國(guó)，杜新綱，等用電信息采集系統(tǒng)應(yīng)用現(xiàn)狀及發(fā)展趨勢(shì)[J].電力系統(tǒng)自動(dòng)化，2014（2）：131-135.

[4]陳佳.基于灰色優(yōu)勢(shì)分析的HDFS數(shù)據(jù)讀取方法方案設(shè)計(jì)[J].電腦迷，2017 （4）：165-166.

[5]李強(qiáng)，孫震宇，孫功星.一種面向HDFS的數(shù)據(jù)隨機(jī)訪問(wèn)方法[J]計(jì)算機(jī)工程與應(yīng)用，2017 （10）：1-7.