李 強(qiáng), 劉曉峰

(1.太原理工大學(xué) 財(cái)經(jīng)學(xué)院，太原 030024; 2.山西省財(cái)政稅務(wù)?？茖W(xué)校 信息學(xué)院，太原 030024; 3.太原理工大學(xué) 大數(shù)據(jù)學(xué)院，太原 030024)

(*通信作者電子郵箱122824940@qq.com)

基于Hopfield神經(jīng)網(wǎng)絡(luò)的云存儲(chǔ)負(fù)載均衡策略

李 強(qiáng)1,2, 劉曉峰3*

(1.太原理工大學(xué) 財(cái)經(jīng)學(xué)院，太原 030024; 2.山西省財(cái)政稅務(wù)?？茖W(xué)校 信息學(xué)院，太原 030024; 3.太原理工大學(xué) 大數(shù)據(jù)學(xué)院，太原 030024)

(*通信作者電子郵箱122824940@qq.com)

針對(duì)當(dāng)前Hadoop存儲(chǔ)效率不高，且副本故障后恢復(fù)成本較高的問(wèn)題，提出一種基于Hopfield神經(jīng)網(wǎng)絡(luò)(HNN)的存儲(chǔ)策略。為了實(shí)現(xiàn)系統(tǒng)整體性能的提升，首先分析影響存儲(chǔ)效率的資源特征；然后建立資源約束模型，設(shè)計(jì)Hopfield能量函數(shù), 并化簡(jiǎn)該能量函數(shù);最后，通過(guò)標(biāo)準(zhǔn)用例Wordcount測(cè)試，分析8個(gè)節(jié)點(diǎn)的平均利用率, 并與三個(gè)常用算法包括基于資源的動(dòng)態(tài)調(diào)用算法、基于能耗的算法和Hadoop默認(rèn)存儲(chǔ)策略進(jìn)行性能和資源利用方面的比較。實(shí)驗(yàn)表明，與對(duì)比算法相比，基于HNN的存儲(chǔ)策略在效率上分別平均提升15.63%、32.92%和55.92%。因此，該方法在應(yīng)用中可以更好地實(shí)現(xiàn)資源負(fù)載平衡，將有助于改善Hadoop的存儲(chǔ)能力，并可以加快檢索。

云存儲(chǔ)；Hadoop；Hadoop分布式文件系統(tǒng)；副本策略；負(fù)載均衡

0 引言

云存儲(chǔ)作為云計(jì)算的一種重要應(yīng)用，通過(guò)對(duì)數(shù)據(jù)資源的統(tǒng)一化管理，能為用戶提供高可靠性和可用性的大數(shù)據(jù)存儲(chǔ)方式，受到到商界和學(xué)術(shù)界的特別重視[1-2]?；贕oogle云的云存儲(chǔ)服務(wù)案例告訴我們，云并不一定建立在大規(guī)模和高可靠性的專用機(jī)器上，如果通過(guò)采用策略算法實(shí)施于一群普通PC上，就可以實(shí)現(xiàn)廉價(jià)的大規(guī)模存儲(chǔ)。而這些硬件基礎(chǔ)設(shè)施的可靠性并不一定高，一旦發(fā)生故障將導(dǎo)致永久性的數(shù)據(jù)遺失，所以為了提高可靠性，云存儲(chǔ)系統(tǒng)往往采用副本技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)的冗余備份。副本技術(shù)將一個(gè)文件復(fù)制多份，然后采用算法將這些備份分布在不同的存儲(chǔ)介質(zhì)上，一方面可以防止存儲(chǔ)設(shè)備宕機(jī)造成的危害，另一方面可為系統(tǒng)提供負(fù)載均衡，減輕單臺(tái)存儲(chǔ)造成的性能瓶頸，實(shí)現(xiàn)多臺(tái)同時(shí)訪問(wèn)，以提高系統(tǒng)的整體性能和可靠性。

在Hadoop文件系統(tǒng)中使用ReplicationTargetChooser類實(shí)現(xiàn)副本算法，該默認(rèn)算法設(shè)置3個(gè)副本：第一個(gè)副本存放在客戶所在的DataNode上；第二個(gè)副本放在與第一個(gè)副本不同的機(jī)架中，并隨機(jī)選擇該機(jī)架中的一個(gè)DataNode進(jìn)行存放；而第三個(gè)副本則存放于第一個(gè)副本所在的機(jī)架但與第一個(gè)副本不同的DataNode中。如果有更多副本則隨機(jī)安放在系統(tǒng)的DataNode中。這種分布策略在一定程度上提高了系統(tǒng)的可靠性和負(fù)載能力，但這種策略隨機(jī)性強(qiáng)，數(shù)據(jù)均衡性不是很強(qiáng)，所以需要進(jìn)一步改進(jìn)副本存放策略以提高系統(tǒng)的負(fù)載均衡能力[1]。在默認(rèn)的副本復(fù)制方式下，系統(tǒng)的整體性能并不高，但是在近幾年，云存儲(chǔ)管理方式才得到一些國(guó)內(nèi)外學(xué)者的關(guān)注。

2010年，國(guó)外學(xué)者Bonvin等[2]提出了一種可以自組織、故障忍耐，并可縮放的模型實(shí)現(xiàn)云存儲(chǔ)。同期間在IEEE的國(guó)際會(huì)議上，Wei等[3]也提出了一種云存儲(chǔ)簇的概念，使用成本效益合算方法實(shí)現(xiàn)動(dòng)態(tài)復(fù)制管理。缺省的Hadoop副本存放策略基本上采用隨機(jī)方式存放，并沒有考慮各個(gè)存儲(chǔ)節(jié)點(diǎn)的異構(gòu)性。為了解決該問(wèn)題，文獻(xiàn)[4]中提出了依據(jù)節(jié)點(diǎn)處理能力計(jì)算備份的存儲(chǔ)位置，在一定程度上提升了系統(tǒng)的整體存儲(chǔ)性能，主要解決了系統(tǒng)中的異構(gòu)性問(wèn)題。2012年，周敬利等[5]提出了一種基于歷史訪問(wèn)記錄和積極刪除文件的方法來(lái)實(shí)現(xiàn)數(shù)據(jù)的復(fù)制，實(shí)現(xiàn)了文件訪問(wèn)時(shí)間與文件保持一致性之間的代價(jià)平衡。文獻(xiàn)[6]中通過(guò)使用哈希分布算法實(shí)現(xiàn)節(jié)點(diǎn)數(shù)據(jù)均勻分布，同時(shí)也實(shí)現(xiàn)了負(fù)載均衡；但是僅從容量的角度來(lái)提升性能，無(wú)法滿足異構(gòu)式分布系統(tǒng)的需求。文獻(xiàn)[7]中依據(jù)節(jié)點(diǎn)距離和負(fù)載能力之間均衡，實(shí)現(xiàn)對(duì)文獻(xiàn)[6]中的方法進(jìn)一步改進(jìn)。2013年，張興[8]提出了一種比較全面的副本存放策略,該方法參考服務(wù)器負(fù)載均衡的策略，主要從磁盤空間的使用率、磁盤I /O訪問(wèn)率、CPU使用率和內(nèi)存使用率來(lái)評(píng)價(jià)系統(tǒng)的負(fù)載均衡能力；但是該策略沒有考慮網(wǎng)絡(luò)因素和節(jié)點(diǎn)的分布方式對(duì)系統(tǒng)的影響，所以還有很多發(fā)展的空間。2014年，付雄等[9]提出了一種基于分簇思想且采用網(wǎng)絡(luò)帶寬和負(fù)載均衡的方法來(lái)布置副本的技術(shù)，并在實(shí)驗(yàn)中得到證實(shí)。但該方法是一種靜態(tài)簇方法，不能支持簇的動(dòng)態(tài)加入。此外，使用臨時(shí)副本技術(shù)也增加了管理上的難度。

應(yīng)用在作業(yè)調(diào)度中的典型代表技術(shù)有粒子群算法、蟻群算法、BP神經(jīng)網(wǎng)絡(luò)、概率神經(jīng)網(wǎng)絡(luò)[10]和霍普菲爾德神經(jīng)網(wǎng)絡(luò)(Hopfield Neural Network, HNN)等。其中,HNN已經(jīng)成功應(yīng)用在Job-Shop[11]和多處理器作業(yè)調(diào)度方面[12]。HNN算法在文獻(xiàn)[11-12]中針對(duì)時(shí)間約束和資源約束可以很好地結(jié)合，并通過(guò)實(shí)驗(yàn)結(jié)果表明可以達(dá)到資源的最佳配置。

在Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System，HDFS)集群中，為了達(dá)到每個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)之間的負(fù)載平衡，往往需要對(duì)副本存儲(chǔ)方案進(jìn)行改進(jìn)，選擇合適的節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)實(shí)現(xiàn)副本的存儲(chǔ)。資源的負(fù)載平衡問(wèn)題，其本質(zhì)就是一個(gè)受限資源的分配問(wèn)題，對(duì)應(yīng)于數(shù)學(xué)上的NP問(wèn)題。本文采用HNN來(lái)實(shí)現(xiàn)副本存儲(chǔ)位置的選擇，進(jìn)一步提高云節(jié)點(diǎn)上數(shù)據(jù)存儲(chǔ)和檢索的性能。

1 存儲(chǔ)節(jié)點(diǎn)的特征

為了可以較詳細(xì)地描述系統(tǒng)中某個(gè)節(jié)點(diǎn)的使用狀況，采用5個(gè)指標(biāo)進(jìn)行描述，包括CPU平均使用率、內(nèi)存平均占用率、 I/O平均訪問(wèn)率、 網(wǎng)絡(luò)平均訪問(wèn)率和磁盤平均利用率。根據(jù)經(jīng)驗(yàn)和參考其他文獻(xiàn)，選取如表1所示的9個(gè)特征參數(shù)描述節(jié)點(diǎn)狀態(tài)。

表1 節(jié)點(diǎn)特征參數(shù)Tab. 1 Characteristic parameters of nodes

2 基于HNN的存儲(chǔ)策略

2.1 約束條件的表達(dá)

文獻(xiàn)[13]指出HNN實(shí)現(xiàn)優(yōu)化的本質(zhì)是求解對(duì)應(yīng)能量函數(shù)的極值問(wèn)題。在求解問(wèn)題的過(guò)程中，首先設(shè)計(jì)一個(gè)能量函數(shù),不斷地改變對(duì)應(yīng)神經(jīng)元的變量,最終尋找到該問(wèn)題的極值，也就是該神經(jīng)網(wǎng)絡(luò)達(dá)到了穩(wěn)定的狀態(tài)。為了設(shè)計(jì)該對(duì)應(yīng)問(wèn)題的能量函數(shù)，需要?jiǎng)?chuàng)建函數(shù)項(xiàng)，包括目標(biāo)函數(shù)和問(wèn)題的約束條件。

使用變量Zmln表示為編號(hào)為m的數(shù)據(jù)塊在第l個(gè)存儲(chǔ)節(jié)點(diǎn)上的第n個(gè)磁盤上存放的狀態(tài)標(biāo)識(shí)。也就是當(dāng)Zmln=1時(shí)，指明數(shù)據(jù)塊m在第l個(gè)節(jié)點(diǎn)上的第n個(gè)磁盤上存放，否則Zmln=0。其中：m=1,2,…,M，M為數(shù)據(jù)塊的最大編號(hào)；l=1,2,…,N，N為存儲(chǔ)節(jié)點(diǎn)的個(gè)數(shù)；n為磁盤編號(hào)，n=1,2,…,S，S為最大磁盤數(shù)。

約束條件1 一個(gè)數(shù)據(jù)塊的副本只能存放在任意一個(gè)存儲(chǔ)節(jié)點(diǎn)上的一個(gè)磁盤中，可以按式(1)表示。

(1)

約束條件2 一個(gè)數(shù)據(jù)塊的副本只能放在一個(gè)存儲(chǔ)節(jié)點(diǎn)上，可按式(2)表示。

(2)

約束條件3 數(shù)據(jù)塊m存放需要的磁盤數(shù)限制：

(3)

其中：Bm是數(shù)據(jù)塊m需要的最少的磁盤數(shù)。如果式(3)中所需要的磁盤數(shù)為Bm時(shí)，其值為0，即最小值。

約束條件4 存儲(chǔ)過(guò)程中無(wú)空閑存儲(chǔ)節(jié)點(diǎn)約束：

(4)

該約束項(xiàng)用來(lái)保證在存儲(chǔ)過(guò)程中不會(huì)出現(xiàn)所有的存儲(chǔ)節(jié)點(diǎn)閑置。

約束條件5 每個(gè)數(shù)據(jù)塊分配最大磁盤數(shù)：

(5)

其中：tm是數(shù)據(jù)塊m需要存放的最大磁盤量；K(Jmln)為單位步長(zhǎng)函數(shù)，當(dāng)Zmln=1,n-tm>0并且K(Jmln)>0時(shí),此項(xiàng)大于0，否則此項(xiàng)等于0。

約束條件6 資源共享競(jìng)爭(zhēng)互斥：

(6)

針對(duì)共享資源競(jìng)爭(zhēng)的問(wèn)題,即兩個(gè)數(shù)據(jù)塊存放的相同扇區(qū)不能同時(shí)使用同樣的資源,如網(wǎng)絡(luò)、CPU和具體存儲(chǔ)單元等。在式(6)中，F(xiàn)代表磁盤扇區(qū)的總量，t表示存儲(chǔ)時(shí)間片，Rmlnhk和Rxynhk分別代表了數(shù)據(jù)塊m和數(shù)據(jù)塊x的資源需求矩陣的元素。若Rmlnhk=1，表示在h存儲(chǔ)時(shí)間時(shí)數(shù)據(jù)塊m需要資源k，Rxlnhk的作用等同于Rmlnhk。該約束項(xiàng)的作用是保證這兩個(gè)不同磁盤的數(shù)據(jù)不能同時(shí)使用資源k。

當(dāng)滿足以上任意一個(gè)條件約束時(shí),該約束對(duì)應(yīng)的約束條件項(xiàng)值為0。聯(lián)合以上所有的約束條件表達(dá)項(xiàng),可以按式(7)統(tǒng)一表達(dá)所有約束:

(7)

其中:Ai是各個(gè)項(xiàng)的權(quán)重因數(shù),并且保證Ai>0。

經(jīng)過(guò)約束條件的組合設(shè)置，并設(shè)計(jì)能量函數(shù)，就可以實(shí)現(xiàn)優(yōu)化目標(biāo)，解決滿足資源要求的分配問(wèn)題[11]。

2.2 能量函數(shù)的設(shè)計(jì)

HNN具有高度的并行執(zhí)行能力，可以被用來(lái)解決資源的優(yōu)化組合配置問(wèn)題。通過(guò)將上述約束條件聯(lián)合成能量函數(shù)，可以滿足李雅普諾夫函數(shù)條件，該系統(tǒng)存在穩(wěn)定的控制狀態(tài)，即該能量函數(shù)有解[13]。整理式(7)可以得到式(8)。

(8)

其中：

(9)

其中：兩個(gè)神經(jīng)元突觸之間的連接強(qiáng)度用ψijkxyzhp表示,神經(jīng)元閾值用變量ζxyz表示。該問(wèn)題可由二值狀態(tài)的離散型神經(jīng)元表示，該變量的變化可由式(10)推導(dǎo)得出。

(10)

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)方法

為了觀察該基于HNN的存儲(chǔ)策略的性能，采用Hadoop三個(gè)標(biāo)準(zhǔn)的用例進(jìn)行測(cè)試，包括WordCount、TaraSort和MRBench，并且與基于資源的動(dòng)態(tài)調(diào)用算法、基于能耗的算法和Hadoop默認(rèn)存儲(chǔ)策略進(jìn)行對(duì)比。本文采用的是預(yù)先周期節(jié)點(diǎn)情況采樣策略，定期更新HNN的輸入?yún)?shù)，采樣周期為20 s，該方法可以避免動(dòng)態(tài)方法訪問(wèn)頻率過(guò)高，同時(shí)也可以減少不必要的I/O開銷。

該系統(tǒng)配置為8個(gè)節(jié)點(diǎn)，其中一個(gè)節(jié)點(diǎn)為管理節(jié)點(diǎn)，其余7個(gè)為存儲(chǔ)節(jié)點(diǎn)。網(wǎng)絡(luò)參數(shù)Ai設(shè)置如下:A1=4.1,A2=4.1,A3=1.1,A4=2.3,A5=2.3,A6=4.1；并設(shè)置網(wǎng)絡(luò)按串行方式迭代200步。

3.2 實(shí)驗(yàn)分析

對(duì)比測(cè)試結(jié)果如表2所示，可以看出與基于資源的動(dòng)態(tài)調(diào)用算法、基于能耗的算法和Hadoop默認(rèn)存儲(chǔ)策略相比，基于HNN的存儲(chǔ)策略在Wordcount用例上分別快178 ms、236 ms和226 ms；在Terasort用例上分別快138 ms、353 ms和523 ms;在MRBench用例上分別快118 ms、324 ms和568 ms。此外，基于HNN的存儲(chǔ)策略、基于資源的動(dòng)態(tài)調(diào)用算法和基于能耗的算法在執(zhí)行效率上比Hadoop默認(rèn)存儲(chǔ)策略分別可提升55.92%、40.29%和23.04%；與基于資源的動(dòng)態(tài)調(diào)用算法、基于能耗的算法和Hadoop默認(rèn)存儲(chǔ)策略相比,本文推薦的存儲(chǔ)策略在執(zhí)行效率上分別平均可以提升15.63%、32.92%和55.92%。分析其比較效果是因?yàn)榛贖NN的存儲(chǔ)策略獨(dú)立運(yùn)行在管理節(jié)點(diǎn)上，并不參與存儲(chǔ)，在存儲(chǔ)節(jié)點(diǎn)上沒有消耗，所以沒有明顯地增加系統(tǒng)開銷和時(shí)間。基于資源的動(dòng)態(tài)調(diào)用算法側(cè)重于等待時(shí)間而輕資源消耗，而基于能耗的算法偏重于資源利用而輕時(shí)間消耗，這兩種算法均未能均衡對(duì)待時(shí)間和資源，導(dǎo)致系統(tǒng)整體開銷增加，時(shí)間消耗增大。如某些節(jié)點(diǎn)資源處理能力弱卻因等待時(shí)間長(zhǎng)而被動(dòng)態(tài)算法選擇，事實(shí)上處理能力強(qiáng)的節(jié)點(diǎn)更加合適，所以會(huì)增加整體系統(tǒng)消耗時(shí)間；又如異構(gòu)系統(tǒng)中節(jié)點(diǎn)資源不均等，資源多且能耗也大，但是能耗算法將選擇其他資源小且能耗也小的節(jié)點(diǎn)，產(chǎn)生非能力分配等情況，反而系統(tǒng)的整體消耗將會(huì)增加。所以從總體消耗來(lái)觀察，HNN具有顯著優(yōu)勢(shì)。

如表3所示，節(jié)點(diǎn)1中的CPU利用率、內(nèi)存利用率、I/O利用率和網(wǎng)路利用率相對(duì)其他節(jié)點(diǎn)較高，而磁盤利用率較低，分析其原因?yàn)樵摴?jié)點(diǎn)是管理節(jié)點(diǎn)，主要維護(hù)數(shù)據(jù)的索引，并不真實(shí)存儲(chǔ)數(shù)據(jù)。同時(shí)，可以計(jì)算得到7個(gè)計(jì)算節(jié)點(diǎn)的CPU利用率、內(nèi)存利用率、I/O利用率、網(wǎng)路利用率和磁盤利用率分別平均分布在72.625%、73.12%、66.5%、53.55%和46.5%，且可觀察到該5個(gè)指標(biāo)分布相對(duì)均衡。

通過(guò)3個(gè)用例對(duì)四個(gè)算法進(jìn)行相同的測(cè)試，如表4所示，基于HNN的存儲(chǔ)策略的I/O平均利用率、網(wǎng)路平均利用率和磁盤平均利用率相對(duì)其他算法較低，究其原因?yàn)樨?fù)載均衡后，減少了不必要的I/O和網(wǎng)絡(luò)開銷，也就是由于基于HNN的存儲(chǔ)策略針對(duì)磁盤參數(shù)、I/O參數(shù)和網(wǎng)絡(luò)參數(shù)可以均衡地表達(dá)在約束條件中。而基于能耗的算法中CPU平均利用率、內(nèi)存平均利用率顯著較高，而I/O平均利用率、網(wǎng)路平均利用率和磁盤平均利用率較低，其原因?yàn)榘汛罅康倪\(yùn)算布置在本地，過(guò)度降低I/O的能耗而導(dǎo)致CPU和內(nèi)存的代價(jià)增高?；谫Y源的動(dòng)態(tài)調(diào)用算法的CPU平均利用率、內(nèi)存平均利用率和磁盤平均利用率相對(duì)于其平均利用率和網(wǎng)絡(luò)平均利用率較低,其原因是為了實(shí)現(xiàn)資源的動(dòng)態(tài)平衡,而在不同節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)交換,增大了I/O和網(wǎng)絡(luò)的開銷。Hadoop默認(rèn)存儲(chǔ)策略由于在數(shù)據(jù)負(fù)載平衡之間沒有較準(zhǔn)確地按需調(diào)配,導(dǎo)致系統(tǒng)的總的開銷都比較大。

表2 幾種算法執(zhí)行時(shí)間對(duì)比Tab. 2 Execution time comparison of several algorithms

表3 8個(gè)節(jié)點(diǎn)的平均資源利用率Tab. 3 Average resource utilization rate of 8 nodes

表4 用例的性能比較 %Tab. 4 Performance comparison of use cases %

4 結(jié)語(yǔ)

本文首先分析了Hadoop默認(rèn)存儲(chǔ)策略存在的問(wèn)題,該問(wèn)題最終會(huì)導(dǎo)致系統(tǒng)負(fù)載不均,以及系統(tǒng)恢復(fù)數(shù)據(jù)高成本的缺陷；然后,分析系統(tǒng)各個(gè)資源對(duì)存放數(shù)據(jù)的影響，建立一套綜合資源利用模型；最后，使用人工智能HNN技術(shù)實(shí)現(xiàn)數(shù)據(jù)存放策略的改進(jìn)，并通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法可以實(shí)現(xiàn)存儲(chǔ)負(fù)載均衡，顯著地提升系統(tǒng)的存儲(chǔ)性能和檢索效率。

高彈性的系統(tǒng)能力是云計(jì)算的顯著特征，但是在系統(tǒng)規(guī)模增大或作業(yè)數(shù)顯著增加時(shí)，現(xiàn)有的云作業(yè)調(diào)度算法的性能容易達(dá)到峰值。如何改進(jìn)作業(yè)調(diào)度策略，提升系統(tǒng)的整體作業(yè)吞載率，實(shí)現(xiàn)作業(yè)調(diào)度算法的優(yōu)化，將是我們下一步研究的重點(diǎn)。

References)

[1] BORTHAKUR D. Hadoop [EB/OL]. [2011- 06- 15]. http://lucene.apache.org/hadoop.

[2] BONVIN N, PAPAIOANNOU T G, ABERER K. A self-organized, fault-tolerant and scalable replication scheme for cloud storage [C]// SoCC ’10: Proceedings of the 1st ACM Symposium on Cloud Computing. New York: ACM, 2010: 205-216.

[3] WEI Q, VEERAVALLI B, GONG B, et al. CDRM: a cost-effective dynamic replication management scheme for cloud storage cluster [C]// CLUSTER ’10: Proceedings of the 2010 IEEE International Conference on Cluster Computing. Washington, DC: IEEE Computer Society, 2010: 188-196.

[4] RUAN X, XIE J, DING Z, et al. Improving MapReduce performance through data placement in heterogeneous Hadoop clusters [C]// Proceedings of the 2010 IEEE International Symposium on Parallel and Distributed Processing, Workshops and Phd Forum. Washington, DC: IEEE Computer Society, 2010: 1-9.

[5] WANG Z, LI T, XIONG N, et al. A novel dynamic network data replication scheme based on historical access record and proactive deletion [J]. The Journal of Supercomputing, 2012, 62(1): 227-250.

[6] 周敬利,周正達(dá).改進(jìn)的云存儲(chǔ)系統(tǒng)數(shù)據(jù)分布策略[J].計(jì)算機(jī)應(yīng)用,2012,32(2):309-312. (ZHOU J L, ZHOU Z D. Improved data distribution strategy for cloud storage system [J]. Journal of Computer Applications, 2012, 32(2): 309-312.)

[7] 林偉偉．一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2012,40(1):152-153. (LIN W W. An improved data placement strategy for Hadoop [J]. Journal of South China University of Technology (Natural Science Edition), 2012, 40(1): 153-158.)

[8] 張興.基于Hadoop的云存儲(chǔ)平臺(tái)的研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué),2013:22-38. (ZHANG X. Research and Implementation of cloud storage plateform based on Hadoop [D]. Chengdu: University of Electronic Science and Technology of China, 2013: 22-38.)

[9] 付雄,貢曉杰,王汝傳.云存儲(chǔ)系統(tǒng)中基于分簇的數(shù)據(jù)復(fù)制策略[J].計(jì)算機(jī)工程與科學(xué),2014,36(12):2296-2304. (FU X G, GONG X J, WANG R C. A cluster based data replication strategy in cloud storage systems [J]. Computer Engineering & Science, 2014, 36(12): 2296-2304.)

[10] 李強(qiáng),劉曉峰,賀靜.基于語(yǔ)音特征的情感分類[J].小型微型計(jì)算機(jī)系統(tǒng),2016,37(2):385-388. (LI Q, LIU X F, HE J. Sentiment classification based on voice features [J]. Journal of Chinese Computer Systems, 2016, 37(2): 385-388.)

[11] 王萬(wàn)良,吳啟迪,徐新黎.基于Hopfield神經(jīng)網(wǎng)絡(luò)的作業(yè)車間生產(chǎn)調(diào)度方法[J].自動(dòng)化學(xué)報(bào),2002,28(5):838-844. (WANG W L, WU Q D, XU X L. Hopfield neural network approach for job-shop scheduling problems [J]. Acta Automatica Sinica, 2002, 28(5): 838-844.)

[12] 王秀利,吳惕華.一種求解多處理器作業(yè)調(diào)度的Hopfield神經(jīng)網(wǎng)絡(luò)方法[J].系統(tǒng)工程與電子技術(shù),2002,24(8):13-16. (WANG X L, WU T H. Scheduling multiprocessor job using Hopfield neural network [J]. Systems Engineering and Electronics, 2002, 24(8): 13-16.)

[13] HOPFIELD J J, TANK D W. Neural computation of decision in optimization problems [J]. Biological Cybernetics, 1985, 52(3): 141-152.

This work is partially supported by the National Natural Science Foundation of China (61502330), the Scientific and Technological Innovation Programs of Higher Education Institutions in Shanxi (20161131), the Project of Soft Science Plan of Shanxi Province (2016041008- 5).

LIQiang, born in 1980, M. S., associate professor, senior engineer. His research interests include Hopfield neural network.

LIUXiaofeng, born in 1979, Ph. D., lecturer. His research interests include Hopfield neural network.

LoadbalancingstrategyofcloudstoragebasedonHopfieldneuralnetwork

LI Qiang1，2, LIU Xiaofeng3*

(1.CollegeofFinanceandEconomics,TaiyuanUniversityofTechnology,TaiyuanShanxi030024,China；2.CollegeofInformation,ShanxiFinanceandTaxationCollege,TaiyuanShanxi030024,China；3.CollegeofDataScience,TaiyuanUniversityofTechnology,TaiyuanShanxi030024,China)

Focusing on the shortcoming of low storage efficiency and high recovery cost after copy failure of the current Hadoop, Hopfield Neural Network (HNN) was used to improve the overall performance. Firstly, the resource characteristics that affect the storage efficiency were analyzed. Secondly, the resource constraint model was established, the Hopfield energy function was designed and simplified. Finally, the average utilization rate of 8 nodes was analyzed by using the standard test case Wordcount, and the performance and resource utilization of the proposed strategy were compared with three typical algorithms including dynamic resource allocation algorithm, energy-efficient algorithm and Hadoop default storage strategy, and the comparison results showed that the average efficiency of the storage strategy based on HNN was promoted by 15.63%, 32.92% and 55.92% respectively. The results indicate that the proposed algorithm can realize the resource load balancing, help to improve the storage capacity of Hadoop, and speed up the retrieval.

cloud storage; Hadoop; Hadoop Distributed File System (HDFS); replica strategy; load balancing

TP393.027

A

2017- 01- 18;

2017- 03- 10。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61502330)；山西省高等學(xué)校科技創(chuàng)新項(xiàng)目(20161131)；山西省軟科學(xué)計(jì)劃研究項(xiàng)目(2016041008- 5)。

李強(qiáng)(1980—)，男，山西太原人, 副教授，高級(jí)工程師，碩士，CCF會(huì)員，主要研究方向：Hopfield神經(jīng)網(wǎng)絡(luò)； 劉曉峰(1979—)，男，山西懷仁人，講師，博士，主要研究方向：Hopfield神經(jīng)網(wǎng)絡(luò)。

1001- 9081(2017)08- 2214- 04

10.11772/j.issn.1001- 9081.2017.08.2214