朱承璋,張 舸

(1.湖南理工學(xué)院 計算機學(xué)院,湖南 岳陽 414006;2.湖南理工學(xué)院 信息工程學(xué)院,湖南 岳陽 414006)

基于網(wǎng)格環(huán)境的自適應(yīng)資源調(diào)度策略

朱承璋1,張 舸2

(1.湖南理工學(xué)院 計算機學(xué)院,湖南 岳陽 414006;2.湖南理工學(xué)院 信息工程學(xué)院,湖南 岳陽 414006)

網(wǎng)格計算使得大規(guī)模的網(wǎng)絡(luò)資源共享和協(xié)作成為可能,網(wǎng)格環(huán)境中如何提高資源有效利用率是一個有研究價值的問題.本文提出在網(wǎng)格環(huán)境中,根據(jù)資源失效規(guī)律可以自適應(yīng)的提供更可靠的資源節(jié)點.經(jīng)測試表明,與普通資源調(diào)度策略相比較,本文提出的策略可以屏蔽掉大量失效節(jié)點,為用戶動態(tài)提供更可靠的節(jié)點資源.

網(wǎng)格計算;資源調(diào)度;自適應(yīng);可靠性

網(wǎng)格計算是當前計算機領(lǐng)域的一個研究熱點.隨著信息技術(shù)的不斷發(fā)展,人們對計算能力、數(shù)據(jù)存儲能力、網(wǎng)絡(luò)服務(wù)能力等的需求越來越大,網(wǎng)格計算應(yīng)運而生,使得大規(guī)模的網(wǎng)絡(luò)資源共享和協(xié)作成為可能[1].因而,網(wǎng)格環(huán)境中如何提高資源有效利用率是一個值得研究的問題.

實際上,動態(tài)提供的自適應(yīng)的資源的可靠性對于網(wǎng)格以及云計算都是很關(guān)鍵的.網(wǎng)格計算中各種服務(wù)有不同的資源需求模式,動態(tài)申請的資源請求有很強的波動性[2,3],各種服務(wù)資源有著不同的失效特性[4].本文研究了節(jié)點資源的動態(tài)提供策略中的節(jié)點失效規(guī)律,以保證網(wǎng)格計算中動態(tài)分配資源的可靠性和有效利用.

網(wǎng)格計算平臺下各種服務(wù)大致可以分成兩大類:數(shù)據(jù)計算密集型服務(wù)和交互密集型網(wǎng)絡(luò)處理服務(wù).當前主要考慮這兩類服務(wù)的節(jié)點資源失效的規(guī)律,結(jié)合資源調(diào)度策略,實現(xiàn)資源分配的可靠.

1 資源失效規(guī)律

在開放的網(wǎng)格計算環(huán)境中,服務(wù)提供者是資源提供者的直接客戶,實現(xiàn)對需要資源服務(wù)的客戶端的服務(wù)供給和質(zhì)量保證;資源提供者提供計算資源,同時保證資源的可靠性,至少不能是失效的.

失效率定義如下:假定直到時刻t系統(tǒng)都是有效的,失效率是時刻t到時刻t+Δt中的資源失效的概率,它是時間t的一個函數(shù)F(t).

其中pdf(t)是概率密度函數(shù),cdf(t)是概率函數(shù).函數(shù)F(t)定義了資源從初始到時刻t的可靠性.

人們對節(jié)點資源的失效規(guī)律做過大量的研究[5],發(fā)現(xiàn)失效有很強的時間空間局部性,把節(jié)點無計劃重啟失效的間隔時間看成一個隨機過程,這個隨機過程符合參數(shù)shape小于 1的韋伯分布.對于韋伯分布weibull(scale,shape),pdf(t)和cdf(t)分別是

由此可知,服從韋伯分布的節(jié)點資源的失效率函數(shù)可以按如下公式計算:

假設(shè)兩個節(jié)點nodeA、nodeB各自的恢復(fù)時間是uptimeA和uptimeB,且uptimeA＞uptimeB,當shape<1時,F(uptimeA)

2 基于失效規(guī)律的自適應(yīng)網(wǎng)格資源調(diào)度策略

在不考慮節(jié)點資源失效的情況下,通常一個請求到達,資源調(diào)度策略會從節(jié)點資源池中隨機選取一個空閑節(jié)點處理到達的要求,當工作處理完,再把節(jié)點隨機的放回節(jié)點資源池.在有節(jié)點失效的時候,策略將失效的節(jié)點放回節(jié)點資源池,把失效的負載放入等待隊列.

基于失效規(guī)律的自適應(yīng)的網(wǎng)格資源調(diào)度策略中,考慮到資源節(jié)點失效的規(guī)律性,應(yīng)盡量選取可靠的節(jié)點資源分配給任務(wù)請求.研究結(jié)果表明,剛剛失效的節(jié)點比較脆弱,容易再次發(fā)生故障,為提高可靠性,采取的方式是維護一個按上次失效恢復(fù)時間有序排列的節(jié)點資源池,而不再是隨機的.并把剛失效的節(jié)點資源放置在資源隊列的頭部,當有任務(wù)請求的時候,從隊列的尾部取空閑節(jié)點,保證該節(jié)點是空閑節(jié)點資源池中最可靠的節(jié)點.

設(shè)置Operator操作實現(xiàn)從隊列的首尾處存取節(jié)點.當 Node_failure_Event(節(jié)點失效事件)或Time_shedule_Event(時鐘事件)發(fā)生時,策略被調(diào)用.網(wǎng)格中的服務(wù)大致分為計算密集型HPC和交互密集型Web兩大類服務(wù)[6],時鐘事件根據(jù)各個時段內(nèi)的資源需求量,調(diào)整節(jié)點列表,同時對Web服務(wù)節(jié)點做周期性重啟,把運行時間超過的節(jié)點放入到節(jié)點資源池Node_pool_List中.在節(jié)點資源空閑隊列中設(shè)置兩個操作Head()和Tail(),實現(xiàn)資源節(jié)點的提供和收回.

網(wǎng)格計算中,兩大類服務(wù)在資源使用、管理時間粒度、負載類型和性能評價指標等方面都有很大的差異.首先,任務(wù)特征不同.對于交互式服務(wù),任務(wù)由一系列請求序列組成,高性能計算服務(wù)是并行批處理作業(yè);其次,資源使用不同.對于高性能計算,需要獨占資源處理作業(yè),交互式服務(wù),請求可以在共享資源上并發(fā)執(zhí)行;再次,服務(wù)性能衡量指標不同.交互式服務(wù),用戶請求需要在線即時響應(yīng),而高性能計算,用戶可以容忍等待資源;最后,管理時間粒度不同.交互式服務(wù)中,請求處理的過程較短,響應(yīng)時間要求較高,管理時間粒度小,反之高性能計算服務(wù)資源管理粒度較大.

3 結(jié)論

在網(wǎng)格環(huán)境中,根據(jù)資源失效規(guī)律可以自適應(yīng)的提供更可靠的資源節(jié)點,通過網(wǎng)格模擬器Gridsim搭建模擬平臺,模擬異構(gòu)的環(huán)境.經(jīng)測試表明,與普通資源調(diào)度策略相比較,本文提出的策略可以屏蔽掉大量失效節(jié)點,為用戶動態(tài)提供更可靠的節(jié)點資源.

[1]Ian Foster,Carl Kesselman.網(wǎng)格計算[M].金 海,袁平鵬,石 柯,譯.北京:電子工業(yè)出版社,2004

[2]Joshy Joseph,Craig Fellenstein.Grid Computing[M].北京:清華大學(xué)出版社,2005

[3]Irwin D,Chase J S,Grit L et al.Sharing networked resources with brokered leases[C].In Proceedings of the USENIX Technical Conference.Boston,MA,USA,2006:199～212

[4]Schroeder B,Gibson G A.A large-scale study of failures in high-performance computing systems[C].In Proceedings of DSN2006.Philadelphia,Pennsylvania,USA,2006:249～258

[5]田冠華,孟 丹,詹劍鋒.云計算環(huán)境下基于失效規(guī)則的資源動態(tài)提供策略[J].計算機學(xué)報,2010,33 (10):1859～1872

[6]鄭 湃,崔立真,王海洋,等.云計算環(huán)境下面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)布局策略與方法[J].計算機學(xué)報,2010,33(8):1472～1480

Adaptive Resource Schedule Strategy Based on the Grid Environment

ZHU Cheng-zhang1,ZHANG Ge2
(1.College of Computer Science,Hunan Institute of Science and Technology,Yueyang 414006,China;2.College of Information and Communication Engineering,Hunan Institute of Science and Technology,Yueyang 414006,China)

Grid computing makes large scale resources share and coordination become possible.It is a valuable research that how to improve the effective utilization of resources in the grid.In the grid environment,the resource nodes based on unfailing rules will provide more reliable services.After testing,compared with general resource schedule strategy,the proposed strategy can be screened off a large number of failures nodes and provide more dependable resource for user dynamic.

grid computing;resource schedule;adaptive;reliability

TP393

A

1672-5298(2010)04-0036-03

2010-09-05

湖南理工學(xué)院資助項目(2009Y07)

朱承璋(1978? ),女,湖南衡陽人,碩士,湖南理工學(xué)院計算機學(xué)院講師.主要研究方向:計算機網(wǎng)絡(luò),網(wǎng)格性能及模擬