蔣本立 張小平

摘 要： 當(dāng)前的數(shù)據(jù)調(diào)度平臺以數(shù)據(jù)完成時間實現(xiàn)網(wǎng)絡(luò)資源的調(diào)度，將任務(wù)完成時間當(dāng)成網(wǎng)絡(luò)均衡調(diào)度的基礎(chǔ)，未考慮大數(shù)據(jù)網(wǎng)絡(luò)的能耗指標(biāo)，無法實現(xiàn)真正的網(wǎng)絡(luò)均衡調(diào)度。提出基于能量評判的大數(shù)據(jù)網(wǎng)絡(luò)均衡調(diào)度平臺，平臺由服務(wù)模塊、控制模塊、虛擬化模塊和物理資源模塊組成，包括資源定義模塊、資源監(jiān)測模塊以及資源調(diào)度模塊三大功能模塊。設(shè)計一種基于能量評判的網(wǎng)絡(luò)資源調(diào)度模型，在一定的時間區(qū)間內(nèi)，以能量消耗最佳為約束條件，全面分析大數(shù)據(jù)網(wǎng)絡(luò)資源調(diào)度中的能量評判問題，給出調(diào)度平臺采集數(shù)據(jù)的關(guān)鍵代碼。實驗結(jié)果表明，所設(shè)計平臺的平均能耗率、吞吐率以及CPU利用率指標(biāo)都較優(yōu)，具有較高的負(fù)載均衡效果。

關(guān)鍵詞： 大數(shù)據(jù)網(wǎng)絡(luò)； 均衡調(diào)度平臺； 網(wǎng)絡(luò)資源調(diào)度； 能量評判

中圖分類號： TN915?34； TP315 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）06?0062?04

Design and improvement of balanced scheduling platform for big data network

JIANG Benli1， ZHANG Xiaoping2

（1. Department of Electronics and Information Engineering， Hunan Vocational College of Science & Technology， Changsha 410004， China；

2. Information School， Hunan University of Science & Technology， Xiangtan 411201， China）

Abstract： The current data scheduling platform realizes the network resource scheduling according to data completion time， and takes the task completion time as the basis of balanced scheduling network， in which the energy consumption index of big data network is not considered. That is why it can realize the real network balanced scheduling. Therefore， a big data network equilibrium scheduling platform based on energy evaluation is put forward in this paper. The platform is composed of the service module， control module， virtualization module and the physical resource module， including the resource definition module， resource monitoring module and resource scheduling module. A network resource scheduling model based on energy evaluation was designed， which takes optimal energy consumption in a certain time interval as its constraint condition. The energy evaluation in the big data network resource scheduling is analyzed comprehensively. The key code for data acquisition of the scheduling platform is given. Experiment result shows that the average energy consumption rate， throughput and CPU utilization rate of the designed platform are better， and it has the high load balancing effect.

Keywords： big data network； balanced scheduling platform； network resource scheduling； energy evaluation

隨著網(wǎng)絡(luò)通信技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)中的數(shù)據(jù)規(guī)模逐漸增加，使得大數(shù)據(jù)網(wǎng)絡(luò)的均衡調(diào)度問題日益突出[1?3]。當(dāng)前的大數(shù)據(jù)網(wǎng)絡(luò)存在資源使用率低、網(wǎng)絡(luò)負(fù)載失衡的缺陷。因此，針對大數(shù)據(jù)網(wǎng)絡(luò)資源環(huán)境下的資源調(diào)度問題，尋求高效調(diào)度策略，對于增強(qiáng)大數(shù)據(jù)網(wǎng)絡(luò)資源利用率以及負(fù)載均衡具有重要作用。大數(shù)據(jù)網(wǎng)絡(luò)的能量是有限的，網(wǎng)絡(luò)中大規(guī)模數(shù)據(jù)的調(diào)度會消耗大量的能量，導(dǎo)致資源調(diào)度時間增加。傳統(tǒng)的資源調(diào)度算法，通?；跀?shù)據(jù)完成時間實現(xiàn)網(wǎng)絡(luò)資源的調(diào)度，將任務(wù)完成時間當(dāng)成調(diào)度目標(biāo)，未對大數(shù)據(jù)網(wǎng)絡(luò)的能耗進(jìn)行綜合分析，無法真正實現(xiàn)網(wǎng)絡(luò)均衡調(diào)度[4?5]。文獻(xiàn)[6]分析了基于遺傳算法的網(wǎng)絡(luò)資源調(diào)度方法，該種方法將物理機(jī)數(shù)量和虛擬機(jī)變換次數(shù)當(dāng)成優(yōu)化方向，但是未對物理機(jī)的負(fù)載均衡進(jìn)行全面的分析，存在一定的局限性。文獻(xiàn)[7]通過蟻群算法實現(xiàn)網(wǎng)絡(luò)負(fù)載均衡，但是螞蟻在塑造自身的結(jié)果后，需要對信息進(jìn)行調(diào)整，大大降低了算法的收斂性。文獻(xiàn)[8]融合同構(gòu)服務(wù)器資源負(fù)載，暫?？臻e的服務(wù)器，降低系統(tǒng)的能耗，然而受到調(diào)度信息隨機(jī)性的干擾，容易產(chǎn)生錯誤的負(fù)載遷移，無法實現(xiàn)網(wǎng)絡(luò)資源的有效調(diào)度。文獻(xiàn)[9]分析了基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)均衡調(diào)度方法，該方法通過神經(jīng)網(wǎng)絡(luò)評估網(wǎng)絡(luò)服務(wù)器負(fù)載，但是該種方法未對大數(shù)據(jù)網(wǎng)絡(luò)資源的多樣性進(jìn)行分析。

1 大數(shù)據(jù)網(wǎng)絡(luò)的均衡調(diào)度平臺設(shè)計

1.1 調(diào)度平臺總體結(jié)構(gòu)

大數(shù)據(jù)數(shù)據(jù)網(wǎng)絡(luò)資源需要合理的平臺才能更好地服務(wù)于用戶，大數(shù)據(jù)網(wǎng)絡(luò)的均衡調(diào)度平臺能聯(lián)合控制網(wǎng)絡(luò)資源，還能監(jiān)測物理資源和虛擬資源的運(yùn)用狀況。并按照用戶的資源申請，供應(yīng)可變化的大數(shù)據(jù)網(wǎng)絡(luò)資源。通過基于能量評判的網(wǎng)絡(luò)資源調(diào)度方法，來完成大數(shù)據(jù)網(wǎng)絡(luò)物理資源與虛擬資源的均衡調(diào)度，確保大數(shù)據(jù)網(wǎng)絡(luò)的負(fù)載均衡。大數(shù)據(jù)網(wǎng)絡(luò)的均衡調(diào)度系統(tǒng)平臺總體結(jié)構(gòu)如圖1所示。

圖1所示的調(diào)度平臺由服務(wù)模塊、控制模塊、虛擬化模塊和物理資源模塊四大部分組成。服務(wù)模塊包括：用戶控制、服務(wù)申請、服務(wù)控制、計費控制，主要是把各個資源轉(zhuǎn)變?yōu)橄鄳?yīng)服務(wù)，利用Web門戶的方式向用戶供應(yīng)。控制模塊主要包括：資源控制、資源監(jiān)控、服務(wù)部署以及資源調(diào)度，它是大數(shù)據(jù)網(wǎng)絡(luò)的均衡調(diào)度平臺系統(tǒng)的處理中間件，其能夠?qū)崿F(xiàn)大數(shù)據(jù)網(wǎng)絡(luò)中的物理部件以及資源的合理處置以及調(diào)度。虛擬化模塊可在虛擬化工具VirtualBox的輔助下，實現(xiàn)物理資源模塊的虛擬化，還可以生成大量的虛擬機(jī)，來滿足不同用戶的不同需要。物理資源模塊，囊括了標(biāo)準(zhǔn)不一的 PC 機(jī)、服務(wù)器、網(wǎng)絡(luò)部件等。

1.2 平臺的硬件功能模塊組成

大數(shù)據(jù)網(wǎng)絡(luò)均衡調(diào)度平臺由資源定義模塊、資源監(jiān)測模塊以及資源調(diào)度模塊三大功能模塊構(gòu)成。如圖2所示。大數(shù)據(jù)網(wǎng)絡(luò)均衡調(diào)度平臺基于資源管理方案，綜合控制大數(shù)據(jù)網(wǎng)絡(luò)的物理資源和虛擬資源，并且可面對用戶的資源申請信息，檢索當(dāng)下所擁有的資源信息，并且按照一定的標(biāo)準(zhǔn)分派用戶的資源申請。各模塊的功能如下：

（1） 資源定義模塊。資源定義模塊主要負(fù)責(zé)管理大數(shù)據(jù)網(wǎng)絡(luò)的資源實體，采取的基本方法有創(chuàng)建、刪除、修改、查詢等。所謂資源實體，指的就是大數(shù)據(jù)網(wǎng)絡(luò)、集群、物理主機(jī)、虛擬機(jī)以及虛擬機(jī)鏡像等。

（2） 資源監(jiān)測模塊。資源監(jiān)測模塊起到一個監(jiān)督、視察的作用，主要針對大數(shù)據(jù)網(wǎng)絡(luò)里的物理機(jī)和虛擬機(jī)的資源使用情形和運(yùn)營狀況。大數(shù)據(jù)網(wǎng)絡(luò)節(jié)點的負(fù)載狀況并不是始終如一的，它會因為時間的改變而千變?nèi)f化，所以要收集每一個大數(shù)據(jù)網(wǎng)絡(luò)節(jié)點的負(fù)載狀況，以保證向用戶分配資源與合理調(diào)度資源的順利實施。通過設(shè)置在不同位置上的大數(shù)據(jù)網(wǎng)絡(luò)節(jié)點里的監(jiān)視設(shè)備，這個模塊可以依照運(yùn)行周期來收集大數(shù)據(jù)網(wǎng)絡(luò)的資源使用情況，將網(wǎng)絡(luò)監(jiān)視設(shè)備布置在大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器上，用來接收不同節(jié)點上監(jiān)視設(shè)備輸送出來的網(wǎng)絡(luò)負(fù)載數(shù)據(jù)，并將已完成解析的數(shù)據(jù)儲存到數(shù)據(jù)庫中。對所有收集到的數(shù)據(jù)都要逐一研究，以便于指導(dǎo)虛擬機(jī)布置和負(fù)載均衡調(diào)節(jié)。

（3） 資源調(diào)度模塊。資源調(diào)度模塊的數(shù)據(jù)來自資源監(jiān)測模塊，主要對大數(shù)據(jù)網(wǎng)絡(luò)內(nèi)每項物理機(jī)和虛擬機(jī)的資源負(fù)載狀況進(jìn)行計算，分置好各用戶的虛擬機(jī)，通過基于能量評判的調(diào)度方法，實現(xiàn)大數(shù)據(jù)網(wǎng)絡(luò)負(fù)載的均衡。資源調(diào)度模塊采集并分析用戶申請，根據(jù)用戶需要設(shè)立虛擬機(jī)，并聯(lián)系此時大數(shù)據(jù)網(wǎng)絡(luò)資源的負(fù)載情況，在匹配的物理機(jī)上設(shè)置好虛擬機(jī)呈遞給用戶。

資源監(jiān)測模塊采集大數(shù)據(jù)網(wǎng)絡(luò)中物理機(jī)和虛擬機(jī)的數(shù)據(jù)，基于獲取的數(shù)據(jù)評估物理機(jī)的負(fù)載情況。如果物理機(jī)負(fù)載高于設(shè)置的閾值，則說明其負(fù)載超標(biāo)，此時需要在該物理機(jī)中選取相應(yīng)的虛擬機(jī)，并將大數(shù)據(jù)網(wǎng)絡(luò)中未工作的服務(wù)器當(dāng)成目標(biāo)移動節(jié)點，對虛擬機(jī)進(jìn)行移動，確保大數(shù)據(jù)網(wǎng)絡(luò)實現(xiàn)負(fù)載均衡。

1.3 基于能量評判的大數(shù)據(jù)網(wǎng)絡(luò)均衡調(diào)度模型設(shè)計

大數(shù)據(jù)網(wǎng)絡(luò)均衡調(diào)度平臺通過基于能量評判的調(diào)度方法，對網(wǎng)絡(luò)中的資源進(jìn)行均衡調(diào)度?；谀芰吭u判的網(wǎng)絡(luò)均衡調(diào)度模型中的資源節(jié)點和網(wǎng)絡(luò)任務(wù)間的相關(guān)參數(shù)含義為：集合[R={r1，r2，…，rn}]用于描述n個異構(gòu)資源節(jié)點構(gòu)建的網(wǎng)絡(luò)情況；集合[T={t1，t2，…，tm}]用于描述m個網(wǎng)絡(luò)任務(wù)；設(shè)置[ETij]描述資源節(jié)點[rj]實施任務(wù)[ti]花費的時間；[Bj]用于描述資源節(jié)點[rj]的初始能量值。[Ej]用于描述特定時間里資源節(jié)點[rj]實施任務(wù)要花費的能量值；[Cj]用于描述特定時間里資源節(jié)點[rj]溝通單元數(shù)量數(shù)據(jù)的耗能量；[BWj]用于描述資源節(jié)點[rj]的網(wǎng)絡(luò)帶寬。網(wǎng)絡(luò)數(shù)據(jù)調(diào)度模型的耗能是指，任務(wù)[ti]通過資源[rj]的本地計算耗能量[EECij]與實施任務(wù)時間[ETij]和耗能量率有著緊密的聯(lián)系，如式（1）所示：

[EECij=ETij·Ej] （1）

任務(wù)[ti]利用網(wǎng)絡(luò)溝通的思維來考慮資源[rj]里溝通的耗能量[CECij]，將單元數(shù)據(jù)量的網(wǎng)絡(luò)傳遞時間界定成網(wǎng)絡(luò)帶寬[BWj]的最后一位數(shù)，如果任務(wù)傳遞的數(shù)據(jù)量為[Gi]，網(wǎng)絡(luò)溝通耗能量如式（2）所示：

[CECij=Gi?（1BWj）?Cj] （2）

[ECij]表示測量網(wǎng)絡(luò)任務(wù)匹配到網(wǎng)絡(luò)資源中的耗能量，有：

[ECij=EECij+CECij] （3）

式（3）中的耗能量值[ECij]是一個資源[rj]在調(diào)度里的耗能量狀態(tài)，但模型應(yīng)考慮總體調(diào)度環(huán)境，完成能量的改進(jìn)。所以需要增加一個衡量數(shù)值[ECavg]，[ECavg]用于描述全部網(wǎng)絡(luò)資源的平均耗能量率，同時也是調(diào)度計算耗能量的衡量規(guī)范。[ECavg]值同調(diào)度能耗具有正相關(guān)性，[ECavg]的表達(dá)式如下：

[ECavg=j=0n-1（ECijBj）n， rj∈R] （4）

基于能量評判的大數(shù)據(jù)網(wǎng)絡(luò)均衡調(diào)度的具體過程為：

（1） 將大數(shù)據(jù)網(wǎng)絡(luò)資源調(diào)度任務(wù)集T里的全部任務(wù)，映射到資源節(jié)點集R中的全部資源節(jié)點上，通過檢測模塊計算出全部相匹配的代價值[Cost（i，j）]。

（2） 記憶模塊設(shè)置大數(shù)據(jù)網(wǎng)絡(luò)資源集里的全部資源節(jié)點狀態(tài)為未標(biāo)記。

（3） 隨意提取大數(shù)據(jù)網(wǎng)絡(luò)資源調(diào)度任務(wù)集中的1個任務(wù)[ti]，將其映射到代價值[Cost（i，j）]中最小的資源節(jié)點[rj]上，同時計算出[Cost（i，j）]值，這個值表示最小代價。

（4） 獲取映射值，它的含義是當(dāng)把大數(shù)據(jù)網(wǎng)絡(luò)資源調(diào)度任務(wù)，映射到[rj]以外的任意資源節(jié)點的過程，就會產(chǎn)生更多的能耗，映射值就是最小代價和第二小的代價間的差值。

（5） 分析大數(shù)據(jù)網(wǎng)絡(luò)資源節(jié)點[rj]的標(biāo)示狀態(tài)：假設(shè)資源節(jié)點沒有標(biāo)示，在大數(shù)據(jù)網(wǎng)絡(luò)資源調(diào)度任務(wù)集T里過濾任務(wù)[ti]，設(shè)置資源節(jié)點[rj]為已標(biāo)記；假設(shè)資源點是標(biāo)記狀態(tài)，對比待映射到資源節(jié)點[rj]中的任務(wù)帳和任務(wù)[ti]映射值，如果[rj]的映射值較小，那么要把帳再次返還到任務(wù)集T里，并把[ti]映射到[rj]中，在任務(wù)集T里過濾[ti]。

（6） 循環(huán)運(yùn)行過程（3）～過程（5），直到不能將新大數(shù)據(jù)網(wǎng)絡(luò)資源調(diào)度任務(wù)支配出去。

（7） 被支配的新大數(shù)據(jù)網(wǎng)絡(luò)資源調(diào)度任務(wù)資源節(jié)點的準(zhǔn)備時間[Di]與資源結(jié)余能量值，在當(dāng)前迭代中完成實時調(diào)整。

（8） 循環(huán)運(yùn)行過程（2）～過程（7），自適應(yīng)調(diào)度模塊進(jìn)行數(shù)次迭代，一直到任務(wù)集里的全部任務(wù)都完成，并計算[ECavg]的數(shù)值。通過調(diào)控[ECavg]值，實現(xiàn)大數(shù)據(jù)網(wǎng)絡(luò)負(fù)載的控制，確保大數(shù)據(jù)網(wǎng)絡(luò)負(fù)載均衡。

2 代碼設(shè)計

大數(shù)據(jù)網(wǎng)絡(luò)均衡調(diào)度平臺，通過塑造通信連接類SocketConnection類和一些物理監(jiān)視器彼此創(chuàng)立聯(lián)系，得到需要調(diào)度的數(shù)據(jù)，關(guān)鍵代碼如下：

Public boolean open （） {

if （the.MaterialWeblogic==nought || the.MaterialWeblogic.acquireIP（）==nought）

rewarding artificial；

//構(gòu)造物理機(jī)的hole地址

bottom=fresh InetHoleSite（the.MaterialWeblogic.acquireIP（），Integral number，anatomise Int|the.MaterialWeblogic.acquirePort|）；

try{

//連接到物理機(jī)

confluent.couple（bottom）；

institution.out.println（"couple toMaterialWeblogic victory"）；

//輸出調(diào)度數(shù)據(jù)

in fresh target investment Stream（confluent.acquire investment Stream； //數(shù)據(jù)流調(diào)度

rewarding true；

catch （IOException e）{

Syatem，out.println["couple to MaterialWeblogic failed！"]；

//調(diào)度失敗

}

rewarding artificial；

} }

3 實驗分析

為了驗證本文方法的有效性，需要進(jìn)行相關(guān)的實驗分析。實驗研究本文方法和啟發(fā)式調(diào)度方法，對于某大型電子商務(wù)網(wǎng)絡(luò)服務(wù)器在能量評判、吞吐率以及CPU利用率上的性能對比。實驗針對不同的任務(wù)數(shù)，對兩種方法進(jìn)行調(diào)度檢測，循環(huán)運(yùn)行100次，分析兩種方法的平均能量消耗率，結(jié)果如圖3所示。

由圖3可知，與啟發(fā)式調(diào)度方法對比，本文方法的平均能耗率較低，同時隨著任務(wù)數(shù)的逐漸提升，能量消耗率呈現(xiàn)平穩(wěn)變化趨勢，但是啟發(fā)式調(diào)度方法卻存在較高波動。主要是啟發(fā)式調(diào)度方法在調(diào)度網(wǎng)絡(luò)資源過程中僅考慮任務(wù)完成時間，對高能耗的運(yùn)算能量高的資源進(jìn)行調(diào)度，使得能量消耗率高并且具有加大的波動。

實驗統(tǒng)計兩種方法在發(fā)送任務(wù)數(shù)過程中的吞吐率和時延，結(jié)果如表1所示。

表1 吞吐率和時延

由表1可知，當(dāng)任務(wù)數(shù)較小時，兩個算法的吞吐率相差不大，但是啟發(fā)式調(diào)度方法的時延高于本文方法。說明當(dāng)任務(wù)數(shù)增加，網(wǎng)絡(luò)負(fù)載提升情況下，本文方法可針對大數(shù)據(jù)網(wǎng)絡(luò)環(huán)境進(jìn)行資源自適應(yīng)的調(diào)整，并且具有較高的吞吐率，大數(shù)據(jù)均衡調(diào)度優(yōu)勢充分表現(xiàn)出來。實驗通過圖4分析兩種方法的CPU利用率情況。

分析圖4可得，本文方法的CPU利用率始終高于啟發(fā)式調(diào)度方法，并且變化較為平穩(wěn)，本文方法具有較高的負(fù)載均衡效果。

4 結(jié) 語

本文提出一種基于能量評判的大數(shù)據(jù)網(wǎng)絡(luò)均衡調(diào)度平臺；平臺由服務(wù)模塊、控制模塊、虛擬化模塊和物理資源模塊組成，包括資源定義模塊、資源監(jiān)測模塊以及資源調(diào)度模塊三大功能模塊。調(diào)度平臺基于能量評判的網(wǎng)絡(luò)資源調(diào)度算法，在一定的時間區(qū)間內(nèi)完成能量消耗最佳為最終目標(biāo)，全面分析了大數(shù)據(jù)網(wǎng)絡(luò)資源調(diào)度中的能量評判問題，給出了調(diào)度平臺采集數(shù)據(jù)的關(guān)鍵代碼。實驗結(jié)果說明，所設(shè)計平臺的平均能耗率、吞吐率以及CPU利用率指標(biāo)都較優(yōu)，具有較高的負(fù)載均衡效果。

參考文獻(xiàn)

[1] 潘飛，蔣從鋒，徐向華，等.負(fù)載相關(guān)的虛擬機(jī)放置策略[J].小型微型計算機(jī)系統(tǒng)，2013，34（3）：520?524.

[2] 鄧維，劉方明，金海，等.云計算數(shù)據(jù)中心的新能源應(yīng)用： 研究現(xiàn)狀與趨勢[J].計算機(jī)學(xué)報，2013，36（3）：582?598.

[3] 魏彥紅.BI?PaaS平臺中BI應(yīng)用的調(diào)度方案的研宄與實現(xiàn)[D].北京：北京郵電大學(xué)，2014.

[4] 張潔.Agent的制造系統(tǒng)調(diào)度與控制[M].北京：國防工業(yè)出版社，2013：18?21.

[5] 魏曉輝，付慶午，李洪亮. Hadoop平臺下基于資源預(yù)測的 Delay調(diào)度算法[J].吉林大學(xué)學(xué)報（理學(xué)版），2013，51（1）：101?106.

[6] 胡丹，于炯，英昌甜，等.Hadoop平臺下改進(jìn)的LATE調(diào)度算法[J].計算機(jī)工程與應(yīng)用，2014（4）：86?89.

[7] 柯何楊，楊群，王立松，等.Hadoop 延遲調(diào)度中延遲時間間隔的合理設(shè)置[J].計算機(jī)應(yīng)用與軟件，2013（12）：207?210.

[8] 劉莉，姜明華.異構(gòu)集群下的任務(wù)調(diào)度算法研究[J].計算機(jī)應(yīng)用研究，2014，31（1）：80?84.

[9] WU Kehe， CHEN Long， YE Shichao， et al. A load balancing algorithm based on the variation trend of entropy in homogeneous cluster [J]. International journal of grid and distributed computing， 2014， 7（2）： 11?20.