,

(上海應(yīng)用技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與信息工程學(xué)院,上海 201418)

云計(jì)算環(huán)境下基于優(yōu)先級(jí)的IO和網(wǎng)絡(luò)密集型應(yīng)用調(diào)度策略

麻雙克,周蘭鳳

(上海應(yīng)用技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與信息工程學(xué)院,上海201418)

當(dāng)前云計(jì)算環(huán)境中,當(dāng)大于CPU核數(shù)的IO和網(wǎng)絡(luò)密集型應(yīng)用并發(fā)執(zhí)行時(shí),傳統(tǒng)的資源分配策略沒有考慮到應(yīng)用的特性,導(dǎo)致資源利用率偏低,應(yīng)用執(zhí)行效率低下.針對這種現(xiàn)狀,本文對IO密集型應(yīng)用和網(wǎng)絡(luò)密集型應(yīng)用進(jìn)行分析,根據(jù)它們可量化的特性,提出并設(shè)計(jì)了基于優(yōu)先級(jí)的IO和網(wǎng)絡(luò)密集型應(yīng)用調(diào)度策略.針對可量化的小應(yīng)用提高優(yōu)先級(jí),獲得更大的CPU時(shí)間片,讓小應(yīng)用盡早完成,然后將所有CPU時(shí)間片分配給大應(yīng)用,減少進(jìn)程之間的切換調(diào)度,提高了效率.大量實(shí)驗(yàn)表明,該策略可以有效提高應(yīng)用的執(zhí)行效率,減少資源的消耗.

云計(jì)算;IO密集型; 網(wǎng)絡(luò)密集型; 優(yōu)先級(jí);CPU時(shí)間片; 應(yīng)用調(diào)度

隨著計(jì)算機(jī)軟件和硬件技術(shù)的飛速發(fā)展,計(jì)算模型層出不窮,繼分布式計(jì)算、并行計(jì)算和網(wǎng)格計(jì)算之后,商業(yè)界和學(xué)術(shù)界提出了一種新的計(jì)算模型——云計(jì)算模型.云計(jì)算是一種按需付費(fèi)的模式,將計(jì)算機(jī)或服務(wù)器等的軟硬件資源虛擬化成虛擬機(jī)資源,滿足不同用戶對資源的實(shí)時(shí)動(dòng)態(tài)需求,集成部署,統(tǒng)一管理,具有廉價(jià)、高效、便利的特點(diǎn)[1]. 正是由于它的這種可靠性和便利性,近年來云計(jì)算發(fā)展迅猛,由此帶來的能耗問題也日益突出.根據(jù)美國環(huán)保署報(bào)告[2],2006年美國境內(nèi)當(dāng)時(shí)有6 000多個(gè)云計(jì)算數(shù)據(jù)中心,當(dāng)年共消耗了總價(jià)值高達(dá)45億美元的610億kW·h的電量.國內(nèi)同樣存在此類能耗問題,2011年,中國聯(lián)通和電信兩大運(yùn)營商的數(shù)據(jù)中心年耗電總量約達(dá)211億kW·h[3].各種數(shù)據(jù)表明,云計(jì)算數(shù)據(jù)中心消耗了大量能源,還有文獻(xiàn)表明,一些數(shù)據(jù)中心的服務(wù)器利用效率低下,有效利用率只有11%～50%[4],存在巨大的資源浪費(fèi).

提高數(shù)據(jù)中心的資源利用效率是節(jié)約能源的有效途徑,優(yōu)化計(jì)算策略是一種行之有效的方法.前人通過對云計(jì)算下應(yīng)用的特征進(jìn)行分析,根據(jù)應(yīng)用所使用的資源類型和資源比重提出了一種云應(yīng)用識(shí)別模型,其中的IO密集型應(yīng)用和網(wǎng)絡(luò)密集型應(yīng)用是現(xiàn)在云計(jì)算中十分普遍的應(yīng)用,當(dāng)大量IO和網(wǎng)絡(luò)密集型應(yīng)用并發(fā)執(zhí)行時(shí),傳統(tǒng)的分配策略沒有考慮不同應(yīng)用的特征,均勻地分配時(shí)間片,增加了進(jìn)程間的切換調(diào)度,造成資源的浪費(fèi).在此情況下,本文對云計(jì)算環(huán)境下的IO和網(wǎng)絡(luò)密集型應(yīng)用進(jìn)行分析,分析了其大小可量化的特點(diǎn),提出并設(shè)計(jì)了一種基于優(yōu)先級(jí)的IO和網(wǎng)絡(luò)密集型應(yīng)用調(diào)度模型.

1 相關(guān)研究

很多學(xué)者對云計(jì)算中的基于優(yōu)先級(jí)的資源調(diào)度策略進(jìn)行了研究,Pandey等[5]在云環(huán)境下使用優(yōu)化粒子群算法得到了一種資源分配方式,使得應(yīng)用的執(zhí)行時(shí)間和進(jìn)程通信時(shí)間最低.Kaur等[6]提出了一種新的基于優(yōu)先級(jí)的搶占調(diào)度算法,在綠色云計(jì)算中,根據(jù)服務(wù)器的能量需求和服務(wù)器頻率可用性,計(jì)算服務(wù)器被分配到最佳匹配的進(jìn)程.祝家鈺等[7]結(jié)合表啟發(fā)式調(diào)度技術(shù)和任務(wù)復(fù)制的思想,提出了基于路徑優(yōu)先權(quán)的任務(wù)調(diào)度算法,實(shí)驗(yàn)表明,該算法能獲得較短的調(diào)度長度.為了滿足云計(jì)算中服務(wù)提供商和服務(wù)消費(fèi)者雙方協(xié)商的服務(wù)等級(jí)協(xié)議(SLA),林清瀅等[8]提出了在云計(jì)算環(huán)境下采用元調(diào)度和本地調(diào)度兩層框架結(jié)構(gòu),在每層上采用了多級(jí)反饋隊(duì)列調(diào)度算法.謝麗霞等[9]針對云計(jì)算數(shù)據(jù)密集型和計(jì)算密集的特點(diǎn),提出了分層調(diào)度策略以實(shí)現(xiàn)云計(jì)算的服務(wù)和資源調(diào)度,實(shí)驗(yàn)結(jié)果表明,所采用的調(diào)度有效地提高了資源利用率.郭松輝等[10]提出了一種動(dòng)態(tài)優(yōu)先級(jí)排序的虛擬機(jī)I/O調(diào)度算法DPS (dynamic priority scheduling),該算法以離差最大化方法計(jì)算I/O任務(wù)的優(yōu)先級(jí)評估屬性權(quán)重,對I/O任務(wù)優(yōu)先級(jí)進(jìn)行綜合評估,通過引入任務(wù)所在虛擬域價(jià)值,體現(xiàn)云計(jì)算環(huán)境下虛擬域重要性差異.

有學(xué)者對基于應(yīng)用資源類型分類的優(yōu)化調(diào)度策略進(jìn)行了研究.Peng等[11-12]對CPU密集型應(yīng)用和IO密集型應(yīng)用進(jìn)行了研究和判定,發(fā)現(xiàn)了CPU密集型和IO密集型應(yīng)用的特征,在此基礎(chǔ)上建立了判別CPU和IO密集型應(yīng)用的數(shù)學(xué)模型,并由此提出了CPU密集型應(yīng)用和IO密集型應(yīng)用的調(diào)度模型.周蘭鳳等[13]對IO密集型應(yīng)用中的海量小文件傳輸提出了一種基于優(yōu)化服務(wù)器緩存區(qū)參數(shù)機(jī)制的打包傳輸策略,結(jié)果表明,該策略能夠明顯地提高文件傳輸效率,在一定程度上降低能耗.周蘭鳳等[14]對IO密集型應(yīng)用中的大量流媒體文件提出了文件切割打包傳輸策略,尋求最優(yōu)打包閾值,在一定程度上解決了打包時(shí)間和傳輸時(shí)間的矛盾,縮短文件傳輸時(shí)間.

2 基于優(yōu)先級(jí)的IO和網(wǎng)絡(luò)密集型應(yīng)用調(diào)度模型

在使用了云應(yīng)用分類模型對應(yīng)用進(jìn)行分類之后,如何有效地對應(yīng)用進(jìn)行調(diào)度是個(gè)亟待解決的問題.本文探討IO和網(wǎng)絡(luò)密集型應(yīng)用調(diào)度問題,以達(dá)到提高云應(yīng)用執(zhí)行效率、減少能源消耗的目的.

2.1IO和網(wǎng)絡(luò)密集型應(yīng)用調(diào)度

在云計(jì)算環(huán)境中,根據(jù)云應(yīng)用所使用的資源類型和資源比重將應(yīng)用進(jìn)行分類,可分為CPU密集型應(yīng)用、內(nèi)存密集型應(yīng)用、IO密集型應(yīng)用、網(wǎng)絡(luò)密集型應(yīng)用等.其中,IO密集型應(yīng)用是消耗IO資源最多的應(yīng)用,主要是磁盤讀寫,如局域網(wǎng)FTP傳輸、dd寫文件等;網(wǎng)絡(luò)密集型應(yīng)用是消耗網(wǎng)絡(luò)資源最多的應(yīng)用,如在線視頻服務(wù)、socket網(wǎng)絡(luò)傳輸?shù)?提高應(yīng)用的執(zhí)行效率等同于減少應(yīng)用的執(zhí)行時(shí)間.

對于IO密集型應(yīng)用,當(dāng)大于CPU核數(shù)的多個(gè)IO密集型應(yīng)用同時(shí)運(yùn)行時(shí),這些IO應(yīng)用共享計(jì)算機(jī)CPU,IO等資源,CPU會(huì)給這些應(yīng)用分配時(shí)間片,讓應(yīng)用分別執(zhí)行.為了使這些IO密集型應(yīng)用更快地完成,對不同的IO應(yīng)用分配不同的優(yōu)先級(jí)是一種優(yōu)化的調(diào)度策略.對于較小的IO應(yīng)用,提高優(yōu)先級(jí),分配較大的時(shí)間片,讓該應(yīng)用盡快完成.當(dāng)較小的應(yīng)用完成后,將全部的時(shí)間片都分配給較大的IO應(yīng)用,讓較大的IO應(yīng)用也盡快完成,減少進(jìn)程的切換調(diào)度,從而減少應(yīng)用執(zhí)行時(shí)間.

對于網(wǎng)絡(luò)密集型應(yīng)用,使用和IO密集型應(yīng)用相似的策略.當(dāng)大于CPU核數(shù)的網(wǎng)絡(luò)密集型應(yīng)用都共享系統(tǒng)的CPU、帶寬等資源時(shí),為了提高他們的執(zhí)行效率,對不同應(yīng)用分配不同的優(yōu)先級(jí).對于較小的網(wǎng)絡(luò)密集型應(yīng)用,提高優(yōu)先級(jí),分配較大的時(shí)間片,讓該應(yīng)用盡快完成.當(dāng)較小的應(yīng)用完成后,將所有時(shí)間片都分配給較大的網(wǎng)絡(luò)密集型應(yīng)用,讓較大的網(wǎng)絡(luò)密集型應(yīng)用也盡快完成,減少進(jìn)程的切換調(diào)度,從而減少應(yīng)用執(zhí)行時(shí)間.

2.2Linux進(jìn)程優(yōu)先級(jí)和進(jìn)程調(diào)度

Linux對普通的進(jìn)程是根據(jù)動(dòng)態(tài)優(yōu)先級(jí)進(jìn)行調(diào)度,這也是Linux主要的進(jìn)程調(diào)度手段.而動(dòng)態(tài)優(yōu)先級(jí)是由靜態(tài)優(yōu)先級(jí)(static_prio)調(diào)整而來.Linux環(huán)境下,靜態(tài)優(yōu)先級(jí)是用戶不可見的,隱藏在內(nèi)核中.而內(nèi)核提供給用戶一個(gè)可以影響靜態(tài)優(yōu)先級(jí)的接口,那就是Nice值,兩者關(guān)系如下:

static_prio=MAX_RT_PRIO+Nice+20

(1)

默認(rèn)MAX_RT_PRIO配置為100,Nice值的范圍是-20～+19,因而靜態(tài)優(yōu)先級(jí)范圍在100～139之間.Nice數(shù)值越大,就使得static_prio越大,進(jìn)程優(yōu)先級(jí)就越低.Linux普通進(jìn)程優(yōu)先級(jí)一共有40個(gè)級(jí)別,數(shù)字越大,表示進(jìn)程的優(yōu)先級(jí)越低,默認(rèn)時(shí)進(jìn)程的優(yōu)先級(jí)是0.這個(gè)時(shí)間片執(zhí)行完后,一般情況下就會(huì)根據(jù)它的初始優(yōu)先級(jí)來重新分配時(shí)間片,優(yōu)先級(jí)為+19時(shí)最低,只分配最小時(shí)間片5 ms,優(yōu)先級(jí)為0時(shí)分配100 ms時(shí)間片,優(yōu)先級(jí)是-20時(shí)分配最大時(shí)間片800 ms.

當(dāng)大于CPU核數(shù)的多個(gè)云應(yīng)用在虛擬機(jī)上同時(shí)運(yùn)行時(shí),一些設(shè)計(jì)良好的高性能系統(tǒng),如nginx的分配策略沒有考慮到應(yīng)用的特性,均勻地將時(shí)間片分配給這幾個(gè)工作進(jìn)程,當(dāng)每個(gè)工作進(jìn)程運(yùn)行結(jié)束一個(gè)相同的時(shí)間片后,內(nèi)核需要作進(jìn)程切換,把即將結(jié)束的進(jìn)程上下文保存下來,打開下一個(gè)進(jìn)程的上下文,造成進(jìn)程切換頻繁,導(dǎo)致應(yīng)用執(zhí)行效率低下,資源利用率偏低.

2.3感知應(yīng)用“大小”的調(diào)度策略

IO密集型應(yīng)用和網(wǎng)絡(luò)密集型應(yīng)用的大小在一定程度上可以量化.IO密集型應(yīng)用通過磁盤來讀取和寫入數(shù)據(jù),網(wǎng)絡(luò)密集型應(yīng)用通過網(wǎng)卡來接收和發(fā)送數(shù)據(jù).不管是IO磁盤資源還是網(wǎng)絡(luò)帶寬資源,IO密集型應(yīng)用和網(wǎng)絡(luò)密集型應(yīng)用都是感知數(shù)據(jù)大小的.因此,對于IO密集型應(yīng)用和網(wǎng)絡(luò)密集型應(yīng)用,可以使用相同的調(diào)度策略——感知應(yīng)用“大小”的調(diào)度策略.這里說的“大小”是指這個(gè)應(yīng)用所操作的文件大小.對于IO密集型應(yīng)用來說,是指該應(yīng)用需要寫入或者讀取磁盤的文件大小;對于網(wǎng)絡(luò)密集型應(yīng)用來說,是指應(yīng)用需要從網(wǎng)絡(luò)接收或者發(fā)送的文件大小.對于IO或者網(wǎng)絡(luò)密集型應(yīng)用,根據(jù)應(yīng)用的“大小”,設(shè)定優(yōu)先級(jí),對應(yīng)用分配不同的時(shí)間片和資源,從而縮短應(yīng)用執(zhí)行時(shí)間,提高應(yīng)用的執(zhí)行效率.

對于IO密集型應(yīng)用或者網(wǎng)絡(luò)密集型應(yīng)用,假設(shè)共有N個(gè)應(yīng)用,優(yōu)先級(jí)計(jì)算方法如下:

對所有的應(yīng)用按照“大小”,由小到大排序,應(yīng)用順序?yàn)锳1,A2,A3,…,AN-1,AN,對應(yīng)的應(yīng)用大小為SizeA1,SizeA2,SizeA3,…,SizeAN-1,SizeAN. Linux進(jìn)程優(yōu)先級(jí)共有40級(jí),可以分成若干個(gè)優(yōu)先級(jí)來設(shè)計(jì).初始化優(yōu)先級(jí)

NiceAi=

(2)

式中:-20≤a1≤a2≤a3≤…≤an≤19,i=1,2,3,…,N;α,β,γ,δ為比例系數(shù),與樣本分布有關(guān),使樣本盡量區(qū)分開.

在知道優(yōu)先級(jí)計(jì)算方法后,對IO密集型應(yīng)用或者網(wǎng)絡(luò)密集型應(yīng)用的調(diào)度方法如下:

步驟1初始化或更新應(yīng)用的優(yōu)先級(jí)表,對于當(dāng)前服務(wù)器上所有云應(yīng)用,根據(jù)上述優(yōu)先級(jí)計(jì)算方法,計(jì)算各個(gè)云應(yīng)用的優(yōu)先級(jí);

步驟2Linux系統(tǒng)根據(jù)各個(gè)云應(yīng)用優(yōu)先級(jí)來分配CPU時(shí)間片執(zhí)行;

步驟3當(dāng)有云應(yīng)用執(zhí)行完成后,或者有新來的云應(yīng)用,轉(zhuǎn)到步驟1重新更新優(yōu)先級(jí).

3 實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證上面提出的基于優(yōu)先級(jí)的IO和網(wǎng)絡(luò)密集型應(yīng)用的調(diào)度策略,做了大量的實(shí)驗(yàn).

3.1實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)所使用的平臺(tái)是開源的云計(jì)算平臺(tái)CloudStack,版本是4.5.1,實(shí)驗(yàn)平臺(tái)環(huán)境由3臺(tái)物理機(jī)在局域網(wǎng)里組建而成,1臺(tái)設(shè)為管理節(jié)點(diǎn),1臺(tái)設(shè)為計(jì)算節(jié)點(diǎn),1臺(tái)設(shè)為存儲(chǔ)節(jié)點(diǎn).主機(jī)節(jié)點(diǎn)Host的操作系統(tǒng)為Redhat server 5.3,處理器Inter I5 4440@3.10 GHz,內(nèi)存8 GB DDR3,硬盤容量1 TB.Host上的虛擬機(jī),操作系統(tǒng)為Ubuntu14.04版本,處理器為1 GHz*1,內(nèi)存為1 GB,網(wǎng)絡(luò)帶寬為150 Mb/s,磁盤轉(zhuǎn)速為7 200 r/min.具體參數(shù)如表1所示.

表1 物理機(jī)參數(shù)表Tab.1 Physical machine parameters

3.2實(shí)驗(yàn)內(nèi)容

為了驗(yàn)證提出的基于應(yīng)用大小的優(yōu)先級(jí)調(diào)度策略,選取了應(yīng)用模型中比較典型的IO密集型應(yīng)用和網(wǎng)絡(luò)密集型應(yīng)用來進(jìn)行驗(yàn)證.使用1核虛擬機(jī)來運(yùn)行IO密集型應(yīng)用和網(wǎng)絡(luò)密集型應(yīng)用.其中,IO密集型應(yīng)用選取的是Linux下面的dd方法讓其在本地生成不同大小的文件;網(wǎng)絡(luò)密集型應(yīng)用選取的是Socket傳輸不同大小的文件(去掉磁盤IO對實(shí)驗(yàn)結(jié)果的影響,客戶端不從磁盤上讀取數(shù)據(jù)).

實(shí)驗(yàn)1在傳統(tǒng)策略和本文提出的策略下(傳統(tǒng)策略即默認(rèn)優(yōu)先級(jí)為0,均勻分配時(shí)間片),在1核虛擬機(jī)上測試使用dd命令生成100 MB文件所用時(shí)間,并發(fā)生成100 MB和500 MB文件所用時(shí)間,并發(fā)生成100,500,1 000 MB文件所用時(shí)間,記為實(shí)驗(yàn)1.1,1.2,1.3,并分別計(jì)算傳統(tǒng)策略和本文策略所用總時(shí)間.

實(shí)驗(yàn)2在傳統(tǒng)策略和本文提出的策略下,在1核虛擬機(jī)上測試使用Socket傳輸100 MB文件所用時(shí)間,并發(fā)傳輸100 MB和500 MB文件所用時(shí)間,并發(fā)傳輸100,500,1 000 MB文件所用時(shí)間,記為實(shí)驗(yàn)2.1,2.2,2.3,并分別計(jì)算傳統(tǒng)策略和本文策略所用總時(shí)間.

(3)

3.3實(shí)驗(yàn)分析與結(jié)果

本文做了大量的實(shí)驗(yàn)得到上面的2組實(shí)驗(yàn)結(jié)果,然后進(jìn)行分析以驗(yàn)證本文提出的模型.

3.3.1IO密集型應(yīng)用的實(shí)驗(yàn)結(jié)果分析

圖1表示使用不同策略創(chuàng)建100 MB文件所需要的時(shí)間,可以看出,創(chuàng)建單個(gè)文件時(shí),沒有進(jìn)程切換,使用本文策略和傳統(tǒng)策略時(shí)間差不多,優(yōu)勢不明顯.

圖1 創(chuàng)建100 MB文件不同策略消耗時(shí)間圖Fig.1 Consuming time diagram of creating 100 MB files with different strategies

圖2表示使用傳統(tǒng)策略和本文策略并發(fā)創(chuàng)建100 MB文件和500 MB文件所需要的時(shí)間,可以看出,進(jìn)程切換較多,使用本文策略創(chuàng)建100 MB文件優(yōu)先級(jí)高,其執(zhí)行時(shí)間都有所減少,之后時(shí)間片都用來創(chuàng)建500 MB文件,執(zhí)行時(shí)間也有所減少,總時(shí)間比傳統(tǒng)時(shí)間減少6.5 s,較有優(yōu)勢.

圖2 并發(fā)創(chuàng)建100 MB和500 MB文件不同策略消耗時(shí)間圖 Fig.2 Consuming time diagram of creating 100 MB and 500 MB files at the same time with different strategies

圖3表示使用傳統(tǒng)策略和本文策略并發(fā)創(chuàng)建100,500,1 000 MB文件所需要的時(shí)間.可以看出,進(jìn)程切換很多,小應(yīng)用執(zhí)行時(shí)間有所減少,對于創(chuàng)建較大文件時(shí)間也有明顯減少,故使用本文策略減少了進(jìn)程間切換調(diào)度,總時(shí)間縮短了近59.8 s時(shí)間,大大提高了應(yīng)用執(zhí)行的效率,具有顯著優(yōu)勢.

圖3 并發(fā)創(chuàng)建100,500,1 000 MB文件不同策略消耗時(shí)間圖Fig.3 Consuming time diagram of creating 100,500,1 000 MB files at the same time with different strategies

從表2可以看出,當(dāng)IO密集型應(yīng)用個(gè)數(shù)大于CPU核數(shù)時(shí),使用本文策略可以有效地縮短小應(yīng)用的執(zhí)行時(shí)間,而對于大應(yīng)用,其執(zhí)行時(shí)間也有所減少,從總的執(zhí)行時(shí)間上看,使用本文策略可以有效地減少進(jìn)程間的切換調(diào)度,縮短IO密集型應(yīng)用執(zhí)行時(shí)間,提高IO密集型應(yīng)用的執(zhí)行效率,而且應(yīng)用越多、應(yīng)用越大,本文策略優(yōu)勢越明顯.

表2 實(shí)驗(yàn)1.1,1.2,1.3使用本文策略縮短總時(shí)間和占比Tab.2 Total reducing time and proportion of Experiment 1.1,Experiment 1.2, and Experiment 1.3 with the strategy proposed

3.3.2網(wǎng)絡(luò)密集型應(yīng)用的實(shí)驗(yàn)結(jié)果分析

圖4是使用不同策略傳輸100 MB文件所需要的時(shí)間,可以看出,傳輸單個(gè)文件時(shí),沒有進(jìn)程切換,使用本文策略和傳統(tǒng)策略時(shí)間差不多,優(yōu)勢不明顯.

圖4 傳輸100 MB文件不同策略消耗時(shí)間圖Fig.4 Consuming time diagram of transferring 100 MB files with different strategies

圖5表示使用傳統(tǒng)策略和本文策略并發(fā)傳輸100 MB文件和500 MB文件所需要的時(shí)間,可以看出,進(jìn)程切換較多,使用本文策略傳輸100 MB文件和500 MB文件時(shí)間都有所減少,總時(shí)間比默認(rèn)時(shí)間減少21.7 s,較有優(yōu)勢.

圖5 并發(fā)傳輸100 MB和500 MB文件不同策略消耗時(shí)間圖Fig.5 Consuming time diagram of transferring 100 MB and 500 MB files at the same time with different strategies

圖6 (見下頁)表示使用傳統(tǒng)策略和本文策略并發(fā)傳輸100,500,1 000 MB文件所需要的時(shí)間,可以看出,進(jìn)程切換很多,小應(yīng)用執(zhí)行時(shí)間有所減少,對于傳輸較大文件時(shí)間也有明顯減少,故使用本文策略減少了進(jìn)程間切換調(diào)度,總時(shí)間縮短了近81 s時(shí)間,大大提高了應(yīng)用執(zhí)行的效率,具有顯著優(yōu)勢.

圖6 并發(fā)傳輸100,500,1 000 MB文件不同策略消耗時(shí)間圖Fig.6 Consuming time diagram of transferring 100,500,1 000 MB files at the same time with different strategies

從表3可以看出,當(dāng)網(wǎng)絡(luò)密集型應(yīng)用個(gè)數(shù)大于CPU核數(shù)時(shí),使用本文策略可以有效縮短小應(yīng)用的執(zhí)行時(shí)間,一定程度地減少大應(yīng)用的執(zhí)行時(shí)間,所以,從總的執(zhí)行時(shí)間上看,使用本文策略可以有效地減少進(jìn)程間的切換調(diào)度,縮短網(wǎng)絡(luò)密集型應(yīng)用執(zhí)行時(shí)間,提高網(wǎng)絡(luò)密集型應(yīng)用的執(zhí)行效率,而且應(yīng)用越多、應(yīng)用越大,本文策略優(yōu)勢越明顯.

表3 實(shí)驗(yàn)2.1,2.2,2.3使用本文策略縮短總時(shí)間和占比Tab.3 Total reducing time and proportion of Experiment 2.1,Experiment 2.2 and Experiment 2.3 with the strategy proposed

4 結(jié) 論

在前人對云計(jì)算應(yīng)用資源消耗特征和比重進(jìn)行分類的基礎(chǔ)上,分析了IO密集型和網(wǎng)絡(luò)密集型應(yīng)用大小可量化的特點(diǎn),對IO和網(wǎng)絡(luò)密集型應(yīng)用進(jìn)行量化,并提出了一種基于應(yīng)用大小的優(yōu)先級(jí)調(diào)度策略.大量實(shí)驗(yàn)表明,該策略可以有效地提高云計(jì)算下IO和網(wǎng)絡(luò)密集型應(yīng)用的執(zhí)行效率,對于應(yīng)用繁多、龐大的云計(jì)算服務(wù)器效果更加明顯,不僅提高了云計(jì)算應(yīng)用的執(zhí)行效率,還提高了云計(jì)算中心資源的利用率,減少能源的消耗,為下一步更好、更完善的資源調(diào)度策略提供了一定的基礎(chǔ)和借鑒.

[1] 劉鵬程,陳榕.面向云計(jì)算的虛擬機(jī)動(dòng)態(tài)遷移框架[J].計(jì)算機(jī)工程,2010,36(5):37-39.

[2] KURP P.Green computing[J].Communications of the ACM,2008,51(10):11-13.

[3] 佚名.云計(jì)算“偷吃”巨大能源[J].呼和浩特經(jīng)濟(jì),2012(2):59-60.

[4] BOHRER P,ELNOZAHY E N,KELLER T,et al.The case for power management in web servers[M]∥GRAYBILL R,MELHEM R.Power Aware Computing.Boston,MA:Springer,2002:261-289.

[5] PANDEY S,WU L L,GURU S M,et al.A particle swarm optimization-based heuristic for scheduling workflow applications in cloud computing environments[C]∥Proceedings of the 24th IEEE International Conference on Advanced Information Networking and Applications.Perth,Australia:IEEE,2010:400-407.

[6] KAUR G,MIDHA S.A preemptive priority based job scheduling algorithm in green cloud computing[C]∥ Proceedings of the 6th International Conference on Cloud System and Big Data Engineering.Noida:IEEE,2016:152-156.

[7] 祝家鈺,肖丹.云計(jì)算環(huán)境下基于路徑優(yōu)先級(jí)的任務(wù)調(diào)度算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(10):3511-3515.

[8] 林清瀅,陸錫聰,徐林.云計(jì)算中面向SLA的作業(yè)分層優(yōu)先級(jí)調(diào)度策[J].計(jì)算機(jī)科學(xué),2014,41(6A):316-317.

[9] 謝麗霞,嚴(yán)焱心.云計(jì)算環(huán)境下的服務(wù)調(diào)度和資源調(diào)度研究[J].計(jì)算機(jī)應(yīng)用研究,2015,32(2):528-531.

[10] 郭松輝,龔雪容,王煒,等.一種動(dòng)態(tài)優(yōu)先級(jí)排序的虛擬機(jī)I/O調(diào)度算法[J].計(jì)算機(jī)科學(xué),2017,44(1):13-19.

[11] PENG J J,DAI Y C,RAO Y,et al.Research on processing strategy for CPU-intensive application[J].Journal of Systems Architecture,2016,70:39-47.

[12] PENG J J,RAO Y,DAI Y C,et al.Modeling for I/O intensive applications in cloud computing[C]∥2015 IEEE Symposium on Service-Oriented System Engineering.San Francisco Bay,CA:IEEE,2015:229-234.

[13] 周蘭鳳,趙鵬飛,彭俊杰.基于云環(huán)境下一種小文件傳輸策略研究[J].計(jì)算機(jī)工程與科學(xué),2016,38(1):20-27.

[14] 周蘭鳳,孟馳,彭俊杰.一種基于云環(huán)境的文件存儲(chǔ)策略的研究[J].計(jì)算機(jī)工程與科學(xué),2016,38(2):262-268.

SchedulingStrategyofIOandNetworkIntensiveApplicationsBasedonthePriorityinCloudEnvironment

MAShuangke,ZHOULanfeng

(SchoolofComputerScienceandInformationEngineering,ShanghaiInstituteofTechnology,Shanghai201418,China)

At present,in cloud environment,when the times of parallel IO and network intensive applications are more than the number of CPU cores,the traditional resource allocation strategy is not taking the characteristics of the applications into account,which leads to the low utilization rate of resources and the low efficiency of applications execution.To solve this situation,the IO intensive applications and network intensive applications were analyzed,and the scheduling strategy for IO and network intensive applications was put forward based on the priority.The priority of small applications was improved to get larger CPU time slices,so that small applications can be completed as soon as possible,and then all the CPU time slices are allocated to large applications,to reduce the process of switching between schedulings so as to improve the efficiency.A large number of experiments show that the strategy can effectively improve the efficiency of the applications execution and reduce the consumption of resources.

cloudcomputing;IOintensive;networkintensive;priority;CPUtimeslice;applicationschedule

1007-6735(2017)05-0505-06

10.13255/j.cnki.jusst.2017.05.015

2017-04-26

國家自然科學(xué)基金資助項(xiàng)目(41671402)

麻雙克(1990-),男,碩士研究生.研究方向:云計(jì)算、大數(shù)據(jù).E-mail:1204016495@qq.com

周蘭鳳(1966-),女,副教授.研究方向:路徑規(guī)劃、云計(jì)算、大數(shù)據(jù).E-mail:ifzhou@sit.edu.cn

TP391.9

A

(編輯:石 瑛)