亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        云計(jì)算平臺(tái)聯(lián)合資源調(diào)度優(yōu)化算法研究

        2017-04-08 09:30:10李春艷王茜
        關(guān)鍵詞:優(yōu)化算法云計(jì)算

        李春艷++王茜

        摘要:在云計(jì)算平臺(tái)的資源調(diào)度過程中,需要根據(jù)資源池所承載業(yè)務(wù)平臺(tái)的負(fù)荷情況,及時(shí)調(diào)整業(yè)務(wù)平臺(tái)所分配的資源。通過對(duì)不同類型的資源進(jìn)行劃分,來分析觸發(fā)不同資源調(diào)整的條件,在此基礎(chǔ)上探討云計(jì)算平臺(tái)不同資源下的各種調(diào)整策略,以此希望提高云計(jì)算平臺(tái)資源調(diào)度整體的效率和性能。

        關(guān)鍵詞:云計(jì)算;云計(jì)算平臺(tái);資源調(diào)度;優(yōu)化算法

        中圖分類號(hào):TP393 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1007-9416(2017)02-0146-02

        隨著云計(jì)算平臺(tái)的規(guī)?;瘧?yīng)用,越來越多的業(yè)務(wù)平臺(tái)部署在云資源池上。因此在云計(jì)算平臺(tái)資源管理過程中,為提高資源的利用效率和平臺(tái)的整體運(yùn)行性能,需要對(duì)業(yè)務(wù)平臺(tái)的資源調(diào)度進(jìn)行動(dòng)態(tài)調(diào)整。但在各種不同的情況下如何對(duì)各種資源進(jìn)行調(diào)整?具體的調(diào)整策略是什么?這些是云計(jì)算平臺(tái)資源管理中需要去進(jìn)一步研究的問題。

        1 云計(jì)算概述

        云計(jì)算是能提供動(dòng)態(tài)資源池和虛擬化的下一代高效率和高可靠性的服務(wù)平臺(tái)[1]。

        1.1 云計(jì)算定義

        云計(jì)算的定義可以從幾個(gè)方面理解。狹義上是基于互聯(lián)網(wǎng),將各種服務(wù)器資源按照用戶的需求進(jìn)行獲取。從廣義的角度上看,可解釋為基于互聯(lián)網(wǎng)獲取用戶所需的各種服務(wù),也就是各種服務(wù)的交付使用模式。因此,可將云計(jì)算定義為一種服務(wù)模式,它是按照用戶所需要的各種服務(wù)提供相關(guān)資源,并將相關(guān)資源進(jìn)行管理和調(diào)度。云計(jì)算的概念美國國家標(biāo)準(zhǔn)技術(shù)研究院(NIST)給出了定義:

        云計(jì)算是一種以互聯(lián)網(wǎng)為基礎(chǔ),以便捷、按照用戶具體需求的方式訪問以某種策略進(jìn)行配置的資源共享池的模式。同時(shí)資源共享池盡量以較少的成本和供應(yīng)商交互,快速計(jì)算、提供或回收各種資源[2][3]。云計(jì)算具有封裝性、可擴(kuò)展、可靠性、容錯(cuò)控制,、并行處理能力、按需服務(wù)、經(jīng)濟(jì)性等多個(gè)特點(diǎn)[4]。

        1.2 資源池

        云計(jì)算將各種計(jì)算任務(wù)分配至由大量計(jì)算資源構(gòu)成的資源池中。這些計(jì)算資源共同虛擬構(gòu)成了云計(jì)算平臺(tái)的資源池,具體包括存儲(chǔ)資源、計(jì)算資源、網(wǎng)絡(luò)資源。云計(jì)算的本質(zhì)是如果高效率的進(jìn)行資源池的管理和調(diào)度,從而為用戶高速、安全的提供需要服務(wù)。

        2 云計(jì)算平臺(tái)資源調(diào)度

        2.1 云計(jì)算平臺(tái)資源調(diào)度目的

        2.1.1 以降低能耗為優(yōu)化目標(biāo)

        大型數(shù)據(jù)中心每年消耗的電能是一個(gè)中等城市電量的好幾倍,所以降減能耗是一個(gè)非常重要的目的。

        2.1.2 以提高服務(wù)質(zhì)量和資源利用率為目標(biāo)

        云計(jì)算的核心問題是如何將資源進(jìn)行合理的調(diào)度和分配,使得用戶盡快得到所需資源進(jìn)行計(jì)算服務(wù),同時(shí)提高各種資源的調(diào)度效率,優(yōu)化資源利用率。

        2.1.3 保證服務(wù)質(zhì)量Q0S

        任何服務(wù)提供商衡量標(biāo)準(zhǔn)都是服務(wù)質(zhì)量Q0S[5]。對(duì)于云計(jì)算,在提供各種服務(wù)的時(shí)候也需要最大的保證Q0S,進(jìn)一步體現(xiàn)云計(jì)算的優(yōu)越性。

        2.1.4 虛擬化特性

        云計(jì)算提供的各種資源和服務(wù)整體來說對(duì)于用戶是經(jīng)過了封裝的。終端用戶使用云計(jì)算平臺(tái)執(zhí)行各種服務(wù),是不用具體知道具體方法[6]。執(zhí)行這些服務(wù)請求的是服務(wù)器,甚至只是虛擬出來的服務(wù)器。這種架構(gòu)對(duì)用戶來說不存在對(duì)設(shè)備的依賴,減少了使用的復(fù)雜性[7]。

        2.2 云計(jì)算平臺(tái)資源調(diào)度解決方案

        云計(jì)算應(yīng)用核心的技術(shù)是資源的管理和調(diào)度,尤其是資源的合理調(diào)度與分配。近幾年來,針對(duì)云計(jì)算資源調(diào)度問題,相關(guān)的研究單位和研究人員也提出了許多解決方案。

        2.2.1 為滿足客戶需求,完成時(shí)間最佳資源分配(CORA)問題[8]

        完成時(shí)間建立客戶/工作效用函數(shù)。在資源調(diào)度時(shí),考慮到不同工作對(duì)資源需求的異構(gòu)性和工作完成時(shí)間敏感度的不同,以客戶對(duì)工作完成時(shí)間的敏感度為效用函數(shù),以工作對(duì)資源的需求量和集群資源容量限制為約束條件,來優(yōu)化求解集群中所有工作最小效用的最大值。

        2.2.2 基于博弈理論的資源分配算法[9]

        ①單個(gè)參與者的獨(dú)立優(yōu)化問題:使用二進(jìn)制整數(shù)規(guī)劃方法處理;②多個(gè)參與者的綜合優(yōu)化問題:使用進(jìn)化算法處理。

        同時(shí)進(jìn)化算法將優(yōu)化和公平兩個(gè)原則都考慮進(jìn)去,給出較好的折衷資源分配方法。

        2.2.3 基于蟻群優(yōu)化的計(jì)算資源分配算法[10]

        ①首先預(yù)測所有可用節(jié)點(diǎn)的計(jì)算質(zhì)量;

        ②根據(jù)云計(jì)算環(huán)境的特點(diǎn),利用蟻群優(yōu)化算法得到一組最優(yōu)的計(jì)算資源。

        2.2.4 一些商業(yè)的虛擬機(jī)資源管理工具[11]

        如VMware Capacity Planner和IBM WebSphere CloudBurst。這種方法考慮的較多的是CPU、內(nèi)存等的相關(guān)資源分配,對(duì)于網(wǎng)絡(luò)資源方面的調(diào)度問題沒有過多的進(jìn)行考慮。

        2.3 云計(jì)算平臺(tái)資源調(diào)度相關(guān)算法

        對(duì)于資源的調(diào)度優(yōu)化是云平臺(tái)性能優(yōu)化的重點(diǎn)。

        2.3.1 FIFO

        相對(duì)于來說,最簡單的調(diào)度算法。將用戶提交的作業(yè)全部放在隊(duì)列中,依照先進(jìn)先出的方式進(jìn)行調(diào)度。

        2.3.2 Capacity

        這種調(diào)度算法將資源平均分配給所有的作業(yè),如果這些提交的作業(yè)對(duì)于資源的需求比較相同的時(shí)候,是效率較高的,但是沒有考慮到作業(yè)的多樣性,有一定的局限。

        2.3.3 Fair

        這種資源調(diào)度算法,首先要根據(jù)用戶組或者其它具體情況進(jìn)行綜合配置,為每個(gè)用戶組提供一個(gè)獨(dú)立的資源池,然后采用公平共享的原則對(duì)作業(yè)就行共享資源的劃分。

        2.3.4 Deadline Scheduler

        這種調(diào)度算法將作業(yè)規(guī)定了一個(gè)時(shí)間,在這個(gè)規(guī)定的時(shí)間內(nèi)必須完成,如果沒有完成直接回收資源。預(yù)防。

        3 云計(jì)算平臺(tái)資源調(diào)度優(yōu)化方案

        3.1 提高云計(jì)算平臺(tái)資源利用率的方法

        對(duì)于提高一個(gè)云計(jì)算平臺(tái)資源利用率有以下兩個(gè)方法:

        3.1.1 保持整個(gè)集群的所有節(jié)點(diǎn)都處于一種幾乎滿載的狀況

        通過多隊(duì)列的調(diào)度策略,通過作業(yè)等待隊(duì)列與運(yùn)行隊(duì)列的調(diào)度執(zhí)行的緩沖與配合,來保持所有的資源都在使用。

        3.1.2 提高單個(gè)節(jié)點(diǎn)的使用效率

        通過將作業(yè)以某種方式進(jìn)行類型的劃分,然后依據(jù)作業(yè)的類型來分配節(jié)點(diǎn)資源提高單個(gè)節(jié)點(diǎn)的使用效率。

        3.2 云計(jì)算平臺(tái)資源調(diào)度優(yōu)化方案

        一個(gè)節(jié)點(diǎn)的計(jì)算資源有多種,考慮算法的資源的調(diào)度運(yùn)行情況和實(shí)際情況,將所有的Reduce作業(yè)類型簡單分成CPU和磁盤資源依賴型。

        對(duì)于作業(yè)類型的劃分有兩種模式。

        3.2.1 用戶指定作業(yè)類型

        用戶可以將作業(yè)依賴類型參數(shù)指定為:

        CPU資源依賴型(CPU_dependant);磁盤資源依賴型(Disk_ dependant);

        對(duì)于沒有指定參數(shù)的作業(yè)類型,則直接安裝原算法中指定的類型進(jìn)行處理。但是這種作業(yè)配置要求用戶對(duì)于作業(yè)類型和算法要有一定的專業(yè)知識(shí),所以對(duì)于沒有這方面知識(shí)的用戶來說比較困難。

        3.2.2 作業(yè)在調(diào)度執(zhí)行程序中指定作業(yè)類型

        ①首先等待作業(yè)根據(jù)條件進(jìn)入運(yùn)行隊(duì)列,調(diào)度器選取Map任務(wù)執(zhí)行。

        ②將任務(wù)統(tǒng)稱為Pilot,對(duì)它進(jìn)行資源分析,確定是屬于哪種作業(yè)。

        通過對(duì)作業(yè)整體類型進(jìn)行劃分,將一道作業(yè)分解為Map-Shuffle和Reduce-compute過程。確定作業(yè)類型的具體方式如下[12]:

        (3.1)

        MID、MOD、SID、SOD: Map和Reduce任務(wù)copy階段輸入和輸出數(shù)據(jù)的大??;

        MTCT:Pilot任務(wù)的整個(gè)生命周期;

        DIOR:磁盤I/O比率,根據(jù)這個(gè)比率的數(shù)值來對(duì)具體的作業(yè)類型劃分。

        3.2.3 優(yōu)化的指定作業(yè)類型

        如果出現(xiàn)數(shù)據(jù)本地化不佳的任務(wù),需要從其他節(jié)點(diǎn)上下載Map任務(wù)的輸入,因此MTCT較大,根據(jù)3.2計(jì)算出來的數(shù)值很可能是CPU依賴型。但是,實(shí)際上這類型的任務(wù)以磁盤依賴型任務(wù)較多。將3.1進(jìn)行優(yōu)化得出以下作業(yè)類型劃分的方式[13]:

        CPU依賴型:

        (3.2)

        磁盤依賴型:

        (3.3)

        CIR、COR:Pilot任務(wù)combine輸入和輸出結(jié)果;

        :參數(shù)因子,用來根據(jù)實(shí)際情況進(jìn)行調(diào)節(jié);

        MTET:任務(wù)執(zhí)行時(shí)間;

        任務(wù)的執(zhí)行時(shí)間:MTET(MAP_TASK_EXEC_TIME)。

        3.3 云計(jì)算平臺(tái)資源調(diào)度優(yōu)化算法

        在多隊(duì)列作業(yè)調(diào)度中引入多級(jí)調(diào)度策略,首先為每個(gè)用戶組設(shè)置了兩個(gè)作業(yè)隊(duì)列。

        ①作業(yè)等待隊(duì)列。按照作業(yè)優(yōu)先級(jí)以及提交時(shí)間順序進(jìn)行綜合排序,在初始化進(jìn)入作業(yè)運(yùn)行隊(duì)列開始調(diào)度。

        ②作業(yè)運(yùn)行隊(duì)列。為每個(gè)作業(yè)隊(duì)列分配一定的資源配額,配額管理方法與Capacity調(diào)度算法一致。運(yùn)行隊(duì)列還可分為可共享型隊(duì)列和非可共享型隊(duì)列兩類??晒蚕硇完?duì)列中的資源配額回收中加入了搶占共享機(jī)制。

        依據(jù)作業(yè)類型的特點(diǎn)和需求,在云計(jì)算資源歸一化的基礎(chǔ)上,實(shí)現(xiàn)資源調(diào)度的優(yōu)化。其中算法流程圖如圖1。

        本文重點(diǎn)研究與分析了各種不同的資源管理調(diào)度方法、同時(shí)充分考慮云計(jì)算平臺(tái)運(yùn)行的實(shí)際情況,針對(duì)不同的資源分析觸發(fā)這些資源調(diào)整的條件,并提出具體算法。此外,針對(duì)算法如何更加優(yōu)化,比如,資源搶占、防止乒乓效益等,這也是云服務(wù)提供商非常關(guān)心的問題。因此,資源分配策略的不斷改進(jìn)和優(yōu)化,需要更多的研究和探索。

        參考文獻(xiàn)

        [1]李喬,鄭嘯.云計(jì)算研究現(xiàn)狀綜述[J].計(jì)算機(jī)科學(xué),2011,38(4):30-35.

        [2]S. Ghemawat,H.Gobioff, S.T.Leung.The Google File System. Communications of the ACM. Volume 37,Issue 5,pp.29-43,2003.

        [3]L.A.Barroso J.Dean U.H lzle.Web Search for a Planet:The Google Cluster Architecture.IEEE Micro.Volume23,Issue 2,pp. 22-28, 2003.

        [4]吳朱華編著.云計(jì)算核心技術(shù)剖析[M].北京:電子工業(yè)出版社,2011:79-82.

        [5]趙立威,方國偉.讓云觸手可及微軟云計(jì)算實(shí)踐指示[M].北京:電子工業(yè)出版社,2010:153-155.

        [6]韓建民,鹿玲杰.資源調(diào)度機(jī)制在計(jì)算機(jī)控制系統(tǒng)中的應(yīng)用.計(jì)算機(jī)應(yīng)用[J],2013,41(2):5-6.

        [7]I.Menken, G.Blokdijk. Cloud Computing Virtualization Specialist Complete Certification Kit - Study Guide Book and Online Course. Emereo Pty Ltd. 2009.

        [8]何福貴,侯義斌.基于有限優(yōu)先級(jí)的動(dòng)態(tài)調(diào)度分組算法.北京工業(yè)大學(xué)學(xué)報(bào),2013,34(8):11-12.

        [9]張鵬飛.云計(jì)算數(shù)據(jù)中心調(diào)度算法研究[J].電子世界,2014(3):3-66.

        [10]林偉偉,齊德昱.云計(jì)算資源調(diào)度研究綜述[J].云計(jì)算資源調(diào)度研究綜述,2012(10):127-134.

        [11]C. Guo, G. Lu, et al. Secondnet: A data center network virtualizat ion architecture with bandwidth guarantees[C].The 6th International Conference, USA ,December 2010,1-12.

        [12]HIEU B T,NOBUYAMA E. A local voting method by scanning high-confidence level voters for vanishing point detection[C]/ /Proc ofSICE Annual Conference.2011:790-795.

        [13]何一舟.MapReduce的性能分析與優(yōu)化[D].武漢:華中科技大學(xué),2011:68-74.

        猜你喜歡
        優(yōu)化算法云計(jì)算
        原子干涉磁力儀信號(hào)鑒頻優(yōu)化算法設(shè)計(jì)
        故障樹計(jì)算機(jī)輔助分析優(yōu)化算法研究與應(yīng)用
        混沌優(yōu)化算法在TSP問題的應(yīng)用
        志愿服務(wù)與“互聯(lián)網(wǎng)+”結(jié)合模式探究
        云計(jì)算與虛擬化
        基于云計(jì)算的移動(dòng)學(xué)習(xí)平臺(tái)的設(shè)計(jì)
        實(shí)驗(yàn)云:理論教學(xué)與實(shí)驗(yàn)教學(xué)深度融合的助推器
        云計(jì)算中的存儲(chǔ)虛擬化技術(shù)應(yīng)用
        科技視界(2016年20期)2016-09-29 13:34:06
        再制造閉環(huán)供應(yīng)鏈研究現(xiàn)狀分析
        故障樹計(jì)算機(jī)輔助分析優(yōu)化算法的實(shí)踐應(yīng)用
        科技傳播(2016年3期)2016-03-25 00:23:31
        亚洲一区亚洲二区视频在线| 人妻少妇偷人精品无码| 日韩精品视频一区二区三区| 99精品国产一区二区三区| 男女超爽视频免费播放| 亚洲第一无码精品久久| 亚洲中文字幕无码不卡电影| 天堂av中文在线官网| 男女深夜视频网站入口| 日本一级特黄aa大片| 国产精品久久久久高潮| 精品少妇爆乳无码av无码专区| 亚洲永久精品ww47| 久久精品国产亚洲vr| 亚洲AV永久无码精品一区二国| 黄片午夜免费观看视频国产| 国产精品一区久久综合| 欧美疯狂性受xxxxx喷水| 国产白袜脚足j棉袜在线观看| 极品粉嫩嫩模大尺度无码| 白白视频在线免费观看| 男女调情视频在线观看| 国产超碰人人爽人人做人人添| 国产成人综合久久精品推| 亚洲九九夜夜| 高清国产精品一区二区| 熟女一区二区中文字幕| 无码人妻h动漫中文字幕| 国产一区二区精品久久| 久久网视频中文字幕综合| 女同性恋亚洲一区二区| 日本乱熟人妻中文字幕乱码69| 国产精品国产三级国产a| 丰满人妻一区二区三区视频53 | 99国产免费热播视频| 3亚洲日韩在线精品区| 国产av熟女一区二区三区密桃| 天天躁日日躁狠狠躁| 九九在线视频| 视频一区中文字幕在线观看| 岛国熟女精品一区二区三区|