祝旭
摘? ?要:云計(jì)算要想順利實(shí)現(xiàn)其主要功能,離不開(kāi)兩大基礎(chǔ)技術(shù),分別是資源的分配和任務(wù)調(diào)度,其中,資源的分配效果將直接影響到云計(jì)算的運(yùn)行效果和處理能力?;诖?,有必要針對(duì)云計(jì)算數(shù)據(jù)中心的資源調(diào)度進(jìn)行優(yōu)化,從而降低云計(jì)算的能耗,同時(shí)有效提高云計(jì)算的運(yùn)行效率。文章分析了基于傳統(tǒng)Map Reduce調(diào)度模型,設(shè)計(jì)并行的Map Reduce資源分配算法,進(jìn)而達(dá)到良好的能耗控制效果和運(yùn)行效果,取得良好的實(shí)踐運(yùn)行效果。
關(guān)鍵詞:綠色云計(jì)算;能耗優(yōu)化;動(dòng)態(tài)資源分配
近年來(lái),隨著社會(huì)經(jīng)濟(jì)的發(fā)展,相關(guān)的科技也得到深入發(fā)展,這些新技術(shù)一方面滿足了新的生產(chǎn)或者控制需求,另一方面也不斷促進(jìn)了對(duì)應(yīng)領(lǐng)域技術(shù)的發(fā)展和升級(jí)。從整體上來(lái)講,當(dāng)前對(duì)社會(huì)經(jīng)濟(jì)和人們生活影響比較深遠(yuǎn)的技術(shù)包括物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等,這些技術(shù)無(wú)一不是新技術(shù)高度發(fā)展的結(jié)果。研究結(jié)果顯示,數(shù)據(jù)中心的運(yùn)行需要大量能源支持,而數(shù)據(jù)中心的能耗已經(jīng)占到系統(tǒng)運(yùn)行總成本的一半。在實(shí)際管理過(guò)程中,受限于云計(jì)算數(shù)據(jù)中心自身的虛擬化和高彈性等特點(diǎn),能耗巨大的數(shù)據(jù)中心對(duì)其正常功能的發(fā)揮產(chǎn)生了負(fù)面影響,研究顯示,能耗過(guò)大已經(jīng)逐漸成為制約云計(jì)算技術(shù)進(jìn)一步推廣應(yīng)用的一個(gè)主要障礙和不足,因此,有必要結(jié)合云計(jì)算實(shí)際情況對(duì)其能耗進(jìn)行有效控制,從而有效提升其運(yùn)行效率,并降低能耗,達(dá)到良好的運(yùn)行效果。
云計(jì)算平臺(tái)基于云計(jì)算的各項(xiàng)基礎(chǔ)設(shè)施和相關(guān)架構(gòu),將其通過(guò)互聯(lián)網(wǎng)進(jìn)行有效連接,并根據(jù)實(shí)際需要按照對(duì)應(yīng)的服務(wù)形式進(jìn)行運(yùn)行和交付;在實(shí)際運(yùn)行過(guò)程中,云計(jì)算可以為用戶提供其所需的各種資源,而這種服務(wù)是不受到時(shí)間、地點(diǎn)限制的,還可以幫助用戶實(shí)現(xiàn)對(duì)資源的獲取、存儲(chǔ)、計(jì)算和運(yùn)用。
1? ? 云計(jì)算基本特征及應(yīng)用
云計(jì)算基于網(wǎng)絡(luò)計(jì)算技術(shù),在近幾年得到迅猛發(fā)展,并得到大范圍應(yīng)用??梢哉f(shuō),云計(jì)算是21世紀(jì)一項(xiàng)具有典型意義的技術(shù);云計(jì)算能實(shí)現(xiàn)IT資源的交付、共享,能夠根據(jù)用戶需要實(shí)現(xiàn)IT資源的配置和管理,從而滿足用戶的各種需求。在實(shí)際應(yīng)用過(guò)程中,各種資源的管理都是在云計(jì)算平臺(tái)上進(jìn)行。云計(jì)算能夠?yàn)橛脩魩?lái)其所需要的各種服務(wù)和資料,是新時(shí)期的一種新的商業(yè)模式,其核心理念和發(fā)展模式都是基于服務(wù)以及維護(hù)。
云計(jì)算可以與具體行業(yè)結(jié)合,為對(duì)應(yīng)行業(yè)的發(fā)展提供支持和服務(wù),基于此,可以根據(jù)云計(jì)算的應(yīng)用對(duì)象分為醫(yī)療云、教育云、工業(yè)云、時(shí)政云等。其中,教育云指的是針對(duì)教育領(lǐng)域應(yīng)用的云計(jì)算,利用現(xiàn)代網(wǎng)絡(luò)結(jié)構(gòu),將相關(guān)主體進(jìn)行連接,得到一個(gè)具有豐富資源的學(xué)習(xí)教育網(wǎng)絡(luò),并構(gòu)建一種新的教學(xué)模式。教育云能夠?qū)ο嚓P(guān)的軟件資料和硬件資料進(jìn)行整合,從而實(shí)現(xiàn)資源的最大化利用,實(shí)現(xiàn)資源的優(yōu)化配置,滿足教學(xué)的各種需要,取得最佳的教學(xué)效果。醫(yī)療云主要是針對(duì)醫(yī)療構(gòu)建一個(gè)醫(yī)療護(hù)理的網(wǎng)絡(luò)系統(tǒng),幫助醫(yī)生和患者得到對(duì)應(yīng)的信息資料,幫助患者實(shí)現(xiàn)良好的就診效果,同時(shí),也為醫(yī)生的診斷治療提供必要的信息支持。金融云將相關(guān)的數(shù)據(jù)資料融入對(duì)應(yīng)的云計(jì)算體系,為客戶帶來(lái)豐富的信息資源,同時(shí),能夠有效降低系統(tǒng)的運(yùn)行成本,取得良好的經(jīng)濟(jì)效果。
2? ? 能耗優(yōu)化與資源分配
云計(jì)算在運(yùn)行過(guò)程中具有其自身特點(diǎn),首先,云計(jì)算的對(duì)象規(guī)模非常大,其中的信息和資源非常豐富,此外,不論是用戶還是資源在需求方面均存在較大差異,這種情況下使得云計(jì)算在運(yùn)行過(guò)程中,需要大量能耗來(lái)支持其進(jìn)行海量運(yùn)算和查找,在這個(gè)過(guò)程中,對(duì)資源的分配和各種人為的調(diào)動(dòng)是云計(jì)算的一個(gè)難點(diǎn),也是確保其正常發(fā)揮功能的一個(gè)重點(diǎn)。這也是直接影響到云計(jì)算運(yùn)行效果和一個(gè)重要影響因素,基于此,必須控制好云計(jì)算的資源分配和任務(wù)調(diào)度[1]。
云計(jì)算過(guò)程中實(shí)施資源調(diào)度要按照對(duì)應(yīng)的原則進(jìn)行;云計(jì)算的資源調(diào)度一般在不同資源擁有者和不同使用者之間進(jìn)行,因此其任務(wù)繁重,要想滿足不同用戶的個(gè)性化需求必須從海量資源中進(jìn)行搜集和整理。當(dāng)前,云計(jì)算運(yùn)行過(guò)程中的資源調(diào)度主要通過(guò)虛擬級(jí)別的調(diào)度技術(shù)進(jìn)行,同時(shí),根據(jù)需要采用對(duì)應(yīng)的調(diào)度策略;這種方法在實(shí)際運(yùn)行過(guò)程中存在一定不足,主要表現(xiàn)為對(duì)時(shí)間和空間的要求較高,導(dǎo)致云計(jì)算在運(yùn)行過(guò)程中難以達(dá)到良好的效率,同時(shí),也無(wú)法達(dá)到理想的算法整體性效果。傳統(tǒng)云計(jì)算過(guò)程中實(shí)施的資源分配,主要采用靜態(tài)的預(yù)分配模式,這種算法很難滿足云計(jì)算的運(yùn)行,因?yàn)樵朴?jì)算為了滿足用戶的即時(shí)要求,需要實(shí)現(xiàn)動(dòng)態(tài)性運(yùn)算,此外,云計(jì)算的資源負(fù)載能力也處于變化之中,這進(jìn)一步增加了云計(jì)算對(duì)能耗的要求。國(guó)內(nèi)外云計(jì)算資源分配領(lǐng)域研究主要集中在啟發(fā)式仿生算法、負(fù)載均衡機(jī)制與時(shí)間跨度最小化原則、能耗最小化與能耗均勻化管理等方面
(1)Job Tracker兩個(gè)主要的功能分離成單獨(dú)的組件,并結(jié)合需要將其用于相應(yīng)的任務(wù)和作用,具體包括對(duì)資源的管理和對(duì)相關(guān)任務(wù)的調(diào)度和監(jiān)控[2]。
(2)資源管理器對(duì)云計(jì)算系統(tǒng)運(yùn)行過(guò)程中的資源實(shí)施整體管理,并根據(jù)需要對(duì)其實(shí)施分配,其中,具體應(yīng)用將負(fù)責(zé)具體的工作,從而實(shí)現(xiàn)資源的有效配置和調(diào)度,完成云計(jì)算需要的資源配置。
(3)具體應(yīng)用就是一個(gè)對(duì)應(yīng)的框架庫(kù),在運(yùn)行過(guò)程中,框架庫(kù)會(huì)與對(duì)應(yīng)的資源管理器結(jié)合,從而獲得相關(guān)的資源,并將其與系統(tǒng)連接,實(shí)施協(xié)調(diào)工作,并監(jiān)控其運(yùn)行,最終促使云計(jì)算完成相關(guān)的工作[3]。
(4)資源管理器支持分層級(jí),并根據(jù)系統(tǒng)的運(yùn)算能力和動(dòng)態(tài)負(fù)載能力將其進(jìn)行分配,促使其將對(duì)應(yīng)的計(jì)算任務(wù)分配到對(duì)應(yīng)的節(jié)點(diǎn),當(dāng)分配完成,系統(tǒng)自動(dòng)將其從隊(duì)列中刪除,確保系統(tǒng)的完整性。但是,資源管理器也無(wú)法完成系統(tǒng)運(yùn)行過(guò)程中出現(xiàn)問(wèn)題的任務(wù),任務(wù)管理器主要基于應(yīng)用程序的需要對(duì)其進(jìn)行調(diào)度,因此,不同應(yīng)用程序需要對(duì)應(yīng)的資源,同時(shí),也需要對(duì)應(yīng)的容器進(jìn)行配合[4]。
3? ? 實(shí)驗(yàn)測(cè)試與結(jié)果分析
針對(duì)綠色云計(jì)算中資源管理與調(diào)度過(guò)程,基于傳統(tǒng)Map Reduce調(diào)度模型,設(shè)計(jì)并行的Map Reduce資源分配算法,具體步驟如下。
步驟1:獲取需要運(yùn)行的云計(jì)算對(duì)應(yīng)的節(jié)點(diǎn)及其相關(guān)的性能和參數(shù)。
步驟2:根據(jù)用戶的個(gè)性化需求提出請(qǐng)求,并獲取相關(guān)資源的需求參數(shù)。
步驟3:利用Ma Reduce資源分配過(guò)程,并發(fā)訪問(wèn)云計(jì)算系統(tǒng)各個(gè)計(jì)算節(jié)點(diǎn)。
步驟4:在云計(jì)算系統(tǒng)中選擇計(jì)算節(jié)點(diǎn)參數(shù)符合資源需求參數(shù)的計(jì)算節(jié)點(diǎn),并將所選計(jì)算節(jié)點(diǎn)的資源分配給所述用戶,用于執(zhí)行相應(yīng)的訪問(wèn)請(qǐng)求。
步驟5:將用戶請(qǐng)求從等待隊(duì)列中刪除,資源分配結(jié)束。
結(jié)果顯示,新的運(yùn)行系統(tǒng)環(huán)境下算法的執(zhí)行時(shí)間也比傳統(tǒng)算法少,當(dāng)系統(tǒng)的任務(wù)數(shù)量急劇增大后,這種優(yōu)勢(shì)表現(xiàn)得更加明顯。
4? ? 結(jié)語(yǔ)
云計(jì)算平臺(tái)基于云計(jì)算的各項(xiàng)基礎(chǔ)設(shè)施和相關(guān)架構(gòu),將其通過(guò)互聯(lián)網(wǎng)進(jìn)行有效連接,并根據(jù)實(shí)際需要按照對(duì)應(yīng)的服務(wù)形式進(jìn)行運(yùn)行和交付;在實(shí)際運(yùn)行過(guò)程中,云計(jì)算可以為用戶提供其所需的各種資源,而這種服務(wù)是不受到時(shí)間、地點(diǎn)限制的,還可以幫助用戶實(shí)現(xiàn)對(duì)資源的獲取、存儲(chǔ)、計(jì)算和運(yùn)用。云計(jì)算在運(yùn)行過(guò)程中具有其自身特點(diǎn),首先云計(jì)算的對(duì)象規(guī)模非常大,其中的信息和資源非常豐富,此外,不論是用戶還是資源在需求方面均存在較大差異,這種情況下使得云計(jì)算在運(yùn)行過(guò)程中,需要大量能耗來(lái)支持其進(jìn)行海量運(yùn)算和查找,在這個(gè)過(guò)程中,對(duì)資源的分配和各種人為的調(diào)動(dòng)是云計(jì)算的一個(gè)難點(diǎn),也是確保其正常發(fā)揮其功能的一個(gè)重點(diǎn)。這也是直接影響到云計(jì)算運(yùn)行效果和一個(gè)重要影響因素,基于此,必須控制好云計(jì)算的資源分配和任務(wù)調(diào)度。
[參考文獻(xiàn)]
[1]王萬(wàn)良,臧澤林,陳國(guó)棋,等.大規(guī)模云計(jì)算服務(wù)器優(yōu)化調(diào)度問(wèn)題的最優(yōu)二元交換算法研究[J].通信學(xué)報(bào),2019(5):180-191.
[2]閆金平.超融合架構(gòu)在學(xué)校數(shù)據(jù)中心機(jī)房建設(shè)淺析—以北京印刷學(xué)院為例[J].北京印刷學(xué)院學(xué)報(bào),2019(4):80-83.
[3]閆實(shí),付佳,王曉麗,等.云計(jì)算技術(shù)在智慧校園建設(shè)中的應(yīng)用[J].軟件,2019(4):207-209.
[4]彭兆軍,劉遠(yuǎn)超.嵌入式云平臺(tái)的實(shí)時(shí)任務(wù)最優(yōu)調(diào)度算法研究[J].科技創(chuàng)業(yè)月刊,2016(4):111-113.
Research on key technologies of energy resource scheduling
optimization in green cloud computing data center
Zhu Xu
(Hunan Industry Polytechnic, Changsha 410208, China)
Abstract:In order to successfully realize its main functions, cloud computing is inseparable from two basic technologies, namely resource allocation and task scheduling. The distribution effect of resources will directly affect the operation effect of cloud computing and affect its processing capacity. Based on this, it is necessary to optimize the resource scheduling of the cloud computing data center, thereby reducing the energy consumption of the cloud computing and effectively improving the operational efficiency of the cloud computing. This paper analyzes the basis of the traditional Map Reduce scheduling model, and designs a parallel Map Reduce resource allocation algorithm to achieve good energy control effect and operation effect, and achieve good practical operation results.
Key words:green cloud computing; energy consumption optimization; dynamic resource allocation