黨偉超 武婷玉

摘 要：針對邊緣云環(huán)境的自動化和分布式特性、高度不可靠性及易變的工作負(fù)載問題，提出基于注意力時空卷積和A2C的虛擬機(jī)主動容錯優(yōu)先遷移決策模型ASTA2C。首先，采用帶有注意力機(jī)制的長短期記憶網(wǎng)絡(luò)（LSTM）提取各主機(jī)的時序特征，根據(jù)時序特征和多主機(jī)間的交互信息構(gòu)建圖網(wǎng)絡(luò)，再利用圖注意力網(wǎng)絡(luò)（GAT）提取網(wǎng)絡(luò)中不同主機(jī)間的關(guān)聯(lián)信息，將其用于主機(jī)的故障信息編碼。其次，設(shè)計可動態(tài)建立模型并不斷生成改進(jìn)決策的A2C模塊，聯(lián)合故障編碼信息和調(diào)度決策信息進(jìn)行優(yōu)先遷移決策。最后，構(gòu)建滿足不同用戶QoS要求和應(yīng)用程序設(shè)置的自適應(yīng)損失函數(shù)來優(yōu)化調(diào)度決策。實驗結(jié)果表明，該模型在故障檢測、能源消耗、時延敏感性等方面優(yōu)于最先進(jìn)的基線，是提高邊緣云計算可靠性的理想選擇。

關(guān)鍵詞：虛擬機(jī)調(diào)度；時空卷積；A2C；主動容錯；優(yōu)先遷移

中圖分類號：TP391.9?? 文獻(xiàn)標(biāo)志碼：A?? 文章編號：1001-3695（2023）12-013-3606-08

doi：10.19734/j.issn.10013695.2023.03.0144

Active faulttolerant priority migration decision model for virtual machines based on attentional spatiotemporal convolution and A2C

Abstract：This paper proposed an active faulttolerant priority migration decision model for virtual machines based on attentional spatiotemporal convolution and A2C（ASTA2C）.This method improved reliability and adapted to volatile workloads in resourceconstrained edge cloud computing environments.Firstly，it used a long shortterm memory network （LSTM） with an attention mechanism to extract the temporal features in each host.It combined temporal features and interaction information between multiple hosts to build graph networks.Then it used graph attention network （GAT） to extract association information between different hosts in the network，and the association information would be used to encode the fault information of hosts.Next，it designed the A2C module to dynamically build models and continuously generate improved decisions，this module could combine fault code information and scheduling decision information for priority migration decision.It constructed adaptive loss functions to optimize scheduling decisions to meet different user QoS requirements and application settings.Experimental results show that the proposed model outperforms the stateoftheart baseline in terms of fault detection，energy consumption，and delay sensitivity.It is ideal for improving the reliability of edge cloud computing.

Key words：virtual machine scheduling；spatiotemporal convolution；A2C；active faulttolerant；priority migration

0 引言

云計算快速發(fā)展、設(shè)施規(guī)模大幅擴(kuò)大給云服務(wù)提供商帶來了能耗及容錯方面的巨大挑戰(zhàn)［1］，及時準(zhǔn)確可主動容錯的虛擬機(jī)調(diào)度不僅可以保持云計算的低延遲和高可靠性，還可以提高能源利用率，對于國家節(jié)約能源、保護(hù)環(huán)境和推進(jìn)可持續(xù)發(fā)展有著重要意義。

由于網(wǎng)絡(luò)延遲的增加，傳統(tǒng)的以云為中心的物聯(lián)網(wǎng)部署無法為許多時延敏感的應(yīng)用程序提供快速響應(yīng)，如醫(yī)療保健、應(yīng)急響應(yīng)和流量監(jiān)控［2］，因此，低延遲響應(yīng)的邊緣—云計算架構(gòu)應(yīng)運(yùn)而生。設(shè)計一個能夠有效管理工作負(fù)載和底層資源，并主動檢測故障以避免不必要損失的調(diào)度決策對邊緣云環(huán)境來說至關(guān)重要，其不僅可以有效地利用邊緣資源以適應(yīng)更多應(yīng)用程序，還能最大化服務(wù)質(zhì)量（QoS）。但是在邊緣云環(huán)境中創(chuàng)建能夠容錯的調(diào)度決策是極具挑戰(zhàn)性的。首先，遠(yuǎn)程云和本地邊緣節(jié)點(diǎn)服務(wù)器可能是異構(gòu)的，在容量、速度、時延等方面均存在顯著差異。其次，由于邊緣云環(huán)境的移動性因素會導(dǎo)致數(shù)據(jù)源與計算節(jié)點(diǎn)之間的帶寬不斷變化，調(diào)度決策必須持續(xù)地動態(tài)優(yōu)化以滿足應(yīng)用需求。此外，任務(wù)到達(dá)率、任務(wù)持續(xù)時間和資源需求等方面的隨機(jī)性以及邊緣設(shè)備的不可靠性和現(xiàn)代應(yīng)用程序嚴(yán)格的服務(wù)期限進(jìn)一步加大了容錯決策的復(fù)雜性。

與普通系統(tǒng)相比，在云系統(tǒng)中執(zhí)行請求時需要對更高程度的錯誤和故障進(jìn)行容錯。當(dāng)系統(tǒng)中的組件停止正常工作時，容錯機(jī)制可以使系統(tǒng)以某種方式繼續(xù)運(yùn)行，而不是完全癱瘓，提供可靠的服務(wù)是云系統(tǒng)中最必要的問題之一。相關(guān)的提高服務(wù)可靠性［3～5］的容錯機(jī)制受到人們的極大關(guān)注。文獻(xiàn)［6］提出可以通過提供冗余節(jié)點(diǎn)和網(wǎng)絡(luò)應(yīng)急措施來避免邊緣主機(jī)的癱瘓性停機(jī)。然而，隨著云平臺設(shè)備數(shù)量的不斷增加，這種部署對能源和成本的影響將會越來越大，對每個節(jié)點(diǎn)都冗余配置幾乎是不可行的。文獻(xiàn)［7］提出在單獨(dú)的節(jié)點(diǎn)上復(fù)制任務(wù)的運(yùn)行實例，但這對資源緊張的邊緣云環(huán)境并不理想，且更容易使之受到資源競爭和故障的影響［8］。現(xiàn)如今最先進(jìn)的容錯技術(shù)采用的是某種形式的專門算法或機(jī)器學(xué)習(xí)模型。動態(tài)容錯遷移（DFTM）［4］根據(jù)整數(shù)線性規(guī)劃（ILP）公式分析工作負(fù)載流量，選擇需要遷移的虛擬機(jī)和恢復(fù)的目標(biāo)主機(jī)。主動協(xié)調(diào)容錯（PCFT）［3］方法使用粒子群優(yōu)化（PSO）來降低任務(wù)的總體傳輸開銷、網(wǎng)絡(luò)消耗和總執(zhí)行時間，主要側(cè)重于減少分布式云環(huán)境中的傳輸開銷，但不能提高計算節(jié)點(diǎn)的I/O性能。節(jié)能檢查點(diǎn)和負(fù)載平衡（ECLB）［9］技術(shù)使用貝葉斯方法和神經(jīng)網(wǎng)絡(luò)將主機(jī)分為過載、欠載和正常三類。但是，該模型只考慮過載異常，而沒有考慮其他故障類型。CMODLB［10］使用了一種基于聚類的多目標(biāo)動態(tài)負(fù)載平衡技術(shù)避免云計算節(jié)點(diǎn)中的資源沖突。該方法采用Kmeans進(jìn)行節(jié)點(diǎn)聚類以識別過載主機(jī)，通過PSO選擇任務(wù)，采用深度學(xué)習(xí)和模糊邏輯優(yōu)化來選擇目標(biāo)主機(jī)。但緩慢的PSO優(yōu)化會導(dǎo)致恢復(fù)時間過長，不適合應(yīng)用在高度動態(tài)的系統(tǒng)中［11］。

邊緣云環(huán)境中現(xiàn)有的資源調(diào)度算法一直被啟發(fā)式或基于規(guī)則的策略［12～17］所主導(dǎo)，其中最著名貢獻(xiàn)之一是Beloglazov等人的工作，在文獻(xiàn)［13，18］中提出并探索了虛擬機(jī)（VM）資源優(yōu)化三個階段的各種啟發(fā)式方法，對過載物理主機(jī)的檢測提出了中位數(shù)絕對偏差（median absolute deviation，MAD）算法和四分位距（interquartile range，IQR）算法，在選擇需要遷移的虛擬機(jī)時，提出了隨機(jī)選擇（random selection，RS）策略、最小遷移時間（minimum migration time，MMT）策略以及最大關(guān)聯(lián)（maximum correlation，MC）策略，將遷出的虛擬機(jī)重新放置到合適的目標(biāo)主機(jī)上時，提出了基于能耗感知的最佳降序（power aware best fit decreasing，PABFD）算法，固定的云資源數(shù)量的情況下，可以使用這些方法來滿足預(yù)期的軟件服務(wù)請求，但是環(huán)境一旦發(fā)生改變就可能不再滿足QoS要求，因為設(shè)置自適應(yīng)的軟件服務(wù)動態(tài)需求資源閾值是非常困難的，所以啟發(fā)式或基于規(guī)則的策略在動態(tài)且不穩(wěn)定的云環(huán)境中降低能源消耗的有效性會受到限制。進(jìn)化方法如遺傳算法（GA）［19，20］，屬于無梯度優(yōu)化方法，無梯度的方法不具有可伸縮性且需要更長的時間收斂，非局部跳轉(zhuǎn)可能導(dǎo)致調(diào)度決策的重大變化，從而引起大量的遷移。文獻(xiàn)［21］定義了關(guān)于關(guān)閉物理主機(jī)數(shù)量和虛擬機(jī)遷移次數(shù)的適應(yīng)度函數(shù)，以最小化遷移次數(shù)為優(yōu)化目標(biāo)，利用蟻群系統(tǒng)求解虛擬機(jī)和主機(jī)的最佳映射關(guān)系，但是容易使高能源利用率的物理主機(jī)出現(xiàn)過載風(fēng)險，影響QoS，并且遺傳算法不能很好地解決大規(guī)模計算量問題。Hieu等人［22］使用了多重線性回歸（MLR）預(yù)測物理主機(jī)的過載和欠載，基于機(jī)器學(xué)習(xí)（machine learning，ML）［23］或深度學(xué)習(xí)（deep learning，DL）［24］的解決方案通常需要大量的歷史系統(tǒng)數(shù)據(jù)和訓(xùn)練時間構(gòu)建準(zhǔn)確的工作負(fù)載預(yù)測模型，然而，在動態(tài)且不穩(wěn)定的云環(huán)境中提供足夠的訓(xùn)練數(shù)據(jù)是非常困難的。Duggan等人［25］引入了一種基于強(qiáng)化學(xué)習(xí)（reinforcement learning，RL）網(wǎng)絡(luò)感知的實時遷移策略，該模型使智能體能夠?qū)W習(xí)并選擇VM最佳遷移時間，以便更好地利用受限的邊緣資源。但是現(xiàn)有的基于RL的方法主要針對靜態(tài)的工作負(fù)載，當(dāng)工作負(fù)載發(fā)生變化時，就需要重新訓(xùn)練決策模型［26］。因此，這些方法無法有效適應(yīng)工作負(fù)載和服務(wù)請求可變的云環(huán)境。

針對上述問題，本文提出了一種基于注意力時空卷積和A2C的虛擬機(jī)主動容錯優(yōu)先遷移決策模型ASTA2C，采用時空卷積模塊提取虛擬機(jī)的時間和空間特征，以在線方式檢測、診斷和分類故障，進(jìn)而得到準(zhǔn)確的故障預(yù)測信息，設(shè)計A2C策略學(xué)習(xí)算法可動態(tài)建立模型并通過不斷生成改進(jìn)決策來學(xué)習(xí)最優(yōu)策略，即使在沒有完整環(huán)境模型的情況下，也可以通過智能體依次選擇最佳動作，進(jìn)而學(xué)習(xí)到最優(yōu)策略與環(huán)境在線交互，該策略學(xué)習(xí)算法利用基于價值和基于策略的優(yōu)點(diǎn)，同時消除其弊端，并且為了滿足不同用戶的QoS要求和應(yīng)用程序設(shè)置，構(gòu)建了自適應(yīng)損失函數(shù)來幫助實現(xiàn)高度優(yōu)化的調(diào)度決策，進(jìn)而使模型能夠達(dá)到自適應(yīng)的要求。此外，為了使調(diào)度決策更符合實際場景需求，本文在此基礎(chǔ)上針對預(yù)測的故障信息改進(jìn)調(diào)度決策，以實現(xiàn)主動容錯優(yōu)先遷移決策，最后通過廣泛的仿真實驗證明了所提方案的優(yōu)越性，并將結(jié)果與幾種基線策略進(jìn)行比較。

1 系統(tǒng)模型及問題定義

1.1 系統(tǒng)模型

本文研究的是一個典型的異構(gòu)邊緣云環(huán)境中的虛擬機(jī)資源調(diào)度問題，其中所有節(jié)點(diǎn)都連接在同一個局域網(wǎng)（LAN）中，考慮了不同層（邊緣和云）的計算設(shè)備之間以及計算設(shè)備和管理層之間交互的網(wǎng)絡(luò)延遲效應(yīng)，忽略了同一層設(shè)備之間的通信延遲。任務(wù)是由物聯(lián)網(wǎng)層中的傳感器和執(zhí)行器生成的虛擬機(jī)實例，并通過網(wǎng)關(guān)設(shè)備通信到計算節(jié)點(diǎn)，系統(tǒng)模型如圖1所示。

1.2 工作負(fù)載模型

隨機(jī)生成虛擬機(jī)，每個虛擬機(jī)都有一個動態(tài)的根據(jù)物聯(lián)網(wǎng)設(shè)備用戶需求和移動性變化而變化的工作負(fù)載。將執(zhí)行時間劃分為等長的調(diào)度區(qū)間，根據(jù)其發(fā)生的順序進(jìn)行排序，如圖2所示。第i個調(diào)度區(qū)間顯示為Ii，它從時間ti開始持續(xù)到下一個區(qū)間的開始，即ti+1。在Ii的開始階段，將完成任務(wù)要休眠的虛擬機(jī)記為li-1，生成的新的虛擬機(jī)記為ni。虛擬機(jī)li-1離開系統(tǒng)，新的虛擬機(jī)ni被添加到系統(tǒng)中。在Ii中，活動的虛擬機(jī)是在主機(jī)上執(zhí)行任務(wù)的虛擬機(jī)，表示為ai。

1.3 問題定義

本文提出一種基于注意力時空卷積和A2C虛擬機(jī)主動容錯優(yōu)先遷移決策模型，研究邊緣云環(huán)境（1.1節(jié)）動態(tài)工作負(fù)載（1.2節(jié)）條件下考慮主動容錯的調(diào)度決策性能問題。調(diào)度決策的性能通過為每個調(diào)度區(qū)間定義的損失度量來確定，將區(qū)間Ii的損失表示為Lossi，主動容錯模型的性能通過準(zhǔn)確率（accuracy）、精確度（precision）、召回率（recall）以及F1分?jǐn)?shù)來衡量。假設(shè)在資源層中有m個主機(jī)，并將它們表示為H={h1，…，hm}，將虛擬機(jī)V分配給主機(jī)表示為{V}，將調(diào)度決策定義為系統(tǒng)狀態(tài)到動作之間的映射函數(shù)statei→actioni，開始時系統(tǒng)狀態(tài)表示為statei，由主機(jī)的參數(shù)值、前一個間隔的剩余活動虛擬機(jī)（ai-1＼li-1）和新虛擬機(jī)（ni）組成。調(diào)度程序必須決定ai=ai-1∪ni＼li-1中的每個虛擬機(jī)被分配或遷移的主機(jī)，稱為調(diào)度間隔Ii的actioni，miai-1＼li-1，actioni=h∈Hosts for V|V∈mi∪ni。

模型由時空卷積容錯和深度強(qiáng)化學(xué)習(xí)調(diào)度決策兩個模塊構(gòu)成。

1.3.1 基于注意力時空卷積容錯模塊

本文通過注意力時空卷積模塊提取主機(jī)的特征，進(jìn)而得到主機(jī)的故障類型。對于時間卷積模塊，采用加入注意力機(jī)制的長短期記憶網(wǎng)絡(luò)（long shortterm memory，LSTM）來提取主機(jī)時間序列上的特征，LSTM改善了RNN中存在的長期依賴問題，且表現(xiàn)通常比時間遞歸神經(jīng)網(wǎng)絡(luò)及隱馬爾可夫模型（HMM）好；空間卷積模塊采用圖注意力網(wǎng)絡(luò)（graph attention network，GAT）來提取多個主機(jī)間交互的虛擬機(jī)信息。與GCN不同的是，GAT 給予同一鄰域節(jié)點(diǎn)不同程度的重要性，注意力機(jī)制以共享的方式應(yīng)用于圖中所有的邊，不依賴于對全局圖結(jié)構(gòu)的預(yù)先訪問，也不依賴于對所有節(jié)點(diǎn)特征的預(yù)先訪問，提升了模型的性能，因此，GAT更適合應(yīng)用在大型云數(shù)據(jù)中心。

對于輸入的多變量時間序列{x0，…，xt-1}，通過注意力時空卷積容錯模塊預(yù)測Ii中每個主機(jī)的故障標(biāo)簽yt∈{0，1，…，c}m。這里，yt，i表示hi的輸出，yt，i=0表示沒有故障，yt，i=j表示用戶指定的c類中的j類故障j∈{1，…，c}。

1.3.2 基于深度強(qiáng)化學(xué)習(xí)的調(diào)度決策

聯(lián)合調(diào)度決策Si（虛擬機(jī)和主機(jī)對集）和預(yù)測問題yt的解產(chǎn)生一個可以主動容錯優(yōu)先遷移的決策。

為了模擬數(shù)據(jù)點(diǎn)在時間戳t處的依賴關(guān)系，考慮長度為k的滑動窗口，記為Wt={xt-k，…，xt-1}。為了提高模型的魯棒性，對輸入窗口進(jìn)行了規(guī)范化處理。

2 建模方法

本章主要介紹本文提出的ASTA2C模型。ASTA2C模型分為注意力時空卷積模塊AST和深度強(qiáng)化學(xué)習(xí)A2C模塊兩部分。ASTA2C模型概述如圖3所示，其中S0表示初始調(diào)度，EF0表示隨機(jī)初始化容錯信息。

2.1 注意力時空卷積模塊

首先輸入時間序列窗口Wt被轉(zhuǎn)換為k×m×n的張量。其中k表示時間窗口大小，一共m個主機(jī)，每個主機(jī)都具有n個特征。

2.1.1 時間卷積模塊

為了提取主機(jī)的時序特征，本文首先將時間序列窗口Wt首先經(jīng)過一個普通的長短期記憶網(wǎng)絡(luò)（long shortterm memory，LSTM）處理：

O′1=LSTM（Wt）（4）

時序數(shù)據(jù)Wt經(jīng)過LSTM后，得到了k個時間步上的隱藏層輸出矩陣H∈Euclid Math TwoRApm×k×d，其中d表示隱藏層維度。為了得到輸出O1，通常取最后一個時間步的輸出進(jìn)行映射輸出。然而，這種做法沒有考慮其他時間步的隱藏層輸出對最后一個時間步輸出的影響，因此考慮在時間步之間執(zhí)行注意力機(jī)制。融入注意力機(jī)制后，每一個時間步上的輸出都包含了其余時間步輸出的特征信息。對于注意力機(jī)制，首先有

E*=HHT（5）

其中：HHT∈Euclid Math TwoRApm×k×k，表示m個主機(jī)k個時間步兩兩之間的內(nèi)積。通常，向量間內(nèi)積越大，表示向量間的相似性越高，即重要性程度越高。將該內(nèi)積當(dāng)做權(quán)重使用softmax函數(shù)進(jìn)行歸一化，以得到每一個時間步與其余時間步間的權(quán)重系數(shù)：

E=softmax（E*）（6）

然后，將權(quán)重系數(shù)矩陣E作用到隱藏層輸出矩陣H中：

H′=EH（7）

其中：H′∈Euclid Math TwoRApm×k×d表示使用了注意力機(jī)制更新后的隱藏層輸出矩陣。例如H′［1，k，：］∈Euclid Math TwoRApd表示第1個主機(jī)最后一個時間步（第k個時間步）的輸出，在上式中，得到H′［1，k，：］的計算過程為

其中：E［1，k，i］表示第1個主機(jī)第k個時間步與第i個時間步間的注意力分?jǐn)?shù)，注意力分?jǐn)?shù)由兩個時間步間的內(nèi)積決定；H［1，i，：］表示第1個主機(jī)第i個時間步的向量。上式表明，第1個主機(jī)第k個時間步的向量等于所有k個時間步向量的加權(quán)。加權(quán)重要性由兩個時間步向量間的內(nèi)積決定，內(nèi)積越大，兩個時間步間的權(quán)重越大。執(zhí)行注意力機(jī)制后，所有主機(jī)每個時間步的輸出都是其他所有時間步的加權(quán)組合，即包含了所有時間步的信息。為了預(yù)測下一時刻的主機(jī)故障，本文取H′中最后一個時間步的輸出，然后利用前饋層進(jìn)行映射，即

O1=FeedForward（H′［：，k，：］）（9）

其中：O1表示所有主機(jī)經(jīng)過時間卷積模塊的特征。與式（4）即普通的LSTM相比，式（9）中得到的主機(jī)特征考慮了時間序列窗口中每個位置的信息，這有利于提取到更深層次的主機(jī)特征。

2.1.2 空間卷積模塊

傳統(tǒng)模型通常僅利用主機(jī)的時序特征進(jìn)行主機(jī)的故障類型判斷。然而，不同的主機(jī)間存在虛擬機(jī)交互的情況，某個主機(jī)的故障類型通常也會受到其余主機(jī)的影響。為了提取主機(jī)間的虛擬機(jī)交互信息，可將主機(jī)間的調(diào)度S形成圖網(wǎng)絡(luò)，在調(diào)度S中如果有虛擬機(jī)從主機(jī)hi遷移到hj，調(diào)度S形成的圖網(wǎng)絡(luò)就會存在一條從hi到hj的邊，然后利用每個主機(jī)的特征作為圖網(wǎng)絡(luò)節(jié)點(diǎn)的特征向量。圖神經(jīng)網(wǎng)絡(luò)作為一種可以有效提取圖數(shù)據(jù)中節(jié)點(diǎn)特征的模型，在本文中將被用于提取融合交互各個主機(jī)間的特征，即空間卷積。

令A(yù)表示圖網(wǎng)絡(luò)的鄰接矩陣：

通常，一個主機(jī)會與多個主機(jī)間存在虛擬機(jī)交互，即圖網(wǎng)絡(luò)中一個主機(jī)節(jié)點(diǎn)通常存在多個鄰居節(jié)點(diǎn)。而GNN通常是通過聚合相鄰節(jié)點(diǎn)的特征來形成節(jié)點(diǎn)新的特征，由于不同的鄰居節(jié)點(diǎn)主機(jī)對中心節(jié)點(diǎn)主機(jī)的重要性通常不同，所以，本文使用圖注意力網(wǎng)絡(luò)（GAT）來進(jìn)行不同主機(jī)間的特征聚合：

O2=θGATO1（11）

其中：O1表示經(jīng)融入了注意力機(jī)制的LSTM提取后的時間序列特征；O2表示經(jīng)GAT提取后的多主機(jī)特征相關(guān)性。通過上式實現(xiàn)了時間卷積與空間卷積的連接。

令圖網(wǎng)絡(luò)中主機(jī)hi輸入到GAT中的初始特征為fi=Oi1（Oi1表示主機(jī)hi經(jīng)過時間卷積模塊的特征），為了得到足夠的表達(dá)能力，將輸入特征轉(zhuǎn)換為更高級的特征，首先對hi的特征進(jìn)行轉(zhuǎn)換：

f′i=Wattfi（12）

其中：Watt表示執(zhí)行特征轉(zhuǎn)換的權(quán)重矩陣。接著，hi的鄰居hj對hi的重要性程度被定義為

αij=LeakyReLU（ΦT·［f′i‖f′j］）（13）

其中：‖表示拼接操作；Φ表示執(zhí)行注意力機(jī)制的矩陣；αij表示計算得到的主機(jī)hj對hi的重要性分?jǐn)?shù)。值得注意的是，αij的計算取決于兩個節(jié)點(diǎn)的特征，這種重要性是不對稱的，即主機(jī)hj對hi的重要性αij與主機(jī)hi對hj的重要性αji不相等。上述重要性程度的計算是一個可學(xué)習(xí)的過程，隨著模型的不斷優(yōu)化，主機(jī)間重要性程度的計算也會越來越準(zhǔn)確。

在得到hi所有鄰居對它的重要性分?jǐn)?shù)后，將所有鄰居節(jié)點(diǎn)的重要性分?jǐn)?shù)利用softmax函數(shù)進(jìn)行歸一化，以使得所有分?jǐn)?shù)的和為1：

其中：Ni表示hi的鄰居節(jié)點(diǎn)集合。對所有權(quán)重分?jǐn)?shù)進(jìn)行歸一化后，利用權(quán)重分?jǐn)?shù)對鄰居節(jié)點(diǎn)的特征進(jìn)行加權(quán)以得到hi更新后的特征：

其中：σ表示非線性的激活函數(shù)；Oi2表示經(jīng)過圖注意力層更新后hi的特征。

令所有主機(jī)經(jīng)圖注意力層更新后的特征為O2。最終，所有主機(jī)輸出O表示如下：

O=αO2+βO0，α，β，>0∩α+β=1（16）

O0的表達(dá)式如式（17）所示，其中，θ是權(quán)重參數(shù)矩陣。最終輸出O中包含了兩部分：a） 以時序特征O1作為空間特征O2的輸入整體輸出；b）初始?xì)埐钸B接，即βO0。通過調(diào)節(jié)兩個超參數(shù)α、β來控制兩個模塊的占比，進(jìn)而有效防止過平滑。

O0=θW（17）

2.1.3 故障編碼模塊

經(jīng)過注意力時空卷積，可以有效提取到主機(jī)本身的時序特征和主機(jī)間的空間特征，最終，將提取得到的特征用于生成主機(jī)的故障編碼。

具體來講，每個主機(jī)hi的特征Oi將通過兩個神經(jīng)網(wǎng)絡(luò)進(jìn)行故障編碼：

DAi=softmax（FeedForward（Oi））

Pi=sigmoid（FeedForward（Oi））（18）

其中：DAi∈Euclid Math TwoRAp2表示故障預(yù)測。本文將主機(jī)hi的故障嵌入定義為

如果DAi［1］≥DAi［0］，說明hi出現(xiàn)故障，對應(yīng)的故障信息為Pi∈Euclid Math TwoRApE，否則無故障。

2.2 A2C模塊

2.2.1 A2C優(yōu)先遷移決策模塊

主機(jī)的故障編碼信息將參與生成新的遷移決策：

Δ=A2C（S，ΕF）（20）

其中：Δ∈Euclid Math TwoRApP×n表示優(yōu)先遷移決策。通常，可以選擇使用原始的決策信息S還是新的優(yōu)先遷移決策信息N。因此遷移決策將通過一個神經(jīng)網(wǎng)絡(luò)得到概率：

D=softmax（FeedForward（N））（21）

其中：D∈Euclid Math TwoRAp2表示使用S和N作為調(diào)度預(yù)測似然分?jǐn)?shù)。本文將最終的調(diào)度決策定義為

在接下來的一節(jié)中，將詳細(xì)介紹式（20）的細(xì)節(jié)，即利用A2C算法生成調(diào)度決策的細(xì)節(jié)。

2.2.2 A2C調(diào)度決策模塊

A2C算法具體流程如下：

a）將調(diào)度S和故障預(yù)測信息EF拼接后作為當(dāng)前狀態(tài)statei輸入到A2C網(wǎng)絡(luò)模型中，根據(jù)策略網(wǎng)絡(luò)做決策，actioni～π（·|statei；θnow），并讓智能體執(zhí)行動作actioni；

b）根據(jù)本文提出的自適應(yīng)損失函數(shù)得到回報ri和新的狀態(tài)statei+1；

f）更新價值網(wǎng)絡(luò)：

wnew←wnow-α·δi·wq（statei，actioni；wnow）；

g）更新策略網(wǎng)絡(luò)：

在間隔Ii開始時，模型需要根據(jù)輸入的statei為ai中的每個虛擬機(jī)提供一個主機(jī)分配，輸出表示為actioni，是每個新虛擬機(jī)的主機(jī)分配和來自之前間隔的剩余活動虛擬機(jī)的遷移決策。分配必須在可行性約束方面是有效的，這樣每個遷移的虛擬機(jī)一定可以遷移到新主機(jī)上（將可遷移虛擬機(jī)表示為miai，表示未被遷移）。此外，當(dāng)虛擬機(jī)被分配給任何主機(jī)h時，分配后主機(jī)h不應(yīng)該過載，因此，通過式（23）來描述actioni。

subject to：actioni is suitable for t：t∈ni∪mi

然而，開發(fā)一個受約束輸出的模型在計算方面上是困難的，因此本文使用無約束動作模型的另一種定義，即在目標(biāo)函數(shù)中添加約束條件。神經(jīng)網(wǎng)絡(luò)的輸出是每個虛擬機(jī)對主機(jī)的分配偏好向量，因此可將受約束輸出轉(zhuǎn)換為每個虛擬機(jī)提供一個優(yōu)先級主機(jī)列表來滿足式（23）的約束條件。對于虛擬機(jī)Vaij，該模型會提供一個按分配偏好降序排列的主機(jī)列表［H0j，H1j，…，Hnj］，而不是為每個虛擬機(jī)指定一個主機(jī)。將策略表示為無約束動作模型，表示為actionPGi，如下所示。

此無約束的操作不能直接將虛擬機(jī)分配到主機(jī)，需要將actionPGi通過式（25）轉(zhuǎn)換為actioni，為每個可遷移的虛擬機(jī)選擇最合適的主機(jī)。通過式（25）的換算，actioni總是遵循式（23）中指定的約束條件，因此模型修改為

生成actioni即遷移決策Si后，將該決策Si和時間序列窗口Wt作為基于注意力時空卷積的容錯模型的輸入，該模型的輸出Δ即為加入故障預(yù)測信息后的優(yōu)先遷移調(diào)度決策。

2.3 損失函數(shù)

2.3.1 容錯模塊三元損失函數(shù)

為了對故障進(jìn)行分類，首先為每個故障類別定義原型向量{PCo，…，PCc}，從［0，1］F中隨機(jī)初始化，這些類別原型向量表示各自嵌入的質(zhì)心如Kmeans聚類方法，在小樣本學(xué)習(xí)使用的原型網(wǎng)絡(luò)中，模型生成的新嵌入屬于與類別原型的歐氏距離最小的類。為了減小輸出嵌入到真實類別原型的距離并增加到虛假類別原型的距離，使用三元損失函數(shù)對故障進(jìn)行分類。對有故障的主機(jī)，損失包括輸出嵌入和真實類別原型之間的L2范數(shù)以及輸出和虛假類別原型之間的負(fù)L2范數(shù)：

在訓(xùn)練過程中，如果一個輸出嵌入屬于正確的類，就可以將該類別的原型更新為

2.3.2 A2C模塊自適應(yīng)損失函數(shù)

為了優(yōu)化調(diào)度決策的性能以及滿足不同用戶的QoS要求和應(yīng)用程序設(shè)置，構(gòu)建自適應(yīng)損失函數(shù)作為模型參數(shù)更新的度量，之后根據(jù)應(yīng)用需求確定評價指標(biāo)，通過A2C策略學(xué)習(xí)算法最小化Lossi。一個時間間隔的損失取決于主機(jī)對虛擬機(jī)的分配，即模型的動作。因此，對于一個最優(yōu)模型，這個問題可以用式（29）來表述：

本文定義了各種指標(biāo)（標(biāo)準(zhǔn)化為［0，1］），以幫助定義lossi。

a）平均能源消耗（AEC）定義為任意區(qū)間的基礎(chǔ)設(shè)施（包括所有邊緣和云主機(jī)）的能源消耗，將環(huán)境的最大功率標(biāo)準(zhǔn)化。由于邊緣節(jié)點(diǎn)和云節(jié)點(diǎn)有不同的能源來源，所以，本文將主機(jī)h∈Hosts消耗的能量乘以αh∈［0，1］，可以根據(jù)用戶需求和部署策略設(shè)置邊緣節(jié)點(diǎn)和云節(jié)點(diǎn)。

其中：Ph（t）為主機(jī)h隨時間的冪函數(shù)；Pmaxh為主機(jī)h單位時間的最大功率。

b）平均響應(yīng)時間（ART）定義為一個區(qū)間Ii即該區(qū)間內(nèi)所有離開的虛擬機(jī)（li）平均響應(yīng)時間，響應(yīng)時間是主機(jī)響應(yīng)時間和虛擬機(jī)執(zhí)行時間的總和，在當(dāng)前區(qū)間將最大響應(yīng)時間歸一化，如式（31）所示。

c）成本（C）定義為一個區(qū)間Ii即該區(qū)間內(nèi)產(chǎn)生的總成本，如式（32）所示。

其中：Ch（t）為主機(jī)h隨時間的成本函數(shù)；Cmaxh為主機(jī)h的單位最大成本。

為了最小化上述指標(biāo)，本文將Lossi定義為區(qū)間Ii的這些度量的凸組合，如式（33）所示?？梢酝ㄟ^設(shè)置不同的超參數(shù)值（γ，δ，ε）來達(dá)到不同的用戶QoS要求和應(yīng)用程序設(shè)置，如對于能源敏感應(yīng)用［27］，需要優(yōu)化能源就可以將損失γ值設(shè)置為1，其余超參設(shè)置為0。對于響應(yīng)時間敏感的應(yīng)用程序，如醫(yī)療保健監(jiān)控或流量管理［28］，將損失δ設(shè)置為1，其余為0。同樣地，對于不同的應(yīng)用程序，可以設(shè)置不同的超參數(shù)值。

Lossi=γAECi-1+δARTi-1+εCosti-1

γ，δ，ε≥0∩γ+δ+ε=1（33）

3 實驗設(shè)置

3.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集是Bitbrain的負(fù)載數(shù)據(jù)集（該數(shù)據(jù)包括兩類機(jī)器上托管的超過1 000個虛擬機(jī)工作負(fù)載的日志）。評估測試臺是一個有著16個RaspberryPi 4B節(jié)點(diǎn)的集群，該集群包含8個4 GB RAM的節(jié)點(diǎn)和另外8個8 GB RAM的節(jié)點(diǎn)。功耗模型取自常用的SPEC基準(zhǔn)測試存儲庫［29］。

3.2 評價指標(biāo)

對于故障檢測，本文考慮常見的分類指標(biāo)，即準(zhǔn)確率（accuracy）、精確度（precision）、召回率（recall）以及F1分?jǐn)?shù)。

3.3 基線模型和參數(shù)設(shè)置

將本文方法與最先進(jìn)的DFTM［4］、PCFT［3］、ECLB［9］和CMODLB［10］四種基線方法作比較。DFTM［4］是一種通過先進(jìn)的虛擬網(wǎng)絡(luò)需求的恢復(fù)機(jī)制，來實現(xiàn)云數(shù)據(jù)中心基礎(chǔ)設(shè)施新的可靠性動態(tài)容錯虛擬機(jī)遷移算法，該算法采用整數(shù)線性規(guī)劃模型，分析考慮所有相關(guān)數(shù)值因素的路由流量，通過最優(yōu)路徑選擇最優(yōu)虛擬機(jī)，之后備選交換機(jī)識別算法確定新的虛擬機(jī)遷移和路由。PCFT首先提出根據(jù)虛擬機(jī)特性進(jìn)行初始虛擬集群分配的算法，之后通過模擬CPU溫度來預(yù)測物理機(jī)器（PM）是否有故障，再將虛擬機(jī)從有故障的PM遷移到最優(yōu)的PM上，將最優(yōu)目標(biāo)主機(jī)的選擇建模為一個優(yōu)化問題，并利用改進(jìn)的粒子群優(yōu)化算法進(jìn)行求解。ECLB是一種新的霧計算容錯調(diào)度模型算法，對不同的模塊由ECLB調(diào)用基于貝葉斯分類的節(jié)能檢查點(diǎn)和負(fù)載平衡技術(shù)進(jìn)行分類，同時計算所有設(shè)備的能耗，并找到最小能耗的設(shè)備。CMODLB是一種基于聚類的多目標(biāo)動態(tài)負(fù)載平衡技術(shù)，引入的基于人工神經(jīng)網(wǎng)絡(luò)的動態(tài)負(fù)載平衡（ANNLB）技術(shù)實現(xiàn)了基于貝葉斯優(yōu)化的增強(qiáng)Kmeans（BOEKmeans）算法，將虛擬機(jī)（VMs）劃分為欠載和過載的虛擬機(jī)集群，采用粒子群優(yōu)化（TOPSISPSO）算法卸載虛擬機(jī)，以提高負(fù)載平衡和能源利用率，通過區(qū)間類型2的模糊邏輯系統(tǒng)（IT2FS）實現(xiàn)虛擬機(jī)遷移。對于基線模型，使用各自論文中提到的參數(shù)設(shè)置。對于本文模型，AST模塊中，GAT的注意力頭數(shù)為4，初始?xì)埐钫急圈?0.2，學(xué)習(xí)率為0.01，一共訓(xùn)練70輪。A2C中自適應(yīng)損失函數(shù)三部分的占比為γ=0.6，δ=0.3，ε=0.1。ASTA2C的性能分?jǐn)?shù)和基線方法的標(biāo)準(zhǔn)差如表1所示。

為了進(jìn)行測試，本文使用了支持分布式邊緣集群的容器編排框架COSCO［11］。COSCO框架允許使用仿真模擬的軌跡生成QoS分?jǐn)?shù)。為了生成真實故障標(biāo)簽和類，本文使用Linux日志（ADE）工具。該工具的輸出異常類包括CPU過度利用率（CPUO）、異常磁盤利用率（ADU）、內(nèi)存泄漏（MEL）、異常內(nèi)存分配（AMA）和網(wǎng)絡(luò)過載（NOL）。為簡單起見，CPUO異常被歸類為CPU故障，NOL/ADU被歸類為網(wǎng)絡(luò)故障（網(wǎng)絡(luò)緩沖區(qū)過 載幾乎總是會導(dǎo)致磁盤故障），MEL/AMA作為RAM故障連接在一起（由于這兩者之間的高度相關(guān)性）。綜上所述，本文考慮了三種故障類型。

4 實驗分析

4.1 結(jié)果分析

表1顯示了模型的性能分?jǐn)?shù)。實驗結(jié)果表明，ASTA2C在準(zhǔn)確率、召回率以及F1分?jǐn)?shù)指標(biāo)上均實現(xiàn)了最佳性能。這是由于本文模型通過時間及空間卷積模塊實現(xiàn)了時間趨勢（LSTM）和空間相關(guān)性（GAT）融合。這使得ASTA2C模型不僅可以利用時間上預(yù)期能源利用特性的突然偏差，還可以利用空間上不同主機(jī)設(shè)備之間的相關(guān)性。DFTM和ECLB都使用了基本的正弦熱趨勢，但都沒有考慮主機(jī)的異構(gòu)性。CMODLB使用Kmeans集群來識別一個通用的利用率閾值，但沒有考慮正在運(yùn)行的工作負(fù)載或主機(jī)容量。

圖4比較了所有模型的QoS分?jǐn)?shù)。圖4（a）和（b）顯示了ASTA2C模型和基線模型的CPU及RAM利用率?？梢钥闯觯疚哪Ｐ偷腃PU及RAM利用率都比較高，進(jìn)而可以通過提高CPU及RAM利用率來提高能源利用率，減少能源消耗；圖4（c）～（e）是模型的平均等待時間、遷移時間和調(diào)度時間的結(jié)果，可以發(fā)現(xiàn)ASTA2C模型的等待時間、遷移時間及調(diào)度時間在所有基線模型中均是最少的，因此更有利于那些時延敏感性高的應(yīng)用程序。圖4（f）顯示的是遷移的任務(wù)數(shù)，圖4（g）顯示的是虛擬機(jī)耗費(fèi)，圖4（h）顯示的是SLO違反率?？梢钥闯觯疚姆椒ㄟw移的任務(wù)數(shù)最多且 SLO違反率和耗費(fèi)都是最低的。

4.2 消融實驗

為了研究ASTA2C中各個模塊對整體性能的影響，將 ASTA2C與7個變種模型ANNA2C、LSTMA2C、GATA2C、ASTGA、ASTLRMMTRandom、ASTMADMCFirstFit以及ASTIQRMMTFirstFit進(jìn)行對比實驗。其中ANNA2C表示僅使用ANN提取主機(jī)特征；LSTMA2C表示僅使用LSTM提取主機(jī)特征；GATA2C表示僅使用GAT提取主機(jī)特征；ASTGA表示調(diào)度算法采用遺傳算法進(jìn)行調(diào)度，ASTLRMMTRandom等變種模型同樣使用各自的調(diào)度模型。

圖5報告了消融實驗的結(jié)果，其中Baseline表示除ANNA2C、LSTMA2C、GATA2C以及ASTA2C外，其他模型中表現(xiàn)最好的模型。從圖5（a）中可以得到四點(diǎn)結(jié)論：a）ANNA2C在所有模型中表現(xiàn)最差，這說明簡單的ANN并不足以提取主機(jī)的特征，這也正是本文創(chuàng)新的出發(fā)點(diǎn)；b）LSTMA2C和GATA2C均優(yōu)于ANNA2C，說明時間卷積和空間卷積確實都能提取更深層次的主機(jī)特征，進(jìn)而提升模型精度；c）LSTMA2C表現(xiàn)優(yōu)于GATA2C，這說明時間卷積對于提升模型精度起到了主要作用；d）ASTA2C模型是最好的，說明本文提出的時間和空間卷積兩個模塊的效果可以疊加。

從圖5（b）和（c）中可以看出，ASTA2C有著最少的響應(yīng)時間和最低的SLO違反率，說明：a）啟發(fā)式的調(diào)度方法在動態(tài)且不穩(wěn)定的云環(huán)境中無法有效適應(yīng)，因此導(dǎo)致了較高的響應(yīng)時間和SLO違反率；b）屬于無梯度優(yōu)化方法的遺傳算法不具有可伸縮性且需要更長的時間收斂，因此在云環(huán)境中不如深度強(qiáng)化學(xué)習(xí)A2C算法的效果好；c）A2C算法根據(jù)本文構(gòu)建的自適應(yīng)損失函數(shù)不斷更新模型以最大化累計獎賞，動態(tài)地學(xué)習(xí)一個好的策略，并不斷生成改進(jìn)決策來適應(yīng)不同云環(huán)境的變化，說明構(gòu)建了自適應(yīng)損失函數(shù)的A2C算法更適應(yīng)于云環(huán)境中動態(tài)的虛擬機(jī)調(diào)度。

4.3 參數(shù)敏感性實驗

本節(jié)將研究ASTA2C模型相關(guān)參數(shù)的敏感性，結(jié)果展示在圖6中。

a）初始?xì)埐钫急取Ｊ剑?6）中，最終的輸出包含時序特征O1作為空間特征O2的輸入的整體輸出，以及初始?xì)埐钸B接兩部分。圖6（a）給出了ASTA2C模型的分類精度隨初始?xì)埐钫急鹊淖兓兓内厔?。根?jù)圖6（a），模型的精度一開始隨初始?xì)埐钫急仍龃蠖眲∩仙ｋS后，當(dāng)初始?xì)埐钫急却笥?.2時，模型精度開始緩慢下降。因此，在本文模型中添加初始?xì)埐钍潜匾?，同時合適的初始?xì)埐钫急瓤梢院芎玫靥嵘Ｐ偷男阅堋?/p>

b）自適應(yīng)損失函數(shù)。根據(jù)式（33），A2C的自適應(yīng)損失函數(shù)由三部分構(gòu)成，即平均能源消耗（AEC）、平均響應(yīng)時間（AST）以及成本（Cost）。圖6（b）和（c）給出了模型的調(diào)度時間和SLA違反率隨三部分比例的改變而變化的情況。根據(jù)圖6（b），模型的調(diào)度時間總體上隨著平均能源消耗占比的增大而減小，當(dāng)平均能源消耗占比達(dá)到0.8時，模型的調(diào)度時間最小。根據(jù)圖6（c），總體上SLA違反率隨著響應(yīng)時間占比的不斷減小而逐漸增大，當(dāng)γ=0.6，δ=0.3，ε=0.1時最有利于減少SLA違反率。

5 結(jié)束語

本文提出了一種基于注意力時空卷積和A2C的虛擬機(jī)主動容錯優(yōu)先遷移決策模型ASTA2C。通過時空卷積進(jìn)行特征提取，并使用多頭注意和原型預(yù)測解碼器來檢測和分類故障，可動態(tài)建立模型的A2C隨機(jī)動態(tài)調(diào)度方法，結(jié)合故障預(yù)測信息產(chǎn)生容錯調(diào)度決策，通過構(gòu)建的自適應(yīng)損失函數(shù)來適應(yīng)不同用戶的QoS要求和應(yīng)用程序設(shè)置。具體來說，本文通過提高能源利用率來減少能源消耗，通過降低等待時間、遷移時間及調(diào)度時間來減少響應(yīng)時間和SLO違反率，構(gòu)建的ASTA2C模型還能正確識別故障，平均F1得分為0.884 1，高于最先進(jìn)的基線模型。與F1得分最高的基線方法相比，ASTA2C能夠以更低的開銷來實現(xiàn)這一點(diǎn)，這使得ASTA2C成為具有時延敏感型應(yīng)用程序的可靠邊緣計算的理想選擇。真實邊緣云環(huán)境遷移決策需要實時分析新任務(wù)的CPU、RAM和磁盤需求，且難以獲得有標(biāo)簽的訓(xùn)練數(shù)據(jù)，下一步計劃引入無監(jiān)督學(xué)習(xí)來擴(kuò)展ASTA2C模型。

參考文獻(xiàn)：

［1］寧士勇.虛擬化云計算數(shù)據(jù)中心資源節(jié)能調(diào)度算法研究［J］.計算機(jī)應(yīng)用研究，2021，38（4）：10881091.（Ning Shiyong.Research on resource energy saving scheduling algorithm for virtual cloud computing data center［J］.Application Research of Computers，2021，38（4）：10881091.）

［2］Gubbi J，Buyya R，Marusic S，et al.Internet of Things （IoT）：a vision，architectural elements，and future directions［J］.Future Generation Computer Systems，2013，29（7）：16451660.

［3］Liu Jialei，Wang Shangguang，Zhou Ao，et al.Using proactive faulttolerance approach to enhance cloud service reliability［J］.IEEE Trans on Cloud Computing，2016，6（4）：11911202.

［4］Sivagami V M，Easwarakumar K S.An improved dynamic fault tolerant management algorithm during VM migration in cloud data center［J］.Future Generation Computer Systems，2019，98：3543.

［5］Kumari P，Kaur P.A survey of fault tolerance in cloud computing［J］.Journal of King Saud UniversityComputer and Information Sciences，2021，33（10）：11591176.

［6］Zhou Minqi，Zhang Rong，Xie Wei，et al.Security and privacy in cloud computing：a survey［C］//Proc of the 6th International Conference on Semantics，Knowledge and Grids.Piscataway，NJ：IEEE Press，2010：105112.

［7］Zheng Zibin，Zhou T C，Lyu M R，et al.Component ranking for faulttolerant cloud applications［J］.IEEE Trans on Services Computing，2011，5（4）：540550.

［8］Hong C H，Varghese B.Resource management in fog/edge computing：a survey on architectures，infrastructure，and algorithms［J］.ACM Computing Surveys，2019，52（5）：137.

［9］Sharif A，Nickray M，Shahidinejad A.Faulttolerant with load balancing scheduling in a fogbased IoT application［J］.IET Communications，2020，14（16）：26462657.

［10］Negi S，Rauthan M M S，Vaisla K S，et al.CMODLB：an efficient load balancing approach in cloud computing environment［J］.The Journal of Supercomputing，2021，77：87878839.

［11］Tuli S，Poojara S R，Srirama S N，et al.COSCO：container orchestration using cosimulation and gradient based optimization for fog computing environments［J］.IEEE Trans on Parallel and Distributed Systems，2021，33（1）：101116.

［12］Skarlat O，Nardelli M，Schulte S，et al.Optimized IoT service placement in the fog［J］.Service Oriented Computing and Applications，2017，11（4）：427443.

［13］Beloglazov A，Buyya R.Optimal online deterministic algorithms and adaptive heuristics for energy and performance efficient dynamic consolidation of virtual machines in cloud data centers［J］.Concurrency and Computation：Practice and Experience，2012，24（13）：13971420.

［14］Pham X Q，Man N D，Tri N D T，et al.A costand performanceeffective approach for task scheduling based on collaboration between cloud and fog computing［J］.International Journal of Distributed Sensor Networks，2017，13（11）：1550147717742073.

［15］Brogi A，F(xiàn)orti S.QoSaware deployment of IoT applications through the fog［J］.IEEE Internet of Things Journal，2017，4（5）：11851192.

［16］Choudhari T，Moh M，Moh T S.Prioritized task scheduling in fog computing［C］//Proc of ACMSE Conference.2018：18.

［17］Pham X Q，Huh E N.Towards task scheduling in a cloudfog computing system［C］//Proc of the 18th AsiaPacific Network Operations and Management Symposium.Piscataway，NJ：IEEE Press，2016：14.

［18］Beloglazov A，Abawajy J，Buyya R.Energyaware resource allocation heuristics for efficient management of data centers for cloud computing［J］.Future Generation Computer Systems，2012，28（5）：755768.

［19］谷南南，姚佩陽，焦志強(qiáng).云計算環(huán)境下利用改進(jìn)遺傳算法結(jié)合二次編碼的大規(guī)模資源調(diào)度方法［J］.計算機(jī)應(yīng)用研究，2020，37（8）：23902394.（Gu Nannan，Yao Peiyang，Jiao Zhiqiang.Largescale resource scheduling method using improved genetic algorithm combined with secondary coding in cloud computing environment［J］.Application Research of Computers，2020，37（8）：23902394.）

［20］劉開南.云數(shù)據(jù)中心基于遺傳算法的虛擬機(jī)遷移模型［J］.計算機(jī)應(yīng)用研究，2020，37（4）：11151118.（Liu Kainan.Virtual machine migration model in cloud data centers based on genetic algorithm［J］.Application Research of Computers，2020，37（4）：11151118.）

［21］Farahnakian F，Ashraf A，Pahikkala T，et al.Using ant colony system to consolidate VMs for green cloud computing［J］.IEEE Trans on Services Computing，2014，8（2）：187198.

［22］Hieu N T，Di Francesco M，YlJski A.Virtual machine consolidation with multiple usage prediction for energyefficient cloud data centers［J］.IEEE Trans on Services Computing，2017，13（1）：186199.

［23］Wang H，Lei Z，Zhang X，et al.Machine learning basics［M］// Deep Learning.2016：98164.

［24］LeCun Y，Bengio Y，Hinton G.Deep learning［J］.Nature，2015，521（7553）：436444.

［25］Duggan M，Duggan J，Howley E，et al.A network aware approach for the scheduling of virtual machine migration during peak loads［J］.Cluster Computing，2017，20：20832094.

［26］Orhean A I，Pop F，Raicu I.New scheduling approach using reinforcement learning for heterogeneous distributed systems［J］.Journal of Parallel and Distributed Computing，2018，117：292302.

［27］Sarkar S，Misra S.Theoretical modelling of fog computing：a green computing paradigm to support IoT applications［J］.IET Networks，2016，5（2）：2329.

［28］Rahmani A M，Gia T N，Negash B，et al.Exploiting smart eHealth gateways at the edge of healthcare InternetofThings：a fog computing approach［J］.Future Generation Computer Systems，2018，78：641658.

［29］Standard Performance Evaluation Corporation.Spec power consumption models［EB/OL］.（2018）.https：//www.spec.org/cloud_iaas2018/results.