黃 秀 蔡全旺 王慶年

（中國(guó)船舶重工集團(tuán)公司第七二二研究所 武漢 430205）

1 引言

云計(jì)算以即付即用的方式為人們提供了彈性的計(jì)算資源，引發(fā)了信息通信技術(shù)產(chǎn)業(yè)的徹底變革。然而云平臺(tái)中的資源一般是靜態(tài)配置，在大多數(shù)的實(shí)際應(yīng)用中無(wú)法最大限度地充分利用資源?；鸷臄?shù)據(jù)中心經(jīng)理德里克（Derek Moore）指出，Mozilla的數(shù)據(jù)中心服務(wù)器CPU利用率在大部分情況下處在6%～10%，這無(wú)疑是巨大的浪費(fèi)。因此，物理服務(wù)器上某些資源使用超過(guò)限定閾值時(shí)，將一些虛擬機(jī)遷移到其他物理機(jī)上，以保證服務(wù)質(zhì)量，降低負(fù)載；在資源利用率低于限定閾值時(shí)，將虛擬機(jī)集中遷移到一個(gè)物理機(jī)上，關(guān)閉閑置的物理機(jī)，實(shí)現(xiàn)節(jié)能。

Openstack作為一個(gè)開(kāi)源的云計(jì)算工具，已經(jīng)被許多大型的軟件公司，諸如IBM，Rackspace所采用。在Openstack中，資源調(diào)度主要分為三步：主機(jī)過(guò)濾、權(quán)值計(jì)算、主機(jī)選擇，具體的虛擬機(jī)分配由nova-scheduler模塊負(fù)責(zé)，但這只是一種靜態(tài)的資源分配，虛擬機(jī)在初始調(diào)動(dòng)后就不再遷移，實(shí)際資源利用率低下，因此我們需要一種動(dòng)態(tài)的調(diào)度算法來(lái)補(bǔ)充現(xiàn)有算法的不足，提高資源利用率，降低能耗。

本文研究的動(dòng)態(tài)調(diào)度算法重點(diǎn)在負(fù)載預(yù)測(cè)算法的研究上，主要是：采用預(yù)測(cè)算法預(yù)測(cè)未來(lái)下一時(shí)刻系統(tǒng)的負(fù)載，以便調(diào)度系統(tǒng)能夠提前做好資源調(diào)度準(zhǔn)備。

2 相關(guān)研究

2.1 負(fù)載預(yù)測(cè)技術(shù)

常見(jiàn)的負(fù)載預(yù)測(cè)算法包括時(shí)間序列預(yù)測(cè)［1］、灰色預(yù)測(cè)、BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)和其他預(yù)測(cè)算法，許多研究人員在上述各領(lǐng)域紛紛提出了自己的預(yù)測(cè)算法。李丹程等［2］利用回歸分析方法，預(yù)測(cè)云計(jì)算環(huán)境下服務(wù)器負(fù)載情況的變化，提出了資源動(dòng)態(tài)調(diào)度算法，將計(jì)算任務(wù)遷移到更合適的服務(wù)器，達(dá)到提高集群計(jì)算能效目的。Beloglazov等［3］則在主機(jī)過(guò)載檢測(cè)中采用局部回歸算法對(duì)CPU的利用率進(jìn)行預(yù)測(cè)，將預(yù)測(cè)值與門(mén)限值進(jìn)行比較，從而做出是否需要對(duì)虛擬機(jī)進(jìn)行調(diào)度的決策。灰色預(yù)測(cè)是一種對(duì)含有不確定因素的系統(tǒng)進(jìn)行預(yù)測(cè)的方法［4］，當(dāng)預(yù)測(cè)序列具有指數(shù)增長(zhǎng)特性時(shí)才能凸顯該模型的作用。Li等［5］則使用的是BP神經(jīng)網(wǎng)絡(luò)模型，將虛擬機(jī)的負(fù)載信息作為輸入來(lái)預(yù)測(cè)服務(wù)響應(yīng)時(shí)間，然后預(yù)測(cè)的服務(wù)響應(yīng)時(shí)間就可以被當(dāng)做動(dòng)態(tài)調(diào)度策略的基礎(chǔ)來(lái)進(jìn)行虛擬機(jī)的調(diào)度。馬堯等［6］在他們的預(yù)測(cè)算法中采用分形插值方法對(duì)Openstack中資源負(fù)載情況進(jìn)行預(yù)測(cè)，以對(duì)虛擬機(jī)運(yùn)行調(diào)度提供參考，進(jìn)而達(dá)到提高集群計(jì)算效能的目的。Kusic等［7］提出了一種有限預(yù)測(cè)控制作為資源調(diào)度的解決方案，作者使用一個(gè)Kalman濾波器來(lái)預(yù)測(cè)未來(lái)負(fù)載。Herbst等［8］在他們的文章中提出了一種基于決策樹(shù)的自適應(yīng)方法，該方法可以根據(jù)一個(gè)給定的上下文選擇合適的預(yù)測(cè)方式。物理機(jī)的負(fù)載值是隨時(shí)間變化的，因此本文采用時(shí)間序列預(yù)測(cè)法作為負(fù)載預(yù)測(cè)的模型。

2.2 Openstack云平臺(tái)簡(jiǎn)介

Openstack是現(xiàn)今最活躍的開(kāi)源項(xiàng)目之一，它采用模塊化設(shè)計(jì)，主要由 Keystone，Glance，Hori?zon，Nova，Swift，Cinder，Neutron等7個(gè)模塊構(gòu)成［9］。Keystone是認(rèn)證管理組件，提供了其余所有組件的認(rèn)證信息的管理，創(chuàng)建和修改；Glance負(fù)責(zé)鏡像管理，提供了對(duì)虛擬機(jī)部署時(shí)所需的鏡像的管理；Ho?rizon是儀表盤(pán)組件，提供了以web的形式對(duì)所有節(jié)點(diǎn)的所有服務(wù)的管理；Nova主要負(fù)責(zé)虛擬機(jī)的生命周期，提供虛擬機(jī)的創(chuàng)建，銷(xiāo)毀，遷移，快照等服務(wù)；Swift是對(duì)象存儲(chǔ)服務(wù)組件；Cinder是塊存儲(chǔ)組件；Neutron是網(wǎng)絡(luò)服務(wù)組件，負(fù)責(zé)集群網(wǎng)絡(luò)及租戶(hù)網(wǎng)絡(luò)的管理。Openstack組件主要通過(guò)Restful Api進(jìn)行信息的交互，內(nèi)部組件則通過(guò)AMQP進(jìn)行信息交換［10］。

3 負(fù)載預(yù)測(cè)算法研究

3.1 預(yù)測(cè)模型選取

預(yù)測(cè)模塊最主要的目標(biāo)就是預(yù)測(cè)未來(lái)某時(shí)刻的工作負(fù)載，然后根據(jù)用戶(hù)定義的伸縮策略進(jìn)行調(diào)整。在這其中涉及到兩個(gè)重要的問(wèn)題，一個(gè)是數(shù)據(jù)，另一個(gè)就是預(yù)測(cè)方法。Chen等［11］在他們的文章中就對(duì)幾種時(shí)間序列預(yù)測(cè)方法進(jìn)行了比較，主要是自回歸移動(dòng)平均模型（ARMA），自回歸模型（AR），指數(shù)平滑模型（ES），自適應(yīng)指數(shù)平滑模型（TAES），移動(dòng)平均模型（MA）的比較。表1是它們的比較結(jié)果。

表1 不同預(yù)測(cè)模型的比較

從表中可以看出，ARMA，AR及ES模型是表現(xiàn)最好的三個(gè)，ARMA模型效果是最佳的，但其算法相對(duì)其他兩個(gè)而言很復(fù)雜，計(jì)算量也比較大，在實(shí)際運(yùn)行時(shí)可能會(huì)占用一部分的計(jì)算資源。故本文根據(jù)此文獻(xiàn)的研究結(jié)果選擇了一次指數(shù)模型作為此次的預(yù)測(cè)模型。一次指數(shù)平滑的預(yù)測(cè)計(jì)算公式為

一次平滑值，yt是t期的實(shí)際觀測(cè)值，t+1是t+1期的預(yù)測(cè)值，α是加權(quán)系數(shù)，取值范圍為0＜α＜1。當(dāng)數(shù)據(jù)樣本的個(gè)數(shù)大于15項(xiàng)時(shí)，一次平滑初值一般就取為樣本初值；若小于15項(xiàng)，則一般取樣本前三項(xiàng)的平均值。

3.2 權(quán)系數(shù)的動(dòng)態(tài)選取

從上述的一次指數(shù)平滑公式可以看出，權(quán)系數(shù)α是固定不變的，很顯然當(dāng)系統(tǒng)數(shù)據(jù)波動(dòng)較大時(shí)，α極有可能并不是此時(shí)的最優(yōu)系數(shù)，從而預(yù)測(cè)的準(zhǔn)確度也會(huì)受到影響，因此如何動(dòng)態(tài)地選取最優(yōu)的權(quán)系數(shù)成為了關(guān)鍵。

文獻(xiàn)［12］中運(yùn)用數(shù)學(xué)推導(dǎo)的方式導(dǎo)出了一種動(dòng)態(tài)的指數(shù)平滑模型，它是將傳統(tǒng)的指數(shù)平滑模型的系數(shù)進(jìn)行了歸一化處理。我們將一次指數(shù)平滑的公式進(jìn)一步展開(kāi)如下：

上式呈現(xiàn)的動(dòng)態(tài)預(yù)測(cè)公式中，α(t)的最終取值結(jié)果也是依靠靜態(tài)的α的選取，一般情況下，α根據(jù)人們的經(jīng)驗(yàn)來(lái)取值，這無(wú)疑也會(huì)影響到預(yù)測(cè)的準(zhǔn)確度，因此我們需要將靜態(tài)的α選取變?yōu)閯?dòng)態(tài)的。

本文中，我們采用預(yù)測(cè)值與觀測(cè)值的誤差平方和SSE最小作為衡量α值是否為最優(yōu)的標(biāo)準(zhǔn)，也即

圖1 預(yù)測(cè)算法流程圖

通過(guò)采用兩種一維搜索算法，即Fibonacci法和黃金分割法以獲得最優(yōu)系數(shù)，分別計(jì)算采用Fi?bonacci法時(shí)獲得的系數(shù)αk1和采用黃金分割法獲得的系數(shù)αk2，然后比較SSE(αk1)和SSE(αk2)，取αk=arg min{SSE(αk1)，SSE(αk2)}，F(xiàn)ibonacci法和黃金分割法的偽代碼如Algorithm1和Algorithm2所示。

取得最優(yōu)系數(shù)后，就可以代入歸一化公式中中，求出歸一化后的權(quán)系數(shù)，進(jìn)行預(yù)測(cè)。

預(yù)測(cè)算法描述如圖1所示。

Algorithm1 Fibonacci

輸入：初始區(qū)間［a1，b1］，最終長(zhǎng)度L

輸出：極小值點(diǎn)x_opt

輸入：初始區(qū)間[a1,b1]，精度tol，函數(shù)f

輸出：極小值點(diǎn)xopt

綜合來(lái)看，本文提出的算法是先由兩種搜索算法搜索出最佳的權(quán)系數(shù)，這一點(diǎn)相對(duì)于傳統(tǒng)的指數(shù)平滑法來(lái)說(shuō)有進(jìn)步之處。傳統(tǒng)的指數(shù)平滑法是根據(jù)經(jīng)驗(yàn)判斷法或試算法來(lái)選定權(quán)系數(shù)，這兩種方法很容易受到主觀影響，從而干擾到實(shí)際應(yīng)用中的預(yù)測(cè)精度；另一方面，其他的預(yù)測(cè)模型，如回歸模型，移動(dòng)平均模型等在實(shí)際使用中是相對(duì)固定的，模型不能夠依據(jù)負(fù)載實(shí)際的變化情況而進(jìn)行動(dòng)態(tài)的調(diào)整，這就容易出現(xiàn)預(yù)測(cè)結(jié)果不夠準(zhǔn)確。由于本文對(duì)權(quán)系數(shù)進(jìn)行歸一化，權(quán)系數(shù)成為了時(shí)間的函數(shù)，隨著時(shí)間的推移，權(quán)系數(shù)也在不斷變化，預(yù)測(cè)模型也可以說(shuō)是在動(dòng)態(tài)變化，很好地迎合了負(fù)載在動(dòng)態(tài)變化這一特點(diǎn)。

4 基于Openstack的負(fù)載預(yù)測(cè)實(shí)現(xiàn)

在Openstack中實(shí)現(xiàn)負(fù)載預(yù)測(cè)分兩步進(jìn)行：數(shù)據(jù)采集，負(fù)載預(yù)測(cè)，數(shù)據(jù)采集模塊為預(yù)測(cè)模塊提供物理機(jī)中各項(xiàng)資源的歷史數(shù)據(jù)。由于本文采用的實(shí)驗(yàn)環(huán)境是all-in-one的，數(shù)據(jù)采集模塊和預(yù)測(cè)模塊位于同一個(gè)物理節(jié)點(diǎn)。本文主要采用Openstack中的Ceilometer項(xiàng)目來(lái)進(jìn)行資源的監(jiān)控，進(jìn)而為預(yù)測(cè)模塊提供數(shù)據(jù)，預(yù)測(cè)模塊則采用上述的動(dòng)態(tài)一次指數(shù)平滑模型來(lái)實(shí)現(xiàn)。

4.1 數(shù)據(jù)采集功能實(shí)現(xiàn)

Ceilometer采用兩方式來(lái)采集信息，一種是通過(guò)Notification agent監(jiān)聽(tīng)系統(tǒng)中的Message Queues主動(dòng)消費(fèi)Openstack內(nèi)各個(gè)服務(wù)自動(dòng)發(fā)出的Notifi?cation消息，另一種是通過(guò)Polling agent周期性調(diào)用各個(gè)服務(wù)的API去主動(dòng)輪詢(xún)獲取數(shù)據(jù)。圖2是Ceilometer采集信息的架構(gòu)圖［13］。Compute Volume Network Image Object Storage

圖2 Ceilometer信息采集架構(gòu)圖

由于本文需要的是物理機(jī)的CPU利用率等數(shù)據(jù)信息，這些信息不會(huì)通過(guò)Notification來(lái)發(fā)出，故我們采用第二種方式來(lái)獲取信息。Ceilome?ter-agent-central組件是Polling agent中的一種，它可以通過(guò)snmp協(xié)議直接收集物理機(jī)的CPU、MEM、IO等信息，與此同時(shí)還需要對(duì)Ceilometer增加一些額外的配置，由于增加的配置原理基本相同，這里我們以采集物理機(jī)CPU信息為例。

首先需要在物理機(jī)上安裝snmp和snmp包，然后修改配置文件snmpd.conf：

agentAddress udp：192.168.0.108：161

view systemonly include.1

重啟snmp服務(wù)后，在Ceilometer的pipeline.yaml文件中加入以下信息（也可以根據(jù)自己的需求配置）：

重啟Ceilometer服務(wù)后，就可以通過(guò)相關(guān)命令查詢(xún)到新增的監(jiān)控項(xiàng)和監(jiān)控?cái)?shù)據(jù)。

4.2 預(yù)測(cè)功能實(shí)現(xiàn)

在設(shè)計(jì)負(fù)載預(yù)測(cè)模塊時(shí)，主要是通過(guò)調(diào)用Ceil?ometer的API讀取存數(shù)據(jù)庫(kù)中的數(shù)據(jù)，然后將數(shù)據(jù)進(jìn)行預(yù)處理后傳入到預(yù)測(cè)模塊。

詳細(xì)流程如下：

1）調(diào)用Ceilometer提供的REST API獲取物理機(jī)的監(jiān)控?cái)?shù)據(jù)。

2）Pre-process對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，剔除偏差過(guò)大的數(shù)據(jù)。

3）根據(jù)負(fù)載的歷史數(shù)據(jù)調(diào)用實(shí)現(xiàn)的動(dòng)態(tài)一次指數(shù)預(yù)測(cè)算法預(yù)測(cè)負(fù)載的變化規(guī)律。

圖3是本文設(shè)計(jì)的一個(gè)系統(tǒng)的預(yù)測(cè)架構(gòu)圖。

圖3 系統(tǒng)預(yù)測(cè)架構(gòu)圖

5 實(shí)驗(yàn)結(jié)果及分析

在本次實(shí)現(xiàn)中采用了Webbench作為本文的并發(fā)測(cè)試工具，Webbench最多可以模擬3萬(wàn)個(gè)并發(fā)連接去測(cè)試網(wǎng)站的負(fù)載能力。測(cè)試的硬件環(huán)境為all-in-one，使用的服務(wù)器的硬件配置為Intel Xeon 6核CPU，內(nèi)存容量為8G，硬盤(pán)容量為2TB。在這臺(tái)物理服務(wù)器上部署了Openstack Queens版本的云平臺(tái)環(huán)境，在Openstack中部署的虛擬機(jī)集群配置如表2。

表2 虛擬機(jī)配置

各虛擬機(jī)服務(wù)器之間通過(guò)HAProxy負(fù)載均衡器來(lái)分發(fā)Webbench產(chǎn)生的負(fù)載，HAProxy配置中使用了負(fù)載均衡算法時(shí)roundrobin。由于條件有限，故Haproxy在flavor類(lèi)型為ds2G的一臺(tái)虛擬機(jī)中進(jìn)行配置。實(shí)驗(yàn)架構(gòu)如圖4所示。

本文主要考慮了在負(fù)載突然增大的情況下，對(duì)宿主機(jī)CPU利用率的預(yù)測(cè)情況，實(shí)驗(yàn)通過(guò)Ceilome?ter監(jiān)控模塊獲取使用Webbench模擬的在負(fù)載增大并維持一段時(shí)間宿主機(jī)的資源利用率情況，預(yù)測(cè)資源的利用率。

圖4 實(shí)驗(yàn)環(huán)境中的虛擬機(jī)配置

在實(shí)驗(yàn)過(guò)程中，利用Webbench增大模擬用戶(hù)數(shù)，模擬真實(shí)系統(tǒng)環(huán)境下負(fù)載增大時(shí)資源需求的變化，監(jiān)控系統(tǒng)每3分鐘采集一次信息，通過(guò)監(jiān)控系統(tǒng)獲取90分鐘內(nèi)的宿主機(jī)資源數(shù)據(jù)，主要是CPU的利用率信息，實(shí)驗(yàn)中利用這90分鐘內(nèi)的數(shù)據(jù)計(jì)算出預(yù)測(cè)值。在實(shí)際的測(cè)試中，F(xiàn)ibonacci取得的最優(yōu)系數(shù)是0.875，而黃金分割法計(jì)算得出的最優(yōu)系數(shù)是 0.95，經(jīng)過(guò)計(jì)算，SSE（0.875）=0.09663，SSE（0.95）=0.03448。當(dāng)權(quán)系數(shù)α取值為0.95時(shí)，CPU利用率的預(yù)測(cè)結(jié)果如圖5所示。

圖5 CPU利用率實(shí)際值與預(yù)測(cè)值

我們可以看到，動(dòng)態(tài)自適應(yīng)的一次指數(shù)平滑模型很好地?cái)M合了數(shù)據(jù)未來(lái)走勢(shì)，預(yù)測(cè)精度也比較高，因此在實(shí)際的資源調(diào)度的方案設(shè)計(jì)中具有很高的實(shí)用性，計(jì)算也不太復(fù)雜。但此次實(shí)驗(yàn)也存在著不足，從上面的實(shí)驗(yàn)過(guò)程我們可以看到，權(quán)系數(shù)α是分別采用Fibonacci法和黃金分割法計(jì)算誤差平方和后比較的出來(lái)的，當(dāng)歷史數(shù)據(jù)增長(zhǎng)到一定長(zhǎng)度時(shí)，計(jì)算會(huì)變得復(fù)雜，這樣一來(lái)反而使預(yù)測(cè)的目的處于次要地位，因此如何適當(dāng)?shù)剡x取數(shù)據(jù)，設(shè)計(jì)恰當(dāng)?shù)臅r(shí)間窗口，使得計(jì)算量合適，預(yù)測(cè)精度又比較準(zhǔn)確是下一步的研究工作。

6 結(jié)語(yǔ)

本文在一次指數(shù)預(yù)測(cè)模型的基礎(chǔ)上進(jìn)行了改進(jìn)，提出了利用Fibonacci法和黃金分割法來(lái)確定最優(yōu)權(quán)系數(shù)，從而避免了人工設(shè)置權(quán)系數(shù)帶來(lái)的計(jì)算偏差，并在Openstack平臺(tái)中進(jìn)行了實(shí)驗(yàn)驗(yàn)證和結(jié)果分析，但正如分析部分所闡述的，在選取合適的數(shù)據(jù)，設(shè)計(jì)恰當(dāng)?shù)臅r(shí)間窗口等方面還有許多要改進(jìn)的地方。