劉曄 沈?yàn)t軍 劉摩西

（浙江省電力公司信息技術(shù)中心，浙江 杭州 310007）

1.引言

應(yīng)用的發(fā)展始終是推動負(fù)載均衡技術(shù)不斷進(jìn)行的原動力。隨著分布式網(wǎng)絡(luò)計(jì)算在航空、金融、電力等行業(yè)的廣泛應(yīng)用，主流的網(wǎng)絡(luò)負(fù)載均衡系統(tǒng)不能滿足這些領(lǐng)域在高吞吐量、資源的高利用率和系統(tǒng)高可用性方面的要求。這些客觀現(xiàn)實(shí)推動了云計(jì)算平臺下負(fù)載均衡的研究。近幾年來，基于云模式的負(fù)載均衡研究已經(jīng)成為一種主流的研究方向，該技術(shù)具有可用性、擴(kuò)展性、分布性等特點(diǎn)，將云計(jì)算和負(fù)載均衡有機(jī)結(jié)合，不但保留負(fù)載均衡的特點(diǎn)，還加入了云計(jì)算所帶來的新功能。

2.負(fù)載均衡模型

2.1 負(fù)載指標(biāo)

負(fù)載均衡就是通過一定的機(jī)制將系統(tǒng)流量負(fù)載分配到不同的網(wǎng)絡(luò)服務(wù)器上處理,為大量用戶提供并發(fā)訪問服務(wù),它是實(shí)現(xiàn)多臺網(wǎng)絡(luò)服務(wù)器協(xié)同工作和并行處理的手段,其核心思想是根據(jù)當(dāng)前網(wǎng)絡(luò)服務(wù)器的負(fù)載情況,將到達(dá)的大量負(fù)載請求分配到不同的服務(wù)器上進(jìn)行處理,以減輕單個服務(wù)器的處理負(fù)擔(dān),從而提高服務(wù)器性能,使資源得到最大利用效率。

常用的負(fù)載指標(biāo)(Index)包括CPU利用率、CPU就緒隊(duì)列長度、進(jìn)程的響應(yīng)時間、內(nèi)存使用情況和磁盤訪問頻度以及I/O利用率等，還需要考慮異構(gòu)節(jié)點(diǎn)的處理能力上的差別。通過對這些指標(biāo)的綜合評價，就可以得到某臺主機(jī)的負(fù)載大小。通常，有以下三種綜合評價的方法：

（1）優(yōu)先級法

按負(fù)載指標(biāo)優(yōu)先級的高低比較，確定節(jié)點(diǎn)的負(fù)載輕重情況（其中優(yōu)先級的高低可根據(jù)負(fù)載情況和具體的應(yīng)用問題進(jìn)行動態(tài)調(diào)整定時/不定時）。

（2）分類算法

根據(jù)任務(wù)的性質(zhì)（計(jì)算密集型CPU類、I/O類等），確定主負(fù)載指標(biāo)。CPU類：以CPU利用率、CPU隊(duì)列長度為權(quán)重負(fù)載分量；I/O類：以磁盤讀寫速率，磁盤訪問頻率以及磁盤可用空間為權(quán)重負(fù)載分量；Mem類：以Free Memory和Menory Swap頻度為主要指標(biāo)。

（3）權(quán)重向量法

節(jié)點(diǎn)負(fù)載使用下面的公式來表示：

其中：L表示本地節(jié)點(diǎn)的負(fù)載值；a1,a2,…，ai分別是選定的負(fù)載分量(負(fù)載指標(biāo))；k1,k2,…，ki分別是權(quán)重。通常來說，對于用戶事先指定的主負(fù)載指標(biāo)，權(quán)重較大。

2.2 負(fù)載均衡的策略

負(fù)載均衡策略大致包含以下四種：輪詢策略，比率策略，最小連接數(shù)策略和最快響應(yīng)時間策略。

在輪詢策略中，如圖1所示，調(diào)度器不考慮目標(biāo)接點(diǎn)的負(fù)載狀態(tài)，將外部的請求均勻地分?jǐn)偟礁鱾€服務(wù)器上面，如：有2臺服務(wù)器實(shí)現(xiàn)負(fù)載均衡，那么2臺服務(wù)器接受處理的請求數(shù)量為1∶1。這種算法適用于做負(fù)載均衡的幾臺服務(wù)器硬件配置相同，它們可以平均分?jǐn)偹辛髁?。該方法?shí)現(xiàn)簡單，算法簡單，系統(tǒng)開銷小。但只適用于作業(yè)大小差異小，作業(yè)執(zhí)行時間較短的情況。

圖1 輪詢策略負(fù)載均衡示意圖

在比率策略中，將外部請求安裝預(yù)先設(shè)定好的比率分?jǐn)偟礁鱾€負(fù)載均衡的服務(wù)器上，如：有3臺服務(wù)器做負(fù)載均衡，設(shè)定他們接收處理請求的比率為1∶2∶3，那么每臺服務(wù)器處理的請求是不同的。這種算法適用于做負(fù)載均衡的幾臺服務(wù)器硬件配置不同，按照他們的處理能力，設(shè)定比率，從而使得性能高低不同的服務(wù)器都能夠平穩(wěn)運(yùn)行，不會出現(xiàn)個別服務(wù)器負(fù)載過重，而另外的服務(wù)器負(fù)載過少的情況。

在最少連接數(shù)策略中，負(fù)載均衡的硬件設(shè)備會不斷地檢測進(jìn)行負(fù)載均衡的幾臺服務(wù)器上的連接數(shù)的數(shù)量，將新的請求轉(zhuǎn)發(fā)到連接數(shù)最少的服務(wù)器上面。這種算法適用于應(yīng)用為長連接的情況。

在最快響應(yīng)時間策略中，負(fù)載均衡的硬件設(shè)備會不斷地檢測進(jìn)行負(fù)載均衡的幾臺服務(wù)器中，哪臺服務(wù)器響應(yīng)速度最快，從而將請求轉(zhuǎn)發(fā)到響應(yīng)時間最快的服務(wù)器上面。這種算法適用于每臺做負(fù)載均衡的服務(wù)器都能夠在很短的時間內(nèi)處理完請求，沒有性能的問題。

3.云計(jì)算下的負(fù)載均衡實(shí)現(xiàn)

3.1 動態(tài)加權(quán)調(diào)度策略

在動態(tài)加權(quán)輪詢調(diào)度 (Dynamic Weighted Round-Robin Scheduling，DWRR)策略中，算法綜合考慮了機(jī)器服務(wù)能力的差別，對所有成員服務(wù)器的處理能力進(jìn)行評估，給出相應(yīng)的權(quán)重。權(quán)重大表明該服務(wù)器能處理更多作業(yè)。根據(jù)服務(wù)器的權(quán)重在所有服務(wù)器權(quán)重中所占有的比例（即機(jī)器處理能力在所有機(jī)器中占有的百分比）高低順序，按照輪詢的方式將請求分配到服務(wù)器上執(zhí)行。權(quán)重高的機(jī)器比權(quán)重低的機(jī)器處理更多的請求，相同權(quán)重的機(jī)器處理相同份額的請求。DWRR算法的基本原理可描述為：假設(shè)某集群內(nèi)有一組節(jié)點(diǎn)N={N1,N2,…,Nn}。W(Ni)表示節(jié)點(diǎn)Ni的權(quán)值，指示變量i表示上一次選擇的服務(wù)器，T(Ni)表示節(jié)點(diǎn)Ni當(dāng)前所分配的任務(wù)量?！芓(Ni)表示當(dāng)前同步周期需要處理的任務(wù)總量?！芖(Ni)表示節(jié)點(diǎn)的權(quán)值總和。則W(Ni)/∑W(Ni)=T(Ni)/∑T(Ni)表示任務(wù)的分配是按照各個節(jié)點(diǎn)權(quán)重占權(quán)重總數(shù)的比例來進(jìn)行分配。

3.2 權(quán)重計(jì)算

當(dāng)集群的節(jié)點(diǎn)初次投入系統(tǒng)中使用時，系統(tǒng)管理員根據(jù)節(jié)點(diǎn)的硬件配置情況對每個節(jié)點(diǎn)都設(shè)定一個初始權(quán)重W0(Ni)，硬件配置越高初始權(quán)重越高。然后隨著節(jié)點(diǎn)負(fù)載的變化，均衡器對權(quán)重進(jìn)行調(diào)整（疊加動態(tài)權(quán)重）。動態(tài)權(quán)重是由節(jié)點(diǎn)運(yùn)行時各方面的參數(shù)計(jì)算出來的。在實(shí)驗(yàn)中選取了最重要幾項(xiàng)指標(biāo)，包括CPU資源、內(nèi)存資源、當(dāng)前進(jìn)程數(shù)、響應(yīng)時間等信息作為計(jì)算公式的因子。結(jié)合每個節(jié)點(diǎn)當(dāng)前權(quán)重，可以計(jì)算出新權(quán)重的大小。動態(tài)權(quán)重目的是要正確反映節(jié)點(diǎn)負(fù)載的狀況，以預(yù)測節(jié)點(diǎn)將來可能的負(fù)載變化。對于不同類型的系統(tǒng)應(yīng)用，各個參數(shù)的重要程度也有所不同。如果用戶以作業(yè)處理為主，則CPU使用率、可用內(nèi)存和磁盤I/O效率就相對重要一些。為了方便在系統(tǒng)運(yùn)行過程中針對不同的應(yīng)用對各個參數(shù)的比例進(jìn)行適當(dāng)調(diào)整，我們?yōu)槊恳粋€參數(shù)設(shè)定一個常量系數(shù)Ki，用來表示各個負(fù)載參數(shù)的重要程度。系統(tǒng)任何一個節(jié)點(diǎn)Ni的動態(tài)權(quán)重公式如下所示：

其中LCPU(Ni)表示節(jié)點(diǎn)Ni當(dāng)前某一項(xiàng)指標(biāo)的負(fù)載值，上述公式中依次表示為：CPU使用率、內(nèi)存使用率、磁盤I/O訪問率、進(jìn)程總數(shù)以及響應(yīng)時間。例如，在作業(yè)處理服務(wù)器集群中，我們采用系數(shù)序列{0.4,0.4,0.3,0.1,0.1}，認(rèn)為服務(wù)器的CPU占用、I/O訪問和內(nèi)存較其他參數(shù)更重要一些。若當(dāng)前的系數(shù)Ki不能很好地反映應(yīng)用的負(fù)載，系統(tǒng)管理員可以對系數(shù)不斷地修正，直到找到貼近當(dāng)前應(yīng)用的一組系數(shù)。對于節(jié)點(diǎn)需要分兩種情況：一種是機(jī)器組的管理者機(jī)器，一種是機(jī)器組的管理對象機(jī)器，由于機(jī)器組的管理者機(jī)器承擔(dān)著管理整個機(jī)器組的重任，擔(dān)任均衡器和調(diào)度者的角色，因此進(jìn)行負(fù)載均衡時，應(yīng)該減少管理者機(jī)器的權(quán)重，從而在調(diào)度過程中有利于調(diào)度者機(jī)器。

另外，關(guān)于采集權(quán)重的周期置，雖然周期越短越可以確切地反映各個節(jié)點(diǎn)的負(fù)載，但頻繁地采集會給均衡器和節(jié)點(diǎn)帶來負(fù)擔(dān)，也可能增加不必要的網(wǎng)絡(luò)負(fù)載。為解決這些問題，一方面要適當(dāng)調(diào)整采集負(fù)載信息的周期；另一方面，可以使用移動平均線或者是滑動窗口來避免抖動，使得均衡器收集到的負(fù)載信息表現(xiàn)為平滑曲線，這樣在負(fù)反饋機(jī)制的調(diào)整效果上就會比較好。均衡器的動態(tài)權(quán)重采集程序周期性地運(yùn)行，若缺省權(quán)重不為零，則查詢該節(jié)點(diǎn)的各負(fù)載參數(shù)，并計(jì)算出動態(tài)權(quán)重。引入以下權(quán)重計(jì)算公式，結(jié)合節(jié)點(diǎn)初始權(quán)重LOAD(Ni)和動態(tài)權(quán)重來計(jì)算最終的權(quán)重結(jié)果。

在公式中，如果動態(tài)權(quán)重恰好等于初始權(quán)重，最終權(quán)重不變，則說明系統(tǒng)的負(fù)載狀況剛好達(dá)到理想狀況，等于初始權(quán)重W0(Ni)。如果動態(tài)權(quán)重計(jì)算結(jié)果高于初始權(quán)重，最終權(quán)重變高，則說明系統(tǒng)負(fù)載很輕，均衡器將會增加分配給該節(jié)點(diǎn)的任務(wù)比率。如果動態(tài)權(quán)重低于初始權(quán)重，最終權(quán)重變低，說明系統(tǒng)開始處于重載狀況，均衡器將會減少對該節(jié)點(diǎn)分配的任務(wù)。在實(shí)際使用中，若發(fā)現(xiàn)所有節(jié)點(diǎn)的權(quán)重都小于他們的W0(Ni)，則說明當(dāng)前集群處于超載狀態(tài)，這時需要加入新的節(jié)點(diǎn)到集群中來處理部分負(fù)載；反之，若所有節(jié)點(diǎn)的權(quán)重大大高于W0(Ni)，則說明當(dāng)前系統(tǒng)的負(fù)載都比較輕。

3.3 實(shí)驗(yàn)結(jié)果

本節(jié)模擬了一個云計(jì)算的運(yùn)行環(huán)境，其中一個內(nèi)部結(jié)點(diǎn)負(fù)載較重，而其它兩個內(nèi)部結(jié)點(diǎn)負(fù)載較輕，以驗(yàn)證提出的基于反饋的動態(tài)負(fù)載均衡算法的效果。首先，為模擬上述的實(shí)驗(yàn)條件，對選定的重載節(jié)點(diǎn)進(jìn)行單獨(dú)加壓的操作，即在一臺云外部的客戶端上使用測試工具，定時向該節(jié)點(diǎn)發(fā)送請求，以模擬出該節(jié)點(diǎn)正在被用戶訪問而使得性能下降的情況，該測試工具還能夠監(jiān)視發(fā)送請求的數(shù)量和有效響應(yīng)的數(shù)量。實(shí)驗(yàn)中，作者使用測試工具對重載節(jié)點(diǎn)發(fā)送總共20萬個http請求，每秒1000個，發(fā)出請求后，發(fā)現(xiàn)重載節(jié)點(diǎn)的可用內(nèi)存和CPU空閑比已經(jīng)開始下降，服務(wù)器基本忙于響應(yīng)http請求，文件訪問和網(wǎng)絡(luò)訪問也變得緩慢，已經(jīng)達(dá)到模擬一個重載節(jié)點(diǎn)的效果。

隨后，啟動了云平臺并且把重載的節(jié)點(diǎn)和其它需要被測試的輕載節(jié)點(diǎn)一同加入平臺中，并設(shè)置相同的初始權(quán)值，在負(fù)載平衡器上將重載節(jié)點(diǎn)作為有效的服務(wù)節(jié)點(diǎn)添加以便接收平衡器分配的任務(wù)。此時集群的其它兩臺服務(wù)節(jié)點(diǎn)沒有運(yùn)行任何重載任務(wù)，軟件配置完全相同，基本處于空閑狀態(tài)。另外，用另一臺云平臺外部的測試節(jié)點(diǎn)，向平臺并行發(fā)出http請求，模擬集群響應(yīng)客戶的情況，并觀察平臺平衡器給每個節(jié)點(diǎn)分配的任務(wù)數(shù)量，平衡器每隔10秒記錄一次各個節(jié)點(diǎn)響應(yīng)的情況，實(shí)驗(yàn)中向整個云平臺發(fā)出100萬的http請求，每秒發(fā)出5000個并行請求，平衡器可以檢測到各個節(jié)點(diǎn)的負(fù)載狀況。圖2給出實(shí)驗(yàn)結(jié)果，圖中節(jié)點(diǎn)1和節(jié)點(diǎn)2都是預(yù)先沒有負(fù)載的輕載節(jié)點(diǎn)，可以看出二者在任務(wù)的分配上基本接近，而重載節(jié)點(diǎn)接受任務(wù)的權(quán)值比例明顯少于另兩個節(jié)點(diǎn)，因此在總體分配的任務(wù)數(shù)量上也少于其它兩個節(jié)點(diǎn)。這說明提出的基于反饋的負(fù)載均衡算法是有效的，可以有效地按照云平臺中各個節(jié)點(diǎn)的負(fù)載情況動態(tài)地接受任務(wù)。

圖2 基于反饋的動態(tài)負(fù)載均衡算法的實(shí)驗(yàn)結(jié)果

4.結(jié)束語

本文論述了云計(jì)算模型下負(fù)載均衡策略的原理，在多種主流的負(fù)載均衡策略的基礎(chǔ)之上，提出了基于反饋的負(fù)載均衡策略。實(shí)踐證明，采用新的負(fù)載均衡策略后系統(tǒng)在整體吞吐量方面有所提高，特別是在系統(tǒng)各個節(jié)點(diǎn)性能不一、系統(tǒng)提供的網(wǎng)絡(luò)服務(wù)所訪問的資源多樣化的情況下，基于反饋機(jī)制的效果尤其明顯。

[1]“The Network Queuing System”.Brent A.Kingsbury.Sterling Software,1992.

[2]須成忠，張德富，孫鐘秀.“一種分布式動態(tài)負(fù)載平衡算法”[J].軟件學(xué)報(bào)，1993,2.

[3]劉海龍，張延園，湯小春.“高性能計(jì)算環(huán)境下基于遠(yuǎn)程I/O負(fù)載平衡調(diào)度算法”[J].計(jì)算機(jī)應(yīng)用研究，2005.9.

[4]W.Richard Stevens.UNIX網(wǎng)絡(luò)編程 （第一卷套接字API和X/Open傳輸接口API）[M].清華大學(xué)出版社，1999.

[5]W.Richard Stevens.UNIX網(wǎng)絡(luò)編程（第二卷進(jìn)程間通信）[M].清華大學(xué)出版社，2002.