王曉紅

（山西工程職業(yè)技術(shù)學(xué)院，山西 太原030009）

隨著當(dāng)前信息高速公路的發(fā)展，越來(lái)越多的網(wǎng)絡(luò)Web系統(tǒng)走入人們的視線.人們對(duì)系統(tǒng)性能要求也越來(lái)越高，單靠提高服務(wù)器單機(jī)的物理性能，已經(jīng)很難滿足人們的需要.提高系統(tǒng)的整體性能和吞吐量，已經(jīng)迫在眉睫.集群技術(shù)正是在這個(gè)時(shí)候，以其高的性?xún)r(jià)比和良好的擴(kuò)展性，成為人們追逐的目標(biāo).利用多臺(tái)單機(jī)性能一般的主機(jī)，組建一個(gè)高性能運(yùn)算整體，大大提高系統(tǒng)性能，這是一個(gè)具有創(chuàng)造力的想法.

當(dāng)前服務(wù)器集群通常是指通過(guò)高性能的LAN或WAN網(wǎng)絡(luò)（同構(gòu)的或異構(gòu)的）相互聯(lián)結(jié)而成的一種服務(wù)器體系結(jié)構(gòu).它由一臺(tái)前置機(jī)（即調(diào)度器，簡(jiǎn)稱(chēng)FE）和若干后臺(tái)真實(shí)服務(wù)器（簡(jiǎn)稱(chēng)BE）構(gòu)成，與分布式系統(tǒng)不同，每個(gè)BE服務(wù)器，都是一個(gè)獨(dú)立的處理單元，且具有相同的業(yè)務(wù)處理能力.整個(gè)集群對(duì)于使用方來(lái)說(shuō)，就像是一臺(tái)超級(jí)計(jì)算機(jī)，而且該計(jì)算機(jī)還能在客戶需要的時(shí)候，動(dòng)態(tài)地提高整體性能；當(dāng)客戶需要訪問(wèn)集群時(shí)，只需要訪問(wèn)集群對(duì)外暴露的虛擬IP地址（即直接訪問(wèn)前置機(jī)），就能達(dá)到訪問(wèn)集群的目的.當(dāng)客戶的請(qǐng)求到達(dá)FE，F(xiàn)E通過(guò)采用負(fù)載均衡等策略將收到的請(qǐng)求分配給集群中某臺(tái)服務(wù)器，服務(wù)器在業(yè)務(wù)處理完畢以后，直接把結(jié)果又返回給前置機(jī)，由前置機(jī)把處理結(jié)果返回給客戶，這是一個(gè)通常意義的集群的傳統(tǒng)做法.

1 TCP協(xié)議遷移集群實(shí)現(xiàn)技術(shù)

當(dāng)前服務(wù)器集群實(shí)現(xiàn)技術(shù)，實(shí)際上是指集群調(diào)度技術(shù)，這里并不是指調(diào)度算法.而是對(duì)于連接請(qǐng)求的處理方法:基于DNS的解析技術(shù)，基于客戶端技術(shù)，基于IP層的調(diào)度技術(shù)，基于請(qǐng)求內(nèi)容的調(diào)度技術(shù)，基于TCP遷移技術(shù)[1].

當(dāng)前TCP協(xié)議遷移技術(shù)主要有3種:第一，基于Netfilter的TCP協(xié)議遷移方法.該方法是基于Linux內(nèi)核的，是一個(gè)集抓取、截獲和分析網(wǎng)絡(luò)數(shù)據(jù)包為一體的編程框架，通過(guò)該框架，可以很容易地修改報(bào)文字段.基于該框架的TCP遷移方法有很多，但是最多是利用IP隧道進(jìn)行協(xié)議遷移，即在客戶與前端服務(wù)器完成3次握手以后，再通過(guò)隧道方式，在后臺(tái)服務(wù)器再次建立一個(gè)3次握手環(huán)境，從而實(shí)現(xiàn)TCP協(xié)議的遷移.但是基于隧道的遷移技術(shù)都有一個(gè)致命的缺陷，那就是性能.對(duì)于客戶而言，建立1次連接，這種類(lèi)型的集群，卻需要建立至少3次的連接，這還是沒(méi)有考慮應(yīng)用性能和IP隧道建立開(kāi)銷(xiāo)的情況下[2].第二，基于連接修改和傳遞技術(shù)的TCP遷移方法[3].該技術(shù)同樣是在客戶與前置機(jī)完成3次握手以后，再與后臺(tái)服務(wù)器遷移進(jìn)程完成新的連接，利用與后臺(tái)服務(wù)器的連接傳遞遷移的數(shù)據(jù)結(jié)構(gòu)，最后在后臺(tái)服務(wù)器上創(chuàng)建新的握手成功的數(shù)據(jù)結(jié)構(gòu).該方法同樣是性能問(wèn)題.第三，基于重構(gòu)連接現(xiàn)場(chǎng)的TCP遷移方法，該方法是“一步到位”建立連接現(xiàn)場(chǎng).整個(gè)遷移過(guò)程，F(xiàn)E和BE之間只有1次報(bào)文交換，通訊量極小，效率很高，但是該種原始的遷移技術(shù)，僅僅是針對(duì)HTTP請(qǐng)求，即僅僅能夠利用在Web服務(wù)器集群當(dāng)中.本文提出的新型TCP遷移技術(shù)，也是歸屬于這種技術(shù)，通過(guò)極小的信息開(kāi)銷(xiāo)，在后臺(tái)服務(wù)器端重建連接現(xiàn)場(chǎng)，完成TCP協(xié)議的遷移.

3 新型TCP遷移技術(shù)

TCP遷移技術(shù)的主要思想是通過(guò)對(duì)TCP／IP協(xié)議，甚至鏈路層協(xié)議的修改，使客戶端和服務(wù)器端已經(jīng)建立的連接發(fā)生遷移，導(dǎo)致請(qǐng)求的路徑不變，回復(fù)的來(lái)源地址發(fā)生了變化.由于考慮到并不是所有的連接請(qǐng)求都需要遷移，和集群調(diào)度算法的需要，新型TCP遷移技術(shù)僅僅對(duì)TCP協(xié)議進(jìn)行擴(kuò)充，兼容標(biāo)準(zhǔn)TCP協(xié)議，可以根據(jù)集群或應(yīng)用層面的需求，來(lái)決定是否遷移，以及遷移目標(biāo)地址.這樣，系統(tǒng)實(shí)現(xiàn)時(shí)，只需要在集群的所有服務(wù)器中安裝修改后的TCP／IP協(xié)議包——新型的TCP擴(kuò)充協(xié)議包，建立相應(yīng)的 Web或其他應(yīng)用系統(tǒng)，即就可以完成整體性能提升，這些對(duì)于客戶都是透明的，客戶端軟件僅僅需要安裝標(biāo)準(zhǔn)的TCP／IP協(xié)議即可.新型TCP擴(kuò)充協(xié)議包主要是對(duì)TCP連接的3次握手和4次中斷進(jìn)行了擴(kuò)充，增加了SYNHANDOFF報(bào)文和ASK－HANDOFF報(bào)文，以及FIN－HANDOFF報(bào)文.

標(biāo)準(zhǔn)的TCP連接3次握手原理如下:

1）請(qǐng)求端（通常稱(chēng)為客戶），根據(jù)目標(biāo)指定的IP和端口，發(fā)送SYN報(bào)文.報(bào)文中比較重要的字段是初始序號(hào).2）服務(wù)器端在收到SYN報(bào)文后，向客戶端發(fā)送ASK報(bào)文，報(bào)文中，確認(rèn)SYN的初始化序號(hào)，并帶有自己的初始化序號(hào).3）客戶端在收到服務(wù)器端的ASK報(bào)文后，回復(fù)ASK報(bào)文，進(jìn)行確認(rèn)，完成3次握手[4].

修改后的集群涉及的TCP連接的3次握手原理如下:

1）客戶端向前置機(jī)發(fā)送SYN報(bào)文以后，前置機(jī)根據(jù)端口號(hào)或應(yīng)用需求確認(rèn)是否產(chǎn)生是否遷移，如果需要發(fā)生遷移，則立即向后臺(tái)真實(shí)服務(wù)器發(fā)送SYN－HANDOFF報(bào)文，該報(bào)文實(shí)際上是除標(biāo)準(zhǔn)的SYN報(bào)文之外，增加了客戶端向前置機(jī)發(fā)送SYN的信息字段.2）真實(shí)服務(wù)器在收到SYN－HANDOFF請(qǐng)求后，除了建立相應(yīng)的標(biāo)準(zhǔn)連接以外，再根據(jù)信息構(gòu)建連接遷移的結(jié)構(gòu)，即所謂的重構(gòu)連接現(xiàn)場(chǎng)，最后利用標(biāo)準(zhǔn)ASK報(bào)文進(jìn)行回復(fù).3）前置機(jī)收到真實(shí)服務(wù)器的標(biāo)準(zhǔn)ASK報(bào)文以后，同樣按照標(biāo)準(zhǔn)ASK報(bào)文對(duì)客戶進(jìn)行回復(fù)，另外還需要構(gòu)建該遷移連接的上下文環(huán)境.4）客戶端收到標(biāo)準(zhǔn)ASK報(bào)文以后，最后發(fā)送標(biāo)準(zhǔn)ASK報(bào)文給前置機(jī)，完成連接的3次握手，成功創(chuàng)建連接.5）前置機(jī)在收到3次握手的確認(rèn)以后，根據(jù)遷移環(huán)境，決定是否進(jìn)行遷移行為.發(fā)送ASK－HANDOFF報(bào)文，該協(xié)議僅僅在標(biāo)準(zhǔn)的ASK協(xié)議之外，添加了客戶端的ASK的信息字段.6）真實(shí)服務(wù)器在收到ASK－HANDOFF報(bào)文以后，完成與前置機(jī)的3次握手，并完成協(xié)議的遷移工作.

標(biāo)準(zhǔn)的TCP連接4次中斷原理:客戶端發(fā)送FIN報(bào)文到服務(wù)器，服務(wù)器收到FIN報(bào)文以后，發(fā)送FIN的ASK報(bào)文給客戶端，客戶即可完成單方面的連接中斷.

修改后的集群4次中斷原理:1）客戶端發(fā)送標(biāo)準(zhǔn)FIN報(bào)文到前置機(jī)，前置機(jī)收到FIN報(bào)文以后，根據(jù)連接的上下文環(huán)境，發(fā)送FASK－HANDOFF報(bào)文到后臺(tái)真實(shí)服務(wù)器[5]，如圖1所示.2）后臺(tái)真實(shí)服務(wù)器收到該報(bào)文后，即可清除“虛擬的”遷移環(huán)境，并回復(fù)標(biāo)準(zhǔn)的ASK報(bào)文到前置機(jī).3）后續(xù)連接中斷報(bào)文與標(biāo)準(zhǔn)協(xié)議一致，就不再贅述了.

圖1 協(xié)議遷移圖

3 系統(tǒng)實(shí)現(xiàn)

本方案的實(shí)現(xiàn)方式分為兩大部分，前置機(jī)和后臺(tái)真實(shí)服務(wù)器.前置機(jī)與后臺(tái)真實(shí)服務(wù)器，在centos6.0的基礎(chǔ)上，卸載了標(biāo)準(zhǔn)TCP協(xié)議模塊，安裝了擴(kuò)充的TCP協(xié)議模塊.這樣，即可兼容TCP標(biāo)準(zhǔn)協(xié)議，又可對(duì)標(biāo)準(zhǔn)協(xié)議進(jìn)行了補(bǔ)充，不影響系統(tǒng)正常工作.另外，前置機(jī)上還安裝了應(yīng)用層面的軟件模塊，以輔助進(jìn)行TCP協(xié)議遷移.前置機(jī)主要包括四部分:系統(tǒng)管理、資源收集、調(diào)度模塊、遷移模塊.4個(gè)模塊相輔相成，能夠更好地提高集群的性能.信息模塊，主要對(duì)外提供統(tǒng)一、安全的管理接口，因?yàn)椴⒉皇撬械倪B接請(qǐng)求或數(shù)據(jù)請(qǐng)求，都需要進(jìn)行TCP遷移，必須按照一定的管理或配置策略進(jìn)行協(xié)議遷移，只有這樣才能最大程度上發(fā)揮集群的作用，最大限度上提高集群的性能，最小限度地不影響系統(tǒng)其他正常的工作.比如，有那些物理設(shè)備是真實(shí)服務(wù)器，是為了準(zhǔn)備協(xié)議遷移的；哪些連接是完全沒(méi)有必要遷移的；服務(wù)器調(diào)度算法是怎樣的？遷移日志保存情況如何？在什么情況下，才進(jìn)行數(shù)據(jù)遷移.雖然遷移的代價(jià)已經(jīng)大大減少，但是畢竟要多一部分的性能消耗，因此在訪問(wèn)量比較小或載荷不高的情況，完全沒(méi)有必要進(jìn)行協(xié)議遷移，如果強(qiáng)制性地進(jìn)行遷移，反而會(huì)降低整體性能.這些問(wèn)題都是需要通過(guò)系統(tǒng)對(duì)外暴露API或管理界面進(jìn)行配置.資源收集模塊，該模塊主要是負(fù)責(zé)及時(shí)主動(dòng)或被動(dòng)獲取或接收真實(shí)服務(wù)器所反饋的每臺(tái)機(jī)子當(dāng)前運(yùn)行的資源信息狀況，為調(diào)度模塊計(jì)算數(shù)據(jù)，提供強(qiáng)大的計(jì)算依據(jù).調(diào)度模塊，主要是依據(jù)資源收集模塊提供的當(dāng)前所有真實(shí)服務(wù)器的運(yùn)行狀況和網(wǎng)絡(luò)狀況，進(jìn)行調(diào)度策略計(jì)算，得出結(jié)果.遷移模塊，主要根據(jù)擴(kuò)充的TCP協(xié)議進(jìn)行協(xié)議遷移，或稱(chēng)之為真實(shí)服務(wù)器上的協(xié)議重構(gòu).真實(shí)服務(wù)器上除了安裝擴(kuò)充的TCP協(xié)議模塊以外，還安裝了資源共享模塊，用于前置機(jī)了解每臺(tái)真實(shí)服務(wù)器的物理機(jī)子運(yùn)行狀態(tài)，例如:CPU占用率、內(nèi)存占用量、某個(gè)進(jìn)程線程運(yùn)行數(shù)量等等.

系統(tǒng)整個(gè)運(yùn)行流程是怎樣的？首先連接請(qǐng)求來(lái)源于互聯(lián)網(wǎng)，通過(guò)路由器，發(fā)送給集群前置機(jī)，當(dāng)前的前置機(jī)已經(jīng)通過(guò)系統(tǒng)管理對(duì)遷移進(jìn)行了系統(tǒng)配置，比如:假設(shè)集群服務(wù)器的端口在80端口，可以配置，前置機(jī)的CPU占用率超過(guò)30%以后，通過(guò)80端口建立的所有連接都進(jìn)行協(xié)議遷移，否則，僅僅進(jìn)行基于IP層面上的調(diào)度，即NAT轉(zhuǎn)換技術(shù).另外在發(fā)起TCP遷移之前，系統(tǒng)還要根據(jù)得到的信息，進(jìn)行調(diào)度，確定遷移的地址.在客戶完成3次握手之后，相應(yīng)的某臺(tái)真實(shí)服務(wù)器上會(huì)建立“虛擬連接終端”，當(dāng)具體應(yīng)用請(qǐng)求到路由器之后，則又由路由器轉(zhuǎn)發(fā)給前置機(jī)，前置機(jī)根據(jù)3次握手建立的上下文環(huán)境，確定轉(zhuǎn)發(fā)的目標(biāo)，真實(shí)服務(wù)器收到該請(qǐng)求以后，完成業(yè)務(wù)處理，并利用本機(jī)建立的“虛擬連接終端”，回復(fù)路由器數(shù)據(jù)，從而完成整個(gè)數(shù)據(jù)接收和回復(fù)過(guò)程，在應(yīng)用數(shù)據(jù)的回復(fù)過(guò)程中，沒(méi)有前置機(jī)的參與，減少了前置機(jī)的開(kāi)銷(xiāo).

4 性能測(cè)試和結(jié)果分析

＊ 硬件配置:

前置機(jī)1臺(tái)，真實(shí)服務(wù)器2臺(tái)，均采用

CPU:AMD Athlon（tm）64X2Dual Core Processor5400＋ CPU

內(nèi)存:2G內(nèi)存

＊ 軟件配置:

Centos6.0系統(tǒng)

＊ 網(wǎng)絡(luò)架構(gòu):

將3臺(tái)電腦（1臺(tái)前置機(jī)，2臺(tái)真實(shí)服務(wù)器）后臺(tái)真實(shí)服務(wù)器構(gòu)建成為一個(gè)局域網(wǎng)，并通過(guò)路由器與客戶端相連.

客戶端IP地址:192.168.10.1

前置機(jī)IP地址:192.168.20.129，

真實(shí)服務(wù)器1IP地址:192.168.20.159

真實(shí)服務(wù)器2IP地址:192.168.20.189

＊ 測(cè)試方法和結(jié)果分析:

編寫(xiě)TCP客戶端，進(jìn)行多線程測(cè)試.每個(gè)線程執(zhí)行邏輯為:首先發(fā)起連接，然后發(fā)送1次固定長(zhǎng)度數(shù)據(jù)，再接收固定長(zhǎng)度數(shù)據(jù)，最后中斷連接.通過(guò)在遷移和不遷移的2種情況下橫向測(cè)試比較，發(fā)現(xiàn)在線程并發(fā)數(shù)超過(guò)45的情況下，遷移以后的系統(tǒng)性能優(yōu)于不遷移的系統(tǒng)，即遷移后系統(tǒng)一個(gè)線程完成一次測(cè)試邏輯的平均時(shí)間要小于不遷移系統(tǒng).但是在測(cè)試線程數(shù)少于45的情況下，不進(jìn)行協(xié)議遷移系統(tǒng)占優(yōu).結(jié)果證明，TCP協(xié)議遷移在服務(wù)器任務(wù)繁重的情況下，可以大大提高服務(wù)器性能和吞吐量，但在任務(wù)輕松的情況下，反應(yīng)不好，估計(jì)是由于系統(tǒng)管理等應(yīng)用級(jí)別的模塊存在，降低了系統(tǒng)性能，另外遷移產(chǎn)生的額外開(kāi)銷(xiāo)也是問(wèn)題的原因之一.另外，也證明了論文中提及的一個(gè)觀點(diǎn)，TCP協(xié)議遷移無(wú)論怎樣減少遷移開(kāi)銷(xiāo)，都會(huì)產(chǎn)生一定的負(fù)載.隨著實(shí)際運(yùn)行環(huán)境中，連接頻繁增加和中斷，這種開(kāi)銷(xiāo)也會(huì)逐漸增加，當(dāng)后臺(tái)真實(shí)服務(wù)器將真實(shí)數(shù)據(jù)直接回復(fù)給路由器時(shí)，帶來(lái)的性能提升大于協(xié)議遷移帶來(lái)的性能開(kāi)銷(xiāo)時(shí)，這種遷移開(kāi)銷(xiāo)才能帶來(lái)真正的價(jià)值，否則，TCP遷移只能是服務(wù)器新的負(fù)擔(dān).針對(duì)這種情況，系統(tǒng)設(shè)計(jì)了系統(tǒng)管理模塊，該模塊可以設(shè)定遷移的策略，從而減少遷移成為負(fù)擔(dān)的現(xiàn)象.但是此次測(cè)試，本系統(tǒng)的調(diào)度算法僅僅是根據(jù)主機(jī)CPU占用率來(lái)進(jìn)行調(diào)度，無(wú)法真實(shí)反映某個(gè)進(jìn)程的執(zhí)行情況，更無(wú)法充分發(fā)揮2種技術(shù)共存的系統(tǒng)中，遷移和不遷移2種集群技術(shù)的優(yōu)勢(shì)，還有待于下一步改進(jìn).另外，由于調(diào)度算法的依據(jù)來(lái)源于后臺(tái)真實(shí)數(shù)據(jù)服務(wù)器的反饋，因此有一定的延遲，如果出現(xiàn)爆發(fā)性的數(shù)據(jù)請(qǐng)求，后臺(tái)真實(shí)服務(wù)器很可能出現(xiàn)忙和閑的2種狀況.因此在TCP遷移解決前置機(jī)的性能瓶頸之外，還可以對(duì)真實(shí)服務(wù)器正在處理的任務(wù)，或尚未處理的任務(wù)，進(jìn)行任務(wù)遷移，要求其他閑機(jī)子進(jìn)行協(xié)助運(yùn)算.

5 結(jié)束語(yǔ)

本文詳細(xì)描述了基于TCP遷移技術(shù)的多種集群實(shí)現(xiàn)方案，在進(jìn)行分析后，提出了基于新型TCP遷移方法的集群實(shí)現(xiàn)方案，并通過(guò)測(cè)試證明，該方案是TCP遷移和不遷移技術(shù)的最佳結(jié)合，能夠使集群無(wú)論在那種環(huán)境下，都能夠發(fā)揮最大的性能.

[1]楊 兵，黃遵國(guó)，胡光明.基于高可用性的動(dòng)態(tài)漂移技術(shù)研究[J]，計(jì)算機(jī)工程與科學(xué)，2004，26（3）:4－6

[2]Pai V，Arom M，Banga G，et al.Locality 2aware request distribution in cluster 2based network server[A].Proc of the 8th Int’lConf on architectural support for programming languages and operating systems[C].1998:205－216

[3]X Zhang，M Barrientos，J Chen，et al.HACC:An architecturefor cluster 2based web servers[A].Proc of the 3rd USENIX Windows NT Symp[C].1999

[4]R S Engelschall.Load balancing your web site[J].WEB Techniques Magazines，1998，3（5）:48－50