單蓉

（渭南師范學(xué)院 網(wǎng)絡(luò)安全信息化學(xué)院，陜西 渭南 714000）

基于Linux的集群系統(tǒng)建設(shè)與研究

單蓉

（渭南師范學(xué)院 網(wǎng)絡(luò)安全信息化學(xué)院，陜西 渭南 714000）

為了滿足校園網(wǎng)的服務(wù)需求，提出了基于Linux技術(shù)建立網(wǎng)絡(luò)服集群系統(tǒng)的方案。分析了LVS總體架構(gòu)，IPVS軟件的工作原理，說(shuō)明了構(gòu)建web服務(wù)的可行性；然后從硬件和軟件配置方面設(shè)計(jì)集群系統(tǒng)，將4臺(tái)PC機(jī)通過(guò)100 mbps的交換機(jī)連接建立集群，操作系統(tǒng)為Red Hat Linux 9，并采用了基于網(wǎng)絡(luò)地址轉(zhuǎn)換（NAT）的負(fù)載均衡技術(shù)，建立了較高性價(jià)比、高可靠性的Web應(yīng)用服務(wù)器。實(shí)踐應(yīng)用表明，該系統(tǒng)性能好，具有很好的可用性。

Linux；集群；可擴(kuò)展性；虛擬服務(wù)器

隨著網(wǎng)絡(luò)業(yè)務(wù)量、數(shù)據(jù)流量和計(jì)算強(qiáng)度不斷的增大，給網(wǎng)絡(luò)帶寬和服務(wù)器端都帶來(lái)巨大的挑戰(zhàn)。需要建立高可用的，高性價(jià)比，可伸縮的網(wǎng)絡(luò)服務(wù)來(lái)滿足不斷增長(zhǎng)的網(wǎng)絡(luò)需求。在這種情況下，基于Linux負(fù)載均衡的虛擬服務(wù)器集群技術(shù)應(yīng)運(yùn)而生。

1 基于Linux的虛擬服務(wù)器

LVS是Linux系統(tǒng)中的一種IP負(fù)載均衡技術(shù)，是操作系統(tǒng)的核心，從IP層發(fā)出的TCP/UDP請(qǐng)求會(huì)被轉(zhuǎn)移到不同的服務(wù)器上以求平衡，因此可以構(gòu)成一組服務(wù)器高性能、高可用的虛擬服務(wù)器［1］。

1.1 LVS的體系結(jié)構(gòu)

LVS（Linux Virtual Server）由兩部分組成:真實(shí)服務(wù)器，負(fù)載調(diào)度器。真實(shí)服務(wù)器運(yùn)行真正的網(wǎng)絡(luò)服務(wù)，但真實(shí)服務(wù)器提供的網(wǎng)絡(luò)服務(wù)是不變的。當(dāng)整個(gè)系統(tǒng)接收負(fù)載超過(guò)所有節(jié)點(diǎn)的處理能力，這會(huì)使得請(qǐng)求服務(wù)器的負(fù)載不斷增長(zhǎng)［2］。對(duì)于大多數(shù)網(wǎng)絡(luò)服務(wù)，不同的請(qǐng)求之間沒(méi)有很強(qiáng)的相關(guān)性，不同的請(qǐng)求可以運(yùn)行在不同的節(jié)點(diǎn)，因此整個(gè)系統(tǒng)的性能可能因真實(shí)服務(wù)器的數(shù)量增長(zhǎng)而線性增長(zhǎng)［3］。LVS的結(jié)構(gòu)如圖1所示。

圖1 LVS的基本結(jié)構(gòu)Fig.1 LVS genral structure

負(fù)載調(diào)度器采用基于IP層負(fù)載平衡調(diào)度技術(shù)時(shí)，當(dāng)客戶請(qǐng)求到達(dá)，調(diào)度器根據(jù)負(fù)載情況從服務(wù)器池中選出一個(gè)服務(wù)器，將該請(qǐng)求轉(zhuǎn)發(fā)到選出的服務(wù)器，并記錄這個(gè)調(diào)度［4］。所有的操作都是在操作系統(tǒng)核心空間中完成的，它的調(diào)度開(kāi)銷很小，所以它能調(diào)度很多服務(wù)器，而本身不會(huì)成為系統(tǒng)的瓶頸。

1.2 IP虛擬服務(wù)器（IPVS）

在圖1中，負(fù)載調(diào)度器發(fā)揮著核心的作用，然而，在負(fù)載調(diào)度器的實(shí)現(xiàn)技術(shù)中，IP負(fù)載均衡技術(shù)的效率最高［5］。在現(xiàn)有的IP負(fù)載均衡技術(shù)中，一組服務(wù)器銅鼓網(wǎng)絡(luò)地址轉(zhuǎn)換可構(gòu)成高性能和高可用的虛擬服務(wù)器，這稱為VS/NAT（虛擬服務(wù)器/網(wǎng)絡(luò)地址轉(zhuǎn)換）。大多數(shù)商業(yè)化的IP負(fù)載均衡調(diào)度器產(chǎn)品使用這種方法，如思科。此外，它可以使用的VS/TUN技術(shù)和VS/DR（虛擬服務(wù)器通過(guò)直接路由），他們可極大地提高系統(tǒng)的可擴(kuò)展的［6］。

2 系統(tǒng)設(shè)計(jì)的需求分析

2.1 應(yīng)用需求

web服務(wù)構(gòu)建的要求可以概括為以下幾點(diǎn):

1）高性能要求:系統(tǒng)需要在短期內(nèi)處理大量的用戶請(qǐng)求，如何實(shí)時(shí)處理用戶的請(qǐng)求對(duì)Web服務(wù)系統(tǒng)的性能有很高的要求。

2）高可靠的要求:在系統(tǒng)開(kāi)放期間，系統(tǒng)被要求提供每天24小時(shí)的不間斷服務(wù)，每周7天。

3）性價(jià)比要求:構(gòu)建整個(gè)系統(tǒng)要經(jīng)濟(jì)，低成本，能做出最好的硬件設(shè)備。

4）高擴(kuò)展性要求：考慮在未來(lái)的幾年中，訪問(wèn)系統(tǒng)的數(shù)量可能增長(zhǎng)很快，因此整個(gè)系統(tǒng)應(yīng)該容易擴(kuò)張，以滿足未來(lái)的需要。

2.2 服務(wù)器集群建設(shè)的基本思路

建設(shè)網(wǎng)絡(luò)服務(wù)器的基本思想是通過(guò)服務(wù)器集群技術(shù)連接獨(dú)立的網(wǎng)絡(luò)服務(wù)器，集群中的每個(gè)服務(wù)器可以提供外部服務(wù)，分布式服務(wù)請(qǐng)求，讓他們共享負(fù)載平衡，減少訪問(wèn)響應(yīng)時(shí)間。

3 系統(tǒng)設(shè)計(jì)

在Linux平臺(tái)上設(shè)計(jì)并實(shí)現(xiàn)一種Web服務(wù)器集群原型系統(tǒng)，在集群的幾個(gè)計(jì)算機(jī)上安裝運(yùn)行操作系統(tǒng)等軟件；對(duì)每臺(tái)計(jì)算機(jī)配置之后，選其中一臺(tái)計(jì)算機(jī)運(yùn)行主進(jìn)程，負(fù)責(zé)接收客戶的請(qǐng)求，并將任務(wù)分配給在其他節(jié)點(diǎn)的計(jì)算機(jī)上的進(jìn)程來(lái)進(jìn)行處理，實(shí)現(xiàn)了基于以太網(wǎng)連接的多處理器并行服務(wù)器程序。

3.1 系統(tǒng)硬件體系結(jié)構(gòu)

為了便于進(jìn)行替換、擴(kuò)展、平衡負(fù)載和進(jìn)行性能分析，所選擇的節(jié)點(diǎn)計(jì)算機(jī)應(yīng)該非常相似。充分利用現(xiàn)有硬件設(shè)備，選擇了4臺(tái)PC機(jī)來(lái)組成集群，它們的處理器速度、存儲(chǔ)器容量和其他特性幾乎完全一致。

LVS的基于網(wǎng)絡(luò)地址轉(zhuǎn)換（NAT）的負(fù)載均衡技術(shù)方式由于構(gòu)建簡(jiǎn)單，對(duì)真實(shí)服務(wù)器配置少、基于私有網(wǎng)絡(luò)安全性高，所以在試驗(yàn)中選用了。所設(shè)計(jì)集群系統(tǒng)體系結(jié)構(gòu)如圖2所示。

對(duì)不同節(jié)點(diǎn)的計(jì)算機(jī)分配不同的IP地址，分別是：10.0.0.1，10.0.0.2，10.0.0.3and 10.O.0.4，the mask is 255.255.255.0，并分別命名為A，B，C，D。4臺(tái)計(jì)算機(jī)通過(guò)100 Mbps的交換機(jī)連接。其他3個(gè)計(jì)算機(jī)就可以通過(guò)IP地址或用戶名+密碼隨機(jī)互相訪問(wèn)。

圖2 集群系統(tǒng)體系結(jié)構(gòu)Fig.2 Structure of cluster system

3.2 集群軟件平臺(tái)的設(shè)計(jì)與配置

操作系統(tǒng)為Red Hat Linux 9（Kernel 2.4.18-26），涉及到的軟件有：Linux 2.4.20內(nèi)核、LVS的內(nèi)核補(bǔ)丁，Linux-2.4.20-ipvs-1.0.9.path、Hear-beart軟 件 包、Ldirectord軟 件 包、WingMon監(jiān) 控 程 序 包、Web服 務(wù) 器 軟 件 Apache2.0、Tomcat7.0，GCC 3.2編譯器和Glib 1.2.10函數(shù)庫(kù)等。

3.3 LVS的配置

對(duì)負(fù)載均衡器，系統(tǒng)采用NAT模式下加權(quán)輪叫方式。

配置如下：

ipvsadm-A-t 202.120.224.33.33:80-s wlr

ipvsadm-a-t 202.120.224.33:80-r 10.11.6.3:80-m-w 2

ipvsadm-a-t 202.120.224.33:80-r 10.11.6.4:80-m-w 2

4 系統(tǒng)可靠性分析

通過(guò) Heartbeat和 Lidirectord的完美組合極大地提高了系統(tǒng)的可靠性。

4.1 可靠的負(fù)載均衡器

系統(tǒng)通過(guò)負(fù)載均衡器將不同的用戶請(qǐng)求調(diào)度到真實(shí)的web服務(wù)器上去執(zhí)行，因此負(fù)載均衡器有可能成為系統(tǒng)的單一失效點(diǎn)。為了避免負(fù)載均衡器失效而導(dǎo)致整個(gè)系統(tǒng)不能工作，需要設(shè)立一個(gè)從負(fù)載均衡器作為主負(fù)載均衡器的備份。在主負(fù)載均衡器和從負(fù)載均衡器上，安裝Heartbeat軟件，兩個(gè)心跳（Heartbeat）進(jìn)程，分別在主、從負(fù)載均衡器上運(yùn)行，它們通過(guò)串口線和UDP等實(shí)時(shí)通信，就可以獲得對(duì)方的狀態(tài)。

Heartbeat配置文件在/etc/ha.d，，配置文件ha.cf用于設(shè)置一些基本參數(shù)，如下：

logfacility local10

keepalive 2

deadtime 10

warntime 10

initdead 10

nice_failback on

mcast eth0 225.0.0.7 694 1 1

mode PriLd#主調(diào)度器Prild

mode BakLd#備份調(diào)度器BakLd

haresources:設(shè)置管理的資源

PriLd 202.120.224.33/24/eth

4.2 可靠的Web服務(wù)

集群運(yùn)作時(shí)，需要監(jiān)視集群中所有真實(shí)服務(wù)器的Web服務(wù)運(yùn)行情況并對(duì)其中的變化作出反應(yīng)。

Ldirectord配置文件ldirectord，基本配置如下：

#Global Directives

checktimeout=10

checkinterval=2

autoreload=no

logfile=“l(fā)ocal0”

quiescent=yes

#Virtual Server for HTTP

virtual=202.120.224.33.33:80

fallback=127.0.0.1:80

real=10.11.6.3:80 masq

real=10.11.6.4:80 masq

service=http

request=”jsp/wingsoft/index.jsp”

receive=”Test Page”

scheduler=rr

protocol=tcp

checktype=negotiate

4.3 數(shù)據(jù)同步的實(shí)現(xiàn)

為了保證數(shù)據(jù)同步問(wèn)題，使用網(wǎng)絡(luò)文件系統(tǒng)NFS。它為整個(gè)集群提供了一個(gè)統(tǒng)一存放 Web應(yīng)用程序的目錄。在每個(gè)真實(shí)服務(wù)器上，在其文件/etc/fstab中添加下面一行：

10.11.6.5:/usr/local/webs/usr/local/tomcat/webapps/ROOT/ wingsoft，

將webs映射為本地目錄/usr/local/tomcat/webapps/ROOT/ wingsoft。

5 結(jié)束語(yǔ)

該系統(tǒng)使用LVS技術(shù)，充分利用現(xiàn)有硬件設(shè)備，有較高的性價(jià)比。在此基礎(chǔ)上，利用多種方法來(lái)增強(qiáng)系統(tǒng)的可靠性、可管理性、大大提高了可用性，達(dá)到了實(shí)際應(yīng)用的需求。但這個(gè)計(jì)劃只適用于小規(guī)模的Web服務(wù)應(yīng)用程序請(qǐng)求。同時(shí)，在集群的透明度、高可用性、可管理性、可編程性等方面，需要做進(jìn)一步的研究工作。

［1］王頤帥.基于LVS的服務(wù)器負(fù)載均衡技術(shù)［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2014（7）:252-256.

［2］裴歐亞，康慕寧，張磊.基于SystemTap的Linux服務(wù)器性能分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］.電子設(shè)計(jì)工程，2014（10）:28-31.

［3］洪新建，洪新華.Linux虛擬服務(wù)器LVS負(fù)載均衡模式研究［J］.計(jì)算機(jī)安全，2014（10）:39-41.

［4］謝沛東，武延軍.基于Linux內(nèi)核的Key-Value存儲(chǔ)系統(tǒng)——Kstore［J］.計(jì)算機(jī)應(yīng)用，2015（1）:99-102，114.

［5］曹越，顧乃杰，任開(kāi)新，等.一種面向多核系統(tǒng)的Linux任務(wù)調(diào)度算法［J］.計(jì)算機(jī)工程，2015（2）:36-40.

［6］朱永華，沈熠，劉玲.Linux內(nèi)核完全公平調(diào)度器改進(jìn)的研究［J］.計(jì)算機(jī)工程與應(yīng)用，2014（12）:59-62.

Constructing and researching the cluster system based on Linux

SHAN Rong
（College of Network Security and Information Technology，Weinan Normal University，Weinan 714000，China）

In order to satisfy the requirement of campus network service，the network service cluster system which is based on Linux technology solution is designed in the paper.The LVS general structure and the working principle of the IPVS software been analyzed，showing feasibility of building web services；Then the hardware and software configuration of cluster system been designed.Cluster been established by 4 PC which connected through 100 MBPS switch，the operating system for the Red Hat Linux 9，using the technology of load banlance based network address translation（NAT）.The high cost performance，high reliability of the Web application server is designed.The practical application shows that the system has a good performance and good usability.

Linux；cluster；expandability；virtual server

TN915

A

1674－6236（2016）04-0102-03

2015-04-02 稿件編號(hào)：201504009

受陜西省（數(shù)學(xué)）扶持學(xué)科建設(shè)項(xiàng)目，校級(jí)特色學(xué)科建設(shè)項(xiàng)目（14TSXK02）；渭南師范學(xué)院教改項(xiàng)目（JG201543）；渭南市科技計(jì)劃項(xiàng)目資助（2015KYJ-2-2）

單 蓉（1978—），女，甘肅古浪人，碩士，副教授。研究方向：計(jì)算機(jī)網(wǎng)絡(luò)，文本挖掘。