陳榮賞，藍(lán)秀錦

(1.廈門理工學(xué)院計(jì)算機(jī)與信息工程學(xué)院，福建廈門361024；2.歐仕達(dá)聽力(廈門)科技有限公司，福建廈門361000)

LVS/DR、NGINX混合負(fù)載均衡集群技術(shù)應(yīng)用研究

陳榮賞1，藍(lán)秀錦2

(1.廈門理工學(xué)院計(jì)算機(jī)與信息工程學(xué)院，福建廈門361024；2.歐仕達(dá)聽力(廈門)科技有限公司，福建廈門361000)

為解決單一集群技術(shù)滿足不了企業(yè)Web服務(wù)器集群應(yīng)用需求，提出構(gòu)建LVS/DR＋NGINX集群混合應(yīng)用模式.通過分析LVS、NGINX、HAPROXY、TOMCAT集群技術(shù)的優(yōu)缺點(diǎn)，假設(shè)LVS/DR＋NGINX集群混合模式解決單點(diǎn)故障、節(jié)點(diǎn)網(wǎng)絡(luò)帶寬瓶頸、并發(fā)性處理性能提高問題，通過對方案模式構(gòu)建、測試，測試結(jié)果證明該模式實(shí)現(xiàn)Web服務(wù)器集群應(yīng)用的高性能和高可靠性需求.

集群技術(shù)；LVS/DR＋NGINX；WEB服務(wù)器集群；高性能；高可靠

2016年第38次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至2016年6月，中國網(wǎng)民規(guī)模達(dá)7.10億，中國網(wǎng)站總數(shù)為454萬個(gè).龐大的用戶群體和復(fù)雜的系統(tǒng)應(yīng)用要求服務(wù)器提供強(qiáng)大的運(yùn)算能力；從用戶角度，人們希望獲得更加方便快捷的服務(wù)，對服務(wù)器的響應(yīng)速度和可靠性也提出了更高的要求.很多熱門的網(wǎng)站會吸引龐大的訪問流量，這些熱門站點(diǎn)每天要處理大量并發(fā)性訪問請求，爆炸式的訪問量增長使得建立更強(qiáng)的網(wǎng)絡(luò)服務(wù)系統(tǒng)成為迫在眉睫的問題[1].面向Web應(yīng)用的網(wǎng)絡(luò)服務(wù)系統(tǒng)，對用戶而言，系統(tǒng)就是一臺性能更加強(qiáng)大的服務(wù)器.管理員通過增減服務(wù)器的數(shù)量同時(shí)采用集群技術(shù)做為一個(gè)統(tǒng)一的整體對外部提供服務(wù)，外部服務(wù)請求通過負(fù)載均衡技術(shù)分發(fā)給集群內(nèi)的各個(gè)服務(wù)器共同承擔(dān)，因此，多處理節(jié)點(diǎn)服務(wù)器集群的負(fù)載均衡成為長久以來的一大研究熱點(diǎn)，它的好壞直接影響了集群向外提供服務(wù)能力的大小[2].

1 集群系統(tǒng)

群集是一組協(xié)同工作的服務(wù)實(shí)體.群集技術(shù)與研究方向目前已非常成熟，本文所探討的集群是指Web服務(wù)器集群.Web集群主要是利用負(fù)載均衡技術(shù)將客戶請求均衡分配到集群中的服務(wù)器節(jié)點(diǎn)，各服務(wù)器節(jié)點(diǎn)并行運(yùn)算，從而提高整個(gè)系統(tǒng)的效率[3].負(fù)載均衡技術(shù)可以通過硬件實(shí)現(xiàn)，也可以通過一些專用軟件來實(shí)現(xiàn)[4].常見Web集群系統(tǒng)如下:

1.1 LVS集群系統(tǒng)

LVS(Linux Virtual Server)即Linux虛擬服務(wù)器.LVS集群系統(tǒng)的中樞軟件是IPVS，它安裝在前端服務(wù)器上，并且在前端服務(wù)器上虛擬出一個(gè)IP地址，用戶需要經(jīng)過這個(gè)虛擬IP地址訪問服務(wù)[5].LVS有三種模式實(shí)現(xiàn)負(fù)載均衡，分別是:VS/DR、VS/NAT、VS/TUN.LVS負(fù)載均衡是由負(fù)載均衡調(diào)度算法進(jìn)行調(diào)度，調(diào)度算法有加權(quán)輪詢、輪詢、加權(quán)最少連接、最少連接、基于局部性的最少鏈接、帶復(fù)制的基于局部性最少鏈接、源地址散列、目標(biāo)地址散列、最少隊(duì)列調(diào)度和最短期望延遲[2].LVS集群具有高可靠性，可拓展性和可操作性，能以低廉的成本實(shí)現(xiàn)較優(yōu)性能的集群，但該集群軟件不支持正則處理，所以不能做動(dòng)靜分離，當(dāng)網(wǎng)站應(yīng)用比較復(fù)雜的時(shí)候，LVS/DR＋Keepalived就比較難以構(gòu)建.

1.2 Nginx集群系統(tǒng)

Nginx是一個(gè)輕量級HTTP服務(wù)器，也是一個(gè)高性能的HTTP和反向代理.Nginx實(shí)現(xiàn)負(fù)載均衡的調(diào)度算法主要有輪詢(默認(rèn))、weight(輪詢權(quán)值)、ip_hash、fair(第三方)、url_hash(第三方).Nginx的負(fù)載均衡是一個(gè)基于應(yīng)用及內(nèi)容的七層交換負(fù)載均衡的實(shí)現(xiàn)，它因具備高穩(wěn)定性、示例配置文件、較低的系統(tǒng)資源消耗和豐富多彩的功能集而被廣泛使用.但Nginx也存在不能支持使用url來檢測、只能夠支持http和Email、Cookie的引導(dǎo)能力比較欠缺等缺點(diǎn).

1.3 HAProxy集群

HAProxy是一種提供負(fù)載均衡、高可用性以及基于TCP(第四層)和HTTP(第七層)應(yīng)用的代理軟件. HAProxy的調(diào)度算法分為靜態(tài)算法(static－rr、first)、動(dòng)態(tài)算法(roundrobin、leastconn)、混合算法(source、uri、url－param、hdr()、rpd－cookie())[6].HAProxy比較適用負(fù)載比較大的Web站點(diǎn)，這些站點(diǎn)常常要保持七層處理或會話.HAProxy能夠?qū)ysql進(jìn)行負(fù)載均衡，而且可以對后端的MySQL節(jié)點(diǎn)進(jìn)行檢測跟負(fù)載均衡，不過當(dāng)在后端的MySQL slaves數(shù)量大于10臺的時(shí)候，性能就不如LVS.

1.4 Tomcat集群

Tomcat服務(wù)器是一個(gè)免費(fèi)、開源的輕量級Web應(yīng)用服務(wù)器，Tomcat自帶Cluster方式，多個(gè)Tomcat間自動(dòng)實(shí)時(shí)復(fù)制session信息以實(shí)現(xiàn)集群功能.Tomcat集群從邏輯架構(gòu)可分為橫向集群和縱向集群，橫向集群即Tomcat實(shí)例運(yùn)行在多臺物理機(jī)上，其結(jié)構(gòu)擴(kuò)展了CPU、內(nèi)存等處理能力；縱向集群即多個(gè)Tomcat實(shí)例運(yùn)行在一臺物理機(jī)上，其結(jié)構(gòu)充分利用原有內(nèi)存但CPU未得到擴(kuò)展.

2 LVS/DR＋NGINX負(fù)載均衡方案

2.1 Keepalived簡介

Keepalived是實(shí)現(xiàn)layer3、4和7交換機(jī)制的軟件.Keepalived主要用于是檢測Web服務(wù)器的狀況，假如有一臺Web服務(wù)器宕機(jī)或故障，Keepalived會自動(dòng)檢測到，并把有故障的Web服務(wù)器從系統(tǒng)中自動(dòng)剔除；當(dāng)故障Web服務(wù)器恢復(fù)正常后，Keepalived自動(dòng)把Web服務(wù)器再次加入到服務(wù)器群中.其主要用于應(yīng)用服務(wù)器健康狀態(tài)監(jiān)測以及負(fù)載均衡主機(jī)和備用機(jī)之間失效備援的實(shí)現(xiàn).

2.2 LVS＋NGINX集群的體系架構(gòu)

LVS集群系統(tǒng)將多臺網(wǎng)絡(luò)服務(wù)器通過負(fù)載均衡器匯集在一起[7].lvs采用同步請求轉(zhuǎn)發(fā)的策略，同步轉(zhuǎn)發(fā)是指lvs服務(wù)器接收到請求之后，立即重定向到后端服務(wù)器，由客戶端直接和后端服務(wù)器建立連接.在LVS集群系統(tǒng)中，如果后端服務(wù)器出現(xiàn)故障則該次請求就失敗，降低了系統(tǒng)可靠性.nginx采用反向代理異步傳輸模式，當(dāng)客戶端發(fā)出請求，請求不會立即轉(zhuǎn)發(fā)到后端服務(wù)器，而是在保持連接的同時(shí)，發(fā)起相同內(nèi)容的請求到后端服務(wù)器，由后端服務(wù)器處理完之后把數(shù)據(jù)返回到nginx上，nginx將數(shù)據(jù)流發(fā)到客戶端.因此，集群較為龐大時(shí)，nginx節(jié)點(diǎn)極易成為帶寬瓶頸.結(jié)合上述問題，在集群系統(tǒng)中，采用LVS作為前端負(fù)載均衡，LVS后端添加一層nginx，每個(gè)nginx后端連接多臺應(yīng)用服務(wù)器，就能有效避免LVS單點(diǎn)故障到請求失敗以及nginx節(jié)點(diǎn)網(wǎng)絡(luò)帶寬瓶頸問題.

2.3 企業(yè)網(wǎng)絡(luò)需求

企業(yè)通常要求現(xiàn)有運(yùn)行的Web服務(wù)框架要能夠輕易拓展，由于太復(fù)雜的設(shè)計(jì)容易降低開發(fā)效率，提高了前期投入和后期的維護(hù)成本，在出現(xiàn)故障或者突發(fā)事件的時(shí)候不能夠輕易找到原因.其次Web服務(wù)系統(tǒng)還應(yīng)滿足用戶服務(wù)請求的低消耗、快回應(yīng)、高并發(fā)、高可靠性等需求.因此，本文提出使用keepalived、LVS/DR(第四層)跟nginx(第七層)相結(jié)合的方式實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)[5].實(shí)驗(yàn)方案設(shè)計(jì)通過運(yùn)用LVS/DR做前端負(fù)載均衡器，應(yīng)用KEEPALIVED技術(shù)完成系統(tǒng)的高可用性，接著轉(zhuǎn)發(fā)到nginx服務(wù)器完成動(dòng)靜分離以達(dá)到系統(tǒng)的高并發(fā)，實(shí)驗(yàn)測試結(jié)果證明該設(shè)計(jì)符合企業(yè)的應(yīng)用需求.

2.3.1 LVS＋NGINX集群體系架構(gòu)拓?fù)鋱D.LVS＋NGINX集群體系架構(gòu)拓?fù)淙鐖D1所示，用戶訪問VIP的時(shí)候，前端主LVS/ DR服務(wù)器通過加權(quán)輪詢算法轉(zhuǎn)發(fā)到nginx服務(wù)器，如果主服務(wù)器出現(xiàn)問題，則備LVS服務(wù)器會自動(dòng)通過Keepalived變成master.nginx在通過反向代理轉(zhuǎn)發(fā)給Web服務(wù)器(動(dòng)靜分離).處理完請求后返回nginx服務(wù)器，在直接返回給用戶.各個(gè)服務(wù)器的ip地址如表1所示.

圖1 LVS＋NGINX集群體系架構(gòu)拓?fù)鋱DFig.1 LVS＋NGINX cluster architecture topology

表1 各個(gè)服務(wù)器的ip地址Tab.1 IP address of each server

2.3.2 LVS＋NGINX負(fù)載均衡的搭建

1)配置LVS服務(wù)器、備份LVS服務(wù)器:安裝ipvsadm、keepalived命令.修改keepalived.conf配置文件:定義vrrp實(shí)例；設(shè)置主LVS服務(wù)器為MASTER，從LVS服務(wù)器為BACKUP；設(shè)置MASTER與BACKUP負(fù)載均衡器之間同步檢查的時(shí)間間隔；設(shè)置虛擬IP為172.16.67.30.其他關(guān)鍵信息如下:

2)nginx服務(wù)器配置:安裝nginx及所需要的庫pcre，zlib，openssl，popt.配置nginx.conf文件(關(guān)鍵信息): set_real_ip_from 172.16.67.31；set_real_ip_from 172.16.67.32；創(chuàng)建頁面訪問請求響應(yīng)規(guī)則test.com配置文件:靜態(tài)請求進(jìn)入backend1，動(dòng)態(tài)請求進(jìn)入backenk2.

3 方案測試

3.1 高可用

主、備LVS服務(wù)器Keepalived都開啟，由于優(yōu)先級的關(guān)系，主LVS服務(wù)器擔(dān)當(dāng)master的角色.當(dāng)用戶訪問靜態(tài)頁面時(shí)，返回backend1頁面；訪問動(dòng)態(tài)頁面時(shí)，返回backend2頁面，如圖2所示.

關(guān)掉主LVS的Keepalived服務(wù)，假設(shè)該服務(wù)器故障，則備用LVS服務(wù)器進(jìn)入master角色.測試訪問虛擬IP的靜、動(dòng)態(tài)頁面都正常，說明主LVS的故障，并沒有影響整個(gè)系統(tǒng)的運(yùn)行.

關(guān)掉nginx1的nginx服務(wù)，假設(shè)nginx1服務(wù)器故障，則此時(shí)可以在LVS服務(wù)器剔除該臺nginx服務(wù)器，如圖3所示.測試訪問虛擬IP的靜、動(dòng)態(tài)頁面都正常，說明某臺nginx服務(wù)器的故障，并不會影響整個(gè)系統(tǒng)的運(yùn)行.

圖2 頁面訪問Fig.2 Access web′s page

圖3 剔除故障的nginx服務(wù)器Fig.3 Eliminating the fault of nginx server

重啟nginx1的nginx服務(wù)，在LVS服務(wù)器自動(dòng)加入該臺服務(wù)器，如圖4所示.

3.2 高并發(fā)

分別測試LVS、nginx服務(wù)器做為前端服務(wù)器以及直接訪問后端服務(wù)器backend1的靜態(tài)頁面.網(wǎng)站性能壓力測試的相關(guān)參數(shù)如表2所示.

網(wǎng)站性能壓力測試數(shù)據(jù)如圖5所示，通過對三種訪問規(guī)格中的最大并發(fā)量、請求量及時(shí)間測試的比較，可以看出lvs適合高并發(fā)、高請求應(yīng)用需求；nginx集群做靜態(tài)前端作用不大，反而降低系統(tǒng)的性能，其主要做動(dòng)靜分離；單從邏輯分離上來說，nginx本身的并發(fā)能力也是很強(qiáng)大的.所以本文構(gòu)建的LVS/DR＋NGINX集群系統(tǒng):使用LVS作為前端服務(wù)器滿足高并發(fā)、高請求需求，使用Keepalived服務(wù)實(shí)現(xiàn)高可用需求，使用nginx做為后端服務(wù)器能夠?qū)⒄埱髣?dòng)靜分離，可以加快訪問速率.

圖4 自動(dòng)加入nginx服務(wù)器Fig.4 Auto join nginx server

表2 性能壓力測試參數(shù)Tab.2 Performance pressure test parameters

圖5 網(wǎng)站性能壓力測試結(jié)果Fig.5 Website performance stress test results

4 結(jié)語

本文提出了LVS/DR＋NGINX集群混合模式方案，該方案有效解決單點(diǎn)故障、節(jié)點(diǎn)網(wǎng)絡(luò)帶寬瓶頸、并發(fā)性處理性能問題，通過對方案進(jìn)行測試，測試結(jié)果證明該模式實(shí)現(xiàn)Web服務(wù)器集群應(yīng)用的高性能和高可靠性需求.由于各種因素，本文構(gòu)建的測試環(huán)境還有一些修正的地方，包括:可以多考慮一些影響系統(tǒng)性能的原因，這樣可以全面反映服務(wù)器的負(fù)載狀況；本文沒有設(shè)想具體的服務(wù)類型，在生產(chǎn)環(huán)境中，不一樣的服務(wù)類型可導(dǎo)致響應(yīng)時(shí)間和所產(chǎn)生的負(fù)載不同；構(gòu)建的混合式集群環(huán)境規(guī)模不大，假若條件允許，可以進(jìn)行更大規(guī)模的構(gòu)建，才能夠得到更加確切的實(shí)驗(yàn)數(shù)據(jù).

[1] 黃倩.web集群負(fù)載均衡系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].成都:電子科技大學(xué)，2014.

[2] 楊昌武.基于LVS集群負(fù)載均衡技術(shù)研究與應(yīng)用[D].重慶:重慶郵電大學(xué)，2013.

[3] 路明懷.Linux服務(wù)器下多網(wǎng)卡負(fù)載均衡的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)與信息技術(shù)，2006(6):24－26.

[4] 杜江，化潔玉.一種復(fù)合式的負(fù)載均衡方案[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2013，12(8):270－272.

[5] CHIANG M L，LIN Y C，GUO L F.Design and implementation of an efficient web cluster with content－based request distribution and file caching [J].Journal of Systems and Software，2008，11:2044－2054.

[6] LAGAROS ND.An efficient dynamic load balancing algorihm[J].Computational Mechanics，2014(1):59－76.

[7] 么麗穎.一種增強(qiáng)型LVS集群的動(dòng)態(tài)反饋均衡算法[J].哈爾濱師范大學(xué)自然科學(xué)學(xué)報(bào)，2011，27(4):57－59.

責(zé)任編輯:時(shí) 凌

Research on Application of LVS/DR and NGINX Mixed Load Balancing Cluster Technology

CHEN Rongshang1，LAN Xiujin2
(1.School of Computer＆Information Engineering，Xiamen University of Technology，Xiamen 361024，China；2.AST Hearing(Xiamen)Technology Co.Ltd，Xiamen 361000，China)

In order to solve the problem that single cluster technology can not meet the application requirements of enterprise Web server cluster，a hybrid application model of LVS/DR＋NGINX cluster is proposed.Through the analysis of advantages and disadvantages of LVS，NGINX，HAPROXY，TOMCAT cluster，he proposed LVS/DR＋NGINX cluster mixed model can solve the single point of failure and network bandwidth bottlenecks and improve the processing performance of concurrency problems.The test results show that the Web application server cluster model can achieve high performance and high reliability requirements.

cluster technology；LVS/DR＋NGINX；Web server cluster；high performance；high reliability

TP393

A

1008－8423(2017)01－0023－04

10.13501/j.cnki.42－1569/n.2017.03.006

2017－01－06.

廈門市科技計(jì)劃項(xiàng)目(3502Z20133043).

陳榮賞(1982－)，男，博士生，網(wǎng)絡(luò)工程師，主要從事智能信息處理，網(wǎng)絡(luò)安全的研究.