曹秀蓮 鐘祥睿 林曉超

摘? 要：服務(wù)器集群架構(gòu)是網(wǎng)站W(wǎng)eb業(yè)務(wù)的核心，其可用性直接關(guān)系到用戶的體驗(yàn)和網(wǎng)站的效率?，F(xiàn)代集群架構(gòu)運(yùn)用云平臺(tái)的管理和資源池，用云主機(jī)來(lái)代替物理服務(wù)器，對(duì)系統(tǒng)的信息進(jìn)行傳輸、處理、存儲(chǔ)、監(jiān)控等都有所改進(jìn)。網(wǎng)站的訪問(wèn)量日益劇增，當(dāng)訪問(wèn)量達(dá)到十幾萬(wàn)時(shí)，針對(duì)訪問(wèn)量而引發(fā)的服務(wù)器架構(gòu)調(diào)優(yōu)，成為了一個(gè)迫切需要解決的問(wèn)題。

關(guān)鍵詞：云平臺(tái)? LNMP集群? 訪問(wèn)量? 負(fù)載均衡

中圖分類號(hào)：TP393? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? 文章編號(hào)：1674-098X（2021）06（a）-0061-04

Research on LNMP cluster architecture based on cloud platform

CAO Xiulian? ZHONG Xiangrui? LIN Xiaochao

（Guangdong Engineering Vocational College? Guangzhou， Guangdong Province， 510520 China）

Abstract： Server cluster architecture is the core of website web business， and its availability is directly related to the user experience and website efficiency. Modern cluster architecture uses the management and resource pool of cloud platform， and uses the virtual machine to replace the physical server to improve the information transmission， processing， storage and monitoring of the system. With the rapid growth of website traffic， when the traffic reaches more than 100000， the server architecture optimization caused by the traffic has become an urgent problem to be solved.

Key Words： Cloud platform; LNMP cluster; Traffic; Load balancing

本文主要選取了企業(yè)web網(wǎng)站架構(gòu)為實(shí)際研究對(duì)象，在云平臺(tái)下構(gòu)建LNMP集群，從數(shù)據(jù)庫(kù)服務(wù)優(yōu)化、web服務(wù)器優(yōu)化、負(fù)載均衡優(yōu)化3個(gè)方面對(duì)企業(yè)的軟硬件實(shí)際情況提出web網(wǎng)站架構(gòu)優(yōu)化方案。

1 研究背景

云技術(shù)（Cloud technology）是基于云計(jì)算商業(yè)模式應(yīng)用的網(wǎng)絡(luò)技術(shù)、信息技術(shù)、整合技術(shù)、管理平臺(tái)技術(shù)、應(yīng)用技術(shù)等的總稱，可以組成資源池，按需所用，靈活便利[1-2]。

LNMP集群是企業(yè)級(jí)常用于處理高并發(fā)問(wèn)題的集群[3-4]，它代表的就是Linux系統(tǒng)下Nginx+MySQL+ PHP這種網(wǎng)站服務(wù)器架構(gòu)，LNMP集群架構(gòu)可以解決30000～100000的訪問(wèn)量。

服務(wù)器集群架構(gòu)是網(wǎng)站web業(yè)務(wù)的核心，其可用性直接關(guān)系到用戶的體驗(yàn)和網(wǎng)站的效率。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展和訪問(wèn)量不斷的增加，傳統(tǒng)的web架構(gòu)、負(fù)載均衡已不能適應(yīng)新的發(fā)展需要，提高web集群架構(gòu)的高可用性主要途徑是運(yùn)用先進(jìn)的信息技術(shù)，根據(jù)企業(yè)的業(yè)務(wù)需求對(duì)現(xiàn)有的軟硬件情況進(jìn)行架構(gòu)的改進(jìn)，是解決問(wèn)題的有利方法。

云平臺(tái)下的LNMP集群架構(gòu)就是搭建的IaaS（Infrastructure as a Service），即基礎(chǔ)設(shè)施即服務(wù)。指把IT基礎(chǔ)設(shè)施作為一種服務(wù)通過(guò)網(wǎng)絡(luò)對(duì)外提供，并根據(jù)用戶對(duì)資源的實(shí)際使用量或占用量進(jìn)行計(jì)費(fèi)的一種服務(wù)模式。云平臺(tái)下的LNMP集群架構(gòu)的設(shè)計(jì)目標(biāo)是優(yōu)化企業(yè)web業(yè)務(wù)架構(gòu)，應(yīng)對(duì)web業(yè)務(wù)日益劇增的訪問(wèn)量，以此提高企業(yè)web服務(wù)集群的高可用行性和企業(yè)web業(yè)務(wù)的需求。

2? 云平臺(tái)下構(gòu)建LNMP集群的整體設(shè)計(jì)

一個(gè)良好的架構(gòu)設(shè)計(jì)和運(yùn)維保障措施，能為云平臺(tái)的穩(wěn)定健康運(yùn)行，產(chǎn)生不可估量的積極影響[5-6]。如果化繁為簡(jiǎn)，簡(jiǎn)單來(lái)說(shuō)，要部署一套生產(chǎn)環(huán)境級(jí)別的云平臺(tái)，至少會(huì)涉及到4個(gè)層次的內(nèi)容，即物理基礎(chǔ)設(shè)施層、存儲(chǔ)層、云服務(wù)層和用戶應(yīng)用層。

隨著訪問(wèn)量不斷增加，大多企業(yè)的Web集群都采用集群技術(shù)來(lái)構(gòu)建Web物理服務(wù)器集群以解決日訪問(wèn)量大的問(wèn)題。提高服務(wù)器集群的性能要選擇合理的負(fù)載均衡策略，負(fù)載均衡策略的合理應(yīng)用能優(yōu)化集群性能，提高系統(tǒng)的運(yùn)行效率，有效解決系統(tǒng)訪問(wèn)量大的問(wèn)題。本文構(gòu)建的LNMP集群的設(shè)計(jì)架構(gòu)圖如圖1所示。

2.1 整體設(shè)計(jì)目標(biāo)

2.1.1 構(gòu)建云平臺(tái)集群架構(gòu)

在計(jì)算節(jié)點(diǎn)集群和控制節(jié)點(diǎn)集群搭建云平臺(tái)。

2.1.2 資源彈性使用

在控制節(jié)點(diǎn)服務(wù)器上實(shí)現(xiàn)資源的整合，把控制節(jié)點(diǎn)的全部資源加入云平臺(tái)資源池。

2.1.3 構(gòu)建LNMP集群架構(gòu)

使用云平臺(tái)下的云主機(jī)進(jìn)行搭建Web虛擬的服務(wù)集群架構(gòu)。

2.1.4 負(fù)載均衡

在Lvs中使用Wrr算進(jìn)行負(fù)載均衡調(diào)度，提高整個(gè)Web架構(gòu)的穩(wěn)定性。

2.1.5 提高Web服務(wù)器集群訪問(wèn)量

彈性資源的使用，可以快速增加Web集群中服務(wù)器的數(shù)量，令訪問(wèn)量增加。

2.1.6 MySql數(shù)據(jù)庫(kù)（HA）

在訪問(wèn)量大的時(shí)候mysql服務(wù)器集群寫(xiě)入的請(qǐng)求會(huì)加重服務(wù)集群的負(fù)載，這個(gè)時(shí)候需要進(jìn)行mysql集群讀寫(xiě)進(jìn)行分離。

2.2 云平臺(tái)部署步驟

2.2.1 各節(jié)點(diǎn)進(jìn)行基礎(chǔ)環(huán)境配置

配各節(jié)點(diǎn)IP地址、關(guān)閉防火墻不自啟、內(nèi)核防火墻設(shè)置為disable、全部節(jié)點(diǎn)進(jìn)行統(tǒng)一時(shí)鐘。

2.2.2 控制節(jié)點(diǎn)（Rabbitmq、mariadb、Keystone、nova-api等）

至少部署3臺(tái)控制節(jié)點(diǎn)，其余可做計(jì)算節(jié)點(diǎn)、網(wǎng)絡(luò)節(jié)點(diǎn)或存儲(chǔ)節(jié)點(diǎn)。采用Haproxy + KeepAlived方式，代理數(shù)據(jù)庫(kù)服務(wù)和OpenStack服務(wù)，對(duì)外暴露VIP提供API訪問(wèn)。

2.2.3 網(wǎng)絡(luò)節(jié)點(diǎn)（neutron_dhcp_agent、neutron_l3_agent、neutron_openvswitch_agent等）

網(wǎng)絡(luò)節(jié)點(diǎn)上運(yùn)行的Neutron服務(wù)包括很多的組件，比如L3 Agent、openvswitch Agent、LBaas、VPNaas、FWaas、Metadata Agent等，其中部分組件提供了原生的HA支持。

網(wǎng)絡(luò)節(jié)點(diǎn)涉及到的網(wǎng)絡(luò)有管理網(wǎng)絡(luò)（用于OpenStack各服務(wù)之間通信）、外部網(wǎng)絡(luò)（提供floating ip）、存儲(chǔ)網(wǎng)絡(luò)（如ceph存儲(chǔ)網(wǎng)絡(luò)）和虛機(jī)網(wǎng)絡(luò)（也稱租戶網(wǎng)絡(luò)、業(yè)務(wù)網(wǎng)絡(luò)）4種類型。

2.2.4 計(jì)算節(jié)點(diǎn)（Nova-Compute、neutron_openvswitch_agent、虛擬機(jī)等）

計(jì)算節(jié)點(diǎn)是在全部的物理服務(wù)器（包括控制節(jié)點(diǎn)）運(yùn)行nova、nova-api組件的各服務(wù)，進(jìn)行云平臺(tái)的資源整合。

2.2.5 存儲(chǔ)節(jié)點(diǎn)（cinder-volume、swift等）

存儲(chǔ)節(jié)點(diǎn)的HA，主要是針對(duì)cinder-volume、cinder-backup服務(wù)做HA，最簡(jiǎn)便的方法就是部署多個(gè)存儲(chǔ)節(jié)點(diǎn)，某一節(jié)點(diǎn)上的服務(wù)掛了，不至于影響到全局。

3? LNMP集群架構(gòu)詳細(xì)部署

3.1 Nginx安裝部署

根據(jù)架構(gòu)圖把LNMP集群分為Nginx集群和Mysql+php集群。

Nginx安裝配置包括如下幾部分：

（1）Web服務(wù)、郵件服務(wù)、郵件代理;

（2）負(fù)載均衡（反向代理proxy）;

（3）webcache;

Nginx特點(diǎn)：靜態(tài)小文件（1M），支持高并發(fā)，占用的資源很少。3W并發(fā)，10個(gè)進(jìn)程，內(nèi)存150M。

安裝依賴包：

依賴軟件：Pcre、Openssl、Zlib

yum -y install wget

yum -y install gcc gcc-c++ autoconf automake make

yum -y install zlib zlib-devel openssl openssl-devel

yum -y install patch

下載軟件包和依賴軟件包：/tools/

wget http：//nginx.org/download/nginx-1.10.2.tar.gz

wget ftp：//ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.38.tar.gz

wget http：//zlib.net/zlib-1.2.8.tar.gz

wget https：//www.openssl.org/source/openssl-1.0.2h.tar.gz

wget https：//bitbucket.org/nginx-goodies/nginx-sticky-module-ng/get/master.tar.gz

配置nginx.conf及部署Web站點(diǎn)

egrep -v "#|^$" nginx.conf.default >nginx.conf

vim nginx.conf

worker_processes? 1;

events {

worker_connections? 1024;

}

http {

include? ? ? ?mime.types;

default_type? application/octet-stream;

sendfile? ? ? ? on;

keepalive_timeout? 65;

server {

listen? ? ? ?80;

server_name www.guangdonggongcheng.com;

location / {

root? ?html/www;

index? index.html index.htm;

}

}

server {

listen? ? ? ?80;

server_name? bbs.guangdonggongcheng.com;

location / {

root? ?html/bbs;

index? index.html index.htm;

}

}

}

3.2 負(fù)載均衡部署

3.2.1 LB（Load Balance）集群之LVS

LB集群的架構(gòu)和原理很簡(jiǎn)單，就是當(dāng)用戶的請(qǐng)求發(fā)過(guò)來(lái)時(shí)，會(huì)直接分發(fā)到Director Server上，然后它把用戶的請(qǐng)求根據(jù)設(shè)置好的調(diào)度算法，智能均衡地分發(fā)到后端真正服務(wù)器（real server）上。為了避免不同機(jī)器上用戶請(qǐng)求得到的數(shù)據(jù)不一樣，需要用到共享存儲(chǔ)，這樣保證所有用戶請(qǐng)求的數(shù)據(jù)是一致的，如圖2所示。

LVS（Linux Virtual Server）即Linux虛擬服務(wù)器，是Linux內(nèi)核標(biāo)準(zhǔn)的一部分。LVS架構(gòu)從邏輯上可分為調(diào)度層、Server集群層和共享存儲(chǔ)，是一個(gè)實(shí)現(xiàn)負(fù)載均衡集群的開(kāi)源軟件項(xiàng)目。能夠構(gòu)建一個(gè)高性能高可用的Linux服務(wù)器集群，不但具有良好的可靠性、可擴(kuò)展性和可操作性，而且成本低廉。

3.2.2 LVS使用的加權(quán)輪詢 WRR負(fù)載均衡算法

LVS中的負(fù)載均衡使用的是加權(quán)輪詢WRR負(fù)載均衡算法，這種算法比經(jīng)典的rr算法多了一個(gè)權(quán)重的概念，主要是給RS設(shè)置權(quán)重，權(quán)重代表分發(fā)的請(qǐng)求數(shù)，取值范圍為0～100，這實(shí)質(zhì)是彌補(bǔ)rr算法的不足之處。LVS根據(jù)每臺(tái)服務(wù)器的性能，給每臺(tái)服務(wù)器添加權(quán)值，假設(shè)有服務(wù)器A權(quán)值=1，服務(wù)器B權(quán)值=2，則意味著調(diào)度到服務(wù)器B的請(qǐng)求會(huì)是服務(wù)器A的2倍。

3.2.3 MySQL數(shù)據(jù)庫(kù)HA（High Availability）

Mariadb Galara 集群。Galera Cluster是一套在innodb存儲(chǔ)引擎上面實(shí)現(xiàn)multi-master及數(shù)據(jù)實(shí)時(shí)同步的系統(tǒng)架構(gòu)，業(yè)務(wù)層面無(wú)需做讀寫(xiě)分離工作，數(shù)據(jù)庫(kù)讀寫(xiě)壓力都能按照既定的規(guī)則分發(fā)到各個(gè)節(jié)點(diǎn)上去。特點(diǎn)如下：（1）同步復(fù)制，（>=3）奇數(shù)個(gè)節(jié)點(diǎn);（2）Active-active的多主拓?fù)浣Y(jié)構(gòu);（3）集群任意節(jié)點(diǎn)可以讀和寫(xiě);（4）自動(dòng)身份控制，失敗節(jié)點(diǎn)自動(dòng)脫離集群;（5）自動(dòng)節(jié)點(diǎn)接入;（6）真正的基于”行”級(jí)別和ID檢查的并行復(fù)制;（7）無(wú)單點(diǎn)故障，易擴(kuò)展。

采用MariaDB + Galera方案部署至少3個(gè)節(jié)點(diǎn)（最好節(jié)點(diǎn)數(shù)量為奇數(shù)），外部訪問(wèn)通過(guò)Haproxy的active + backend方式代理。平時(shí)主庫(kù)為A，當(dāng)A出現(xiàn)故障，則切換到B或C節(jié)點(diǎn)。

安裝數(shù)據(jù)庫(kù)HA過(guò)程如下。

（1）進(jìn)行基礎(chǔ)配置。集群至少需要3個(gè)節(jié)點(diǎn)的服務(wù)器硬件、配IP、centos7系統(tǒng)。

（2）配置說(shuō)明。Galera Cluster的內(nèi)存要求很難準(zhǔn)確預(yù)測(cè)。它使用的特定內(nèi)存量可能會(huì)有很大差異，具體取決于給定節(jié)點(diǎn)接收的負(fù)載。如果Galera Cluster嘗試使用比節(jié)點(diǎn)更多的內(nèi)存，則mysqld實(shí)例會(huì)崩潰。保護(hù)節(jié)點(diǎn)系統(tǒng)崩潰的方法是確保服務(wù)有足夠的swap空間分區(qū)或者交換文件。

（3）啟動(dòng)Galera集群。完成安裝和配置Galera Cluster后，需要使用wsrep-new-cluster選擇一個(gè)節(jié)點(diǎn)上啟動(dòng)mysqld。這將會(huì)初始化集群的核心組件。在此之后啟動(dòng)的每個(gè)節(jié)點(diǎn)都將連接到該組件并開(kāi)始復(fù)制數(shù)據(jù)。

4? 結(jié)語(yǔ)

應(yīng)對(duì)企業(yè)訪問(wèn)量日益劇增問(wèn)題，使Web業(yè)務(wù)高可用，需要在云平臺(tái)技術(shù)、技術(shù)架構(gòu)、數(shù)據(jù)庫(kù)HA、負(fù)載均衡等方面就設(shè)計(jì)調(diào)優(yōu)。本文對(duì)企業(yè)Web業(yè)務(wù)應(yīng)對(duì)日益劇增的訪問(wèn)量進(jìn)行了分析其架構(gòu)，對(duì)企業(yè)的日訪問(wèn)量劇增提出了全面的可行方案總結(jié)如下。

（1）數(shù)據(jù)庫(kù)HA方面：業(yè)務(wù)層面無(wú)需做讀寫(xiě)分離工作，數(shù)據(jù)庫(kù)讀寫(xiě)壓力都能按照既定的規(guī)則分發(fā)到各個(gè)節(jié)點(diǎn)上去、同步復(fù)制、多住拓?fù)浣Y(jié)構(gòu)、集群任意節(jié)點(diǎn)可以讀和寫(xiě)、自動(dòng)身份控制、無(wú)單點(diǎn)故障、自動(dòng)節(jié)點(diǎn)接入。

（2）Web應(yīng)用和服務(wù)層：用云平臺(tái)來(lái)代替整個(gè)系統(tǒng)的管理，易拓展性強(qiáng)，使用云主機(jī)的虛擬化技術(shù)在LNMP架構(gòu)上。

（3）集群負(fù)載均衡調(diào)度算法：根據(jù)實(shí)際情況選擇合適的集群均衡調(diào)度算法。當(dāng)用戶訪問(wèn)集群時(shí)，每個(gè)用戶所要請(qǐng)求處理的時(shí)間和消耗系統(tǒng)資源是不同的，采用動(dòng)態(tài)反饋負(fù)載均衡算法考慮集群的實(shí)時(shí)負(fù)載和響應(yīng)情況，不斷調(diào)整服務(wù)期間處理的比例，盡可能的提高集群的整體性能。

參考文獻(xiàn)

[1] 李金兆.信息化社會(huì)的戲曲傳承[D].臨汾：山西師范大學(xué)，2019.

[2] 蒯向春.云網(wǎng)融合應(yīng)用關(guān)鍵技術(shù)研究與設(shè)計(jì)[D].南京：南京郵電大學(xué)，2017.

[3] 劉焓.云平臺(tái)下服務(wù)分布式監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2020.

[4] 蘭巨龍，胡宇翔，張震，等.未來(lái)網(wǎng)絡(luò)體系與核心技術(shù)[M].北京：人民郵電出版社：學(xué)術(shù)中國(guó)·院士系列， 2017.368.

[5] 劉志成，林東升，彭勇.云計(jì)算技術(shù)與應(yīng)用基礎(chǔ)[M].北京：人民郵電出版社，2017.283.

[6] 劉奕.5G網(wǎng)絡(luò)技術(shù)對(duì)提升4G網(wǎng)絡(luò)性能的研究[J].數(shù)碼世界，2020（4）：24.