畢艷茹++王志勃++王麒森

摘要：隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和移動(dòng)通信技術(shù)的發(fā)展，越來(lái)越多的智能終端設(shè)備接入到互聯(lián)網(wǎng)應(yīng)用平臺(tái)，如智慧農(nóng)業(yè)生產(chǎn)監(jiān)控系統(tǒng)、新能源汽車(chē)運(yùn)營(yíng)監(jiān)控系統(tǒng)等應(yīng)用，如何解決大用戶量高并發(fā)訪問(wèn)問(wèn)題成為各類(lèi)系統(tǒng)急需解決的關(guān)鍵問(wèn)題，該文將結(jié)合實(shí)際應(yīng)用從服務(wù)器集群架構(gòu)和單體服務(wù)器多線程處理兩個(gè)層面分析提出設(shè)計(jì)方案。

關(guān)鍵詞：高并發(fā)；服務(wù)器集群；多線程

中圖分類(lèi)號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）30-0059-02

1 高并發(fā)下負(fù)載均衡與服務(wù)器集群架構(gòu)設(shè)計(jì)

為解決應(yīng)用平臺(tái)大流量、高并發(fā)問(wèn)題，在網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)上使用服務(wù)器集群模式實(shí)現(xiàn)分布式處理。這就需要在服務(wù)器集群之前增加負(fù)載均衡設(shè)備，實(shí)現(xiàn)流量分發(fā)。負(fù)載均衡是將客戶端訪問(wèn)請(qǐng)求分發(fā)到服務(wù)器集群中不同計(jì)算單元上執(zhí)行的過(guò)程，是從網(wǎng)絡(luò)架構(gòu)層面上解決大流量、高并發(fā)業(yè)務(wù)的有效計(jì)方案。本文中的負(fù)載均衡采用LVS（LVS，Linux Virtual Server）三層架構(gòu)設(shè)計(jì)模型，使用IP負(fù)載均衡和基于內(nèi)容請(qǐng)求分發(fā)技術(shù)，將客戶端請(qǐng)求均衡地分配到服務(wù)器集群的不同個(gè)體上執(zhí)行。這種模式下能夠?qū)崿F(xiàn)吞吐率高，且能自動(dòng)屏蔽掉故障服務(wù)器，從而形成一個(gè)高性能、高可用的虛擬服務(wù)器，整個(gè)服務(wù)器集群對(duì)客戶是透明。

在LVS負(fù)載均衡三層模型中，主要包括負(fù)載均衡器、服務(wù)器池和共享存儲(chǔ)三層。其中負(fù)載均衡器是整個(gè)集群對(duì)外的前端機(jī)，承擔(dān)將客戶發(fā)送請(qǐng)求按照一定策略分發(fā)到一組服務(wù)器上執(zhí)行，而對(duì)于客戶端只暴露一個(gè)IP地址；服務(wù)器池由一組真正執(zhí)行客戶端請(qǐng)求的服務(wù)器組成，服務(wù)器可由物理服務(wù)器或云端虛擬化服務(wù)器構(gòu)成，根據(jù)業(yè)務(wù)吞吐量可彈性增減；共享存儲(chǔ)為服務(wù)器池提供共享存儲(chǔ)區(qū)，保證平臺(tái)數(shù)據(jù)的一致性，具體設(shè)計(jì)架構(gòu)如圖1所示。

在LVS負(fù)載均衡三層模型中，根據(jù)內(nèi)部網(wǎng)絡(luò)構(gòu)成和請(qǐng)求分配策略，又可以形成三種不同的實(shí)現(xiàn)方式，分別是VS/NAT（Virtual Server via Network Address Translation）、VS/TUN（Virtual Server via IP Tunneling）和VS/DR（Virtual Server via Direct Routing）三種方式。

1） VS/NAT方式：VS/NAT方式中將服務(wù)器集群中每臺(tái)服務(wù)器網(wǎng)關(guān)指向均衡器即可，客戶端可以是任意操作系統(tǒng)。VS/NAT方式一個(gè)均衡器能夠帶動(dòng)的真實(shí)服務(wù)器有限。

2） VS/TUN方式：均衡器根據(jù)服務(wù)器池中服務(wù)器負(fù)載情況，動(dòng)態(tài)地選擇一臺(tái)服務(wù)器，將請(qǐng)求報(bào)文封裝在另一個(gè)IP報(bào)文中，再將封裝后的IP報(bào)文轉(zhuǎn)發(fā)給選出的服務(wù)器。服務(wù)器收到報(bào)文后，將報(bào)文解封獲得原來(lái)目標(biāo)地址為 VIP 的報(bào)文，服務(wù)器發(fā)現(xiàn)VIP地址被配置在本地的IP隧道設(shè)備上，所以就處理這個(gè)請(qǐng)求，然后根據(jù)路由表將響應(yīng)報(bào)文直接返回給客戶。

3） VS/DR方式：通過(guò)改寫(xiě)請(qǐng)求報(bào)文中的MAC地址部分來(lái)實(shí)現(xiàn)任務(wù)分配。負(fù)載均衡器和服務(wù)器池中的服務(wù)器必須在物理上有一個(gè)網(wǎng)卡通過(guò)局域網(wǎng)相連。 服務(wù)器上綁定VIP配置在各自Non-ARP的網(wǎng)絡(luò)設(shè)備上，負(fù)載均衡器的VIP地址對(duì)外可見(jiàn)，而真實(shí)服務(wù)器的VIP對(duì)外是不可見(jiàn)的。

2 單臺(tái)服務(wù)器多線程池的設(shè)計(jì)與第三方框架選擇

在負(fù)載均衡器網(wǎng)絡(luò)構(gòu)架下的每臺(tái)單體服務(wù)器在接受TCP/IP請(qǐng)求時(shí)，也要配置高效管理策略，實(shí)現(xiàn)高并發(fā)吞吐處理。為提高單臺(tái)服務(wù)器的處理能力，可采用二層設(shè)計(jì)模式。第一層由接收用戶線程組成，負(fù)責(zé)接收網(wǎng)絡(luò)負(fù)載均衡器分發(fā)的請(qǐng)求；第二層由工作線程組成，負(fù)責(zé)處理數(shù)據(jù)。每個(gè)工作線程使用消息隊(duì)列存儲(chǔ)請(qǐng)求數(shù)據(jù)，這樣可以減少數(shù)據(jù)的復(fù)制和IO操作。采用兩層設(shè)計(jì)策略能有效避免接收線程之間出現(xiàn)競(jìng)爭(zhēng)現(xiàn)象，每個(gè)接收線程對(duì)應(yīng)一個(gè)接收隊(duì)列，每個(gè)接收線程將接收到的數(shù)據(jù)只放在自己對(duì)應(yīng)的隊(duì)列中，具體設(shè)計(jì)模型如圖2所示。

2.1 epoll框架

epoll是Linux環(huán)境下多路復(fù)用I/O接口框架，支持打開(kāi)大數(shù)目socket描述符，I/O效率不隨FD數(shù)目增加而線性下降。它使用一個(gè)就緒設(shè)備隊(duì)列，每次只輪詢?cè)撽?duì)列的數(shù)據(jù)，然后進(jìn)行處理。epoll通過(guò)在Linux內(nèi)核中申請(qǐng)一個(gè)簡(jiǎn)易的文件系統(tǒng)，通過(guò)下面三種調(diào)用完成對(duì)請(qǐng)求的處理。調(diào)用epoll_create（）建立一個(gè)epoll對(duì)象；調(diào)用epoll_ctl（）向epoll對(duì)象中添加套接字；調(diào)用epoll_wait（）收集發(fā)生事件連接。單線程epoll的觸發(fā)量可達(dá)到15000個(gè)，隨著業(yè)務(wù)量的增加，可使用多線程來(lái)提速和增容。

2.2 MINA框架

MINA（Multipurpose Infrastructure for Network Applications） 是 Apache 組織一個(gè)較新的項(xiàng)目，它為開(kāi)發(fā)高性能和高可用性的網(wǎng)絡(luò)應(yīng)用程序提供了非常便利的框架。當(dāng)前發(fā)行的 MINA 版本支持基于 Java NIO 技術(shù)的 TCP/UDP 應(yīng)用程序開(kāi)發(fā)、串口通訊程序，MINA 所支持的功能也在進(jìn)一步的擴(kuò)展中。MINA很好地把業(yè)務(wù)代碼和底層的通信隔離了開(kāi)來(lái)，僅僅需要建立好監(jiān)聽(tīng)，然后寫(xiě)上需要實(shí)現(xiàn)的業(yè)務(wù)邏輯就可以完成服務(wù)端的開(kāi)發(fā)，具體操作分為四個(gè)步驟。IoService（）在一個(gè)線程上建立套接字，監(jiān)聽(tīng)是否有連接被建立；IoProcessor（）在另一個(gè)線程上檢查是否有數(shù)據(jù)在通道上讀寫(xiě)；IoFilter（）定義一組攔截器實(shí)現(xiàn)輔助處理；IoHandler（）負(fù)責(zé)編寫(xiě)業(yè)務(wù)邏輯。

3 結(jié)束語(yǔ)

本文是在完成淮安市級(jí)科研項(xiàng)目（項(xiàng)目名稱：基于“互聯(lián)網(wǎng)+” 的智慧農(nóng)業(yè)綜合信息服務(wù)解決方案，項(xiàng)目編號(hào)：HAN2015035）和自然科學(xué)軟課題項(xiàng)目（項(xiàng)目名稱：基于互聯(lián)網(wǎng)大數(shù)據(jù)的淮安智慧農(nóng)業(yè)解決方案研究）過(guò)程中研究成果，作者結(jié)合自身項(xiàng)目經(jīng)驗(yàn)，在理論層面提出了在互聯(lián)網(wǎng)與物聯(lián)網(wǎng)環(huán)境下高并應(yīng)用的解決方案，通過(guò)簡(jiǎn)短論述，在網(wǎng)絡(luò)架構(gòu)和服務(wù)器兩個(gè)方面實(shí)現(xiàn)解決高并發(fā)資源競(jìng)爭(zhēng)問(wèn)題。最后給出了兩種常用高并發(fā)框架的介紹和基本使用方法，鑒于篇幅限制，沒(méi)有過(guò)多闡述技術(shù)細(xì)節(jié)問(wèn)題。

參考文獻(xiàn)：

[1] 楊興海.基于IOCP的UDP高并發(fā)量通訊的研究[J/OL].電子技術(shù)與軟件工程，2014（12）：272.

[2] 蔣文旭.基于Nginx部署環(huán)境的Web加速方案設(shè)計(jì)與實(shí)現(xiàn)[D].北京郵電大學(xué)，2013.

[3] 李宇，曾志文，湯明.大型高并發(fā)高負(fù)載網(wǎng)站優(yōu)化策略探討[J].希望月報(bào)（上半月），2007（11）：63.

[4] 陳池梅，戢小龍，秦勃.基于C/S 與B/S 混合模式的通風(fēng)機(jī)遠(yuǎn)程監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)與現(xiàn)代化，2012（8）：144-147.endprint