文/王君妍

如今Web 已成為網(wǎng)絡(luò)應(yīng)用的主流形式，而部分小型的網(wǎng)站如校園內(nèi)常見的選課系統(tǒng)等，會(huì)偶爾出現(xiàn)高并發(fā)的情況[1]。大量用戶短時(shí)間內(nèi)同時(shí)訪問網(wǎng)站服務(wù)器，后端程序或數(shù)據(jù)庫(kù)由于壓力過大、硬件資源有限等原因響應(yīng)慢，服務(wù)器響應(yīng)時(shí)間極大增加，從而形成惡性循環(huán)，甚至導(dǎo)致服務(wù)崩潰[2]。

目前，常見的解決方案有使用緩存技術(shù)方案、使用Nginx 自帶的限速方案、增加網(wǎng)站服務(wù)器數(shù)量并進(jìn)行負(fù)載均衡方案等。各方案原理及缺點(diǎn)如下所述：

使用緩存技術(shù)加快網(wǎng)站服務(wù)器的響應(yīng)速度，其工作原理是將常用數(shù)據(jù)存儲(chǔ)到內(nèi)存中，以減少硬盤I/O 次數(shù)，從而加快數(shù)據(jù)讀取速度[3]。該方法一般用于讀取數(shù)據(jù)的請(qǐng)求占比較大的場(chǎng)景，但是類似于選課的業(yè)務(wù)，寫入請(qǐng)求占比較大，緩存基本不適用，且該方法需要進(jìn)行后端業(yè)務(wù)系統(tǒng)改造，與具體業(yè)務(wù)耦合度較高。

Nginx 本身自帶限流排隊(duì)、連接數(shù)限制、請(qǐng)求速率限制以及對(duì)單個(gè)IP 地址進(jìn)行限速的功能[4]。但是這些功能適用于防止惡意流量、惡意用戶的情況，在選課等場(chǎng)景下，用戶的請(qǐng)求具有連續(xù)性，如果采用此類限制方法，將會(huì)導(dǎo)致用戶無法完整地完成操作。

增加網(wǎng)站服務(wù)器數(shù)量并進(jìn)行負(fù)載均衡，其工作原理是增加網(wǎng)站服務(wù)器的數(shù)量，通常借助反向代理服務(wù)器來提供橫向擴(kuò)展，使多臺(tái)服務(wù)器共同分擔(dān)網(wǎng)絡(luò)請(qǐng)求[5]。本文針對(duì)的場(chǎng)景是小型Web 應(yīng)用系統(tǒng)如選課系統(tǒng)，通常其本身并不具備負(fù)載均衡的能力，改造的代價(jià)會(huì)相對(duì)較大[6]。

綜上所述，現(xiàn)有解決方案存在需要進(jìn)行后端系統(tǒng)改造、與具體業(yè)務(wù)耦合程度高、成本高等問題。

為解決上述問題，本文提出一種基于反向代理的針對(duì)小型短時(shí)高并發(fā)網(wǎng)站的并發(fā)控制方法，基于反向代理對(duì)用戶會(huì)話進(jìn)行排隊(duì)，通過當(dāng)前用戶會(huì)話隊(duì)列長(zhǎng)度和網(wǎng)站服務(wù)器的平均響應(yīng)時(shí)間，動(dòng)態(tài)調(diào)整處理隊(duì)列的大小，決定輸出的用戶會(huì)話數(shù)，使后端網(wǎng)站的平均響應(yīng)時(shí)間最小。此方法無需對(duì)后端網(wǎng)站服務(wù)器進(jìn)行改造，無需額外增加成本，規(guī)模小、易用性強(qiáng)，對(duì)于本文偶發(fā)性短時(shí)高并發(fā)的小型Web 應(yīng)用場(chǎng)景更為適用。

本文最后將這種方法在仿真的網(wǎng)絡(luò)環(huán)境中進(jìn)行測(cè)試，測(cè)試結(jié)果表明該方法可以提升整體訪問速度。

并發(fā)控制方法

問題描述

在如高校選課等典型的場(chǎng)景下，大量用戶幾乎同時(shí)訪問網(wǎng)站服務(wù)器，給網(wǎng)站服務(wù)器帶來難以負(fù)荷的巨大壓力，而后端系統(tǒng)往往硬件資源有限、性能較差，造成網(wǎng)站服務(wù)器響應(yīng)時(shí)間極大增加，嚴(yán)重時(shí)甚至?xí)罎?、宕機(jī)。

網(wǎng)站服務(wù)器在處理用戶請(qǐng)求的過程中通常會(huì)調(diào)用系統(tǒng)處理器、內(nèi)存、磁盤、網(wǎng)絡(luò)等資源，而硬件資源是有限的。少量用戶在使用時(shí)，服務(wù)器的硬件資源足夠，可以快速處理請(qǐng)求；適量用戶使用時(shí)，服務(wù)器保持快速響應(yīng)的同時(shí)網(wǎng)站吞吐量達(dá)到高峰；當(dāng)有大量用戶并發(fā)時(shí)，網(wǎng)站服務(wù)器處理的過程中會(huì)發(fā)生對(duì)硬件資源的沖突搶占，導(dǎo)致網(wǎng)站服務(wù)器的響應(yīng)變慢，吞吐量降低。為分析此情況，本文構(gòu)造了一個(gè)可表達(dá)在請(qǐng)求總量確定的前提下網(wǎng)站服務(wù)器的總處理時(shí)間和并發(fā)請(qǐng)求數(shù)之間關(guān)系的模型。

設(shè)完成所有請(qǐng)求的總時(shí)間為T。設(shè)總請(qǐng)求數(shù)為Q。設(shè)單位時(shí)間內(nèi)完成的請(qǐng)求數(shù)為S。則有：

設(shè)λ 為用戶的請(qǐng)求速率，則根據(jù)服務(wù)器處理能力隨用戶請(qǐng)求速率變化可知S為以λ 為變量的函數(shù)。由前文的分析可知，存在λ=λ0，使S 最大。下面分別討論λ＜λ0和λ＞λ0時(shí)的變化規(guī)律。

當(dāng)λ＜λ0時(shí)，相對(duì)于服務(wù)器的處理能力，此時(shí)用戶請(qǐng)求速率較小，因此服務(wù)器單位時(shí)間內(nèi)處理用戶請(qǐng)求數(shù)僅與單位時(shí)間內(nèi)到達(dá)服務(wù)器的請(qǐng)求數(shù)一致，即

綜合式（2）和式（3），得S 隨λ的變化關(guān)系為：

綜上所述，T 隨λ 的變化關(guān)系為：

為了形象地觀察T隨λ的變化趨勢(shì)，不妨取Q=50000，λ=10，k=1.2，則根據(jù)式（5）繪制T 的圖像如圖1 所示。

圖1 Τ 隨λ 的變化圖

由圖1 可知，服務(wù)器完成所有請(qǐng)求的總時(shí)間T 在用戶請(qǐng)求速率為λ0時(shí)最小。根據(jù)這一模型，若要解決短時(shí)高并發(fā)場(chǎng)景下網(wǎng)站服務(wù)器遇到的問題，可采取排隊(duì)的機(jī)制限制并發(fā)請(qǐng)求，將到達(dá)網(wǎng)站服務(wù)器的用戶請(qǐng)求速率控制在λ0附近。

并發(fā)控制方法

本文研究一種基于反向代理的針對(duì)短時(shí)高并發(fā)網(wǎng)站的并發(fā)控制方法，在反向代理服務(wù)器上對(duì)用戶請(qǐng)求進(jìn)行排隊(duì)，使得用戶可以有序、平穩(wěn)地訪問網(wǎng)站服務(wù)器。此方法的原理示意圖如圖2 所示。

圖2 方法原理示意圖

但是排隊(duì)機(jī)制的不同會(huì)影響每個(gè)用戶的平均逗留時(shí)間。為使用戶的平均逗留時(shí)間最短，本文以典型的高校選課場(chǎng)景為例構(gòu)造了關(guān)于最小化用戶平均逗留時(shí)間的模型。

設(shè)選課開始時(shí)并發(fā)的總?cè)藬?shù)為m，每人的連續(xù)請(qǐng)求數(shù)為n，每個(gè)請(qǐng)求的平均處理時(shí)間為u，網(wǎng)站服務(wù)器同時(shí)處理k個(gè)請(qǐng)求，完成所有請(qǐng)求的總時(shí)間為T，則有：

設(shè)完成前i 個(gè)用戶所有請(qǐng)求的時(shí)間為Ti，所有用戶的平均逗留時(shí)間為Ts，則

因選課業(yè)務(wù)是連續(xù)的，當(dāng)?shù)趇 個(gè)用戶的所有請(qǐng)求完成時(shí)，其前面的i-1 個(gè)用戶及第i 個(gè)用戶的所有請(qǐng)求均已完成，且第i個(gè)用戶后面的用戶有可能有請(qǐng)求已完成，則有

所以

所以

圖3 理想情況下用戶請(qǐng)求處理的示意

根據(jù)上述結(jié)論，本文選擇對(duì)用戶會(huì)話進(jìn)行排隊(duì)，并建立“處理池”。對(duì)先來的用戶將其用戶會(huì)話ID 記錄在處理池中，標(biāo)記為當(dāng)前具有高優(yōu)先級(jí)的用戶。高優(yōu)先級(jí)用戶服務(wù)結(jié)束后經(jīng)過一定的超時(shí)時(shí)間將從處理池中刪除，下一批用戶則可以開始服務(wù)。通過處理池的機(jī)制，可以實(shí)現(xiàn)將用戶按順序處理，以使得所有用戶的平均逗留時(shí)間盡可能短。

綜上所述，此并發(fā)控制方法的設(shè)計(jì)思路是為了使網(wǎng)站服務(wù)器同時(shí)接受的請(qǐng)求數(shù)在其性能可承受的范圍內(nèi)，即將到達(dá)網(wǎng)站服務(wù)器的用戶請(qǐng)求速率控制在λ0附近，設(shè)計(jì)實(shí)現(xiàn)一種基于反向代理的針對(duì)短時(shí)高并發(fā)的小型Web 應(yīng)用系統(tǒng)的并發(fā)控制方法。在用戶與網(wǎng)站服務(wù)器之間利用反向代理服務(wù)器作為緩沖節(jié)點(diǎn)，并在其上對(duì)用戶會(huì)話進(jìn)行排隊(duì)，通過處理池的方式優(yōu)先處理已經(jīng)在處理的用戶的請(qǐng)求，并通過隊(duì)列長(zhǎng)度及網(wǎng)站服務(wù)器的平均響應(yīng)時(shí)間動(dòng)態(tài)調(diào)節(jié)處理池的大小，以調(diào)控直接到達(dá)網(wǎng)站服務(wù)器的用戶請(qǐng)求數(shù)，使到達(dá)網(wǎng)站服務(wù)器的用戶請(qǐng)求速率控制在λ0附近，且使得用戶平均逗留時(shí)間盡可能短。

圖4 系統(tǒng)架構(gòu)

反向代理系統(tǒng)架構(gòu)

本文所提出的針對(duì)短時(shí)高并發(fā)的小型Web 應(yīng)用系統(tǒng)的并發(fā)控制方法其系統(tǒng)整體架構(gòu)如圖4 所示，包括響應(yīng)時(shí)間統(tǒng)計(jì)模塊、反饋調(diào)節(jié)模塊以及排隊(duì)模塊。

首先，響應(yīng)時(shí)間統(tǒng)計(jì)模塊周期性地采集后端網(wǎng)站服務(wù)器對(duì)每個(gè)用戶的每個(gè)請(qǐng)求的響應(yīng)時(shí)間，并計(jì)算單位時(shí)間內(nèi)網(wǎng)站服務(wù)器的平均響應(yīng)時(shí)間；然后，反饋調(diào)節(jié)模塊根據(jù)排隊(duì)模塊中正在排隊(duì)用戶會(huì)話的隊(duì)列長(zhǎng)度和網(wǎng)站服務(wù)器的平均響應(yīng)時(shí)間動(dòng)態(tài)調(diào)整處理池的大小，確定排隊(duì)模塊的排隊(duì)策略；進(jìn)而，排隊(duì)模塊根據(jù)當(dāng)前處理池的大小確定系統(tǒng)輸出的用戶會(huì)話數(shù)，使后端網(wǎng)站服務(wù)器的平均響應(yīng)時(shí)間穩(wěn)定在用戶可接受的范圍內(nèi)，實(shí)現(xiàn)在盡可能多的用戶接受服務(wù)的同時(shí)，網(wǎng)站服務(wù)器可平穩(wěn)地度過流量高峰。

圖5 排隊(duì)模塊流程

1.響應(yīng)時(shí)間統(tǒng)計(jì)模塊

響應(yīng)時(shí)間統(tǒng)計(jì)模塊主要負(fù)責(zé)采集每個(gè)用戶的每個(gè)請(qǐng)求的響應(yīng)時(shí)間，通過一段時(shí)間內(nèi)采集到的響應(yīng)時(shí)間求出這段時(shí)間內(nèi)用戶的平均響應(yīng)時(shí)間，并將其提供給反饋調(diào)節(jié)模塊作為調(diào)節(jié)用戶會(huì)話數(shù)的依據(jù)。

2.排隊(duì)模塊

排隊(duì)模塊的流程如圖5 所示。

排隊(duì)模塊主要負(fù)責(zé)決定一個(gè)用戶的請(qǐng)求應(yīng)該被正常地轉(zhuǎn)發(fā)到網(wǎng)站服務(wù)器還是進(jìn)行排隊(duì)。排隊(duì)模塊以用戶的網(wǎng)站session 以及用戶的源IP 地址作為唯一確定用戶的用戶會(huì)話ID，并以此為索引對(duì)用戶會(huì)話進(jìn)行排隊(duì)或放行。位于排隊(duì)隊(duì)列中的用戶會(huì)話ID 對(duì)應(yīng)的HTTP 請(qǐng)求報(bào)文在通過排隊(duì)模塊時(shí)將被拒絕轉(zhuǎn)發(fā)到網(wǎng)站服務(wù)器，并進(jìn)行排隊(duì)，位于處理池中的用戶會(huì)話ID 相對(duì)應(yīng)的HTTP 請(qǐng)求報(bào)文將被轉(zhuǎn)發(fā)到網(wǎng)站服務(wù)器。

3.反饋調(diào)節(jié)模塊

反饋調(diào)節(jié)模塊的流程如圖6 所示。

反饋調(diào)節(jié)模塊通過讀取排隊(duì)模塊中的隊(duì)列長(zhǎng)度以及響應(yīng)時(shí)間統(tǒng)計(jì)模塊計(jì)算出的平均響應(yīng)時(shí)間，來對(duì)排隊(duì)模塊中的處理池大小進(jìn)行調(diào)節(jié)，并以此控制到達(dá)網(wǎng)站服務(wù)器用戶會(huì)話的數(shù)量。

圖6 反饋調(diào)節(jié)模塊流程

反饋調(diào)節(jié)模塊首先通過隊(duì)列長(zhǎng)度是否為0，即當(dāng)前是否有用戶在排隊(duì)來判斷當(dāng)前是否為用戶流量高峰、網(wǎng)站服務(wù)器是否可能出現(xiàn)擁塞狀況。在用戶較少的時(shí)期，發(fā)往網(wǎng)站服務(wù)器的請(qǐng)求數(shù)較少，因而在反向代理服務(wù)器中不會(huì)出現(xiàn)排隊(duì)的情況，此時(shí)隊(duì)列長(zhǎng)度為0。當(dāng)訪問網(wǎng)站服務(wù)器的用戶逐漸增多，排隊(duì)模塊中處理池的大小逐漸無法容納急劇增加的用戶會(huì)話ID 數(shù)，多余的用戶被轉(zhuǎn)入排隊(duì)隊(duì)列中進(jìn)行排隊(duì)。因此當(dāng)反饋調(diào)節(jié)模塊檢測(cè)到隊(duì)列長(zhǎng)度不為0 時(shí)，將增大排隊(duì)模塊中處理池的長(zhǎng)度，使得網(wǎng)站服務(wù)器既能夠滿足盡可能多用戶的訪問，又可以將平均響應(yīng)時(shí)間控制在合理的范圍內(nèi)。當(dāng)用戶流量高峰結(jié)束后，訪問網(wǎng)站服務(wù)器的用戶會(huì)話逐漸減少，處理池內(nèi)用戶會(huì)話ID 數(shù)逐漸回落到閑時(shí)水平，反饋調(diào)節(jié)模塊根據(jù)系統(tǒng)中設(shè)定的空閑等待時(shí)間，將處理池的大小調(diào)整為初始狀態(tài)。

實(shí)驗(yàn)

為驗(yàn)證本方案的可行性和處理效果，本文設(shè)計(jì)了一個(gè)仿真實(shí)驗(yàn)，其結(jié)構(gòu)圖如圖7 所示。

實(shí)驗(yàn)分為三個(gè)部分：測(cè)試端、反向代理系統(tǒng)、模擬網(wǎng)站后端。測(cè)試端為模擬若干個(gè)用戶同時(shí)訪問網(wǎng)站服務(wù)器的行為，向模擬網(wǎng)站后端短時(shí)間內(nèi)發(fā)起大量訪問請(qǐng)求，經(jīng)由反向代理系統(tǒng)過濾，到達(dá)模擬網(wǎng)站后端。使用了一臺(tái)服務(wù)器部署反向代理系統(tǒng)。模擬網(wǎng)站后端使用一個(gè)可以隨著用戶并發(fā)請(qǐng)求數(shù)的增多而響應(yīng)時(shí)間越來越長(zhǎng)的程序來模擬，并部署到一臺(tái)服務(wù)器上。

圖7 仿真實(shí)驗(yàn)示意圖

為了證明反向代理系統(tǒng)對(duì)提升網(wǎng)站服務(wù)器效率的有效性，設(shè)計(jì)了不同請(qǐng)求數(shù)同時(shí)訪問網(wǎng)站服務(wù)器的模擬實(shí)驗(yàn)，即令測(cè)試端同時(shí)向模擬網(wǎng)站后端發(fā)出x 個(gè)請(qǐng)求，通過比較經(jīng)過反向代理進(jìn)行排隊(duì)（實(shí)驗(yàn)組）和未經(jīng)過反向代理直接訪問（對(duì)照組）完成相同數(shù)量的請(qǐng)求Q 所需的總時(shí)間y 來表明反向代理系統(tǒng)對(duì)提升網(wǎng)站服務(wù)器的效率是有效的，并通過比較用戶平均逗留時(shí)間來表明按用戶會(huì)話排隊(duì)的機(jī)制優(yōu)于直接排隊(duì)。其中，測(cè)試端并發(fā)請(qǐng)求數(shù)x={10,20,30,30L 500}，即初值為10、公差為10、最大值為500 的等差數(shù)列，總請(qǐng)求數(shù)Q=3000，另外設(shè)置反向代理系統(tǒng)處理池的初值A(chǔ)0=2，處理池大小的更新頻率為h=5s。

下面進(jìn)行兩組實(shí)驗(yàn)。

實(shí)驗(yàn)一

分別進(jìn)行經(jīng)過反向代理系統(tǒng)進(jìn)行排隊(duì)（實(shí)驗(yàn)組）的壓力實(shí)驗(yàn)和未經(jīng)過反向代理系統(tǒng)直接訪問（對(duì)照組）的壓力實(shí)驗(yàn)。

圖8 為上述實(shí)驗(yàn)的結(jié)果。圖中橫坐標(biāo)為測(cè)試端的并發(fā)請(qǐng)求數(shù)χ，縱坐標(biāo)為完成所有3000 個(gè)請(qǐng)求所用的總時(shí)長(zhǎng)y，單位為秒，折線上的每一個(gè)點(diǎn)即表示該并發(fā)請(qǐng)求數(shù)下完成所有請(qǐng)求所用的總時(shí)長(zhǎng)。圖中的兩條折線分別代表測(cè)試端未經(jīng)過反向代理系統(tǒng)對(duì)模擬網(wǎng)站后端進(jìn)行直接訪問（對(duì)照組）和經(jīng)過反向代理系統(tǒng)進(jìn)行排隊(duì)（實(shí)驗(yàn)組）時(shí)的實(shí)驗(yàn)結(jié)果。

圖8 完成所有請(qǐng)求所需時(shí)間對(duì)比圖

比較圖中的兩條曲線，可以看出在并發(fā)請(qǐng)求數(shù)較小的時(shí)候，不經(jīng)過反向代理系統(tǒng)直接訪問模擬網(wǎng)站后端完成所有請(qǐng)求所用的時(shí)間較短、效率較高，但是隨著用戶并發(fā)量χ 的增加，不經(jīng)過反向代理系統(tǒng)的模擬網(wǎng)站后端完成所有請(qǐng)求所用的時(shí)間迅速上升，而經(jīng)過反向代理系統(tǒng)的模擬網(wǎng)站后端完成所有請(qǐng)求所用的時(shí)間穩(wěn)定在一定范圍內(nèi)。

仿真實(shí)驗(yàn)一的結(jié)果證明本方法能通過減少后端壓力，有效的提升后端響應(yīng)速度，來實(shí)現(xiàn)服務(wù)器效率的提升，符合預(yù)期效果。

實(shí)驗(yàn)二

實(shí)驗(yàn)二對(duì)比用戶平均逗留時(shí)間，分別進(jìn)行按用戶會(huì)話排隊(duì)（實(shí)驗(yàn)組）的壓力實(shí)驗(yàn)和直接排隊(duì)（對(duì)照組）的壓力實(shí)驗(yàn)。

圖9 為用戶平均逗留時(shí)間對(duì)比實(shí)驗(yàn)圖。圖中橫坐標(biāo)為測(cè)試端的并發(fā)請(qǐng)求數(shù)，縱坐標(biāo)為用戶平均逗留時(shí)間，每一個(gè)柱狀圖的高度即表示該并發(fā)請(qǐng)求數(shù)下用戶的平均逗留時(shí)間。圖中灰色的柱狀代表直接排隊(duì)（對(duì)照組）的實(shí)驗(yàn)結(jié)果，黑色的柱狀代表按用戶會(huì)話排隊(duì)（實(shí)驗(yàn)組）的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)圖選取有代表性同時(shí)也是本課題高并發(fā)場(chǎng)景下的并發(fā)請(qǐng)求數(shù)為300 至500的區(qū)間。

圖9 用戶平均逗留時(shí)間對(duì)比實(shí)驗(yàn)圖

比較圖中的兩個(gè)顏色的柱狀，可以看出在并發(fā)請(qǐng)求數(shù)相對(duì)較小即并發(fā)請(qǐng)求數(shù)小于380 時(shí)，按用戶會(huì)話進(jìn)行排隊(duì)的用戶平均逗留時(shí)間略小于直接排隊(duì)的用戶平均逗留時(shí)間。當(dāng)并發(fā)請(qǐng)求數(shù)在390以上時(shí)，按用戶會(huì)話進(jìn)行排隊(duì)的用戶平均逗留時(shí)間明顯小于直接排隊(duì)的用戶平均逗留時(shí)間。并發(fā)請(qǐng)求數(shù)為400 至500區(qū)間時(shí)，按用戶會(huì)話排隊(duì)的用戶平均逗留時(shí)間的平均值比直接排隊(duì)的用戶平均逗留時(shí)間小24%。

仿真實(shí)驗(yàn)二的結(jié)果證明本方法通過處理池的方式調(diào)節(jié)用戶請(qǐng)求的處理優(yōu)先級(jí)，按用戶會(huì)話進(jìn)行排隊(duì)，可以使得用戶的平均逗留時(shí)間降低，符合預(yù)期效果。

針對(duì)有偶發(fā)性高并發(fā)的小型Web應(yīng)用系統(tǒng)如高校常見的選課系統(tǒng)在短時(shí)間內(nèi)大量用戶訪問網(wǎng)站服務(wù)器，導(dǎo)致服務(wù)響應(yīng)慢甚至宕機(jī)的問題，本文構(gòu)造了一種基于反向代理的短時(shí)高并發(fā)網(wǎng)站的并發(fā)控制方法。該方法對(duì)用戶會(huì)話進(jìn)行排隊(duì)，并通過讀取網(wǎng)站服務(wù)器的平均響應(yīng)時(shí)間，動(dòng)態(tài)調(diào)整用戶會(huì)話的排隊(duì)策略，使得后端網(wǎng)站的平均響應(yīng)時(shí)間最小。

仿真實(shí)驗(yàn)結(jié)果表明，此方法可以通過減小后端壓力，有效地提升后端響應(yīng)速度，以實(shí)現(xiàn)整體處理效率的提升，并且可以降低用戶的平均逗留時(shí)間，達(dá)到預(yù)期效果。