劉 炎，李曉明

(浙江理工大學(xué) 機(jī)械與自動控制學(xué)院，浙江 杭州 310018)

杭州市公共自行車系統(tǒng)是目前世界上最大的公共自行車系統(tǒng)[1]，截止2014年6月底共有服務(wù)點3 111個，自行車7.8萬輛，日均租用量28.8人次，最高日租量達(dá)41.14萬人次.在現(xiàn)有系統(tǒng)中，所有的站點終端數(shù)據(jù)只能通過一臺服務(wù)器實現(xiàn)存儲和訪問，當(dāng)短時間內(nèi)數(shù)據(jù)存取量較大時，該服務(wù)器程序響應(yīng)時間較長，交易數(shù)據(jù)延遲量較大，在一定程度上影響了用戶的使用體驗；另外，系統(tǒng)中所有數(shù)據(jù)均通過一臺服務(wù)器與數(shù)據(jù)庫交互，該服務(wù)器一旦發(fā)生故障，就會造成整個系統(tǒng)無法正常運(yùn)行，因此必須改變這種單一節(jié)點服務(wù)的現(xiàn)狀.為了解決公共自行車系統(tǒng)在數(shù)據(jù)存儲方面存在的瓶頸問題，本文設(shè)計了一種面向公共自行車業(yè)務(wù)的數(shù)據(jù)分流和存儲系統(tǒng).新的存儲服務(wù)器架構(gòu)分為分流(負(fù)載分配)服務(wù)器和區(qū)域服務(wù)器兩大部分.其中分流服務(wù)器數(shù)量為一，用于接收系統(tǒng)中所有自行車站點的數(shù)據(jù)包裹，同時監(jiān)測區(qū)域服務(wù)器的負(fù)載情況并實現(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)；區(qū)域服務(wù)器可按照系統(tǒng)區(qū)域劃分為多臺，用于接收分流節(jié)點轉(zhuǎn)發(fā)來的數(shù)據(jù)并將數(shù)據(jù)寫入后臺數(shù)據(jù)庫中.

目前，負(fù)載計算方法已經(jīng)成熟，比較簡單的方法是根據(jù)計算機(jī)的CPU使用率和內(nèi)存使用率等情況對服務(wù)器的負(fù)載進(jìn)行分析[2]；也可以根據(jù)服務(wù)器處理的請求數(shù)據(jù)量進(jìn)行負(fù)載能力計算.通常情況下，服務(wù)器處理請求的數(shù)量是一個比較準(zhǔn)確的負(fù)載估算值，而并發(fā)的網(wǎng)絡(luò)連接數(shù)是服務(wù)器服務(wù)能力的一個制約因素[3].在配置相同的情況下，單位時間內(nèi)處理請求數(shù)目多的服務(wù)器負(fù)載更高.考慮到公共自行車系統(tǒng)需要根據(jù)請求的區(qū)域來源和服務(wù)器的負(fù)載狀態(tài)進(jìn)行綜合分析，本文提出了一種區(qū)域負(fù)載均衡算法.

1 數(shù)據(jù)分流與存儲系統(tǒng)

公共自行車系統(tǒng)中的數(shù)據(jù)存儲系統(tǒng)主要包括數(shù)據(jù)的接收和存儲兩部分.在傳統(tǒng)的單服務(wù)器結(jié)構(gòu)中，存儲服務(wù)器直接接收自行車站點終端的數(shù)據(jù)并將數(shù)據(jù)存入數(shù)據(jù)庫中.傳統(tǒng)的單服務(wù)器結(jié)構(gòu)如圖1所示.

圖1 單服務(wù)器結(jié)構(gòu)

1.1 系統(tǒng)需求

為了解決傳統(tǒng)公共自行車系統(tǒng)單服務(wù)器結(jié)構(gòu)的數(shù)據(jù)存儲瓶頸問題，新系統(tǒng)應(yīng)滿足短時間內(nèi)大量數(shù)據(jù)的存儲需求.由公共自行車業(yè)務(wù)特點所決定，公共自行車系統(tǒng)的數(shù)據(jù)流量具有很強(qiáng)的時段性，受時間、事件、天氣條件的影響較大，每天早、晚時段的數(shù)據(jù)量較大，借還車、押金操作等數(shù)據(jù)集中上傳，會給服務(wù)器帶來較大的壓力.因此，數(shù)據(jù)分流和存儲系統(tǒng)應(yīng)當(dāng)適應(yīng)這種處理數(shù)據(jù)的壓力.這是其一.

其次，新系統(tǒng)需要具有靈活、動態(tài)分配服務(wù)器處理和存儲數(shù)據(jù)的能力.區(qū)域服務(wù)器的劃分通常是依據(jù)站點地理區(qū)劃進(jìn)行的，以便于布置.但是由于公共自行車數(shù)據(jù)有較為鮮明的區(qū)域特點，按地理區(qū)劃設(shè)置區(qū)域服務(wù)器會造成某一區(qū)域的服務(wù)器負(fù)載較大而其他區(qū)域服務(wù)器較為空閑的局面.因此，新系統(tǒng)的數(shù)據(jù)存儲和分流管理系統(tǒng)應(yīng)能夠動態(tài)均衡各個區(qū)域服務(wù)器的壓力，使數(shù)據(jù)流量在不同區(qū)域服務(wù)器之間合理分配.

其三，新的區(qū)域分流和存儲系統(tǒng)需要兼容原有數(shù)據(jù)庫和前端設(shè)備，以便將部署的成本減到最低.

1.2 系統(tǒng)結(jié)構(gòu)

根據(jù)新系統(tǒng)的基本需求，本文設(shè)計了圖2所示的分流服務(wù)器和區(qū)域服務(wù)器結(jié)構(gòu).

圖2 分流服務(wù)器和區(qū)域服務(wù)器結(jié)構(gòu)

與傳統(tǒng)系統(tǒng)相比，新系統(tǒng)設(shè)置了區(qū)域服務(wù)器和分流服務(wù)器.這樣做的優(yōu)點在于：①安全性更強(qiáng)(將原有單一的服務(wù)器數(shù)據(jù)處理模式改成了多臺服務(wù)器并行處理，通過服務(wù)器冗余，避免了服務(wù)器故障造成系統(tǒng)停止服務(wù)的風(fēng)險)；②速度更快(并行處理數(shù)據(jù)請求的優(yōu)勢就在于處理能力成倍增長，在相同數(shù)據(jù)庫性能之下，系統(tǒng)能夠處理的終端請求量大大增加)；③更柔性(增加區(qū)域服務(wù)器的數(shù)量就可以增加系統(tǒng)的服務(wù)能力，隨著業(yè)務(wù)量的不斷增大，可采用漸進(jìn)升級服務(wù)器的方式滿足更高的性能要求.

該系統(tǒng)對分流服務(wù)器提出了更高的要求.因為所有的數(shù)據(jù)均需要通過分流服務(wù)器轉(zhuǎn)發(fā)到對應(yīng)的區(qū)域服務(wù)器，所以分流服務(wù)器性能的好壞會直接影響整個公共自行車系統(tǒng)的運(yùn)行.

1.3 軟件設(shè)計

區(qū)域服務(wù)器和分流服務(wù)器采用云計算虛擬機(jī)方式，可根據(jù)需要給不同的服務(wù)器分配不同的計算資源，靈活性非常強(qiáng).

在圖3所示的存儲系統(tǒng)功能模型中，將區(qū)域服務(wù)器劃分為3個功能模塊，分別為請求處理模塊、數(shù)據(jù)存取模塊和負(fù)載計算模塊.同時將分流服務(wù)器劃分為4個功能模塊，分別為請求響應(yīng)模塊、服務(wù)器節(jié)點隊列模塊、選擇器模塊和請求分配器模塊.

圖3 存儲系統(tǒng)功能模型

1.3.1 分流服務(wù)器功能模塊

(1)請求響應(yīng)模塊：該模塊監(jiān)聽網(wǎng)絡(luò)端口，響應(yīng)終端設(shè)備發(fā)送的各種數(shù)據(jù)請求，并與終端建立連接.該模塊并不處理終端的請求，而是根據(jù)選擇器模塊的輸出將該請求傳遞給請求分配器.此外，該模塊會將不符合要求的請求或者非法連接剔除.

(2)服務(wù)器節(jié)點負(fù)載隊列模塊：該模塊與服務(wù)器節(jié)點進(jìn)行通信，以維護(hù)一個隊列數(shù)據(jù)結(jié)構(gòu).該數(shù)據(jù)結(jié)構(gòu)能夠描述各服務(wù)器節(jié)點的狀態(tài)及負(fù)載情況.

(3)選擇器模塊：該模塊根據(jù)預(yù)設(shè)規(guī)則動態(tài)地決定負(fù)責(zé)處理請求的服務(wù)器ID.

(4)請求分配器模塊：該模塊將請求轉(zhuǎn)發(fā)給指定的服務(wù)器.

1.3.2 區(qū)域服務(wù)器功能模塊

(1)請求處理模塊：該模塊處理來自分流服務(wù)器或終端的請求，負(fù)責(zé)創(chuàng)建網(wǎng)絡(luò)連接和監(jiān)聽請求端口，并過濾掉不合法的請求.

(2)數(shù)據(jù)存取模塊：該模塊與數(shù)據(jù)庫系統(tǒng)交互，負(fù)責(zé)數(shù)據(jù)的讀取及寫入.

(3)負(fù)載計算模塊：該模塊主要計算服務(wù)器的負(fù)載情況.其計算的依據(jù)主要是服務(wù)器單位時間內(nèi)處理的請求數(shù)目以及數(shù)據(jù)庫存取的數(shù)據(jù)量.

1.3.3 終端請求的代理交接模式

對于來自終端的請求，分流服務(wù)器和區(qū)域服務(wù)器一般有兩種交接方式(跳轉(zhuǎn)式和代理式)，本系統(tǒng)采用代理式服務(wù)方案.首先，終端設(shè)備向分流服務(wù)器發(fā)送請求，分流服務(wù)器受理后會維持連接，并將該請求內(nèi)容轉(zhuǎn)發(fā)給區(qū)域服務(wù)器.區(qū)域服務(wù)器對請求處理后將結(jié)果反饋給分流服務(wù)器，然后分流服務(wù)器將結(jié)果傳給前端設(shè)備.在該方案中，分流服務(wù)器的一部分功能充當(dāng)了代理的功能，終端無需做任何改動，只需要等待請求的結(jié)果就可以完成一次訪問.這在網(wǎng)絡(luò)質(zhì)量不高的情況下能夠提高終端設(shè)備存取數(shù)據(jù)的速度.其缺點在于整個服務(wù)過程中分流服務(wù)器都要保持與終端設(shè)備的連接，在一定程度上會限制分流服務(wù)器的響應(yīng)能力.當(dāng)然，由于分流服務(wù)器不處理數(shù)據(jù)也不與數(shù)據(jù)庫交互，僅需要維持連接，因此可以采取低CPU配置和高內(nèi)存分配的策略來彌補(bǔ)大網(wǎng)絡(luò)連接的網(wǎng)絡(luò)延遲.

2 區(qū)域負(fù)載均衡技術(shù)

負(fù)載均衡技術(shù)指以對稱的方式在系統(tǒng)中部署多臺服務(wù)器，每臺服務(wù)器都具有相同的狀態(tài)和能力，并且可以獨立地向外部提供服務(wù)而不需要其他服務(wù)器的支撐[4].使用負(fù)載均衡技術(shù)，將前端發(fā)送來的請求按照某種策略分配給系統(tǒng)中的一臺服務(wù)器，接收請求的服務(wù)器執(zhí)行處理流程并給予響應(yīng).它通過服務(wù)器陣列高效地分配前端請求，以最少的資源實現(xiàn)了大型機(jī)的性能，是高效處理關(guān)鍵數(shù)據(jù)的有效手段[5].

2.1 負(fù)載計算模型

為了確保算法的有效性和準(zhǔn)確性，系統(tǒng)需要實時監(jiān)控存儲服務(wù)器的任務(wù)隊列以及數(shù)據(jù)庫連接池的使用情況，并根據(jù)服務(wù)器中任務(wù)隊列的數(shù)據(jù)量以及數(shù)據(jù)庫連接池的使用率來判斷該服務(wù)器的負(fù)載狀況.

用i表示存儲服務(wù)器系統(tǒng)中區(qū)域服務(wù)器的第i臺服務(wù)器，Nr、Nmax和P分別表示區(qū)域服務(wù)器當(dāng)前連接數(shù)、總連接數(shù)和數(shù)據(jù)庫連接池的使用率.那么，區(qū)域服務(wù)器的負(fù)載為：

B=αNr/Nmax+(1-α)P

(1)

式中，α為調(diào)節(jié)區(qū)域服務(wù)器中任務(wù)線程池和數(shù)據(jù)庫連接池使用率的權(quán)重.通常區(qū)域服務(wù)器會出現(xiàn)等待連接的情況，而數(shù)據(jù)庫連接池由于速度較快，常常處于等待狀態(tài)，所以α的值一般大于0.5，即優(yōu)先考慮服務(wù)器連接池的使用率.

2.2 數(shù)據(jù)分流模型

(2)

式中：t為數(shù)據(jù)包裹的編號；Tj為系統(tǒng)中第j臺服務(wù)站點；Bj為第j臺區(qū)域服務(wù)器的實時負(fù)載.

從式(2)可知，如果某個服務(wù)站點向存儲服務(wù)器發(fā)送連接請求，系統(tǒng)需要先判斷該站點屬于哪個區(qū)域服務(wù)器的管轄范圍.如果該區(qū)域服務(wù)器處于正常運(yùn)行狀態(tài)，沒有達(dá)到臨界負(fù)載，則選擇該區(qū)域服務(wù)器進(jìn)行連接處理；如果該區(qū)域服務(wù)器已經(jīng)飽和，負(fù)載能力已經(jīng)達(dá)到臨界值，則選擇剩下區(qū)域服務(wù)器中負(fù)載情況最為良好的一臺進(jìn)行連接轉(zhuǎn)發(fā).

3 實驗與測試

由于分流服務(wù)器的主要功能在于分流和轉(zhuǎn)發(fā)，幾乎不對數(shù)據(jù)做任何處理，因此分流服務(wù)器軟件在運(yùn)行時僅需要消耗較低的CPU資源，但是需要大量的網(wǎng)絡(luò)資源和文件描述符資源，而網(wǎng)絡(luò)資源和文件描述符資源均受限于操作系統(tǒng)的約束，存在上限.因此需要合理地選擇測試方案和測試系統(tǒng).該測試系統(tǒng)的結(jié)構(gòu)如圖4所示.它包括一臺測試服務(wù)器、多臺測試客戶機(jī)，并且它們被置于同一個局域網(wǎng)中[6-7].

圖4 測試系統(tǒng)結(jié)構(gòu)

測試客戶機(jī)上的測試程序模擬公共自行車站點工控機(jī)的功能，向安裝在測試服務(wù)器上的分流服務(wù)器軟件發(fā)起連接請求，建立網(wǎng)絡(luò)連接并傳送一定長度的數(shù)據(jù)，然后關(guān)閉網(wǎng)絡(luò)連接.

在模擬測試環(huán)境下，測試客戶機(jī)不可能太多，因此需要在一臺測試客戶機(jī)上模擬運(yùn)行多個站點的數(shù)據(jù)請求.在測試程序開發(fā)過程中使用了多線程技術(shù)，一個線程代表一臺站點機(jī)器.由于大部分操作系統(tǒng)將網(wǎng)絡(luò)連接的并發(fā)數(shù)限制為1 024，因此一臺測試客戶機(jī)上的測試程序在默認(rèn)條件下可創(chuàng)建1 000個虛擬站點(也可更改配置模擬更多站點).當(dāng)需要更多測試客戶機(jī)時可以動態(tài)地接入更多計算機(jī).

實驗中服務(wù)器通過WIFI與實驗室路由器連接，測試客戶機(jī)通過有線或無線的方式與同一路由器連接.測試用服務(wù)器配置為Intel Core i7-470HQ CPU @2.5 GHz，16 G內(nèi)存，64位Windows操作系統(tǒng).所選計算機(jī)和操作系統(tǒng)均為普通的桌面計算機(jī)和桌面操作系統(tǒng).存儲服務(wù)器程序采用Java編寫，在CMD(命令提示符)程序中運(yùn)行，并實時輸出過程數(shù)據(jù).

最終測試結(jié)果如圖5所示.從圖5可以看出，服務(wù)器在滿負(fù)荷情況下會出現(xiàn)少許連接失敗的情況.但在實際測試的過程中，服務(wù)器未到達(dá)滿負(fù)載的時候連接成功率是100%，只有在極端情況下才會出現(xiàn)丟包的現(xiàn)象.

圖5 測試結(jié)果截圖

表1所示為具體的測試結(jié)果.其中服務(wù)器平均每分鐘處理連接數(shù)為16 138，這一速率對于存儲服務(wù)來說已綽綽有余.目前杭州市的公共自行車系統(tǒng)大約有3 000多個站點，每個站點平均每5 min發(fā)起一次請求，此系統(tǒng)完全能夠勝任高峰期的數(shù)據(jù)存儲任務(wù).

表1 具體測試結(jié)果

4 結(jié)束語

本文提出的公共自行車數(shù)據(jù)分流和存儲系統(tǒng)，經(jīng)過需求調(diào)研、設(shè)計開發(fā)和實驗測試，最終證明可以有效緩解公共自行車系統(tǒng)在數(shù)據(jù)存儲方面的困難，實現(xiàn)了數(shù)據(jù)的分區(qū)轉(zhuǎn)發(fā)和動態(tài)存儲.下一階段將著重研究存儲系統(tǒng)的備份系統(tǒng)和異常處理系統(tǒng)，進(jìn)一步提高系統(tǒng)的安全性和實用性.

參考文獻(xiàn):

[1] Fishman E, Washington S, Haworth N,et al.Factors influencing bike share membership: An analysis of melbourne and brisbane[J]. Transportation Research Part A,2015,71:17-30.

[2] 周瑩蓮,劉 甫.服務(wù)器負(fù)載均衡技術(shù)研究[J].計算機(jī)與數(shù)字工程,2010,38(4):11-14.

[3] 李 坤,王百杰.服務(wù)器集群負(fù)載均衡技術(shù)研究及算法比較[J].計算機(jī)與現(xiàn)代化,2009(8):7-10.

[4] 田紹亮,左 明,吳紹偉.一種改進(jìn)的基于動態(tài)反饋的負(fù)載均衡算法[J].計算機(jī)工程與設(shè)計,2007,28(3):572-573.

[5] 龔 梅,王 鵬,吳 躍.一種集群系統(tǒng)的透明動態(tài)反饋負(fù)載均衡算法[J].計算機(jī)應(yīng)用,2007,27(11):2662-2665.

[6] 李志崢,楊社堂.基于B/S結(jié)構(gòu)下的軟件系統(tǒng)測試研究[J].科技情報開發(fā)與經(jīng)濟(jì),2006,16(7):232-234,251.

[7] 武海平,蔣東興,程志銳,等.Web服務(wù)器通用性能測試系統(tǒng)的設(shè)計與實現(xiàn)[J].小型微型計算機(jī)系統(tǒng),2003,24(2):188-190.