王良清

（浙江省測繪資料檔案館，浙江杭州 310012）

一、引 言

浙江省地理空間數(shù)據(jù)交換和共享平臺（以下簡稱“省交換平臺”）已于2011年底投入試運行。其包括政務(wù)版和公眾版2個互相邏輯隔離的系統(tǒng)，到2012年底已交換、整合、發(fā)布了涉及36個廳局的專題數(shù)據(jù)，并形成了900多個服務(wù)圖層，服務(wù)數(shù)據(jù)總量超過13 TB。此類平臺具有數(shù)據(jù)量大、現(xiàn)勢性強、數(shù)據(jù)交換和共享部門多、多源空間數(shù)據(jù)整合處理復(fù)雜、要求具備高服務(wù)質(zhì)量等特點。

捷克學者在研究中表明，網(wǎng)絡(luò)地圖服務(wù)（WMS）的服務(wù)質(zhì)量通常包括用戶請求等待時間、并發(fā)性、可用性和可操作性等關(guān)鍵指標，任何服務(wù)中斷或關(guān)鍵數(shù)據(jù)丟失都會造成直接經(jīng)濟損失或信譽損害［1］，因而地理信息服務(wù)系統(tǒng)必然存在高可用性（high availability）和負載均衡（load balancing）等技術(shù)需求?；谟嬎銠C集群技術(shù)，省交換平臺設(shè)計和部署了鏈路負載均衡、服務(wù)器高可用集群和負載均衡集群等運行支持環(huán)境，以確保系統(tǒng)提供7×24 h不間斷服務(wù)的質(zhì)量（QoS）。

二、集群和負載均衡技術(shù)

計算機集群是一組互聯(lián)的、能夠高度緊密協(xié)同工作的計算機。在某種意義上，它們可以被看做是一臺計算機［2］。計算機集群按功能和結(jié)構(gòu)可分成高可用性集群、負載均衡集群、高性能計算（HPC）集群（一般用于科學計算）和網(wǎng)格計算4類［2-3］。省交換平臺采用前兩類，一是高可用性集群，即通過集成硬件和軟件的容錯性來實現(xiàn)整體服務(wù)的高可用，如果集群中某個節(jié)點發(fā)生了故障，則其將由另外節(jié)點代替；二是負載均衡集群，一般通過負載均衡器將業(yè)務(wù)的負載流量盡可能平均合理地分攤到集群各個節(jié)點。一般這兩種集群會使用類似的技術(shù)，或同時具有高可用性與負載均衡的特點。

負載均衡是服務(wù)器集群的關(guān)鍵技術(shù)，其根據(jù)一定算法，把客戶端請求自動分配給不同服務(wù)器，均衡服務(wù)器負載，以保證系統(tǒng)性能最優(yōu)，并實現(xiàn)故障自動切換和失敗轉(zhuǎn)移［4］。負載均衡集群除具有高性能、高可用的優(yōu)點之外，還便于橫向擴展（scaleout），即在線增加節(jié)點而無需停止服務(wù)；而且具有對用戶的透明性，客戶端只需與一個強大的虛擬服務(wù)器交互，用戶覺察不到部分服務(wù)器切入或切出的變化。負載均衡技術(shù)通常采用專門軟件或硬件來實現(xiàn)。省交換平臺同時采用F5負載均衡器和Oracle RAC軟件兩種方式。

三、系統(tǒng)架構(gòu)

GIS數(shù)據(jù)中心一般需要兩種以上的網(wǎng)絡(luò)環(huán)境。省交換平臺兩種網(wǎng)絡(luò)環(huán)境互相邏輯隔離，政務(wù)版以省電子政務(wù)外網(wǎng)（MPLS VPN2）為主，公眾版以因特網(wǎng)為主，如圖1所示。為滿足兩種系統(tǒng)網(wǎng)絡(luò)服務(wù)的高可用性需求，省交換平臺按照先進、成熟、實用原則，基于集群和負載均衡技術(shù)，配置了網(wǎng)絡(luò)接入、負載均衡、服務(wù)器集群、存儲備份、數(shù)據(jù)庫管理和信息安全等100余臺套IT設(shè)備。

圖1 GIS數(shù)據(jù)中心集群系統(tǒng)架構(gòu)圖

1.多鏈路負載均衡

由圖1可知，1臺F5位于因特網(wǎng)出口，它帶有鏈路控制器（LC），能實現(xiàn)多個ISP鏈路接入的負載均衡。這臺F5通過LC的DNS解析功能給不同用戶返回不同的DNS解析結(jié)果，這樣就可根據(jù)一定的策略使電信/聯(lián)通的不同用戶從不同ISP線路訪問站點。兩條100 Mbps的光纖鏈路和公眾服務(wù)專網(wǎng)（MPLS VPN1）鏈路，構(gòu)建了多鏈路負載均衡，保障了在線服務(wù)和用戶訪問鏈路暢通穩(wěn)定，滿足了公眾用戶情況、峰值并發(fā)用戶數(shù)及數(shù)據(jù)量等方面的實際需求。

2.高可用服務(wù)器集群

可用性是一個計算機系統(tǒng)可以使用時間的比率，目前計算機業(yè)界普遍接受用平均故障間隔時間（MTBF）和平均修復(fù)時間（MTTR）作為評價可用性的度量標準［5］。GIS數(shù)據(jù)中心可將多臺服務(wù)器和光纖存域網(wǎng)（FC SAN）通過網(wǎng)絡(luò)互聯(lián)組成多個服務(wù)器集群。省交換平臺高可用集群包括Oracle RAC和VMware HA，其最高可用水平可超過99.5%。

（1）Oracle RAC

為了應(yīng)對空間數(shù)據(jù)量大、政府部門在線應(yīng)用多和公眾用戶訪問強度高等情況，可通過部署Oracle RAC構(gòu)建高可用集群，并集中管理矢量數(shù)據(jù)。Oracle RAC高可用性的技術(shù)基礎(chǔ)是故障轉(zhuǎn)移（Failover），即集群中任何一個節(jié)點的故障都不會影響用戶使用，連接到故障節(jié)點的用戶會被自動轉(zhuǎn)移到健康節(jié)點，而用戶感覺不到這種切換［5］。這就是RAC采用的透明應(yīng)用故障轉(zhuǎn)移（TAF）技術(shù)。

省交換平臺設(shè)計與部署了政務(wù)版和公眾版兩套矢量數(shù)據(jù)庫服務(wù)器集群（Oracle RAC），RAC節(jié)點數(shù)均為4。

（2）VMware HA

VMware HA是VMware在企業(yè)應(yīng)用環(huán)境中用來保障企業(yè)級應(yīng)用的不間斷運行需求所產(chǎn)生的一個組件。HA允許一個集群在資源許可的情況下，將出現(xiàn)故障的ESXi主機上面的虛擬機VM轉(zhuǎn)移到其他的主機上啟動運行。省交換平臺政務(wù)版和公眾版各利用兩臺刀片機（CPU 4×8核，內(nèi)存128 GB）構(gòu)建自己的VMware高可用集群環(huán)境，部署包括主備域控、網(wǎng)管、殺毒、地圖審核、密鑰管理、數(shù)據(jù)入庫、測試或臨時使用等數(shù)十個VM，并按各自需求分配CPU和內(nèi)存等相應(yīng)資源。VMware HA有力保障了這些VM的可用性。

3.負載均衡服務(wù)器集群

服務(wù)器負載均衡是利用負載在兩個或多個服務(wù)器間進行分發(fā)的技術(shù)獲得優(yōu)化的資源利用、最優(yōu)吞吐量、最小反應(yīng)時間，避免過載［6］。在省交換平臺負載均衡集群內(nèi)，每臺服務(wù)器都提供相同或相似的地理信息服務(wù)，位于服務(wù)器集群前端的1臺負載均衡器（F5 LTM），負責根據(jù)均衡策略將用戶請求在服務(wù)器集群中分發(fā)，為用戶提供高效的并行服務(wù)，并對服務(wù)器可用性進行維護。

F5負載均衡集群包括以下元素:① 虛擬服務(wù)器（VS），偵聽并管理流量，負責分發(fā)各種服務(wù)請求到服務(wù)器池中的成員；② VIP，即VS對外提供的虛擬IP地址；③ 服務(wù)器池及其成員，VS可擁有多個服務(wù)器池，而每個服務(wù)器池可擁有由IP地址及其端口號構(gòu)成的多個成員，各成員負責響應(yīng)和處理各種服務(wù)請求；④節(jié)點，僅指IP地址。

F5 LTM包含靜態(tài)（如輪詢、比率）和動態(tài)負載均衡方法，包括動態(tài)速率、最少連接和觀察模式的動態(tài)平衡，這些方法用于以整體方式跟蹤服務(wù)器的動態(tài)性能。省交換平臺負載均衡集群目前主要采用最少連接算法。

（1）Web應(yīng)用服務(wù)器集群

省級GIS數(shù)據(jù)中心需要為影像（瓦片）服務(wù)、矢量服務(wù)和門戶服務(wù)等提供Web應(yīng)用服務(wù)器集群。集群內(nèi)的各個節(jié)點軟硬件配置基本相同，且運行相同或相似的應(yīng)用。省交換平臺Web應(yīng)用服務(wù)器集群由6臺服務(wù)器組成，每臺服務(wù)器裝有WebLogic、ArcGIS Server、門戶（KBPortal）和OGC服務(wù)等。政務(wù)版現(xiàn)只需提供6個服務(wù)端口，故在F5 LTM上建立了6個相應(yīng)的虛擬服務(wù)器；而另一臺F5上建立的30個虛擬服務(wù)器滿足了公眾版現(xiàn)有3條服務(wù)鏈路各10個服務(wù)端口的需求。

政務(wù)和公眾環(huán)境各配置1臺F5 LTM。政務(wù)版應(yīng)用服務(wù)器集群的所有服務(wù)器連接到核心交換機，當接收到一個服務(wù)請求時，F(xiàn)5 LTM根據(jù)策略決定最優(yōu)的服務(wù)器池成員并予以響應(yīng)。請求的結(jié)果從選定的服務(wù)器池成員返回到F5，并經(jīng)由VIP地址轉(zhuǎn)發(fā)出去。

①負載均衡策略

F5可對流量和內(nèi)容進行有效的管理和分配，其提供了12種靈活算法將數(shù)據(jù)流有效轉(zhuǎn)發(fā)到所連服務(wù)器集群，用戶只需登錄到1臺虛擬服務(wù)器，數(shù)據(jù)流即被F5靈活均衡地分配到服務(wù)器集群中。筆者主要采用最少連接算法，即將請求發(fā)給集群中當時連接數(shù)最少的服務(wù)器，當其中某個服務(wù)器發(fā)生故障時，F(xiàn)5就將其從隊列中剔除，不參加下一次比較，直至恢復(fù)正常。由于平臺身份驗證系統(tǒng)需要客戶端和驗證服務(wù)器之間進行多次交互，因此必須將用戶請求持續(xù)分發(fā)到同一個服務(wù)器進行驗證才可完成，這就要啟用F5基于源地址的會話保持功能。若無需會話保持，對于服務(wù)器配置相似的負載均衡系統(tǒng)，輪詢是調(diào)度算法的首選。

②應(yīng)用狀態(tài)監(jiān)控方法

F5 LTM提供了先進的監(jiān)視器用于檢查設(shè)備、應(yīng)用和內(nèi)容的可用性，包括適合多種應(yīng)用的專用監(jiān)視器（如多種應(yīng)用服務(wù)器、SQL、LDAP等），以及用于檢查內(nèi)容和模擬應(yīng)用調(diào)用的定制監(jiān)視器［7］。F5 LTM可以主動檢測和響應(yīng)任何服務(wù)器或應(yīng)用錯誤。常用的健康監(jiān)視器有地址（ICMP）、服務(wù)（TCP）、內(nèi)容（HTTP）和交互（FTP）等檢查類型。一般設(shè)檢查時間間隔t=5 s，超時timeout則為3t+1=16 s，即若連續(xù)4次檢查均未獲得期望的響應(yīng)，才將池成員或節(jié)點標記為故障。

（2）數(shù)據(jù)庫服務(wù)器集群

數(shù)據(jù)庫服務(wù)器集群與Web應(yīng)用服務(wù)器集群不可共享同一負載均衡設(shè)備，因此形成兩個層次的負載均衡配置。省交換平臺直接使用Oracle RAC軟件自身的負載均衡功能，不必再配置相關(guān)硬件。

Oracle RAC采用連接均衡和服務(wù)均衡相結(jié)合的方法［5］。連接均衡指在RAC內(nèi)服務(wù)器實例運行過程中，后臺進程PMON會定時收集系統(tǒng)的負載信息，然后登記到監(jiān)聽進程（Listener）中。RAC內(nèi)每個節(jié)點的Listener都掌握所有節(jié)點的負載狀態(tài)，當收到客戶的連接請求時，Listener會將連接轉(zhuǎn)給負載最小的節(jié)點，這類似于動態(tài)調(diào)度最小連接算法。服務(wù)均衡指在RAC內(nèi)，通過將應(yīng)用按照功能模塊進行服務(wù)（Service）劃分，并將每個Service固定在某些RAC節(jié)點上，以減少節(jié)點實例間的Cache Fusion（緩存融合）數(shù)據(jù)同步。作為空間數(shù)據(jù)庫的 Oracle RAC，Cache Fusion 的同步數(shù)據(jù)量較大［8］。

四、性能壓力測試

省級地理信息服務(wù)質(zhì)量的兩項重要指標為:①用戶請求平均等待時間在1 s內(nèi)，互操作和信息加載服務(wù)平均等待時間不超過5 s；② 支持峰值并發(fā)用戶數(shù)1000。筆者據(jù)此對省交換平臺性能進行了壓力測試。

1.測試場景

主要針對政務(wù)版提供的WMTS、WFS、WFS-G和WMS 4種OGC標準服務(wù)，利用LoadRunner工具，指定屬于浙江區(qū)域內(nèi)省級數(shù)據(jù)的第15～17級圖層進行圖形瀏覽或拉框查詢，測試模擬客戶端數(shù)量1000時的加載時間。測試數(shù)據(jù)見表1。

表1 GIS服務(wù)性能壓力測試數(shù)據(jù)

2.測試結(jié)論

本次測試所針對的服務(wù)在測試過程中流程正常；模擬 1000并發(fā)用戶，未出現(xiàn)失敗，通過率100%；平均響應(yīng)時間在1 s以內(nèi)；服務(wù)器系統(tǒng)運行狀態(tài)良好。由于采用了服務(wù)器集群和負載均衡技術(shù)，省交換平臺較好地滿足了設(shè)計要求，否則很難達到高可用、高性能的指標。

五、結(jié)束語

按照省交換平臺總體目標，縱向?qū)崿F(xiàn)國家—省—市（縣）多級地理空間數(shù)據(jù)的互聯(lián)互通，橫向可實現(xiàn)跨部門跨行業(yè)的地理信息資源融合共享。隨著這種交換共享體系的不斷擴大和深入建設(shè)，系統(tǒng)運行風險將隨之增加，效率、安全和高可用性將成為保障系統(tǒng)運行的重要因素。作為全省空間數(shù)據(jù)基礎(chǔ)設(shè)施的中心節(jié)點，本平臺采用服務(wù)器集群和負載均衡技術(shù)，提供了一種擴展服務(wù)器帶寬和增加服務(wù)器吞吐量的廉價有效方法，增強了系統(tǒng)處理能力，避免了單點故障，保證了系統(tǒng)的安全、高效運行和未來橫向擴展，也為后續(xù)同類系統(tǒng)建設(shè)提供了借鑒經(jīng)驗。

［1］ JIRI H，JIRI A，BRONISLAVA H.Testing of Web Map Services［N］.Article under Review for the International Journal of Spatial Data Infrastructures Research.Special Issue GSDI-11，submitted，2009-03-26.

［2］ 維基百科.計算機集群［EB/OL］.［2012-10-10］.http:∥en.wikipedia.org/wiki/Computer_cluster.

［3］ 周洪波.云計算技術(shù)、應(yīng)用、標準和商業(yè)模式［M］.北京:電子工業(yè)出版社，2011:126.

［4］ 宋興彬，許紅果.集群和負載均衡技術(shù)在省級數(shù)據(jù)集中的應(yīng)用研究［J］.計算機工程與設(shè)計，2008，29（1）:92-94.

［5］ 張曉明.大話Oracle RAC集群高可用性備份與恢復(fù)［M］.北京:人民郵電出版社，2009:203-242.

［6］ 維基百科.負載均衡［EB/OL］.［2012-10-15］.http:∥en.wikipedia.org/wiki/Server_Load_Balancing.

［7］ F5 Networks Inc.F5 BIG-IP LTM本地流量管理器產(chǎn)品資料［EB/OL］.［2012-10-20］.http:∥ www.f5.com.cn.

［8］ 翟永，楊曦.地理信息服務(wù)網(wǎng)站服務(wù)器集群負載均衡技術(shù)應(yīng)用研究［J］.地理信息世界，2010，8（6）:20.