摘 要：文章通過企業(yè)信息系統(tǒng)的高可用性問題，提出了負載均衡技術(shù)解決思路。就負載均衡技術(shù)進行了探討，對軟件負載均衡與硬件負載均衡的功能、特點進行了對比分析。結(jié)合南車時代的企業(yè)應(yīng)用案例重點闡述了硬件負載均衡技術(shù)優(yōu)勢，為企業(yè)構(gòu)建高可靠性硬件負載均衡平臺提供了方法和設(shè)計思路。

關(guān)鍵詞：高可用性；高可靠性；負載均衡；平臺；冗余；方案設(shè)計

中圖分類號：TP393.06

在大型制造企業(yè)，信息系統(tǒng)已逐步應(yīng)用到企業(yè)的各個領(lǐng)域中，支撐著企業(yè)的日常生產(chǎn)、經(jīng)營、管理活動，隨著企業(yè)的發(fā)展對信息系統(tǒng)的處理能力、響應(yīng)速度、業(yè)務(wù)連續(xù)性及可用性也提出了更高的要求。單純地靠提高單個處理器的運算能力和處理能力正在變得越來越難，而采用新技術(shù)、新體系構(gòu)建高性能服務(wù)器，才是真正提高信息系統(tǒng)處理能力的有效途徑。對于一些關(guān)鍵的信息系統(tǒng)如PLM、SAP、Email、OA等應(yīng)用，如何確保業(yè)務(wù)7*24小時的可用性，保障業(yè)務(wù)的連續(xù)性是企業(yè)信息化建設(shè)過程中面臨的現(xiàn)實問題。負載均衡技術(shù)就是為了解決這一系列問題而產(chǎn)生的。

1 負載均衡技術(shù)探討

負載均衡（Load Balance）：建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，它提供了一種廉價、有效、透明的方法，來擴展網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、增加吞吐量、加強網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性。負載均衡具有兩方面的意義：首先，將大量的并發(fā)訪問或數(shù)據(jù)流量分擔(dān)到多臺節(jié)點設(shè)備上分別處理，減少用戶等待響應(yīng)的時間；其次，單個重負載的運算分擔(dān)到多臺節(jié)點設(shè)備上做并行處理，每個節(jié)點設(shè)備處理結(jié)束后，將結(jié)果匯總，返回給用戶，系統(tǒng)處理能力得到大幅度提高。它主要完成以下任務(wù)：

（1）解決網(wǎng)絡(luò)擁塞問題，服務(wù)就近提供，實現(xiàn)地理位置無關(guān)性；

（2）為用戶提供更好的訪問質(zhì)量；

（3）提高服務(wù)器響應(yīng)速度；

（4）提高服務(wù)器及其他資源的利用效率；

（5）避免了網(wǎng)絡(luò)關(guān)鍵部位出現(xiàn)單點失效。

目前實現(xiàn)負載均衡技術(shù)的方式有很多，概括起來主要為分兩大類：基于軟件方式的負載均衡和基于硬件方式的負載均衡。其中基于軟件負載均衡技術(shù)較典型的有“DNS負載均衡輪循”、“Windows群集技術(shù)”；基于硬件負載均衡技術(shù)由L4、7層智能交換機（負載均衡器）為代表。

2 軟件負載均衡

2.1 DNS負載均衡輪循

通過在DNS服務(wù)器中為同一個主機名配置多個IP地址，在應(yīng)答DNS查詢時，DNS服務(wù)器對每個查詢將以DNS文件中主機記錄的IP地址按順序返回不同的解析結(jié)果，將客戶端的訪問引導(dǎo)到不同的機器上去，使得不同的客戶端訪問不同的服務(wù)器，從而達到負載均衡的目的。

DNS負載均衡的優(yōu)點是經(jīng)濟簡單易行，并且服務(wù)器可以位于internet上任意的位置。但它也存在不少缺點：

（1）為了使本DNS服務(wù)器和其他DNS服務(wù)器及時交互，保證DNS數(shù)據(jù)及時更新，使地址能隨機分配，一般都要將DNS的刷新時間設(shè)置的較短，將會使DNS流量大增造成額外的網(wǎng)絡(luò)問題。

（2）一旦某個服務(wù)器出現(xiàn)故障，即使及時修改了DNS設(shè)置，還是要等待足夠的時間（刷新時間）才能發(fā)揮作用，在此期間，保存了故障服務(wù)器地址的客戶計算機將不能正常訪問服務(wù)器。

（3）DNS負載均衡采用的是簡單的輪循負載算法，不能區(qū)分服務(wù)器的差異，不能反映服務(wù)器的當(dāng)前運行狀態(tài)，不能做到為性能較好的服務(wù)器多分配請求，甚至?xí)霈F(xiàn)客戶請求集中在某一臺服務(wù)器上的情況。

2.2 Windows群集技術(shù)

Microsoft服務(wù)器Windows2003操作系統(tǒng)提供了三種支持群集的技術(shù)：網(wǎng)絡(luò)負載平衡（NLB）、組件負載平衡（CLB）和Microsoft群集服務(wù)（MSCS）。網(wǎng)絡(luò)負載平衡充當(dāng)前端群集，用于在整個服務(wù)器群集中分配傳入的IP流量，是為電子商務(wù)Web站點實現(xiàn)增量可伸縮性和出色可用性的理想選擇。組件負載平衡（CLB）通過作用于多層群集網(wǎng)絡(luò)的中間層與NLB和群集服務(wù)配合工作。群集服務(wù)充當(dāng)后端群集，可為數(shù)據(jù)庫、消息傳遞以及文件和打印服務(wù)等應(yīng)用程序提供高可用性。使用較廣泛的是網(wǎng)絡(luò)負載平衡（NLB）。但Windows NLB存在一些限制：

（1）Windows NLB無法檢測服務(wù)中斷。WNLB不會檢測服務(wù)中斷。WNLB只能按（服務(wù)器檢測節(jié)點服務(wù)中斷）IP地址檢測服務(wù)器中斷。這就是說，如果一個特定Web服務(wù)（如Outlook Web App）出現(xiàn)故障，但服務(wù)器仍在運行，則WNLB不會檢測到該故障，并且仍會將請求路由到該故障節(jié)點服務(wù)器。需要手動干預(yù)來從負載均衡池中刪除出現(xiàn)中斷的節(jié)點訪問服務(wù)器。此時路由到該故障節(jié)點服務(wù)器的訪問請求將無法正常訪問業(yè)務(wù)。

（2）Windows NLB配置可能會產(chǎn)生端口泛濫，從而導(dǎo)致網(wǎng)絡(luò)崩潰。因為Windows NLB被設(shè)計為同時將所有傳入客戶端數(shù)據(jù)包傳送到所有交換機端口。盡管這種行為可大大提高Windows NLB的吞吐量，但可能會導(dǎo)致交換機的占用率很高。

3 硬件負載均衡

相比軟件負載均衡而言，硬件負載均衡由獨立于服務(wù)器操作系統(tǒng)和外部網(wǎng)絡(luò)的硬件設(shè)備來實現(xiàn)，除了能夠支持常用的負載均衡功能以外，還提供更豐富的負載均衡算法，具備更靈活的部署方式，不依賴具體的操作系統(tǒng)，可提供更強的應(yīng)用功能，智能化的流量管理，可達到最佳的負載均衡需求。能適用于較廣泛的應(yīng)用場景。概括起來硬件負載均衡具備以下典型特點和功能：

支持服務(wù)器負載平衡：（具備HTTP優(yōu)化和加速特性：TCP連接復(fù)用（TCP Connection Reuse）TCP連接復(fù)用技術(shù)通過將前端多個客戶的HTTP請求復(fù)用到后端與服務(wù)器建立的一個TCP連接上。這種技術(shù)能夠大大減小服務(wù)器的性能負載，減少與服務(wù)器之間新建TCP連接所帶來的延時，并最大限度的降低客戶端對后端服務(wù)器的并發(fā)連接數(shù)請求，減少服務(wù)器的資源占用。

SSL加速功能：SSL是需要耗費大量CPU資源的一種安全技術(shù)。目前，大多數(shù)負載均衡設(shè)備均采用SSL加速芯片進行SSL信息的處理。這種方式比傳統(tǒng)的采用服務(wù)器的SSL加密方式提供更高的SSL處理性能，從而節(jié)省大量的服務(wù)器資源，使服務(wù)器能夠?qū)Ｗ⒂跇I(yè)務(wù)請求的處理。另外，采用集中的SSL處理，還能夠簡化對證書的管理，減少日常管理的工作量。

鏈路負載均衡：（支持Outbound鏈路負載和Inbound鏈路負載）能夠自動探測每條鏈路的工作狀況，把數(shù)據(jù)流引導(dǎo)到正常的鏈路上。多條互聯(lián)網(wǎng)鏈路并行工作，并互為備用，避免鏈路的單點故障帶來的任何問題。具有動態(tài)探測的功能，能夠探測數(shù)據(jù)流通過哪條鏈路進出快捷，提升用戶體驗。具有靈活的定制訪問策略的功能，滿足復(fù)雜的功能要求。

廣域網(wǎng)負載均衡（GSLB）：支持基于智能DNS和IP Anycast兩種方式的廣域網(wǎng)負載均衡：絕大部分使用負載均衡技術(shù)的應(yīng)用都通過域名來訪問目的主機，在用戶發(fā)出任何應(yīng)用連接請求時，首先必須通過DNS請求獲得服務(wù)器的IP地址，基于DNS的GSLB正是在返回DNS解析結(jié)果的過程中進行智能決策，給用戶返回一個最佳的服務(wù)IP。用戶應(yīng)用流程與沒有GSLB時未發(fā)生任何變化。

基于策略的負載均衡：（支持基于源地址/端口，目的地址/端口來控制用戶請求的分發(fā)，丟棄），使硬件負載均衡設(shè)備部署更靈活，可根據(jù)用戶的應(yīng)用需求，采用不同的策略來實現(xiàn)客戶端訪問應(yīng)用的負載均衡的轉(zhuǎn)發(fā)請求。使得硬件負載均衡能夠支持更多的應(yīng)用和場景。

負載均衡分發(fā)策略：（支持輪循，加權(quán)，最快響應(yīng)速度，最小連接數(shù)，url switch，host switch以及hash等各種負載均衡分配策略）。負載均衡分發(fā)策略的多樣性，有利于應(yīng)用的靈活部署，可滿足不同應(yīng)用平臺的業(yè)務(wù)需求。

高級健康檢查：基于服務(wù)（應(yīng)用層：7層）的建康狀態(tài)檢查。支持ICMP、TCP/UDP、HTTP內(nèi)容、FTP、Radius、HTTP響應(yīng)代碼、SNMP、腳本化等健康檢查方法。豐富的健康狀態(tài)檢查機制，是軟件負載均衡無法比擬的，當(dāng)負載均衡中的某個節(jié)點服務(wù)器提供的應(yīng)用層服務(wù)（如WEB服務(wù)）出現(xiàn)故障時，通過健康狀態(tài)檢測機制，即可檢測出來，并會將該節(jié)點服務(wù)器旁路，負載均衡設(shè)備會將客戶端的請求轉(zhuǎn)發(fā)給其它節(jié)點服務(wù)器處理。從而確保業(yè)務(wù)對外提供連續(xù)性應(yīng)用。

源地址和Cookie會話保持：支持基于源地址、目的地址、Cookie、URL、Hash或者用戶自定義等多種會話保持方式。使硬件負載均衡設(shè)備可部署在不同的應(yīng)用場景，支持特殊的應(yīng)用需求（如：電子商務(wù)平臺、網(wǎng)銀支付平臺等應(yīng)用），從而使應(yīng)用達到更優(yōu)化、合理的部署。

服務(wù)器過載保護：（可根據(jù)每臺服務(wù)器處理性能不同，分別設(shè)置每臺服務(wù)器的連接上限，一旦達到連接上線，負載均衡設(shè)備則將請求分配到其它服務(wù)器，實現(xiàn)每臺服務(wù)器的過載保護。）

硬件負載均衡設(shè)備具備冗余功能：HA支持Active-Standby，Active-Active和N+1 Active等功能（支持毫秒級切換，支持基于Vlan和Gateway的Failover機制。）

4 企業(yè)負載均衡應(yīng)用案例

結(jié)合筆者的實際工作經(jīng)驗，將重點介紹基于A10廠商的硬件負載均衡設(shè)備在南車時代的成功應(yīng)用案例。闡述如何構(gòu)建高可靠性企業(yè)級“應(yīng)用負載均衡平臺”。

4.1 應(yīng)用需求

為了滿足安全和業(yè)務(wù)需求，南車時代部署了兩套局域網(wǎng)，分別為內(nèi)部局域網(wǎng)（簡稱內(nèi)網(wǎng)）和外部局域網(wǎng)（簡稱外網(wǎng)），其中內(nèi)網(wǎng)用于內(nèi)部辦公、生產(chǎn)使用；外網(wǎng)用于對外聯(lián)系及提供互聯(lián)網(wǎng)業(yè)務(wù)。內(nèi)網(wǎng)的核心應(yīng)用系統(tǒng)有：PLM系統(tǒng)、電子郵件系統(tǒng)、提供有限的服務(wù)器補丁與病毒庫更新互聯(lián)網(wǎng)服務(wù)、OA、ITSM系統(tǒng)等；外網(wǎng)關(guān)鍵應(yīng)用系統(tǒng)有：電子郵件系統(tǒng)、TMG防火墻代理服務(wù)器應(yīng)用、終端訪問互聯(lián)網(wǎng)等應(yīng)用。

由于南車時代內(nèi)、外網(wǎng)采用網(wǎng)閘進行了隔離，為了滿足企業(yè)的應(yīng)用需求及業(yè)務(wù)發(fā)展，擬采用硬件負載均衡實現(xiàn)“應(yīng)用系統(tǒng)的高可靠和高可用”需求。結(jié)合南車時代局域網(wǎng)實際應(yīng)用場景，采用A10廠商支持應(yīng)用負載均衡虛擬化技術(shù)的AX2500設(shè)備來實現(xiàn)。負載均衡平臺需具備一定的冗余和可靠性。

4.2 負載均衡平臺可靠性設(shè)計

負載均衡平臺除了為應(yīng)用系統(tǒng)提供負載均衡及冗余解決方案以外，負載均衡硬件平臺自身的可靠性是關(guān)系到所有應(yīng)用系統(tǒng)高可用性的前提。因此內(nèi)網(wǎng)使用基于VRRP協(xié)議（虛擬路由器冗余協(xié)議）設(shè)計實現(xiàn)2臺AX2500硬件負均衡設(shè)備的熱備冗余。內(nèi)網(wǎng)采用VRRP協(xié)議把2臺AX2500硬件負均衡設(shè)備虛擬成一個虛擬路由器，將應(yīng)用系統(tǒng)的網(wǎng)關(guān)指向硬件負載均衡設(shè)備VRRP組定義的Floating IP（浮動IP），為應(yīng)用系統(tǒng)提供負載均衡服務(wù)。VRRP組設(shè)置兩臺AX觸發(fā)切換的閥值之差，如果大于30，則進行切換。如果當(dāng)前主AX2500硬件負載均衡設(shè)備的某個接口down掉或不可用，則優(yōu)先級自動減100，即可達到閥值觸發(fā)切換，將備用的AX2500硬件負載均衡設(shè)備自動激活接管服務(wù)，以保障負載均衡硬件平臺自身的可靠性。內(nèi)網(wǎng)硬件負載均衡冗余架構(gòu)如下圖所示：

圖1

由于內(nèi)外網(wǎng)隔離，內(nèi)網(wǎng)AX2500無法為外網(wǎng)AX2500實現(xiàn)熱備，考慮到成本的投入，設(shè)計在內(nèi)網(wǎng)兩臺AX2500上劃分獨立的分區(qū)配置外網(wǎng)AX2500的內(nèi)容以對其實現(xiàn)冷備。當(dāng)外網(wǎng)的AX2500出現(xiàn)問題，則將內(nèi)網(wǎng)的其中一臺AX2500移到外網(wǎng)（將外網(wǎng)硬件負載均衡設(shè)備的連線手工跳至內(nèi)網(wǎng)硬件負載均衡設(shè)備對應(yīng)接口），即可替換出現(xiàn)問題的外網(wǎng)AX2500接管外網(wǎng)負載均衡服務(wù)。外網(wǎng)硬件負載均衡架構(gòu)如下圖所示：

圖2

4.3 應(yīng)用負載均衡部署模式設(shè)計

應(yīng)用系統(tǒng)的負載均衡部署模式分為兩類：采用旁路模式部署和串接模式部署。旁路模式部署將硬件負載均衡設(shè)備使用旁路的方式部署在服務(wù)器網(wǎng)絡(luò)中，具備不改變原有系統(tǒng)的網(wǎng)絡(luò)架構(gòu)和系統(tǒng)架構(gòu)，不需要對應(yīng)用系統(tǒng)架構(gòu)進行大的變動和調(diào)整，即可實現(xiàn)負載均衡部署的一種模式。采用旁路模式部署的應(yīng)用負載均衡，需要將服務(wù)器的網(wǎng)關(guān)指向AX2500硬件負載均衡。如服務(wù)器網(wǎng)關(guān)不指向AX2500，則需要做源地址轉(zhuǎn)換。南車時代PLM系統(tǒng)、郵件、ITSM、OA等應(yīng)用系統(tǒng)采用了旁路模式部署應(yīng)用負載均衡。串接部署模式將硬件負載均衡設(shè)備使用串接的方式部署在網(wǎng)絡(luò)中，會改變原有系統(tǒng)的網(wǎng)絡(luò)架構(gòu)和系統(tǒng)架構(gòu)，需要重新部署應(yīng)用系統(tǒng)的網(wǎng)絡(luò)架構(gòu)。串接模式常用于防火墻或網(wǎng)絡(luò)系統(tǒng)的負載均衡部署，如TMG應(yīng)用防火墻系統(tǒng)的負載均衡則采用了串接模式部署。

4.4 負載均衡虛擬分區(qū)設(shè)計

為了充分利用硬件負載均衡資源，能夠為更多應(yīng)用系統(tǒng)提供負載均衡解決方案，硬件負載均衡平臺采用了虛擬化設(shè)計部署。

內(nèi)網(wǎng)負載均衡使用旁路模式部署的分區(qū)有3個虛擬分區(qū)，分別為：Appserver_pt、cas_pt和plmserver_pt分區(qū)。內(nèi)網(wǎng)負載均衡使用串接模式部署的分區(qū)為shared-pt分區(qū)。其中Appserver_pt分區(qū)包含郵件傳輸、ITSM、OA、PLM生產(chǎn)系統(tǒng)的負載均衡應(yīng)用，Cas_pt分區(qū)則包含郵件客戶端訪問角色服務(wù)器的負載均衡應(yīng)用，plmserver_pt分區(qū)部署plm準生產(chǎn)系統(tǒng)應(yīng)用負載均衡。shared-pt分區(qū)用于部署內(nèi)網(wǎng)TMG防火墻代理服務(wù)器的負載均衡應(yīng)用。

外網(wǎng)負載均衡設(shè)計使用2個虛擬分區(qū)，分別為：使用旁路模式部署的Wserver_pt分區(qū)，使用串接模式部署的Wtmg_pt分區(qū)。其中Wserver_pt分區(qū)包含外網(wǎng)郵件傳輸、外網(wǎng)郵件客戶端訪問角色服務(wù)的負載均衡應(yīng)用，Wtmg_pt分區(qū)用于部署外網(wǎng)TMG防火墻代理服務(wù)器的負載均衡應(yīng)用。

4.5 PLM系統(tǒng)負載均衡應(yīng)用

圖3

上圖為采用硬件負載均衡平臺實現(xiàn)的PLM系統(tǒng)Slaver角色服務(wù)器應(yīng)用負載均衡部署，客戶端訪問PLM系統(tǒng)的Slaver服務(wù)時，首先將請求提交到A10硬件負載均衡設(shè)備的Slaver負載均衡虛擬（VIP）地址：172.16.9.193上。通過A10的負載均衡算法將用戶請求分配到2臺不同的Slaver服務(wù)器上處理，實現(xiàn)負載的均衡訪問，可達到處理更多客戶端的服務(wù)請求目的。當(dāng)其中一臺Slaver服務(wù)器出現(xiàn)故障，如Slaver服務(wù)器的Apache服務(wù)出現(xiàn)問題無法訪問時，通過A10的健康狀態(tài)檢查機制即可探測到，并將有故障的Slaver服務(wù)器從服務(wù)器負載均衡組中自動旁路，直至該Slaver服務(wù)器恢復(fù)正常。A10會將客戶端的訪問請求轉(zhuǎn)發(fā)到正常的Slaver服務(wù)器，因此不會導(dǎo)致業(yè)務(wù)的中斷，確保了業(yè)務(wù)的連續(xù)性。

4.6 TMG防火墻代理服務(wù)器負載均衡應(yīng)用

圖4

上圖為采用硬件負載均衡平臺實現(xiàn)的TMG防火墻代理服務(wù)器應(yīng)用負載均衡部署，該方案將A10使用串接模式部署在網(wǎng)絡(luò)中。為客戶端提供訪問互聯(lián)網(wǎng)的上網(wǎng)代理應(yīng)用負載均衡服務(wù)，使防火墻系統(tǒng)可以為更多用戶提供上網(wǎng)訪問服務(wù)請求。在增加代理訪問容量的同時，還提供了防火墻代理服務(wù)器的冗余，解決了應(yīng)用防火墻的單點故障。利用A10硬件負載均衡的會話保持功能，可針對特殊的應(yīng)用進行靈活的配置和優(yōu)化以滿足特殊的應(yīng)用需求。如：通過防火墻代服務(wù)器訪問網(wǎng)銀的應(yīng)用，由于網(wǎng)上銀行由不同的服務(wù)器群組成，其證書服務(wù)、驗證服務(wù)以及最終的業(yè)務(wù)訪問服務(wù)器不是由一臺服務(wù)器提供。當(dāng)客戶端通過內(nèi)部代理服務(wù)器去訪問網(wǎng)銀業(yè)務(wù)則有可能會失敗。若沒有會話保持功能，客戶端訪問網(wǎng)銀的請求可能會通過好幾臺TMG防火墻服務(wù)器響應(yīng)和處理，因此網(wǎng)銀系統(tǒng)接收到的證書、驗證、業(yè)務(wù)請求可能是由不同的TMG防火墻服務(wù)器的公網(wǎng)地址發(fā)起的請求。由于網(wǎng)銀系統(tǒng)的安全機制，它將無法確認隱藏在防火墻代理服務(wù)器私有網(wǎng)絡(luò)中用戶的唯一性，它會認為這是一種不安全的業(yè)務(wù)請求，將直接導(dǎo)致網(wǎng)銀業(yè)務(wù)訪問失敗。采用TMG的Windows NLB軟件負載均衡機制部署可能會遇到此問題。因為Windows NLB軟件負載均衡無法提供基于源地址或目的地址會話保持功能。

5 結(jié)束語

通過統(tǒng)一規(guī)劃應(yīng)用負載均衡平臺設(shè)計，使該平臺具備為南車時代IT應(yīng)用提供統(tǒng)一的高可靠應(yīng)用負載均衡解決方案。使用硬件負載均衡的虛擬化部署，降低了硬件負載均衡設(shè)備成本投入，充分利用了設(shè)備資源。硬件負載均衡平臺建成投入使用，使南車時代PLM、ITSM、郵件、OA等應(yīng)用系統(tǒng)充分利用已有服務(wù)器資源，在顯著降低單臺服務(wù)器訪問負載的同時，使應(yīng)用系統(tǒng)的運行效率和容災(zāi)能力大幅提高，達到了負載均衡和冗余的業(yè)務(wù)需求，為業(yè)務(wù)系統(tǒng)滿足7*24小時持續(xù)應(yīng)用奠定了技術(shù)基礎(chǔ)。

參考文獻：

[1]http：//technet.microsoft.com.技術(shù)資源庫.

[2]黃永峰，黃旭，劉源源.Windows2003組網(wǎng)技術(shù)[M].北京：機械工業(yè)出版社，2003：88.

[3]孫寅，王文勇.負載均衡技術(shù)在企業(yè)信息系統(tǒng)中的應(yīng)用[J].計算技術(shù)與自動化，2011（01）.

作者簡介：龍佳琴（1983.01-），男，湖南茶陵人，系統(tǒng)主管，工程師，研究方向：企業(yè)信息化網(wǎng)絡(luò)、基礎(chǔ)架構(gòu)、負載均衡等應(yīng)用系統(tǒng)集成研究。

作者單位：株洲南車時代電氣股份有限公司信息中心，湖南株洲 412001