董 錚，唐海軍

（1.中國電信股份有限公司南京分公司政企客戶支撐中心 南京210008；2.西南石油大學經(jīng)濟管理學院 成都610500）

1 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，以網(wǎng)絡通信方式為主要對外數(shù)據(jù)傳輸手段的政企客戶，如企業(yè)、政府和金融單位等，對寬帶服務的穩(wěn)定性、可靠性等因素都有極高要求。南京城市發(fā)展日新月異，愈加頻繁的市政施工開挖導致光纜中斷故障頻發(fā)，政企客戶網(wǎng)絡中斷造成政企客戶的投訴時有發(fā)生?？蛻魧o態(tài)專線寬帶穩(wěn)定性和可靠性的需求，要求必須綜合考慮客戶接入設備層次、網(wǎng)絡管理水平和客戶網(wǎng)絡應用場景等因素，以公司大力推進的維護服務產(chǎn)品化工作為契機，探索基于路由交換技術(shù)的靜態(tài)寬帶冗余備份方案。

2 創(chuàng)新方法形成背景

2.1 傳統(tǒng)政企客戶靜態(tài)專線寬帶保障方法

傳統(tǒng)運維部門對于大客戶服務所提供的保障手段比較有限。在日常維護中，遇到大客戶障礙通常的處理流程是：10000號客服人員接到用戶電話申告，客服人員在綜合調(diào)度系統(tǒng)形成障礙單，網(wǎng)管人員收到障礙單判斷障礙原因派單到相關(guān)部門處理，相關(guān)部門處理障礙，障礙恢復，回訪客戶。流程如圖1所示。

如果按照傳統(tǒng)政企客戶靜態(tài)專線寬帶保障方法，故障發(fā)現(xiàn)時間、故障原因查找、故障搶修時間、運維人員技術(shù)水平等諸多因素都制約著大客戶服務水平的提升，極大地影響了政企客戶專線障礙的修復歷時，降低了政企客戶的服務滿意度。

2.2 維護服務產(chǎn)品化工作的要求

“維護服務產(chǎn)品化”是中國電信充分發(fā)揮網(wǎng)絡及服務優(yōu)勢、整合后端能力、通過顧問式銷售彰顯維護服務價值、提高客戶感知的一項重要工作，目前重點推廣網(wǎng)絡安全、客戶網(wǎng)絡監(jiān)控、IT維護服務以及會議服務4類維護服務產(chǎn)品。深化營建維護一體化，推動維護服務手段互聯(lián)網(wǎng)化，并大力發(fā)展維護服務產(chǎn)品，凸顯差異化市場優(yōu)勢；不斷拓展產(chǎn)品化項目，擴大維護產(chǎn)品服務范圍，面向公眾客戶推進裝維服務產(chǎn)品化，促進客戶滿意度與運維價值雙提升；發(fā)揮運維差異化優(yōu)勢，整合內(nèi)外部資源，積極發(fā)展和運營政企維護服務產(chǎn)品；在智能管道運營方面，推動網(wǎng)絡由“業(yè)務被動適應網(wǎng)絡”向“網(wǎng)絡主動適應互聯(lián)網(wǎng)應用”轉(zhuǎn)變，前后端協(xié)同開發(fā)運營智能管道產(chǎn)品，挖掘網(wǎng)絡數(shù)據(jù)價值支撐大數(shù)據(jù)業(yè)務運營。

2.3 政企客戶靜態(tài)專線寬帶障礙對南京電信政企客戶維系的影響

政企客戶作為運營商重要的收入來源，長期穩(wěn)定忠實的客戶關(guān)系是所有運營商都盡最大努力加以發(fā)展和維系的對象。而在這些政企客戶關(guān)系中，作為最大收入來源的行業(yè)大客戶又是競爭的焦點。由此可見，行業(yè)大客戶對運營商提供的電信服務是否滿意在很大程度上決定了運營商未來的業(yè)務收入能否得到保障。確保行業(yè)大客戶靜態(tài)專線寬帶的穩(wěn)定性和可靠性，對于提升大客戶服務滿意度、體現(xiàn)電信高端服務差異化、維系大客戶關(guān)系有著舉足輕重的作用。

圖1 傳統(tǒng)政企客戶靜態(tài)專線寬帶保障方法流程

3 靜態(tài)寬帶接入冗余備份方案

3.1 基于LACP的方案

采用基于LACP（link aggregation control protocol，鏈路匯聚控制協(xié)議）鏈路聚合的光路保護方案，通過對兩條光路的邏輯捆綁，實現(xiàn)電信匯聚交換機和用戶出口設備間的二層鏈路保護，即雙光路捆綁LACP聚合。捆綁的兩條鏈路雙向流量負載均衡。兩條光路接入端口組成1個匯聚組，出/入流量在兩條光路和匯聚組兩個端口中實現(xiàn)分擔，當一條鏈路的兩端端口有問題或光路有問題時，則出/入流量將自動切換至另一條鏈路。具體實現(xiàn)拓撲如圖2所示。

圖2 基于鏈路匯聚控制協(xié)議的網(wǎng)絡拓撲

本方案要求現(xiàn)有的主用寬帶必須為裸光纖直聯(lián)的光纖寬帶，因此如果是PON寬帶必須改造為直連匯聚交換機的光纖寬帶且撤除光纖收發(fā)器。在現(xiàn)有主用寬帶基礎上，正常新開一條備用光纖寬帶，主備光路采用兩條裸光纖直聯(lián)且分別走完全不同的光路由，接中國電信匯聚交換機的不同板卡端口，實現(xiàn)光路保護及上聯(lián)板卡保護。由于中國電信匯聚交換機為雙主控板卡、雙電源和雙上行業(yè)務控制層路由器，保證從客戶端出來后全程無單點故障。

在中國電信匯聚交換機對主備兩條寬帶進行端口LACP捆綁配置，注意按照主用寬帶IP地址配置備用端口封裝的VLAN數(shù)據(jù)?？蛻舳丝梢岳f或新增一臺支持LACP的客戶端交換機，設備至少具備兩個單模光口用于寬帶接入，客戶端設備進行LACP端口捆綁配置。

3.2 基于靜態(tài)路由協(xié)議和BFD保護機制的方案

（1）BFD協(xié)議

為了提升網(wǎng)絡性能，相鄰系統(tǒng)之間必須能快速檢測到通信故障，從而更快地建立起備用通道恢復通信?？梢酝ㄟ^BFD（bidirectional forwarding detection，雙向流檢測）協(xié)議來快速檢測到相鄰系統(tǒng)之間的通信故障。BFD協(xié)議為鏈路提供雙向的檢測功能：在雙向鏈路兩端同時發(fā)生檢測報文，檢測兩個方向上的鏈路狀態(tài)，實現(xiàn)毫秒級別的鏈路缺陷檢測；提供異步和查詢兩種檢測模式：異步模式是指各系統(tǒng)間相互以協(xié)商的周期發(fā)送BFD控制報文，如果某個系統(tǒng)在檢測時間內(nèi)沒有收到對端發(fā)來的報文，置會話為down狀態(tài)；查詢模式是指假定每個系統(tǒng)都有一個獨立的方法，確認自己連接到其他系統(tǒng)。提供對BFD控制報文參數(shù)的動態(tài)改變功能：會話建立后，動態(tài)地改變BFD的相關(guān)參數(shù)（例如最小發(fā)送間隔、最小接收間隔、使能或禁止查詢模式、回聲報文、報文認證等），兩端系統(tǒng)通過發(fā)送相應的協(xié)商報文后采用新的參數(shù)，不影響會話的當前狀態(tài)；提供對單跳和多跳的雙向流檢測；提供BFD檢測結(jié)果，通告給注冊到BFD的模塊使用，以便支持對其他模塊的相關(guān)處理操作。

（2）方案總體情況

采用基于靜態(tài)路由協(xié)議和BFD保護機制的方案，通過雙寬帶裸光纖接入、寬帶服務地址與互聯(lián)地址分開并發(fā)布、中國電信城域網(wǎng)SR、客戶端交換機設備BFD機制，實現(xiàn)向客戶側(cè)的流量主備或負荷分擔、向電信網(wǎng)的流量主備或負荷分擔。網(wǎng)絡拓撲如圖3所示。

圖3 基于靜態(tài)路由協(xié)議和BFD保護機制的網(wǎng)絡拓撲

兩條寬帶通過匯聚設備接入SR/BRAS設備，可以采用直連匯聚交換機的方式或者EPON FTTB/FTTH的接入方式。兩條寬帶光纜分別走完全不同的光路，接不同局向的SR/BRAS設備，即需保證兩條寬帶的雙光路、雙局向接入（接入不同局向的匯聚設備和SR），在物理鏈路上保證可靠性。

與普通靜態(tài)寬帶只有一個地址段不同，本方案要求兩條寬帶在各自的互聯(lián)地址外，再使用一段服務IP地址，通過在局端SR/BRAS配置指向客戶側(cè)的靜態(tài)路由并配置IBGP向中國電信網(wǎng)發(fā)布服務IP地址網(wǎng)段，實現(xiàn)從中國電信網(wǎng)至客戶網(wǎng)絡的數(shù)據(jù)分組路由負荷分擔或主備?？蛻舳爽F(xiàn)有設備的組網(wǎng)架構(gòu)不變?？蛻糇詡湟慌_出口路由器，提供2個以太口用于兩條寬帶接入。新增的出口路由器的兩個出口配置互聯(lián)IP地址，互聯(lián)接口IP地址與服務IP地址分開。

兩臺SR/BRAS設備分別配置靜態(tài)路由，指向相應的客戶網(wǎng)絡互聯(lián)接口。兩臺SR/BRAS設備通過IBGP向電信城域網(wǎng)發(fā)布服務IP地址網(wǎng)段，通過metric(MED)值或local preference值優(yōu)先級設置實現(xiàn)電信網(wǎng)至客戶網(wǎng)絡流量的負荷分擔或主備，并分別配置向客戶網(wǎng)絡的BFD。電信網(wǎng)配置實現(xiàn)至客戶網(wǎng)絡兩條寬帶的流量負荷分擔或主備。當SR/BRAS設備的BFD機制檢測一條寬帶至客戶網(wǎng)絡不通時，電信網(wǎng)至客戶側(cè)的靜態(tài)路由將自動失效，用戶路由（服務IP地址段）將無法通過IBGP向電信網(wǎng)發(fā)布，電信城域網(wǎng)核心出口路由器CRS設備則將該條寬帶的流量自動切換至另一條寬帶，實現(xiàn)用戶寬帶雙路由保護?？蛻舫隹诼酚善髋渲孟螂娦啪W(wǎng)的靜態(tài)路由，通過優(yōu)先級設置實現(xiàn)向電信側(cè)的負荷分擔或主備。

3.3 基于EBGP動態(tài)路由協(xié)議和VRRP保護的方案

（1）VRRP

通常內(nèi)部網(wǎng)絡中的所有主機都設置一條相同的缺省路由。所有內(nèi)部主機到網(wǎng)絡外部的報文將通過缺省路由發(fā)往網(wǎng)關(guān)（即圖4所示的路由器），從而實現(xiàn)主機與外部網(wǎng)絡的通信。缺省路由的配置比較方便。但是這樣的配置需要缺省網(wǎng)關(guān)設備具有很高的穩(wěn)定性，因為在這種配置下，一旦網(wǎng)關(guān)設備發(fā)生故障，內(nèi)部網(wǎng)絡中所有主機與外部通信將全部中斷。VRRP（virtual router redundancy protocol，虛擬路由冗余協(xié)議）是由RFC2338定義的一種容錯協(xié)議，通過物理設備和邏輯設備的分離，很好地解決了上述網(wǎng)絡問題。VRRP將局域網(wǎng)的一組路由器組織成一個備份組，功能上相當于一臺虛擬路由器。

局域網(wǎng)內(nèi)的主機只知道這個虛擬路由器的IP地址，并不知道備份組內(nèi)某臺設備的IP地址，它們將自己的缺省路由下一跳地址設置為該虛擬路由器的IP地址。局域網(wǎng)內(nèi)的主機通過這個虛擬路由器與其他網(wǎng)絡進行通信。VRRP機制將該虛擬路由器動態(tài)關(guān)聯(lián)到某承擔傳輸業(yè)務的物理路由器上，當該物理路由器出現(xiàn)故障時能再次選擇新路由器來接替業(yè)務傳輸工作，整個過程對用戶來說是完全透明的。在具有多播或廣播能力的局域網(wǎng)（如以太網(wǎng)）中，通過VRRP能提高缺省鏈路的利用率，而無需修改動態(tài)路由協(xié)議，路由發(fā)現(xiàn)協(xié)議的配置信息。VRRP路由器可以工作在主備模式，主備備份方式需要一個備份組，該備份組包括一個主用路由器和若干個備份路由器。VRRP還可以工作在負載分擔方式，負載分擔方式是指多臺路由器同時承擔業(yè)務。

（2）總體路由策略

總體路由策略使用EBGP+直連路由策略。城域網(wǎng)SR/BRAS路由器和客戶端路由器設備通過互聯(lián)地址建立EBGP鄰居關(guān)系。城域網(wǎng)SR/BRAS路由器設備使用EBGP發(fā)布默認路由給客戶端路由器設備，只允許客戶業(yè)務網(wǎng)段路由通過BGP進入。客戶端專線接入路由器使用EBGP發(fā)布客戶端業(yè)務網(wǎng)段路由，通過metric(MED)值或local preference值優(yōu)先級設置實現(xiàn)電信網(wǎng)至客戶網(wǎng)絡流量的負荷分擔或主備，接收城域網(wǎng)SR/BRAS路由器設備發(fā)布的默認路由信息?？蛻舳藢＞€接入路由器的BGP自治域系統(tǒng)AS號使用私網(wǎng)AS號，與城域網(wǎng)SR/BRAS路由器設備建立EBGP鄰居關(guān)系?？傮w網(wǎng)絡路由策略設計如圖4所示。

圖4 總體網(wǎng)絡路由策略設計

為防止用戶內(nèi)網(wǎng)二層交換機故障，使用兩臺二層交換機互為主備，兩臺交換機啟用STP，兩臺交換機之間以兩對網(wǎng)線互聯(lián)（防止網(wǎng)線單點故障）。

（3）客戶端設備VRRP規(guī)劃

為按預定計劃實現(xiàn)數(shù)據(jù)流向，并實現(xiàn)客戶端設備及線路冗余需求，客戶內(nèi)網(wǎng)出口路由器采取VRRP功能實現(xiàn)?？蛻舳藘膳_路由器對內(nèi)啟用VRRP，并將其中一臺專線接入路由器A，優(yōu)先級設置較高，另一臺專線接入路由器B，優(yōu)先級設置較低。專線接入路由器A為VRRP主設備，接入路由器B為VRRP備設備。同時開啟VRRP的搶占功能、對上聯(lián)線路的監(jiān)測功能，實現(xiàn)兩臺設備根據(jù)上聯(lián)廣域網(wǎng)線路通斷情況進行自動主備切換。VRRP功能具體實現(xiàn)時，可以使用兩臺接入路由器的交換端口互聯(lián)（下聯(lián)至交換機）作為L2心跳線，并設置端口類型為access方式，使用三層接口VLAN1用于VRRP協(xié)商。協(xié)商VRRP虛擬地址作為終端用戶網(wǎng)關(guān)地址?？蛻魞?nèi)網(wǎng)VRRP規(guī)劃如圖5所示。

（4）數(shù)據(jù)流向分析

圖5 客戶內(nèi)網(wǎng)VRRP規(guī)劃

網(wǎng)絡各設備運行穩(wěn)定正常時，業(yè)務數(shù)據(jù)流向為：互聯(lián)網(wǎng)圮SR/BRAS設備A圮靜態(tài)專線圮專線接入路由器A圮交換機圮客戶PC終端。數(shù)據(jù)流向分析如圖6所示。

圖6 數(shù)據(jù)流向分析

當網(wǎng)絡設備或線路出現(xiàn)故障時，網(wǎng)絡可以通過冗余設備或冗余線路恢復，并繼續(xù)通信，減小網(wǎng)絡故障帶來的損失。主要表現(xiàn)為：如果客戶內(nèi)網(wǎng)交換機宕機或互聯(lián)線中斷，由于客戶內(nèi)網(wǎng)交換機運行STP且客戶內(nèi)網(wǎng)交換機通過兩條網(wǎng)線做線路聚合，客戶內(nèi)網(wǎng)到專線接入路由器A之間的互聯(lián)不會受到影響；如果專線接入路由器A宕機，專線接入路由器A與城域網(wǎng)SR/BRAS設備A之間的EBGP中斷，路由協(xié)議失效；VRRP檢測到專線接入路由器A宕機，專線接入路由器B通過VRRP自動協(xié)商成主設備，所有終端設備數(shù)據(jù)通過專線接入路由器B進行轉(zhuǎn)發(fā)通信；如果主用專線故障，專線接入路由器A與數(shù)據(jù)中心匯聚路由器EBGP中斷，路由協(xié)議失效，VRRP檢測到專線接入路由器A的接入專線故障，專線接入路由器B通過VRRP自動協(xié)商成主設備，數(shù)據(jù)通過接入路由器B進行轉(zhuǎn)發(fā)通信。

3.4 3種保障方案的橫向比較

基于LACP鏈路聚合的光路保護方案由于只是在客戶端到匯聚設備使用雙路由，實施部署簡單快速，維護難度較低，成本也較低，但采用此方案存在匯聚交換機及客戶接入交換機的單點故障，可靠性相對較低。

基于靜態(tài)路由協(xié)議和BFD保護機制的方案在客戶端到電信SR/BRAS業(yè)務控制層設備全程使用雙路由，成本相對LACP方案較高，實施部署和維護的難度也相對較高。采用此方案在電信側(cè)全程沒有單點故障，只在客戶端存在客戶出口路由器單點故障，可靠性相對于LACP方案較高。

基于EBGP和VRRP保護的方案在客戶端到電信SR/BRAS業(yè)務控制層設備全程使用雙路由，且客戶端采用雙出口路由器、雙核心交換機的配置，成本在3種方案中最高，實施部署和維護的難度也最高。若采用此方案，在電信側(cè)和客戶端全程都沒有單點故障，可靠性在3種方案中最高。3種保障方案的橫向?qū)Ρ纫姳?。

表1 3種保障方案的橫向比較

4 方法應用和成果體現(xiàn)

4.1 保障方法應用流程

應用流程：前端提取潛在的省市級大客戶的靜態(tài)專線寬帶冗余備份的目標清單，由政企客戶支撐中心牽頭后端網(wǎng)絡操作維護中心、接入維護中心，提取此部分用戶的網(wǎng)絡設備、線路情況，分析提取用戶局向、接入光路由和網(wǎng)絡設備等因素，制定可行的靜態(tài)專線寬帶冗余備份改造方案，并由政企客戶支撐中心工程師和客戶經(jīng)理一起向客戶提出改造的建議方案，客戶同意改造后簽署合同，在前臺BSS受理相應的寬帶備份銷售品，之后由電信負責實施方案，客戶工程師配合。流程示意如圖7所示。

圖7 保障方法應用流程

4.2 保障成果及后評估

截至2015年5月底，已經(jīng)完成了54家省級大客戶和118家市級重點保障客戶的靜態(tài)專線寬帶冗余備份工作，提前發(fā)現(xiàn)主用寬帶故障44起（均已經(jīng)及時通過派發(fā)網(wǎng)絡層工單修復），由于寬帶保護的作用，主用寬帶故障均未導致客戶網(wǎng)絡中斷。從最近一次客戶經(jīng)理上門拜訪反饋的情況看，客戶滿意度良好。查詢綜合調(diào)度系統(tǒng)中未做靜態(tài)專線寬帶冗余備份的政企客戶，2015年5月份故障率為2.4%，遠遠高于做靜態(tài)專線寬帶冗余備份的政企客戶的故障率（幾乎為0），進一步證實了此創(chuàng)新方法的科學性和實踐性。

5 結(jié)束語

隨著寬帶互聯(lián)網(wǎng)的快速發(fā)展，以網(wǎng)絡通信方式為主要對外數(shù)據(jù)傳輸手段的用戶（如企業(yè)、政府和金融單位等），對于寬帶服務的穩(wěn)定性、可靠性等因素都有極高要求，且城市發(fā)展日新月異，市政施工工程量越來越多，導致光纜中斷故障頻發(fā)，引起政企客戶網(wǎng)絡中斷而造成大客戶投訴時有發(fā)生。政企客戶支撐中心以公司對維護服務產(chǎn)品化工作的推進為契機，創(chuàng)新性地提出基于路由交換技術(shù)的靜態(tài)寬帶冗余備份方法，并及時在省市級重點保障大客戶中推廣使用。經(jīng)過半年以上的實踐，政企客戶靜態(tài)寬帶可靠性和穩(wěn)定性大大提高，客戶滿意度不斷提升，申告數(shù)量下降明顯，充分論證了該方法的科學性和實踐性。該方法尤其適用于對寬帶穩(wěn)定性要求高的政府、金融和證券單位。新方法降低了客戶互聯(lián)網(wǎng)業(yè)務的故障率，體現(xiàn)了電信運維服務的差異化優(yōu)勢，提升了客戶滿意度，加強了對客戶的維系程度，提升了政企客戶收入，同時也符合公司維護服務產(chǎn)品化的要求，體現(xiàn)了電信后端的維護價值。

1 Wright G R.Stevens W R.TCP/IP詳解.范建華,胥光輝,張濤等譯.北京:機械工業(yè)出版社,2001 Wright G R.Stevens W R.TCP/IP Comments.Translated by Fan J H,Xu G L,Zhang T,et al.Beijing:Publishing House of Machinery Industry,2011

2 Ji Y F,Zhang J,Zhao Y L,et al.Dreamscape:dual routing engine architecture in multi-layer/multi-domain scalable constraint-aware policy-enabled optical networks.Proceedings of the 14th Optoelectronics and Communications Conference(OECC),HongKong,China,2009

3 Aslam F,Uzmi Z A,Farrel A.Inter-domain path computation using improved crank back signaling in label switched networks.Proceedings of IEEE International Conference on Communications(ICC2007),Glasgow,Scotland,2007

4 Buzzi L,Bardellini M C,Siracusa D,et al.Hierarchical border gateway protocol for pce-based multi-domain traffic engineering.Proceedings of IEEE International Conference on Communications(ICC2010),Cape Town,South Africa,2010