張鈺哲，張 泉，楊 杉

（1.武漢市第二中學，湖北 武漢 430010；

2.國網(wǎng)湖北省電力公司信息通信公司，湖北 武漢 430077）

基于MPLS VPN的高可靠性數(shù)據(jù)通信網(wǎng)設計與實現(xiàn)

張鈺哲1，張 泉2，楊 杉2

（1.武漢市第二中學，湖北 武漢 430010；

2.國網(wǎng)湖北省電力公司信息通信公司，湖北 武漢 430077）

為了提高數(shù)據(jù)通信網(wǎng)的可靠性和可用性，提出了基于同步數(shù)字體系（SDH）和光傳送網(wǎng)（OTN）雙平面的網(wǎng)絡架構(gòu)，并在此基礎上詳細探討多協(xié)議標記交換 (MPLS)虛擬專用網(wǎng)絡(VPN)業(yè)務接入及流量工程在服務質(zhì)量保證和快速路由重啟過程中的應用與實現(xiàn)。

數(shù)據(jù)通信網(wǎng)；光傳送網(wǎng)（OTN）；虛擬專用網(wǎng)絡(VPN)；多協(xié)議標記交換(MPLS)

1 網(wǎng)絡現(xiàn)狀分析

目前，國網(wǎng)湖北省電力信息廣域網(wǎng)采用分層拓撲結(jié)構(gòu)，分為國網(wǎng)湖北省電力公司（以下簡稱省公司）核心節(jié)點和地市公司骨干節(jié)點。省電力公司配置2臺核心交換機和2臺核心PE設備（Provider Edge，服務提供商邊緣路由器)之間采用“口字形”方式連接，實現(xiàn)服務器區(qū)業(yè)務的接入；地市公司配置2臺骨干PE設備，與省核心PE采用“口字形”方式互聯(lián)。上聯(lián)省電力公司核心PE的二條鏈路傳輸帶寬分別為622 Mbps和155 Mbps，因此，各地市公司到省公司至少需要配置兩條獨立的SDH傳輸通道。同樣，國網(wǎng)湖北省電力應急指揮系統(tǒng)、行政高清會議電視系統(tǒng)、95598語音等業(yè)務系統(tǒng)均采用類似的組網(wǎng)架構(gòu)，配置專用的傳輸設備和網(wǎng)絡，并通過SDH專線方式組網(wǎng)以保證各業(yè)務系統(tǒng)的傳輸帶寬和安全可靠性。

但隨著智能電網(wǎng)的建設，電力生產(chǎn)信息化業(yè)務日益增多，基于SDH專線組網(wǎng)方式已遠遠不能滿足業(yè)務增長的需求；且各系統(tǒng)均需重新組建自己的數(shù)據(jù)承載網(wǎng)和分配專用的傳輸帶寬，易造成傳輸帶寬較浪費。同時，各系統(tǒng)設備獨立造成設備繁多，設備資源和帶寬資源不能充分利用[1]。目前，眾多地市電力公司已建成基于SDH的區(qū)域性數(shù)據(jù)通信網(wǎng)[2-4]，但SDH的傳輸帶寬不能滿足省級數(shù)據(jù)通信網(wǎng)的業(yè)務需求。隨著OTN技術(shù)在電力通行行業(yè)的廣泛應用[5-6]，構(gòu)建基于OTN光承載網(wǎng)的多業(yè)務數(shù)據(jù)通信網(wǎng)成為了電力通信網(wǎng)的必然趨勢。針對省級大型數(shù)據(jù)通信網(wǎng)的業(yè)務需求，本文提出一種基于SDH和OTN混合組網(wǎng)的高可性數(shù)據(jù)通信網(wǎng)架構(gòu)，并詳細討論了省級數(shù)據(jù)通信網(wǎng)的路由策略部署和業(yè)務接入方式。

2 數(shù)據(jù)通信網(wǎng)網(wǎng)絡架構(gòu)設計

為提高網(wǎng)絡的可靠性，遵循N-1的可靠性設計原則，數(shù)據(jù)通信網(wǎng)核心層按主備冗余方式配置PE設備和CE設備(Customer Edge,用戶邊緣設備)，省級數(shù)據(jù)通信網(wǎng)絡架構(gòu)如圖1所示。在省核心層，省調(diào)配置兩臺核心PE設備，備調(diào)配置一臺核心PE設備，省調(diào)兩臺核心PE設備與備調(diào)PE設備之間均采用10GE OTN光傳輸網(wǎng)和GE SDH傳輸網(wǎng)雙鏈路互聯(lián)，從而形成雙平面、熱備交叉連接。

在各地市公司骨干層及省公司本部，各配置兩臺國網(wǎng)邊界PE設備、城域網(wǎng)PE設備和兩臺CE設備。地市公司國網(wǎng)邊界PE設備與省公司核心PE設備采用10GE（OTN光傳輸網(wǎng)承載）+622 Mbps（省10G網(wǎng)承載）鏈路互聯(lián)，另一臺邊界PE設備與備調(diào)核心PE設備采用2*GE（OTN光傳輸網(wǎng)承載）+155 Mbps（省10G承載）鏈路互聯(lián)。從而在骨干層形成了基于OTN和SDH兩種不同技術(shù)體制的數(shù)據(jù)通信承載網(wǎng)絡，并且每個地市公司擁有4條上行鏈路，極大地提高了數(shù)據(jù)通信網(wǎng)的可靠性。

各個地市公司的2臺城域網(wǎng)核心PE設備均以10GE鏈路與各自站點的2臺國網(wǎng)邊界PE設備互聯(lián)，實現(xiàn)與國網(wǎng)數(shù)據(jù)通信骨干網(wǎng)的互聯(lián)。而各縣公司所屬的接入層則分別配置1臺接入PE設備、1臺接入CE設備，每節(jié)點接入PE設備分別與骨干節(jié)點兩臺骨干PE設備分別采用155 Mbps接口互聯(lián)，保證了上行鏈路的N－1可靠性。而省公司直屬單位及地市公司直屬單位分別采用就近接入的方式接入到所屬上級單位的骨干PE設備上。

圖1 省級數(shù)據(jù)通信網(wǎng)網(wǎng)絡架構(gòu)Fig.1 Architecture of provincial data communication network

3 MPLS VPN業(yè)務接入方案設計與實現(xiàn)

3.1 路由協(xié)議

根據(jù)扁平化原則，國網(wǎng)數(shù)據(jù)通信網(wǎng)將延伸至地市公司，原省公司數(shù)據(jù)通信網(wǎng)與國網(wǎng)數(shù)據(jù)通信骨干網(wǎng)融合，各地市城域網(wǎng)采用獨立的自治域，從而以多自治域方式實現(xiàn)電力數(shù)據(jù)通信網(wǎng)絡的擴展。省公司廣域網(wǎng)骨干區(qū)域與國家電網(wǎng)公司數(shù)據(jù)通信骨干網(wǎng)將屬于同一個ISIS(Intermediate System to Inter?mediate System)路由協(xié)議進程，同屬于Level-2的自治域。因此，全省使用IS-IS協(xié)議作為省內(nèi)數(shù)據(jù)網(wǎng)的IGP協(xié)議，而每個地市都運行Level-2，設置不同的自治域。對于跨域VPN部署，有背靠背VRF連接、單跳多協(xié)議MP-eBGP和多跳多協(xié)議MP-eBGP三種方式[7]?？紤]到未來電力通信業(yè)務的發(fā)展需求，省級數(shù)據(jù)通信網(wǎng)選擇最后一種方式，而沒有采用簡單保守的Option A或Option B方式。

在不同的自治域之間需要使用外部網(wǎng)關(guān)協(xié)議，傳統(tǒng)外部網(wǎng)關(guān)協(xié)議（EGP）不支持環(huán)路拓撲結(jié)構(gòu)，它可以存在于自治域內(nèi)，而不能存在于自治域之間；同時，即使在網(wǎng)絡拓撲是穩(wěn)定的情況下，也經(jīng)常傳送全部路由表。BGP協(xié)議（Border Gateway Protocol）是基于TCP的，連接比較可靠；同時，采用觸發(fā)式更新，只修改更新部分，支持地址聚集特性，可以節(jié)約C類IP地址資源。不同版本的BGP也通過談判特性可以相互支持，互操作性、兼容性較好。 因此，地市數(shù)據(jù)通信網(wǎng)與國家電力數(shù)據(jù)通信網(wǎng)絡域間路由協(xié)議宜采用BGP-4協(xié)議。

省電力數(shù)據(jù)通信網(wǎng)的路由總體方案可以設計如下：

（1）將國網(wǎng)數(shù)據(jù)通信網(wǎng)延伸至地市公司，省、地市公司均在國網(wǎng)數(shù)據(jù)通信網(wǎng)域內(nèi)。其中省公司PE在AS 64600中；地市公司新建2組PE（4臺），其中2臺PE作為各地市公司在骨干網(wǎng)自治域AS 64600的邊界PE設備，另外2臺路由器為各地市公司獨立自治域的核心設備。

（2）域間路由協(xié)議在網(wǎng)絡中起著承載、分配和控制外界路由的作用。省、地市公司網(wǎng)絡內(nèi)部實現(xiàn)路由扁平化，在省公司內(nèi)形成以數(shù)據(jù)通信骨干網(wǎng)BGP AS和地市BGP AS為實體的兩層BGP AS架構(gòu)，各地市采用全網(wǎng)唯一的BGP AS號僅與骨干網(wǎng)BGP AS直接形成eBGP鄰居關(guān)系，不交互IGP路由。

（3）域內(nèi)路由協(xié)議在網(wǎng)絡中起著連通骨干、路徑選擇和自動路由迂回的作用。網(wǎng)絡IGP路由協(xié)議統(tǒng)一設計，推薦采用IS-IS協(xié)議。

（4）為了支持基于MP-BGP（BGP多協(xié)議擴展）的MPLS VPN，PE與PE之間還必須運行MP-BGP，主要用于承載網(wǎng)絡中MPLS VPN私網(wǎng)路由。

省公司設置2臺RR路由反射器，作為國網(wǎng)及省公司AS域的路由拓撲計算與分發(fā)。相比較采用核心PE或骨干PE作為路由反射器，采用獨立設備作為路由反射器可以顯著地減少IBGP連接的數(shù)量，且減輕核心PE設備和骨干PE設備設備負擔，從而實現(xiàn)控制（路由反射）和轉(zhuǎn)發(fā)分離，提高設備效率，保障網(wǎng)絡可靠性。而各地市自治域中，城域網(wǎng)路由設備數(shù)量較少，可以由地市公司城域網(wǎng)骨干PE設備兼作RR路由反射器，作為地市公司及所轄縣公司業(yè)務接入時路由拓撲計算與分發(fā)。

3.2 MPLS VPN設計與實現(xiàn)

基于BGP擴展實現(xiàn)的L3 MPLS VPN網(wǎng)絡包含骨干核心P設備（Provider Router）、骨干網(wǎng)邊緣路由器（PE）和用戶網(wǎng)邊緣路由器（CE），三者分別用于MPLS轉(zhuǎn)發(fā)、L3 MPLS VPN實現(xiàn)和VPN業(yè)務接入。P設備只參與骨干IGP的路由，完全依據(jù)MPLS的封包來作出前傳決定，不需要讀取原始的數(shù)據(jù)包信息來作出前傳決定，不需要擁有VPN的路由信息。骨干網(wǎng)邊緣路由器與用戶網(wǎng)邊緣路由器之間要交換路由信息可以是通過靜態(tài)路由，也可以通過RIP、OS?PF、BGP、IS-IS等。因而當采用BGP MPLS VPN技術(shù)時，用戶側(cè)的原有路由協(xié)不需要修改和重新配置。骨干網(wǎng)邊緣路由器至與用戶網(wǎng)邊緣路由器之間需要運行MP-BGP協(xié)議，存在可擴展性問題，但采用路由反射器可以顯著地減少IBGP連接的數(shù)量。

VPN業(yè)務接入方式一般有CE接入方式、802.1Q Trunk接入方式和MCE（Multi-VPN-instance CE）接入方式。考慮到省公司業(yè)務重要性，在數(shù)據(jù)通信網(wǎng)骨干層采用MCE接入方式。骨干節(jié)點配置二臺具有Multi-VRF功能的三層交換機作為MCE，用作MPLS VPN接入網(wǎng)關(guān)；將不同的業(yè)務（VPN）設置在不同的VLAN中，MCE與PE交換VPN路由表（VRF），為不同的業(yè)務提供單獨的VPN路由轉(zhuǎn)發(fā)表，并通過它與PE設備對應的VRF進行路由交換，實現(xiàn)端到端的MPLS/VPN的解決方案，實現(xiàn)VPN隔離，但全網(wǎng)相同VPN可自由通信。

在城域網(wǎng)中，MCE交換機把每個VPN捆綁到相應的VLAN中，通過802.1Q trunk的方式把VLAN的劃分傳遞到城域網(wǎng)（或局域網(wǎng)）二層交換機上，通過VLAN技術(shù)進行業(yè)務隔離；在用戶接入側(cè)將該用戶劃入二層交換機的某個VLAN，通過802.1Q Trunk鏈路上聯(lián)到MCE，MCE將802.1Q Trunk端口的VLAN對應到其相應MPLS VPN的VRF，最終實現(xiàn)隔離VPN路由信息的功能，由此也將MPLS PE的VRF VPN范圍擴展到了接入層設備和客戶桌面系統(tǒng)。通過VLAN-VRF的對應，單個業(yè)務系統(tǒng)可以在整個網(wǎng)絡中保持連通，但由于不同業(yè)務采用不同VRF配置，彼此在路由上完全隔離,見圖2。

圖2 城域網(wǎng)業(yè)務接入示意圖Fig.2 Architecture of provincial data communication network

在VPN業(yè)務轉(zhuǎn)發(fā)過程中，屬于相同VPN的兩個CE之間轉(zhuǎn)發(fā)報文使用兩層標簽來實現(xiàn)，在入口PE上為報文打上兩層標簽：外層標簽用于骨干網(wǎng)內(nèi)部進行交換，表示從PE到對端PE的一條隧道，VPN報文打上這層標簽，就可以沿著LSP到達對端PE；內(nèi)層標簽用于PE到CE間的報文交換，當報文到達對端CE時，可以指示報文應轉(zhuǎn)發(fā)到哪個CE，因此內(nèi)層標簽可表示經(jīng)骨干網(wǎng)互聯(lián)的兩個CE間的隧道。

數(shù)據(jù)通信網(wǎng)核心層和骨干層采用雙PE和雙CE的全冗余連接結(jié)構(gòu)，CE和PE之間采用動態(tài)路由協(xié)議，實現(xiàn)負載分擔和鏈路備份，可以用來保證關(guān)鍵業(yè)務的可靠性。MPLS/MBGP VPN可以簡化對用戶端設備的需求和用戶管理、維護Intranet/Extranet的復雜性，每個CE僅需要維持一個到PE的路由交換協(xié)議，CE間的路由交換、傳輸控制、路由策略由運營商根據(jù)VPN用戶的需求來實施。由于BGP的策略控制能力很強，隨之而來的是VPN用戶路由策略控制的靈活性。MPLS/BGP VPN提供了靈活的地址管理。由于采用了單獨的路由表，允許每個VPN使用單獨的地址空間中，稱為VPN-IPv4地址空間，RD加上IPv4地址就構(gòu)成了VPN-IPv4地址。很多采用私有地址的用戶不必再進行地址轉(zhuǎn)換NAT。NAT只有在兩個有沖突地址的用戶需要建立Extranet進行通信時才需要。

3.3 MPLS VPN QoS的實現(xiàn)

數(shù)據(jù)通信網(wǎng)通過MPLS VPN實現(xiàn)業(yè)務的邏輯隔離，但其物理傳輸通道是共享的，不同業(yè)務之間會競爭通道資源，導致其應用系統(tǒng)服務質(zhì)量無法得到保障[8]。因此，在數(shù)據(jù)通信網(wǎng)實現(xiàn)過程中，會通過部署配置MPLS流量工程（MPLS-TE）為業(yè)務配置QoS保障[9]。

在IP網(wǎng)絡中，通常有多條路徑可到達目的地，選擇路由時，無論采用何種路由協(xié)議（IGP/OSPF/ ISIS等)，都會計算出一條“最佳”（最短）路徑。而在實際情況中，僅僅依賴于路由協(xié)議OSPF等，可能會造成某些中繼上業(yè)務流量很大，另一些中繼上業(yè)務流量不足，形成網(wǎng)絡流量不平衡，容易造成擁塞。為了避免此情況，可采用MPLS-TE機制。MPLS-TE利用可用資源建立標簽交換路徑（LSP），將業(yè)務流根據(jù)路由協(xié)議計算得到的最短路徑轉(zhuǎn)移到網(wǎng)絡中潛在的、具有較少阻塞的物理路徑上去，平衡網(wǎng)絡中的各種鏈接、路由器和交換機上匯聚的業(yè)務負載，為路由轉(zhuǎn)發(fā)和網(wǎng)絡流量提供更精確的控制，從而更經(jīng)濟、更有效地使用整個網(wǎng)絡的帶寬資源，提高數(shù)據(jù)通信網(wǎng)的性能、效率和可靠性。

同時，利用MPLS-TE機制結(jié)合區(qū)分服務模型，將承載的通信業(yè)務劃分成不同類別，并根據(jù)業(yè)務所屬類別（低延遲或高帶寬等）區(qū)分服務。在區(qū)分服務模型中，將網(wǎng)絡中的業(yè)務劃分為有限的服務類別，而不是按信息流來統(tǒng)計；同時，業(yè)務分類、整形等復雜的處理，只在邊界PE設備上進行。從而可以利用網(wǎng)絡內(nèi)部的路由器的數(shù)據(jù)轉(zhuǎn)發(fā)能力，避免鏈路帶寬和緩存空間等資源緊張。

同時，在數(shù)據(jù)通信網(wǎng)中配置快速重路由技術(shù)，通過鏈路保護和快速重新路由等機制實現(xiàn)故障發(fā)生時快速恢復。保護鏈路切換時間小于50 ms，可在鏈路出現(xiàn)故障的情況下實現(xiàn)對IP流量的保護，使上層IP服務業(yè)務不受影響。針對關(guān)鍵的鏈路，快速重路由技術(shù)利用RSVP技術(shù)協(xié)議進行鏈路備份。當主用LSP故障時，可在很短時間內(nèi)切換到備用LSP上。通過調(diào)整RSVP帶寬預留協(xié)議的Keep-alive時間，可以控制在200～300 ms。如果不采用MPLS快速重路由技術(shù)，只能經(jīng)過發(fā)現(xiàn)故障、IS-IS路由收斂、標簽分發(fā)后才能重新建立LSP2傳送，通常需要1～2 s。

在完成數(shù)據(jù)通信網(wǎng)部署后，對各地市公司到省公司、省備調(diào)的OTN光傳輸網(wǎng)和SDH承載網(wǎng)的鏈路進行了倒換測試，即使OTN主用通道、OTN備用通道完全中斷時，也能通過SDH通道保證電力通信業(yè)務的可靠性；同時，鏈路中斷后，可在1 s內(nèi)切換至其備用通道。

4 結(jié)語

新建的IP承載網(wǎng)絡采用MPLS VPN組網(wǎng)技術(shù)，將各個地市公司劃分為不同的AS域，域內(nèi)采用IS-IS協(xié)議，域間采用BGP-4協(xié)議；根據(jù)業(yè)務類型劃分為信息VPN、視頻VPN、語音VPN、調(diào)度VPN等7個VPN，以后各個業(yè)務逐步承載在新建的數(shù)據(jù)通信網(wǎng)，改善了地區(qū)現(xiàn)有網(wǎng)絡混亂的現(xiàn)狀。骨干及核心設備均采用雙冗余口字形上聯(lián)，極大地降低了設備及鏈路故障產(chǎn)生的風險。充分利用新建OTN網(wǎng)絡大容量的帶寬資源，采用10GE+2GE的組網(wǎng)方案，極大的豐富了省公司與地市公司的電力通信業(yè)務帶寬；同時利用原有基于SDH網(wǎng)絡的622 MB+155 MB帶寬，作為省公司到地市公司傳輸?shù)诙矫妫ＷC了傳輸層面高度的可靠性。這種基于OTN和SDH的混合組網(wǎng)方式，極大的提高了電力通信網(wǎng)絡的帶寬和可靠性，為建設堅強的智能電網(wǎng)提供了強有力的保證。

（References）

[1]尹少鵬.“十二五”數(shù)據(jù)通信網(wǎng)發(fā)展建設的研究[J].電力系統(tǒng)通信，2011(5):70-76.

YIN Shaopeng.Research of the Development and Construction of the Data Communication Network for the"12th Five-Year Plan"[J].Telecommunications for Electric Power System,2011(5):70-76.

[2]張淑娟，段敬.山西電力數(shù)據(jù)通信網(wǎng)容災設計與實現(xiàn)[J].電力信息與通信技術(shù)，2013,11(12):116-121.

ZHANG Shujuan,DUAN Jing.Shanxi Electric Power Data Communication Network Design and Implemen?tation of Disaster Recovery[J].Electric Power Infor?mation and Communication Technology,2013,11(12): 116-121.

[3]孫國善，徐飛，田鎖太，等.內(nèi)蒙古電力通信業(yè)務數(shù)據(jù)網(wǎng)的設計[J].電力信息與通信技術(shù)，2015,13(6): 36-39.

SUN Guoshan,XU Fei,TIAN Suotai,et al.Design of Inner Mongolia Power Communication Service Data Network[J].Electric Power Information and Commu?nication Technology,2015,13(6):36-39.

[4]俞浩.基于MPLS VPN的地區(qū)通信數(shù)據(jù)網(wǎng)絡設計與建設[J].中國新通信,2014(3):112-114.

Yu Hao.Design and construction of regional com?munication data network based on VPN MPLS[J]. China New Telecommunications,2014(3):112-114.

[5]張雪寧.OTN技術(shù)在電力通信傳輸網(wǎng)中的應用[J].信息安全與技術(shù)，2015(4):83-84.

ZHANG Xuening.OTN Technology in the Power of Communication Transmission Network[J].Information Security and Technology,2015(4):83-84.

[6]胡威，趙占領，厲立國，等.基于OTN光承載網(wǎng)的IP數(shù)據(jù)網(wǎng)絡方案研究[J].計算機仿真，2015,32(9):311-313.

HU Wei,ZHAO Zhanling,LI Liguo,et al.Research on IP Data Network Scheme Based on Optical Transport Network[J].Computer Simulation,2015,32 (9):311-313.

[7]徐志強，呂舟，徐坤.電力綜合數(shù)據(jù)網(wǎng)跨域VPN部署探討[J].中國新通信,2014(3):1-2.

XU Zhiqiang,LV Zhou,XU Kun.Discussion on VPN deployment in cross autonomous system for electric power integrated service network[J].China New Com?munication,2014(3):1-2.

[8]吳鵬，吳軍民，劉川，等.軟件定義網(wǎng)絡在電力數(shù)據(jù)通信網(wǎng)中的應用研究[J].信息技術(shù)，2014(1)：52-55.

WU Peng,WU Junmin,LIU Chuan,et al.Research on the application of software defined network in electric power data communication network[J].In?formation Technology,2014(1):52-55.

[9]謝一，王賢亮，周俊成，等.基于MPLS技術(shù)的通信綜合數(shù)據(jù)網(wǎng)優(yōu)化管理[J].電信網(wǎng)技術(shù)，2015(8):67-70.

XIE Yi,WANG Xianliang,ZHOU Juncheng,et al. Based on MPLS Technology to Optimize the Man?agement of Communications Integrated Data Network [J].Telecommunications Network Technology,2015 (8):67-70.

Design and Implementation of High Reliability Data Communication Based on MPLS VPN

ZHANG Yuzhe1,ZHANG Quan2,YANG Shan2
（1.Wuhan No.2 Senior High School,Wuhan Hubei 430010,China；2.Information&Telecommunication Branch of State Grid Hubei Electric Power Company, Wuhan Hubei 430077,China)

In order to improve the reliability and availability of data communication network,a Dual-plane network architecture is proposed in this article based on SDH(synchronous digital hier?archy)and OTN(optical transport network),and service access of MPLS(multi-protocol label switch?ing)VPN（virtual private network）and implementation of MPLS traffic engineering in data communi?cation network for quality-of-service guarantees and fast re-route are deeply discussed.

data communication network;optical transport network(OTN);virtual private network (VPN)；multi-protocol label switching(MPLS)

TP393

A

1006-3986(2016)04-0057-05

10.19308/j.hep.2016.04.013

2016-03-12

張鈺哲（1999），男，湖北武漢人。