張龍江，邢 梅，廉 波，王蓓敏，公 偉（中國聯(lián)通濟(jì)南市分公司，山東濟(jì)南 250002）

1 概述

隨著互聯(lián)網(wǎng)技術(shù)與生態(tài)環(huán)境的發(fā)展演進(jìn)，越來越多的行業(yè)客戶將生產(chǎn)經(jīng)營活動由線下方式拓展至線上+線下協(xié)同發(fā)展，利用互聯(lián)網(wǎng)資源，全方位、立體化地開展自身業(yè)務(wù)和辦公等各類工作。如何更好、更安全地向客戶提供值得信賴的通信網(wǎng)絡(luò)服務(wù)，已成為國內(nèi)運(yùn)營商深入實施互聯(lián)網(wǎng)創(chuàng)新發(fā)展戰(zhàn)略，促進(jìn)行業(yè)互聯(lián)網(wǎng)融合應(yīng)用過程中的一項重要使命。某省聯(lián)通以“云+網(wǎng)+X”的戰(zhàn)略目標(biāo)為指引，充分調(diào)動戰(zhàn)略人才技術(shù)團(tuán)隊的內(nèi)在科研創(chuàng)新動力，采用自主實驗平臺仿真測試、技術(shù)攻關(guān)、商用部署的方式，基于EVPN 網(wǎng)絡(luò)技術(shù)體系，構(gòu)建新型寬帶商用安全網(wǎng)絡(luò)架構(gòu)，推動行業(yè)客戶數(shù)字化轉(zhuǎn)型跑出“+速度”。

2 運(yùn)營商MPLS VPN網(wǎng)絡(luò)安全尚有提升空間

2.1 現(xiàn)有VPN網(wǎng)絡(luò)接入方式種類繁雜

在行業(yè)客戶數(shù)字化提升的發(fā)展過程中，包括企業(yè)資源規(guī)劃、基于IP 網(wǎng)絡(luò)的語音、基于IP 網(wǎng)絡(luò)的會議和教學(xué)活動、工業(yè)互聯(lián)網(wǎng)制造等在內(nèi)的現(xiàn)代企業(yè)的業(yè)務(wù)流程，更多地需要自身的企業(yè)專網(wǎng)來賦能。運(yùn)營商VPN 以其獨具特色的優(yōu)勢贏得了越來越多的企業(yè)的青睞，使企業(yè)可以較少地關(guān)注網(wǎng)絡(luò)的運(yùn)行與維護(hù)，更多致力于企業(yè)商業(yè)目標(biāo)的實現(xiàn)。VPN 在保證客戶網(wǎng)絡(luò)的安全性、可靠性和可管理性的同時，需提供更強(qiáng)的擴(kuò)展性和靈活性。

運(yùn)營商采用多項VPN 技術(shù)為客戶提供全連接網(wǎng)絡(luò)服務(wù)，包括VPWS、VPLS、GRE、L2TP、IPSec 等VPN。這些技術(shù)采用三層網(wǎng)絡(luò)互連或二層網(wǎng)絡(luò)互連的模式，提供點對點、點對多點的專網(wǎng)服務(wù)，但不同的VPN 部署方式存在不同的短板，缺乏適應(yīng)統(tǒng)一支撐的全場景服務(wù)能力，接入方式種類繁雜。例如，VPWS 能夠模擬點對點專線，但在多點互通方面能力不足；VPLS 可以支持多點連接的網(wǎng)絡(luò)，但控制與轉(zhuǎn)發(fā)平面扁平單一，缺乏立體分層。同時，現(xiàn)有VPN 解決方案對客戶云網(wǎng)融合發(fā)展場景訴求的支撐尚顯不足。

2.2 傳統(tǒng)MPLS VPN客戶網(wǎng)絡(luò)安全保障性不足

傳統(tǒng)基于MPLS VLL/VPLS/VPWS 的VPN 技術(shù)在客戶應(yīng)用時存在諸多限制，如負(fù)載分擔(dān)能力不足、缺乏逃生路徑、網(wǎng)絡(luò)資源消耗較高等問題，如表1 所示。

表1 傳統(tǒng)VPN維度比較

高可用性的運(yùn)營商網(wǎng)絡(luò)需要避免由于單點故障造成客戶整體網(wǎng)絡(luò)業(yè)務(wù)中斷的情形，如接入電路中斷、網(wǎng)絡(luò)設(shè)備板塊故障、掉電、受到網(wǎng)絡(luò)攻擊等。若不能提高網(wǎng)絡(luò)的容錯能力，不能向客戶提供類似雙路由、雙節(jié)點的異地災(zāi)備服務(wù)，一方面會造成行業(yè)客戶對所選擇的運(yùn)營商服務(wù)的信任危機(jī)，另一方面也會導(dǎo)致客戶在其網(wǎng)絡(luò)自身建設(shè)和運(yùn)營中，選擇另外多家運(yùn)營商的網(wǎng)絡(luò)服務(wù)作為備份手段。

從效益營收角度來說，這既會削弱運(yùn)營商的核心市場競爭力，也會導(dǎo)致本該雙線收入的利好局面縮減為單線收入，同時多家運(yùn)營商、多宿主接入的方式對客戶的業(yè)務(wù)管理、故障排除等也造成諸多問題。

2.3 EVPN雙歸模型價值

EVPN 作為SDN 時代下的新型MPLS VPN 技術(shù)，對運(yùn)營商VPN 服務(wù)注入了新鮮活力，其為網(wǎng)絡(luò)帶來了靈活的業(yè)務(wù)接入方式、控制層面可定制化的MAC 學(xué)習(xí)、簡潔的操作維護(hù)、高效的帶寬利用和流量優(yōu)化等耳目一新的變化。類似信息通信產(chǎn)業(yè)的香農(nóng)定律和摩爾定律，無論運(yùn)營商骨干匯聚節(jié)點（BAS 層面）如何提升設(shè)備性能，在應(yīng)對單點風(fēng)險方面仍顯不足，一般是采取設(shè)備裂分方式來分擔(dān)客戶業(yè)務(wù)，縮減故障影響范圍，但受多因素影響，效果不佳。EVPN 的雙歸架構(gòu)網(wǎng)絡(luò)模型能夠有效解決客戶的負(fù)載分擔(dān)和多歸屬的技術(shù)問題，EVPN雙歸模型如圖1所示。

圖1 EVPN雙歸模型

EVPN雙歸模型可采用單活或雙活2種模式。

a）單活模式：若PE 3 收到PE 1 和PE 2 的per ES A-D Route中有1個通告的是單活模式，則ES 1按照單活模式處理，這時流量只能走主PE（假設(shè)PE 1 為主用PE）。如果PE 1 接入的客戶端發(fā)生故障，PE 1 設(shè)備可以先撤銷per ES A-D Route，此時PE 3 及時切換流量到PE 2。

b）雙活模式：若PE 3 收到的一組per ES A-D Route 中全部通告的是多活模式，則ES 1 按照多活模式處理，這時流量可以通過PE 1和PE 2同時進(jìn)行負(fù)載分擔(dān)轉(zhuǎn)發(fā)。

綜上，無論具體采用哪一種雙歸模型，均可以根據(jù)客戶訴求進(jìn)行靈活部署，從而為客戶提供高可用網(wǎng)絡(luò)，避免單點故障影響業(yè)務(wù)。

3 EVPN雙歸架構(gòu)創(chuàng)新推動行業(yè)客戶應(yīng)用數(shù)字化轉(zhuǎn)型能力提升方案

3.1 行業(yè)客戶應(yīng)用數(shù)字化能力的提升訴求

隨著整個社會加速邁向數(shù)字化、網(wǎng)絡(luò)化、智能化，尤其是5G加速賦能千行百業(yè)數(shù)字化轉(zhuǎn)型，催生智慧城市、智慧交通、智慧能源、智慧醫(yī)療等海量應(yīng)用，新技術(shù)、新應(yīng)用、新場景對運(yùn)營商互聯(lián)網(wǎng)的承載能力提出了更高的要求。EVPN 雙歸部署服務(wù)模式適用于對業(yè)務(wù)實時性要求較高的敏感行業(yè)客戶，包括民生、金融、政法、交通、安防等行業(yè)，覆蓋政府云應(yīng)用平臺、銀行核心業(yè)務(wù)系統(tǒng)及安防系統(tǒng)、保險證券核心系統(tǒng)、彩票銷售系統(tǒng)和高速支付系統(tǒng)等應(yīng)用場景。

3.2 EVPN雙歸架構(gòu)實驗環(huán)境搭建

某省聯(lián)通采用自主搭建的開源EVPN 實驗平臺，其中涉及實驗仿真設(shè)備的能力評估、來對EVPN 控制層面和轉(zhuǎn)發(fā)層面涉及的相關(guān)協(xié)議、網(wǎng)絡(luò)對接接口進(jìn)行EVPN雙歸網(wǎng)絡(luò)架構(gòu)的組網(wǎng)開發(fā)驗證。

第1步：采用VMware Workstation 作為虛擬開發(fā)系統(tǒng)平臺，通過EVE-NG 實驗仿真軟件搭建網(wǎng)絡(luò)底層仿真環(huán)境，選擇某廠家設(shè)備型號的虛擬路由器鏡像承擔(dān)實驗PE 角色，搭建EVPN 試驗網(wǎng)，EVPN 試驗網(wǎng)架構(gòu)如圖2所示。

圖2 EVPN實驗網(wǎng)

第2 步：客戶中心點CE 1 采用跨機(jī)框聚合MCLAG 技術(shù)與運(yùn)營商EVPN 網(wǎng)絡(luò)的PE 1 和PE 2 進(jìn)行雙歸對接組網(wǎng)，觀察EVPN Type 1/2/3/4 路由通信過程，EVPN Type 1/2/3/4路由實驗報文分析如圖3所示。

圖3 EVPN Type 1/2/3/4路由實驗報文分析

第3 步：采用T 值假設(shè)檢驗方式，對EVPN 雙歸場景下客戶中心點的業(yè)務(wù)切換時間進(jìn)行量化分析（采用PING 方法測試），共涉及5 種中斷模擬類別，EVPN 雙歸場景業(yè)務(wù)中斷模擬場景如表2所示。

表2 EVPN雙歸場景業(yè)務(wù)中斷模擬場景

對5 種中斷模擬類別分別進(jìn)行6 次測試，共30 次模擬實驗，并采用T 值假設(shè)檢驗的方法，利用Minitab 18軟件進(jìn)行檢驗，測試EVPN雙歸業(yè)務(wù)的切換時間，具體數(shù)據(jù)如表3所示。

表3 EVPN雙歸業(yè)務(wù)切換時長數(shù)據(jù)

實驗中采用顯著性水準(zhǔn)α=0.05 的情況，檢驗EVPN雙歸場景下業(yè)務(wù)切換時長。

a）提出假設(shè)。原假設(shè)H0：μ≤120 ms；備擇假設(shè)H1：μ＞120 ms。

c）計算檢驗統(tǒng)計量。自由度V=n-1=30-1=29，。

d）查相應(yīng)界值表，確定P值=1.699。

按α=0.05水準(zhǔn)，T

3.3 某市聯(lián)通寬帶網(wǎng)EVPN商用架構(gòu)及雙歸部署方案

以EVPN 實驗仿真為攻關(guān)基礎(chǔ)，某省聯(lián)通選擇以某市聯(lián)通寬帶城域網(wǎng)為突破口，牽頭部署EVPN 商用網(wǎng)絡(luò)架構(gòu)，為行業(yè)客戶數(shù)字化轉(zhuǎn)型賦能部署網(wǎng)絡(luò)商用實踐方案。

某市聯(lián)通采用寬帶城域網(wǎng)BAS 作為EVPN PE 角色向客戶提供EVPN 業(yè)務(wù)接入能力的部署思路。為支持BAS EVPN 能力，需將現(xiàn)網(wǎng)BAS 的軟件版本由目前的V6R9 升級至V8R10，同時，為降低BAS 升級帶來的在線用戶數(shù)等業(yè)務(wù)開銷對BAS CPU 利用率的沖擊風(fēng)險，采用軟件升級抽樣測試評估、BAS商用規(guī)模推廣部署的步驟來分步實施。

3.3.1 某市聯(lián)通設(shè)備軟件升級抽樣測試

從現(xiàn)網(wǎng)BAS 的最大用戶數(shù)和平均用戶數(shù)2 個維度，判斷現(xiàn)網(wǎng)BAS 的在線用戶數(shù)是否符合正態(tài)性分布。以月數(shù)據(jù)為統(tǒng)計源，P值=0.05 為門限，正態(tài)性檢驗如圖4所示。

圖4 中，P值均大于0.05，說明BAS 的最大在線用戶數(shù)和平均在線用戶數(shù)均符合正態(tài)性分布。

圖4 CPU利用率正態(tài)性檢驗

為避免升級后BAS 的CPU 利用率超過告警門限（70%），對業(yè)務(wù)產(chǎn)生影響或宕機(jī)，根據(jù)現(xiàn)網(wǎng)BAS用戶數(shù)分布規(guī)模，抽樣選擇用戶數(shù)為2 萬、3 萬和4 萬的BAS各一臺，進(jìn)行先期軟件升級，并通過網(wǎng)管系統(tǒng)提取BAS升級后5 天的CPU 利用率數(shù)據(jù)，采用控制圖和過程能力分析進(jìn)行評估，證明抽樣BAS 的CPU 利用率在升級前后穩(wěn)定可控，未超過告警門限值70%，如圖5所示。

圖5 CPU利用率的過程能力報告和R控制圖

3.3.2 EVPN雙歸商用網(wǎng)絡(luò)架構(gòu)部署，構(gòu)建技術(shù)底座

根據(jù)抽樣BAS 升級經(jīng)驗，某市聯(lián)通對全網(wǎng)BAS 進(jìn)行EVPN推廣部署。采用DOE設(shè)計方案將升級步驟進(jìn)一步優(yōu)化，以應(yīng)對升級過程中ONU 突發(fā)大量DHCP 注冊報文對BAS CPU的沖擊風(fēng)險，部署步驟優(yōu)化為3步。

步驟1：在城域網(wǎng)各臺BAS 節(jié)點軟件升級前，對各項準(zhǔn)備工作部署到位，包括工具和軟件、設(shè)備運(yùn)行情況、變更風(fēng)險評估及應(yīng)對措施、升級腳本和資料準(zhǔn)備等內(nèi)容。

步驟2：在BAS 升級時間窗口內(nèi)，優(yōu)化升級相關(guān)模塊的命令，包括關(guān)閉設(shè)備系統(tǒng)定時保存配置的功能，整機(jī)用戶下線并關(guān)閉接入側(cè)端口，設(shè)置下次啟動大包/補(bǔ)丁，關(guān)閉地址池自動隔離功能、解鎖域、逐步打開下行端口等內(nèi)容，并逐個進(jìn)行業(yè)務(wù)恢復(fù)，防止多個業(yè)務(wù)同時啟動帶來的風(fēng)暴沖擊。

步驟3：在BAS 升級完成后，逐個進(jìn)行相關(guān)業(yè)務(wù)PING測試、設(shè)備狀態(tài)檢查、現(xiàn)場業(yè)務(wù)判定等內(nèi)容，觀察BAS 的CPU 利用率占用情況，確保BAS 的CPU 資源消耗穩(wěn)定在合理門限范圍內(nèi)。

每個BAS 所在節(jié)點部署2 臺BAS 以覆蓋EVPN 雙歸場景，如圖6所示。

圖6 EVPN 雙歸應(yīng)用部署場景

EVPN 客戶CE 支持非Trunk 上聯(lián)和Trunk 上聯(lián)2種方式實現(xiàn)雙歸，其中Trunk 部署支持雙活模式。對于雙歸接入，除ES 設(shè)置外，雙歸節(jié)點需要指定相同的本地AC ID和遠(yuǎn)端AC ID，ES路由用法與單歸EVPN相同，雙歸PE間還可建立EVPN ICB，用來做跨機(jī)框故障的快速保護(hù)，EVPN雙規(guī)單活部署場景和EVPN雙規(guī)多活部署場景分別如圖7和圖8所示。

圖7 EVPN 雙歸單活部署場景

圖8 EVPN 雙歸多活部署場景

4 “VPN+”運(yùn)營經(jīng)驗創(chuàng)新

EVPN 延展了傳統(tǒng)VPN 的應(yīng)用場景，實現(xiàn)“VPN+”創(chuàng)新，能契合更加開放活躍的技術(shù)與業(yè)務(wù)創(chuàng)新、更加高效靈活的組網(wǎng)與業(yè)務(wù)提供、更加優(yōu)異的性能與用戶體驗，有力支撐行業(yè)客戶數(shù)字經(jīng)濟(jì)蓬勃發(fā)展。

4.1 EVPN服務(wù)模式的優(yōu)勢

EVPN 雙歸架構(gòu)服務(wù)的部署，相比物理光纖、傳輸專線等傳統(tǒng)組網(wǎng)模型有著低成本、廣覆蓋、可行性高、高拓展等商用優(yōu)勢，能拓展更加細(xì)化的“VPN+”多接入應(yīng)用場景，EVPN服務(wù)模式優(yōu)勢對比如表4所示。

表4 EVPN服務(wù)模式優(yōu)勢對比

4.2 EVPN專線成本及效益評估對比分析

某省聯(lián)通參照某市EVPN 網(wǎng)絡(luò)部署經(jīng)驗，制定了不同速率步長的EVPN 專線產(chǎn)品資費和具體專線的量化收益策略，如表5所示。

表5 EVPN專線產(chǎn)品及資費

同時，對EVPN 專線的業(yè)務(wù)受理流程進(jìn)行了嚴(yán)格的控制，具體流程包括資費審批、合同簽署、EVPN 域名配置、營業(yè)系統(tǒng)配置、資源確認(rèn)和交付落地等環(huán)節(jié)，完成閉環(huán)管理。

4.3 EVPN架構(gòu)部署運(yùn)維效率

通過深入分析某市聯(lián)通現(xiàn)網(wǎng)設(shè)備的各項參數(shù)數(shù)據(jù)，如CPU 利用率、內(nèi)存利用率、在線用戶數(shù)等，將現(xiàn)網(wǎng)劃分為低、中、高3 個風(fēng)險區(qū)間，分階段優(yōu)化BAS 升級，最終實現(xiàn)網(wǎng)絡(luò)設(shè)備零投資，完成某市聯(lián)通城域網(wǎng)EVPN 架構(gòu)部署，節(jié)省網(wǎng)絡(luò)設(shè)備投資840 萬元，節(jié)省網(wǎng)絡(luò)運(yùn)維成本100 余萬元，共計節(jié)省網(wǎng)絡(luò)投資支出900多萬元。EVPN架構(gòu)部署運(yùn)維效率如表6所示。

5 EVPN網(wǎng)絡(luò)架構(gòu)持續(xù)演進(jìn)創(chuàng)新分析

隨著新一代網(wǎng)絡(luò)轉(zhuǎn)型的開啟，從云網(wǎng)協(xié)同到算網(wǎng)一體，網(wǎng)絡(luò)的作用和價值正在發(fā)生變化。某省聯(lián)通正逐步將EVPN 與SR、SRv6 進(jìn)行深度網(wǎng)絡(luò)融合，打造更加泛在、柔性、協(xié)同、智能、安全和可定制的簡約化數(shù)字網(wǎng)絡(luò)基礎(chǔ)設(shè)施。與5G 建設(shè)相關(guān)的智能城域網(wǎng)原生態(tài)支持EVPN、SR等新型互聯(lián)網(wǎng)關(guān)鍵技術(shù)的同時，覆蓋公眾客戶和行業(yè)客戶最多的傳統(tǒng)寬帶城域網(wǎng)亦可以進(jìn)行多層次的數(shù)字化轉(zhuǎn)型，通過推動運(yùn)營人員OT 能力深耕，充分挖掘網(wǎng)絡(luò)的ICT 價值，為行業(yè)客戶打造低時延、安全可信和高質(zhì)量的感知增強(qiáng)網(wǎng)絡(luò)。

從IPv4 到IPv6，IP 網(wǎng)絡(luò)正在發(fā)生體制性的變革，IPv6 正加速與多種技術(shù)融合，工業(yè)互聯(lián)網(wǎng)、智慧金融、智慧政府等領(lǐng)域的應(yīng)用前景正在開啟，后續(xù)將浮現(xiàn)更多行業(yè)的數(shù)字化轉(zhuǎn)型機(jī)遇。EVPN 天然的BGP 控制層擴(kuò)展能力能夠更好地契合行業(yè)互聯(lián)網(wǎng)的發(fā)展環(huán)境，為客戶的自動化云遷移、云災(zāi)備等服務(wù)部署能力提供更易延伸的專網(wǎng)技術(shù)架構(gòu)，破除客戶業(yè)務(wù)的網(wǎng)絡(luò)局限壁壘，協(xié)同SRv6大幅降低云網(wǎng)協(xié)同的復(fù)雜度。

6 結(jié)束語

目前，整個行業(yè)數(shù)字化轉(zhuǎn)型的發(fā)展“+”速度已經(jīng)凸顯，無論是“VPN+”體系技術(shù)創(chuàng)新，還是相應(yīng)融合應(yīng)用落地，都將助推我國新一代高質(zhì)量網(wǎng)絡(luò)“底座”的構(gòu)建，助力經(jīng)濟(jì)社會的高質(zhì)量發(fā)展。某省聯(lián)通積極響應(yīng)CUBE-Net 3.0的網(wǎng)絡(luò)發(fā)展指導(dǎo)和集團(tuán)公司1+5+5的工作部署，在傳統(tǒng)寬帶城域網(wǎng)和智能城域網(wǎng)基礎(chǔ)上，通過試驗攻關(guān)網(wǎng)絡(luò)關(guān)鍵技術(shù)，主動開展有利于行業(yè)客戶的創(chuàng)新探索，持續(xù)實現(xiàn)網(wǎng)絡(luò)創(chuàng)新服務(wù)的商用落地。

同時，某省聯(lián)通采用以師帶徒、薪火相傳的方式，進(jìn)一步將專家人才的個人價值賦能于網(wǎng)絡(luò)線人員，提升團(tuán)隊整體交付能力，協(xié)同進(jìn)步，形成高質(zhì)量、立體化、多層次的網(wǎng)絡(luò)技術(shù)產(chǎn)品和服務(wù)，以扎實的生產(chǎn)力服務(wù)履行“三個一切”宗旨，為行業(yè)和客戶的數(shù)字化發(fā)展助力。