何均均 王江舟 李 輝

中國移動通信集團江蘇有限公司南通分公司

0 引言

近年來，隨著移動“CHBN”（Customer、Home、Business、New，個人市場、家庭市場、政企市場、新興市場）業(yè)務的飛速發(fā)展，云網(wǎng)融合成為必行之勢。江蘇移動在云網(wǎng)建設上起步較晚，但經(jīng)過持續(xù)發(fā)力，目前在云網(wǎng)上已經(jīng)初具規(guī)模，具有較大的市場競爭力。在新形勢下，如何更好地提供云網(wǎng)一體化的網(wǎng)絡能力，高效支撐業(yè)務發(fā)展還面臨著以下三點挑戰(zhàn)：（1）目前，公有云的發(fā)展已相對成熟，但私有云產(chǎn)品的定制和推廣效率較低，缺乏成熟的一體化網(wǎng)絡解決方案和融合產(chǎn)品，特別是跨區(qū)域、跨地市的私有云產(chǎn)品，更需要穩(wěn)定、可靠和安全的入云方式，而當前系統(tǒng)無法滿足重點客戶的私有云融合組網(wǎng)需求。（2）移動的云網(wǎng)融合產(chǎn)品仍比較單一，只支持點對點PTN（Packet Transport Network，分組傳送網(wǎng)）云專線，且PTN 專線開通成本高，調(diào)測周期較長，無法滿足集團客戶多種方式接入和快速入云的需求。（3）對于大量已在其他公有云上部署業(yè)務的客戶，移動運營商缺乏具有核心競爭力的產(chǎn)品，無法提供不可替代的粘性云服務。

1 技術方案

1.1 背景說明

為了解決目前云網(wǎng)融合一體化所面臨的挑戰(zhàn)，本文研究并實踐了江蘇省內(nèi)云網(wǎng)融合一體化網(wǎng)絡接入方案，通過地市云網(wǎng)互聯(lián)產(chǎn)生合力，MPLS-VPN（Multi-Protocol Label Switching-Virtual Private Network，采用多協(xié)議標簽轉(zhuǎn)換技術構(gòu)建IP專網(wǎng)）、SD-WAN（Software Defined Wide Area Network，軟件定義廣域網(wǎng)）融合，整合全省云資源，做到內(nèi)部資源最優(yōu)化，保障了云網(wǎng)業(yè)務的快速接入，提供了靈活快捷的業(yè)務開通方式，屬于全行業(yè)領先的系統(tǒng)應用。

1.2 云網(wǎng)建設

1.2.1 省級拓撲

方案設計如圖1 所示，在全省13 個地市各新建一對云網(wǎng)PE(Provider Edge，即Provide 的邊緣設備)，設置3 對P(Provider，提供商路由器)節(jié)點實現(xiàn)任意兩地市之間的云間互聯(lián)最低時延，分別為南京、無錫（與蘇州合設）和淮安。其中南京P 節(jié)點用于南京、揚州、鎮(zhèn)江和泰州的云網(wǎng)PE 接入，無錫（與蘇州合設）P 節(jié)點用于常州和南通的云網(wǎng)PE 接入，淮安P 節(jié)點用于淮安、宿遷、徐州、連云港和鹽城的云網(wǎng)PE接入。

圖1 江蘇移動云網(wǎng)拓撲

各地市的云網(wǎng)PE 接入建設原則為利用現(xiàn)有的NCE-IP（Network Cloud Engine，網(wǎng)絡云引擎），實現(xiàn)所有云網(wǎng)PE 以及P 節(jié)點的管控，各地市云網(wǎng)PE 與P 節(jié)點的連接，直連鏈路以“利舊為主，按需新建”為原則。

綜合地市設備接入方案為各地市NCE-SPN（Slicing Packet Network，切片分組網(wǎng)）管理云專線網(wǎng)絡SPN 設備，并新建一對云網(wǎng)PE，建立專線接入網(wǎng)絡。地市云新建一對云網(wǎng)PE，作為本地市云專線入云的落地PE。云網(wǎng)PE 增加連接城域SPN設備的鏈路，通過口字形組網(wǎng)實現(xiàn)云網(wǎng)PE 和SPN 互聯(lián)。云網(wǎng)PE 連接本地云DC-GW（Data Center-Gateway，數(shù)據(jù)中心網(wǎng)關）設備的鏈路，通過口字形組網(wǎng)實現(xiàn)云網(wǎng)PE 和云GW 互聯(lián)。

業(yè)務管理上，二級編排器與SC 控制器（Super controller，超級控制器）NCE-Super 和云管理平臺對接，SC 控制器NCESuper 與NCE-SPN 和NCE-IP 對接。業(yè)務開通上，二級編排器基于業(yè)務平臺訴求，調(diào)用SC 控制器創(chuàng)建專線，主要包括：（1）編排器轉(zhuǎn)換相關的業(yè)務信息和參數(shù)發(fā)給NCE-Super；（2）NCE-Super 將配置參數(shù)下發(fā)對應的NCE-IP；（3）NCE-IP 按業(yè)務類型下發(fā)配置到設備，完成業(yè)務發(fā)放。

如圖2 所示，南通建設的SPN 域，共設置8 臺設備，其中2 臺PTN980 接入設備，2 臺PTN7900-X12 作為普通匯聚，2 臺PTN7900-X12 作為骨干匯聚，2 臺PTN7900-24 作為核心設備。新增一對云網(wǎng)PE 設備，與無錫（蘇州）的云網(wǎng)PE 設備互聯(lián)。部署8 臺SPN 安裝和互聯(lián)，并通過NCE-SPN 納管，打通SPN 核心設備至NCE-SPN 的DCN 管理平面。南通二機樓的2 臺云網(wǎng)PE 和SPN 核心互聯(lián)，云網(wǎng)PE 至云DC-GW實現(xiàn)互聯(lián)，云網(wǎng)PE 至NCE-IP（南京江北IDC 機房）則通過DCN（Data Communication Network，數(shù)據(jù)通信網(wǎng)）打通路由，包括控制域IPv6 打通。NCE-Super（南京）與NCE-SPN、NCE-IP 之間連接，打通云網(wǎng)PE 至無錫（蘇州）的云網(wǎng)PE 傳輸電路。

圖2 南通地市云網(wǎng)拓撲

1.2.3 接入拓撲

設備部署DCN 功能，使NCE 能夠加載管理設備。使用網(wǎng)關與非網(wǎng)關組合方案，如圖3 所示，對于整個PTN 網(wǎng)絡，與外部DCN 網(wǎng)絡直連的PTN 7900E/PTN 7900 作為網(wǎng)關網(wǎng)元，未與外部DCN 網(wǎng)絡直連的接入層、匯聚層節(jié)點作為非網(wǎng)關網(wǎng)元，網(wǎng)關網(wǎng)元通過管理口與外部DCN 網(wǎng)絡連接，全網(wǎng)采用管理平面DCN 方案進行管理。

圖3 南通移動SPN 域云網(wǎng)拓撲

1.3 業(yè)務組織

1.3.1 業(yè)務接入設計

首先介紹業(yè)務承載方案，云網(wǎng)PE 作為企業(yè)租戶的網(wǎng)關，直接配置到租戶的靜態(tài)路由，云網(wǎng)PE 配置本地L3VPN，每專線每VPN，每VPC（Virtual Private Cloud，虛擬私有云）每VPN，VPN 間通過RT 互通。SPN 配置端到端VLL over SR-TP業(yè)務，采用SR-TP APS1:1 保護。SPN 和云網(wǎng)PE 對接，SPN側(cè)配置手工LAG（主備模式），云網(wǎng)PE 配置雙歸E-Trunk 雙活保護（主備模式）。

其次，業(yè)務發(fā)放流程如圖4 所示。（1）業(yè)務發(fā)放界面選擇業(yè)務套餐并觸發(fā)業(yè)務配置下發(fā)給編排器；（2）編排器轉(zhuǎn)換相關的業(yè)務信息和參數(shù)發(fā)給NCE-Super；（3）NCE-Super 將配置參數(shù)下發(fā)對應的NCE-IP；（4）NCE-IP 按業(yè)務類型下發(fā)配置到設備，完成業(yè)務發(fā)放。

圖4 云網(wǎng)業(yè)務承載發(fā)放

1.3.2 云互聯(lián)方案設計

今年以來，市場經(jīng)濟發(fā)展形勢比預期好，楚雄武定供電局抓住有利時機積極開展增供擴銷。通過走訪、加大優(yōu)惠電價政策宣傳，減少停電、提升客戶服務、推進市場化交易、積極與政府溝通匯報等方式穩(wěn)住存量。讓政策支撐、管理保障、市場拓展、服務提升多項措施齊頭并進，全力做好增供擴銷。

首先介紹業(yè)務承載方案，同一租戶的多云VPC 之間有互聯(lián)訴求，云網(wǎng)PE 之間配置EVPN L3VPN，承載隧道采用SRv6 Policy &SRv6 BE，部署HSB&VPN FRR。云網(wǎng)PE 和云網(wǎng)關之間使用靜態(tài)路由/EBGP（External Border Gateway Protocol，外部邊界網(wǎng)關協(xié)議），省內(nèi)云骨干采用信道化子接口分片方案。

其次介紹業(yè)務發(fā)放流程，如圖5 所示。（1）業(yè)務發(fā)放界面選擇業(yè)務套餐并觸發(fā)業(yè)務配置下發(fā)給編排器；（2）編排器轉(zhuǎn)換相關的業(yè)務信息和參數(shù)發(fā)給NCE-Super；（3）NCE-Super將配置參數(shù)下發(fā)對應的NCE-IP；（4）NCE-IP 按業(yè)務類型下發(fā)配置到設備，完成業(yè)務發(fā)放。

圖5 云互聯(lián)業(yè)務承載發(fā)放

1.3.3 業(yè)務實現(xiàn)場景

該云網(wǎng)融合支撐系統(tǒng)支持豐富的業(yè)務功能和業(yè)務場景，如表1 所示，支持云專線（一線多云、靈活調(diào)整）、5G 云專線、云組網(wǎng)/云專網(wǎng)和云資源池互聯(lián)等，使云網(wǎng)融合產(chǎn)生業(yè)務大合力。

表1 業(yè)務實現(xiàn)功能及場景

2 主要創(chuàng)新點及先進性

2.1 主要創(chuàng)新點

（1）豐富接入：本系統(tǒng)依托豐富的云資源和網(wǎng)絡資源，為企業(yè)上云提供多檔差異化的入云專線服務，提供云業(yè)務與專線業(yè)務一站式服務，具備業(yè)務自動化開通、帶寬彈性可調(diào)和多樣化接入等特點。

（2）泛在聯(lián)接：面向固定光纖無法接入或者接入困難的企業(yè)及其分支機構(gòu)，本系統(tǒng)利用5G 網(wǎng)絡，實現(xiàn)快速、高效、可靠入云接入。針對大型互聯(lián)網(wǎng)企業(yè)的2B2C 場景，本系統(tǒng)能為其提供低時延的服務保障。

（3）專網(wǎng)專用：為企業(yè)提供基于切片技術的分支入云及分支互聯(lián)的云專網(wǎng)服務。結(jié)合基于AI 的SDN 化管控系統(tǒng)，向用戶提供快速接入、靈活組網(wǎng)、高可靠、穩(wěn)定低時延和切片隔離的差異化云專網(wǎng)服務。

（4）多云互聯(lián)：云互聯(lián)基于省內(nèi)云專網(wǎng)網(wǎng)絡，打通各個地市云資源池，為客戶提供跨資源池的云內(nèi)VPC 高速互訪通道，助力企業(yè)輕松構(gòu)建異地災備和應用分布式部署等高可用網(wǎng)絡。

2.2 先進性

（1）業(yè)務快速開通：跨域超級控制器SC 實現(xiàn)業(yè)務天級開通，提供業(yè)務級接口與二級編排器對接，簡化集成，快速實現(xiàn)自動化業(yè)務發(fā)放。同時，可提供跨城域和省干、跨SPN 和云網(wǎng)PE、跨廠家協(xié)同、智能切片的功能，使業(yè)務帶寬能夠靈活調(diào)整。

（2）端到端SLA 質(zhì)量可視：按需使能業(yè)務iFit，可以逐跳完成時延和丟包等業(yè)務質(zhì)量上報，提供對外的API 接口，供第三方調(diào)用，實現(xiàn)用戶APP 業(yè)務SLA 可視。

（3）業(yè)務主動運維：通過iFit 業(yè)務逐條可視，從而實現(xiàn)故障快速定位定界；根據(jù)故障點信息，NCE 進行路徑優(yōu)化，實現(xiàn)故障自動恢復；通過歷史流量和故障大數(shù)據(jù)分析，提前預測故障并指導現(xiàn)網(wǎng)擴容等。

3 應用效果

3.1 整體應用情況

目前，云互聯(lián)已經(jīng)在江蘇利群成功落地實施，涉及省內(nèi)云網(wǎng)互聯(lián)多個點位，包括南通、泰州、宿遷各5 個點位，鹽城和揚州各4 個點位等。

SPN 入云方案已在如東洋口港企業(yè)落地實施，并且為客戶5G 入云帶來了合作可能以及快速便捷的入云體驗。

IPSec 快速入云方案為有上云需求的物聯(lián)網(wǎng)客戶提供靈活性高、性價比高的云服務，已在南通立訊智造科技（如皋）有限公司的云監(jiān)控項目落地實施，為客戶提供安全、穩(wěn)定、加密的云服務，是云網(wǎng)融合的典型應用。

5G 專網(wǎng)入云的方案已在南通中遠重工有限公司落地實施，并在中天推廣，客戶可以通過5G 終端接入移動云主機，實測端到端速率下行為700+Mbps，上行為100+Mbps，端到端時延在15ms 左右，支撐客戶5G 船舶制造、客戶智慧制造，滿足客戶對新網(wǎng)絡的需求，也樹立了江蘇移動在新業(yè)務領域的良好口碑。

同時基于云專網(wǎng)的入云方案，南通本地云主機和合營云主機實現(xiàn)互通，滿足了客戶靈活的業(yè)務需求，為移動云業(yè)務的發(fā)展帶來了新的動力，云間互操作成為可能，后續(xù)將逐步進行云網(wǎng)備份和遷移業(yè)務的拓展。

3.2 社會效益

云網(wǎng)融合是未來云計算領域的發(fā)展趨勢，大部分企業(yè)已開始采用云計算技術部署信息系統(tǒng)，企業(yè)上云意識和能力也不斷增強。5G 專線作為一種靈活便捷的移動云接入方式，具有大帶寬、低時延、海量連接和可移動的基礎網(wǎng)絡特性，能為企業(yè)節(jié)省大量布線成本，容易得到企業(yè)的青睞。IPSec、SDWAN 和MPLS-VPN 入云具有著成本低和開通快的優(yōu)勢，同時享有很高的安全性，為各類大中小企業(yè)辦公提供了輕量化和低成本的上云解決方案。我司積極進行云網(wǎng)一體化網(wǎng)絡能力構(gòu)建的探索與實踐，以云促網(wǎng)，以網(wǎng)帶云，以行業(yè)標桿帶動整體發(fā)展，全力支撐云網(wǎng)業(yè)務。

3.3 可推廣性

本方案各類模式組網(wǎng)拓撲清晰，設備配置腳本可參考，具備可復制性，并且已經(jīng)在南通本地進行了復制應用。5G+邊緣計算方案在中天集團落地實施，極大提升了移動云和5G 專網(wǎng)在行業(yè)的影響力，樹立了行業(yè)標桿。其他SPN 和專線入云方案在各大中小企業(yè)的實施，為移動云網(wǎng)一體化的融合拓展提供了強有力的例證。本云網(wǎng)一體化支撐系統(tǒng)是云網(wǎng)業(yè)務的先行示范，可以在全省甚至全集團進行大規(guī)模的推廣應用。

4 結(jié)束語

本文提出的云網(wǎng)一體化業(yè)務支撐系統(tǒng)，依托豐富的云資源和網(wǎng)絡資源，為企業(yè)上云提供了多檔差異化的入云專線服務。針對固定光纖無法接入或者接入困難的企業(yè)及其分支機構(gòu)，可利用5G 網(wǎng)絡，實現(xiàn)快速、高效、可靠入云接入，同時為企業(yè)提供基于切片技術的分支入云及分支互聯(lián)的云專網(wǎng)服務，具有多云互聯(lián)的優(yōu)勢，助力企業(yè)輕松構(gòu)建異地災備、應用分布式部署等高可用網(wǎng)絡。目前，云互聯(lián)、SPN 入云方案、IPSec 快速入云方案和5G 專網(wǎng)入云方案均已成功落地實施，為客戶帶來了快速便捷的入云體驗，滿足了客戶靈活的業(yè)務需求，為移動云業(yè)務的發(fā)展帶來了新動力，屬于全行業(yè)領先的系統(tǒng)應用。