張學(xué)良

南京中興軟件有限責(zé)任公司

0 引言

經(jīng)過一年多的5G建設(shè)，中國已經(jīng)建成全球最大的5G網(wǎng)絡(luò)。5G核心網(wǎng)采用SDN/NFV技術(shù)部署在云資源池上，引入大量的IT技術(shù)和新的組網(wǎng)技術(shù)，硬件層、虛擬層和業(yè)務(wù)層擁有大量的組件，運(yùn)維工作量和復(fù)雜度成倍增加。整個(gè)5G網(wǎng)絡(luò)是面向服務(wù)化和云化架構(gòu)設(shè)計(jì)的，在業(yè)務(wù)層面采用切片以及微服務(wù)的SA組網(wǎng)，在NFVI層采用云原生以及SDN等新技術(shù)。但設(shè)備商和運(yùn)營商缺乏云資源池的運(yùn)維和運(yùn)營能力，卻要立即面對(duì)已商用的全球最大5G核心網(wǎng)網(wǎng)絡(luò)，相比基于煙囪式的2G、3G和4G核心網(wǎng)設(shè)備，5G核心網(wǎng)的SDN/NFV云化部署給運(yùn)營商的運(yùn)維帶來巨大的挑戰(zhàn)。面對(duì)這些挑戰(zhàn)，運(yùn)維體系需要盡快做出演進(jìn)，才能滿足日益增長的高質(zhì)量網(wǎng)絡(luò)需求。

1 核心網(wǎng)部署架構(gòu)

1.1 核心網(wǎng)NFV架構(gòu)

5G核心網(wǎng)采用NFV架構(gòu)，如圖1所示。該架構(gòu)包含虛擬化的網(wǎng)元、MANO以及NFVI基礎(chǔ)設(shè)施。MANO負(fù)責(zé)網(wǎng)元的設(shè)計(jì)與編排以及生命周期管理，NFVI基礎(chǔ)設(shè)施負(fù)責(zé)將硬件資源云化，提供虛擬的網(wǎng)絡(luò)、計(jì)算和存儲(chǔ)資源?，F(xiàn)在的電信云在該架構(gòu)基礎(chǔ)上進(jìn)行局部調(diào)整，從而能夠更加靈活部署以及更加快速上線新的網(wǎng)絡(luò)需求。

圖1 NFV架構(gòu)

1.2 核心網(wǎng)云資源池設(shè)計(jì)

為了能夠充分發(fā)揮5G網(wǎng)絡(luò)的高可靠、低時(shí)延和大連接特性，滿足全國人網(wǎng)和物網(wǎng)的高質(zhì)量網(wǎng)絡(luò)需求，采用層次化、結(jié)構(gòu)化和模塊化的原則來部署全部5G核心網(wǎng)的電信云，如圖2所示。5GC核心網(wǎng)中的控制平面網(wǎng)元部署在集中云，而媒體平面的網(wǎng)元部署在邊緣云中。

圖2 電信云資源池部署圖

集中云：為了應(yīng)對(duì)全國的用戶接入，運(yùn)營商通常劃分大區(qū)來部署集中的電信云。5GC的控制面網(wǎng)元AMF、SMF、NRF、AUSF以及UDM等網(wǎng)元部署在大區(qū)制的數(shù)據(jù)中心。管理子系統(tǒng)既可以與網(wǎng)元在同一個(gè)云資源池，也可以單獨(dú)組成一個(gè)管理域的云資源池，負(fù)責(zé)整個(gè)DC資源管理、性能統(tǒng)計(jì)和統(tǒng)一告警。高性能服務(wù)器網(wǎng)絡(luò)子系統(tǒng)既可以是傳統(tǒng)的VLAN組網(wǎng)，也可以為SDN組網(wǎng)。分為計(jì)算型服務(wù)器和存儲(chǔ)型服務(wù)器，前者給云平臺(tái)提供算力，后者硬盤較多，作為分布式存儲(chǔ)的節(jié)點(diǎn)。通常集中云的組網(wǎng)方案為OpenFlow+eVPN或純eVPN的VxLAN組網(wǎng)方案。

邊緣云：為了有效降低網(wǎng)絡(luò)的時(shí)延，在接入層就近疏導(dǎo)接入流量，通常在靠近基站的地方部署核心網(wǎng)的UPF等媒體面網(wǎng)元。高性能服務(wù)器當(dāng)做計(jì)算節(jié)點(diǎn)并提供本地存儲(chǔ)。為了滿足大流量的高速轉(zhuǎn)發(fā)，服務(wù)器上會(huì)安裝100G的智能網(wǎng)卡。在智能網(wǎng)卡中完成流量轉(zhuǎn)發(fā)和流量統(tǒng)計(jì)。網(wǎng)絡(luò)子系統(tǒng)中采用VLAN和高級(jí)路由協(xié)議來進(jìn)行二三層通信。

1.3 集中云的三層三平面網(wǎng)絡(luò)架構(gòu)

集中云采用結(jié)構(gòu)化和層次化網(wǎng)絡(luò)設(shè)計(jì)原則，如圖3所示。水平方向劃分為接入層、核心層和出口層，垂直方向劃分為管理平面、存儲(chǔ)平面和業(yè)務(wù)平面。

圖3 集中云采用結(jié)構(gòu)化和層次化網(wǎng)絡(luò)設(shè)計(jì)原則

接入層：不同角色的服務(wù)器提供接入網(wǎng)絡(luò)的端口，通常采用10GE光纖連接。

核心層：匯聚接入層過來的流量并高速轉(zhuǎn)發(fā)，通常采用40GE的光纖與TOR進(jìn)行交叉連線。

出口層：負(fù)責(zé)與外部網(wǎng)絡(luò)進(jìn)行互聯(lián)并提供高級(jí)路由功能，與外部網(wǎng)絡(luò)進(jìn)行快速互聯(lián)。通常采用100G進(jìn)行口字型連線。

管理平面：云平臺(tái)和存儲(chǔ)系統(tǒng)的管理類型流量通信，在不同的管理流量采用VLAN進(jìn)行隔離。

存儲(chǔ)平面：分布式存儲(chǔ)集群的前后端通信平面以及云平臺(tái)與存儲(chǔ)通信的平面。云平臺(tái)與存儲(chǔ)對(duì)接用三層通信。

業(yè)務(wù)平面：核心網(wǎng)業(yè)務(wù)通信的流量，Underlay采用VLAN+OSPF協(xié)議保證VTEP點(diǎn)之間快速互通。Overlay采用OpenFlow+eVPN方案，保證眾多5GC網(wǎng)元的東西流量和南北流量快速互通。

3 二維運(yùn)維體系建立

過去的煙囪式設(shè)備維護(hù)簡單，運(yùn)維人員只需負(fù)責(zé)單一設(shè)備的告警、配置以及性能監(jiān)測，但是電信云在垂直集成上網(wǎng)元業(yè)務(wù)實(shí)現(xiàn)涉及到業(yè)務(wù)架構(gòu)、云平臺(tái)以及SDN組網(wǎng)等新技術(shù)，水平集成上涉及不同廠家的軟硬件設(shè)備。在大規(guī)模數(shù)據(jù)中心中，軟硬件設(shè)備眾多，技術(shù)復(fù)雜度很高，而國內(nèi)運(yùn)營商并沒有云資源池運(yùn)維的經(jīng)驗(yàn)，加上原來采用以省公司和市公司為主分級(jí)開展運(yùn)維工作，而現(xiàn)在采用大區(qū)制集中云資源池部署，幾個(gè)省份共用一個(gè)數(shù)據(jù)中心的資源部署核心網(wǎng)的網(wǎng)元。云資源的分配、監(jiān)控和故障排查等運(yùn)維工作需要大區(qū)和省公司能夠有效協(xié)同起來，共同維護(hù)好大區(qū)資源池和邊緣云的高質(zhì)量網(wǎng)絡(luò)。5G通信作為生活和工作的基本需求，又是物聯(lián)網(wǎng)的重要組網(wǎng)部分，網(wǎng)絡(luò)的穩(wěn)定性和可靠性至關(guān)重要。在云資源池運(yùn)維經(jīng)驗(yàn)不足、資源池內(nèi)組件眾多、技術(shù)復(fù)雜的情況下，怎么才能做好高質(zhì)量的運(yùn)維工作？

為了更好地應(yīng)對(duì)這些挑戰(zhàn)，本文提出了以技術(shù)領(lǐng)域和能力模型的二維法來建立運(yùn)維體系。首先，技術(shù)領(lǐng)域采用“高內(nèi)聚、低耦合”原則將電信云分層劃分獨(dú)立的專業(yè)子系統(tǒng)。表1描述了專業(yè)子系統(tǒng)的運(yùn)維工作職責(zé)?！案邇?nèi)聚、低耦合”是軟件設(shè)計(jì)上的通用設(shè)計(jì)方法，同樣能夠?qū)嫶?、?fù)雜的電信云劃分為專業(yè)子系統(tǒng)，各個(gè)專業(yè)子系統(tǒng)有專門的團(tuán)隊(duì)或小組負(fù)責(zé)運(yùn)維工作以及運(yùn)維技術(shù)研究。

表1 電信云專業(yè)子系統(tǒng)

機(jī)房子系統(tǒng) 機(jī)架、機(jī)房供電和制冷等物理系統(tǒng)監(jiān)測和維護(hù)工作網(wǎng)絡(luò)子系統(tǒng) （1）維護(hù)對(duì)象：網(wǎng)絡(luò)設(shè)備硬件、網(wǎng)絡(luò)操作系統(tǒng)、交換和路由、物理線路等（2）維護(hù)內(nèi)容：網(wǎng)絡(luò)設(shè)備的配置，網(wǎng)絡(luò)流量、動(dòng)態(tài)表等性能統(tǒng)計(jì)以及告警管理、版本升級(jí)管理等（1）維護(hù)對(duì)象：AMF、NRF、SMF、AUSF和UDM等5GC網(wǎng)元以及其它的MANO、EPC和IMS網(wǎng)元（2）維護(hù)內(nèi)容：網(wǎng)元內(nèi)部資源監(jiān)測、網(wǎng)元內(nèi)部和外部的業(yè)務(wù)指標(biāo)測量與告警管理等安全子系統(tǒng) （1）維護(hù)對(duì)象：防火墻、IPS、抗DDOS攻擊以及漏洞掃描等（2）維護(hù)內(nèi)容：安全威脅分析、入侵監(jiān)測，安全事件處理等構(gòu)建安全的技術(shù)和管理體系業(yè)務(wù)子系統(tǒng)

將整個(gè)電信云有機(jī)劃分為專業(yè)的子系統(tǒng)，每個(gè)子系統(tǒng)通過能力模型來驅(qū)動(dòng)持續(xù)改進(jìn)運(yùn)維工作質(zhì)量。通過引入能力模型來度量運(yùn)維的工作，不僅能夠促進(jìn)運(yùn)維工作流程化和標(biāo)準(zhǔn)化，還能持續(xù)改進(jìn)，引入自動(dòng)化和智能化方法來不斷提升運(yùn)維效率，促進(jìn)不同廠家產(chǎn)品質(zhì)量提升，共同打造精品網(wǎng)絡(luò)。表2展示了電信云運(yùn)維能力模型。能力模型從人員構(gòu)成、能力、運(yùn)維的規(guī)范性、度量、自動(dòng)化、智能化維度來評(píng)估。

表2 電信云運(yùn)維能力模型

電信云的技術(shù)復(fù)雜度以及部署的數(shù)量遠(yuǎn)遠(yuǎn)超過以前，引入自動(dòng)化和智能化運(yùn)維工具尤其重要。自動(dòng)化部署與驗(yàn)證、自動(dòng)化巡檢、AI故障識(shí)別以及故障定界和根因分析工具需要進(jìn)入到運(yùn)維工作中。整個(gè)電信云中成百上千的組件，每時(shí)每刻都會(huì)產(chǎn)生大量的日志以及KPI數(shù)據(jù)，再疊加上大大小小的集中云和邊緣云，將會(huì)產(chǎn)生超大的日志和KPI數(shù)據(jù)，這些數(shù)據(jù)“價(jià)值連城”，利用AI技術(shù)可以從中挖掘出系統(tǒng)隱患，在故障產(chǎn)生前就能發(fā)現(xiàn)并解決；當(dāng)故障發(fā)生時(shí)，及時(shí)推薦有效的解決辦法，5GC業(yè)務(wù)流程鏈條長，云平臺(tái)、網(wǎng)絡(luò)、存儲(chǔ)等各種因素都可能會(huì)影響業(yè)務(wù)的連續(xù)性，所以電信云的運(yùn)維更加需要AI來智能化運(yùn)維。

4 結(jié)果評(píng)價(jià)

選取某電信云站點(diǎn)應(yīng)用二維運(yùn)維體系前后的運(yùn)維數(shù)據(jù)對(duì)比，如表3所示。采集體系建立后三個(gè)月的運(yùn)維數(shù)據(jù)，通過分析表明二維運(yùn)維體系建立后縮短了故障平均定位時(shí)間和平均巡檢時(shí)間，提升了團(tuán)隊(duì)發(fā)現(xiàn)隱患數(shù)量以及能力等級(jí)。團(tuán)隊(duì)能力等級(jí)按照本文提出的二維體系來測量，通過舉證和專業(yè)技術(shù)考試來評(píng)價(jià)。

表3 運(yùn)維數(shù)據(jù)分析

5 結(jié)束語

本文詳細(xì)分析了5G核心網(wǎng)部署以及技術(shù)復(fù)雜度，相比傳統(tǒng)的單一設(shè)備維護(hù)，電信云的運(yùn)維面臨前所未有的挑戰(zhàn)。為了應(yīng)對(duì)這些挑戰(zhàn)，提出了二維運(yùn)維體系，從技術(shù)劃分專業(yè)子系統(tǒng)和能力度量模型兩個(gè)方面來嘗試組織開展高效的運(yùn)維工作。通過“高內(nèi)聚、低耦合”的方法對(duì)子系統(tǒng)進(jìn)行專業(yè)技術(shù)建設(shè)，通過能力模型來指導(dǎo)各個(gè)子系統(tǒng)有序化、標(biāo)準(zhǔn)化、智能化、量化，并優(yōu)化運(yùn)維工作，使得電信云能夠高效高品質(zhì)進(jìn)行運(yùn)維。