張世華，胡 祎，張 奎，趙以爽（中訊郵電咨詢?cè)O(shè)計(jì)院有限公司鄭州分公司，河南鄭州 450007）

0 引言

5G SA 組網(wǎng)架構(gòu)標(biāo)準(zhǔn)的凍結(jié)與工業(yè)和信息化部向中國(guó)聯(lián)通、中國(guó)電信、中國(guó)移動(dòng)、中國(guó)廣電發(fā)放5G商用牌照，標(biāo)志著我國(guó)5G移動(dòng)通信網(wǎng)絡(luò)的商用正式拉開序幕。5G 核心網(wǎng)采用服務(wù)化架構(gòu)（SBA）設(shè)計(jì)，以軟件服務(wù)重構(gòu)核心網(wǎng)，實(shí)現(xiàn)了核心網(wǎng)的軟件化、靈活化、開放化和智能化，同時(shí)有助于網(wǎng)絡(luò)服務(wù)和網(wǎng)絡(luò)架構(gòu)向云化演進(jìn)。

與此同時(shí)，中共中央政治局常務(wù)委員會(huì)在2020年3月4日召開的會(huì)議中，明確指出要加快5G 網(wǎng)絡(luò)、數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)進(jìn)度，發(fā)力于科技端的基礎(chǔ)設(shè)施建設(shè)。通信云是數(shù)據(jù)中心在通信行業(yè)的具體應(yīng)用，對(duì)通信技術(shù)的發(fā)展發(fā)揮著至關(guān)重要的作用。隨著互聯(lián)網(wǎng)新業(yè)務(wù)的不斷涌現(xiàn)，SDN、NFV 等技術(shù)的不斷發(fā)展，歐美電信運(yùn)營(yíng)商和中國(guó)三大運(yùn)營(yíng)商都先后提出了網(wǎng)絡(luò)云化的計(jì)劃，運(yùn)營(yíng)商的網(wǎng)絡(luò)轉(zhuǎn)型勢(shì)在必行。

作為全面支撐4G/5G 核心網(wǎng)、城域網(wǎng)等網(wǎng)絡(luò)云化部署，滿足創(chuàng)新型業(yè)務(wù)平臺(tái)、管理平臺(tái)部署需求的基礎(chǔ)設(shè)施，通信云的快速靈活部署對(duì)運(yùn)營(yíng)商尤為重要。鑒于業(yè)務(wù)種類多樣、虛擬化的通信網(wǎng)元部署復(fù)雜，可靠性要求高，通信云依然是當(dāng)前建設(shè)的難點(diǎn)所在。本文將從運(yùn)營(yíng)商的業(yè)務(wù)分類入手，對(duì)通信云的部署方案和網(wǎng)絡(luò)架構(gòu)進(jìn)行分析。

1 通信云的分類

傳統(tǒng)的電信設(shè)備以專用的硬件為主，在專有平臺(tái)架構(gòu)下，各硬件設(shè)備彼此獨(dú)立，導(dǎo)致網(wǎng)絡(luò)擴(kuò)展性較差，難以滿足業(yè)務(wù)快速發(fā)展的需求。近年來，軟件化、云化部署的產(chǎn)品逐步商用，國(guó)內(nèi)運(yùn)營(yíng)商分別進(jìn)行了業(yè)務(wù)系統(tǒng)的云化，并將云化范圍從平臺(tái)類應(yīng)用擴(kuò)展到通信網(wǎng)元，如虛擬客戶端設(shè)備（vCPE）、虛擬IP 多媒體系統(tǒng)（vIMS）、虛擬演進(jìn)分組核心（vEPC）。通信云根據(jù)應(yīng)用場(chǎng)景和承載業(yè)務(wù)不同可以劃分為CT云和網(wǎng)絡(luò)IT云。

a）CT 云側(cè)重于網(wǎng)絡(luò)功能的虛擬化，旨在建設(shè)云化的新型電信網(wǎng)絡(luò)服務(wù)環(huán)境，為打造高效、彈性、按需服務(wù)的業(yè)務(wù)網(wǎng)絡(luò)夯實(shí)基礎(chǔ)。

b）IT云是針對(duì)運(yùn)營(yíng)商內(nèi)部的應(yīng)用系統(tǒng)的云化，如創(chuàng)新平臺(tái)、管理平臺(tái)等系統(tǒng)的云化，支撐內(nèi)部應(yīng)用的快速部署及靈活擴(kuò)展。

CT 云與上層應(yīng)用結(jié)合緊密，對(duì)時(shí)延、I/O 及可靠性等要求極高，主要使用各通信設(shè)備廠商基于ETSI標(biāo)準(zhǔn)架構(gòu)進(jìn)行定制化開發(fā)的云平臺(tái)。IT 云承載主機(jī)型業(yè)務(wù)，目前已基本實(shí)現(xiàn)與上層應(yīng)用的解構(gòu)，基于開源技術(shù)，可以使用自主研發(fā)的或者第三方的云平臺(tái)。此外，由于承載業(yè)務(wù)的類型不同，CT 云和IT 云在流量模型、兼容性、故障收斂、可靠性等方面需求不同，如表1所示。特別是CT云承載了路由型VNF，需要對(duì)外建立路由鄰居、BFD 會(huì)話，收發(fā)路由等，因此其對(duì)組網(wǎng)提出了更高的要求。

2 通信云的網(wǎng)絡(luò)架構(gòu)

2.1 通信云資源池的建設(shè)原則

通信云遵循“區(qū)域+本地”2級(jí)架構(gòu)布局，全面支撐核心網(wǎng)、城域網(wǎng)等網(wǎng)絡(luò)云化部署，滿足OSS、創(chuàng)新型業(yè)務(wù)平臺(tái)集約化部署資源需求，推進(jìn)網(wǎng)絡(luò)云化轉(zhuǎn)型和能力開放，實(shí)現(xiàn)網(wǎng)絡(luò)敏捷部署和彈性擴(kuò)縮容，加快業(yè)務(wù)上線速度，降低TCO。具體建設(shè)原則如下：

a）統(tǒng)籌規(guī)劃：中國(guó)聯(lián)通集團(tuán)對(duì)通信云資源池進(jìn)行整體規(guī)劃，統(tǒng)一布局、統(tǒng)一組網(wǎng)方案、統(tǒng)一云平臺(tái)技術(shù)架構(gòu)、統(tǒng)一云資源管理及調(diào)度。

b）集約化生產(chǎn)：控制類、用戶數(shù)據(jù)類、管理類和業(yè)務(wù)類網(wǎng)元集中部署，集中維護(hù)，發(fā)揮資源池的規(guī)模效應(yīng)，降低云化網(wǎng)絡(luò)的運(yùn)營(yíng)成本。

c）確保業(yè)務(wù)體驗(yàn)：針對(duì)數(shù)據(jù)轉(zhuǎn)發(fā)類網(wǎng)元，根據(jù)業(yè)務(wù)對(duì)于時(shí)延、帶寬的不同要求分層進(jìn)行部署，確保用戶體驗(yàn)，實(shí)現(xiàn)數(shù)據(jù)流量的本地分流。

d）資源統(tǒng)一管理：通過統(tǒng)一云管平臺(tái)建設(shè)實(shí)現(xiàn)全網(wǎng)資源、告警、性能的集中監(jiān)控，構(gòu)建服務(wù)化能力，實(shí)現(xiàn)資源申請(qǐng)、配置、發(fā)放的自動(dòng)化。

針對(duì)區(qū)域級(jí)通信云，根據(jù)不同的解耦策略和云平臺(tái)部署要求，采用不同方式部署CT 資源池和網(wǎng)絡(luò)IT資源池。

a）CT 資源池：考慮到CT 業(yè)務(wù)的復(fù)雜性和高可靠性要求，初期為保障網(wǎng)絡(luò)快速開通和降低業(yè)務(wù)部署風(fēng)險(xiǎn)，云平臺(tái)由主要VNF 廠家提供，運(yùn)營(yíng)商提供硬件資源池，支撐CT網(wǎng)元部署。

b）網(wǎng)絡(luò)IT 資源池：云平臺(tái)和上層業(yè)務(wù)系統(tǒng)獨(dú)立，統(tǒng)一部署云平臺(tái)，主要以虛擬機(jī)的形式提供云資源，滿足云化系統(tǒng)的部署要求。

通信云采用軟硬解耦（CT 云）/三層解耦（IT 云）的部署方案，由于硬件設(shè)備和軟件分開招標(biāo)，存在云平臺(tái)VIM 與網(wǎng)絡(luò)設(shè)備的SDN 控制器異廠家對(duì)接的場(chǎng)景，目前仍處于開發(fā)測(cè)試階段。因此在初期資源池建設(shè)時(shí)，建議采用傳統(tǒng)二層VLAN 組網(wǎng)方案。對(duì)于云平臺(tái)與硬件設(shè)備同廠家的場(chǎng)景，可根據(jù)業(yè)務(wù)和運(yùn)維的需求啟用SDN控制器。

此外，目前承載以5GC、vIMS 業(yè)務(wù)為主的CT 云對(duì)外連接IP B 網(wǎng)，沒有連接互聯(lián)網(wǎng)的需求，因此建議部署以防火墻為主的安全設(shè)備，其他設(shè)備按需部署。對(duì)于IT 資源池，建議將有連接互聯(lián)網(wǎng)需求的平臺(tái)類業(yè)務(wù)集中部署在全國(guó)2 個(gè)DC，根據(jù)安全等級(jí)保護(hù)要求，部署防火墻、入侵防御、WAF、防病毒網(wǎng)關(guān)、SSL VPN等安全設(shè)備；其他IT 資源池部署以防火墻為主的安全設(shè)備，以提升投資效益。

2.2 CT資源池組網(wǎng)方案

按照層次和架構(gòu)設(shè)計(jì)，CT資源池自下而上分為接入層、核心層、出口層3層，各層部署以下設(shè)備。

a）接入層：部署Leaf 交換機(jī)，負(fù)責(zé)接入各類服務(wù)器和存儲(chǔ)設(shè)備。

b）核心層：部署Spine 核心交換機(jī)，負(fù)責(zé)匯聚網(wǎng)絡(luò)內(nèi)的所有業(yè)務(wù)接入層交換設(shè)備，保證業(yè)務(wù)網(wǎng)絡(luò)內(nèi)接入層交換設(shè)備之間的高速交換，向上與出口路由設(shè)備進(jìn)行互聯(lián)。

c）出口層：部署高性能路由器作為DC 出口網(wǎng)關(guān)，負(fù)責(zé)與外部網(wǎng)絡(luò)的連通，保證DC 內(nèi)部網(wǎng)絡(luò)高速訪問外部網(wǎng)絡(luò)，并對(duì)DC 內(nèi)網(wǎng)和外網(wǎng)的路由信息進(jìn)行轉(zhuǎn)換和維護(hù)。

從邏輯上，根據(jù)業(yè)務(wù)類型，CT 資源池又可以劃分成不同的平面。

a）管理平面：包含資源管理、網(wǎng)絡(luò)管理、業(yè)務(wù)管理、運(yùn)營(yíng)管理等管理功能，在管理節(jié)點(diǎn)部署MANO、VNFM、VIM 和EMS 等組件，通過管理平面的網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)云平臺(tái)的管理。

b）業(yè)務(wù)平面：在計(jì)算節(jié)點(diǎn)部署各類VNF，并通過業(yè)務(wù)平面的網(wǎng)絡(luò)實(shí)現(xiàn)流量的互通，根據(jù)業(yè)務(wù)需求可以進(jìn)行HA資源的劃分。

c）存儲(chǔ)平面：存儲(chǔ)類型的服務(wù)器/磁陣接收VNF請(qǐng)求，按需提供存儲(chǔ)資源。

d）硬件管理平面：也稱帶外管理平面，PIM 通過設(shè)備的帶外管理網(wǎng)口實(shí)現(xiàn)對(duì)資源池內(nèi)所有設(shè)備的性能、告警等信息的監(jiān)控。

如圖1 所示，CT 資源池采用Leaf-Spine-DC-GW三層組網(wǎng)架構(gòu)，不同平面間流量在服務(wù)器側(cè)采用物理端口/邏輯接口隔離，保證互不干擾。由于存儲(chǔ)平面、管理平面流量較小，建議端口合設(shè)，并與業(yè)務(wù)平面、硬件管理平面的端口分開單獨(dú)部署。設(shè)備間的組網(wǎng)細(xì)節(jié)如下。

a）計(jì)算節(jié)點(diǎn)以10GE 口分別連接業(yè)務(wù)和存管Leaf；管理節(jié)點(diǎn)以10GE 口連接存管Leaf；磁陣以10GE口連接專用的存儲(chǔ)Leaf。

圖1 CT資源池組網(wǎng)方案

b）存儲(chǔ)/存管/業(yè)務(wù)Leaf交換機(jī)：下行10GE 口連接服務(wù)器或磁陣，上行40GE口連業(yè)務(wù)或存管Spine，成對(duì)Leaf之間采用40GE口互聯(lián)。

c）存管/業(yè)務(wù)Spine：下行40GE 口連接Leaf 交換機(jī)，上行10/100GE 口連接DC-GW，成對(duì)Spine 之間采用100GE口互聯(lián)。

d）DC-GW：下行10/100GE口連接Spine交換機(jī)和防火墻，上行按需使用10/100GE 與外網(wǎng)互聯(lián)，成對(duì)DC-GW之間采用100GE口互聯(lián)。

e）防火墻：使用100GE 口連接DC-GW，成對(duì)防火墻之間采用10GE口互聯(lián)。

f）硬管Leaf：使用GE 電口連接所有設(shè)備，包括服務(wù)器/磁陣/Leaf/Spine/DC-GW/防火墻，上行10GE 口連接存管Spine。

CT資源池由于上層業(yè)務(wù)與云平臺(tái)未解耦，同一局址存在多種類型或多廠商的業(yè)務(wù)，需要部署多個(gè)云平臺(tái)，根據(jù)業(yè)務(wù)需求和服務(wù)器規(guī)模，可以選擇共用Spine/DC-GW、單獨(dú)部署設(shè)備2 種組網(wǎng)方式，如圖2 和圖3 所示。

對(duì)于共用Spine/DC-GW 網(wǎng)絡(luò)設(shè)備，不同云平臺(tái)需要進(jìn)行業(yè)務(wù)隔離。

a）Spine：南向單板級(jí)隔離，北向接口級(jí)隔離，避免流量擁塞丟包。

b）DC-GW：南向接口級(jí)隔離，北向共物理口，邏輯子接口隔離，通過HQoS 保證帶寬，避免流量擁塞丟包。

圖2 CT資源池共用Spine/DC-GW 的部署方案

圖3 CT資源池單獨(dú)組網(wǎng)的部署方案

此外，多云平臺(tái)使用的VLAN/VRF/IP 等網(wǎng)絡(luò)資源需要提前規(guī)劃分配，避免沖突；路由策略/ACL 等配置基于接口/子接口/IP 網(wǎng)段等最小級(jí)配置，不做全局配置，避免多平臺(tái)間相互影響；并且考慮安全問題，通過防火墻對(duì)云平臺(tái)間的流量進(jìn)行隔離。

2.3 網(wǎng)絡(luò)IT資源池組網(wǎng)方案

網(wǎng)絡(luò)IT資源池主要承載主機(jī)型VNF的業(yè)務(wù)，不需要與其他設(shè)備建立鄰居動(dòng)態(tài)學(xué)習(xí)路由，對(duì)DC 出口網(wǎng)關(guān)的路由性能要求不高，因此建議DC-GW 與業(yè)務(wù)Spine 合設(shè)，簡(jiǎn)化網(wǎng)絡(luò)層次，提升投資效益。如圖4 所示，網(wǎng)絡(luò)IT 資源池采用Leaf-Spine 四層組網(wǎng)架構(gòu)，業(yè)務(wù)Spine 設(shè)備兼做DC-GW，既作為三層網(wǎng)關(guān)負(fù)責(zé)DC內(nèi)東西向流量的轉(zhuǎn)發(fā)，又負(fù)責(zé)與外網(wǎng)的互聯(lián)互通。存管Spine 作為存儲(chǔ)、管理平面的三層網(wǎng)關(guān)，負(fù)責(zé)內(nèi)部的流量轉(zhuǎn)發(fā)，上行使用10/40GE 網(wǎng)口連接業(yè)務(wù)Spine，實(shí)現(xiàn)管理平面與外部的互通，保證對(duì)資源池的遠(yuǎn)程監(jiān)管。其他組網(wǎng)細(xì)節(jié)與CT資源池基本一致，不再贅述。

圖4 網(wǎng)絡(luò)IT資源池組網(wǎng)方案

由于網(wǎng)絡(luò)IT 資源池使用統(tǒng)一云平臺(tái)承載多種類型的業(yè)務(wù)，內(nèi)部使用二層VLAN 的組網(wǎng)方案，需要對(duì)VLAN、私網(wǎng)地址和業(yè)務(wù)地址進(jìn)行精細(xì)化管理，對(duì)業(yè)務(wù)進(jìn)行隔離，避免沖突，具體措施如下。

a）VLAN：對(duì)VLAN 進(jìn)行統(tǒng)一規(guī)劃，1～1999 作為公共預(yù)留，當(dāng)VLAN 資源不足時(shí)，再根據(jù)現(xiàn)網(wǎng)實(shí)際情況進(jìn)行劃分；2000～3999 作為業(yè)務(wù)VLAN，按需分配給各個(gè)業(yè)務(wù)；4000 為探測(cè)VLAN；4001～4063 由I 層（含VIM、PIM、BMC、SDN控制器等）和PaaS使用。

b）私網(wǎng)IP 地址：對(duì)DC 內(nèi)私網(wǎng)IP 地址進(jìn)行統(tǒng)一規(guī)劃，172.16.0.0—172.31.255.255 劃分給存儲(chǔ)平面（存儲(chǔ)前端數(shù)據(jù)和存儲(chǔ)后端數(shù)據(jù)通信以及計(jì)算節(jié)點(diǎn)訪問存儲(chǔ)面數(shù)據(jù)網(wǎng)絡(luò)）和NFVI層（NFVI各組件之間的通信地址）使用；173.0.0.0/8 劃分給VNF 網(wǎng)元內(nèi)部地址使用，各部分地址按需申請(qǐng)。

c）業(yè)務(wù)IP地址：為公網(wǎng)地址實(shí)現(xiàn)VNF與外網(wǎng)的互通，由各業(yè)務(wù)部門向承載網(wǎng)申請(qǐng)。

此外，為保證業(yè)務(wù)的安全，不同的業(yè)務(wù)需要VLAN/IP 進(jìn)行隔離，原則上不允許流量互通，如果有業(yè)務(wù)訴求，需要通過防火墻對(duì)流量進(jìn)行嚴(yán)格的檢測(cè)和控制。

3 總結(jié)

通信云目前已在中國(guó)聯(lián)通各大區(qū)實(shí)際部署，支撐5GC、VoLTE 炫鈴等業(yè)務(wù)的順利開通，并具備敏捷部署和靈活擴(kuò)展的能力。未來將通過統(tǒng)一云管平臺(tái)納管全網(wǎng)資源，實(shí)現(xiàn)全網(wǎng)資源集中監(jiān)控，自動(dòng)發(fā)放，加快業(yè)務(wù)上線速度，節(jié)省投資成本，提升運(yùn)營(yíng)效率。

此外，通信云的主要問題集中在網(wǎng)絡(luò)設(shè)備SDN 控制器與云平臺(tái)VIM 異廠商對(duì)接，以及云平臺(tái)與上層CT業(yè)務(wù)的解耦，目前沒有統(tǒng)一的接口標(biāo)準(zhǔn)，這也是后續(xù)研究的重點(diǎn)工作。