孔令義，常艷生，閻艷芳，郝雙洋，武俊芹，馮朝旭

（中國聯(lián)通河南分公司，河南鄭州 450008）

0 引言

5G核心網(wǎng)相比傳統(tǒng)核心網(wǎng)呈現(xiàn)出了網(wǎng)絡(luò)切片、服務(wù)化的網(wǎng)絡(luò)架構(gòu)、無狀態(tài)設(shè)計(jì)、轉(zhuǎn)控分離等一系列嶄新的特性［1］，實(shí)現(xiàn)這些新特性需要以數(shù)據(jù)中心為基礎(chǔ)設(shè)施實(shí)現(xiàn)云化架構(gòu)的部署。轉(zhuǎn)控分離使5G 核心網(wǎng)實(shí)現(xiàn)了用戶面的去中心化，用戶面可按業(yè)務(wù)量及需求部署在省、市或下沉至網(wǎng)絡(luò)邊緣并承載MEC 業(yè)務(wù)。而控制面可以更加集中，僅需部署在全國幾個(gè)大區(qū)，每個(gè)大區(qū)承載若干省的控制面實(shí)現(xiàn)集約化部署，形成大區(qū)和本地2層架構(gòu)，這樣，可以大大提高數(shù)據(jù)中心的利用效率。

基于云化的集中式5G核心網(wǎng)發(fā)生了很大變化，在部署方式、業(yè)務(wù)繼承、容災(zāi)方案等方面帶來了新課題。

1 大區(qū)數(shù)據(jù)中心的部署

大區(qū)數(shù)據(jù)中心的云平臺(tái)一般承載若干省的5G 核心網(wǎng)控制面，這使其對(duì)可靠性的要求高于傳統(tǒng)電信級(jí)的99.999%，實(shí)現(xiàn)如此高的可靠性不僅需要符合電信業(yè)務(wù)特點(diǎn)的云原生的軟件架構(gòu)，同時(shí)，在資源池建設(shè)方面也需要進(jìn)行特別規(guī)劃。

1.1 DC網(wǎng)絡(luò)結(jié)構(gòu)

基于NFV/SDN 的DC 建設(shè)是5G 核心網(wǎng)演進(jìn)的關(guān)鍵路徑。NFV 是IT、CT 融合的關(guān)鍵技術(shù)，其實(shí)現(xiàn)主要有2 層解耦和3 層解耦2 種方案。2 層解耦是物理資源、NFVI+VNF 獨(dú)立部署，3 層解耦是在2 層解耦的基礎(chǔ)之上，進(jìn)一步將NFVI 和VNF 解耦，獨(dú)立部署物理資源、NFVI 和VNF，管理面則可分為VIM、VNFM、NFVO［2］。3層解耦的網(wǎng)絡(luò)更加靈活，利于降低成本，是虛擬化網(wǎng)絡(luò)演進(jìn)的目標(biāo)，但是跨廠家的交互較多，不利于故障定位，給網(wǎng)絡(luò)維護(hù)帶來挑戰(zhàn)。而2 層解耦容易集成、部署快，但增加了運(yùn)營商對(duì)設(shè)備廠家的依賴性。此外，由于SDN 控制器和VIM 之間的接口尚未標(biāo)準(zhǔn)化［3］，SDN 控制器和NFVO 往往需要采用同廠商的私有接口才能實(shí)現(xiàn)網(wǎng)絡(luò)的自動(dòng)化配置和資源的智能調(diào)度，這也不利于數(shù)據(jù)中心采用3層解耦方式部署。

本文主要研究實(shí)現(xiàn)云、網(wǎng)聯(lián)動(dòng)的2 層解耦數(shù)據(jù)中心，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。NFVO作為數(shù)據(jù)中心的大腦進(jìn)行統(tǒng)一編排，統(tǒng)一管理，協(xié)同SDN控制器和VNFM完成網(wǎng)絡(luò)配置自動(dòng)化以及VNF 實(shí)例自動(dòng)化部署，實(shí)現(xiàn)資源的自動(dòng)調(diào)度，以完成VM 的自動(dòng)遷移、過載控制和彈性擴(kuò)縮容等，保障業(yè)務(wù)連續(xù)性。

數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)采用分布式3層網(wǎng)關(guān)模型（distributed virtual routing，DVR），主要由接入、核心、出口構(gòu)成，控制面采用BGP EVPN 協(xié)議，數(shù)據(jù)轉(zhuǎn)發(fā)面采用VxLAN 技術(shù)。TOR 作為VM 的默認(rèn)網(wǎng)關(guān)分別對(duì)東西流量和南北流量進(jìn)行疏通。對(duì)于南北向流量，接入YOR發(fā)送至數(shù)據(jù)中心出口路由器轉(zhuǎn)發(fā)至外部網(wǎng)絡(luò)，比如和用戶面之間的信令流量轉(zhuǎn)發(fā)至承載網(wǎng)。分布式部署的VNF 組件間所產(chǎn)生大量的東西向流量不必發(fā)送到出口路由器，東西流量具體疏通原則如下。

a）相同服務(wù)器內(nèi)，VM 間L2 流量由EVS 本地轉(zhuǎn)發(fā)。

b）相同服務(wù)器內(nèi)，VM 間L3 流量由TOR 本地轉(zhuǎn)發(fā)。

c）不同服務(wù)器間L2/L3 流量，Leaf 間建立VxLAN隧道轉(zhuǎn)發(fā)［4］。

數(shù)據(jù)中心防火墻采用旁掛模式部署，根據(jù)不同業(yè)務(wù)流量的內(nèi)容來決定是否過墻。總體來看，管理區(qū)的南北向流量、業(yè)務(wù)區(qū)VNF 的操作維護(hù)南北向流量均需要過墻，過墻流量使用共享出口。

1.2 物理資源規(guī)劃

為實(shí)現(xiàn)各類業(yè)務(wù)的隔離，數(shù)據(jù)中心需劃分為多個(gè)VDC（Virtual Data Center），主要有管理VDC、5GC 業(yè)務(wù)VDC、計(jì)費(fèi)VDC 等。不同的VDC 使用不同的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源，這樣不同的VDC 可以由不同的運(yùn)維團(tuán)隊(duì)進(jìn)行維護(hù)，并可以劃分不同的安全等級(jí)。

VPC（Virtual Private Cloud）可以實(shí)現(xiàn)網(wǎng)絡(luò)的邏輯隔離，在VPC 中，具有完全獨(dú)立的IP 地址空間設(shè)置，與其他不在該VPC 中的虛擬機(jī)完全網(wǎng)絡(luò)隔離，因此，為減少不同網(wǎng)元間的路由配置，5GC共用一個(gè)VPC，不再細(xì)分，計(jì)費(fèi)網(wǎng)關(guān)以及管理則使用不同的VPC。

HA（Host Aggregate）內(nèi)的服務(wù)器建議采用同平臺(tái)（如X86 或ARM）服務(wù)器，服務(wù)器數(shù)量建議不超過128臺(tái)，計(jì)費(fèi)網(wǎng)關(guān)和管理由于所需服務(wù)器較少，各使用1個(gè)HA 即可滿足需求。5GC 則需要多個(gè)主機(jī)組，如UDM、PCF 所需資源較多，需要獨(dú)立集群，2B、2C 分離使用的VNF也使用不同的HA。

2 業(yè)務(wù)部署方案

2.1 融合部署方案

5G 核心網(wǎng)的業(yè)務(wù)部署首先需考慮和4G 網(wǎng)絡(luò)的融合及互操作，以支持網(wǎng)絡(luò)的平滑演進(jìn)。4G 和5G 的互操作通過AMF 和MME 之間的N26 接口實(shí)現(xiàn)，SMF 和PGW-C 融合部署在大區(qū)中心，UPF 和PGW-U 融合部署在各省或市，以支持5G用戶在4G區(qū)域的接入，實(shí)現(xiàn)移動(dòng)錨點(diǎn)不變保證業(yè)務(wù)連續(xù)性［5］。

MME 和AMF 可根據(jù)需求決定是否融合部署。AMF 和MME 融合部署可減少AMF 和MME 之間信令交互，優(yōu)化4G/5G 互操作，提升5G 用戶體驗(yàn)，提高運(yùn)維效率。但同時(shí)，由于5G 網(wǎng)絡(luò)建設(shè)初期，AMF 可能會(huì)頻繁升級(jí)，而5G 用戶較少，4G 用戶較多，需要考慮AMF升級(jí)對(duì)4G網(wǎng)絡(luò)的影響。

因此，在5G 核心網(wǎng)部署初期，AMF 可考慮獨(dú)立部署，4G 用戶依然由各省EPC 承載。當(dāng)5G 用戶接入gNB 時(shí)，5G 用戶由AMF 選擇融合網(wǎng)關(guān)，當(dāng)5G 用戶在4G/5G 網(wǎng)絡(luò)間切換時(shí)，則通過N26 接口實(shí)現(xiàn)連接態(tài)4G/5G 網(wǎng)絡(luò)間切換和空閑態(tài)的重選，當(dāng)然這需要MME 升級(jí)支持N26接口以及融合網(wǎng)關(guān)選擇功能。

在第2 階段，可逐步將AMF 升級(jí)為AMF/MME 融合產(chǎn)品，4G 用戶接入MME，也可以分擔(dān)至大區(qū)融合AMF/MME。此時(shí)需要合理規(guī)劃融合節(jié)點(diǎn)的MME/AMF標(biāo)識(shí)，5G用戶在4G/5G網(wǎng)絡(luò)間切換時(shí)，最多經(jīng)過1次4G/5G互操作即可錨定融合MME/AMF節(jié)點(diǎn)。

最終，4G 用戶也遷移至大區(qū)融合AMF/MME 承載，4G/5G 用戶均錨定在融合AMF/MME，無需互操作，此時(shí)傳統(tǒng)平臺(tái)設(shè)備可退網(wǎng)，實(shí)現(xiàn)統(tǒng)一核心網(wǎng)。

此外，為滿足5G 用戶不換卡、不換號(hào)的需求以及網(wǎng)絡(luò)的平滑演進(jìn)，需考慮融合用戶數(shù)據(jù)管理以及策略數(shù)據(jù)管理。

2.2 用戶數(shù)據(jù)融合方案

用戶數(shù)據(jù)的融合需要部署云化融合UDM/HSS，保證用戶數(shù)據(jù)一致性，同時(shí)實(shí)現(xiàn)5G 用戶數(shù)據(jù)的整體遷移，使得用戶可感知2G/3G/4G/5G 網(wǎng)絡(luò)狀態(tài)，支持接入2G/3G/4G/5G 網(wǎng)絡(luò)，共用鑒權(quán)數(shù)據(jù)，共享公共業(yè)務(wù)數(shù)據(jù)。用戶數(shù)據(jù)的遷移主要有以下2個(gè)方案。

a）一次性割接至融合設(shè)備：在大區(qū)中心部署全容量的云化融合HSS/UDM，將各省HSS 用戶分批次全部割接至大區(qū)融合HSS/UDM，信令及營賬均切換至云化設(shè)備，傳統(tǒng)HSS 退網(wǎng)。很明顯，該方案一步到位，架構(gòu)清晰，但投資較大，初期即需要全網(wǎng)容量投資，該方案的遷移速度受導(dǎo)出、導(dǎo)入數(shù)據(jù)能力限制，割接戰(zhàn)線較長。

b）同廠家FE relay 方案：新建的云化UDR 支持2G/3G/4G/5G，原BE 存儲(chǔ)2G/3G/4G 簽約信息，融合UDM/HSS 存儲(chǔ)新號(hào)段用戶和已遷移老用戶，現(xiàn)網(wǎng)HSS升級(jí)支持FE relay功能。網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 用戶數(shù)據(jù)融合方案示意圖

在方案b）中，5G 新開用戶僅需在UDM 開戶和業(yè)務(wù)簽約，不需發(fā)給傳統(tǒng)HSS 處理，存量4G 用戶升5G時(shí)，BOSS發(fā)送用戶開通5G的指令給受理網(wǎng)關(guān)，受理網(wǎng)關(guān)從現(xiàn)網(wǎng)HSS 中查詢用戶數(shù)據(jù)，并重新在融合HSS/UDM 放號(hào)，完成后再刪除現(xiàn)網(wǎng)HSS 的數(shù)據(jù)。后續(xù)5G用戶的相關(guān)簽約信息修改均由集團(tuán)BOSS 統(tǒng)一負(fù)責(zé)?，F(xiàn)網(wǎng)4G 用戶的受理仍然由省BOSS 負(fù)責(zé)，受理指令維持現(xiàn)有流程不變。

同時(shí)方案b）可保持信令路由不變，HLR/HSS 轉(zhuǎn)送5G 用戶數(shù)據(jù)到HSS/UDM。對(duì)于2G/3G 業(yè)務(wù)來說，STP將消息發(fā)送至傳統(tǒng)HSS，傳統(tǒng)HSS 查詢用戶不存在則將消息發(fā)送至UDM，UDM 處理完后直接將相應(yīng)消息通過STP 返回給對(duì)端。對(duì)于4G 業(yè)務(wù)來說，則由DRA將消息發(fā)送至傳統(tǒng)HSS，傳統(tǒng)HSS 再發(fā)送至UDM，UDM處理后將消息返回給HSS，由HSS發(fā)送至對(duì)端。

總體來看該方案對(duì)傳統(tǒng)網(wǎng)絡(luò)依賴較小，易于平滑演進(jìn)，但對(duì)集團(tuán)BOSS 要求較高，需保證用戶數(shù)據(jù)的精準(zhǔn)。

2.3 策略數(shù)據(jù)融合方案

策略數(shù)據(jù)融合需要在大區(qū)中心部署云化的PCF并融合PCRF 功能，保證用戶策略的一致性和連續(xù)性。傳統(tǒng)PCRF 和融合PCF 混合組網(wǎng)實(shí)現(xiàn)起來對(duì)現(xiàn)網(wǎng)影響較小，對(duì)外可屏蔽業(yè)務(wù)差異，是實(shí)現(xiàn)用戶策略數(shù)據(jù)平滑遷移的較好方案。后續(xù)根據(jù)業(yè)務(wù)發(fā)展及技術(shù)成熟度逐步將用戶遷移至云化PCF，最終實(shí)現(xiàn)傳統(tǒng)PCRF退網(wǎng)。

混合組網(wǎng)方案往往要求傳統(tǒng)PCRF 和融合PCF/PCRF 同廠家，從而使傳統(tǒng)SPR 和云化UDR/SPR 可以互訪用戶數(shù)據(jù)。傳統(tǒng)PCRF 和現(xiàn)網(wǎng)信令連接不變，DRA需和融合PCF對(duì)接Rx和Gx接口實(shí)現(xiàn)會(huì)話綁定。

集團(tuán)BOSS 系統(tǒng)需統(tǒng)一接入云化UDR/SPR 設(shè)備。當(dāng)現(xiàn)網(wǎng)用戶由4G 升級(jí)為5G 時(shí)，集團(tuán)BOSS 發(fā)送開通5G 策略的指令給受理網(wǎng)關(guān)，受理網(wǎng)關(guān)將數(shù)據(jù)從存量SPR 遷移到UDR 中，并新增5G 簽約，UDR 完成處理后返回結(jié)果給BOSS。后續(xù)5G 用戶的相關(guān)策略信息修改均由集團(tuán)BOSS統(tǒng)一負(fù)責(zé)?，F(xiàn)網(wǎng)4G用戶的策略數(shù)據(jù)受理仍然由省BOSS負(fù)責(zé)，受理指令維持現(xiàn)有指令不變。

2.4 NSSF/BSF/NRF等

NSSF/BSF/NRF 等其他網(wǎng)元主要是在5G核心網(wǎng)新增的網(wǎng)元，均需新建，不需要考慮和4G 核心網(wǎng)融合的問題。每個(gè)大區(qū)均需新建1 對(duì)NSSF/NRF/BSF，NSSF實(shí)現(xiàn)本大區(qū)的切片選擇功能，BSF 需要和DRA 及PCF連接實(shí)現(xiàn)會(huì)話綁定功能，NRF 統(tǒng)一管理網(wǎng)絡(luò)中NF 配置，支持服務(wù)發(fā)現(xiàn)功能，各大區(qū)NRF 需要實(shí)現(xiàn)全連接。NRF 實(shí)現(xiàn)全連接主要有2 個(gè)方案：一是大區(qū)間NRF 全互聯(lián)，可靠性較高但運(yùn)維復(fù)雜；二是集團(tuán)新建1 對(duì)NRF，各大區(qū)NRF 通過集團(tuán)NRF 轉(zhuǎn)接實(shí)現(xiàn)準(zhǔn)直連，數(shù)據(jù)配置量較少。NEF、NWDAF等其他一系列網(wǎng)元不是當(dāng)前必須網(wǎng)元。根據(jù)標(biāo)準(zhǔn)進(jìn)展及業(yè)務(wù)需求逐步部署，這里不再贅述。

3 大區(qū)化部署的信令風(fēng)暴預(yù)防

大區(qū)化后5G核心網(wǎng)更容易出現(xiàn)信令風(fēng)暴問題，有研究表明，在大區(qū)故障、承載故障等導(dǎo)致的容災(zāi)倒換時(shí)，MME、HSS（DRA）分別產(chǎn)生大于6倍、48倍過載，引起信令風(fēng)暴，若處理不當(dāng)，會(huì)對(duì)網(wǎng)絡(luò)形成沖擊，業(yè)務(wù)恢復(fù)緩慢。因此，做好信令風(fēng)暴的預(yù)防工作是非常重要的。

在網(wǎng)絡(luò)異常時(shí)，用戶會(huì)反復(fù)嘗試接入網(wǎng)絡(luò)，從而形成用戶的集中上線，這是信令風(fēng)暴的誘因，一旦發(fā)生信令風(fēng)暴會(huì)快速蔓延擴(kuò)大。從根本上說，用戶永遠(yuǎn)在線，盡量不引起用戶的集中上下線是避免信令風(fēng)暴的最好辦法。實(shí)現(xiàn)用戶的永遠(yuǎn)在線，需要設(shè)計(jì)和規(guī)劃網(wǎng)絡(luò)的多個(gè)層面。首先要具備完善的網(wǎng)元以及DC 的容災(zāi)和備份，如組pool 容災(zāi)（AMF、SMF 等）、主備容災(zāi)（NSSF、NRF、PCF、UDM 等）。其次，5G 核心網(wǎng)的無狀態(tài)設(shè)計(jì)、存儲(chǔ)和計(jì)算相分離、虛擬機(jī)的反親和部署等也使得網(wǎng)元內(nèi)多點(diǎn)故障時(shí)用戶不下線。最后，在網(wǎng)絡(luò)故障、存儲(chǔ)故障時(shí)需保證業(yè)務(wù)不中斷，這可通過業(yè)務(wù)功能模塊和管理控制模塊解耦、服務(wù)器內(nèi)存對(duì)存儲(chǔ)實(shí)時(shí)鏡像等方法來實(shí)現(xiàn)。

此外，做好早期的擁塞控制可以有效預(yù)防信令風(fēng)暴。對(duì)業(yè)務(wù)負(fù)載實(shí)時(shí)檢測(cè)，當(dāng)網(wǎng)絡(luò)負(fù)荷達(dá)到一定門限時(shí)，啟動(dòng)擁塞控制，在信令處理入口處進(jìn)行流控，基于優(yōu)先級(jí)對(duì)業(yè)務(wù)進(jìn)行智能丟棄，高優(yōu)先級(jí)及在網(wǎng)用戶業(yè)務(wù)優(yōu)先通過，無效業(yè)務(wù)消息及早丟棄，避免無效處理。并且基于實(shí)時(shí)處理能力進(jìn)行精準(zhǔn)流量控制，提升業(yè)務(wù)處理效率，在保障用戶體驗(yàn)的同時(shí)降低網(wǎng)絡(luò)負(fù)荷，直到網(wǎng)絡(luò)負(fù)荷達(dá)到正常水平。

最后，快速恢復(fù)業(yè)務(wù)不僅需要快速的彈性擴(kuò)容以靈活應(yīng)對(duì)業(yè)務(wù)變化，還需要業(yè)務(wù)在新虛擬機(jī)和已有虛擬機(jī)之間實(shí)現(xiàn)秒級(jí)的負(fù)載均衡，緩解過載。

4 結(jié)束語

基于大區(qū)數(shù)據(jù)中心集約化部署的5G核心網(wǎng)，提供了強(qiáng)大的網(wǎng)絡(luò)能力，便于業(yè)務(wù)集中開通、集中管理，有利于降本增效，同時(shí)也改變了網(wǎng)絡(luò)運(yùn)維體系和方式。運(yùn)維人員需要由CT向IT轉(zhuǎn)型，成為IT、IP、核心網(wǎng)多領(lǐng)域跨專業(yè)的復(fù)合型人才方能更好處理網(wǎng)絡(luò)中的各類問題。其次5G 核心網(wǎng)節(jié)點(diǎn)多、告警關(guān)聯(lián)復(fù)雜，對(duì)業(yè)務(wù)變更需要更高效響應(yīng)，這需要網(wǎng)絡(luò)部署時(shí)同步考慮自動(dòng)化智能運(yùn)維的問題，實(shí)現(xiàn)網(wǎng)絡(luò)的自動(dòng)化配置、自動(dòng)化監(jiān)控、自動(dòng)化巡檢以及業(yè)務(wù)的自動(dòng)開通。總體上來看，5G 所展現(xiàn)的全新特性將使網(wǎng)絡(luò)更加智能，更加高效。