申 佳，童俊杰，韓振東，胡 祎（.中訊郵電咨詢?cè)O(shè)計(jì)院有限公司鄭州分公司，河南鄭州 450007；.中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司，北京 00033）

1 概述

5G作為重要的信息基礎(chǔ)設(shè)施，在全球得到了廣泛的發(fā)展。據(jù)GSA 統(tǒng)計(jì)，截至2021 年4 月，全球已有68個(gè)國家的162 個(gè)運(yùn)營商推出5G 服務(wù)。5G 商用部署速度超過以往任何一代移動(dòng)通信技術(shù)。隨著5G 的快速商用部署，通信云作為全面支撐4G∕5G核心網(wǎng)、創(chuàng)新型業(yè)務(wù)平臺(tái)、管理平臺(tái)等網(wǎng)絡(luò)云化部署需求的基礎(chǔ)設(shè)施，如何在保證網(wǎng)絡(luò)及數(shù)據(jù)的安全可靠性的同時(shí)又能靈活部署，是當(dāng)前運(yùn)營商的重大課題之一。

研究通信云存儲(chǔ)容災(zāi)技術(shù)是為了平衡網(wǎng)絡(luò)運(yùn)營成本和網(wǎng)絡(luò)服務(wù)質(zhì)量，同時(shí)也是在核心網(wǎng)虛擬化后，對(duì)新型網(wǎng)絡(luò)安全可靠性的探索。與此同時(shí)，對(duì)運(yùn)營商網(wǎng)絡(luò)安全和健壯性的考量也不能僅局限于網(wǎng)元是否具備相應(yīng)容災(zāi)功能，而應(yīng)該對(duì)網(wǎng)絡(luò)整體進(jìn)行綜合能力評(píng)估，其中可能包括對(duì)網(wǎng)絡(luò)整體短板的判斷、對(duì)網(wǎng)絡(luò)沖擊的防御機(jī)制、對(duì)虛擬化網(wǎng)絡(luò)硬件層和虛擬層的容災(zāi)能力評(píng)估以及對(duì)其他異常場(chǎng)景的模擬和預(yù)判等［1］。

由于業(yè)務(wù)種類比較多，虛擬化的通信網(wǎng)元部署復(fù)雜，存儲(chǔ)數(shù)據(jù)類型不同，本文將從運(yùn)營商的業(yè)務(wù)分類入手，分析通信云的存儲(chǔ)容災(zāi)部署方案。

2 通信云存儲(chǔ)設(shè)備的容災(zāi)手段

2.1 存儲(chǔ)設(shè)備形態(tài)

根據(jù)硬件部署形態(tài)，存儲(chǔ)設(shè)備可以劃分為集中式存儲(chǔ)與分布式存儲(chǔ)2類。

2.1.1 集中式存儲(chǔ)

以磁盤陣列設(shè)備作為資源池中集中式的存儲(chǔ)設(shè)備，通過存儲(chǔ)網(wǎng)絡(luò)（SAN）向主機(jī)提供存儲(chǔ)容量，其主要組件如下。

a）控制器：包含CPU、內(nèi)存、接口卡、前后端接口（前端接口和交換機(jī)連接，后端接口和盤框連接）。

b）盤框（硬盤）：主要存儲(chǔ)設(shè)備，磁盤陣列設(shè)備提供機(jī)械硬盤（HDD）或固態(tài)硬盤（SSD）槽位，盤框通過NL-SAS、SAS等接口類型與控制器連接。

集中式存儲(chǔ)組網(wǎng)形態(tài)如圖1所示。

圖1 集中式存儲(chǔ)組網(wǎng)形態(tài)

2.1.2 分布式存儲(chǔ)

分布式存儲(chǔ)基于服務(wù)器集群構(gòu)建，存儲(chǔ)服務(wù)器節(jié)點(diǎn)之間通過網(wǎng)絡(luò)連接形成存儲(chǔ)資源池，其組網(wǎng)形態(tài)如圖2所示。

圖2 分布式存儲(chǔ)組網(wǎng)形態(tài)

2.2 存儲(chǔ)設(shè)備容災(zāi)手段

2.2.1 集中式存儲(chǔ)

集中式存儲(chǔ)的可靠性機(jī)制如下。

a）端到端冗余：在前端接口、控制器、電源、內(nèi)部鏈接上通過多路徑實(shí)現(xiàn)冗余，確保任意部件發(fā)生故障業(yè)務(wù)不中斷。

b）數(shù)據(jù)保護(hù)：獨(dú)立磁盤冗余陣列（Redundant Array of Independent Disks，RAID）通過條帶（RAID 0）、鏡像（RAID 1）、校驗(yàn)計(jì)算（RAID 5∕RAID 6∕RAID TP）等多種技術(shù)，把多塊獨(dú)立的硬盤（物理硬盤）按不同的方式組合起來形成一個(gè)硬盤組（邏輯硬盤），從而提供比單個(gè)硬盤更高的存儲(chǔ)性能和數(shù)據(jù)備份技術(shù)。

2.2.2 分布式存儲(chǔ)

分布式存儲(chǔ)硬件由通用服務(wù)器和通用網(wǎng)絡(luò)設(shè)備構(gòu)成，其可靠性保障機(jī)制如下。

a）設(shè)備冗余：多網(wǎng)絡(luò)設(shè)備、多鏈路、多存儲(chǔ)節(jié)點(diǎn)冗余，確保任意部件發(fā)生故障業(yè)務(wù)不中斷，數(shù)據(jù)在系統(tǒng)內(nèi)不同存儲(chǔ)節(jié)點(diǎn)上均衡分布從而保障節(jié)點(diǎn)間負(fù)載均衡。

b）數(shù)據(jù)保護(hù)：通過多副本技術(shù)或校驗(yàn)碼技術(shù)進(jìn)行數(shù)據(jù)的冗余備份。

2.2.3 多存儲(chǔ)系統(tǒng)間容災(zāi)手段

存儲(chǔ)雙活方案包括2 套存儲(chǔ)系統(tǒng)，提供實(shí)時(shí)數(shù)據(jù)備份。1臺(tái)主機(jī)可同時(shí)訪問2個(gè)副本，任意副本故障不影響業(yè)務(wù)。2 套存儲(chǔ)可獨(dú)立部署存儲(chǔ)層雙活方案，也可以結(jié)合上層應(yīng)用（包括網(wǎng)絡(luò)層）的雙活設(shè)計(jì)，形成數(shù)據(jù)中心雙活解決方案。

存儲(chǔ)雙活方案關(guān)鍵技術(shù)指標(biāo)如下。

a）數(shù)據(jù)恢復(fù)點(diǎn)目標(biāo)（Recovery point objective，RPO）：主要指的是業(yè)務(wù)系統(tǒng)所能容忍的數(shù)據(jù)丟失量。

b）恢復(fù)時(shí)間目標(biāo)（Recovery time objective，RTO），是指通信云業(yè)務(wù)網(wǎng)元所能容忍的業(yè)務(wù)系統(tǒng)停止服務(wù)的最長時(shí)間，也就是災(zāi)難發(fā)生到業(yè)務(wù)系統(tǒng)恢復(fù)服務(wù)功能所需要的最短時(shí)間。

運(yùn)營商根據(jù)不同技術(shù)指標(biāo)要求，可制定不同容災(zāi)方案。技術(shù)指標(biāo)及相應(yīng)方案如表1 所示，不同容災(zāi)手段組網(wǎng)方式如圖3所示。

圖3 多存儲(chǔ)系統(tǒng)間容災(zāi)手段

表1 通信云業(yè)務(wù)網(wǎng)元分類

3 通信云業(yè)務(wù)網(wǎng)元與外部存儲(chǔ)關(guān)系

3.1 業(yè)務(wù)網(wǎng)元與外部存儲(chǔ)配合關(guān)系

傳統(tǒng)的電信設(shè)備以專用的硬件為主，在專有平臺(tái)架構(gòu)下，各硬件設(shè)備彼此獨(dú)立，近年來，軟件化、云化部署的產(chǎn)品逐步商用，運(yùn)營商逐步進(jìn)行了業(yè)務(wù)系統(tǒng)的云化，將云化范圍從平臺(tái)類應(yīng)用擴(kuò)展到通信網(wǎng)元，如UDM、AMF、SMF 等，以某廠商網(wǎng)元配置情況為例，各網(wǎng)元與外部存儲(chǔ)關(guān)系分析如下。

a）5GC計(jì)費(fèi)單元：CG話單使用外部存儲(chǔ)，且跨DC有業(yè)務(wù)主備容災(zāi)，當(dāng)外部存儲(chǔ)斷鏈，CG 會(huì)拒絕接收話單，從而使話單可以在前端網(wǎng)元存儲(chǔ)一段時(shí)間。SMF∕GW 會(huì)嘗試接入備份CG（網(wǎng)元級(jí)容災(zāi)），若備份CG 與外部存儲(chǔ)一樣斷鏈，且SMF∕GW 與外部存儲(chǔ)鏈接正常，則可以將話單緩存在外部存儲(chǔ)一段時(shí)間，若SMF∕GW與外部存儲(chǔ)同時(shí)斷掉，則只能存在計(jì)算節(jié)點(diǎn)本地內(nèi)存（空間很小，僅能存儲(chǔ)分鐘級(jí)），超過內(nèi)存空間后只能丟棄。

b）EMS∕MANO：操作系統(tǒng)和運(yùn)行數(shù)據(jù)都保存在本地硬盤，當(dāng)外部存儲(chǔ)斷鏈后，只要VNF 的虛機(jī)不重啟，業(yè)務(wù)不會(huì)中斷，但是寫硬盤的操作會(huì)失?。òㄈ罩尽⑿阅芙y(tǒng)計(jì)、配置、告警等）。

c）核心網(wǎng)控制面VNF（AMF、SMF、NRF 等）：數(shù)據(jù)庫和操作系統(tǒng)都是保存在內(nèi)存中的，當(dāng)外部存儲(chǔ)斷鏈后，只要VNF 的虛機(jī)不重啟，業(yè)務(wù)不會(huì)中斷，但是寫硬盤的操作會(huì)失敗（主要是日志）。

d）核心網(wǎng)數(shù)據(jù)面VNF（UDM、PCF 等）：具備DC 內(nèi)和跨DC 容災(zāi)，單臺(tái)存儲(chǔ)設(shè)備故障，啟動(dòng)DC 內(nèi)容災(zāi)，單DC內(nèi)存儲(chǔ)全部故障，啟用跨DC容災(zāi)。

e）5G 消息：如果Guest OS 使用的外部存儲(chǔ)失效，會(huì)影響虛機(jī)正常運(yùn)行。如果APP 的數(shù)據(jù)盤失效，可以按3 種不同模塊場(chǎng)景進(jìn)行分析：核心業(yè)務(wù)模塊如AS 的業(yè)務(wù)處理模塊等，其數(shù)據(jù)盤故障可以不中斷當(dāng)前業(yè)務(wù)，但會(huì)造成計(jì)費(fèi)、日志等數(shù)據(jù)丟失；核心數(shù)據(jù)模塊如FS 的業(yè)務(wù)處理模塊、計(jì)費(fèi)服務(wù)器等，數(shù)據(jù)盤失效會(huì)影響當(dāng)前業(yè)務(wù)；業(yè)務(wù)日志模塊與上述核心數(shù)據(jù)模塊類似，只是數(shù)據(jù)盤失效時(shí)，對(duì)實(shí)時(shí)業(yè)務(wù)和數(shù)據(jù)影響較小。

f）炫鈴平臺(tái)：具體模塊不同，受到的影響也不同，例如數(shù)據(jù)庫或鈴音服務(wù)器所用云盤異常時(shí)，呼叫接續(xù)不受影響，只是個(gè)性化設(shè)置的鈴音無法播放，但是炫鈴系統(tǒng)的保護(hù)音會(huì)正常播放；SCP∕SIPPROXY 模塊部分異常時(shí)，在SCP∕SIPPROXY 設(shè)置的流控范圍內(nèi)的呼叫可正常處理，超出范圍的呼叫會(huì)被拒絕，返回503錯(cuò)誤，讓核心網(wǎng)放通，保證不影響呼叫接續(xù)。

3.2 通信云業(yè)務(wù)網(wǎng)元分類

根據(jù)網(wǎng)元對(duì)外部存儲(chǔ)的依賴關(guān)系，可以將通信云業(yè)務(wù)網(wǎng)元分為以下2 類（2 類網(wǎng)元均可能有告警、日志等數(shù)據(jù)需要外部存儲(chǔ)）。

a）有狀態(tài)網(wǎng)元：業(yè)務(wù)數(shù)據(jù)需要保存到外部存儲(chǔ)上，主要存儲(chǔ)數(shù)據(jù)為用戶靜態(tài)數(shù)據(jù)，數(shù)據(jù)不能丟失。

b）無狀態(tài)網(wǎng)元：業(yè)務(wù)數(shù)據(jù)不需要保存到外部存儲(chǔ)上，或保存在外部存儲(chǔ)上的數(shù)據(jù)主要為業(yè)務(wù)動(dòng)態(tài)數(shù)據(jù)，在外部存儲(chǔ)失效時(shí)，無狀態(tài)網(wǎng)元可通過存儲(chǔ)旁路功能保障業(yè)務(wù)不中斷。

根據(jù)業(yè)務(wù)應(yīng)用重要程度可以將容災(zāi)情況分為DC內(nèi)和DC 間容災(zāi)2種。通信云網(wǎng)元據(jù)此進(jìn)行分類，如表2所示。

表2 通信云業(yè)務(wù)網(wǎng)元分類

4 通信云存儲(chǔ)容災(zāi)方案

4.1 通信云資源池存儲(chǔ)容災(zāi)方案原則

運(yùn)營商可以根據(jù)不同網(wǎng)元對(duì)存儲(chǔ)的依賴關(guān)系以及網(wǎng)元自身應(yīng)用層雙活部署情況，與應(yīng)用層容災(zāi)協(xié)同，對(duì)不同的網(wǎng)元采用不同的存儲(chǔ)層容災(zāi)手段，為通信云提供網(wǎng)絡(luò)運(yùn)營成本與網(wǎng)絡(luò)安全可靠性相對(duì)平衡的容災(zāi)解決方案。

4.2 技術(shù)方案

具體技術(shù)方案如下。

a）業(yè)務(wù)網(wǎng)元無任何DC 內(nèi)∕間容災(zāi)（單DC 單節(jié)點(diǎn)部署）：部署單DC 內(nèi)存儲(chǔ)雙活，應(yīng)用側(cè)數(shù)據(jù)雙寫在不同存儲(chǔ)設(shè)備上，單臺(tái)故障時(shí)，應(yīng)用側(cè)自行切換。存儲(chǔ)啟用主備∕雙活。故障時(shí)存儲(chǔ)自動(dòng)切換及恢復(fù)過程如圖4所示。

圖4 單DC內(nèi)單節(jié)點(diǎn)雙活示意圖

b）業(yè)務(wù)網(wǎng)元單DC 內(nèi)有容災(zāi)（單DC 雙節(jié)點(diǎn)部署）：雙節(jié)點(diǎn)掛載不同存儲(chǔ)設(shè)備，形成A∕B 雙平面，主要通過應(yīng)用側(cè)容災(zāi)進(jìn)行業(yè)務(wù)切換，存儲(chǔ)故障進(jìn)行DC 內(nèi)雙節(jié)點(diǎn)業(yè)務(wù)切換，可避免單存儲(chǔ)失效導(dǎo)致整個(gè)業(yè)務(wù)宕機(jī)。故障時(shí)存儲(chǔ)自動(dòng)切換及恢復(fù)過程如圖5所示。

圖5 單DC內(nèi)雙節(jié)點(diǎn)部署示意圖

c）業(yè)務(wù)網(wǎng)元跨DC 部署且應(yīng)用層有容災(zāi)手段（雙DC 雙節(jié)點(diǎn)部署）：建議主要依靠上層應(yīng)用做相應(yīng)數(shù)據(jù)同步及容災(zāi)切換，跨DC 的存儲(chǔ)雙活對(duì)于鏈路延遲要求較高，如時(shí)延允許（雙DC 距離＜100 km）可以考慮雙活或遠(yuǎn)程復(fù)制。

5 結(jié)束語

通信云資源池存儲(chǔ)容災(zāi)與網(wǎng)絡(luò)部署架構(gòu)以及不同網(wǎng)元特性密切相關(guān)，不同組網(wǎng)不同網(wǎng)元對(duì)應(yīng)有不同的容災(zāi)方案。國際標(biāo)準(zhǔn)對(duì)網(wǎng)元容災(zāi)方案及實(shí)現(xiàn)流程沒有詳細(xì)規(guī)定，各個(gè)廠家實(shí)現(xiàn)方式、機(jī)制及流程有較多不同，這就給運(yùn)營商部署帶來很大挑戰(zhàn)。如何既能滿足5G商用部署要求及策略，又能滿足各種異廠家組合場(chǎng)景下的存儲(chǔ)容災(zāi)備份需求，是網(wǎng)絡(luò)部署中的難題之一。

另一方面，5G 網(wǎng)絡(luò)引入了服務(wù)化架構(gòu)、計(jì)算與存儲(chǔ)分離、控制面和用戶面分離等新技術(shù)架構(gòu)，運(yùn)營商需要綜合考慮并利用新技術(shù)實(shí)現(xiàn)容災(zāi)，而不僅僅依靠某一層設(shè)備或者某一種技術(shù)。

總之，通信云存儲(chǔ)容災(zāi)技術(shù)面臨的困難與問題比想象的要多，運(yùn)營商在后期的部署與運(yùn)營階段還會(huì)遇到各種問題，這也是后續(xù)研究的重點(diǎn)。