謝羽成 孫 健 丁 寧 宋 揚(yáng)

1.中通服咨詢?cè)O(shè)計(jì)研究院有限公司；2.中國(guó)電信集團(tuán)有限公司內(nèi)蒙古分公司

0 引言

在云網(wǎng)融合的建設(shè)如火如荼，各業(yè)務(wù)平臺(tái)和核心業(yè)務(wù)積極爭(zhēng)相上云的過程中，云資源池的管理體系遇到了一些挑戰(zhàn)和執(zhí)行上的問題。例如，網(wǎng)絡(luò)維護(hù)部門如何協(xié)調(diào)同一張資源池中不同業(yè)務(wù)的部署窗口周期？網(wǎng)絡(luò)安全部門如何與業(yè)務(wù)部門協(xié)調(diào)同一個(gè)資源池不同業(yè)務(wù)的安全防護(hù)策略？同一個(gè)資源池內(nèi)對(duì)不同業(yè)務(wù)的質(zhì)量保障等級(jí)如何分配和管理？面對(duì)以上的疑問，如何在保證云網(wǎng)融合大方向不變的情況下，緩解或者解決如今面臨的一些問題是需要探究的。

1 主流云資源池技術(shù)的特點(diǎn)

1.1 Leaf-Spine 架構(gòu)的云資源池

傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)存在帶寬浪費(fèi)、故障域較大、難以適應(yīng)較大規(guī)模網(wǎng)絡(luò)等弊端，因此，Leaf-Spine（葉脊）網(wǎng)絡(luò)架構(gòu)正在逐漸成為當(dāng)今通信運(yùn)營(yíng)商云資源池建設(shè)的主流架構(gòu)。該架構(gòu)正在大規(guī)模城域網(wǎng)絡(luò)（新型城域網(wǎng)）中積極部署。

通信運(yùn)營(yíng)商采用的Leaf-Spine 架構(gòu)的云資源池典型拓?fù)淙鐖D1 所示。

圖1 國(guó)內(nèi)運(yùn)營(yíng)商基于葉脊網(wǎng)絡(luò)架構(gòu)的云資源池典型拓?fù)鋱D

該架構(gòu)的網(wǎng)絡(luò)側(cè)分為Spine 和Leaf 兩層。Spine 節(jié)點(diǎn)通常為EOR（End of Row）交換機(jī)，Leaf 節(jié)點(diǎn)通常為TOR（Top of Rack）交換機(jī)。網(wǎng)絡(luò)整體會(huì)統(tǒng)一設(shè)置兩臺(tái)Boarder Leaf 設(shè)備，該設(shè)備通常采用大功率，高性能的路由器產(chǎn)品。

該架構(gòu)與標(biāo)準(zhǔn)的Leaf-Spine 架構(gòu)相比，參考了NFV 的業(yè)務(wù)特征，在架構(gòu)中設(shè)置了管理、業(yè)務(wù)、存儲(chǔ)三個(gè)不同的節(jié)點(diǎn)。通過這種設(shè)置，能夠在最大化保障網(wǎng)絡(luò)中東西流量運(yùn)行效率的前提下，更加方便地進(jìn)行維護(hù)和管理，符合運(yùn)營(yíng)商對(duì)云資源池精細(xì)化發(fā)展的要求，也避免了由于設(shè)備故障而造成業(yè)務(wù)之間的互相影響。這種架構(gòu)的設(shè)置與Facebook 的Fabric 網(wǎng)絡(luò)架構(gòu)有相似之處。

1.2 運(yùn)營(yíng)商云資源池網(wǎng)絡(luò)架構(gòu)的局限性

1.2.1 多業(yè)務(wù)共用網(wǎng)絡(luò)出口問題

運(yùn)營(yíng)商常用的Leaf-Spine 架構(gòu)，較普通的三層網(wǎng)絡(luò)架構(gòu)的優(yōu)勢(shì)，主要體現(xiàn)在東西向流量的優(yōu)化，該優(yōu)化能夠更好地承載例如5G 核心網(wǎng)、vIMS 等虛擬化網(wǎng)絡(luò)功能的業(yè)務(wù)需求。但是單獨(dú)針對(duì)南北向流量而言，其實(shí)并沒有很大的改善。所有業(yè)務(wù)的南北向流量，都通過唯一的兩臺(tái)Border Leaf 設(shè)備與運(yùn)營(yíng)商網(wǎng)絡(luò)對(duì)接。若通過Leaf-Spine 架構(gòu)的資源池來承載單一業(yè)務(wù)，該方案并沒有很大的問題。但是隨著單機(jī)房?jī)?nèi)承載的業(yè)務(wù)種類越來越多，南北向流量的需求越來越具有多樣性的時(shí)候，Border Leaf 就容易成為整體網(wǎng)絡(luò)的主要風(fēng)險(xiǎn)點(diǎn)和業(yè)務(wù)瓶頸。具體示意圖如圖2 所示。

圖2 基于葉脊網(wǎng)絡(luò)的資源池南北流量走向示意圖

Border Leaf設(shè)備與運(yùn)營(yíng)商網(wǎng)絡(luò)對(duì)接，可以通過多連接方向、多物理路由等方式進(jìn)行數(shù)據(jù)和傳輸層面的安全保障。但是如果Border Leaf 節(jié)點(diǎn)本身出現(xiàn)了設(shè)備故障等重大問題，將影響整個(gè)資源池的南北向流量的正常運(yùn)行，有造成運(yùn)營(yíng)事故的安全隱患。

1.2.2 針對(duì)業(yè)務(wù)割接窗口協(xié)調(diào)的難度增大

在現(xiàn)有通信運(yùn)營(yíng)商的業(yè)務(wù)體系中，各專業(yè)的平臺(tái)通常采用煙囪式結(jié)構(gòu)。平臺(tái)與平臺(tái)之間互不影響，各專業(yè)、各部門可獨(dú)自安排，并決定自己的升級(jí)擴(kuò)容操作周期。

但是隨著網(wǎng)絡(luò)云化的推進(jìn)，各業(yè)務(wù)都通過云資源池的方式進(jìn)行承載，以往可獨(dú)自安排擴(kuò)容或升級(jí)操作變成了每次擴(kuò)容升級(jí)操作均需要協(xié)調(diào)資源池內(nèi)所有的專業(yè)共同規(guī)劃操作窗口的時(shí)間。當(dāng)在資源池內(nèi)部署了特大、特別重要的業(yè)務(wù)時(shí)，其他專業(yè)對(duì)升級(jí)擴(kuò)容的操作窗口和周期的申請(qǐng)就顯得異常困難。例如在5G 核心網(wǎng)擴(kuò)容的較長(zhǎng)周期內(nèi)，其余的業(yè)務(wù)會(huì)很難尋找到合適的擴(kuò)容、升級(jí)、調(diào)測(cè)的操作窗口。這個(gè)問題對(duì)運(yùn)維的管理流程和業(yè)務(wù)安全保障體系形成了新的挑戰(zhàn)。

1.2.3 無法滿足各業(yè)務(wù)不同的安全防護(hù)策略需求

隨著安全等保的要求越來越精細(xì)化，運(yùn)營(yíng)商的各業(yè)務(wù)系統(tǒng)對(duì)安全等保的需求開始有了明顯的區(qū)分。根據(jù)《信息安全等級(jí)保護(hù)管理辦法》的規(guī)定，信息系統(tǒng)的安全保護(hù)等級(jí)分為五級(jí)，一至五級(jí)等級(jí)逐級(jí)增高。

當(dāng)前，運(yùn)營(yíng)商的各類業(yè)務(wù)中，核心網(wǎng)、集團(tuán)管理系統(tǒng)、網(wǎng)絡(luò)安全系統(tǒng)等業(yè)務(wù)系統(tǒng)被嚴(yán)格定級(jí)為等保三級(jí)甚至更高。此外，諸如日常運(yùn)維系統(tǒng)、辦公系統(tǒng)、普通業(yè)務(wù)平臺(tái)等，通常定級(jí)為等保二級(jí)或三級(jí)。剩余的非核心業(yè)務(wù)平臺(tái)，可根據(jù)實(shí)際使用需求，定級(jí)為等保一級(jí)或者按實(shí)際安全需求執(zhí)行。

此時(shí)，存在網(wǎng)絡(luò)架構(gòu)的統(tǒng)一和實(shí)際業(yè)務(wù)安全等保要求不同的沖突問題。當(dāng)不同安全等級(jí)的業(yè)務(wù)承載在同機(jī)房的同一個(gè)資源池中時(shí)，運(yùn)營(yíng)商需要依照平臺(tái)內(nèi)安全等級(jí)最高的業(yè)務(wù)，進(jìn)行最高級(jí)別的安全策略配置，以保障安全的合規(guī)性。但這種較高的安全配置，卻不一定能符合其余平臺(tái)的業(yè)務(wù)需求，出現(xiàn)過度配置、安全投資浪費(fèi)等問題。

由此可見，業(yè)務(wù)的安全配置策略和整體云的安全配置策略在某些時(shí)候確實(shí)存在著一些矛盾點(diǎn)，需要通過合理的辦法進(jìn)行規(guī)避。

2 對(duì)業(yè)務(wù)進(jìn)行分區(qū)的建議

由前述可知，當(dāng)前運(yùn)營(yíng)商的云資源池網(wǎng)絡(luò)架構(gòu)的局限性主要是由于多種類的業(yè)務(wù)均承載在同一個(gè)資源池中造成的。因此，如何依照業(yè)務(wù)的特點(diǎn)和特征進(jìn)行功能分區(qū)從而與承載網(wǎng)高效配合，是需要首先考慮的問題。運(yùn)營(yíng)商的業(yè)務(wù)特征除了安全部分以外，還有很多需要考慮的因素，例如業(yè)務(wù)的服務(wù)對(duì)象、業(yè)務(wù)流量的大小、業(yè)務(wù)的QOS 需求等級(jí)、業(yè)務(wù)的流向特征等。而運(yùn)營(yíng)商往往會(huì)根據(jù)不同的業(yè)務(wù)特征，形成一個(gè)業(yè)務(wù)故障影響等級(jí)的判定。本研究依照業(yè)務(wù)故障影響等級(jí)判定業(yè)務(wù)的重要性，依照安全等保級(jí)別判定安全的重要性。采用以上兩個(gè)不同的角度完成對(duì)不同業(yè)務(wù)的分區(qū)劃分。

2.1 依照安全等保級(jí)別進(jìn)行業(yè)務(wù)區(qū)分

在運(yùn)營(yíng)商的現(xiàn)有管理體系中，已經(jīng)在近兩年完善了各自業(yè)務(wù)系統(tǒng)的網(wǎng)絡(luò)安全定級(jí)備案。經(jīng)過分析，主要遵循了以下幾個(gè)原則：故障影響范圍廣、業(yè)務(wù)重要性高的業(yè)務(wù)定為3 級(jí)；生產(chǎn)子系統(tǒng)，以及不會(huì)形成大范圍故障或生產(chǎn)事故的系統(tǒng)定級(jí)為2 級(jí)；非核心生產(chǎn)單元的業(yè)務(wù)系統(tǒng)定級(jí)為1 級(jí)。參照某運(yùn)營(yíng)商的指導(dǎo)意見，定級(jí)建議如表1 所示。

表1 業(yè)務(wù)系統(tǒng)定級(jí)建議

2.2 依照業(yè)務(wù)重要性等級(jí)進(jìn)行業(yè)務(wù)區(qū)分

依照業(yè)務(wù)性質(zhì)，可以將上云承載的系統(tǒng)按照管理界面劃分為對(duì)內(nèi)系統(tǒng)和對(duì)外系統(tǒng)。對(duì)內(nèi)系統(tǒng)可包括管理系統(tǒng)、運(yùn)維系統(tǒng)等；對(duì)外系統(tǒng)包括生產(chǎn)系統(tǒng)、核心網(wǎng)系統(tǒng)、業(yè)務(wù)平臺(tái)系統(tǒng)、增值服務(wù)平臺(tái)系統(tǒng)等。

每一類系統(tǒng)都可以依照故障影響等級(jí)進(jìn)行相關(guān)的重要性判定。例如，對(duì)內(nèi)系統(tǒng)，存在集團(tuán)級(jí)系統(tǒng)＞省級(jí)系統(tǒng)＞地市級(jí)系統(tǒng)的重要性等級(jí)區(qū)分；對(duì)外服務(wù)系統(tǒng)，存在核心網(wǎng)系統(tǒng)＞業(yè)務(wù)平臺(tái)系統(tǒng)＞第三方平臺(tái)增值服務(wù)系統(tǒng)的重要性等級(jí)區(qū)分。因此，可參考以上重要性關(guān)系，將各類需要通過云資源池承載的業(yè)務(wù)進(jìn)行重要性等級(jí)區(qū)分。

為更好地完成分區(qū)工作，建議可以通過賦分的方式對(duì)各業(yè)務(wù)系統(tǒng)的重要性等級(jí)進(jìn)行評(píng)定。賦分規(guī)則可參考如下：特別重要系統(tǒng)賦分區(qū)間為80-100 分，一般重要系統(tǒng)賦分區(qū)間為60-80 分，普通系統(tǒng)賦分區(qū)間為40-60 分，其他系統(tǒng)賦分區(qū)間為20-40 分。

2.3 參照安全等級(jí)和業(yè)務(wù)重要性的業(yè)務(wù)分區(qū)實(shí)驗(yàn)

本研究選取了運(yùn)營(yíng)商行業(yè)中十一個(gè)可以通過云資源池承載的系統(tǒng)進(jìn)行安全定級(jí)和重要性賦分實(shí)驗(yàn)。賦分實(shí)驗(yàn)結(jié)果參考如表2 所示。

表2 賦分實(shí)驗(yàn)結(jié)果

依照以上的賦分實(shí)驗(yàn)結(jié)果，可在直角坐標(biāo)系中形成散點(diǎn)圖。在直角坐標(biāo)系中，落在第一象限的系統(tǒng)可分類為一區(qū)業(yè)務(wù)，落在該區(qū)域內(nèi)的系統(tǒng)表示是級(jí)別最高，業(yè)務(wù)需要得到最大保障；落在第二和第四象限中的業(yè)務(wù)，可分類為二區(qū)業(yè)務(wù)，二區(qū)表示該業(yè)務(wù)比較重要，但是安全需求不高，或者雖然安全需求很高但是業(yè)務(wù)不是最重要的；落在第三象限中的業(yè)務(wù)可分為三區(qū)業(yè)務(wù)，該區(qū)域內(nèi)的業(yè)務(wù)是非核心的業(yè)務(wù)系統(tǒng)，代表故障影響范圍有限。

具體示例如圖3 所示。

圖3 業(yè)務(wù)分區(qū)實(shí)驗(yàn)結(jié)果圖

3 對(duì)雙平面組網(wǎng)在云資源池中的應(yīng)用探討

3.1 雙平面組網(wǎng)的技術(shù)特點(diǎn)

“雙平面”的網(wǎng)絡(luò)架構(gòu)在2010 年前后開始在國(guó)內(nèi)應(yīng)用。該網(wǎng)絡(luò)架構(gòu)的引入主要是為了解決承載網(wǎng)層面的安全問題和業(yè)務(wù)優(yōu)先級(jí)保障問題。在云資源池的組網(wǎng)層面，暫時(shí)還未了解到相關(guān)的應(yīng)用成果。

“雙平面”架構(gòu)的優(yōu)勢(shì)是可以將業(yè)務(wù)流量按其重要程度，分別通過A、B 兩個(gè)不同的平面承載。通過這種架構(gòu)，有能力讓多種不同業(yè)務(wù)的承載方案更加清晰，效率能得到有效提升。也給管理部門提供了多樣化的業(yè)務(wù)保障策略，有利于后續(xù)管理。

3.2 雙平面組網(wǎng)在云資源池建設(shè)中的應(yīng)用

在業(yè)務(wù)側(cè)有了一區(qū)、二區(qū)、三區(qū)的區(qū)分之后，就可以用多平面的方式，對(duì)不同分區(qū)的業(yè)務(wù)進(jìn)行針對(duì)性承載。考慮到承載網(wǎng)設(shè)備在資源池內(nèi)的整體投資占比不宜過大，本研究?jī)?yōu)先探討如何基于雙平面，對(duì)基于Leaf-Spine 架構(gòu)的資源池進(jìn)行改善。A 平面承載優(yōu)先級(jí)最高的一區(qū)業(yè)務(wù)，B 平面承載優(yōu)先級(jí)次級(jí)的二區(qū)和三區(qū)業(yè)務(wù)。

可以在云資源池中通過增加Leaf-Spine 架構(gòu)中的Border Leaf 節(jié)點(diǎn)，結(jié)合業(yè)務(wù)分區(qū)完成改進(jìn)工作。優(yōu)化后的示意圖如圖4 所示。

圖4 對(duì)基于葉脊網(wǎng)絡(luò)資源池優(yōu)化后的組網(wǎng)及業(yè)務(wù)走向示意圖

通過該調(diào)整，可以使用A、B 兩個(gè)不同的平面，針對(duì)業(yè)務(wù)的分區(qū)不同，進(jìn)行差異化承載。該拓?fù)涞恼{(diào)整能夠?yàn)樵瀑Y源池的建設(shè)和管理帶來以下幾個(gè)優(yōu)點(diǎn)：

（1）能夠解決資源池網(wǎng)絡(luò)出口瓶頸問題。通過新增Border Leaf 節(jié)點(diǎn)，能夠有效拓寬資源池南北流量。網(wǎng)絡(luò)出口不再依靠唯一的一對(duì)Border leaf 節(jié)點(diǎn)，有效增強(qiáng)了網(wǎng)絡(luò)的健壯性和安全性，有利于后期的擴(kuò)容。

（2）能夠解決資源池內(nèi)操作窗口調(diào)度難的問題。業(yè)務(wù)分區(qū)和雙平面建設(shè)后，運(yùn)維管理部門可以規(guī)劃用A 平面承載一區(qū)業(yè)務(wù)，B 平面承載二區(qū)和三區(qū)業(yè)務(wù)。因此，二區(qū)、三區(qū)業(yè)務(wù)的操作不會(huì)實(shí)際影響到一區(qū)業(yè)務(wù)的運(yùn)行。運(yùn)維部門也可以自行安排A、B 平面的業(yè)務(wù)承載計(jì)劃，并進(jìn)行靈活調(diào)度，極大緩解網(wǎng)絡(luò)升級(jí)與安全保障之間的矛盾。

（3）提供了相同資源池內(nèi)差異化服務(wù)的可能性。在實(shí)際配置中，由于A、B 平面相對(duì)獨(dú)立，可以在承載網(wǎng)側(cè)對(duì)不同的平面制定不同的差異化服務(wù)策略。例如A 平面可以主要連接運(yùn)營(yíng)商A 網(wǎng)絡(luò)，B 平面可以主要連接運(yùn)營(yíng)商B 網(wǎng)絡(luò)，A 網(wǎng)絡(luò)和B 網(wǎng)絡(luò)之間通過邊緣路由器互通。通過這種方式，資源池內(nèi)的業(yè)務(wù)可以根據(jù)實(shí)際業(yè)務(wù)需求進(jìn)行定向選擇，從而可以為同一資源池內(nèi)的不同業(yè)務(wù)提供差異化服務(wù)，提高云資源池南北向流量的流通效率。

（4）為資源池的網(wǎng)絡(luò)承載提供額外的容災(zāi)手段?？紤]到A、B 平面的容災(zāi)特點(diǎn)，以及Leaf-Spine 架構(gòu)全連接的特征，A 平面與B 平面實(shí)質(zhì)上形成了互備的關(guān)系。因此，當(dāng)A 平面出現(xiàn)重大級(jí)別故障時(shí)，A平面的業(yè)務(wù)可切換至B平面進(jìn)行承載，反之亦然，從而為資源池提供額外的一種安全容災(zāi)手段。

4 結(jié)束語

隨著云網(wǎng)融合建設(shè)的持續(xù)推進(jìn)，無論是運(yùn)營(yíng)商、政府部門，還是企事業(yè)單位，對(duì)于云資源池建設(shè)的需求都呈現(xiàn)井噴式爆發(fā)。隨著業(yè)務(wù)逐漸多樣化，如何針對(duì)特殊需求完善現(xiàn)有云網(wǎng)絡(luò)架構(gòu)顯得十分必要。本研究對(duì)如何將雙平面組網(wǎng)和業(yè)務(wù)分區(qū)應(yīng)用在主流的Leaf-Spine 架構(gòu)的云資源池中進(jìn)行了初步探討和分析。當(dāng)然，其中有很多細(xì)節(jié)問題還需進(jìn)一步探究，例如如何更好、更客觀地對(duì)業(yè)務(wù)進(jìn)行分區(qū)？如何繼續(xù)優(yōu)化數(shù)據(jù)傳輸協(xié)議配置，從而提高A、B 雙平面承載的運(yùn)行效率？以上遺留問題都需進(jìn)行更加專業(yè)的評(píng)估。本研究是從架構(gòu)層級(jí)對(duì)資源池的優(yōu)化進(jìn)行討論，也為未來的云資源池部署提供了新的思路，具有良好的應(yīng)用前景。