王瑞雪 熊學濤 翁思俊

摘要：提出了一種適用于大規(guī)模數(shù)據(jù)中心的SDN組網(wǎng)方案及其對應(yīng)的網(wǎng)絡(luò)架構(gòu)和關(guān)鍵技術(shù)。在該組網(wǎng)方案下，引入多POD組網(wǎng)結(jié)構(gòu)，每個POD內(nèi)部署獨立的SDN控制器及轉(zhuǎn)發(fā)設(shè)備，通過統(tǒng)一的云管理平臺集中管理多個POD。基于SDN的大規(guī)模數(shù)據(jù)中心組網(wǎng)方案旨在打破傳統(tǒng)云平臺和SDN控制器管理規(guī)模性能的限制，滿足數(shù)十萬臺服務(wù)器的數(shù)據(jù)中心建設(shè)需求。該方案已成為通信行業(yè)SDN大規(guī)模網(wǎng)絡(luò)的標桿方案，目前已在中國移動私有云數(shù)據(jù)中心規(guī)模商用。

關(guān)鍵詞：軟件定義網(wǎng)絡(luò);大規(guī)模數(shù)據(jù)中心;底層網(wǎng)絡(luò);路由規(guī)劃

1? ?引言

為滿足通信4.0時代敏捷化、開放化、軟件化和虛擬化的網(wǎng)絡(luò)需求，中國移動提出以NovoNet為愿景的下一代網(wǎng)絡(luò)構(gòu)想，旨在通過網(wǎng)絡(luò)革新構(gòu)建一張資源可全局調(diào)度、能力可全面開放、容量可彈性伸縮、架構(gòu)可靈活調(diào)整的新一代網(wǎng)絡(luò)架構(gòu)[1-4]，以適應(yīng)中國移動數(shù)字化服務(wù)轉(zhuǎn)型發(fā)展需要，為“互聯(lián)網(wǎng)”+發(fā)展奠定良好的網(wǎng)絡(luò)基礎(chǔ)。

SDN（Software Defined Network，軟件定義網(wǎng)絡(luò)）作為下一代網(wǎng)絡(luò)關(guān)鍵技術(shù)之一，提供了全新的網(wǎng)絡(luò)架構(gòu)[5-7]?；诰幣艑?、控制層和轉(zhuǎn)發(fā)層三層架構(gòu)，網(wǎng)絡(luò)資源可實現(xiàn)按需分配、靈活調(diào)度，網(wǎng)絡(luò)能力可實現(xiàn)全面開放、定制開發(fā)。中國移動多年來積極探索并推動基于SDN的新型網(wǎng)絡(luò)發(fā)展，分領(lǐng)域分階段在數(shù)據(jù)中心、傳輸網(wǎng)、承載網(wǎng)等各類場景進行網(wǎng)絡(luò)演進，其中數(shù)據(jù)中心場景因為殺手級業(yè)務(wù)VPC（Virtual Private Cloud，虛擬專用云），成為SDN商用部署最成熟最主要的場景之一。

中國移動公有云和私有云目前已全面引入SDN技術(shù)，通過部署云管平臺、商用SDN控制器及轉(zhuǎn)發(fā)設(shè)備，面向?qū)嶋H業(yè)務(wù)提供數(shù)據(jù)中心網(wǎng)絡(luò)自動開通、靈活部署、自助管理等云服務(wù)。在建設(shè)過程中，為滿足區(qū)域資源池集中建設(shè)以及多節(jié)點資源池融合等實際需求，數(shù)據(jù)中心SDN網(wǎng)絡(luò)存在規(guī)模性、互通性和定制化三大挑戰(zhàn)。

（1）規(guī)模性，實現(xiàn)上萬臺服務(wù)器規(guī)模的大型數(shù)據(jù)中心網(wǎng)絡(luò)部署。SDN網(wǎng)絡(luò)的規(guī)模受限于云管平臺納管計算節(jié)點的數(shù)量、控制器納管轉(zhuǎn)發(fā)節(jié)點的數(shù)量和轉(zhuǎn)發(fā)設(shè)備的性能等多個瓶頸，組網(wǎng)規(guī)模存在限制，無法滿足上萬臺服務(wù)器規(guī)模的大型數(shù)據(jù)中心網(wǎng)絡(luò)部署需求。此外，集中控制的短板在于規(guī)模性，受限于算法健壯性、邏輯嚴密性和處理并發(fā)性，集中控制的網(wǎng)絡(luò)不具備大規(guī)模承載能力。

（2）互通性，實現(xiàn)異構(gòu)異廠家方案的互聯(lián)互通。SDN技術(shù)給網(wǎng)絡(luò)帶來靈活性的同時也引入了方案的多樣性，各廠家SDN方案在設(shè)備形態(tài)、通信協(xié)議、配置模型等方面都存在較大差異，不具備互通性。長期以來，受限于私有實現(xiàn)方案，資源池網(wǎng)絡(luò)依舊為煙囪式建設(shè)方式，不利于網(wǎng)絡(luò)能力的開放和生態(tài)的發(fā)展。同時，SDN控制層和轉(zhuǎn)發(fā)層之間接口標準化程度較低，相關(guān)網(wǎng)元（控制器、交換機、防火墻、負載均衡器等）均由單一廠商提供或由某廠商集成后提供，設(shè)備選擇受限于廠商合作模式，功能受限于廠家私有實現(xiàn)，方案靈活性較差。

（3）定制化，SDN網(wǎng)絡(luò)功能需結(jié)合實際業(yè)務(wù)需求進行有效裁剪和增加。由于承載業(yè)務(wù)的差異性，面向公有云和私有云的SDN網(wǎng)絡(luò)功能需求不同，隨之而來的安全域要求、流量模型不盡相同，因此SDN網(wǎng)絡(luò)功能需要結(jié)合實際業(yè)務(wù)需求進行有效的裁剪和增加，此時需要SDN網(wǎng)絡(luò)在普適性的基礎(chǔ)上可靈活增加定制化功能。

2? ?大規(guī)模SDN數(shù)據(jù)中心組網(wǎng)架構(gòu)

大規(guī)模的SDN數(shù)據(jù)中心組網(wǎng)需實現(xiàn)幾萬臺服務(wù)器作為一個資源池來承載和編排調(diào)度，受限于Underlay組網(wǎng)規(guī)模及SDN方案管理規(guī)模，現(xiàn)有網(wǎng)絡(luò)架構(gòu)無法滿足大規(guī)模數(shù)據(jù)中心的部署需求。

（1）底層Underlay組網(wǎng)能力受限。雖然隨著芯片不斷的升級換代，數(shù)據(jù)中心交換機處理轉(zhuǎn)發(fā)能力極大提升，但是基于目前的數(shù)據(jù)中心交換機端口能力，同時考慮到每個機房實際機柜的數(shù)目，以及機房間跨機房布線的難易程度，傳統(tǒng)單一的Spine-leaf組網(wǎng)架構(gòu)無法滿足上萬服務(wù)器的承載需求。

（2）SDN控制器及OpenStack管理規(guī)模受限。首先，SDN控制器管理VSW或者硬件交換機會啟用TCP長連接，從占用CPU內(nèi)存資源，數(shù)量過多的被納管設(shè)備將極大地消耗SDN控制器的資源，進而降低控制器的性能，這是SDN控制器管理規(guī)模主要限制因素。SDN控制器的管理范圍主要受控制器和被納管設(shè)備間的網(wǎng)絡(luò)時延限制，因此SDN控制器建議本地部署而不建議長距離異地遠程管理。目前主流設(shè)備廠家在SDN控制器3機集群的情況下，可以管理2 000個VSW或者1 000個硬件SDN交換機。其次，OpenStack采用集中式消息處理機制，所有交互操作會到指令層面進行拆分，而指令并發(fā)處理能力低，主要以單進程隊列方式進行，如同時對資源池內(nèi)100臺虛擬機進行操作，因指令并發(fā)處理能力差，拆解出的大量指令不得不排隊等待執(zhí)行，響應(yīng)效率和及時性都會惡化，影響用戶的實際感知。

在此背景下，為推動中國移動集中化數(shù)據(jù)中心建設(shè)方案落地，滿足后續(xù)數(shù)據(jù)中心SDN網(wǎng)絡(luò)大規(guī)模部署需求，中國移動創(chuàng)新性提出POD（Point of Delivery，最小交付單元）概念，將超大規(guī)模資源池劃分為多個獨立的POD模塊，每個POD內(nèi)采用經(jīng)典SDN數(shù)據(jù)中心三層架構(gòu)，部署獨立OpenStack管理模塊、SDN控制器及對應(yīng)網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備。綜合考慮物理組網(wǎng)規(guī)模及SDN方案管理能力，建議裸金屬服務(wù)器場景下POD內(nèi)服務(wù)器數(shù)量不超過3 000臺，虛擬化服務(wù)器場景下POD內(nèi)服務(wù)器數(shù)量不超過1 500臺。各POD內(nèi)所有計算、存儲和網(wǎng)絡(luò)資源受上層云管理平臺統(tǒng)一納管和集中編排，并根據(jù)業(yè)務(wù)需求實現(xiàn)POD間互聯(lián)網(wǎng)絡(luò)按需開通，打破組網(wǎng)架構(gòu)及設(shè)備性能對于資源池規(guī)模的限制，實現(xiàn)統(tǒng)一的資源池化服務(wù)。

中國移動大規(guī)模數(shù)據(jù)中心組網(wǎng)架構(gòu)如圖1所示，其中，縱向分為網(wǎng)絡(luò)出口層、POD互聯(lián)層、核心層以及接入層，相比于傳統(tǒng)數(shù)據(jù)中心資源池網(wǎng)絡(luò)架構(gòu)，新增POD互聯(lián)層，包括南北匯接交換機和東西向POD互聯(lián)C-Spine交換機。其中南北匯接交換機對各POD訪問外部網(wǎng)絡(luò)的流量進行匯聚，然后統(tǒng)一出口送往出口層，有效節(jié)省外部接入路由器端口數(shù)量。東西向POD互聯(lián)C-Spine負責跨POD流量訪問，南北向匯聚交換機及C-Spine交換機的數(shù)量可以根據(jù)實際的POD規(guī)模、POD數(shù)量和網(wǎng)絡(luò)收斂比要求靈活設(shè)置。組網(wǎng)架構(gòu)橫向按照功能區(qū)域劃分為管理網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)及業(yè)務(wù)網(wǎng)絡(luò)，其中存儲和管理各自采用獨立POD組網(wǎng)，考慮其配置相對穩(wěn)定，沿用傳統(tǒng)組網(wǎng)，不引入SDN，管理網(wǎng)絡(luò)中部署統(tǒng)一云管理平臺及各POD所對應(yīng)的OpenStack管理模塊和SDN控制器，由于SDN控制器與轉(zhuǎn)發(fā)設(shè)備通過管理網(wǎng)交互，SDN的引入對管理網(wǎng)提出更高的可靠性要求。業(yè)務(wù)網(wǎng)絡(luò)根據(jù)機房規(guī)?；蛴脩粜枨髣澐譃槎鄠€POD，POD內(nèi)采用經(jīng)典三層組網(wǎng)架構(gòu)并引入SDN，包括計算節(jié)點服務(wù)器、SDN轉(zhuǎn)發(fā)設(shè)備（包括SDN TOR、SDN網(wǎng)關(guān)、vSwitch等Overlay設(shè)備）、傳統(tǒng)轉(zhuǎn)發(fā)設(shè)備（Underlay設(shè)備）以及增值業(yè)務(wù)設(shè)備（包括防火墻和負載均衡器）?？鏟OD業(yè)務(wù)網(wǎng)絡(luò)互訪及業(yè)務(wù)網(wǎng)絡(luò)與存儲網(wǎng)絡(luò)互訪均通過POD互聯(lián)層實現(xiàn)。

3? ?組網(wǎng)關(guān)鍵技術(shù)

（1）關(guān)鍵技術(shù)一：底層網(wǎng)絡(luò)與路由規(guī)劃

多POD的大規(guī)模數(shù)據(jù)中心的Underlay組網(wǎng)，網(wǎng)絡(luò)內(nèi)網(wǎng)絡(luò)設(shè)備數(shù)量眾多，按每POD內(nèi)500臺網(wǎng)絡(luò)設(shè)備數(shù)量計算，10個POD組網(wǎng)網(wǎng)絡(luò)設(shè)備將超過5 000臺，因此如何規(guī)劃好Underlay層面的路由配置，對大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)的高性能轉(zhuǎn)發(fā)非常重要。

普通數(shù)據(jù)中心場景IGP（Interior Gateway Protocol，內(nèi)部網(wǎng)關(guān)協(xié)議）路由主要是以O(shè)SPF（Open Shortest Path First，開放式最短路徑優(yōu)先）路由為主，OSPF路由技術(shù)成熟，網(wǎng)絡(luò)建設(shè)運維人員使用經(jīng)驗豐富。使用OSPF作為大規(guī)模數(shù)據(jù)中心組網(wǎng)的IGP路由協(xié)議，各POD應(yīng)劃分為不同的Area區(qū)域，東西匯聚交換機作為骨干區(qū)域Area0，以減少LSA（Link-State Advertisement，鏈路狀態(tài)廣播）的傳播區(qū)域和傳播數(shù)量。各POD內(nèi)SDN-GW作為OSPF區(qū)域邊界網(wǎng)絡(luò)設(shè)備，將不同接口劃入不同的區(qū)域，上連東西匯聚交換機接口劃入Area0，下連POD內(nèi)Spine接口劃入各POD單獨Area。南北匯聚交換機一般工作在二層透傳模式，三層終結(jié)在外網(wǎng)防火墻，因此南北匯聚交換機可不運行路由協(xié)議。

相比較OSPF，ISIS（Intermediate System to Intermediate System，中間系統(tǒng)到中間系統(tǒng)）支持ISPF（Incremental SPF），對大規(guī)模網(wǎng)絡(luò)的支持能力和收斂性能更好。ISIS支持靈活的TLV編碼方式，協(xié)議擴展性更好。ISIS因其收斂速度快、結(jié)構(gòu)清晰、適用于較大規(guī)模網(wǎng)絡(luò)，一直比較多應(yīng)用于城域網(wǎng)場景或者IP專網(wǎng)場景作為IGP路由協(xié)議。隨著數(shù)據(jù)中心規(guī)模越來越大、設(shè)備數(shù)量越來越多，ISIS也更多地應(yīng)用于數(shù)據(jù)中心場景。ISIS的區(qū)域邊界在鏈路，每臺網(wǎng)絡(luò)設(shè)備只能屬于一個ISIS區(qū)域。為減少LSP的傳播區(qū)域和傳播數(shù)量，在大規(guī)模數(shù)據(jù)中心場景ISIS分層次進行規(guī)劃，骨干區(qū)域包括POD間東西匯聚交換機和每個POD內(nèi)的SDN-GW。POD間東西匯聚交換機運行ISIS level2，POD內(nèi)的SDN-GW運行ISIS的level-1-2。每個POD內(nèi)Spine和Leaf運行ISIS level1。

RFC7938提出了將EBGP路由協(xié)議應(yīng)用于大規(guī)模數(shù)據(jù)中心的建議，而且目前也有少量將EBGP應(yīng)用于數(shù)據(jù)中心內(nèi)作為底層路由協(xié)議的實例。有別于OSPF、ISIS等鏈路狀態(tài)協(xié)議，BGP是一種距離矢量路由協(xié)議，因此BGP的擴展性更好。在中小型的數(shù)據(jù)中心組網(wǎng)時，使用BGP和使用ISIS、OSPF等鏈路狀態(tài)協(xié)議性能區(qū)別不大，但是在超大型數(shù)據(jù)中心的網(wǎng)絡(luò)中，應(yīng)用BGP的性能會更優(yōu)。OSPF、ISIS等鏈路狀態(tài)協(xié)議需要在網(wǎng)絡(luò)內(nèi)傳遞大量的LSA，路由信息生成過程是先完成LSA信息同步，再計算生成路由信息。在網(wǎng)絡(luò)部分節(jié)點發(fā)生變動或者網(wǎng)絡(luò)割接升級時，會引起大量LSA的傳遞。而距離矢量路由協(xié)議BGP不存在這樣的問題，BGP節(jié)點間直接通告路由，在網(wǎng)絡(luò)擴展和割接升級時的網(wǎng)絡(luò)穩(wěn)定性更好。

目前關(guān)于OSPF和ISIS路由協(xié)議的LSA優(yōu)化在IETF已經(jīng)有相應(yīng)的draft，目的都是減少LSA的傳播數(shù)量和傳播范圍，已使OSPF和ISIS在超大規(guī)模數(shù)據(jù)中心組網(wǎng)中的性能更優(yōu)，但是目前并沒有非常有效的并被實際應(yīng)用的方案。雖然目前將EBGP用于數(shù)據(jù)中心的應(yīng)用并不廣泛，但是未來超大規(guī)模數(shù)據(jù)中心的底層路由協(xié)議選擇中，距離矢量路由協(xié)議BGP很可能會得到更廣泛的應(yīng)用。

（2）關(guān)鍵技術(shù)二：異廠商異構(gòu)數(shù)據(jù)中心互聯(lián)技術(shù)

大規(guī)模的SDN數(shù)據(jù)中心劃POD部署后，必然存在業(yè)務(wù)跨POD部署及互訪需求，POD間網(wǎng)絡(luò)應(yīng)具備需動態(tài)開通，靈活變更的自動化配置能力[8-10]。中國移動研究院基于私有云、公有云數(shù)據(jù)中心實際業(yè)務(wù)跨POD間二層、三層互訪需求、防火墻負載均衡器等業(yè)務(wù)鏈需求、安全域需求等場景，定義并發(fā)布業(yè)界首個POD互聯(lián)場景下控制器北向接口規(guī)范，接口覆蓋POD間二層互通、POD三層互通等全業(yè)務(wù)場景，其中對于三層互通，可根據(jù)實際業(yè)務(wù)需求定義POD互訪流量是否經(jīng)過防火墻、是否需要對部分網(wǎng)段互通進行抑制等。通過對接口規(guī)范內(nèi)參數(shù)的定義和統(tǒng)一，保證了多廠家SDN控制器北向接口規(guī)范化，也屏蔽異廠家SDN解決方案差異性，保證云管理平臺編排層邏輯的統(tǒng)一化，最終實現(xiàn)對數(shù)據(jù)中心內(nèi)部多POD互聯(lián)統(tǒng)一編排和多廠家SDN方案的兼容性。目前該接口已得到國內(nèi)主流SDN廠商的廣泛支持，并在中國移動BC-EPC產(chǎn)品、中國電信SDN-HUB產(chǎn)品中實現(xiàn)，并納入ONAP（Network Automation & Orchestration Platform，自動化管理與編排開源平臺）支持計劃。同時，單資源池內(nèi)多POD間業(yè)務(wù)互訪主要通過交互各POD內(nèi)部私網(wǎng)路由，以裸IP方式互訪，為保證異廠家POD的互聯(lián)互通，采用標準EVPN（Ethernet Virtual Private Network，以太虛擬私有網(wǎng)絡(luò)）作為控制面協(xié)議，結(jié)合轉(zhuǎn)發(fā)面的VXLAN（Virtual eXtend Local Access Network，虛擬局域網(wǎng)）實現(xiàn)跨POD互通，其中各POD內(nèi)SDN網(wǎng)關(guān)設(shè)備不僅作為POD內(nèi)出口網(wǎng)關(guān)，也作為POD互聯(lián)的互通點設(shè)備。不同POD內(nèi)SDN網(wǎng)關(guān)之間通過EBGP（External Border Gateway Protocol，外部邊界網(wǎng)關(guān)協(xié)議）建立EVPN鄰居關(guān)系，控制器通過北向接口接收云管平臺跨POD編排信息，對下完成對于本POD內(nèi)SDN網(wǎng)關(guān)設(shè)備對應(yīng)EVPN協(xié)議、靜態(tài)路由等策略配置，SDN網(wǎng)關(guān)間通過EVPN協(xié)議交換對租戶內(nèi)的MAC、ARP以及IP等信息的傳遞，最終實現(xiàn)控制面和轉(zhuǎn)發(fā)面跨POD互聯(lián)互通，互聯(lián)部署架構(gòu)如圖4所示。

受限于EVPN協(xié)議及部分交換機轉(zhuǎn)發(fā)實現(xiàn)機制，異廠家異構(gòu)資源池在進行跨POD互通時，存在業(yè)務(wù)跨POD互訪流量無法實現(xiàn)安全隔離、各POD內(nèi)業(yè)務(wù)地址及對應(yīng)VNI（Virtual Network Identifier，虛擬網(wǎng)絡(luò)標識符）標示無法獨立規(guī)劃、資源池的網(wǎng)關(guān)與防火墻到業(yè)務(wù)VPC（Virtual Private Cloud，虛擬私有云）流量分流與隔離復雜等問題。為解決上訴問題，中國移動創(chuàng)新性提出L2/L3 VNI Mapping功能，在POD間引入L2/L3 VXLAN隧道，通過在各POD內(nèi)SDN網(wǎng)關(guān)設(shè)備上實現(xiàn)VxLAN Mapping，解決現(xiàn)有EVPN協(xié)議實現(xiàn)存在的單資源池節(jié)點內(nèi)多POD獨立編排管理后VNI資源沖突及不一致問題，保證了每個POD規(guī)劃建設(shè)獨立性和POD間的互通性，滿足業(yè)務(wù)互訪的同時解決流量隔離問題，實現(xiàn)業(yè)務(wù)跨POD互訪的可控和可信，相比傳統(tǒng)互聯(lián)方案無論是效率還是安全性都有極大的提升。