■ 田征 何恒宏 周琰
在對(duì)目前主流數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)方法進(jìn)行對(duì)比分析的基礎(chǔ)上,通過(guò)對(duì)氣象業(yè)務(wù)的數(shù)據(jù)交互特征進(jìn)行分析和歸類(lèi),提出一種少跳轉(zhuǎn)、低延時(shí)、高可靠的適用于氣象業(yè)務(wù)系統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)。該網(wǎng)絡(luò)架構(gòu)將業(yè)務(wù)和管理分別組網(wǎng),并采用異構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu),在滿足業(yè)務(wù)高速高效交互需求的基礎(chǔ)上,兼顧數(shù)據(jù)中心網(wǎng)絡(luò)的安全性和可靠性。
數(shù)據(jù)中心以集約共享的基礎(chǔ)設(shè)施資源池作為資源載體和補(bǔ)充,承載各類(lèi)氣象應(yīng)用端系統(tǒng)等業(yè)務(wù)網(wǎng)區(qū)氣象業(yè)務(wù)和科研應(yīng)用系統(tǒng),提供統(tǒng)一的氣象數(shù)據(jù)環(huán)境,以服務(wù)接口的方式支撐氣象應(yīng)用,實(shí)現(xiàn)天氣、氣候、探測(cè)等加工處理算法的整合,融入一體化加工流水線。
網(wǎng)絡(luò)系統(tǒng)作為數(shù)據(jù)中心的基礎(chǔ)設(shè)施,為各類(lèi)氣象業(yè)務(wù)系統(tǒng)提供穩(wěn)定、高效、可靠的網(wǎng)絡(luò)傳輸平臺(tái),數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)關(guān)系到數(shù)據(jù)中心的配置、性能、管理維護(hù)等多個(gè)方面,數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)的結(jié)構(gòu)和性能至關(guān)重要。
隨著幾年來(lái)云計(jì)算技術(shù)的逐漸成熟和推廣應(yīng)用,數(shù)據(jù)中心內(nèi)部一般采用分布式架構(gòu)處理海量數(shù)據(jù)存儲(chǔ)、挖掘、查詢等相關(guān)業(yè)務(wù),服務(wù)器之間需要進(jìn)行大量的協(xié)同工作,因此產(chǎn)生了大量的東西向流量。其次,數(shù)據(jù)中心中越來(lái)越多的采用虛擬化技術(shù),物理服務(wù)器的吞吐量是虛擬化前的數(shù)倍之多。同時(shí),為了更大幅度地增大數(shù)據(jù)中心業(yè)務(wù)的可靠性、提高業(yè)務(wù)部署的靈活性,虛機(jī)需要實(shí)現(xiàn)在數(shù)據(jù)中心內(nèi)進(jìn)行動(dòng)態(tài)遷移。作為核心基礎(chǔ)設(shè)施,數(shù)據(jù)中心網(wǎng)絡(luò)是連接數(shù)據(jù)中心大規(guī)模服務(wù)器進(jìn)行大型分布式計(jì)算的橋梁,適應(yīng)云計(jì)算和大數(shù)據(jù)應(yīng)用的數(shù)據(jù)中心網(wǎng)絡(luò)已經(jīng)成為了近年來(lái)引人矚目的研究熱點(diǎn)。國(guó)際國(guó)內(nèi)學(xué)術(shù)界、標(biāo)準(zhǔn)組織、網(wǎng)絡(luò)設(shè)備廠商、云計(jì)算提供商等都對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)研究給予了非常大的關(guān)注,PortLand、VL2等多種新型數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)被提出廣泛部署和應(yīng)用于當(dāng)前的商用數(shù)據(jù)中心。
本文在對(duì)目前數(shù)據(jù)中心分析研究的基礎(chǔ)上,結(jié)合目前主流數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)方法,提出一種滿足少跳轉(zhuǎn)、低延時(shí)、高可靠的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)。
傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)一般采用以交換機(jī)為核心的三層樹(shù)形網(wǎng)絡(luò)架構(gòu),即采用核心層、匯聚層、接入層三層結(jié)構(gòu),如圖1所示。這種傳統(tǒng)樹(shù)形網(wǎng)絡(luò)結(jié)構(gòu)的根節(jié)點(diǎn)帶寬會(huì)成為瓶頸,存在以下缺點(diǎn)。
?帶寬受限,在匯聚層,其連接邊緣層的帶寬遠(yuǎn)遠(yuǎn)大于連接核心層的帶寬;
?網(wǎng)絡(luò)時(shí)延開(kāi)銷(xiāo)大,部署在不通根節(jié)點(diǎn)交換機(jī)的業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)交換,需要經(jīng)過(guò)多級(jí)多臺(tái)交換機(jī)的轉(zhuǎn)發(fā),而普通根節(jié)點(diǎn)接入交換機(jī)的轉(zhuǎn)發(fā)性能遠(yuǎn)低于核心交換機(jī);
?流量工程難度大,數(shù)據(jù)中心流量是高動(dòng)態(tài)和突發(fā)的,約80%的流量都是內(nèi)部流量,且流量持續(xù)變化,難以預(yù)測(cè),從而使得傳統(tǒng)流量工程方法無(wú)法有效工作。
圖1 傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)
近年來(lái),隨著數(shù)據(jù)中心規(guī)模的不斷膨脹,以及虛擬化、云計(jì)算等新技術(shù)的不斷發(fā)展,僅僅使用傳統(tǒng)的網(wǎng)絡(luò)技術(shù)越來(lái)越無(wú)法適應(yīng)業(yè)務(wù)發(fā)展的需要。傳統(tǒng)的數(shù)據(jù)中心內(nèi),服務(wù)器主要用于對(duì)外提供業(yè)務(wù)訪問(wèn),不同的業(yè)務(wù)通過(guò)安全分區(qū)及VLAN隔離。一個(gè)區(qū)域通常集中了該業(yè)務(wù)所需的計(jì)算、網(wǎng)絡(luò)及存儲(chǔ)資源,不同的分區(qū)之間經(jīng)由核心交換通過(guò)三層網(wǎng)絡(luò)交互,數(shù)據(jù)中心的網(wǎng)絡(luò)流量大部分集中于南北向。在這種設(shè)計(jì)下,不同分區(qū)間計(jì)算資源無(wú)法共享,資源利用率低下的問(wèn)題越來(lái)越突出。通過(guò)虛擬化技術(shù),將各個(gè)分區(qū)間的資源進(jìn)行池化,實(shí)現(xiàn)數(shù)據(jù)中心內(nèi)資源的有效利用。而隨著虛擬化、云計(jì)算技術(shù)的興起和應(yīng)用,新的業(yè)務(wù)需求如虛擬機(jī)遷移、數(shù)據(jù)同步、數(shù)據(jù)備份、協(xié)同計(jì)算等在數(shù)據(jù)中心內(nèi)開(kāi)始實(shí)現(xiàn)部署,數(shù)據(jù)中心內(nèi)部東西向流量開(kāi)始大幅度增加。
同時(shí),隨著虛擬化技術(shù)的進(jìn)步,服務(wù)器間的低時(shí)延通信和更高的雙向帶寬需求變得更加迫切。然而傳統(tǒng)的三層網(wǎng)絡(luò)結(jié)構(gòu),造成數(shù)據(jù)中心計(jì)算節(jié)點(diǎn)間通信延時(shí)較高,這就驅(qū)動(dòng)網(wǎng)絡(luò)架構(gòu)向扁平化方向發(fā)展,盡量減少網(wǎng)絡(luò)層次的數(shù)目。
采用VSU技術(shù)(Virtual Switch Unit,即虛擬交換單元)的網(wǎng)絡(luò)結(jié)構(gòu)(圖2)把傳統(tǒng)網(wǎng)絡(luò)中的兩臺(tái)核心層交換機(jī)虛擬化為一臺(tái)邏輯虛擬交換機(jī),和匯聚層交換機(jī)通過(guò)聚合鏈路連接,提高網(wǎng)絡(luò)連接的可靠性和傳輸帶寬。采用VSU技術(shù),在核心層和匯聚層之間避免出現(xiàn)二層環(huán)路,同時(shí)由于VSU 減少了路由實(shí)體的數(shù)目,簡(jiǎn)化了網(wǎng)絡(luò)拓?fù)?。在?shù)據(jù)中心內(nèi)部,通過(guò)采用VSU技術(shù),可以構(gòu)建大型的二層交換網(wǎng)絡(luò),具有網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、高可靠、高性能、避免環(huán)路的好處。
圖2 VSU技術(shù)網(wǎng)絡(luò)結(jié)構(gòu)
傳統(tǒng)的數(shù)據(jù)中心安全架構(gòu)通常采用串行部署方式,存在如下問(wèn)題:
?動(dòng)網(wǎng)斷網(wǎng):設(shè)備升級(jí)、更換都需要進(jìn)行網(wǎng)絡(luò)割接,造成斷網(wǎng);
?性能瓶頸:串接鏈路上,品牌不統(tǒng)一,性能參差不齊,整個(gè)鏈路的性能較差,轉(zhuǎn)發(fā)時(shí)延隨著設(shè)備的增加而增大;
?利用率低:無(wú)論是否有該方面安全需求,數(shù)據(jù)流量都要經(jīng)過(guò)全部串接安全設(shè)備,無(wú)法按需定義分區(qū)流量。
SDN(Software Defined Network)軟件定義網(wǎng)絡(luò),將傳統(tǒng)網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)平面和控制平面兩個(gè)功能模塊相分離,通過(guò)集中式的控制器(controller)以標(biāo)準(zhǔn)化的接口對(duì)各種網(wǎng)絡(luò)設(shè)備進(jìn)行管理和配置。這種架構(gòu)為網(wǎng)絡(luò)帶來(lái)的可編程的特性,使得網(wǎng)絡(luò)資源的設(shè)計(jì)、管理和使用提供更多的可能性,使得SDN日趨成為解決數(shù)據(jù)中心網(wǎng)絡(luò)安全問(wèn)題的主要手段之一。
利用SDN Service Chain技術(shù),可以改變傳統(tǒng)數(shù)據(jù)中心中安全設(shè)備串行部署的方式,通過(guò)引流方式實(shí)現(xiàn)各區(qū)域及業(yè)務(wù)應(yīng)用間的按需安全控制,為數(shù)據(jù)中心提供彈性、簡(jiǎn)單、高效的安全保障。
?穩(wěn)定性和可靠性
采用主流網(wǎng)絡(luò)技術(shù)和市場(chǎng)覆蓋率高、技術(shù)成熟的產(chǎn)品,保障網(wǎng)絡(luò)及其所承載的業(yè)務(wù)系統(tǒng)的穩(wěn)定運(yùn)行。
?業(yè)務(wù)效率優(yōu)先
在對(duì)業(yè)務(wù)需求進(jìn)行充分分析的基礎(chǔ)上,本著提升業(yè)務(wù)網(wǎng)絡(luò)通信效率,降低跨網(wǎng)段、跨設(shè)備交換的通信消耗,進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)和技術(shù)選型。
?整體性
以整體效益為立足點(diǎn),綜合考慮業(yè)務(wù)、平臺(tái)、網(wǎng)絡(luò)、場(chǎng)地環(huán)境等因素,提升網(wǎng)絡(luò)性能、可靠性、擴(kuò)展性、可維護(hù)性,降低建設(shè)及維護(hù)成本。
?可擴(kuò)展性
在網(wǎng)絡(luò)設(shè)計(jì)中充分考慮未來(lái)業(yè)務(wù)發(fā)展及其網(wǎng)絡(luò)需求的變化,需滿足業(yè)務(wù)需求。
?集約適度
根據(jù)不同業(yè)務(wù)需求,進(jìn)行網(wǎng)絡(luò)分級(jí)分類(lèi),按照業(yè)務(wù)所需不同性能、可靠性要求匹配適當(dāng)?shù)木W(wǎng)絡(luò)類(lèi)別及設(shè)備。
?開(kāi)放性和兼容性
所有技術(shù)和設(shè)備都遵循相關(guān)的國(guó)際、國(guó)家或行業(yè)規(guī)范。符合相關(guān)標(biāo)準(zhǔn)的不同廠家設(shè)備能夠相互兼容。
當(dāng)前流行的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu),通常按照業(yè)務(wù)和安全等級(jí)劃分少量幾個(gè)分區(qū),各個(gè)分區(qū)連接到業(yè)務(wù)核心。為了實(shí)現(xiàn)氣象業(yè)務(wù)的高速高效轉(zhuǎn)發(fā),減少網(wǎng)絡(luò)性能瓶頸,在總體架構(gòu)上,通過(guò)采用VSU和SDN技術(shù)來(lái)實(shí)現(xiàn)高效、可靠、高安全的扁平化業(yè)務(wù)網(wǎng)絡(luò)環(huán)境。
業(yè)務(wù)網(wǎng)主要承擔(dān)各個(gè)業(yè)務(wù)系統(tǒng)的接入和數(shù)據(jù)交換功能,具有東西向流量大、交互頻繁的特點(diǎn),對(duì)網(wǎng)絡(luò)轉(zhuǎn)發(fā)效率、傳輸速率、網(wǎng)絡(luò)可靠性的要求較高;管理網(wǎng)主要用于業(yè)務(wù)系統(tǒng)及設(shè)備的管理流量轉(zhuǎn)發(fā),主要包括系統(tǒng)管理流量和帶外管理流量。管理流量具有流量較小,交互少,對(duì)網(wǎng)絡(luò)時(shí)延的要求遠(yuǎn)低于業(yè)務(wù)流量,但對(duì)安全性要求較高。根據(jù)業(yè)務(wù)和管理流量的不同需求,本文采用異構(gòu)的業(yè)務(wù)網(wǎng)和管理網(wǎng)架構(gòu),業(yè)務(wù)網(wǎng)采用核心層加接入層的大二層扁平化網(wǎng)絡(luò)結(jié)構(gòu),管理網(wǎng)采用傳統(tǒng)的分布式網(wǎng)絡(luò)架構(gòu)。
數(shù)據(jù)中心業(yè)務(wù)網(wǎng)采用核心層加接入層的大二層扁平化網(wǎng)絡(luò)結(jié)構(gòu),與局域網(wǎng)進(jìn)行互連,實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)的網(wǎng)絡(luò)接入和數(shù)據(jù)交換。為滿足數(shù)據(jù)中心各類(lèi)資源系統(tǒng)對(duì)業(yè)務(wù)通信高速、高效、高可靠、低延時(shí)、低成本、少跳轉(zhuǎn)、少瓶頸的要求,業(yè)務(wù)網(wǎng)將采用集中式接入的網(wǎng)絡(luò)結(jié)構(gòu),交換機(jī)均采用高性能的數(shù)據(jù)中心核心級(jí)交換機(jī),通過(guò)采用VSU技術(shù),提高核心交換機(jī)轉(zhuǎn)發(fā)性能和可靠性,實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)的網(wǎng)絡(luò)連接高度集中,減少跨網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)交互及上聯(lián)瓶頸,降低網(wǎng)絡(luò)轉(zhuǎn)發(fā)時(shí)延。
根據(jù)各業(yè)務(wù)系統(tǒng)重要性、時(shí)效要求和系統(tǒng)耦合性不同,將交互耦合度和時(shí)延要求高的在線實(shí)時(shí)業(yè)務(wù)定義為高IO系統(tǒng),如MICAPS、CIMISS等;交互耦合度和時(shí)延要求低的非在線實(shí)時(shí)業(yè)務(wù)或?qū)嶒?yàn)系統(tǒng)定義為中低IO系統(tǒng)。
高IO系統(tǒng)采用雙鏈路捆綁直接上連至2臺(tái)核心交換機(jī),各業(yè)務(wù)間數(shù)據(jù)交換在核心交換機(jī)內(nèi)部采用背板交換的方式進(jìn)行轉(zhuǎn)發(fā),不存在跨交換機(jī)的數(shù)據(jù)轉(zhuǎn)發(fā),減少跨設(shè)備的轉(zhuǎn)發(fā)時(shí)延。同時(shí)由于數(shù)據(jù)中心級(jí)交換機(jī)的性能更優(yōu),經(jīng)測(cè)試得到轉(zhuǎn)發(fā)時(shí)延小于4 μs,可將數(shù)據(jù)交換的網(wǎng)絡(luò)時(shí)延降至最低,實(shí)現(xiàn)了實(shí)時(shí)業(yè)務(wù)系統(tǒng)數(shù)據(jù)的高速高效轉(zhuǎn)發(fā)。
中低IO系統(tǒng)采用雙鏈路捆綁直接上連至2臺(tái)中低IO匯聚交換機(jī),2臺(tái)中低IO匯聚交換機(jī)與核心交換機(jī)間采用多40G鏈路捆綁互連,在降低轉(zhuǎn)發(fā)時(shí)延的同時(shí),保障了高IO系統(tǒng)和中低IO系統(tǒng)間數(shù)據(jù)交換具備足夠的網(wǎng)絡(luò)帶寬。
同時(shí)2臺(tái)核心交換機(jī)和中低IO匯聚交換機(jī)分別采用VSU技術(shù)虛擬化為1臺(tái)邏輯交換機(jī),在增加業(yè)務(wù)系統(tǒng)接入帶寬的同時(shí),增加了系統(tǒng)可靠性。業(yè)務(wù)網(wǎng)網(wǎng)絡(luò)架構(gòu)如圖3所示。
圖3 業(yè)務(wù)網(wǎng)網(wǎng)絡(luò)架構(gòu)
管理網(wǎng)的數(shù)據(jù)流量一般為系統(tǒng)監(jiān)控、遠(yuǎn)程管理及虛擬機(jī)遷移,網(wǎng)絡(luò)流量較小,時(shí)效要求不高,目前局域網(wǎng)絡(luò)時(shí)延不會(huì)影響管理通信;同時(shí),其對(duì)網(wǎng)絡(luò)可靠性要求不高,短時(shí)中斷一般不會(huì)影響業(yè)務(wù)運(yùn)行;另外,統(tǒng)籌考慮綜合布線和建設(shè)管理成本,管理網(wǎng)采用分布式接入的網(wǎng)絡(luò)結(jié)構(gòu),即采用匯聚+接入的方式進(jìn)行組網(wǎng)。同時(shí)考慮業(yè)務(wù)系統(tǒng)管理需求,將系統(tǒng)管理網(wǎng)和帶外管理網(wǎng)分別單獨(dú)組網(wǎng),充分保障管理網(wǎng)絡(luò)的穩(wěn)定可靠。管理網(wǎng)架構(gòu)如圖4所示。
圖4 管理網(wǎng)網(wǎng)絡(luò)架構(gòu)
為了確認(rèn)本文中網(wǎng)絡(luò)架構(gòu)的網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能,采用如圖5所示的測(cè)試拓?fù)洌捎脤S脺y(cè)試儀對(duì)核心交換機(jī)、匯聚交換機(jī)和接入交換機(jī)的單接口轉(zhuǎn)發(fā)時(shí)延進(jìn)行測(cè)試,據(jù)此可估算數(shù)據(jù)中心業(yè)務(wù)網(wǎng)絡(luò)的轉(zhuǎn)發(fā)時(shí)延。測(cè)試結(jié)果如表1所示。
圖5 轉(zhuǎn)發(fā)時(shí)延測(cè)試拓?fù)?/p>
通過(guò)對(duì)核心交換機(jī)和接入交換機(jī)接口轉(zhuǎn)發(fā)時(shí)延進(jìn)行測(cè)試,以64 kbytes的數(shù)據(jù)包為例,可以估算出傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)(圖6)和本文提出的網(wǎng)絡(luò)架構(gòu)(圖7)中業(yè)務(wù)通信的轉(zhuǎn)發(fā)時(shí)延范圍(表2)。采用二層扁平化網(wǎng)絡(luò)架構(gòu)的轉(zhuǎn)發(fā)時(shí)延小于10 μs,比傳統(tǒng)三層樹(shù)形網(wǎng)絡(luò)架構(gòu)降低了98.7%。同時(shí)由于將交互耦合度高的系統(tǒng)連接至同一對(duì)核心或匯聚交換機(jī)上,業(yè)務(wù)系統(tǒng)間通信主要為東西向流量,南北向流量大幅度減少,可降低上聯(lián)接口成為帶寬瓶頸的概率。
表1 核心交換機(jī)、匯聚交換機(jī)、接入交換機(jī)轉(zhuǎn)發(fā)時(shí)延測(cè)試結(jié)果
圖6 傳統(tǒng)三層樹(shù)形網(wǎng)絡(luò)架構(gòu)拓?fù)?/p>
圖7 本文業(yè)務(wù)網(wǎng)架構(gòu)拓?fù)?/p>
表2 傳統(tǒng)三層樹(shù)形和本文網(wǎng)絡(luò)架構(gòu)的轉(zhuǎn)發(fā)時(shí)延(單位:μs)
為了提高數(shù)據(jù)中心的安全水平,采用如圖8所示的SDN Service Chain架構(gòu),通過(guò)在數(shù)據(jù)中心核心交換機(jī)處部署SDN控制器,使用安全引流技術(shù),使旁掛于核心交換機(jī)處的安全設(shè)備形成安全資源池,實(shí)現(xiàn)數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)安全控制的按需引流。在提高數(shù)據(jù)中心各區(qū)域安全防護(hù)能力,實(shí)現(xiàn)安全設(shè)備的高效集約利用,提高數(shù)據(jù)中心網(wǎng)絡(luò)和安全架構(gòu)的可靠性。
數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)是數(shù)據(jù)中心的基礎(chǔ),是氣象業(yè)務(wù)系統(tǒng)、云平臺(tái)、高性能計(jì)算機(jī)和存儲(chǔ)等系統(tǒng)的基礎(chǔ)運(yùn)行環(huán)境和數(shù)據(jù)交換樞紐。為了適應(yīng)云平臺(tái)等不斷發(fā)展的資源池網(wǎng)絡(luò)需求,在網(wǎng)絡(luò)架構(gòu)方面,通過(guò)采用VSU技術(shù),搭建扁平化數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu),減少業(yè)務(wù)通信網(wǎng)絡(luò)轉(zhuǎn)發(fā)環(huán)節(jié),可有效降低轉(zhuǎn)發(fā)時(shí)延,避免網(wǎng)絡(luò)瓶頸,滿足氣象數(shù)據(jù)中心內(nèi)部大流量數(shù)據(jù)交換需求。通過(guò)建設(shè)異構(gòu)的業(yè)務(wù)網(wǎng)和管理網(wǎng),將業(yè)務(wù)和管理流量分開(kāi),提高業(yè)務(wù)系統(tǒng)的安全性和可靠性;在安全架構(gòu)方面,采用SDN Service Chain 架構(gòu),實(shí)現(xiàn)數(shù)據(jù)中心各區(qū)域間安全控制的按需引流,提高安全設(shè)備的集約化水平,為各業(yè)務(wù)系統(tǒng)提供可定制化的安全方案。
深入閱讀
Guo C, Lu G, Helen J, et al, 2010. SecondNet: A data center network virtualization architecture with bandwidth guarantees. ACM CoNEXT 2010.
程容斌, 王宏, 杜勇, 等, 2011. 數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)綜述. 電腦知識(shí)與技術(shù), 7(35): 9029-9032.
王斌鋒, 蘇金樹(shù), 陳琳, 2016. 云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)綜述. 計(jì)算機(jī)研究與進(jìn)展, 53(9): 2085-2106.
魏祥麟, 陳鳴, 范建華, 等, 2013. 數(shù)據(jù)中心網(wǎng)絡(luò)的體系結(jié)構(gòu). 軟件學(xué)報(bào), 24(2): 295-316.
Advances in Meteorological Science and Technology2018年1期