韓冬 肖文俊 李梅生

（1.華南理工大學(xué) 計算機科學(xué)與工程學(xué)院，廣東 廣州510006；2.華南理工大學(xué) 軟件學(xué)院，廣東 廣州510006；3.廣東金融學(xué)院 計算機科學(xué)系，廣東 廣州510520）

云服務(wù)的發(fā)展驅(qū)動了數(shù)據(jù)中心的發(fā)展.在數(shù)據(jù)中心，上萬臺服務(wù)器通過網(wǎng)絡(luò)連接實現(xiàn)搜索、電子郵件、分布式計算等服務(wù).數(shù)據(jù)中心網(wǎng)（DCN）架構(gòu)的研究目標(biāo)是如何將眾多的服務(wù)器連接起來，以滿足云服務(wù)的需求.傳統(tǒng)的數(shù)據(jù)中心網(wǎng)架構(gòu)大多采用胖樹模型［1］或其衍生形式［2-4］，將商用交換機以樹狀結(jié)構(gòu)分層部署.在胖樹模型中，為了滿足帶寬的需求，核心層和匯聚層的交換機必須使用高端高速交換機，這使數(shù)據(jù)中心網(wǎng)的構(gòu)建成本居高不下.此外，為了提供必要的容錯性，傳統(tǒng)數(shù)據(jù)中心網(wǎng)使用了大量的冗余設(shè)備，這樣也增加了建設(shè)成本.

為更經(jīng)濟、更快捷地部署數(shù)據(jù)中心，2007年SUN 公司的黑盒項目首次提出了模塊化數(shù)據(jù)中心（MDC）概念［5］.模塊化數(shù)據(jù)中心是指在標(biāo)準(zhǔn)集裝箱中安裝上千臺服務(wù)器、一定數(shù)量的交換設(shè)備以及必要的電源設(shè)備和冷卻設(shè)備而構(gòu)成的數(shù)據(jù)中心.模塊化數(shù)據(jù)中心既可獨立使用，也可作為可插拔模塊進(jìn)行連接，以構(gòu)建更大規(guī)模的數(shù)據(jù)中心.由于MDC 具有部署便捷、靈活性強、易擴展等優(yōu)點，眾多企業(yè)都將其作為設(shè)計數(shù)據(jù)中心的解決方案［6］.微軟公司在建設(shè)芝加哥數(shù)據(jù)中心時大規(guī)模使用模塊化數(shù)據(jù)中心，在該數(shù)據(jù)中心有近三分之二的服務(wù)器部署在標(biāo)準(zhǔn)集裝箱中［7］.

文中提出了一種可應(yīng)用于模塊化數(shù)據(jù)中心的架構(gòu)EBSN.該架構(gòu)基于Biswapped 網(wǎng)絡(luò)（BSN）［8-9］，每臺服務(wù)器僅需很少的網(wǎng)絡(luò)接口，通過少量的普通商用迷你交換機將大量的服務(wù)器進(jìn)行連接，即可滿足吞吐量的要求.EBSN 采用以服務(wù)器為中心的架構(gòu)，將路由選擇策略交由服務(wù)器完成，通過源路由協(xié)議完成選路過程，并通過容錯路由保證架構(gòu)的性能.

1 相關(guān)模型

為了優(yōu)化傳統(tǒng)數(shù)據(jù)中心網(wǎng)架構(gòu)，業(yè)界提出了一些新的模型方案，如DCell［10］、FiConn［11］、DPillar［12］、MCube［13］、BCN［14］、雪花結(jié)構(gòu)［15］等，這些都是實現(xiàn)數(shù)據(jù)中心網(wǎng)大規(guī)模服務(wù)器互連的網(wǎng)絡(luò)架構(gòu)，其共同點是服務(wù)器的網(wǎng)絡(luò)接口數(shù)量較少且使用普通商用交換機，從而降低建設(shè)成本，并保證網(wǎng)絡(luò)帶寬和通信要求.但以上方案不適用于模塊化數(shù)據(jù)中心.模塊化數(shù)據(jù)中心具有如下特點：①封裝入集裝箱的服務(wù)器僅為1 000～2 000 臺，而非上萬臺；②服務(wù)器和網(wǎng)絡(luò)設(shè)備一旦封裝好，幾乎不再更換，因此必須保證MDC 中的容錯性和通信容量；③每個集裝箱中所使用的交換機為僅有8 個網(wǎng)絡(luò)端口的普通商用迷你交換機，因此需要以服務(wù)器為中心架構(gòu)［16］才能滿足業(yè)務(wù)的需要.目前針對MDC 的模型有BCube［17］和SCautz［18］.

1.1 BCube

在BCube［17］中，每臺服務(wù)器有幾個網(wǎng)絡(luò)接口（NIC，一般不超過4 個），服務(wù)器通過NIC 與普通商用交換機連接構(gòu)成整體架構(gòu).BCube 以遞歸方式生成，每個BCubek由n 個BCubek-1和nk個n 口交換機連接形成.實現(xiàn)時，由基礎(chǔ)單元BCube0組成BCube1，進(jìn)而組成BCube2，直至BCubek.每個BCube0由一個n 口交換機和n 臺服務(wù)器組成.在BCubek中，每臺服務(wù)器都有k+1 個NIC，并按akak－1...a0（ai∈［0，n－1］，i ∈［0，k］）的形式將其編址；每個交換機按照〈l，sk-1sk-2…s0〉（sj∈［0，n－1］，j∈［0，k－1］）的形式編址，其中l(wèi) 表示交換機所處的層.圖1是一個k=1、n=2 的BCube1結(jié)構(gòu).

圖1 k=1、n=2 的BCube1 結(jié)構(gòu)Fig.1 BCube1 structure with k=1 and n=2

在BCube 中，兩臺服務(wù)器相鄰是指這兩臺服務(wù)器連接到同一臺交換機.若相鄰的兩臺服務(wù)器所連接的交換機位于第i 層，則兩臺服務(wù)器地址中的ai位不同.在BCube 中，采用海明距離來表示兩臺服務(wù)器之間的距離，因此對于BCubek，兩臺服務(wù)器的最大距離為k+1.通過改變不同的ai位的值就可以實現(xiàn)在BCube 模型中的路由，這種路由方式本質(zhì)上與維數(shù)路由是一樣的.

文獻(xiàn)［17］中通過構(gòu)造一個非完全結(jié)構(gòu)的BCube3模型封裝了2 048 臺服務(wù)器，但該模型所需的8 口迷你交換機達(dá)到1 280 臺，且存在交換機端口閑置的情況.

1.2 SCautz

SCautz 模型［18］采用無向Kautz圖作為基圖.對于Kuatz 圖UK（d，k），其定點集V=Zkd，邊集E={（X，Y）|X=x1x2...xk，Y=x2x3...xkv，v∈Zd，v≠xk}，其中，Zd={0，1，…，d}，Zkd={x1x2...xk|xi∈Zd，xi≠xi+1，1≤i＜k}.由定義可知，無向Kautz 圖是d 正則圖，直徑為k，且有dk+dk+1個頂點和dk+dk+1條邊.

SCautz 模型中的設(shè)備有兩類：具有多個NIC 的服務(wù)器和迷你商用交換機.服務(wù)器以無向Kautz 圖UK（d，k）的頂點形式編址為字符串a(chǎn)0a1...ak，其中ai∈Zd∧ai≠ai+1；交換機以相同方式編址為s0s1s2...st，其中si∈Zd∧si≠si+1，t＜k.在SCautz 模型中，交換機分為Sleft和Sright兩類，Sleft連接地址串左邊t 位為s0s1s2...st的服務(wù)器，Sright連接地址串右邊t 位為s0s1...st的服務(wù)器.此外，服務(wù)器之間可按照無向Kautz 圖的邊生成方式連接，即地址為a0a1...ak的服務(wù)器A 與地址為{a0a1...aku|u∈Zd，u≠ak}或{va0a1...ak-1|v∈Zd，v≠a0}的服務(wù)器直連.圖2是一個無向Kautz 圖UK(2，2).

圖2 無向Kautz 圖UK(2，2)Fig.2 Undirected Kautz graph UK(2，2)

為實現(xiàn)用256 臺低端商用交換機連接2 048 臺服務(wù)器并獲得好的性能，SCautz 模型在每臺服務(wù)器中使用了5 張雙端口網(wǎng)卡，這大大超出了文獻(xiàn)［17］中所建議的網(wǎng)絡(luò)端口數(shù).

1.3 Biswapped 網(wǎng)絡(luò)（BSN）模型

BSN［8-9］是以規(guī)模為n 的任意圖Ω 為因子網(wǎng)絡(luò)，由2n 個與Ω 同構(gòu)的因子網(wǎng)絡(luò)構(gòu)成，BSN 又被記為BSN（Ω）.在BSN（Ω）中，所有的因子網(wǎng)絡(luò)（簇）被等分為兩部分，并按如下方式連接這些簇：一部分的簇g 中的點p 與另一部分的簇p 中的點g 相連.如果將每個簇視為一個超點，那么BSN（Ω）可視為這些超點經(jīng)簇間連接形成的完全二部圖Kn，n.圖3是以4 階環(huán)網(wǎng)C4為因子網(wǎng)絡(luò)的BSN.

設(shè)Ω 為因子網(wǎng)絡(luò)，g 為由因子網(wǎng)絡(luò)Ω 所形成的簇，p 為簇中的一個點，i 表示Biswapped 網(wǎng)絡(luò)Σ 中的某一部分，取值為0 或1，則Biswapped 網(wǎng)絡(luò)具有如下的良好性質(zhì).

圖3 由C4 組成的Biswapped 網(wǎng)絡(luò)Fig.3 A Biswapped network using C4

性質(zhì)1Σ 中的頂點度數(shù)|Σ|等于Ω 中的頂點度數(shù)|Ω|+1，且Σ 中頂點〈i，g，p〉的度degΣ（〈i，g，p〉）等于Ω（或簇g）中任一頂點的度數(shù)degΩ（g）+1.

性質(zhì)2Σ 的直徑D（Σ）與Ω 的直徑D（Ω）存在如下關(guān)系：D（Σ）=2D（Ω）+2.

性質(zhì)3如果因子網(wǎng)絡(luò)Ω 中存在哈密頓圈，則Σ 也存在哈密頓圈.

性質(zhì)4如果因子網(wǎng)絡(luò)Ω 是連通的，且任一頂點度數(shù)degΩ（g）=δ，則Σ中任意兩點〈i，g1，p〉與〈i，g2，p〉（g1≠g2）之間存在δ+1 條點不交路徑.

在BSN 中，如果其因子網(wǎng)絡(luò)具有Cayley 圖特性，則BSN 也具有相應(yīng)的對稱性、點傳遞性和容錯性，這就是BSN 的設(shè)計目標(biāo).

但對于BSN 結(jié)構(gòu)，僅僅靠普通商用迷你交換機不足以將MDC 中大量的服務(wù)器互連，必須將其進(jìn)行適當(dāng)擴展以滿足MDC 的需求.

2 EBSN 模型

EBSN 同樣以規(guī)模為n 的網(wǎng)絡(luò)作為因子網(wǎng)絡(luò)，由4n2個因子網(wǎng)絡(luò)構(gòu)成.在EBSN 中，因子網(wǎng)絡(luò)稱為基本單元，2n 個基本單元互連構(gòu)成一個組，2n 個組之間互連形成EBSN.

EBSN 中的服務(wù)器以（C，BU，S）形式表示，其中，C 表示服務(wù)器所在的組，BU 表示服務(wù)器所在的基本單元，S 為服務(wù)器在基本單元中的編號.EBSN中服務(wù)器的互連規(guī)則如下：

（1）服務(wù)器（Ci，BUi，Si）與（Ci，BUi，Sj）通過交換機互連；

（2）服務(wù)器（Ci，BUi，Si）與（Ci，BUj，Sj）互連，當(dāng)且僅當(dāng)BUi=n+Sj且Si=BUj或BUj=n+Si且Sj=BUi；

（3）服務(wù)器（Ci，BUi，Si）與（Cj，BUi，Sj）互連，當(dāng)且僅當(dāng)Ci=n+Sj且Si=Cj或Ci=n+Sj且Si=Cj.

如圖4所示，EBSN 模型中的每個組都是一個BSN，服務(wù)器000、001、010、011、020、021、030、031構(gòu)成一個BSN.EBSN 模型通過擴展，使服務(wù)器000、001、100、101、200、201、300、301 也構(gòu)成一個BSN，且與第1 個BSN 正交于基本單元00.因此，EBSN模型也可視為由多個基本單元以BSN 形式按正交方式構(gòu)成.

圖4 Ω=C2 的EBSN（Ω）Fig.4 EBSN（Ω）with Ω=C2

設(shè)Ω 是規(guī)模為n 的因子網(wǎng)絡(luò)，令Γ=EBSN（Ω），則EBSN 具有如下性質(zhì).

性質(zhì)5如果因子網(wǎng)絡(luò)Ω 是Cayley 圖，則Γ 是點可遷的.

性質(zhì)6|Γ|=4n2|Ω|.

性質(zhì)7Γ 中的頂點度數(shù)=Ω 中頂點度數(shù)+2，因此EBSN 是一個正則圖.

性質(zhì)8Γ 的直徑D（Γ）與Ω 的直徑D（Ω）之間存在如下關(guān)系：D（Γ）=4D（Ω）+3.

性質(zhì)9當(dāng)由因子網(wǎng)絡(luò)Ω 構(gòu)成的Biswapped 網(wǎng)絡(luò)具有哈密頓圈時，Γ 也有哈密頓圈.

3 EBSN 的路由策略

ESBN 的路由協(xié)議需要解決如下3 個問題：①由于ESBN 在構(gòu)造中沒有使用路由器，傳統(tǒng)的基于路由器的路由協(xié)議如OSPF 不再適用，必須有針對ESBN 模型的路由策略；②傳統(tǒng)的路由策略大多為分布式路由，由數(shù)據(jù)包所經(jīng)過的路徑上的每個路由設(shè)備獨立尋路，這種方式在EBSN 中將不可避免地產(chǎn)生轉(zhuǎn)發(fā)回路，故在ESBN 中不應(yīng)使用分布式路由方式，而應(yīng)使用源路由方式；③MDC 中的設(shè)備發(fā)生故障不可避免，且故障設(shè)備不易于替換，因此路由策略必須具有良好的容錯性以保證數(shù)據(jù)包的正常轉(zhuǎn)發(fā).

EBSN 的路由EBRouting 采用源路由方式，充分利用了EBSN 模型的特點，可以實現(xiàn)單點路由、多點路由和容錯路由.

3.1 單點無錯路由

EBSN 的路由過程可分為組間路由和組內(nèi)路由兩個部分.從源服務(wù)器（Cs，BUs，Ss）到目的服務(wù)器（Cd，BUd，Sd)（s≠d）的路由過程中，組間路由實現(xiàn)從組Cs到組Ct的尋路，組內(nèi)路由則在組Ct中實現(xiàn)從BUs到BUd的尋路.如前面所述，由于EBSN 模型是將若干個BSN 通過正交方法而得到，因此EBSN模型中的組間路由和組內(nèi)路由可以使用同樣的路由算法，從而降低算法設(shè)計的難度.

從（Cs，BUs，Ss）到（Cd，BUd，Sd）的EBRouting 算法如下：

在EBRouting 中，如果只使用下一跳地址，在轉(zhuǎn)發(fā)時還需要通過計算獲知通過哪一個網(wǎng)絡(luò)接口轉(zhuǎn)發(fā).為了提高轉(zhuǎn)發(fā)效率，在EBRouting 中采用網(wǎng)絡(luò)接口號來標(biāo)識下一跳，路由時可按照網(wǎng)絡(luò)接口號進(jìn)行轉(zhuǎn)發(fā).

3.2 多徑路由

在MDC 中，服務(wù)器之間往往通過多徑路由來提高網(wǎng)絡(luò)流量和傳輸效率.在構(gòu)造多徑路由時，最常見的方法是構(gòu)造點不交路徑.在EBSN 中，同樣可以通過構(gòu)造多條點不交路徑來實現(xiàn)多徑路由.

如文獻(xiàn)［19］所述，在BSN 中任一節(jié)點可以有不超過其相鄰節(jié)點數(shù)量的點不交路徑.在EBSN 中，任一節(jié)點都處于BSN 模型中，因此也可以利用BSN的點不交路徑來構(gòu)造多徑路由.

對于EBSN 中的節(jié)點（Cs，BUs，Ss），至少可選擇3個相鄰節(jié)點（Cs，BUs，Ss1）、（Cs2，BUs，Ss2）及（Cs，BUs3，Ss3），其中（Cs，BUs，Ss1）與（Cs，BUs，Ss）滿足服務(wù)器互連規(guī)則1，且Ss1與Cs、BUs、Ss都不同；（Cs2，BUs，Ss2）與（Cs，BUs，Ss）滿足服務(wù)器互連規(guī)則2，（Cs，BUs3，Ss3）與（Cs，BUs，Ss）滿足服務(wù)器互連規(guī)則3.

同理，目標(biāo)節(jié)點（Cd，BUd，Sd）也有3 個鄰節(jié)點（Cd，BUd，Sd1）、（Cd2，BUd，Sd2）及（Cd，BUd3，Sd3）分別與目標(biāo)節(jié)點滿足互連規(guī)則1、2、3.

在構(gòu)建多徑路由時，在節(jié)點（Cs，BUs，Ss1）、（Cs2，BUs，Ss2）、（Cs，BUs3，Ss3）與節(jié)點（Cd，BUd，Sd1）、（Cd2，BUd，Sd2）、（Cd，BUd3，Sd3）之間分別建立路由.通過此方式建立的路由，可能產(chǎn)生點相交的情況.當(dāng)兩條路徑點相交時，則可以按照BSN 的方式更新相交的路徑節(jié)點，找到邊不交的路徑.

3.3 容錯路由

服務(wù)器（交換機）故障是任何數(shù)據(jù)中心都無法避免的問題.傳統(tǒng)的數(shù)據(jù)中心可通過更換設(shè)備保障數(shù)據(jù)中心的運行，而在MDC 中更換設(shè)備是不太可能的，因此，為了保證MDC 的正常工作，路由算法必須提供足夠的容錯性.

在EBSN 中，每臺服務(wù)器都要定期查詢互連服務(wù)器/ 交換機的狀態(tài)，以獲知其是否處于正常工作狀態(tài).綜合來說，設(shè)備故障主要有3 種：服務(wù)器故障（宕機）、服務(wù)器NIC 故障以及交換機故障.從發(fā)送方來看，這3 種故障的表現(xiàn)形式具有很大的相似性.當(dāng)接收方的服務(wù)器出現(xiàn)故障或接收方的NIC 出現(xiàn)故障時，發(fā)送方都無法接收到響應(yīng)報文，可一并視為鏈路故障；當(dāng)交換機出現(xiàn)故障時，發(fā)送方將無法與同一基本單元中的其他服務(wù)器通信.因此，在EBSN 中需要解決的故障主要為鏈路故障和交換機故障.

在EBSN 中，可采取再路由的方式來規(guī)避故障設(shè)備，實現(xiàn)容錯路由.如圖5所示，有數(shù)據(jù)包從服務(wù)器src 發(fā)送至服務(wù)器dst.在服務(wù)器src 上使用EBRouting 源路由策略得到的路徑是將數(shù)據(jù)包轉(zhuǎn)發(fā)至服務(wù)器s1，再轉(zhuǎn)發(fā)至服務(wù)器s2，s2直接轉(zhuǎn)發(fā)至t1，最后經(jīng)服務(wù)器t2到達(dá)目的服務(wù)器dst，即路徑為src-＞s1-＞…-＞s2-＞t1-＞…-＞t2-＞dst.現(xiàn)假定s2未能收到從t1返回的查詢響應(yīng)，則當(dāng)數(shù)據(jù)包到達(dá)服務(wù)器s2時，由于存在故障，無法轉(zhuǎn)發(fā)至服務(wù)器t1.此時，服務(wù)器s2將進(jìn)行本地再路由，再次執(zhí)行EBRouting 算法，重新確定一條可達(dá)目的服務(wù)器dst 的路徑，并將該路徑附加到原路徑中s2之后，得到新的路徑.

圖5 EBSN 的再路由Fig.5 Rerouting in EBSN

采用本地再路由方法需要注意是否產(chǎn)生回路.為避免產(chǎn)生回路，EBSN 中的再路由方法要求再路由時將第1 跳強制指定為與s2相連且未發(fā)生故障的服務(wù)器r1，而非交換機，進(jìn)而經(jīng)r2轉(zhuǎn)發(fā)至目的服務(wù)器dst.

4 仿真與結(jié)果分析

構(gòu)造EBSN 時僅需要使用服務(wù)器和普通八口商用交換機.首先將8 臺服務(wù)器與交換機連接，構(gòu)成基本單元.16 個基本單元通過服務(wù)器的網(wǎng)絡(luò)接口按照Biswapped 網(wǎng)絡(luò)方式連接后形成組，最后將16 個組通過服務(wù)器的網(wǎng)絡(luò)接口連接，構(gòu)成完整的EBSN網(wǎng)絡(luò).通過EBSN 的連接方式可以實現(xiàn)2 048 臺服務(wù)器的連接，且僅需256 臺交換機.圖6為32 臺服務(wù)器所構(gòu)成的EBSN.

圖6 32 臺服務(wù)器構(gòu)成的EBSNFig.6 EBSN consisting of 32 servers

由性質(zhì)4 可知，在EBSN 中，由于因子網(wǎng)絡(luò)的直徑為1，故該網(wǎng)絡(luò)的直徑為7.

在仿真試驗中使用BCube（8，3）作為對照模型.BCube（8，3）由2 個完全的BCube（8，2）和1 個部分BCube（8，2）組成，共有2 048 臺服務(wù)器.為了與BCube的配置相同，在仿真時，在服務(wù)器之間以及服務(wù)器與交換機之間使用1Gb/s 的鏈路.對于MDC，當(dāng)封裝在集裝箱中的服務(wù)器或交換機發(fā)生故障時的容錯吞吐量，尤其是全部對全部的吞吐量是一個關(guān)鍵的性能度量指標(biāo).在BCube 中，每臺服務(wù)器都有4 個網(wǎng)絡(luò)接口且平均路徑長為3.75，而在EBSN 中，每臺服務(wù)器僅有3 個網(wǎng)絡(luò)接口且平均路徑長為5.37，故EBSN 的聚合瓶頸帶寬（ABT）會小于BCube.

當(dāng)服務(wù)器發(fā)生故障時，BCube 和EBSN 都出現(xiàn)性能衰減，如圖7（a）所示.這是因為在以服務(wù)器為中心的結(jié)構(gòu)中，服務(wù)器是數(shù)據(jù)包轉(zhuǎn)發(fā)的重要組成部分.BCube 通過選擇通信路徑的方式旁路故障服務(wù)器，當(dāng)故障服務(wù)器數(shù)量較少時，BCube 的吞吐量衰減趨勢稍明顯，這是由于可用通信路徑的減少影響了BCube 的吞吐量，但隨著故障服務(wù)器數(shù)量的增多，BCube 的吞吐量衰減趨緩.EBSN 通過容錯路由旁路故障服務(wù)器，當(dāng)故障服務(wù)器數(shù)量較少時，旁路故障服務(wù)器能保證吞吐量所受影響較小，但當(dāng)故障服務(wù)器的數(shù)量超過總數(shù)的10%時，由于旁路所帶來的開銷導(dǎo)致性能衰減趨勢增大.

當(dāng)交換機發(fā)生故障時，BCube 的性能衰減明顯，如圖7（b）所示.其原因是BCube 中所有的路徑都必須經(jīng)過交換機，故交換機故障對BCube 的影響極大.而對于EBSN，當(dāng)交換機發(fā)生故障時，可以通過服務(wù)器之間的互連繞行，以保證整個系統(tǒng)的性能，故性能衰減情況優(yōu)于BCube.

圖7 服務(wù)器/交換機故障時ABT 的衰減Fig.7 Degradation of ABT when server/switch failed

5 結(jié)論

文中提出了一種新的模塊化數(shù)據(jù)中心網(wǎng)絡(luò)模型EBSN.該模型采用服務(wù)器中心架構(gòu)，模型中的服務(wù)器只有3 個網(wǎng)絡(luò)接口，且僅需使用普通商用迷你交換機.與BCube 的不完全結(jié)構(gòu)相比，EBSN 具有完整的結(jié)構(gòu).在EBSN 中可實現(xiàn)單點路由、多徑路由和容錯路由，且減少了對交換機數(shù)量的要求.仿真結(jié)果表明，EBSN 具有良好的性能和容錯性.今后將研究EBSN 模型的負(fù)載均衡和資源調(diào)度等問題.

［1］Leiserson C E.Fat-trees：universal networks for hardwareefficient supercomputing［J］.IEEE Transactions on Computers，1985，100（10）：892-901.

［2］Al-Fares M，Loukissas A，Vahdat A.A scalable，commodity data center network architecture ［C］//Proceedings of the ACM SIGCOMM 2008 Conference on Data Communication.New York：ACM，2008：63-74.

［3］Niranjan Mysore R，Pamboris A，F(xiàn)arrington N，et al.Port-Land：a scalable fault-tolerant layer 2 data center network fabric ［J］.SIGCOMM Computer Communication Review，2009，39（4）：39-50.

［4］Wang C，YuanY.A high performance，low-cost network architecture for data centers ［C］//Proceedings of 2010 International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery.Huangshan：IEEE，2010：284-287.

［5］Waldrop M M.Data center in a box ［J］.Scientific American，2007，297（2）：90-93.

［6］Katz R H.Tech titans building boom ［J］.IEEE Spectrum，2009，46（2）：40-54.

［7］新浪科技.揭秘微軟全球最大數(shù)據(jù)中心：集裝箱放置服務(wù)器［EB/OL］.（2009-11-03）［2014-04-01］.http：//tech.sina.com.cn/it/2009-11-03/10353559696.shtml.

［8］Xiao Wenjun，Chen Weidong，He Mingxin，et al.Biswapped networks and their topological properties ［C］//Proceedings of the Eighth ACIS International Conference on Software Engineering，Artificial Intelligence，Networking，and Parallel/Distributed Computing.Qingdao：IEEE，2007：193-198.

［9］Xiao Wenjun，Parhami Behrooz，Chen Weidong，et al.Biswapped networks：a family of interconnection architectures with advantages over swapped or OTIS networks［J］.International Journal of Computer Mathematics，2011，88（13）：2669-2684.

［10］Guo Chuanxiong，Wu Haitao，Tan Kun，et al.DCell：a scalable and fault-tolerant network structure for data centers［J］.ACM SIGCOMM Computer Communication Review，2008，38（4）：75-86.

［11］Li Dan，Guo Chuanxiong，Wu Haitao，et al.FiConn：using backup port for server interconnection in data centers ［C］//Proceedings of 2009 IEEE INFOCOM.Rio de Janeiro：IEEE，2009：2276-2285.

［12］Liao Y，Yin D，Gao L.Dpillar：scalable dual-port server interconnection for data center networks ［C］//Proceedings of the 19th International Conference on Computer Communications and Networks.Zurich：IEEE，2010：1-6.

［13］Wang C，Yuan Y，Wei Y.MCube：a high performance and fault-tolerant network architecture for data centers［C］//Proceedings of 2010 International Conference on Computer Design and Applications.Qinhuangdao：IEEE，2010：V5-423-V5-427.

［14］Guo Deke，Chen Tao，Li Dan，et al.BCN：expansible network structures for data centers using hierarchical compound graphs ［C］//Proceedings of 2011 IEEE INFOCOM.Shanghai：IEEE，2011：61-65.

［15］劉曉茜，楊壽保，郭良敏，等.雪花結(jié)構(gòu)：一種新型數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)［J］.計算機學(xué)報，2011，34（1）：76-85.Liu Xiao-qian，Yang Shou-bao，Guo Liang-min，et al.Snowflake：a new-type network structure of data center［J］.Chinese Journal of Computers，2011，34（1）：76-85.

［16］Chen K，Hu Chengchen，Zhang Xin，et al.Survey on routing in data centers：insights and future directions［J］.IEEE Network，2011，25（4）：6-10.

［17］Guo C，Lu G，Li D，et al.BCube：a high performance，server-centric network architecture for modular data centers ［J］.ACM SIGCOMM Computer Communication Review，2009，39（4）：63-74.

［18］Huang Feng，Lu Xicheng，Li Dongsheng，et al.SCautz：a high performance and fault-tolerant datacenter network for modular datacenters ［J］.Science China Information Sciences，2012，55（7）：1493-1508.

［19］Chen W，Xiao W.Constructing node-disjoint paths in biswapped networks（BSNs） ［C］//Proceedings of the 3rd International Conference on Grid and Pervasive Computing Workshops.Kunming：IEEE，2008：256-261.