樊勇兵，丁圣勇，陳 楠

（中國(guó)電信股份有限公司廣東研究院 廣州 510630）

1 大規(guī)模云數(shù)據(jù)中心簡(jiǎn)介

1.1 概述

數(shù)據(jù)中心（data center，DC）一般粗略地分為互聯(lián)網(wǎng)數(shù)據(jù)中心（internet data center，IDC）和企業(yè)數(shù)據(jù)中心（enterprise data center，EDC）兩大類，前者指對(duì)個(gè)人或集團(tuán)客戶公開(kāi)提供托管、租賃服務(wù)的數(shù)據(jù)中心，后者指企業(yè)自用數(shù)據(jù)中心（暫將Google等互聯(lián)網(wǎng)公司用于內(nèi)部后臺(tái)計(jì)算的數(shù)據(jù)中心也歸為此類）。本文的研究對(duì)象是前者的總體網(wǎng)絡(luò)組織。

數(shù)據(jù)中心的規(guī)模一般用所能容納的服務(wù)器數(shù)量衡量。業(yè)界盛傳Google數(shù)據(jù)中心有上百萬(wàn)臺(tái)服務(wù)器，分布在數(shù)個(gè)大型數(shù)據(jù)中心。以此推之，每個(gè)數(shù)據(jù)中心可能有數(shù)十萬(wàn)臺(tái)服務(wù)器。每個(gè)數(shù)據(jù)中心一般由多個(gè)機(jī)房或機(jī)樓組成（暫不考慮集裝箱數(shù)據(jù)中心），所以單個(gè)機(jī)房應(yīng)有數(shù)萬(wàn)臺(tái)服務(wù)器；截至2012年底，國(guó)內(nèi)已投產(chǎn)規(guī)模最大的數(shù)據(jù)中心，其規(guī)模也在5~8萬(wàn)臺(tái)服務(wù)器。粗略地將單一管理域內(nèi)每機(jī)房具有1萬(wàn)臺(tái)以上服務(wù)器、整個(gè)園區(qū)具有5萬(wàn)臺(tái)以上服務(wù)器的數(shù)據(jù)中心稱為“大規(guī)?！睌?shù)據(jù)中心。

上面所指的服務(wù)器均為物理服務(wù)器。如不特別指出，本文所稱服務(wù)器不區(qū)分物理服務(wù)器和虛擬服務(wù)器（又稱為虛擬機(jī)）。

所謂云數(shù)據(jù)中心，指一個(gè)數(shù)據(jù)中心由云計(jì)算技術(shù)構(gòu)建并為客戶提供云計(jì)算服務(wù)。

目前，整個(gè)數(shù)據(jù)中心產(chǎn)業(yè)正處于從傳統(tǒng)模式向云計(jì)算模式過(guò)渡的早期階段，傳統(tǒng)數(shù)據(jù)中心有很大的存量資產(chǎn)，云計(jì)算涉及領(lǐng)域眾多，流派各異，技術(shù)和標(biāo)準(zhǔn)都不成熟，運(yùn)營(yíng)商和設(shè)備商都面臨選擇的難題。為大規(guī)模云數(shù)據(jù)中心提出一個(gè)通用參考網(wǎng)絡(luò)架構(gòu)，以提高運(yùn)營(yíng)靈活性、降低成本與風(fēng)險(xiǎn)，并為設(shè)備商提出一種可能的設(shè)備形態(tài)以支持這種架構(gòu)，是本文希望達(dá)成的目標(biāo)。

1.2 云數(shù)據(jù)中心的業(yè)務(wù)特性

云業(yè)務(wù)就是將彈性、池化的IT資源作為服務(wù)通過(guò)互聯(lián)網(wǎng)提供給用戶，云數(shù)據(jù)中心是這種服務(wù)的承載體，其業(yè)務(wù)特性主要表現(xiàn)在以下幾個(gè)方面。

（1）商業(yè)模式

云數(shù)據(jù)中心的業(yè)務(wù)模式從以托管和固定計(jì)費(fèi)為主轉(zhuǎn)向以租賃和按使用計(jì)費(fèi)為主，業(yè)務(wù)開(kāi)通從以線下為主轉(zhuǎn)向以線上為主，用戶類型從以企業(yè)為主轉(zhuǎn)向企業(yè)、個(gè)人并重。

（2）資源類型

由于資源的云化和可遷移，云數(shù)據(jù)中心的資源類型從以專用物理資源為主轉(zhuǎn)向以可彈性復(fù)用的虛擬資源、業(yè)務(wù)資源為主，業(yè)務(wù)接入則從以固定為主轉(zhuǎn)向固移結(jié)合。

（3）業(yè)務(wù)規(guī)模

資源云化使大規(guī)模業(yè)務(wù)提供成為可能。以一個(gè)5萬(wàn)臺(tái)物理服務(wù)器的數(shù)據(jù)中心為例，假設(shè)每臺(tái)服務(wù)器虛擬為15個(gè)虛擬機(jī)（VM），給每個(gè)VM分配2個(gè)MAC地址和1Mbit/s帶寬，則所有服務(wù)器的MAC地址數(shù)量為150萬(wàn)個(gè)，出口帶寬為750Gbit/s。如果考慮到下行連接、鏈路冗余和一定的網(wǎng)絡(luò)裕量、橫向流量，則核心層網(wǎng)絡(luò)設(shè)備的實(shí)際端口容量大致為2.5Tbit/s。這只是一般規(guī)模下非常保守的估計(jì)，但已經(jīng)比傳統(tǒng)數(shù)據(jù)中心的交換機(jī)容量提高了一個(gè)量級(jí)。

（4）業(yè)務(wù)流量

流量大?。浩淞考?jí)在上文已有論述。在這樣的量級(jí)上，流量復(fù)用效率可以明顯改善，但流量的協(xié)調(diào)、伸縮和不可預(yù)見(jiàn)性則需要更好地管理。

流量方向和交互：傳統(tǒng)數(shù)據(jù)中心的流量方向主要是南北向（又稱為縱向）的，即數(shù)據(jù)中心內(nèi)部和外部之間交互流量；云數(shù)據(jù)中心則有大量東西向（又稱為橫向）流量，即數(shù)據(jù)中心內(nèi)部服務(wù)器之間交互流量。東西向流量主要來(lái)源于以下3個(gè)方面：

·新型計(jì)算模式，如Hadoop計(jì)算所產(chǎn)生的流量；

·災(zāi)備、存儲(chǔ)遷移、虛擬機(jī)遷移流量；

·在公有云中，由于大量用戶將自己的DC建立在云服務(wù)提供商（cloud service provider，CSP）提供的基礎(chǔ)設(shè)施上，則用戶的業(yè)務(wù)交互對(duì)基礎(chǔ)設(shè)施而言是可

感知而不可預(yù)見(jiàn)的，這不同于傳統(tǒng)數(shù)據(jù)中心。

流量組成：除了傳統(tǒng)數(shù)據(jù)中心已有的管理流量、控制流量、業(yè)務(wù)流量、備份流量等，云數(shù)據(jù)中心還有自己特有的遷移流量、虛擬機(jī)鏡像流量。另外，云數(shù)據(jù)中心的業(yè)務(wù)流量所承載的用戶數(shù)遠(yuǎn)大于傳統(tǒng)數(shù)據(jù)中心，控制流量遠(yuǎn)比傳統(tǒng)數(shù)據(jù)中心的豐富、復(fù)雜。

1.3 對(duì)云數(shù)據(jù)中心網(wǎng)絡(luò)的要求

綜上所述，云數(shù)據(jù)中心與傳統(tǒng)數(shù)據(jù)中心的業(yè)務(wù)特性差異巨大，這種差異在數(shù)據(jù)中心網(wǎng)絡(luò)層面主要表現(xiàn)在以下4個(gè)方面。

（1）網(wǎng)絡(luò)邊界

在云數(shù)據(jù)中心，由于服務(wù)器虛擬化技術(shù)的采用，網(wǎng)絡(luò)已經(jīng)延伸到服務(wù)器內(nèi)部，因此，物理網(wǎng)絡(luò)和虛擬機(jī)、虛擬交換機(jī)（vSwitch）之間需要互操作、互感知。有兩種可能的解決方案：一種是通過(guò)網(wǎng)絡(luò)上的管理平臺(tái)，一種是在服務(wù)器和交換機(jī)之間建立協(xié)議關(guān)系，如 IEEE802.1Qbg、IEEE 802.1BR。

（2）網(wǎng)絡(luò)層次

云數(shù)據(jù)中心要接入海量的互聯(lián)網(wǎng)用戶以及大量的服務(wù)器，前者要求數(shù)據(jù)中心網(wǎng)絡(luò)有中等或以上的路由能力（視網(wǎng)絡(luò)結(jié)構(gòu)而定），后者要求數(shù)據(jù)中心網(wǎng)絡(luò)有大二層能力。所謂“大二層”，綜合體現(xiàn)在服務(wù)器或VM數(shù)量、MAC地址數(shù)量、網(wǎng)絡(luò)設(shè)備容量、網(wǎng)絡(luò)流量和用戶數(shù)量等方面，并且有彈性伸縮、廣域互聯(lián)、細(xì)顆粒度負(fù)載分擔(dān)等需求。大二層解決方案主要有兩種：一種是廣域方案，可以稱為數(shù)據(jù)中心 互聯(lián)（data center interconnect，DCI）， 如 VPLS、PBB、PBB-EVPN等；另一種是園區(qū)級(jí)或城域級(jí)方案，如疊加（overlay）型或隧道（tunnel）型、交換型（如 trill）方案。上述方案中有些內(nèi)置了冗余和負(fù)載分擔(dān)等功能，還有些屬于設(shè)備和鏈路級(jí)的冗余和負(fù)載分擔(dān)方案。

（3）流量模型

在云數(shù)據(jù)中心，南北向流量和東西向流量兼?zhèn)?，這些流量將對(duì)網(wǎng)絡(luò)上下行收斂比、設(shè)備的架構(gòu)和端口緩存設(shè)計(jì)產(chǎn)生重大影響；另外有一些網(wǎng)絡(luò)服務(wù)，如防DDoS服務(wù)，需要VPN功能回送清潔流量到目的設(shè)備；由于服務(wù)器的虛擬化，有些傳統(tǒng)網(wǎng)絡(luò)服務(wù)需要下沉到二層甚至物理服務(wù)器內(nèi)部實(shí)現(xiàn)。

（4）流控

云數(shù)據(jù)中心規(guī)模巨大，用戶眾多，流量復(fù)雜，需要對(duì)不同用戶、不同屬性的流量進(jìn)行區(qū)域、路徑、QoS等控制。

1.4 傳統(tǒng)數(shù)據(jù)中心組網(wǎng)的局限性

傳統(tǒng)數(shù)據(jù)中心的組網(wǎng)特點(diǎn)基本可以概括為 “一房一網(wǎng)，分層匯聚”。一房一網(wǎng)，是指數(shù)據(jù)中心的網(wǎng)絡(luò)以機(jī)房為單位，一個(gè)機(jī)房就是一個(gè)獨(dú)立的網(wǎng)絡(luò)，每個(gè)機(jī)房都連接到骨干網(wǎng)或城域網(wǎng)，甚至作為城域網(wǎng)的一部分，各機(jī)房之間沒(méi)有關(guān)系；分層匯聚，是指數(shù)據(jù)中心網(wǎng)絡(luò)基本按接入、匯聚、核心、出口4層進(jìn)行組織，每個(gè)層次的核心作用雷同，基本是匯聚下層、連通上層以及對(duì)流量進(jìn)行南北向轉(zhuǎn)發(fā)，外加一些簡(jiǎn)單的冗余、防環(huán)機(jī)制。

顯然，這樣的架構(gòu)已經(jīng)不足以支持云業(yè)務(wù)。

2 業(yè)務(wù)交換機(jī)概述

云計(jì)算對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的要求賦予數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備豐富的業(yè)務(wù)特性，略舉如下：

·北向三層路由和兩層交換的分界；

·南向接入時(shí)對(duì)虛擬機(jī)、虛擬交換機(jī)甚至存儲(chǔ)的感知與交互；

·橫向大二層能力和作為二/三層DCI的客戶邊緣（customeredge，CE）設(shè)備能力；

·必要的VPN能力；

·各層次網(wǎng)絡(luò)服務(wù)（如安全、負(fù)載均衡等）的提供（可能作為交換機(jī)外掛的物理設(shè)備，也可能作為交換機(jī)的硬件組成）；

·均衡的南北向流量和東西向流量轉(zhuǎn)發(fā)能力；

·復(fù)雜的流控能力；

·適當(dāng)規(guī)模的路由能力、交換容量、MAC地址支持能力等。

如何在通用方法論的指導(dǎo)下組織上述復(fù)雜的業(yè)務(wù)和技術(shù)特性，使之形成有機(jī)整體，并能適應(yīng)多流派（如大二層問(wèn)題的疊加方案和交換方案）、多制式（如服務(wù)器虛擬化的多種技術(shù)）、多業(yè)務(wù)（如傳統(tǒng)業(yè)務(wù)和云業(yè)務(wù)）的共存，規(guī)模上可擴(kuò)展并可分步實(shí)施，技術(shù)上可平滑演進(jìn)，防止廠商鎖定，簡(jiǎn)化數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)，是“業(yè)務(wù)交換機(jī)（service switch，SS）”要解決的問(wèn)題。

所謂“業(yè)務(wù)交換機(jī)”，是一種數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備，集成了數(shù)據(jù)中心的核心業(yè)務(wù)能力（物理上可以適當(dāng)分離），北向提供互聯(lián)網(wǎng)用戶接入，南向提供數(shù)據(jù)中心資源接入，橫向提供業(yè)務(wù)交互和擴(kuò)展能力，交換機(jī)起到邊界確定、連接分類、規(guī)模擴(kuò)展、業(yè)務(wù)控制、流量轉(zhuǎn)發(fā)的作用。從數(shù)據(jù)中心的整體看，所有業(yè)務(wù)交換機(jī)共同構(gòu)筑了一個(gè)邊界層，是整個(gè)網(wǎng)絡(luò)的靈魂。

3 以業(yè)務(wù)交換機(jī)為基礎(chǔ)的云數(shù)據(jù)中心通用網(wǎng)絡(luò)架構(gòu)

3.1 設(shè)計(jì)思路和要點(diǎn)

以業(yè)務(wù)交換機(jī)為基礎(chǔ)的云數(shù)據(jù)中心通用網(wǎng)絡(luò)架構(gòu)，其基本設(shè)計(jì)思路是：功能集成，邏輯清晰，分層分模塊組織。要點(diǎn)如下：

·將整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)劃分為骨干層和業(yè)務(wù)層；

·骨干層主要為業(yè)務(wù)層提供數(shù)據(jù)中心出口服務(wù)、長(zhǎng)途DCI服務(wù)和骨干層網(wǎng)絡(luò)服務(wù)，邏輯上對(duì)應(yīng)的設(shè)備形態(tài)分別是出口路由器、DCIPE（provider edge）、骨干層網(wǎng)絡(luò)服務(wù)設(shè)備；

·業(yè)務(wù)層的主要功能是通過(guò)業(yè)務(wù)交換機(jī)實(shí)現(xiàn)北向用戶接入、南向業(yè)務(wù)承載、橫向業(yè)務(wù)交互和擴(kuò)展、業(yè)務(wù)層的網(wǎng)絡(luò)服務(wù)，在業(yè)務(wù)層內(nèi)，以業(yè)務(wù)交換機(jī)為核心組織業(yè)務(wù)塊 （service block），若干類似屬性的業(yè)務(wù)塊經(jīng)區(qū)域交換機(jī)匯聚為業(yè)務(wù)區(qū)域（service domain），若干業(yè)務(wù)區(qū)域（可能是不同屬性的）共存于一個(gè)業(yè)務(wù)空間（service space），所有業(yè)務(wù)空間構(gòu)成數(shù)據(jù)中心網(wǎng)絡(luò)的業(yè)務(wù)層，并與骨干層互聯(lián)；

·區(qū)域交換機(jī)的作用主要是對(duì)業(yè)務(wù)交換機(jī)進(jìn)行匯聚，

如果規(guī)模足夠小或業(yè)務(wù)交換機(jī)足夠強(qiáng)大，可以取消區(qū)域交換機(jī)，以使網(wǎng)絡(luò)更加扁平。

3.2 設(shè)計(jì)示例

通用網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)示例如圖1所示，整個(gè)云數(shù)據(jù)中心的骨干層出口路由器分別與公眾互聯(lián)網(wǎng)、高等級(jí)互聯(lián)網(wǎng)（或長(zhǎng)途光網(wǎng)、DCI專網(wǎng)）連接，DCIPE是DCI網(wǎng)的邊緣設(shè)備，trill交換機(jī)可實(shí)現(xiàn)trill方式的大二層互聯(lián)，亦可作為匯聚交換機(jī)或互聯(lián)交換機(jī)連接各業(yè)務(wù)交換機(jī)或有需要的相關(guān)網(wǎng)絡(luò)設(shè)備；業(yè)務(wù)層可劃分為若干業(yè)務(wù)空間（物理上可能對(duì)應(yīng)若干機(jī)房、機(jī)樓），每個(gè)業(yè)務(wù)空間劃分為自主客戶業(yè)務(wù)區(qū)、傳統(tǒng)托管業(yè)務(wù)區(qū)、云業(yè)務(wù)區(qū)，其中云業(yè)務(wù)區(qū)又可劃分為個(gè)人業(yè)務(wù)塊、企業(yè)業(yè)務(wù)塊；園區(qū)范圍內(nèi)的光網(wǎng)（或裸纖、交換）用于園區(qū)內(nèi)部的物理互聯(lián)，可承載業(yè)務(wù)交換機(jī)之間的大二層連接和到DCIPE的連接、區(qū)域交換機(jī)到出口路由器的連接、存儲(chǔ)災(zāi)備等。

典型業(yè)務(wù)區(qū)塊的業(yè)務(wù)特征和某些技術(shù)考慮如下。

（1）自主客戶業(yè)務(wù)區(qū)

圖1 通用網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)示例

數(shù)據(jù)中心運(yùn)營(yíng)商只提供空間、水電、散熱、骨干網(wǎng)絡(luò)接入、（可選的）傳輸；用戶自己組網(wǎng)（典型用戶如互聯(lián)網(wǎng)公司、企業(yè)租賃用戶）。

（2）傳統(tǒng)托管業(yè)務(wù)區(qū)

在自主業(yè)務(wù)區(qū)的基礎(chǔ)上，運(yùn)營(yíng)商還需提供機(jī)房?jī)?nèi)的網(wǎng)絡(luò)接入和（可選的）網(wǎng)絡(luò)服務(wù)（如安全、負(fù)載均衡）；用戶提供服務(wù)器、存儲(chǔ)，有時(shí)也會(huì)自帶接入交換機(jī)（即top of rack，ToR）、防火墻等網(wǎng)絡(luò)設(shè)備；以南北向流量為主；DCI需求以三層VPN為主，可將業(yè)務(wù)交換機(jī)作為CE接入DCIPE，亦可專設(shè)區(qū)域CE或業(yè)務(wù)塊CE接入PE；該區(qū)域的業(yè)務(wù)交換機(jī)可使用傳統(tǒng)交換機(jī)，直接接入IT設(shè)施或者通過(guò)ToR接入。

（3）云業(yè)務(wù)區(qū)

運(yùn)營(yíng)商提供所有基礎(chǔ)設(shè)施（甚至可能包括應(yīng)用）和各層次網(wǎng)絡(luò)服務(wù)（包括可能的橫向網(wǎng)絡(luò)服務(wù)），用戶只購(gòu)買服務(wù)（面向個(gè)人用戶提供標(biāo)準(zhǔn)云業(yè)務(wù)，面向企業(yè)用戶提供虛擬數(shù)據(jù)中心（virtualDC，vDC））；南北向和東西向流量共存；業(yè)務(wù)交換機(jī)之間通過(guò)trill或疊加等方式實(shí)現(xiàn)園區(qū)大二層，并通過(guò)DCIPE接入廣域大二層或三層VPN；該區(qū)域的業(yè)務(wù)交換機(jī)是本文所定義的典型業(yè)務(wù)交換機(jī)，可提供超高密度10Gbit/s端口，通常直接接入服務(wù)器和存儲(chǔ)。

4 結(jié)束語(yǔ)

云計(jì)算給數(shù)據(jù)中心帶來(lái)了很多復(fù)雜的挑戰(zhàn)。通過(guò)本文定義的業(yè)務(wù)交換機(jī)，可以為數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)提供通用方法論，簡(jiǎn)化設(shè)計(jì)，并使邏輯清晰。但也看到，邏輯清晰并不意味著邏輯簡(jiǎn)單——相反，云數(shù)據(jù)中心（包括本文并未涉及的互聯(lián)網(wǎng)公司的數(shù)據(jù)中心）涉及面太廣，現(xiàn)有業(yè)務(wù)和技術(shù)都太復(fù)雜。也許下一步追求的是一個(gè)邏輯清晰簡(jiǎn)單的解決方案。隨著硬件技術(shù)的進(jìn)一步發(fā)展，軟件定義網(wǎng)絡(luò)（software defined networking，SDN）可能會(huì)帶來(lái)驚喜。