黃峰

（上海儀電電子集團公司，上海 200233）

分布式云數(shù)據(jù)中心架構(gòu)及管理關鍵技術(shù)

黃峰

（上海儀電電子集團公司，上海 200233）

目前業(yè)界流行的云計算旨在解決單個云數(shù)據(jù)中心的問題，而無法解決多個云數(shù)據(jù)中心之間資源共享、統(tǒng)一管理、提升業(yè)務服務質(zhì)量的問題。為此，提出了分布式云數(shù)據(jù)中心（DC2）的概念及架構(gòu)，并研究了分布式云數(shù)據(jù)中心的管理及服務的關鍵技術(shù)。分布式云數(shù)據(jù)中心能將傳統(tǒng)數(shù)據(jù)中心的分散、分層、異構(gòu)架構(gòu)，改為全扁平式、統(tǒng)一資源管理的分布式云數(shù)據(jù)中心架構(gòu)，從而將多個不同地域、不同階段、不同規(guī)模的單體云數(shù)據(jù)中心所有資源，通過邏輯集中進行統(tǒng)一管理、統(tǒng)一運營，最終使云數(shù)據(jù)中心更高效、更可靠、更綠色。

分布式云數(shù)據(jù)中心（DC2） 數(shù)據(jù)中心即服務（DCaaS） 管理即服務（MaaS） 網(wǎng)絡即服務（NaaS） 存儲虛擬化 網(wǎng)絡虛擬化

Network as a service（NaaS） Storage virtualization Network virtualization

0 引言

當前，云計算對于IT行業(yè)來說是一個巨變，就像用電網(wǎng)代替本地發(fā)電機一樣。數(shù)據(jù)中心（data center，DC）的架構(gòu)及其管理模式也隨之帶來了挑戰(zhàn)與巨變。一方面，在傳統(tǒng)架構(gòu)下，數(shù)據(jù)中心層級多，站點數(shù)量多，管理復雜，運營成本高；且IT資源使用效率低，能效比低，服務質(zhì)量很難保證。而另一方面，單體的云數(shù)據(jù)中心盡管使用了存儲虛擬化、計算虛擬化、網(wǎng)絡資源虛擬化等一系列先進的云計算技術(shù)，但各云數(shù)據(jù)中心單體間無法將各自資源池化，從而達到更有效的資源統(tǒng)一管理與彈性調(diào)度。

本文在充分研究了全扁平式、統(tǒng)一資源管理的分布式云數(shù)據(jù)中心架構(gòu)優(yōu)點的基礎上，對其管理即服務的關鍵技術(shù)做了深入的探索。

1 數(shù)據(jù)中心的發(fā)展歷程

數(shù)據(jù)中心（DC）在維基百科給出的定義是“一整套復雜的設施，它不僅僅包括計算機系統(tǒng)和其他與之配套的設備（例如通信系統(tǒng)和存儲系統(tǒng)），還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設備、監(jiān)控設備以及各種安全裝置”。

數(shù)據(jù)中心從20世紀90年代的傳統(tǒng)數(shù)據(jù)中心（IT資源集中化，計算能力增強），21世紀初的云數(shù)據(jù)中心（虛擬化提升IT利用率），發(fā)展到現(xiàn)今的分布式云計算中心（物理分散、邏輯統(tǒng)一），歷經(jīng)三代。我們可以把分布式云數(shù)據(jù)中心看作為數(shù)據(jù)中心3.0。

1.1 傳統(tǒng)數(shù)據(jù)中心（數(shù)據(jù)中心1.0）

傳統(tǒng)的數(shù)據(jù)中心（數(shù)據(jù)中心1.0）為企業(yè)提供IT基礎設施與應用服務，辦公信息化大大提升了社會的工作效率。傳統(tǒng)的數(shù)據(jù)中心運營商一般為企業(yè)提供主機托管與主機租賃服務。由于IT資源的煙囪式設計、僵化的IT架構(gòu)等原因，數(shù)據(jù)中心運營商面臨以下困難與挑戰(zhàn)。

①高能源消耗，低資源利用率。傳統(tǒng)數(shù)據(jù)中心所支付的電費已超過購買服務器設備的費用。

②運維效率低、維護成本高。傳統(tǒng)數(shù)據(jù)中心70％以上的IT預算被用于現(xiàn)有系統(tǒng)的維護而不是建設新的IT系統(tǒng)。

③平臺支撐能力差，業(yè)務上線周期長。傳統(tǒng)數(shù)據(jù)中心缺乏統(tǒng)一開放的平臺，無法實現(xiàn)資源的統(tǒng)一調(diào)度，業(yè)務部署基礎配置復雜，新業(yè)務上線周期長。

1.2 單體云數(shù)據(jù)中心（數(shù)據(jù)中心2.0）

云計算技術(shù)的出現(xiàn)顛覆了傳統(tǒng)數(shù)據(jù)中心行業(yè)，它的按需使用、資源共享、綠色節(jié)能、快速業(yè)務部署等優(yōu)勢，彌補了傳統(tǒng)數(shù)據(jù)中心的缺點。單體云數(shù)據(jù)中心具有以下特點。

①超大規(guī)模性。Google云計算中心已經(jīng)擁有數(shù)百萬臺服務器。

②虛擬化。云計算支持用戶在任意位置使用各種終端獲取應用服務。用戶無需了解、也不用擔心應用運行的具體位置。

③高可靠性。“云”使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構(gòu)可互換等措施來保障云服務的高可靠性。

④簡化管理。在云數(shù)據(jù)中心，管理人員通過云管理軟件可以統(tǒng)一管理、調(diào)度各種規(guī)格的虛擬機，無需關心它們所運行的服務器的硬件差異。

⑤綠色節(jié)能。傳統(tǒng)數(shù)據(jù)中心的能源使用效率（power usage effectiveness，PUE）一般為2.5～3.0。單體云數(shù)據(jù)中心可以降低至1.5，甚至更低。

1.3 分布式云數(shù)據(jù)中心（數(shù)據(jù)中心3.0）

云計算數(shù)據(jù)中心的建設已成為當今企業(yè)信息化建設的主流模式，但目前的云數(shù)據(jù)技術(shù)還在著重解決單個數(shù)據(jù)中心內(nèi)部的問題。隨著全球化的深入發(fā)展，以及區(qū)域經(jīng)濟的電費、網(wǎng)絡與土地價格的差異，越來越多的集團企業(yè)有跨地域建設云計算中心的需要，跨區(qū)域、各層級的數(shù)據(jù)中心應運而生。這些眾多的數(shù)據(jù)中心仍處于煙囪式的建設和管理狀態(tài)，各個數(shù)據(jù)中心之間各自為政。其具體表現(xiàn)為以下三點。

①廣域網(wǎng)帶寬成本高。數(shù)據(jù)集中在總部數(shù)據(jù)中心后，企業(yè)的所有分支辦事機構(gòu)用戶日常辦公終端均需要通過接入企業(yè)廣域網(wǎng)來訪問總部業(yè)務應用，廣域網(wǎng)的傳輸數(shù)據(jù)流量驟增。而在廣域網(wǎng)的傳輸流量中，70％以上的流量均來自于日常的病毒、補丁庫更新、文件傳輸、軟件推送等IT基礎類業(yè)務。

②分支機構(gòu)用戶業(yè)務訪問體驗差，服務等級協(xié)議（service level agreement，SLA）保證困難。受限于廣域網(wǎng)的帶寬與傳輸時延，企業(yè)分支機構(gòu)對總部的業(yè)務應用訪問體驗較差，特別是一些對傳輸時延敏感的業(yè)務應用（如虛擬桌面、多媒體視頻等），分支機構(gòu)用戶對企業(yè)IT服務滿意度會大幅下降。

③管理復雜，運營成本高。由于各層級的數(shù)據(jù)中心承載的業(yè)務類型不同，軟硬件系統(tǒng)運維管理需求及容災備份保障策略也各不相同，不利于各層數(shù)據(jù)基礎設施資源的統(tǒng)一管理和協(xié)同管理，降低了各層數(shù)據(jù)中心實現(xiàn)全局管理的維護效率。

因此，單點的云數(shù)據(jù)中心方案已經(jīng)不能滿足客戶的需求，而只有從整個數(shù)據(jù)中心集群的架構(gòu)入手，解決各個數(shù)據(jù)中心之間的協(xié)同運行、統(tǒng)一管理和調(diào)度問題，才能從整體上解決集團IT系統(tǒng)的利用率、管理效率和業(yè)務體驗難題。分布式云數(shù)據(jù)中心正是為了應對這個整體數(shù)據(jù)架構(gòu)的挑戰(zhàn)而生的。

2 分布式云數(shù)據(jù)中心架構(gòu)及數(shù)據(jù)中心即服務

2.1 分布式云數(shù)據(jù)中心技術(shù)架構(gòu)

圖1 分布式云數(shù)據(jù)中心的拓撲示意圖Fig.1 Schematic diagram of the topology of distributed cloud data center

分布式云數(shù)據(jù)中心不再局限于解決單個數(shù)據(jù)中心的效率，而是將這三個單體數(shù)據(jù)中心看成一個有機整體，圍繞跨數(shù)據(jù)中心管理、資源調(diào)度和災備設計，包括實現(xiàn)數(shù)據(jù)中心云資源遷移的云操作系統(tǒng)、多數(shù)據(jù)中心統(tǒng)一資源管理和調(diào)度的運營運維管理系統(tǒng)以及軟件定義數(shù)據(jù)中心能力。分布式云數(shù)據(jù)中心可極大地提升多個數(shù)據(jù)中心整體的運作效率和可靠性，降低集團用戶的資本性支出（capital expenditure，CAPEX）和運營成本（operating expense，OPEX），降低網(wǎng)絡時延，極大地提升最終使用者的體驗。

分布式云數(shù)據(jù)中心總體架構(gòu)如圖2所示。這里的分布式數(shù)據(jù)中心管理中心負責承載整個數(shù)據(jù)中心的統(tǒng)一管理、備份、安全和全局數(shù)據(jù)共享，以及依托這些數(shù)據(jù)進行初步商業(yè)智能（business intelligence，BI）運營成本（operating expense，OPEX）分析與挖掘。管理中心用以支撐各服務化的虛擬數(shù)據(jù)中心（virtual data center，VDC）。

圖2 分布式云數(shù)據(jù)中心的總體架構(gòu)Fig.2 Overall architecture of distributed cloud data center

2.2 分布式云數(shù)據(jù)中心DCaaS

在數(shù)據(jù)中心2.0，通常將云計算數(shù)據(jù)中心的服務類別分為以下三類，如圖3所示。

①軟件即服務（software as a service，SaaS）：將軟件作為服務，如Microsoft Office 365。

②平臺即服務（platform as a service，PaaS）：將平臺作為服務，如Microsoft Azure。

③ 基礎設施服務（infrastructure as a service，IaaS）：將基礎設施作為服務，如Amazon。

圖3 云計算的服務類別Fig.3 Categories of the cloud computation services

IaaS、PaaS、SaaS都是數(shù)據(jù)中心系統(tǒng)中某一個部分提供的單獨服務。隨著當今業(yè)界對服務要求的不斷提高，企業(yè)用戶更希望得到從管理、平臺、IT資源、基礎設施的端到端服務。分布式云數(shù)據(jù)中心提供了一種更敏捷的數(shù)據(jù)中心服務模式：可運營的數(shù)據(jù)中心，即數(shù)據(jù)中心即服務（data center as a service，DCaaS）。與單體云數(shù)據(jù)中心相比較，分布式云數(shù)據(jù)中心在 IaaS層，DCaaS不但能夠提供基礎設施即服務（IaaS），還增加了網(wǎng)絡即服務（network as a service，NaaS）、管理即服務（manage as a service，MaaS）。

DCaaS實現(xiàn)異構(gòu)資源統(tǒng)一管理，資源池化共享。DCaaS包含以下三個部分。

①資源共享，業(yè)務隔離。將離散資源整合成統(tǒng)一資源池，對應用屏蔽差異、虛擬資源、硬件資源進行統(tǒng)一管理。

②異構(gòu)平臺統(tǒng)一管理。支持第三方虛擬化平臺管理；同時還需要兼容業(yè)界著名公司，如VMware、KVM等。

③自動擴容即插即用。物理服務器接入系統(tǒng)，從發(fā)現(xiàn)到加入資源池管理全過程自動化完成；新增物理服務器自動在云管理系統(tǒng)中注冊并接受管理。

3 分布式云數(shù)據(jù)中心核心MaaS及其關鍵技術(shù)

3.1 分布式云數(shù)據(jù)中心核心M aaS

較單體云數(shù)據(jù)中心的IaaS層服務而言，分布式云數(shù)據(jù)中心能提供DCaaS服務，給用戶提供的管理服務不再是如一般云數(shù)據(jù)中心那樣分散的、孤立的運營運維系統(tǒng)，而是一個統(tǒng)一、多功能的一體化管理系統(tǒng)。這是分布式云數(shù)據(jù)中心與單體云數(shù)據(jù)中心最大的區(qū)別。因此，分布式云數(shù)據(jù)服務中心的核心就在于MaaS，它負責對多個數(shù)據(jù)中心的資源做統(tǒng)一管理與調(diào)度，并具有對各種服務（DCaaS、IaaS、NaaS）使用者的管理功能。對于租戶、VDC的租戶，提供管理自己所租用的IT資源，IaaS的租戶可以在線申請、擴容、延期資源。

分布式云數(shù)據(jù)中心的核心理念在于：物理分布、邏輯統(tǒng)一。其中，邏輯統(tǒng)一有兩方面的含義。

①對所有數(shù)據(jù)中心及其資源都進行統(tǒng)一管理、調(diào)度、運維支持，并實現(xiàn)分權(quán)分域的管理。這需要對分布式云數(shù)據(jù)中心提供統(tǒng)一的運維管理平臺。

②當需要分布式云數(shù)據(jù)中心對外提供服務時，我們需要提供統(tǒng)一的運營呈現(xiàn)界面、統(tǒng)一的運營支撐流程。這需要分布式云數(shù)據(jù)中心通過統(tǒng)一的運營服務平臺。

3.2 M aaS服務關鍵技術(shù)

相對于傳統(tǒng)的互聯(lián)網(wǎng)數(shù)據(jù)中心（Internet data center，IDC）和單體云計算中心，分布式云計算中心對管理提出了更高的要求。在MaaS服務中，不同租戶需要對應用、機房、計算、存儲、網(wǎng)絡等資源做到端到端的管理，因此自動化和網(wǎng)路自動化是MaaS的關鍵。

3.2.1 MaaS數(shù)據(jù)中心自動化

數(shù)據(jù)中心包含復雜的計算、網(wǎng)絡等資源，大型的數(shù)據(jù)中心無法單純依靠手工維護。自動化帶來了實時的或者隨需應變的基礎設施管理能力，它是分布式云數(shù)據(jù)中心的基礎。

3.2.1.1 服務器自動化

這些樂手中，樟樹年最高。一千歲，對人來說，實在太長，要十幾代人的接力才能活出它的模樣。十幾代前的祖先，對后人來說，只是一個概念，甚至連概念都是模糊的。一般情況下，人能夠記住的不過四代，再往前，或許只是家譜上的一個符號罷。

服務器自動化需考慮以下五個方面。

①軟件安裝。集中管理服務操作系統(tǒng)，批量安裝多種操作系統(tǒng)，實現(xiàn)跨越操作系統(tǒng)的統(tǒng)一服務器管理，為物理、虛擬和公共云基礎設施提供支持。

②補丁管理。集中管理服務器補丁介質(zhì)。

③系統(tǒng)配置。在各種操作系統(tǒng)批量地、自動地進行參數(shù)調(diào)整。

④巡檢和合規(guī)檢查。通過規(guī)則對服務器或網(wǎng)絡的關鍵配置進行檢查，及時發(fā)現(xiàn)配置基線的偏移。

⑤自動巡檢。自動收集軟硬件信息并生成報表。3.2.1.2 網(wǎng)絡自動化

網(wǎng)絡自動化需考慮以下四個方面。

①配置和網(wǎng)絡拓撲發(fā)現(xiàn)。自動發(fā)現(xiàn)和采集網(wǎng)絡設備的配置。

②網(wǎng)絡策略配置。自動批量下發(fā)路由表和防火墻策略。

③操作審計。自動記錄所有對網(wǎng)絡設備的變更，并提供回退機制。

④巡檢和合規(guī)檢查。通過內(nèi)置的合規(guī)性檢查策略，對系統(tǒng)、設備等進行自動化的合規(guī)檢查。

3.2.2 MaaS管理系統(tǒng)

MaaS為多數(shù)據(jù)中心管理，其功能如下。

①將傳統(tǒng)的分散、分層、異構(gòu)的數(shù)據(jù)中心架構(gòu)，升級為物理分散，邏輯集中的統(tǒng)一資源管理的分布式云數(shù)據(jù)中心。

②將不同地域、不同階段、不同規(guī)模的數(shù)據(jù)中心，混合為一個跨數(shù)據(jù)中心的“邏輯資源池”，全局容量管理。

③跨多個數(shù)據(jù)中心的資源統(tǒng)一管理及調(diào)度，策略化的高效資源管理。

按照上述MaaS功能，分布式數(shù)據(jù)中心MaaS管理系統(tǒng)主要包括管理門戶、運營管理、IT服務管理、資源管理、IT運維管理、基礎設施管理六大部分。MaaS管理系統(tǒng)架構(gòu)如圖4所示。

圖4 MaaS管理系統(tǒng)架構(gòu)圖Fig.4 Architecture of the MaaSmanagement system

4 分布式云數(shù)據(jù)中心與工業(yè)4.0

“工業(yè)4.0”也被稱為繼機械、電氣和信息技術(shù)之后的第四次工業(yè)革命，它是德國聯(lián)盟教研部與聯(lián)邦經(jīng)濟技術(shù)部聯(lián)手推動的《高技術(shù)戰(zhàn)略2020》十大未來項目之一。從內(nèi)容來看，“工業(yè)4.0”項目主要面向兩大主題，一是“智能工廠”，重點研究智能化生產(chǎn)系統(tǒng)及過程，以及網(wǎng)絡化分布式生產(chǎn)設施的實現(xiàn)；二是“智能生產(chǎn)”，主要涉及整個企業(yè)的生產(chǎn)物流管理、人機互動以及3D技術(shù)在工業(yè)生產(chǎn)過程中的應用。

分布式云數(shù)據(jù)中心架構(gòu)，可以將世界上不同地域、不同規(guī)模的數(shù)據(jù)中心的所有資源通過邏輯集中進行統(tǒng)一管理、統(tǒng)一呈現(xiàn)、統(tǒng)一運營，從而為跨國企業(yè)的全球不同地域子公司或眾多外包企業(yè)實現(xiàn)包括設計、生產(chǎn)、物流、市場和銷售等所有環(huán)節(jié)在內(nèi)的高度復雜的全生命周期的全自動化控制和管理，最終達到智慧制造的云制造理念。

5 結(jié)束語

云計算的發(fā)展日新月異，目前的云數(shù)據(jù)中心技術(shù)還在著重解決單個數(shù)據(jù)中心內(nèi)部的問題，但隨著全球化的深入發(fā)展，越來越多的集團企業(yè)有跨地域建立分支機構(gòu)的需要，各區(qū)域、各層級的數(shù)據(jù)中心也應運而生。這些眾多的單體數(shù)據(jù)中心各自為政，管理復雜，運營成本高，資源無法得到有效的應用，以及數(shù)據(jù)中心層次過多時SLA難以保證高質(zhì)量的服務。通過分布式云數(shù)據(jù)中心架構(gòu)，將多個不同地域、不同階段、不同規(guī)模的數(shù)據(jù)中心的所有資源通過邏輯集中進行統(tǒng)一管理、統(tǒng)一運營，從而能更充分有效地利用各運營商已有資源，支撐ICT服務能力的高速發(fā)展。分布式云數(shù)據(jù)中心使數(shù)據(jù)中心更加高效、可靠、綠色，從而實現(xiàn)高效的IT治理，節(jié)省所有成本（total costownership，TCO），給客戶帶來高可靠性、穩(wěn)定性的SLA服務。分布式云數(shù)據(jù)中心是一個劃時代的云數(shù)據(jù)中心架構(gòu)。

［1］Hwang K，F(xiàn)ox G C，Dongarra JJ.云計算與分布式系統(tǒng)——從并行處理到物聯(lián)網(wǎng)［M］.北京：機械工業(yè)出版社，2013.

［2］Joysula V，Orr M，Page G.云計算與數(shù)據(jù)中心自動化［M］.北京：人民郵電出版社，2012.

［3］Amokrane A，Zhani M F，Langar R，et al.Greenhead：virtual data center embedding across distributed infrastructures［J］.Cloud Computing，IEEE Transactions，2013（6）：36－49.

［4］ZhaniM F，Zhang Q，Simon G，et al.VDC planner：dynamic migrationaware virtual data center embedding for clouds［J］.Proceedings of IFIP/IEEE Integrated Network Management Symp，2013（5）：27－31.

［5］ Chowdhury M，Rahman M，Boutaba R.Vineyard：virtual network embedding algorithmswith coordinated node and linkmapping［J］.IEEE/ACM Transactions on Networking，2012，20（1）：206－219.

［6］切富蘭克林二世.云計算-無處不在的數(shù)據(jù)中心［M］.北京：國防工業(yè)出版社，2013.

［7］祁偉.云計算：從基礎架構(gòu)到最佳實踐［M］.北京：清華大學出版社，2013.

［8］劉鵬.云計算［M］.2版.北京：電子工業(yè)出版社，2012.

［9］Rhoton J.云計算-企業(yè)實施手冊［M］.北京：機械工業(yè)出版社，2011.

Framework of the Distributed Cloud Data Center and the Key Technologies of Management

At present，the popularized cloud calculation in professional field can solve the issue of individual cloud data center，but cannot solve the issue among multiple cloud data centers，such as resource sharing，unified management，and upgrading the quality of business services.Thus the concept and architecture of distributed cloud data center（DC2）is proposed，and the critical technologies formanagement and services of the distributed cloud data center are researched.The distributed cloud data center can change the traditional data centers with scattered，hierarchical and heterogeneous architectures into distributed cloud data center with a whole flat architecture and unified resource management.The solution proposed makes all the resources in multiple individual cloud data centers located in different regions，different stages，and different scales integrated logically for unified management and operation，to reach the status of higher efficient，more reliable and more environment protection for cloud data center.

Distributed cloud data center（DC2） Data center as a service（DCaaS） Management as a service（MaaS）

TP302+.1

A

修改稿收到日期：2014－03－17。

作者黃峰（1957－），男，1987年畢業(yè)于上海交通大學儀器儀表專業(yè)，獲碩士學位，高級工程師；主要從事自動化控制技術(shù)研究。