張志宏

?

構(gòu)建下一代數(shù)據(jù)中心的基礎(chǔ)架構(gòu)

張志宏

福建富士通信息軟件有限公司

隨著信息技術(shù)的高速發(fā)展，數(shù)據(jù)量呈幾何級數(shù)增長，數(shù)據(jù)中心的規(guī)模越來越龐大，也越來越復(fù)雜。該文探討了在下一代數(shù)據(jù)中心的構(gòu)建方面可以采用存儲網(wǎng)絡(luò)架構(gòu)融合、虛擬化及云模式，以避免在基礎(chǔ)設(shè)施上的重復(fù)性投入，使得數(shù)據(jù)中心簡化管理，具有更高的運營靈活性。

數(shù)據(jù)中心 服務(wù)器 SAN iSCSI FCoE 虛擬化 云模式

1 概述

隨著信息技術(shù)的迅猛發(fā)展，數(shù)據(jù)中心的建設(shè)也從簡單變得復(fù)雜。特別是對于金融、電信、制造、政府這四大行業(yè)來說，IT建設(shè)的不斷投入，以及用戶對數(shù)據(jù)存儲、數(shù)據(jù)挖掘、精確營銷、高性能計算的需求不斷增長，數(shù)據(jù)中心的規(guī)模已經(jīng)逐漸變得無法有效的控制和管理。

典型的數(shù)據(jù)中心通常是一個多層建筑，寬大的空間被各式各樣的機(jī)架占據(jù)，擺放著幾十臺、上百臺、甚至上千臺的服務(wù)器，以及供服務(wù)器存放數(shù)據(jù)的大量的磁盤陣列，通過基礎(chǔ)網(wǎng)絡(luò)設(shè)備如數(shù)據(jù)網(wǎng)絡(luò)交換機(jī)、路由器、SAN交換機(jī)、負(fù)載均衡交換機(jī)及防火墻等設(shè)備聯(lián)接在一起。數(shù)據(jù)中心一旦投入運營，就要不斷滿足新設(shè)備、新系統(tǒng)的接入。

近幾年來，虛擬化、云計算、云存儲及綠色節(jié)能的概念不斷沖擊數(shù)據(jù)中心管理者的思想，面對各種各樣的新需求，管理者的視線開始從只關(guān)注機(jī)房的空間、供電、空調(diào)和散熱方面轉(zhuǎn)向?qū)A(chǔ)架構(gòu)整合的考慮，希望能從基礎(chǔ)架構(gòu)層面的簡化來避免未來失控的局面。

2 數(shù)據(jù)中心架構(gòu)現(xiàn)狀

2.1 數(shù)據(jù)中心傳統(tǒng)架構(gòu)

當(dāng)前數(shù)據(jù)中心IT設(shè)備主要分為IP數(shù)據(jù)網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)、服務(wù)器集群三個部分，服務(wù)器集群通常需要連接兩個網(wǎng)絡(luò)：IP數(shù)據(jù)網(wǎng)絡(luò)（IP Network）和存儲網(wǎng)絡(luò)（Storage Area Network）。數(shù)據(jù)網(wǎng)絡(luò)基本上是以使用最為廣泛的TCP/IP協(xié)議組為基礎(chǔ)的通信網(wǎng)絡(luò)，而存儲網(wǎng)絡(luò)則是以FC光纖通道協(xié)議為基礎(chǔ)。

傳統(tǒng)架構(gòu)模式下，業(yè)務(wù)與數(shù)據(jù)基礎(chǔ)架構(gòu)是緊密耦合，以業(yè)務(wù)為單位，不同項目各自規(guī)劃和購買硬件資源；每當(dāng)有新的業(yè)務(wù)需求，業(yè)務(wù)部門會列出一攬子清單，要求購買服務(wù)器、交換機(jī)、磁盤陣列等硬件設(shè)備以及相關(guān)的軟件，日后的運行、維護(hù)、擴(kuò)展、調(diào)整等都以這一攬子環(huán)境作為基礎(chǔ)。傳統(tǒng)網(wǎng)絡(luò)架構(gòu)試圖應(yīng)對激增的應(yīng)用、服務(wù)器、存儲和網(wǎng)絡(luò)流量，大量的設(shè)備占據(jù)了空間、電源及散熱，提高了數(shù)據(jù)中心建造和維護(hù)成本和以及設(shè)備部署的復(fù)雜性。當(dāng)系統(tǒng)規(guī)模膨脹到一定的程度時，整個數(shù)據(jù)中心將不堪重負(fù)，并嚴(yán)重地制約業(yè)務(wù)的進(jìn)一步發(fā)展。

因此，必須有一種能夠提供靈活擴(kuò)充、成本低廉，并具備高性能，能夠按需分配的下一代數(shù)據(jù)中心來滿足用戶的需求，新型的數(shù)據(jù)中心建設(shè)就是在這種需求中誕生的。

2.2 基礎(chǔ)架構(gòu)的相關(guān)技術(shù)

基礎(chǔ)架構(gòu)作為最基本的底層結(jié)構(gòu)，以一系列的物理設(shè)備和連通介質(zhì)，再根據(jù)之上的各種標(biāo)準(zhǔn)協(xié)議組建而成。TCP/IP協(xié)議組是眾所周知的網(wǎng)絡(luò)通信協(xié)議組，世界上最大的網(wǎng)絡(luò)INTERNET就是采用了TCP/IP協(xié)議，而TCP/IP底層物理網(wǎng)絡(luò)多數(shù)使用以太網(wǎng)協(xié)議，因此以太網(wǎng)+TCP/IP成為IT行業(yè)中應(yīng)用最普遍的技術(shù)。對于以太網(wǎng)和TCP/IP協(xié)議本文就不進(jìn)行太多的說明，本文主要關(guān)注萬兆（10Gigabit）以太網(wǎng)在數(shù)據(jù)中心的普及，目前IEEE802.3ba 40G/100G標(biāo)準(zhǔn)也于2010年正式獲批通過，將來或許會成為下一代大型數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)模部署的新標(biāo)準(zhǔn)。

接下來的重點放在存儲網(wǎng)絡(luò)的相關(guān)協(xié)議上。存儲網(wǎng)絡(luò)根據(jù)采用協(xié)議的不同有多種架構(gòu)，主要有DAS方式、SAN方式和NAS方式三種模式。

SCSI：小型計算機(jī)系統(tǒng)接口（Small Computer System Interface；簡寫SCSI），一種用于計算機(jī)和智能設(shè)備之間（硬盤、軟驅(qū)、光驅(qū)、打印機(jī)、掃描儀等）系統(tǒng)級接口的獨立處理器標(biāo)準(zhǔn)。SCSI是一種智能的通用接口標(biāo)準(zhǔn)，它是各種計算機(jī)與外部設(shè)備之間的接口標(biāo)準(zhǔn)。對應(yīng)的存儲架構(gòu)為DAS方式。

FC/FCP：光纖通道（Fibre Channel；簡寫FC)是1994年由ANSI標(biāo)準(zhǔn)化組織制訂的一種適合于千兆位數(shù)據(jù)傳輸通信的成熟而安全的解決方案。Fibre Channel 是對SCSI技術(shù)的發(fā)展，除了提供更高的數(shù)據(jù)傳輸速度，更遠(yuǎn)的傳輸距離，更多的設(shè)備連接支持，更穩(wěn)定的性能。光纖通道協(xié)議（FCP，F(xiàn)ibre Channel Protocal）是基于光纖通道的協(xié)議，定義了拓?fù)浣Y(jié)構(gòu)和幀的結(jié)構(gòu)?？梢哉J(rèn)為光纖信道協(xié)議是一種在光纖信道上的 SCSI 接口協(xié)議。FC對應(yīng)的存儲架構(gòu)為SAN方式。

iSCSI：互聯(lián)網(wǎng)小型計算機(jī)系統(tǒng)接口 (Internet SCSI；簡寫iSCSI)是一種在TCP/IP協(xié)議網(wǎng)絡(luò)上，特別是以太網(wǎng)上進(jìn)行數(shù)據(jù)塊傳輸?shù)臉?biāo)準(zhǔn)。它是由Cisco 和IBM兩家發(fā)起的，并且得到了IP存儲技術(shù)擁護(hù)者的大力支持，是一個供硬件設(shè)備使用的可以在IP協(xié)議上層運行的SCSI指令集。簡單地說，iSCSI可以實現(xiàn)在IP網(wǎng)絡(luò)上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進(jìn)行路由選擇。iSCSI對應(yīng)的存儲架構(gòu)也可以納入SAN方式，一般稱之為IP SAN。iSCSI在比較新、比較小的SAN中有一定的市場。

網(wǎng)絡(luò)附加存儲（Network Attached Storage，NAS）是一種文件共享服務(wù)，擁有自己的文件系統(tǒng)，通過NFS或CIFS對外提供文件訪問服務(wù)。DAS、SAN和NAS與各協(xié)議的關(guān)系可以參見圖1。

圖1

此外還有一些存儲網(wǎng)絡(luò)協(xié)議，如FCIP (Fibre Channel over TCP/IP)、iFCP (Internet Fibre Channel Protocol)、IB（InfiniBand）體系等都是為了改進(jìn)當(dāng)前的存儲訪問方式而誕生的。

當(dāng)前數(shù)據(jù)中心的存儲架構(gòu)基本上是以SAN的方式為主，比較DAS的方式，更大程度上實現(xiàn)了存儲設(shè)備的整合和數(shù)據(jù)集中管理，大大降低了重復(fù)投資率和長期管理維護(hù)成本。雖然目前SAN環(huán)境中的端口數(shù)和存儲的容量還能滿足擴(kuò)容的需求，但在競爭激烈的環(huán)境下，為應(yīng)對不斷變化的客戶需求，應(yīng)用部門對后端資源的管理者提出了更高的要求，一旦業(yè)務(wù)需要，資源就要馬上到位。前面提過，傳統(tǒng)方式下，從提出需求到采購、再到實施，最后提供給應(yīng)用需要一個漫長的周期，因此變革是必要的，而變革必須從基礎(chǔ)架構(gòu)開始。

3 下一代數(shù)據(jù)中心的基礎(chǔ)架構(gòu)

3.1 基礎(chǔ)架構(gòu)的新技術(shù)發(fā)展

隨著技術(shù)的發(fā)展，近幾年出現(xiàn)并逐漸走向大規(guī)模商用的技術(shù)，如虛擬化、云計算、云存儲等已在悄悄地改變數(shù)據(jù)中心的基礎(chǔ)架構(gòu)。虛擬化無可厚非地被認(rèn)為是數(shù)據(jù)中心近10年來出現(xiàn)的最重要的技術(shù)之一，虛擬化包括服務(wù)器的虛擬化、存儲的虛擬化、桌面的虛擬化。虛擬化的好處是最大化地利用設(shè)備，減少設(shè)備的數(shù)量，對應(yīng)用的支持更加靈活。而在網(wǎng)絡(luò)這一層，作為一個對于基礎(chǔ)架構(gòu)有簡化作用的協(xié)議FCoE（Fibre Channel over Ethernet）協(xié)議也漸漸進(jìn)入了用戶的視野。

在下一代數(shù)據(jù)中心網(wǎng)絡(luò)中，一種趨勢是存儲網(wǎng)絡(luò)和數(shù)據(jù)網(wǎng)絡(luò)最終都將承載在一種聚合增強(qiáng)型的以太網(wǎng)（Convergence Enhanced Ethernet，CEE）上，采取FCoE協(xié)議，將光纖通道幀封裝在以太網(wǎng)幀上進(jìn)行通信。通過FCoE，每臺服務(wù)器不再同時配置以太網(wǎng)卡和HBA卡，只需要一個FCoE網(wǎng)卡就可以與前端的客戶進(jìn)行IP通信、后端的存儲通過光纖進(jìn)行通訊，有效解決了管理人員、空間、能耗、不同的布線系統(tǒng)等問題。FCoE協(xié)議所處位置以及和其他協(xié)議的關(guān)系如圖2所示：

圖2

FCoE實現(xiàn)的基礎(chǔ)有三個部分：萬兆以太網(wǎng)；增強(qiáng)型以太網(wǎng)（CEE）；融合網(wǎng)絡(luò)適配器(CNA)。

基于萬兆以太網(wǎng)的增強(qiáng)型以太網(wǎng)通過4個協(xié)議來實現(xiàn)一種Lossless（無損失）的以太網(wǎng)：（1）Priority Flow Control（流量優(yōu)先級控制），IEEE 802.1Qbb (PFC)；（2）Enhanced transmission selection（增強(qiáng)傳輸選擇），IEEE 802.1Qaz (ETS)；（3）Data Center Bridging Exchange（數(shù)據(jù)中心橋接交換）(DCBX)；（4）Congestion Management（阻塞管理），IEEE 802.1Qau (QCN)。

3.2 數(shù)據(jù)中心存儲與數(shù)據(jù)網(wǎng)絡(luò)融合

服務(wù)器通過一種融合網(wǎng)絡(luò)適配器(Converged Network Adapter，CNA)接入CEE交換機(jī)，取代現(xiàn)有的需要網(wǎng)卡和HBA卡分別接入數(shù)據(jù)網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)的方式。

存儲網(wǎng)絡(luò)目前主流速率為4GB，8Gb也已經(jīng)在規(guī)模使用，下一代16Gb已在各廠商的開發(fā)列表中，而以太網(wǎng)10Gb已有規(guī)?；膽?yīng)用，40G/100G標(biāo)準(zhǔn)也于2010年正式獲批通過。我們有理由相信，以太網(wǎng)速度提升的速度將會大大超過FC網(wǎng)絡(luò)，將來存儲網(wǎng)絡(luò)為提升速率而向數(shù)據(jù)網(wǎng)絡(luò)聚合是完全有必要的。

當(dāng)然存儲網(wǎng)絡(luò)和數(shù)據(jù)網(wǎng)絡(luò)融合不可能一蹴而就，F(xiàn)CoE最有可能在某個機(jī)架上實現(xiàn)，然后擴(kuò)展到整個數(shù)據(jù)中心；更有可能是FCoE與現(xiàn)有的SAN網(wǎng)絡(luò)連通在一起并在相當(dāng)長的時間內(nèi)共存。

數(shù)據(jù)網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)融合后，形成一個統(tǒng)一架構(gòu)，從服務(wù)器端至存儲端的通道、服務(wù)器之間的通道就變得簡單和清晰，再結(jié)合虛擬化技術(shù)，一種全新的資源管理和調(diào)度方式將展現(xiàn)在我們面前。

目前主流網(wǎng)絡(luò)適配器廠商都發(fā)布了相關(guān)的CNA適配器，各服務(wù)器廠商、網(wǎng)絡(luò)交換機(jī)廠商和存儲廠商均推出了支持FCoE的產(chǎn)品，使得端到端實現(xiàn)FCoE已成為現(xiàn)實。在這一方式下，原先分別獨立的網(wǎng)絡(luò)管理團(tuán)隊和存儲管理團(tuán)隊可以進(jìn)行整合和統(tǒng)一管理，管理的界面也保持一致。

3.3 數(shù)據(jù)中心基礎(chǔ)資源的云服務(wù)

數(shù)據(jù)中心虛擬化是實現(xiàn)云計算的首要步驟，也是關(guān)鍵一步，虛擬化所帶來的架構(gòu)靈活性及對資源的充分利用給云計算帶來了實現(xiàn)的基礎(chǔ)。虛擬化的部署已或多或少地在數(shù)據(jù)中心進(jìn)行，但就目前與數(shù)據(jù)中心相關(guān)的虛擬化項目來看比較單一，大部分是服務(wù)器的虛擬化，小部分實現(xiàn)存儲的虛擬化，但服務(wù)器訪問存儲還是基于舊有的實現(xiàn)方式，無法實現(xiàn)端到端的虛擬化，總體上還無法實現(xiàn)基礎(chǔ)資源的統(tǒng)一管理。

通過在網(wǎng)絡(luò)架構(gòu)中采用FCoE，建設(shè)全新的統(tǒng)一光纖網(wǎng)絡(luò)架構(gòu)，簡化網(wǎng)絡(luò)結(jié)構(gòu)和管理。通過在一個增強(qiáng)型以太網(wǎng)中支持 SAN、NAS及IP SAN，提供端到端的虛擬化解決方案，以幫助客戶整合并簡化數(shù)據(jù)中心基礎(chǔ)架構(gòu)，降低資本支出和運營費用、提高管理效率，并提高基礎(chǔ)架構(gòu)的靈活性和性能。

將存儲、網(wǎng)絡(luò)和服務(wù)器資源全部虛擬化，通過靈活的資源調(diào)配服務(wù)于應(yīng)用的虛擬化。如圖3所示，將服務(wù)器群、統(tǒng)一網(wǎng)絡(luò)架構(gòu)和存儲群作成一個基礎(chǔ)資源池，用戶只要提出計算能力要求和存儲容量，資源管理者就可以迅速將設(shè)備資源劃分出來提供給用戶。如果把基礎(chǔ)資源池比作一個蛋糕的話，那么管理資源將來就像切蛋糕一般容易，實際上這也就提供了云計算中的基礎(chǔ)設(shè)施即服務(wù)(IaaS)運營方式。

圖3

在這種方式下，基礎(chǔ)資源池的擴(kuò)容也十分簡單，只需進(jìn)行橫向擴(kuò)展即可，而傳統(tǒng)的數(shù)據(jù)中心必須豎向考慮。

總之，我們的目的是通過虛擬化技術(shù)和統(tǒng)一網(wǎng)絡(luò)架構(gòu)使得數(shù)據(jù)中心的資源能夠被合理的利用，提高物理設(shè)備的利用效率，同時也增加了各種業(yè)務(wù)部署的靈活性，最終通過云調(diào)度系統(tǒng)來協(xié)調(diào)各種業(yè)務(wù)的使用和遷移。在此基礎(chǔ)上，規(guī)劃下一代數(shù)據(jù)中心時也要注意提高數(shù)據(jù)中心的效能、降低電力損耗、減少占地空間，建設(shè)一個綠色數(shù)據(jù)中心。

4 結(jié)束語

下一代的數(shù)據(jù)中心將是一種簡化的基礎(chǔ)架構(gòu)，數(shù)據(jù)中心的變革也在進(jìn)行中。預(yù)計在未來的三年內(nèi)，隨著10Gb端口成本的降低，F(xiàn)CoE將會成規(guī)模的應(yīng)用，五年之內(nèi)，大多數(shù)數(shù)據(jù)中心都應(yīng)該能提供基礎(chǔ)資源的云服務(wù)，我們也期待那一天的來臨。

[1] [美]Marc Farley.孫功星，蔣文保，范勇，葉梅, 譯. SAN存儲區(qū)域網(wǎng)絡(luò)[M].北京：機(jī)械工業(yè)出版社，2002.

[2] G.Somasundaram Alok Shrivastava. 羅英偉等譯.信息存儲與管理：數(shù)字信息的存儲、管理和保護(hù)[M]. 北京：人民郵電出版社，2010.

[3] 王慶波, 等.虛擬化與云計算[M]. 北京：電子工業(yè)出版社，2009.