摘 要：云計算是一種全新的IT服務(wù)模式，它是在網(wǎng)格計算的基礎(chǔ)上發(fā)展而來的。本文比較了當今具有代表性的云計算定義，以谷歌的云計算為例，探討了云計算的數(shù)據(jù)存儲、數(shù)據(jù)管理等關(guān)鍵技術(shù)，指出了云計算的發(fā)展前景。

關(guān)鍵詞：云計算；數(shù)據(jù)的存儲；數(shù)據(jù)的管理

中圖分類號：TP3

隨著云計算技術(shù)的蓬勃發(fā)展，Google、亞馬遜、微軟、IBM等大型公司都開發(fā)了自己的云計算平臺。其中Google公司的App Engine云計算開發(fā)平臺為應(yīng)用服務(wù)提供商開發(fā)和部署云計算服務(wù)提供接口。Amazon等公司的云計算平臺提供可快速部署的虛擬服務(wù)器，實現(xiàn)了基礎(chǔ)設(shè)施的按需分配。MapReduce等新型并行編程框架簡化了海量數(shù)據(jù)處理模型。Salesforce公司的客戶關(guān)系管理（CRM，customerrelationship management）服務(wù)等云計算服務(wù)將桌面應(yīng)用程序遷移到互聯(lián)網(wǎng)，實現(xiàn)應(yīng)用程序的泛在訪問。

作為一種全新的IT服務(wù)模式，云計算旨在實現(xiàn)大規(guī)模的分工協(xié)作與資源共享，以達到低成本、低能耗、高效率的計算目標。它以效用為先，以客戶為中心，請求即響應(yīng)（On-demand）與按用量收費（Pay-per-use）的服務(wù)模式，體現(xiàn)了計算機以人為本的服務(wù)理念，得到了產(chǎn)業(yè)界與學術(shù)界廣泛的認可與關(guān)注。

1 云計算簡介

到目前為止，云計算還沒有統(tǒng)一的定義，各行各界的人從不同角度出發(fā)都有不同的理解，影響比較大的主要有以下幾種：（1）IBM的技術(shù)白皮書“Cloud Computing”中的云計算定義：云計算用于描述平臺以及應(yīng)用程序類型的一個專業(yè)術(shù)語。云平臺可以根據(jù)需要動態(tài)地提供、配置、重新配置以及取消提供服務(wù)器。云計算也指那些經(jīng)過擴展后可通過因特網(wǎng)進行訪問的應(yīng)用程序；（2）NIST的Peter Mell和Tim Grance于2009年4月提出了云計算的定義：云計算指一種通過網(wǎng)絡(luò)以便利的、按需付費的方式獲取計算資源并提高其可用性的模式，這些資源來自一個可以共享的、可配置的資源池，并且以最省力和無人干預(yù)的方式獲取和釋放；（3）專業(yè)的IT名詞百科Whatis.com，廣義地將云計算定義為一切能夠通過互聯(lián)網(wǎng)提供的服務(wù)，而這些服務(wù)被分為三個層次：基礎(chǔ)設(shè)施即服務(wù)（IaaS）、平臺即服務(wù)（Paas）和軟件即服務(wù)（SaaS）；（4）云是一個包含大量虛擬資源的資源池。而虛擬資源可以根據(jù)負載動態(tài)地重新配置，達到更優(yōu)的資源利用率。這種資源池一般是由基礎(chǔ)設(shè)施提供商按照服務(wù)等級協(xié)議（SLA）采用時付費（Pay-Per-Use，PPU）的模式開發(fā)管理的。

我們可以看出云計算技術(shù)具有以下特點：（1）提供透明的彈性服務(wù)。用戶不需了解其具體的實現(xiàn)機制，就可以獲得所需服務(wù)。而且服務(wù)的規(guī)?？梢愿鶕?jù)其應(yīng)用的需要進行調(diào)整和彈性伸縮，有效地滿足了實際應(yīng)用和用戶規(guī)模不斷增長的需要；（2）根據(jù)需求提供服務(wù)。為用戶提供資源的同時，可以根據(jù)用戶需求，自動分配資源；（3）實現(xiàn)泛在訪問。用戶只需要通過各種終端設(shè)備（如筆記本電腦、上網(wǎng)本、PDA、智能手機等），就可以隨時隨地通過互聯(lián)網(wǎng)進入云計算平臺，方便快捷地獲得所需的服務(wù)；（4）共享資源池。資源以共享資源池的方式進行統(tǒng)一管理，利用虛擬化技術(shù)，將資源分享給不同用戶，而其中資源的放置、管理與分配策略對用戶來說是透明的；（5）降低成本。云計算將計算設(shè)施從本地轉(zhuǎn)移到網(wǎng)絡(luò)中，將計算資源通過租用的方式提供給用戶，使用戶大量節(jié)省了架設(shè)基礎(chǔ)設(shè)施的成本同時，由于自動化的管理和配置，云計算數(shù)據(jù)中心軟件和硬件資源的利用率都得到了大幅提升，從而使供應(yīng)商提供服務(wù)的成本下降。

2 關(guān)鍵技術(shù)

云計算的關(guān)鍵技術(shù)很多，在這里只對數(shù)據(jù)存儲和數(shù)據(jù)管理技術(shù)進行介紹。

2.1 數(shù)據(jù)存儲技術(shù)。在云計算環(huán)境中，數(shù)據(jù)存儲既要考慮存儲系統(tǒng)的I/O性能，又要保證文件系統(tǒng)的可靠性、可用性和經(jīng)濟性，因此，特采用分布存儲的方式來存儲數(shù)據(jù)，用冗余存儲的方式來保證可靠性等等。

目前關(guān)于云計算的數(shù)據(jù)存儲技術(shù)主要有谷歌的GFS和Hadoop的HDFS。

本文就以GFS為例。GFS文件系統(tǒng)，是一個面向大規(guī)模數(shù)據(jù)密集型的、可伸縮的分布式文件系統(tǒng)。其運行在廉價的硬件設(shè)備上，為客戶機提供高性能的服務(wù)。為保證數(shù)據(jù)的可靠性，GFS采用了冗余存儲的方式。將每一個數(shù)據(jù)塊在系統(tǒng)中都保存了3個以上的備份，而所有文件和數(shù)據(jù)塊副本的元數(shù)據(jù)都由元數(shù)據(jù)管理節(jié)點進行管理。為保證數(shù)據(jù)的一致性，對數(shù)據(jù)的任何修改都在備份上進行，并用版本號來確保所有備份相一致。當客戶端從Master獲取到目標數(shù)據(jù)塊的位置后，就和塊服務(wù)器直接交互進行讀操作。

2.1.1 GFS系統(tǒng)架構(gòu)。GFS文件系統(tǒng)由一個Master和大量ChunkServer組成，并且可以被多個客戶端同時訪問。Master用于保存文件系統(tǒng)的元數(shù)據(jù)信息，管理該域下面的所有ChunkServer，其中元數(shù)據(jù)包括：目錄命名空間，文件名與數(shù)據(jù)塊信息的映射，文件塊的位置信息等等。在GFS中，文件并不是整體存儲，而是將文件分成文件塊，以文件塊為單位存儲。Chunk Server就是用于保存文件的塊信息，塊的大小統(tǒng)一為64MB，每一塊數(shù)據(jù)由全局唯一64位ID進行標識，客戶端通過該標識符來操作塊數(shù)據(jù)。而Chunkserver接受Master的管理，負責存儲具體的chunk。當客戶端訪問文件時，其首先向Master獲取相關(guān)文件的元數(shù)據(jù)信息，然后再連接Chunkserver對文件數(shù)據(jù)進行讀寫。

2.1.2 GFS的讀數(shù)據(jù)操作。（1）Client向MasterServer發(fā)送讀操作請求，請求中包括文件名和Chunk索引；（2）MasterServer接收請求并通過Chunk映射表映射后，向Client作出響應(yīng)，響應(yīng)中包括Chunk句柄和Chunk副本的位置信息；（3）根據(jù)響應(yīng)的內(nèi)容，Client以文件名和Chunk索引為關(guān)鍵詞進行緩存；（4）根據(jù)文件Chunk索引和位置信息，Client從多個ChunkServer中選擇一個離自己最近的Chunk服務(wù)器發(fā)出數(shù)據(jù)訪問請求。

而且數(shù)據(jù)訪問還具有空間局部性的特征。以后如果Client再次訪問同一個ChunkServer，它將不再向MasterServer發(fā)送訪問請求，而是直接向ChunkServer發(fā)送數(shù)據(jù)讀取請求。

2.1.3 GFS的寫操作。將控制信號和數(shù)據(jù)流分開，當客戶端獲得了Master的寫授權(quán)后，將數(shù)據(jù)傳輸給所有的數(shù)據(jù)副本，這些數(shù)據(jù)副本都收到修改的數(shù)據(jù)后，客戶端發(fā)出寫請求控制信號。在所有的數(shù)據(jù)副本更新完數(shù)據(jù)后，主副本向客戶端發(fā)出寫操作完成控制信號，GFS的寫操作過程結(jié)束。

2.2 數(shù)據(jù)管理技術(shù)。通過云計算可實現(xiàn)海量數(shù)據(jù)的存儲，而且可實現(xiàn)海量數(shù)據(jù)的數(shù)據(jù)管理功能。其中最著名的是谷歌的BigTable數(shù)據(jù)管理技術(shù)。關(guān)于BigTable數(shù)據(jù)管理技術(shù)，Google是這樣定義的：“BigTable是一種為了管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計的分布式存儲系統(tǒng)，這些數(shù)據(jù)可以擴展到非常大的規(guī)模，例如在數(shù)千臺商用服務(wù)器上的達到PB（Petabytes）規(guī)模的數(shù)據(jù)?！?/p>

BigTable通過行值、列值、時間戳（版本號）來進行檢索。其管理的數(shù)據(jù)的存儲結(jié)構(gòu)為：（row：string，column：string，time：int64）--->string

其中行值按照鍵進行字典排序，一張Tablet表包含一定數(shù)量的行，一行數(shù)據(jù)中可以設(shè)置大量的列值屬性（列族），通過（名稱：標識）格式進行設(shè)置，訪問控制和統(tǒng)計分析也是基于列值來展開。而列族是若干列的集合，BigTable中的存取權(quán)限是控制在列族的粒度進行的。時間戳是一個64位的整數(shù)，表示數(shù)據(jù)的不同版本。為了保證數(shù)據(jù)結(jié)構(gòu)的高可擴展性，BigTable規(guī)定索引表最多不能超過三級，在Chubby file中包含了Root Tablet的位置信息，而RootTablet有且僅有一個，其包含了所有METADATA tablets的位置信息，其中每個METADATA tablet又包含了許多UserTable的位置信息。在客戶端讀取數(shù)據(jù)時，首先從Chubby file中讀取RootTablet的位置信息，再從RootTablet中讀取相應(yīng)的METADATA tablet的位置信息。緊接著從該METADATA tablet中讀取UserTable的位置信息，然后從該UserTable中讀取目標數(shù)據(jù)的位置信息。最后，根據(jù)此信息到服務(wù)器中的特定位置讀取數(shù)據(jù)。

以上是對云計算的數(shù)據(jù)存儲、數(shù)據(jù)管理關(guān)鍵技術(shù)的討論，當然云計算還有許多問題有待解決，相信隨著云計算的不斷發(fā)展和廣泛應(yīng)用，云計算將會得到更大的完善，我們拭目以待。

參考文獻：

[1]Boss G，Malladi P，Quan D，Legregni L.Hall H，Cloud computing.IBM.WhitePaper，2007.http：//download.boulder.ibm.corn/ibmdl/pub/soRware/dw/wes/hipods/Cloud_comp uting_wp_final-80ct.pdf.

[2]Cloud computing.http：//fr.wikipedia.org/wiki/Cloud_computing.

作者單位：西北民族大學 數(shù)學與計算機科學學院，蘭州 730030