摘 要:根據(jù)分析調研機構IDC發(fā)布的研究報告《從混沌中提取價值》表明:2011年全球被創(chuàng)建和復制的數(shù)據(jù)總量為1.8ZB(1ZB=2^30GB),和2010年同期相比上漲超過了1ZB并且企業(yè)數(shù)據(jù)正逐年以55%的速度增長,而且這些數(shù)據(jù)大部分是非結構化數(shù)據(jù)。存儲對象也由曾經(jīng)單一的存儲設備轉變成以云存儲的解決形式。
關鍵詞:云存儲;技術;數(shù)據(jù)
中圖分類號:TP333
云存儲是在云計算概念上延伸和發(fā)展出來的一個新的概念。全球網(wǎng)絡存儲工業(yè)協(xié)會(SNIA)的給出的云存儲定義是:網(wǎng)絡提供可配置的虛擬化存儲和相關的數(shù)據(jù)服務。云存儲的內涵是存儲虛擬化和存儲自動化。本論文研究了云存儲的模型、前提技術、優(yōu)勢和現(xiàn)有的缺點并作以簡單敘述。
1 實現(xiàn)云存儲的技術前提和理論基礎
1.1 寬帶網(wǎng)絡的發(fā)展。云存儲是通過網(wǎng)絡將用戶的數(shù)據(jù)存放到第三方數(shù)據(jù)公司的云端上,并通過網(wǎng)絡對自己的數(shù)據(jù)進行管理和訪問。這也就意味著云存儲需要依靠寬帶網(wǎng)絡技術的發(fā)展和大容量數(shù)據(jù)的傳輸,使得云存儲將會演變?yōu)橐粋€多區(qū)域分布的龐大公用系統(tǒng)。
1.2 WEB2.0技術。網(wǎng)絡信息的傳播方式經(jīng)歷了從WEB1.0時代到WEB2.0時代,從最開始的強調“獲取”和“下載”到強調“創(chuàng)造”、“上傳”、“分享”和“互動”,從人們只能被動的接受互聯(lián)網(wǎng)上的資源到人們能夠充分參與到資源的創(chuàng)造和分享中。這種WEB技術的發(fā)展在當下的時代被賦予了云的各種標簽,這使得用戶可以通過移動終端、PC等多種多媒體設備,實現(xiàn)自有數(shù)據(jù)的集中存儲和共享,使得云存儲所提供的服務更加的靈活多樣。
1.3 數(shù)據(jù)編碼技術。云存儲中常用的幾種編碼技術:加密編碼,可以保證所存儲的數(shù)據(jù)的保密性、完整性;壓縮編碼,在不丟失信息的前提下縮減數(shù)據(jù)量來減少所占的空間,提高傳輸、存儲、和處理效率,這對于大數(shù)據(jù)量的云存儲系統(tǒng)的性能有重要作用;冗余編碼,能夠檢測和糾正數(shù)據(jù)在傳輸中發(fā)生的錯誤,調高云存儲的容錯性。
1.4 分布式文件系統(tǒng)。分布式文件系統(tǒng)(Distributed File System,DFS)是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點上,而是通過計算機網(wǎng)絡與節(jié)點相連。由于互聯(lián)網(wǎng)應用不斷發(fā)展,本地文件系統(tǒng)由于單個節(jié)點本省的局限性,已經(jīng)很難滿足海量數(shù)據(jù)的存儲,成為存儲系統(tǒng)的瓶頸。因此,借助分布式文件系統(tǒng)把負載轉移到多個節(jié)點上,它不但提高了系統(tǒng)的可靠性、可用性、和存儲效率,還易于擴展。
1.5 存儲虛擬化技術。存儲虛擬化技術主要指通過在物理存儲系統(tǒng)和服務器之間增加一個虛擬層,使服務器的存儲空間可以跨越多個異構的磁盤陣列,實現(xiàn)從物理存儲到邏輯存儲的轉變。使用這種技術可以解決云存儲中的存儲設備數(shù)量龐大并且分布在不同地域上,由于不同廠商、批次、型號設備之間的異構問題,包括兼容性、擴展性、可靠性、容錯容災等方面問題[1]。
2 CDMI標準簡介
SNIA(Storage Networking Industry Association)于2010年4月12日推出首個云存儲標準——CDMI(Cloud Data Management Interface)。CDMI是指應用程序可以通過對云存儲數(shù)據(jù)對象進行創(chuàng)建、查詢、更新和刪除等操作的一種功能服務接口。CDMI標準提供了存儲即服務,這也使得存儲廠家依照這個標準來提供相關服務。此標準不僅提供了訪問云存儲和管理云存儲數(shù)據(jù)的方式,還支持塊和文件存儲客戶端的訪問,能夠提供管理賬號、賬單信息和安全訪問等功能[1]。
3 云存儲框架模型
云存儲至今并沒有一個權威的定義,但是業(yè)界對其達成了一個初步共識,云存儲不僅是存儲技術或存儲設備,更是一種服務。它是由網(wǎng)絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網(wǎng)和客戶端等多個部分組成的,通過分布式、虛擬化、智能配置等技術,實現(xiàn)海量、低成本、低功耗、可彈性擴展的共享存儲資源[2]。
云存儲的結構大體上可以自下向上分為四層,包括存儲層、管理調度層、應用接口層和訪問層4層。
3.1 存儲層。存儲層實施存儲設備中虛擬化管理、存儲設備狀態(tài)監(jiān)控、多鏈路冗余管理、存儲設備更新與升級、故障維護等相關功能。存儲層在云存儲結構模型中的最底層,是云存儲基礎的構成部分,由種類繁多的存儲設備組成。在這一層中,處在不同區(qū)域的、數(shù)量巨大的存儲設備經(jīng)由網(wǎng)絡通道連接,組成存儲池。
3.2 基礎管理層。基礎管理層在存儲層的上方,是云存儲的關鍵部分,發(fā)揮了統(tǒng)籌管理的功能。一般狀況下,這一層是云存儲中最難實現(xiàn)的地方。該層通過網(wǎng)格存儲技術和網(wǎng)絡存儲技術,完成了每個存儲設備間的相互協(xié)調作業(yè),以此對外給出統(tǒng)一服務,得以完成數(shù)據(jù)控制和數(shù)據(jù)訪問等功能。本層加密技術確保了云存儲系統(tǒng)中全部數(shù)據(jù)不被攻擊者篡改,容災備份得以確數(shù)據(jù)不丟失。
3.3 應用接口層。應用接口層處在第三層,是架構模型中最靈活的部分。應用接口層的特點是每個運營商都可按照實際的需求,為解決不同業(yè)務的需求而開發(fā)各自的應用服務接口,并提供應用服務。
3.4 訪問層。訪問層處在結構模型最頂層,是與使用者最相近的。每一個經(jīng)過授權的使用者都可使用標準的接口使用云存儲服務。訪問層的構建通常是以實用化、便捷化為原則。由于云存儲服務商的不同,面向用戶的業(yè)務類型也不同,訪問層的訪問類型與訪問手段也會不同。
4.云存儲技術的優(yōu)勢以及目前存在的問題
4.1 云存儲技術優(yōu)勢。云存儲是將數(shù)據(jù)放到一個虛擬化的服務器或是存儲設備上,同時會有多個映像副本會被放置在不同的虛擬化服務器或是存儲設備上,一旦主數(shù)據(jù)因所在硬件損壞而丟失,系統(tǒng)會立即將存放于另一服務器和存儲設備上的映像副本數(shù)據(jù)作為主數(shù)據(jù),來提供服務。
首先,節(jié)約成本可以表現(xiàn)在以下幾個方面:(1)使用者只需分期租用服務,不需要花費巨額資金投入到存儲設備,這樣可以有效降低使用成本以及風險。(2)云存儲服務供給商可以放棄專業(yè)而價格高昂的存儲設備轉向采用價格低廉的存儲設備提供服務,這樣可以有效的節(jié)約了成本投入。
其次,按需分配,擴展性強。使用者根據(jù)自己的需求,向系統(tǒng)申請所需要的存儲空間,隨著數(shù)據(jù)業(yè)務的增長,所需要的存儲空間更大時,也可以很輕松地擴大容量,提高存儲效率。
再次,效率高。(1)系統(tǒng)維護和升級時,不會導致服務中止。這是由于云存儲系統(tǒng)會將舊設備上的文件動態(tài)遷移到其他的存儲設備上,在舊的設備升級結束后,再將文件重新遷移回來,在此期間系統(tǒng)照樣提供服務。(2)服務商運用優(yōu)化的數(shù)據(jù)管理等方法,將服務器內資源啟動優(yōu)化,提供高效的I/O服務。
4.2 云存儲目前所存在的問題。云存儲在不斷走向成熟,使得更多的廠商愿意花時間和精力投入到云存儲的研究和開發(fā)中,不斷地去提升服務,但同時背后也存在著一些問題,這些問題無論是廠商還是用戶都不能忽略,其中最重要的還是安全性問題,其次節(jié)能、綠色使用也應該考慮在其中。
云存儲將用戶的數(shù)據(jù)從本地遷移到云端,并同過網(wǎng)絡上的存儲單元來調集存儲,這可以提高存儲的空間利用率,但同時也引出了以安全問題,用戶可以瀏覽自己的數(shù)據(jù)文件,但對于一份已經(jīng)在云端的數(shù)據(jù),其存儲管理人員極有可能對上傳的數(shù)據(jù)進行瀏覽,從而帶來了一定的隱患,用戶是無法控制管理人員的閱讀權限[3]。
參考文獻:
[1]中國云計算網(wǎng).云存儲架構詳解[EB/OL].http://www.clondcompntinchina.cn/Article/lnilan/201003/564.htm1.
[2]王偉,柯尊友.云存儲的進化:云存儲解決方案[J].中興通訊技術,2012(08):18-19.
[3]黃曉云.基于HDFS的云存儲服務系統(tǒng)研究[D].大連海事大學,2010:3-5.
作者簡介:李昆陽,信息工程學院1221班,研究方向:計算機科學與技術。
作者單位:咸陽師范學院 信息工程學院,陜西咸陽 712000