張龍立
(國脈通信規(guī)劃設(shè)計有限公司 哈爾濱 150040)
全球數(shù)據(jù)量的猛增使得數(shù)據(jù)存儲日益成為各企業(yè)關(guān)注的專業(yè)問題,持續(xù)增長的數(shù)據(jù)存儲壓力帶動了整個存儲市場的快速發(fā)展。企業(yè)的存儲設(shè)備越來越多,對管理和維護(hù)的投入也越來越大。為了保證數(shù)據(jù)安全和業(yè)務(wù)的連續(xù)性,我們需要建立相應(yīng)的數(shù)據(jù)備份系統(tǒng)和容災(zāi)系統(tǒng)。除此之外,對存儲設(shè)備進(jìn)行定期的狀態(tài)監(jiān)控和維護(hù),軟、硬件的更新和升級也是必須的,這些都需要專業(yè)的技術(shù)人員,增加了企業(yè)數(shù)據(jù)維護(hù)、升級和管理費(fèi)用。
云計算是分布式處理(distributed computing)、并行處理(parallel computing)和網(wǎng)格計算(grid computing)的發(fā)展,是透過網(wǎng)絡(luò)將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序,再交由多臺服務(wù)器所組成的龐大系統(tǒng)經(jīng)計算、分析后,將處理結(jié)果回傳給用戶。通過云計算技術(shù),網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi),處理數(shù)以千萬計甚至億計的信息,達(dá)到和“超級計算機(jī)”同樣強(qiáng)大的網(wǎng)絡(luò)服務(wù)功能。
云計算的設(shè)計實(shí)施方向是將在不同地域和情況下各種臺式機(jī)、單一服務(wù)器及個人計算資源,通過虛擬化方式統(tǒng)一到龐大的計算資源“云”系統(tǒng)中來。云系統(tǒng)統(tǒng)一調(diào)配、協(xié)調(diào)、處理來自不同客戶的運(yùn)算需求,通過云系統(tǒng)計算后對外輸出運(yùn)算結(jié)果。從整體來看,云計算系統(tǒng)可以認(rèn)為是以數(shù)據(jù)處理、數(shù)據(jù)運(yùn)算為中心的系統(tǒng)。
云計算系統(tǒng)不但能對數(shù)據(jù)進(jìn)行處理和運(yùn)算,系統(tǒng)中還有大量的存儲陣列設(shè)備,以實(shí)現(xiàn)對計算數(shù)據(jù)的保存和管理。在云計算系統(tǒng)中配置相應(yīng)的存儲設(shè)備,該計算系統(tǒng)即擁有了云存儲系統(tǒng)功能。由此可以理解,云存儲是以數(shù)據(jù)存儲和數(shù)據(jù)管理為中心的云計算系統(tǒng)。
云存儲系統(tǒng)通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能。云存儲是云計算系統(tǒng)的延伸,可理解為是配置了大容量存儲空間的云計算系統(tǒng)。從三層模型分析,云計算和云存儲的訪問層、接口層相同,在基礎(chǔ)層方面,云存儲增加了數(shù)據(jù)管理和數(shù)據(jù)安全的部分功能。
圖1 云存儲系統(tǒng)的結(jié)構(gòu)模型
云存儲系統(tǒng)的結(jié)構(gòu)模型由4層組成,如圖1所示。
(1)存儲層
存儲層是云存儲最基礎(chǔ)的部分。存儲設(shè)備可以是FC光纖通道存儲設(shè)備、NAS和iSCSI等IP存儲設(shè)備,也可以是SCSI或SAS等DAS存儲設(shè)備。數(shù)量龐大的云存儲設(shè)備分布在不同地域,彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者FC光纖通道網(wǎng)絡(luò)連接。各存儲設(shè)備上都安裝有統(tǒng)一的存儲設(shè)備管理系統(tǒng),可以實(shí)現(xiàn)存儲設(shè)備的邏輯虛擬化管理、集中管理、多鏈路冗余管理以及硬件設(shè)備的狀態(tài)監(jiān)控和維護(hù)升級等。
(2)基礎(chǔ)管理層
基礎(chǔ)管理層是云存儲最核心的部分,也是云存儲中最難以實(shí)現(xiàn)的部分。應(yīng)用接口層通過集群系統(tǒng)、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù),實(shí)現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作,使多個的存儲設(shè)備可以對外提供同一種服務(wù),并提供更大、更強(qiáng)、更好的數(shù)據(jù)訪問性能。
云存儲系統(tǒng)通過集群文件OS實(shí)現(xiàn)后端存儲設(shè)備的集群工作,并通過系統(tǒng)的控制單元和管理單元實(shí)現(xiàn)整個系統(tǒng)的管理,數(shù)據(jù)的分發(fā)、處理,處理結(jié)果的反饋??衫肅DN內(nèi)容分發(fā)系統(tǒng)、P2P數(shù)據(jù)傳輸技術(shù)和數(shù)據(jù)壓縮技術(shù)等保證云存儲中的數(shù)據(jù)可以更有效地存儲,使用和占用更少的空間以及更低的傳輸帶寬,從而對外提供更高效的服務(wù)。
數(shù)據(jù)加密技術(shù)實(shí)現(xiàn)了數(shù)據(jù)存儲和傳輸過程中的安全性。數(shù)據(jù)備份和容災(zāi)技術(shù)可保證云存儲中的數(shù)據(jù)多份保存不會丟失,保證云存儲數(shù)據(jù)自身的安全和穩(wěn)定。
(3)應(yīng)用接口層
應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運(yùn)營單位可以根據(jù)實(shí)際業(yè)務(wù)類型,開發(fā)不同的應(yīng)用服務(wù)接口,提供不同的應(yīng)用服務(wù)。任何一個授權(quán)用戶通過網(wǎng)絡(luò)接入、用戶認(rèn)證和權(quán)限管理接口的方式來登入云存儲系統(tǒng),都可以享受云存儲服務(wù)。
(4)訪問層
云存儲運(yùn)營單位不同,提供的訪問類型和訪問手段也不同。云存儲使用者采用的應(yīng)用軟件客戶端不同,享受到的服務(wù)類型也不同,比如個人空間租賃服務(wù)、運(yùn)營商空間租賃服務(wù)、數(shù)據(jù)遠(yuǎn)程容災(zāi)和遠(yuǎn)程備份、視頻監(jiān)控應(yīng)用平臺、IPTV和視頻點(diǎn)播應(yīng)用平臺、網(wǎng)絡(luò)硬盤引用平臺,遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺等。
根據(jù)云存儲架構(gòu)的特點(diǎn),云存儲系統(tǒng)應(yīng)用拓?fù)淙鐖D2所示。
云存儲系統(tǒng)的核心由云存儲控制服務(wù)器和后端存儲設(shè)備兩大部分組成。
(1)云存儲控制節(jié)點(diǎn)
云存儲控制器負(fù)責(zé)整個系統(tǒng)元數(shù)據(jù)和實(shí)際數(shù)據(jù)的管理和索引,提供超大容量管理,實(shí)現(xiàn)后端存儲設(shè)備的高性能并發(fā)訪問和數(shù)據(jù)冗余等功能。云存儲控制服務(wù)器是整個系統(tǒng)的統(tǒng)一管理平臺,管理員可以在其中監(jiān)視系統(tǒng)運(yùn)行情況、管理系統(tǒng)中用戶和各項(xiàng)策略等。
(2)存儲節(jié)點(diǎn)
云存儲系統(tǒng)采用高性能應(yīng)用存儲設(shè)備,可內(nèi)嵌云存儲系統(tǒng)訪問協(xié)議包、存儲節(jié)點(diǎn)認(rèn)證許可等。設(shè)備采用高密度磁盤陣列設(shè)備,每套設(shè)備通過網(wǎng)絡(luò)接入到云存儲系統(tǒng)中,進(jìn)入云存儲存儲池后進(jìn)行分配。對數(shù)據(jù)存儲可實(shí)現(xiàn)多副本、多物理設(shè)備分別保存,當(dāng)容量或帶寬需要擴(kuò)展時,通過增加存儲節(jié)點(diǎn)來實(shí)現(xiàn),根據(jù)實(shí)際需要靈活擴(kuò)張,在系統(tǒng)運(yùn)行中進(jìn)行在線的容量和性能增加。
IDC研究表明,從2006年到2010年,全球信息總量增長了6倍以上,隨著技術(shù)的發(fā)展,現(xiàn)有傳統(tǒng)磁盤陣列中已經(jīng)普遍采用了750 GB或1 TB的SATA硬盤。但在面對PB級的海量存儲需求時,傳統(tǒng)的SAN或NAS在容量和性能的擴(kuò)展上存在瓶頸,已經(jīng)不能滿足新形勢下對數(shù)據(jù)保存高性能、高容量、易擴(kuò)展的需求。云計算的服務(wù)模式也帶來云存儲的蓬勃發(fā)展,對于低成本,但需大容量、高帶寬需求下的應(yīng)用,云存儲系統(tǒng)不僅輕松突破了SAN的性能瓶頸,而且可以實(shí)現(xiàn)性能與容量的線性擴(kuò)展。相比于傳統(tǒng)的集中存儲方式,高效集群的云存儲系統(tǒng)具有以下幾點(diǎn)優(yōu)勢。
(1)更容易擴(kuò)容(包括帶寬)
當(dāng)客戶需要增加容量時,可按照需求采購(容量或是帶寬)服務(wù)器,簡單增加即可實(shí)現(xiàn)容量或者帶寬的擴(kuò)展。如,當(dāng)需要擴(kuò)展容量時,采購大容量的存儲設(shè)備即可;當(dāng)需要擴(kuò)展帶寬時,采購計算能力較強(qiáng)的服務(wù)器設(shè)備即可。擴(kuò)容過程將變得簡單:新設(shè)備僅需安裝操作系統(tǒng)及云存儲軟件后,打開電源接上網(wǎng)絡(luò),云存儲系統(tǒng)便能自動識別,自動把容量加入存儲池中完成擴(kuò)展。相比傳統(tǒng)的存儲擴(kuò)容,云存儲架構(gòu)采用的是并行擴(kuò)容方式,即當(dāng)容量不夠時,采購新的存儲服務(wù)器即可,擴(kuò)容環(huán)節(jié)無任何限制。
(2)更易于管理
在以往的存儲系統(tǒng)管理中,管理人員需要面對不同的存儲設(shè)備,不同廠商的設(shè)備均有不同的管理界面,使得管理人員要了解每個存儲的使用狀況(容量、負(fù)載等)的工作復(fù)雜而繁重。而且,傳統(tǒng)的存儲在硬盤或是存儲服務(wù)器損壞時,讀寫效能會降低很多,而且數(shù)據(jù)很可能丟失,而云存儲沒有這個困擾,硬盤壞掉,數(shù)據(jù)會自動遷移到別的硬盤,不需要立即更換硬盤,大大減輕了管理人員的工作負(fù)擔(dān)。
對云存儲來說,再多的存儲服務(wù)器,在管理人員眼中也只是一臺存儲器,管理人員只要在整體硬盤容量快用完時,采購服務(wù)器即可,每臺存儲服務(wù)器的使用狀況,通過一個統(tǒng)一管理界面監(jiān)控,使得維護(hù)變得簡單和易操作。
(3)成本更低廉
云存儲系統(tǒng)中所采用的存儲及服務(wù)器設(shè)備均是性價比較高的設(shè)備??蓪?shí)現(xiàn)長久合作關(guān)系下,設(shè)備商采購的穩(wěn)定渠道,便于實(shí)現(xiàn)對成本及服務(wù)質(zhì)量的控制。
傳統(tǒng)的存儲系統(tǒng)對硬盤的一致性要求近乎苛刻,必須同廠牌、同容量、同型號,否則系統(tǒng)很容易出問題。面對升級換代較快的IT產(chǎn)業(yè),硬盤在使用2~3年后很難找到同型號產(chǎn)品更換。使用云存儲沒有這個問題,云存儲系統(tǒng)對存儲設(shè)備、服務(wù)器設(shè)備、硬盤等產(chǎn)品的一致性沒有要求,不同介質(zhì)、容量、廠牌、型號的硬盤,都可以一起工作,既可以實(shí)現(xiàn)原有硬件的利舊保護(hù)投入,又可以實(shí)現(xiàn)新技術(shù)、新設(shè)備的快速更新,合理搭配、優(yōu)化選擇、可持續(xù)發(fā)展。
(4)數(shù)據(jù)更安全,服務(wù)不中斷
傳統(tǒng)存儲系統(tǒng)會因?yàn)橛布p壞而導(dǎo)致服務(wù)停止,如硬盤、主板、電源、網(wǎng)卡等,雖然對此可以設(shè)計全冗余的環(huán)境(電源、網(wǎng)絡(luò)、盤陣等),但成本相對太高且工作繁雜。
云存儲系統(tǒng)則不同,它可透過將文件和數(shù)據(jù)保存在不同的存儲節(jié)點(diǎn),避免了單一硬件損壞帶來的數(shù)據(jù)不可用。云存儲系統(tǒng)知道文件存放的位置,在硬件發(fā)生損壞時,云存儲系統(tǒng)會自動將讀寫指令導(dǎo)向存放在另一臺存儲服務(wù)器上的文件,保持服務(wù)的繼續(xù)。
傳統(tǒng)存儲系統(tǒng)在升級時,往往需要把舊的存儲設(shè)備文件備份出來后,停機(jī)換上新的存儲設(shè)備,這通常會導(dǎo)致服務(wù)的短暫停止。
云存儲并不單獨(dú)依賴一臺存儲服務(wù)器,因此存儲服務(wù)器硬件的更新、升級并不會影響存儲服務(wù)的提供,系統(tǒng)會將舊存儲服務(wù)器上的文件遷移到別的存儲服務(wù)器,等新的存儲服務(wù)器上線后,文件會再遷移回來。
云存儲已經(jīng)成為未來存儲發(fā)展的一種趨勢。隨著云存儲技術(shù)的發(fā)展,各家廠商正積極將各類搜索、應(yīng)用技術(shù)和云存儲相結(jié)合,以便能夠向企業(yè)提供一系列的數(shù)據(jù)服務(wù)。但從未來云存儲的發(fā)展趨勢來看,云存儲系統(tǒng)主要還需從安全性、便攜性及數(shù)據(jù)訪問等角度進(jìn)行改進(jìn)。
(1)安全性
從云計算誕生,安全性一直是企業(yè)實(shí)施云計算首要考慮的問題之一。同樣在云存儲方面,安全仍是首要考慮的問題,對于想要進(jìn)行云存儲的客戶來說,安全性通常是首要的商業(yè)考慮和技術(shù)考慮。但是許多用戶對云存儲的安全要求甚至高于它們自己的架構(gòu)所能提供的安全水平。既便如此,面對如此高的不現(xiàn)實(shí)的安全要求,許多大型、可信賴的云存儲廠商也在努力滿足它們的要求,構(gòu)建比多數(shù)企業(yè)數(shù)據(jù)中心安全得多的數(shù)據(jù)中心?,F(xiàn)在用戶可以發(fā)現(xiàn),云存儲具有更少的安全漏洞和更高的安全環(huán)節(jié),云存儲所能提供的安全性水平要比用戶自己的數(shù)據(jù)中心所能提供的安全水平還要高。
(2)便攜性
一些用戶在托管存儲的時候還要考慮數(shù)據(jù)的便攜性。一般情況下這是有保證的,一些大型服務(wù)提供商所提供的解決方案承諾其數(shù)據(jù)便攜性可媲美最好的傳統(tǒng)本地存儲。有的云存儲結(jié)合了強(qiáng)大的便攜功能,可以將整個數(shù)據(jù)集傳送到你所選擇的任何媒介,甚至是專門的存儲設(shè)備。
(3)性能和可用性
過去的一些托管存儲和遠(yuǎn)程存儲總是存在著延遲時間過長的問題。同樣地,互聯(lián)網(wǎng)本身的特性就嚴(yán)重威脅服務(wù)的可用性。最新一代云存儲有突破性的成就,體現(xiàn)在客戶端或本地設(shè)備高速緩存上,將經(jīng)常使用的數(shù)據(jù)保持在本地,從而有效地緩解互聯(lián)網(wǎng)延遲問題。通過本地高速緩存,即使面臨最嚴(yán)重的網(wǎng)絡(luò)中斷,這些設(shè)備也可以緩解延遲性問題。這些設(shè)備還可以讓經(jīng)常使用的數(shù)據(jù)像本地存儲那樣快速反應(yīng)。通過一個本地NAS網(wǎng)關(guān),云存儲甚至可以模仿終端NAS設(shè)備的可用性、性能和可視性,同時將數(shù)據(jù)予以遠(yuǎn)程保護(hù)。隨著云存儲技術(shù)的不斷發(fā)展,各廠商仍將繼續(xù)努力實(shí)現(xiàn)容量優(yōu)化和WAN(廣域網(wǎng))優(yōu)化,從而盡量減少數(shù)據(jù)傳輸?shù)难舆t性。
(4)數(shù)據(jù)訪問
現(xiàn)有對云存儲技術(shù)的疑慮還在于,如果執(zhí)行大規(guī)模數(shù)據(jù)請求或數(shù)據(jù)恢復(fù)操作,那么云存儲是否可提供足夠的訪問性。在未來的技術(shù)條件下,此點(diǎn)大可不必?fù)?dān)心,現(xiàn)有的廠商可以將大量數(shù)據(jù)傳輸?shù)饺魏晤愋偷拿浇椋蓪?shù)據(jù)直接傳送給企業(yè),且其速度之快相當(dāng)于復(fù)制、粘貼操作。另外,云存儲廠商還可以提供一套組件,在完全本地化的系統(tǒng)上模仿云地址,讓本地NAS網(wǎng)關(guān)設(shè)備繼續(xù)正常運(yùn)行而無需重新設(shè)置。未來,如果大型廠商構(gòu)建了更多的地區(qū)性設(shè)施,那么數(shù)據(jù)傳輸將更加迅捷。如此一來,即便是客戶本地數(shù)據(jù)發(fā)生了災(zāi)難性的損失,云存儲廠商也可以將數(shù)據(jù)重新快速傳輸給客戶數(shù)據(jù)中心。