集群存儲(chǔ)雖然是近些年來(lái)才發(fā)展起來(lái)的新的存儲(chǔ)架構(gòu),但在這一領(lǐng)域中集中了不少大型存儲(chǔ)廠商和一些雖不那么著名但卻獨(dú)具特色的廠商。因此,集群存儲(chǔ)產(chǎn)品目前盡管還沒(méi)有統(tǒng)一的標(biāo)準(zhǔn),但各家產(chǎn)品精彩紛呈,實(shí)現(xiàn)方式和技術(shù)特點(diǎn)各有高招,應(yīng)用領(lǐng)域也非常廣泛。
BlueArc集群存儲(chǔ)
BlueArc集群存儲(chǔ)既可以支持NAS,也可以支持SAN。它由BlueArc存儲(chǔ)節(jié)點(diǎn)、SiliconFS文件系統(tǒng)、開(kāi)放協(xié)議和存儲(chǔ)子系統(tǒng)四部分組成。存儲(chǔ)節(jié)點(diǎn)分成兩個(gè)平臺(tái),即高端的Titan和中端的Mercury。其中,Titan有3100、3200兩個(gè)系列,Mercury有50、100兩個(gè)系列。
SiliconFS文件系統(tǒng)不同于用服務(wù)器和定制操作系統(tǒng)實(shí)現(xiàn)的文件系統(tǒng),它基于專門的硬件芯片F(xiàn)PGA。FPGA能在不同的時(shí)鐘周期內(nèi)同時(shí)處理文件系統(tǒng)的不同開(kāi)銷,提高了協(xié)議處理速度。而那些用服務(wù)器和定制操作系統(tǒng)的CPU要在同一個(gè)時(shí)鐘周期內(nèi)處理所有文件系統(tǒng)的開(kāi)銷和所有管理開(kāi)銷,容易造成對(duì)系統(tǒng)資源的相互爭(zhēng)奪。
BlueArc存儲(chǔ)節(jié)點(diǎn)支持開(kāi)放存儲(chǔ)協(xié)議NFS、CIFS和iSCSI,后端采用硬件RAID 0、1、1+0、5、6的FC SAN存儲(chǔ)子系統(tǒng),且支持從SSD到FC以及SATA的混合環(huán)境。
BlueArc采用了虛擬框架,包括:(1)虛擬文件系統(tǒng),無(wú)論是單個(gè)存儲(chǔ)節(jié)點(diǎn)還是集群節(jié)點(diǎn),多個(gè)文件系統(tǒng)將只呈現(xiàn)一個(gè)根的全局命名空間,將整個(gè)目錄結(jié)構(gòu)以統(tǒng)一的視圖顯示,即使物理結(jié)構(gòu)發(fā)生變化,目錄結(jié)構(gòu)始終保持一致;(2)虛擬存儲(chǔ)服務(wù)器,每一個(gè)存儲(chǔ)節(jié)點(diǎn)可以化分成多個(gè)虛擬服務(wù)器,每個(gè)虛擬服務(wù)器可有不同的IP地址、不同的安全策略和端口分配,可以提供針對(duì)不同I/O流量的負(fù)載均衡、高可用性和安全性;(3)虛擬存儲(chǔ)池,它簡(jiǎn)化了存儲(chǔ)供給,共享的虛擬存儲(chǔ)池可建立多個(gè)文件系統(tǒng),每個(gè)文件系統(tǒng)可以建立多個(gè)虛擬卷;可以為文件系統(tǒng)動(dòng)態(tài)分配空間,也可以基于限額或策略動(dòng)態(tài)擴(kuò)展或收縮虛擬卷,做到虛擬卷的“瘦供給”;(4)虛擬的分層存儲(chǔ),能夠優(yōu)化存儲(chǔ)性能以及磁盤利用率,根據(jù)用戶事先定義的遷移策略,支持在不同性能的存儲(chǔ)子系統(tǒng)間透明地分層存儲(chǔ)。還提供能夠提高聚合讀數(shù)據(jù)吞吐率的動(dòng)態(tài)讀緩存功能,它采用智能策略,自動(dòng)和透明地管理緩存數(shù)據(jù),使用戶可以更快地訪問(wèn)到最需要經(jīng)常訪問(wèn)的數(shù)據(jù),滿足更多的應(yīng)用和用戶訪問(wèn)。
應(yīng)用案例
詹姆斯#8226;卡梅隆的史詩(shī)巨作《阿凡達(dá)》其精彩絕倫的3D效果正是影片成功的重要因素。在超凡視覺(jué)效果背后的海量數(shù)據(jù)存儲(chǔ)平臺(tái)有BlueArc的高性能NAS存儲(chǔ)平臺(tái)?!栋⒎策_(dá)》的特效提供商Weta Digital為了保持同步,采用了12個(gè)Titan服務(wù)器集群系統(tǒng)來(lái)存儲(chǔ)并管理超過(guò)500TB的數(shù)據(jù),以確保同時(shí)向數(shù)千個(gè)為《阿凡達(dá)》制作特效的渲染節(jié)點(diǎn)提供數(shù)據(jù)以及另外700TB的近線存儲(chǔ)。在制作的高峰期,該NAS系統(tǒng)要服務(wù)于渲染庫(kù)上的超過(guò)3.4萬(wàn)個(gè)內(nèi)核,全天候以每秒8GB的持續(xù)負(fù)載量處理1.6萬(wàn)個(gè)并發(fā)讀寫(xiě)流程。
HDS全新NAS平臺(tái)
日立數(shù)據(jù)系統(tǒng)(HDS)公司去年9月推出了全新Hitachi NAS 3080和3090,提供了當(dāng)前中端存儲(chǔ)中最為完整的本地智能文件分層功能,包含多種旨在提高生產(chǎn)力并簡(jiǎn)化存儲(chǔ)管理的特性。相比其他同類競(jìng)爭(zhēng)產(chǎn)品,客戶通過(guò)新的Hitachi NAS平臺(tái)可節(jié)約高達(dá)30%的總體擁有成本(TCO)。
Hitachi NAS 3080和3090分別提供1PB和2PB的容量,以及每節(jié)點(diǎn)100K的IOPS處理量,并支持256TB的文件系統(tǒng),可提供本地智能分層功能并與日立數(shù)據(jù)發(fā)現(xiàn)套件緊密集成,使客戶能夠根據(jù)預(yù)設(shè)的策略,在FC、SAS、SATA和歸檔層中自動(dòng)遷移數(shù)據(jù),并在存儲(chǔ)倉(cāng)庫(kù)中搜索內(nèi)容,以及利用搜索結(jié)果來(lái)啟動(dòng)數(shù)據(jù)遷移。Hitachi NAS平臺(tái)為客戶提供了靈活的基礎(chǔ),能夠以較低的成本實(shí)現(xiàn)更多運(yùn)營(yíng)優(yōu)勢(shì)。
此外,由于Hitachi NAS平臺(tái)與日立SAN技術(shù)之間的一般管理只需通過(guò)單一接口就能實(shí)現(xiàn),而無(wú)需像競(jìng)爭(zhēng)對(duì)手解決方案那樣需要額外的管理層。因此,該解決方案非常適合具有混合存儲(chǔ)環(huán)境的中端客戶。
NAS 3080和3090以中端的價(jià)格提供高端產(chǎn)品才具有的性能和擴(kuò)展性,可實(shí)現(xiàn)“按需購(gòu)買,漸進(jìn)擴(kuò)展”的靈活性和存儲(chǔ)資源的簡(jiǎn)化管理。
應(yīng)用案例
中國(guó)科學(xué)院遙感衛(wèi)星接收站需要建立大型文件影像存儲(chǔ)系統(tǒng),大數(shù)據(jù)量的衛(wèi)星影像等文件需要并行處理和訪問(wèn),文件的存放空間也需要在線擴(kuò)展,目前處理容量為40TB以上,未來(lái)要擴(kuò)展為PB級(jí)。采用了HDS高性能的HNAS 3100 NAS文件共享節(jié)點(diǎn),同時(shí)使用1臺(tái)AMS2300的全光纖磁盤陣列作為數(shù)據(jù)存儲(chǔ)系統(tǒng),為用戶提供了高性能、高可靠性、高可用性的解決方案。
HP StorageWorks P4000G2
HP StorageWorks P4000G2最大的特點(diǎn)是可橫向擴(kuò)充,且其性能與容量同步擴(kuò)充。P4000G2 SAN集群同時(shí)還是基于iSCSI協(xié)議的SAN應(yīng)用系統(tǒng),包括外部存儲(chǔ)(VMware和Hyper-V)、多站點(diǎn)SAN和SmartClones。P4000G2的另一大特點(diǎn)是具有網(wǎng)絡(luò)RAID功能。傳統(tǒng)的RAID功能,僅僅是存儲(chǔ)設(shè)備內(nèi)的硬盤之間做RAID,而網(wǎng)絡(luò)RAID則將RAID提升到了一個(gè)新的高度,實(shí)現(xiàn)了存儲(chǔ)設(shè)備之間的RAID 5和RAID 6。做一個(gè)不太恰當(dāng)?shù)谋扔?,傳統(tǒng)的雙機(jī)互為鏡像類似于網(wǎng)絡(luò)存儲(chǔ)RAID 0級(jí)別,網(wǎng)絡(luò)RAID 5和RAID 6則可以在保證站點(diǎn)之間數(shù)據(jù)可靠性的同時(shí),提升存儲(chǔ)的利用率。例如,A站點(diǎn)的存儲(chǔ)設(shè)備損壞,通過(guò)網(wǎng)絡(luò)RAID功能,用戶仍舊可以無(wú)縫地訪問(wèn)到B站點(diǎn)的數(shù)據(jù)。P4000G2的第三個(gè)特點(diǎn)是融合,借助ProLiant/刀片服務(wù)器的通用存儲(chǔ)平臺(tái),虛擬機(jī)可利用原有的磁盤容量。
HP StorageWorks P4000G2 SAN解決方案專為數(shù)據(jù)庫(kù)、電子郵件應(yīng)用和虛擬服務(wù)器而優(yōu)化。它不僅支持按增長(zhǎng)付費(fèi),而且還提供了直觀的存儲(chǔ)管理軟件和包括所有組件在內(nèi)的定價(jià)模式(包括3年支持),是預(yù)算有限的企業(yè)的理想之選。
應(yīng)用案例
Los Angeles Valley College學(xué)院的IT經(jīng)理Yefrem Kozin對(duì)HP P4000 SAN解決方案給出了極高的評(píng)價(jià),通過(guò)在2個(gè)校園數(shù)據(jù)中心中部署萬(wàn)兆的HP P4000 SAN的解決方案以及HP的刀片系統(tǒng)和VMware虛擬化軟件,為該校提供了高性能的存儲(chǔ)應(yīng)用,滿足了當(dāng)前以至未來(lái)的需求。同時(shí),其方便的管理特性降低了80%的維護(hù)成本,高可靠性避免了數(shù)據(jù)丟失和業(yè)務(wù)中斷。該方案可根據(jù)用戶業(yè)務(wù)需求在線增加性能,通過(guò)同步與異步數(shù)據(jù)復(fù)制實(shí)現(xiàn)數(shù)據(jù)容災(zāi)保護(hù); 通過(guò)精簡(jiǎn)配置功能實(shí)現(xiàn)數(shù)據(jù)的復(fù)制和快照,無(wú)需預(yù)留空間,增加了空間利用率; 通過(guò)網(wǎng)絡(luò)RAID功能提升了整體系統(tǒng)的可靠性。
華為賽門鐵克Oceanspace N8000
華為賽門鐵克公司Oceanspace N8000大規(guī)模集群NAS存儲(chǔ)系列通過(guò)可擴(kuò)展的集群架構(gòu),可滿足企業(yè)存儲(chǔ)容量及存儲(chǔ)性能的擴(kuò)展需求。N8000可擴(kuò)展集群NAS存儲(chǔ)系統(tǒng)對(duì)外提供NFS、CIFS、FTP等文件共享協(xié)議,由集群NAS引擎、虛擬存儲(chǔ)池兩部分構(gòu)成,并都具有動(dòng)態(tài)擴(kuò)展能力。當(dāng)用戶業(yè)務(wù)對(duì)I/O帶寬需求提高時(shí),用戶可動(dòng)態(tài)添加NAS引擎及存儲(chǔ)單元,以獲得更高的聚合帶寬和更大的存儲(chǔ)容量。N8000具備以下特點(diǎn):高可靠性,N8000通過(guò)集成的高級(jí)集群功能,采用Active-Active多存儲(chǔ)控制器設(shè)計(jì)架構(gòu),并采用全冗余設(shè)計(jì),無(wú)單點(diǎn)故障; 高擴(kuò)展性,充分利用業(yè)界領(lǐng)先的最多達(dá)16個(gè)控制引擎的可擴(kuò)展性,在單個(gè)平臺(tái)上整合更多的文件服務(wù)器和應(yīng)用程序存儲(chǔ),同時(shí)提高用戶服務(wù)級(jí)別,其性能隨著存儲(chǔ)控制引擎的擴(kuò)展可近線性擴(kuò)展,存儲(chǔ)容量可增長(zhǎng)到超過(guò)15PB; 高性能,N8000滿足Linux和Unix計(jì)算集群的極高性能要求,隨著NAS引擎節(jié)點(diǎn)的增加,性能呈線性增長(zhǎng),吞吐量很容易增加到每秒GB級(jí),可適用于具有成千上萬(wàn)個(gè)節(jié)點(diǎn)和極高NFS性能要求的計(jì)算集群; 多樣的增值功能特性,N8000提供基于文件訪問(wèn)頻率在存儲(chǔ)層之間遷移數(shù)據(jù)的強(qiáng)大功能,對(duì)應(yīng)用程序透明,以降低企業(yè)投資成本; 管理簡(jiǎn)單性和透明適應(yīng)性,N8000存儲(chǔ)系統(tǒng)易于安裝、管理和維護(hù)。
應(yīng)用案例
擁有注冊(cè)會(huì)員1.45億的淘寶網(wǎng)年交易額近千億元,是亞洲最大的網(wǎng)絡(luò)零售商圈。為了管理每天蜂擁而至的圖片、文本和客戶數(shù)據(jù),淘寶網(wǎng)的每個(gè)部門都創(chuàng)建了自己的存儲(chǔ)和備份系統(tǒng),但容量總是不夠用,需要整合數(shù)據(jù)中心,并制定一個(gè)統(tǒng)一的備份計(jì)劃,因?yàn)?分鐘的中斷就可能損失3.6萬(wàn)美元。華為賽門鐵克公司為淘寶網(wǎng)設(shè)計(jì)了一套數(shù)據(jù)存儲(chǔ)系統(tǒng),以滿足該公司繼續(xù)發(fā)展壯大的數(shù)據(jù)存儲(chǔ)需求。他們部署了一套1.5PB容量的Oceanspace N8000集群NAS存儲(chǔ)系統(tǒng),能夠?qū)浞莺突謴?fù)、動(dòng)態(tài)存儲(chǔ)分層和數(shù)據(jù)快照進(jìn)行整合管理。同時(shí),在N8000中,部署了5個(gè)Veritas NetBackup高效備份客戶端軟件,進(jìn)行并發(fā)的數(shù)據(jù)備份,大幅度縮短了備份窗口,使備份效率提高了4倍。
IBM XIV存儲(chǔ)系統(tǒng)
IBM XIV存儲(chǔ)系統(tǒng)是一款創(chuàng)新的高端開(kāi)放式磁盤系統(tǒng),采用大規(guī)模并行架構(gòu),系統(tǒng)組件(包括磁盤、CPU和交換機(jī))有較高的優(yōu)化利用率,并有獨(dú)特的緩存架構(gòu),這些使XIV具有超強(qiáng)的性能。XIV系統(tǒng)采用SATA磁盤驅(qū)動(dòng)器,利用SATA的最新技術(shù),提供超大容量、高密度與低能耗。它利用XIV獨(dú)特的架構(gòu)與緩存方案提供甚至比基于磁盤的FC系統(tǒng)更優(yōu)越的高性能。獨(dú)特的系統(tǒng)組件內(nèi)數(shù)據(jù)平衡可避免熱點(diǎn)的產(chǎn)生。所有組件均以相同的負(fù)載量運(yùn)行,實(shí)現(xiàn)非凡的性能與可靠性。
可擴(kuò)展性是XIV最大的亮點(diǎn)。XIV技術(shù)旨在所有關(guān)鍵方面都具有可擴(kuò)展性,包括存儲(chǔ)、界面、緩存、CPU功率與內(nèi)部帶寬。該架構(gòu)支持各方面的獨(dú)立增長(zhǎng),是在容量和性能兩方面同時(shí)可擴(kuò)展的系統(tǒng)。在可靠性方面,XIV平臺(tái)提供無(wú)與倫比的數(shù)據(jù)保護(hù)與可用性。所有磁盤驅(qū)動(dòng)器、模塊、交換機(jī)與UPS裝置均采用N+1主動(dòng)/主動(dòng)方式完全冗余,從而確保提供卓越的性能與高度可靠性。同時(shí),XIV以創(chuàng)新的重建程序提供對(duì)磁盤故障的保護(hù),幾分鐘內(nèi)就能將系統(tǒng)還原至完全冗余。XIV有豐富的快照功能,其獨(dú)特的快照技術(shù)克服了已知的傳統(tǒng)缺點(diǎn),提供幾乎無(wú)數(shù)的差異快照,且無(wú)論創(chuàng)建多少快照都不會(huì)對(duì)性能有任何明顯的影響。
應(yīng)用案例
IBM XIV在2008年全球有超過(guò)300套系統(tǒng)進(jìn)行安裝。以色列最大的銀行之一Leumi安裝了7套XIV系統(tǒng),使性能提升至原來(lái)的3倍,并實(shí)現(xiàn)28次快照。
NetApp Data ONTAP GX系統(tǒng)
NetApp Data ONTAP GX系統(tǒng)為高性能NFS環(huán)境提供了很高的I/O吞吐量和可擴(kuò)展性。該系統(tǒng)經(jīng)過(guò)優(yōu)化,滿足大型Linux和Unix集群上運(yùn)行的高性能計(jì)算(HPC)應(yīng)用程序的極高要求,同時(shí)提供無(wú)與倫比的管理簡(jiǎn)單性。通過(guò)將多節(jié)點(diǎn)擴(kuò)展、全球命名空間和集群文件系統(tǒng)與創(chuàng)新的NetApp FlexVol、Snapshot、鏡像和RAID-DP技術(shù)相結(jié)合,為用戶提供最高級(jí)別的性能、易管理性和可靠性。
Data ONTAP GX系統(tǒng)以Data ONTAP GX操作系統(tǒng)和兩個(gè)或更多FAS3050或FAS6070系統(tǒng)基本組件為基礎(chǔ)。每個(gè)FAS基本組件包括一對(duì)為實(shí)現(xiàn)高可用性而配置的控制器(節(jié)點(diǎn))。該系統(tǒng)可以由2~24個(gè)節(jié)點(diǎn)組成,吞吐量可達(dá)每秒GB級(jí),容量可達(dá)6PB。隨著系統(tǒng)中節(jié)點(diǎn)的增加,性能呈線性提高。通過(guò)FlexVol高性能選件(HPO)提供的集群文件系統(tǒng)技術(shù)即使對(duì)于單一文件或卷也可以實(shí)現(xiàn)極高級(jí)別的吞吐量。
應(yīng)用案例
北京渲染平臺(tái)是北京市科委投資建設(shè)的北京地區(qū)文化創(chuàng)意產(chǎn)業(yè)公共技術(shù)支撐平臺(tái),擁有高達(dá)2000個(gè)處理單元的渲染集群和超過(guò)200TB的高速存儲(chǔ),浮點(diǎn)計(jì)算速度(峰值)達(dá)每秒27萬(wàn)億次。為保證快速、高效地完成渲染工作,北京渲染平臺(tái)采用了NetApp FAS3070A存儲(chǔ)解決方案,并在其二期擴(kuò)容項(xiàng)目中部署了由4臺(tái)FAS3070A組成的基于NetApp統(tǒng)一存儲(chǔ)架構(gòu)的GX集群,存儲(chǔ)容量達(dá)到200TB,可支撐前臺(tái)272臺(tái)渲染服務(wù)器,使其為多應(yīng)用、多平臺(tái)環(huán)境提供了大容量集中存儲(chǔ)系統(tǒng),一舉解決了在業(yè)務(wù)增加、平臺(tái)環(huán)境多樣化、數(shù)據(jù)量大幅增長(zhǎng)情況下的數(shù)據(jù)存儲(chǔ)和管理難題。
Isilon Scale-out NAS解決方案
Isilon的端對(duì)端scale-out NAS解決方案由OneFS操作系統(tǒng)提供動(dòng)力。Isilon第五代OneFS操作系統(tǒng)在所有的Isilon IQ橫向擴(kuò)容NAS解決方案后端提供智能管理。通過(guò)OneFS、最新工藝以及企業(yè)級(jí)標(biāo)準(zhǔn)硬件的融合,Isilon便可提供高可擴(kuò)展性、超高性能的模塊化橫向擴(kuò)容NAS系統(tǒng)。
Isilon硬件平臺(tái)包括三個(gè)系列:IQ S、IQ X和IQ NL系列。IQ S系列針對(duì)超高性能主存儲(chǔ)器,專用于高交易率以及IOPS密集型應(yīng)用程序。S系列的文件系統(tǒng)元數(shù)據(jù)采用SSD技術(shù),可以為元數(shù)據(jù)密集型操作提供額外的性能收益,同時(shí)改善總延遲。存儲(chǔ)能力為16.2TB至778TB。
IQ X系列是Isilon最靈活而全面的產(chǎn)品系列,它致力于在大容量和高性能存儲(chǔ)器間實(shí)現(xiàn)恰當(dāng)?shù)钠胶?,是針?duì)高吞吐及高并發(fā)應(yīng)用程序的最佳整體解決方案。存儲(chǔ)能力為5.76TB至10.4PB。
IQ NL系列旨在提供高性價(jià)比、高度可擴(kuò)展性近線存儲(chǔ)。高密度、在所有可用的橫向擴(kuò)容NAS解決方案中,它可提供最佳的每TB成本以及最低的整體TCO。存儲(chǔ)能力為252TB至10.4PB。
應(yīng)用案例
華大基因研究院是人類基因組計(jì)劃中國(guó)任務(wù)的惟一承擔(dān)單位,作為國(guó)內(nèi)最大的專業(yè)生物信息學(xué)計(jì)算中心,華大基因?qū)Ω咝阅苡?jì)算集群(HPCC)的綜合性能要求非??量?,尤其是其中關(guān)鍵組件的高性能并行存儲(chǔ)設(shè)備。Isilon的解決方案贏得了華大基因的青睞,成為該研究中心新一代超級(jí)計(jì)算平臺(tái)的核心存儲(chǔ)設(shè)施。Isilon解決方案采用30個(gè)節(jié)點(diǎn)高密度部署,提供超過(guò)1.4PB的NAS邏輯存儲(chǔ)容量。存儲(chǔ)集群分別使用80個(gè)千兆以上級(jí)別網(wǎng)絡(luò)模塊,與超過(guò)750個(gè)計(jì)算服務(wù)器節(jié)點(diǎn)互聯(lián),能夠提供高達(dá)100Gbps的IO吞吐帶寬。安裝部署十分方便,運(yùn)維工作也很簡(jiǎn)單輕松。