張 媛
(長(zhǎng)安大學(xué)圖書(shū)館,陜西 西安 710064)
數(shù)字圖書(shū)館是一種館藏以數(shù)字化格式存儲(chǔ)可以利用電腦訪問(wèn)的圖書(shū)館,與傳統(tǒng)圖書(shū)館相比,最大的不同之一在于存儲(chǔ)方式。傳統(tǒng)圖書(shū)館存儲(chǔ)的是紙質(zhì)資源,這一模式使它的規(guī)模必將受物理空間的束縛。數(shù)字圖書(shū)館存儲(chǔ)的是電子版化的紙質(zhì)資源,更便于讀者檢索瀏覽,所以越來(lái)越受到讀者的喜愛(ài)。
隨著電子圖書(shū)、期刊、論文、多媒體等各類(lèi)資源的不斷豐富及海量增長(zhǎng),數(shù)字圖書(shū)館的存儲(chǔ)規(guī)模也在不斷擴(kuò)大,如何更有效地管理這些資源,值得深入探討。
數(shù)字圖書(shū)館初期建設(shè)工作僅停留在對(duì)館藏資源的數(shù)字化加工及全文檢索等方面,數(shù)據(jù)容量并不是很大,一般的服務(wù)器容量就可以滿足需求,并不需要使用大容量的存儲(chǔ)設(shè)備。隨著讀者對(duì)信息資源需求的增長(zhǎng),購(gòu)買(mǎi)現(xiàn)成的數(shù)字資源成為必然趨勢(shì),靠單臺(tái)服務(wù)器來(lái)存儲(chǔ)顯然無(wú)法勝任,DAS就這樣率先登上了圖書(shū)館的歷史舞臺(tái)。
DAS(Direct Attached Storage)即直接外掛存儲(chǔ),是最先被采用的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)。在圖1中,I/O請(qǐng)求直接從服務(wù)器發(fā)送到存儲(chǔ)設(shè)備,存儲(chǔ)設(shè)備通過(guò)SCSI電纜或FC光纖直接和服務(wù)器相連。這種直連方式,解決了單臺(tái)服務(wù)器的存儲(chǔ)空間擴(kuò)展、高性能傳輸需求的問(wèn)題,并且單臺(tái)外置存儲(chǔ)系統(tǒng)的容量已經(jīng)從不到1TB發(fā)展到了2TB,隨著大容量硬盤(pán)的推出,單臺(tái)外置存儲(chǔ)系統(tǒng)容量還會(huì)上升。由于早期的網(wǎng)絡(luò)比較簡(jiǎn)單,而DAS的初始費(fèi)用也比較低,所以直連式存儲(chǔ)很快得到了發(fā)展。
圖1 DAS系統(tǒng)架構(gòu)
目前DAS架構(gòu)在圖書(shū)館中的應(yīng)用不是很多,一般用于數(shù)據(jù)量不是很大的應(yīng)用中,從趨勢(shì)上看,DAS仍然會(huì)作為一種存儲(chǔ)模式,繼續(xù)得到應(yīng)用。
隨著網(wǎng)絡(luò)及學(xué)科建設(shè)的發(fā)展,各圖書(shū)館的數(shù)字應(yīng)用不斷增多,這種單服務(wù)器單存儲(chǔ)的DAS架構(gòu)已不能滿足多服務(wù)器設(shè)備共享的需求,而且剩余容量的再分配困難、可擴(kuò)展性差、連接距離有限及無(wú)法集中管理存儲(chǔ)等弊端進(jìn)一步凸顯,于是相繼出現(xiàn)了NAS和SAN等其他存儲(chǔ)技術(shù)。
NAS(Network Attached Storage)即網(wǎng)絡(luò)連接存儲(chǔ),主要用于網(wǎng)絡(luò)文件共享。在圖2中,存儲(chǔ)部件通過(guò)RAID控制器做好RAID組并根據(jù)需求分配大小不同的邏輯卷,簡(jiǎn)單地配置IP地址后,局域網(wǎng)中的用戶即可通過(guò)TCP/IP協(xié)議與存儲(chǔ)部件建立連接并通過(guò)文件存取協(xié)議如NFS、CIFS等共享存取邏輯卷中的數(shù)據(jù)。這種連接方式支持各種操作系統(tǒng),而且在不同的網(wǎng)絡(luò)環(huán)境中使用時(shí),無(wú)需對(duì)網(wǎng)絡(luò)環(huán)境進(jìn)行任何的修改,因此能滿足特定用戶的需要。
圖2 NAS系統(tǒng)架構(gòu)
目前NAS架構(gòu)在圖書(shū)館中的應(yīng)用并不多見(jiàn),基于其文件存儲(chǔ)的特性,很適合為圖書(shū)館的網(wǎng)站服務(wù)器和FTP服務(wù)器提供存儲(chǔ)。對(duì)那些希望降低存儲(chǔ)成本但又希望數(shù)據(jù)存儲(chǔ)具有高性能和高可靠性,同時(shí)有一定系統(tǒng)擴(kuò)展要求的圖書(shū)館來(lái)說(shuō),是一個(gè)很好的選擇。
NAS系統(tǒng)成本較低,易于實(shí)現(xiàn)文件共享,但由于它采用文件請(qǐng)求的方式,會(huì)占用主機(jī)大量的CPU資源,文件操作的延遲相當(dāng)嚴(yán)重,并且不適合那些不采用文件系統(tǒng)進(jìn)行存儲(chǔ)管理的系統(tǒng),如某些數(shù)據(jù)庫(kù),所以SAN技術(shù)應(yīng)運(yùn)而生。
圖3 SAN系統(tǒng)架構(gòu)
SAN(Storage Area Network)存儲(chǔ)區(qū)域網(wǎng)絡(luò),是一種將連接設(shè)備、存儲(chǔ)設(shè)備和接口集成在一個(gè)高速網(wǎng)絡(luò)中的技術(shù)。在圖3中,SAN本身是一個(gè)獨(dú)立網(wǎng)絡(luò),它與外部局域網(wǎng)的應(yīng)用是分離的,存儲(chǔ)數(shù)據(jù)流不會(huì)占用業(yè)務(wù)網(wǎng)絡(luò)帶寬,所有的數(shù)據(jù)在高速、高帶寬的網(wǎng)絡(luò)中進(jìn)行傳輸。由于SAN存儲(chǔ)實(shí)現(xiàn)的是直接對(duì)物理硬件的塊級(jí)存儲(chǔ)訪問(wèn),極大地提高了存儲(chǔ)的性能和升級(jí)能力,因此一面世就受到了極大追捧。
目前常用的SAN解決方案主要分為FCSAN和IPSAN兩大類(lèi),關(guān)于這兩類(lèi)架構(gòu)的應(yīng)用比較一直爭(zhēng)論不休。FCSAN一直以它的安全、穩(wěn)定、快捷著稱(chēng),而IPSAN在保護(hù)現(xiàn)有網(wǎng)絡(luò)的基礎(chǔ)上為用戶提供了跨廣域網(wǎng)的數(shù)據(jù)交互和存儲(chǔ)的能力,且有較好的兼容和擴(kuò)展性,還有管理與維護(hù)方便等特性,因此也廣受關(guān)注。就圖書(shū)館的應(yīng)用而言,雖然IPSAN也有一定應(yīng)用,但大多仍使用FCSAN架構(gòu)。
DAS、NAS、SAN不同架構(gòu)的應(yīng)用,使數(shù)字圖書(shū)館的存儲(chǔ)系統(tǒng)形成一個(gè)個(gè)數(shù)據(jù)孤島,如何在現(xiàn)有的環(huán)境下對(duì)現(xiàn)有設(shè)備進(jìn)行整合,成為許多數(shù)據(jù)中心急于解決的問(wèn)題,而存儲(chǔ)虛擬化技術(shù)的出現(xiàn)使這一問(wèn)題迎刃而解。
圖4 SV系統(tǒng)架構(gòu)
SV(Storage Virtualization)存儲(chǔ)虛擬化,是通過(guò)虛擬卷映射、流數(shù)據(jù)定位、數(shù)據(jù)快照、虛擬機(jī)等技術(shù)實(shí)現(xiàn)異構(gòu)存儲(chǔ)設(shè)備的統(tǒng)一管理以及存儲(chǔ)位置無(wú)關(guān)性而提出的,目的在于屏蔽存儲(chǔ)管理中的一系列復(fù)雜問(wèn)題而向用戶提供簡(jiǎn)單透明統(tǒng)一的存儲(chǔ)訪問(wèn)模式。在圖4中,存儲(chǔ)虛擬化將底層存儲(chǔ)設(shè)備如DAS、NAS、SAN等異構(gòu)的存儲(chǔ)系統(tǒng)虛擬化成一個(gè)大的存儲(chǔ)池,進(jìn)行統(tǒng)一管理;根據(jù)服務(wù)器層各服務(wù)器需要按需分配存儲(chǔ)空間,屏蔽存儲(chǔ)設(shè)備硬件的特殊性,而只保留其統(tǒng)一的邏輯特性,從而實(shí)現(xiàn)了異構(gòu)存儲(chǔ)系統(tǒng)的集中管理。此外,存儲(chǔ)虛擬化技術(shù)在簡(jiǎn)化系統(tǒng)管理及增強(qiáng)存儲(chǔ)平臺(tái)的可靠性方面也表現(xiàn)突出。
經(jīng)費(fèi)緊缺使圖書(shū)館的設(shè)備淘汰更新?lián)Q代比較慢,很容易造成一個(gè)數(shù)據(jù)中心有不同品牌的服務(wù)器和不同架構(gòu)的存儲(chǔ)。不同品牌產(chǎn)品的兼容性問(wèn)題使設(shè)備的使用效率低下。存儲(chǔ)虛擬化不僅可以整合異構(gòu)平臺(tái),充分利用原有設(shè)備,解決數(shù)據(jù)容量增長(zhǎng)擴(kuò)充、硬件升級(jí)時(shí)面臨的成本限制問(wèn)題,而且能實(shí)現(xiàn)按需分配存儲(chǔ)資源,合理利用數(shù)據(jù)存儲(chǔ)空間,極大地提高各種硬件系統(tǒng)資源的使用效率。同時(shí),存儲(chǔ)虛擬化可以提供數(shù)據(jù)分層存儲(chǔ),將不同讀寫(xiě)速度的存儲(chǔ)介質(zhì)分為不同級(jí)別,比如,熱點(diǎn)數(shù)據(jù)保存在存取速度快的物理設(shè)備中,這樣就充分保障了硬件設(shè)備效率最大化,使圖書(shū)館的現(xiàn)有設(shè)備達(dá)到物盡其用的效果。
不同廠商、不同架構(gòu)的存儲(chǔ)設(shè)備的配置不同,不同品牌的服務(wù)器安裝不同操作系統(tǒng)連接存儲(chǔ)設(shè)備的配置也不同,設(shè)備越多,管理難度越大。存儲(chǔ)虛擬化技術(shù)使整個(gè)服務(wù)器、存儲(chǔ)系統(tǒng)的平臺(tái)管理變得集中、簡(jiǎn)單;同時(shí),設(shè)備集中化和標(biāo)準(zhǔn)化不僅使圖書(shū)館技術(shù)管理員減少不必要的麻煩,還為實(shí)際運(yùn)行環(huán)境帶來(lái)更多的價(jià)值,各種設(shè)備的配置管理、數(shù)據(jù)安全管理、業(yè)務(wù)連續(xù)性管理、容量管理、運(yùn)行管理、性能管理等等都可以集中化。從此,數(shù)字圖書(shū)館的設(shè)備管理人員可以從每年的設(shè)備維護(hù)、管理、擴(kuò)容、系統(tǒng)升級(jí)的煩惱中解脫出來(lái)。
在圖書(shū)館的實(shí)際應(yīng)用中,可能出現(xiàn)更換存儲(chǔ)基礎(chǔ)設(shè)施等情況,存儲(chǔ)設(shè)備必須離線,導(dǎo)致業(yè)務(wù)間斷。存儲(chǔ)虛擬化不僅提供硬件資源的集中管理,還允許故障設(shè)備在線更換,保障數(shù)據(jù)不間斷讀取,實(shí)現(xiàn)業(yè)務(wù)的不間斷運(yùn)行。另外,傳統(tǒng)的數(shù)據(jù)集中管理易造成設(shè)備I/O負(fù)載過(guò)重,并存在單點(diǎn)故障的危險(xiǎn),而通過(guò)存儲(chǔ)虛擬化可以實(shí)現(xiàn)I/O負(fù)載均衡,提高存儲(chǔ)效率,降低設(shè)備性能的局限性。
目前,部分圖書(shū)館已實(shí)行了存儲(chǔ)虛擬化,大多仍處于調(diào)研觀望階段。隨著服務(wù)器、桌面虛擬化在圖書(shū)館的應(yīng)用不斷增多,服務(wù)器集群、數(shù)據(jù)快照、模板備份等對(duì)存儲(chǔ)的需求隨虛擬化規(guī)模線性增長(zhǎng),每年中外文數(shù)據(jù)庫(kù)的數(shù)據(jù)更新量更是驚人,光CNKI期刊全文2011年的數(shù)據(jù)量就有1.6T,各館自建的特色數(shù)據(jù)庫(kù)每年的更新量也不容小覷。數(shù)據(jù)量每年呈T級(jí)別增長(zhǎng),加之DAS、NAS、SAN存儲(chǔ)架構(gòu)的異構(gòu),存儲(chǔ)虛擬化必將成為數(shù)字圖書(shū)館在存儲(chǔ)有效使用管理方面的一劑良藥,也將是大勢(shì)所趨。
存儲(chǔ)虛擬化有效地整合了圖書(shū)館異構(gòu)平臺(tái)下的存儲(chǔ)資源,極大地提高了管理和使用效率,但各館每年投入在新增數(shù)據(jù)量存儲(chǔ)的價(jià)格成本依然很高,從各圖書(shū)館購(gòu)買(mǎi)的資源來(lái)看,具有較高的重復(fù)率。有效地共建共享圖書(shū)館資源才是節(jié)約成本、提高使用效率的根本方法。
云存儲(chǔ)的概念與云計(jì)算類(lèi)似,它是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等手段,將網(wǎng)絡(luò)中各種不同類(lèi)型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。通俗意義上講,云存儲(chǔ)系統(tǒng)中的所有設(shè)備對(duì)使用者都是完全透明的,任何一個(gè)經(jīng)過(guò)授權(quán)的使用者都可以通過(guò)接入網(wǎng)絡(luò)與云存儲(chǔ)連接,對(duì)云存儲(chǔ)進(jìn)行數(shù)據(jù)訪問(wèn)。
圖5 云存儲(chǔ)系統(tǒng)模型
在圖5中,云存儲(chǔ)系統(tǒng)整體架構(gòu)可劃分為4個(gè)層次,自底向上依次是存儲(chǔ)層、基礎(chǔ)管理層、應(yīng)用接口層以及訪問(wèn)層。存儲(chǔ)層是云存儲(chǔ)系統(tǒng)最為基礎(chǔ)的部分,而存儲(chǔ)虛擬化則是存儲(chǔ)層的核心,因此云存儲(chǔ)具有存儲(chǔ)虛擬化的所有優(yōu)勢(shì)?;A(chǔ)管理層是云存儲(chǔ)最核心的部分,也是云存儲(chǔ)中最難以實(shí)現(xiàn)的部分。它通過(guò)集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù),實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作,使多個(gè)的存儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù),并提供更大更強(qiáng)更好的數(shù)據(jù)訪問(wèn)性能;內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)被未授權(quán)的用戶所訪問(wèn),同時(shí),通過(guò)各種數(shù)據(jù)備份和容災(zāi)技術(shù)和措施可以保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)丟失,保證云存儲(chǔ)自身的安全和穩(wěn)定。應(yīng)用接口層是云存儲(chǔ)最靈活多變的部分,各數(shù)字圖書(shū)館可以根據(jù)實(shí)際業(yè)務(wù)類(lèi)型,開(kāi)發(fā)不同的應(yīng)用服務(wù)接口,提供不同的應(yīng)用服務(wù)。訪問(wèn)層是云存儲(chǔ)最終向用戶提供的服務(wù),任何一個(gè)授權(quán)用戶都可以通過(guò)標(biāo)準(zhǔn)的公用應(yīng)用接口來(lái)登錄云存儲(chǔ)系統(tǒng),享受云存儲(chǔ)服務(wù)。
云存儲(chǔ)與存儲(chǔ)虛擬化相比更強(qiáng)調(diào)的是服務(wù),這與圖書(shū)館向讀者提供服務(wù)的理念一致,因此云存儲(chǔ)更適合未來(lái)數(shù)字圖書(shū)館的發(fā)展需求。目前寬帶網(wǎng)絡(luò)的發(fā)展更促使基于云存儲(chǔ)的圖書(shū)館聯(lián)盟的成立成為可能,這更有利于圖書(shū)館間共建共享數(shù)字資源。
在圖6中,數(shù)字圖書(shū)館1、數(shù)字圖書(shū)館2和數(shù)字圖書(shū)館3是位于同一城市的云圖書(shū)館,而數(shù)字圖書(shū)館4和數(shù)字圖書(shū)館5則是位于不同城市間的云圖書(shū)館。不管是居于城市A的用戶乙還是居于城市B或城市C的用戶甲都可以訪問(wèn)這五所數(shù)字圖書(shū)館中的資源,實(shí)現(xiàn)不同區(qū)域圖書(shū)館間的資源共建與共享。
圖6 基于云存儲(chǔ)的圖書(shū)館聯(lián)盟系統(tǒng)架構(gòu)
構(gòu)建基于云存儲(chǔ)的圖書(shū)館聯(lián)盟不僅使同一區(qū)域資費(fèi)緊缺的圖書(shū)館間可以共建共享資源,而且使不同區(qū)域的較先進(jìn)的圖書(shū)館帶動(dòng)落后圖書(shū)館共同發(fā)展,是不同區(qū)域圖書(shū)館間的強(qiáng)強(qiáng)聯(lián)手,最大的受益者莫過(guò)于廣大用戶。
數(shù)字圖書(shū)館的存儲(chǔ)經(jīng)歷DAS的建設(shè)階段,走過(guò)NAS、SAN的發(fā)展過(guò)程,開(kāi)始邁向存儲(chǔ)虛擬化的整合時(shí)期,必將進(jìn)入云存儲(chǔ)的共建共享時(shí)代,讓我們圖書(shū)館界的同仁們共同關(guān)注。
[1]數(shù)字圖書(shū)館[EB/OL].[2012-08 -12].http://zh.wikipedia.org/wiki/數(shù)字圖書(shū)館.
[2]唐章林.從DAS到虛擬存儲(chǔ)——從近十年的發(fā)展解讀數(shù)字圖書(shū)館建設(shè)的未來(lái)之路[J].新世紀(jì)圖書(shū)館,2010(3):39— 42.
[3]李 昊,張林龍.高校圖書(shū)館數(shù)字資源網(wǎng)絡(luò)存儲(chǔ)技術(shù)研究[J].現(xiàn)代情報(bào),2010(5):144—147.
[4]譚生龍.存儲(chǔ)虛擬化技術(shù)的研究[J].微計(jì)算機(jī)應(yīng)用,2010(1):33—38.
[5]張 艷,潘吳斌.基于云存儲(chǔ)的圖書(shū)館海量數(shù)字資源存儲(chǔ)研究與設(shè)計(jì)[J].圖書(shū)館學(xué)研究,2012(15):31—35.
[6]馬曉亭,陳 臣.數(shù)字圖書(shū)館云存儲(chǔ)應(yīng)用系統(tǒng)研究與實(shí)現(xiàn)[J].圖書(shū)館理論與實(shí)踐,2012(5):8—13.
[7]杜海寧.基于云計(jì)算的圖書(shū)館海量數(shù)據(jù)存儲(chǔ)研究[J]. 圖書(shū)與情報(bào),2010(3):99—101.