羅保山,張鑫,,王 栩,譚支鵬
(1.武漢軟件工程職業(yè)學(xué)院 計算機(jī)學(xué)院,湖北 武漢 430205;2.華中科技大學(xué) 計算機(jī)學(xué)院,湖北 武漢 430074)
混合存儲數(shù)據(jù)遷移策略研究
羅保山1,張鑫1,2,王 栩2,譚支鵬2
(1.武漢軟件工程職業(yè)學(xué)院 計算機(jī)學(xué)院,湖北 武漢 430205;2.華中科技大學(xué) 計算機(jī)學(xué)院,湖北 武漢 430074)
大數(shù)據(jù)環(huán)境下海量增長的數(shù)據(jù)對存儲介質(zhì)的實時響應(yīng)和超高容量帶來了極大的挑戰(zhàn)。傳統(tǒng)機(jī)械硬盤的性能瓶頸日益突出,以固態(tài)盤為代表的擁有高性能的新型存儲器不斷涌現(xiàn),但其價格遠(yuǎn)高于機(jī)械硬盤。為了降低總體成本同時利用HDD的超大容量,又充分利用SSD的高速性能,以固態(tài)盤與機(jī)械硬盤構(gòu)建的混合存儲陣列成為一種不錯的選擇。文中設(shè)計實現(xiàn)了一種基于文件級數(shù)據(jù)遷移的混合存儲方案。通過數(shù)據(jù)分析器統(tǒng)計每個文件的隨機(jī)訪問度和熱度,并通過數(shù)學(xué)模型量化出文件價值來衡量文件的重要性,基于0/1背包模型提出了一種遷移算法,完成文件集合的遷入遷出并實現(xiàn)了對已遷移文件的訪問重定向。測試表明,該方案較另外兩種存儲方案平均提升了10%左右,而且減少了對SSD的寫操作,延長了SSD的使用壽命。
固態(tài)盤;混合存儲;文件價值;數(shù)據(jù)遷移
大數(shù)據(jù)環(huán)境下數(shù)據(jù)呈海量爆炸式增長,快速增長的海量數(shù)據(jù)的產(chǎn)生、保存和訪問對數(shù)據(jù)存儲和管理提出了更高的要求,它既希望對數(shù)據(jù)的處理能得到快速響應(yīng),又希望存儲系統(tǒng)有足夠多的容量來存儲海量數(shù)據(jù)。以閃存為代表的新型存儲器使用較少的容量和物理空間卻擁有高速的性能,但其價格昂貴,只適用于高性能應(yīng)用,價格低廉、容量巨大的傳統(tǒng)機(jī)械硬盤仍是很多企業(yè)作為存儲數(shù)據(jù)的首選。為了滿足海量數(shù)據(jù)的實時響應(yīng)和超高容量的需求,同時又節(jié)約成本,混合存儲系統(tǒng)成為一種折中的選擇。
硬盤驅(qū)動器是如今主要的電腦存儲媒介,它對性能密集型的在線應(yīng)用程序有著很好的支撐。借助垂直磁記錄技術(shù),磁盤的單盤容量已經(jīng)發(fā)展到現(xiàn)在的1.5 T,多個磁盤陣列能提供更大的容量和更高的性能。但是磁盤的數(shù)據(jù)存取速度、尋道時間和定位時間越發(fā)成為瓶頸。雖然通過SATA、光纖磁盤等新技術(shù)可以緩解這一矛盾,但其本身的機(jī)械結(jié)構(gòu)卻使這些高速外部接口并不能充分發(fā)揮它們的速度優(yōu)勢。使用NAND Flash芯片作存儲介質(zhì)的固態(tài)盤(Solid State Drive)[1]提供了高讀寫速度和可靠性,它不存在尋道時間,讀寫延遲比機(jī)械硬盤小,很好地支持了數(shù)據(jù)的隨機(jī)訪問,但其經(jīng)濟(jì)成本相對較高且容量有限,并因NAND有限的擦寫次數(shù)降低了固態(tài)盤的使用壽命。
用戶對存儲器的選擇有三個主要指標(biāo)[2]:容量、速度和價格。如今,CPU、內(nèi)存等設(shè)備大致根據(jù)摩爾定律[3]在性能和集成速度上有很大提高,處理器和內(nèi)存容量都得到了飛速提升,但海量數(shù)據(jù)的爆炸式增長對存儲器速度的要求也不斷提高。存儲介質(zhì)的選擇一般從價格和性能兩方面考慮。側(cè)重價格的應(yīng)選擇擁有足夠容量且價格低廉的存儲介質(zhì);側(cè)重性能的應(yīng)選擇價格昂貴但性能優(yōu)越的快速存儲器。但人們往往希望以較低的價格得到性能不錯的存儲器,混合存儲系統(tǒng)(Hybrid Storage System)較好地解決了這一困境,實現(xiàn)了閃存的高性能同時兼具磁盤的低成本優(yōu)勢,從而優(yōu)化了存儲系統(tǒng)的整體性能。國內(nèi)外學(xué)術(shù)界和企業(yè)界對混合存儲系統(tǒng)[4]已進(jìn)行了很多深入的研究,也有很多成熟的混合存儲產(chǎn)品問世,如早期的Hybrid Storage Alliance (HSA)、希捷Momentus XT系列固態(tài)混合硬盤及Facebook的Flashcache等。
在混合存儲方案的設(shè)計中應(yīng)從以下三方面考慮:
(1)遷移算法的選擇[5],即確定一個最優(yōu)的待遷移集合,使得該遷移操作能最大程度地提升整個存儲系統(tǒng)的性能;
(2)存儲設(shè)備的選擇比例[6-8],即如何根據(jù)不同負(fù)載調(diào)整各種存儲設(shè)備的比例,從而將混合存儲系統(tǒng)的開銷降到最低;
(3)延長存儲器壽命,即如何延長磁盤的壽命又保證混合存儲系統(tǒng)的性能[9-10]。
圖1中的原始磁盤布局模式[11-12]闡述了本節(jié)討論的問題,三個熱點(diǎn)文件File1,F(xiàn)ile2,F(xiàn)ile3被訪問的順序如圖1(a)所示,F(xiàn)ile1和File2為順序訪問,F(xiàn)ile3為隨機(jī)訪問。圖中的黑點(diǎn)代表一次IO,三個文件以隨機(jī)方式存儲在磁盤上。磁盤性能在File2被訪問的這段是比較好的,但整個過程并不好,原因是:
(1)存儲位置的不連續(xù)性造成對File1和File3訪問的尋道時間較長;
(2)由于對File1的訪問會被對File3的訪問所打斷,因此對File1的訪問是偽順序的;
(3)由于File3是被隨機(jī)訪問的,所以當(dāng)訪問File3時需要頻繁地移動磁頭。
混合磁盤的布局模式如圖1(b)所示。將File1和File3存儲到SSD上大大提升了磁盤訪問的順序性。雖然實際存儲系統(tǒng)中對磁盤的訪問模式比這復(fù)雜很多,但將隨機(jī)訪問的文件和熱點(diǎn)文件遷移到固態(tài)盤上能夠大大降低對整個磁盤的訪問延遲。
評析 試題源于成書1247年南宋時期秦九韶所著的《數(shù)書九章》,是對《九章算術(shù)》的繼承和發(fā)展,概括了宋元時期中國傳統(tǒng)數(shù)學(xué)的主要成就,標(biāo)志著中國古代數(shù)學(xué)的高峰.例4考查的是幾何形體圓臺的體積計算,與例1、例2和例3一樣,都是以典籍史料中的問題為背景,通過數(shù)形結(jié)合、化歸與轉(zhuǎn)化等數(shù)學(xué)思想方法的運(yùn)用求得答案為3寸.例5不同于例1-4題,僅局限于把《數(shù)書九章》中的“多項式值的算法”作為一個材料背景,而是把其中的秦九韶思想與算法的程序框圖結(jié)合起來進(jìn)行再創(chuàng)造,讓考生運(yùn)用所學(xué)的基本知識和技能解決問題,正是這道題的創(chuàng)新點(diǎn),值得推廣.
圖1 原始磁盤和混合磁盤布局模式
基于此,文中設(shè)計了一種基于文件級數(shù)據(jù)遷移的混合存儲方案。
(1)利用SSD讀寫速度較快的特點(diǎn),將熱點(diǎn)數(shù)據(jù)放置到SSD上,使之成為磁盤的緩存;
(2)利用固態(tài)盤和磁盤在不同訪問模式下的速度差異,讓固態(tài)盤服務(wù)絕大多數(shù)的隨機(jī)I/O訪問,磁盤服務(wù)剩余的I/O訪問;
(3)根據(jù)文件的隨機(jī)度和熱度估算出它的價值,衡量將該文件遷移到SSD上給系統(tǒng)帶來的性能提升,并根據(jù)文件價值確定遷移集合[13]并進(jìn)行數(shù)據(jù)遷移,同時利用FUSE[14]實現(xiàn)訪問重定向。
圖2是系統(tǒng)的基本架構(gòu)圖,圖中右側(cè)虛線框中包括五個功能模塊。
數(shù)據(jù)收集器工作在FUSE的內(nèi)核態(tài),主要負(fù)責(zé)抓取文件訪問的歷史信息(被訪問文件的路徑、類型、扇區(qū)號、長度以及時間)。數(shù)據(jù)分析器為FUSE的用戶態(tài)程序,它統(tǒng)計分析歷史訪問信息并通過隨機(jī)度計算算法得出每個文件的隨機(jī)度和熱度,通過對SSD總訪問量的讀寫比例及文件大小得出每個文件的價值。遷移算法基于0/1背包模型確定文件的存放位置,從而最大化混合存儲系統(tǒng)中SSD的利用率。遷移管理器基于遷移算法完成SSD和HDD之間的數(shù)據(jù)遷移。數(shù)據(jù)庫主要用于存儲數(shù)據(jù)并協(xié)同其他模塊完成數(shù)據(jù)庫操作,使用FUSE的用戶態(tài)程序?qū)崿F(xiàn)訪問的重定向。
圖2 系統(tǒng)架構(gòu)圖
本節(jié)主要介紹隨機(jī)度和熱度的計算算法和文件在SSD和HDD之間的遷移算法。
隨機(jī)度和熱度的計算主要在數(shù)據(jù)分析器上完成,前者衡量對某一文件的連續(xù)前后請求在磁盤塊上的距離,后者計算特定時間段內(nèi)對某一文件的訪問次數(shù)。舉例說明如下,數(shù)據(jù)分析器分析某段時間內(nèi)對File1訪問的歷史信息時,當(dāng)發(fā)現(xiàn)對File1有一次訪問,則將File1的熱度值加1(hotness+1),同時判斷該訪問的起始位置是否為對File1上次訪問的結(jié)束位置,如果相同(順序訪問)且與上次訪問類型相同,前后的時間間隔也在給定的閾值內(nèi),則隨機(jī)度不變,否則隨機(jī)度加1(randomness+1),并更新File1的隨機(jī)度與熱度。分析結(jié)束后統(tǒng)計每個文件的隨機(jī)度和熱度值。如果File1在△t時間內(nèi)有n次訪問,則File1的熱度為n。通過上述隨機(jī)度計算算法,得出隨機(jī)度為m,特殊情況下,m=n表示對File1的訪問都是隨機(jī)的,m=1表示對File1的訪問都是順序訪問的。
其中:fi為文件i的熱度;ri為文件i的隨機(jī)度;si為文件i的大小。
雖然小文件對固態(tài)盤更有優(yōu)勢,但固態(tài)盤存在寫性能下降的問題,且擦寫次數(shù)有限的NAND芯片降低了使用壽命,因此區(qū)分SSD的讀寫操作且適當(dāng)減少對SSD的寫操作是很有必要的。假設(shè)在某段時間內(nèi)對File1的總訪問長度為T,讀操作長度為R,對于兩個根據(jù)上述數(shù)學(xué)模型設(shè)計計算出的具有相同V值的文件而言,如果兩者總的訪問量T相同,那么擁有更多讀訪問R的文件對SSD更有利。如果R相同,總訪問量S小的文件對SSD更有利。由此得出計算value值的數(shù)學(xué)模型的改進(jìn)版:
其中,Ri為對文件i讀操作的數(shù)據(jù)量;Ti為對文件i訪問的總數(shù)據(jù)量。
通過功能模塊數(shù)據(jù)分析器分析得到每個文件在某時間段內(nèi)的訪問隨機(jī)度、訪問熱度、訪問總數(shù)據(jù)量和讀操作數(shù)據(jù)量,再根據(jù)上述計算模型計算出各自的Value值。
需要根據(jù)持續(xù)變化的系統(tǒng)IO動態(tài)地在SSD和HDD之間進(jìn)行數(shù)據(jù)遷移,將更多對SSD更有利的數(shù)據(jù)遷移到SSD上,將不利于SSD的數(shù)據(jù)遷移到HDD上。使用0/1背包模型分析SSD和HDD之間文件的數(shù)據(jù)遷移問題。
假設(shè)整個混合存儲系統(tǒng)中有n個不同的文件,每個文件的大小為si,文件價值為Vi,變量xi為該文件的存儲位置,1為存儲到SSD,0為存儲到HDD。該遷移算法的目的在于選取一個更利于存儲到SSD上的文件集合,集合中所有文件大小之和應(yīng)盡可能等同于SSD的容量,且它們的Value值之和也應(yīng)盡可能得大。由此得出計算模型:
其中,CAPACITYSSD為SSD的總?cè)萘?實際情況中因SSD上有寫操作,CAPACITYSSD要小于SSD的總?cè)萘?。
上述模型得到的文件集合是整個存儲系統(tǒng)中最利于SSD的文件集合,但在得出該集合之前可能該文件集合中的部分文件已經(jīng)遷移到SSD了,造成該集合的不準(zhǔn)確性。真實地遷入和遷出的文件集合見圖3。
圖中,MoveSet為整個系統(tǒng)中最利于SSD的文件集合,F(xiàn)ileSetSSD為該時刻下SSD上已存在的文件集合,二者的交集為利于SSD的文件集合中已遷入SSD上的文件子集,SETHDD為SSD上已存在的文件集合中不利于SSD的文件子集,SETSSD為HDD上更利于SSD的文件子集。
圖3 遷入集合和遷出集合
根據(jù)該算法,交集不需要遷入遷出即保持不變即可,將SSD上不利于SSD的文件子集SETHDD遷移至HDD上,將HDD上利于SSD的文件子集SETSSD遷移至SDD上。
數(shù)據(jù)遷移工作在同一主機(jī)內(nèi)部SSD和HDD之間進(jìn)行,無需考慮網(wǎng)絡(luò)帶寬、安全性等的影響,但需保證對用戶的透明性且不影響用戶對數(shù)據(jù)的訪問功能,盡可能降低遷移所帶來的IO負(fù)載。因此適當(dāng)?shù)倪w移時間,即系統(tǒng)空閑時間,能基本滿足這一要求。
當(dāng)數(shù)據(jù)遷移工作完成后,部分文件在磁盤上的位置已經(jīng)發(fā)生變化,需要考慮重定向的功能實現(xiàn)。使用FUSE(FilesysteminUSErspace)工具實現(xiàn)了一個用戶態(tài)文件系統(tǒng)hybridfs完成訪問重定向功能。舉例說明其具體實現(xiàn)過程,現(xiàn)需要對文件/home/file1進(jìn)行對操作,F(xiàn)USE的內(nèi)核態(tài)程序?qū)⒆詣咏孬@來自內(nèi)核軟件層(VFS)的訪問請求,主要獲得訪問的文件路徑名(file_name)、訪問偏移量(offset)、訪問長度(length)、訪問類型(R/W)等信息,并將其傳遞給用戶態(tài)程序。用戶態(tài)程序首先查詢/home/file1在數(shù)據(jù)庫中的記錄位置,若返回空或為“H”,表示該文件存儲位置為HDD,直接對該文件進(jìn)行操作即可;若返回為“S”,表示該文件遷移至SSD,位置為/mnt/ssd/home/file1,用戶態(tài)程序?qū)⒃L問路徑/home/file1更改為/mnt/ssd/home/file1。然后對該路徑進(jìn)行open操作并返回對應(yīng)的fd,再對該fd進(jìn)行相應(yīng)的讀寫操作。操作完成后查詢數(shù)據(jù)庫中/home/file1的need_fsync位,若返回“Y”,表示該文件在之前已經(jīng)被修改,若返回“N”,則更改為“Y”,表明該文件已遷移至SSD。至此完成了對已遷移文件的訪問重定向功能。
系統(tǒng)是在局域網(wǎng)內(nèi)的兩臺機(jī)器上進(jìn)行測試,其中一臺為具備系統(tǒng)所需的全部功能的混合存儲系統(tǒng)的客戶端,另一臺為協(xié)助完成系統(tǒng)性能測試的服務(wù)器端。主機(jī)操作系統(tǒng)采用RedHatEnterpriseLinuxServerrelease6.0 (Santiago),CPU為Intel(R)Xeon(R)CPUE5620 2.40GHz,8GB內(nèi)存,機(jī)械硬盤為Seagate1TB7200RPM,固態(tài)盤為OCZ-DriveR4PCI-EXPRESSSolidStateDrive300GB。
使用debench[16]作為測試工具,測試trace[17]為三個IO密集型的服務(wù)器trace:郵件服務(wù)器工作負(fù)載(MailServer)、研究中心工作負(fù)載(Research)和桌面環(huán)境工作負(fù)載(Office)。這三個trace的分析數(shù)據(jù)如表1所示。
表1 三種trace的分析數(shù)據(jù)
將文中提出的綜合考慮訪問隨機(jī)度與熱度的混合存儲系統(tǒng)(RHS),與只考慮熱點(diǎn)訪問數(shù)據(jù)的混合存儲系統(tǒng)(HOT),以及只有一塊硬盤的存儲系統(tǒng)(HDD),分別在上述trace上進(jìn)行測試。
第一項指標(biāo)為平均訪問延遲測試,測試結(jié)果如圖4所示。
圖4 三種trace工作負(fù)載對比
對于MailServer而言,RHS相對于HDD和HOT提升了10%和8%,讀為20%和10%,寫為12%和10%;在Office的Workload上提升了20%和15%,讀為22%和16%,寫為28%和13%;在Research的Workload上提升了15%和8%,讀為20%和13%,寫為25%和12%。通過讀寫性能的對比分析說明了將隨機(jī)訪問和熱點(diǎn)訪問的文件遷移到固態(tài)盤上能有效減少整個系統(tǒng)的訪問延遲。
第二項指標(biāo)為系統(tǒng)平均帶寬測試,測試結(jié)果如圖5所示。
圖5 三種trace平均帶寬對比
在MailServer上,RHS相對于HDD和HOT提升了大約15%和6%;OfficeWorkload上的帶寬提升了38%和20%;ResearchWorkload因讀寫比例為0.5從而使提升小一些。因此將文件價值高的文件遷移到SSD上便于對已遷移至SSD上的文件的下次訪問改為訪問SSD而非HDD,這對系統(tǒng)性能的提升有顯著的作用。
文中提出了一種有效的將文件價值高的文件遷移到SSD上的混合存儲方案。通過統(tǒng)計分析每個文件的歷史訪問信息得到它們的隨機(jī)度和熱度,并通過數(shù)學(xué)模型將隨機(jī)度和熱度抽象量化為文件價值,用以衡量遷移該文件對整個系統(tǒng)帶來的性能提升。系統(tǒng)借鑒0/1背包模型,設(shè)計出了文件遷移算法并對計算出的遷移集合進(jìn)行數(shù)據(jù)遷移,同時在遷移工作完成后實現(xiàn)了對已遷移文件的訪問重定向。通過在不同的服務(wù)器trace上的測試對比,結(jié)果表明該系統(tǒng)在平均訪問延遲與系統(tǒng)帶寬這兩項指標(biāo)上都有一定的性能優(yōu)勢。
[1]NarayananD,ThereskaE,DonnellyA,etal.MigratingserverstoragetoSSDs:analysisoftradeoffs[C]//Proceedingsofthe4thACMEuropeanconferenceoncomputersystems.NewYork:ACM,2009:145-158.
[2] 王志英,張春元,戴 葵,等.計算機(jī)體系結(jié)構(gòu)[M].北京:高等教育出版社,2000:173-174.
[3]MooreGE.Crammingmorecomponentsontointegratedcircuits[J].Electronics,1965,38(8):114-117.
[4]ChangLP.Hybridsolid-statedisks:combiningheterogeneousNANDflashinlargeSSDs[C]//ProcofAsiaandSouthPacificdesignautomationconference.Seoul:IEEE,2008:428-433.
[5]KoltsidasI,ViglasSD.Flashingupthestoragelayer[J].ProceedingsoftheVLDBEndowment,2008,1(1):514-525.
[6]GuerraJ,PuchaH,GliderJS,etal.Costeffectivestorageusingextentbaseddynamictiering[C]//Proceedingsofthe9thUSENIXconferenceonfileandstoragetechnologies.[s.l.]:USENIX,2011.
[7]GarrisonJA,ReddyAL.Umbrellafilesystem:storagemanagementacrossheterogeneousdevices[J].ACMTransactionsonStorage,2009,5(1):1-24.
[8]HuY,YangQ.DCD-diskcachingdisk:anewapproachforboostingI/Operformance[C]//ProceedingsofACMSIGARCHcomputerarchitecturenews.[s.l.]:ACM,1996:169-178.
[9]SoundararajanG,PrabhakaranV,BalakrishnanM,etal.ExtendingSSDlifetimeswithdisk-basedwritecaches[C]//Proceedingsofthe9thUSENIXconferenceonfileandstoragetechnologies.[s.l.]:USENIX,2010:101-114.
[10]AguileraMK,KeetonK,MerchantA,etal.Improvingrecoverabilityinmulti-tierstoragesystems[C]//Proceedingsofthe37thannualIEEE/IFIPinternationalconferenceondependablesystemsandnetworks.[s.l.]:IEEE,2007:677-686.
[11]LinL,ZhuY,YueJ,etal.Hotrandomoff-loading:ahybridstoragesystemwithdynamicdatamigration[C]//ProceedingsofIEEE19thinternationalsymposiumonmodeling,analysis&simulationofcomputerandtelecommunicationsystems.[s.l.]:IEEE,2011:318-325.
[12]SomasundaramG,ShrivastavaA.信息存儲與管理—數(shù)字信息的存儲、管理和保護(hù)[M].羅英偉,汪小林,尹冬生,等,譯.北京:人民郵電出版社,2010:36-37.
[13] 余祥宣,崔國華,鄒海明.計算機(jī)算法基礎(chǔ)[M].第3版.武漢:華中科技大學(xué)出版社,2006:101-118.
[14]HenkC,SzerediM.FUSE:filesysteminuserspace[EB/OL].2012.http://sourceforge.net/projects/fuse.
[15] 劉次華,萬建平.概率論與數(shù)理統(tǒng)計[M].第3版.北京:高等教育出版社,2008:98-101.
[16]KanounK,ArlatJ,CostaD,etal.DBench:dependabilitybenchmarking[C]//Procof2001internationalconferenceondependablesystemsandnetworks.[s.l.]:[s.n.],2001:12-15.
[17]EllardD,LedlieJ,MalkaniP,etal.PassiveNFStracingofemailandresearchworkloads[C]//ProceedingsofthesecondannualUSENIXfileandstoragetechnologiesconference.SanFrancisco,California:USENIX,2003:203-216.
Research on Hybrid Storage Data Migration Strategy
LUO Bao-shan1,ZHANG Xin-yan1,2,WANG Xu2,TAN Zhi-peng2
(1.School of Computer Science,Wuhan Vocational College of Software and Engineering,Wuhan 430205,China;2.School of Computer Science,Huazhong University of Science and Technology,Wuhan 430074,China)
The explosion of data in the big data environment brings great challenges to the real-time response and high capacity of storage medium.The performance bottleneck of traditional hard disk is becoming increasingly prominent.New type of memory with the high performance represented by the solid state disk is emerging constantly,but its price-performance ratio is not better than that of the hard disk drive.The hybrid storage system that combines HDD with SSD becomes inevitable for reducing the overall costs while leveraging the large capacity of HDD and making full use of high-speed performance of SSD.It analyzes and designs a file-level hybrid storage system in this paper,which uses the data analyzer to count the degree of random access and hotspot for each file.Through establishing the mathematical model,it quantifies file value to measure the importance of files,and it uses the 0/1 knapsack problem model to design a migration algorithm that helps determine the migration set and realizes the redirection for access of each file.Through test,it improves 10% on average compared with the other two storage schemes,reduces the write operations to SSD and prolongs the service life of SSD.
SSD;hybrid storage;file value;data migration
2015-08-25
2015-11-27
時間:2016-05-05
中央高校財政專項基金(2015XJGH010)
羅保山(1973-),男,副教授,研究方向為計算機(jī)體系結(jié)構(gòu)、網(wǎng)絡(luò)存儲;張鑫(1988-),男,碩士,研究方向為存儲安全與高可用技術(shù)、存儲服務(wù)與應(yīng)用。
http://www.cnki.net/kcms/detail/61.1450.TP.20160505.0829.098.html
TP301
A
1673-629X(2016)06-0082-05
10.3969/j.issn.1673-629X.2016.06.018