亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        存儲系統(tǒng)重構優(yōu)化技術研究

        2017-06-03 12:57:18謝平
        物聯(lián)網(wǎng)技術 2017年5期

        謝平

        摘 要:目前海量存儲系統(tǒng)規(guī)模逐漸增長,存儲節(jié)點失效是普遍現(xiàn)象。因此存儲系統(tǒng)的重構優(yōu)化問題越來越受到研究人員的關注。綜述了存儲系統(tǒng)從數(shù)據(jù)布局和數(shù)據(jù)調度兩個層面的重構技術研究進展和現(xiàn)狀,同時對各種典型重構技術從原理、實現(xiàn)機制等方面進行了分析和歸納,并對比分析和總結了各種重構技術的適應場景。結合海量存儲系統(tǒng)負載特征的復雜性和應用環(huán)境的復雜性等特點,指出了存儲系統(tǒng)重構技術的未來研究方向。

        關鍵詞:糾刪編碼存儲系統(tǒng);重構技術;存儲可靠性;數(shù)據(jù)可用性

        中圖分類號:TP311 文獻標識碼:A 文章編號:2095-1302(2017)05-0-04

        0 引 言

        當今社會正處于數(shù)據(jù)爆炸式增長的時代,網(wǎng)絡技術提供商Cisco預測,從2013到2018年全球每個月的網(wǎng)絡數(shù)據(jù)量將以21%的年增長速度上升,每月的網(wǎng)絡數(shù)據(jù)量將從2013年的51 EB增長到2018年的132 EB,數(shù)據(jù)量幾乎增長了3倍,并且到2016年,每個月的網(wǎng)絡數(shù)據(jù)量已達91 EB[1]。企業(yè)數(shù)據(jù)中心面臨海量數(shù)據(jù)存儲的需求,因此數(shù)據(jù)中心需要廉價、可靠、高性能和高能效的數(shù)據(jù)存儲系統(tǒng)。

        現(xiàn)代存儲系統(tǒng)采用一定的容錯策略,通過重構技術確保存儲的可靠性和數(shù)據(jù)可用性。一方面當一定存儲節(jié)點失效時,通過重構技術可以恢復失效節(jié)點以確保存儲可靠,另一方面考慮網(wǎng)絡I/O負載的復雜性特征,為及時響應用戶的數(shù)據(jù)訪問請求,通過重構技術以確保數(shù)據(jù)的高效可用。重構技術是根據(jù)存儲系統(tǒng)容錯數(shù)據(jù)布局方案,采用一定I/O優(yōu)化調度策略,以減少I/O開銷與降低CPU計算開銷為手段,實現(xiàn)可靠并快速獲取用戶數(shù)據(jù)為目的的優(yōu)化過程。

        1 糾刪編碼存儲系統(tǒng)重構優(yōu)化技術

        圖1所示為典型糾刪編碼存儲系統(tǒng)的重構優(yōu)化過程。在糾刪編碼存儲系統(tǒng)中,將k個保存原始數(shù)據(jù)的磁盤經(jīng)過編碼計算操作,得到m個冗余磁盤;當存儲系統(tǒng)中有不超過m個磁盤失效時,根據(jù)糾刪編碼的編碼/解碼計算規(guī)則,通過存活的數(shù)據(jù)磁盤和冗余磁盤恢復出失效磁盤,其存儲效率為k/(k+m)。在糾刪編碼的設計中,重構性能是其最重要的設計目標之一,在真實存儲環(huán)境下,重構性能通常由恢復失效磁盤所用的重構時間來衡量,重構時間越短則重構性能越好,反之亦然。在理論分析中,由于重構過程中的計算開銷比I/O開銷快多個數(shù)量級,因而在理論比較中其計算開銷可以忽略不計,因此校驗陣列編碼的重構性能可以轉化成以存取數(shù)據(jù)塊的個數(shù)來衡量重構性能。目前校驗陣列編碼的重構優(yōu)化技術在學術界和工業(yè)界引起了廣泛關注,主要分為以下幾種研究趨勢。

        1.1 最優(yōu)重構鏈長策略

        針對MDS編碼隨著存儲系統(tǒng)規(guī)模的擴大,其重構性能逐漸降低的問題,研究者提出了許多新的Non-MDS編碼以提升存儲系統(tǒng)的重構性能,如WEAVER編碼[2],Hover編碼[3],Pyramid編碼[4],Stepped Combination編碼[5],Code-M編碼[6]和V2-Code編碼[7]。Non-MDS編碼相對于MDS編碼在校驗鏈的構建機制上使用了更多的校驗塊,減少了生成一個校驗塊所需的數(shù)據(jù)塊個數(shù),因此在相同存儲規(guī)模的系統(tǒng)中,Non-MDS編碼縮短了校驗鏈的長度。在重構過程中,Non-MDS編碼獲得了更短的重構鏈長,在重構一個失效塊的情況下需要讀取更少的數(shù)據(jù)塊,提升重構性能;此外,Non-MDS編碼的重構鏈的長度不隨存儲系統(tǒng)規(guī)模的增長而變化,即重構性能與RAID規(guī)模大小無關,然而對于MDS編碼其重構鏈的長度隨著存儲系統(tǒng)規(guī)模的增長而變長,因此其重構性能會逐漸降低。故設計新型高容錯能力的Non-MDS編碼成為提高重構性能的一種研究趨勢。

        1.2 最優(yōu)重構數(shù)據(jù)量策略

        對于現(xiàn)有的容多錯陣列編碼中,單磁盤失效恢復是最常見的問題[8],最初的重構策略便采用傳統(tǒng)的恢復方式[9,10],即所有失效塊的重構只考慮讀取一種校驗鏈的方式,該方式需要讀取所有數(shù)據(jù)塊用于重構,因而增加了存取I/O的復雜度;然而容多錯的編碼通常包含多種校驗鏈(如行校驗鏈、斜校驗鏈和反斜校驗鏈),每一種校驗鏈之間都存在共用塊的情況,因此最大化共用塊的個數(shù)將會減少讀取重構所需的數(shù)據(jù)量,從而達到提升重構性能的目的,這種重構方式稱為混合校驗鏈重建方式。如RDOR算法針對RDP編碼的單磁盤失效提出了尋找最少重建數(shù)據(jù)塊的快速重建方案[11];王等人基于最少重構數(shù)據(jù)量的思路實現(xiàn)了EVENODD編碼單盤快速重構[12];針對任意多容錯糾刪編碼的單盤恢復問題,Khan等人提出了一種枚舉恢復算法,即尋找最小重建數(shù)據(jù)量[13];朱等人提出了一種替換恢復算法,加速了最少重構數(shù)據(jù)量的尋找過程,尋找到了次優(yōu)的最少重構數(shù)據(jù)量[14]。

        1.3 最優(yōu)重構帶寬策略

        在分布式存儲系統(tǒng)中,其重構過程中減少網(wǎng)絡I/O開銷是主要的優(yōu)化目標,即最優(yōu)重構帶寬策略,以提供良好的網(wǎng)絡存儲性能。再生編碼[15]基于最優(yōu)重構帶寬被提出,例如Exact Regenerating Codes提出精確恢復失效數(shù)據(jù)[16];李等人基于再生碼充分考慮了異構網(wǎng)絡結構以及并行恢復算法遂提出了快速重建方案[17];MCR和MBCR基于再生碼策略并發(fā)重建了多失效節(jié)點[18,19];CHR在異構網(wǎng)絡集群環(huán)境下,考慮節(jié)點的異構權重因子加速了RAID-6編碼的存儲系統(tǒng)單盤失效重構過程[20]。PM-RBT基于MSR再生編碼,考慮在重構過程中確保最優(yōu)網(wǎng)絡通信開銷、最優(yōu)存儲效率和可靠性的同時,實現(xiàn)了最小化磁盤I/O開銷,從而加速了重構的實現(xiàn)[21]。

        1.4 均衡重構負載的策略

        在磁盤陣列的環(huán)境中,由于并行性存儲I/O結構,影響存儲系統(tǒng)重構性能的決定因素是瓶頸磁盤的性能,故羅等人提出了均衡重構I/O的恢復思路,即在重構過程中,從各存活磁盤讀取用于重構的數(shù)據(jù)量要均衡,因此在RAID編碼的陣列里,選擇重構所需的數(shù)據(jù)塊在各存活磁盤要均衡布局,最終實現(xiàn)最小化從單盤讀取重構數(shù)據(jù)塊的思路[22]。S2-RAID提出了一種新的RAID結構,該結構充分考慮了并行數(shù)據(jù)布局思路,在重構過程中確保重構所需的數(shù)據(jù)塊能并行和均衡地從各存活磁盤讀取,提升重構性能[23]。另外基于平衡I/O響應時間和磁盤重建時間的考慮,候等人提出了負載均衡的重建優(yōu)化方案[24]。

        1.5 重構I/O優(yōu)化策略

        在重構過程中充分優(yōu)化重構I/O流,并減少用戶I/O流對重構性能的影響,可以有效加速重構實現(xiàn)過程,因而各種重構I/O優(yōu)化策略被提出以提升重構性能,例如SOR和DOR充分考慮了重構I/O的并行性加速了重構的實現(xiàn)[25,26];Pro基于用戶I/O存在存取局部性的特性,提出了基于用戶I/O熱度的重構算法,即在重構過程中優(yōu)先考慮重構用戶I/O訪問最熱的區(qū)域,以確保對用戶I/O的及時響應,加速重構過程[27];Workout采用寫重定向策略,即分離用戶I/O流和重構I/O流,從而有效避免兩者相互干擾,實現(xiàn)了加速重構過程的目的[28],此外VDF和MCRO充分利用了高效的Cache策略,有效減少了重構I/O的數(shù)量,即減少對磁盤的存取次數(shù),提升了重構性能[29,30]。

        2 重構優(yōu)化技術的分析與討論

        上面分別從重構數(shù)據(jù)布局和重構數(shù)據(jù)調度兩個層面對糾刪編碼存儲系統(tǒng)的重構技術進行了說明,表1對上述典型重構技術進行了對比和總結。

        從表1典型重構技術的對比中可以發(fā)現(xiàn):

        (1)重構編碼布局逐漸由最早的MDS糾刪編碼向重構性能更好的Non-MDS糾刪編碼發(fā)展,以及提供更好容錯能力和重構性能的“Embed-RAID”編碼轉變[26],例如RAID0+1和RAID1+0數(shù)據(jù)布局;

        (2)重構調度策略逐漸由面向糾刪編碼的多線程、并行性SOR和DOR的重構技術向優(yōu)化重構I/O流和用戶I/O流存取特征的Pro和WorkOut重構策略轉變,及減少重構I/O量的高效Cache策略MCRO和VDF發(fā)展;

        (3)基于現(xiàn)有糾刪編碼,優(yōu)化其編碼/解碼復雜度以減少重構數(shù)據(jù)量的RDOR、LDF和CoRec重構策略逐漸受到關注;

        (4)現(xiàn)有糾刪編碼由面向并行陣列環(huán)境向分布式存儲環(huán)境的應用方向發(fā)展,結合存儲異質異構和網(wǎng)絡I/O復雜性特征,研究再生編碼重構策略。

        3 結 語

        本文從糾刪編碼存儲系統(tǒng)數(shù)據(jù)布局和數(shù)據(jù)調度兩個層面展開,圍繞復雜的存儲環(huán)境和應用環(huán)境面臨的重構技術關鍵問題,考慮存儲系統(tǒng)的異質異構以及復雜的用戶I/O存取特征,結合并行性/分布式存儲系統(tǒng)場景,分析、總結了現(xiàn)有重構優(yōu)化技術。隨著網(wǎng)絡存儲技術的深入發(fā)展,糾刪編碼的存儲系統(tǒng)重構技術未來主要呈現(xiàn)以下發(fā)展趨勢:

        (1)面向云存儲的重構策略。隨著云存儲技術的發(fā)展,結合空間位置特性和存儲節(jié)點異質異構的特征,研究高容錯能力和高效新型Non-MDS編碼與應用于云存儲系統(tǒng)的重構技術有待深入發(fā)展;

        (2)多級糾刪編碼的重構策略。現(xiàn)有糾刪編碼為用戶數(shù)據(jù)提供了單層可靠保障,并未考慮用戶I/O需求級別,如何將用戶數(shù)據(jù)存取優(yōu)先級別與容錯能力結合,提供多級糾刪編碼融合數(shù)據(jù)重構策略,將可有效提供更好的用戶數(shù)據(jù)存取服務和容錯能力;

        (3)面向負載特征的重構策略。借鑒統(tǒng)計學與數(shù)據(jù)挖掘領域的技術,進一步分析和挖掘數(shù)據(jù)集的特性,考慮新型存儲器件性能以及數(shù)據(jù)的合理布局與調度,提供良好用戶服務的數(shù)據(jù)重構策略;

        (4)多失效節(jié)點的重構策略。目前的重構策略主要基于單失效節(jié)點,然而隨著存儲規(guī)模的擴大,同時重構多失效節(jié)點的策略有待開發(fā),其中優(yōu)化多失效節(jié)點的重構I/O流將是主要的目標。

        目前數(shù)據(jù)的組織模式已由以計算為中心向存儲為中心的層面轉變,基于存儲的研究越來越受到科研人員的關注。總的來講,計算機的存儲研究呈現(xiàn)出大容量、網(wǎng)絡化、高容錯性和高效性趨勢。因此可以預見,未來對于分布式高性能計算和存儲系統(tǒng)的重構研究將成為主要方向。

        參考文獻

        [1] Cisco全球網(wǎng)絡數(shù)據(jù)流量預測分析:The Zettabyte Era—Trends and Analysis[EB/OLE]. http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-vni/VNI_Hyperconnectivity_WP.html

        [2] Hafner, J. L. Weaver codes: Highly fault tolerant erasure codes for storage systems[C].In Proceedings of the 4th USENIX Conference on File and Storage Technologies.Berkeley,CA,USA, USENIX,2005: 16-26.

        [3] Hafner J L. HoVer erasure codes for disk arrays[C].2006 International Conference on Dependable Systems and Networks. IEEE, 2006: 217-226.

        [4] Huang C, Chen M, Li J. Pyramid codes: Flexible schemes to trade space for access efficiency in reliable data storage systems[J]. 2007 Sixth IEEE International Symposium on Network Computing and Applications. IEEE, 2007,9(1): 79-86.

        [5] Greenan K M, Li X, Wylie J J. Flat XOR-based erasure codes in storage systems: Constructions, efficient recovery, and tradeoffs[J]. Mass Storage Systems and Technologies,2010,2(1): 1-14.

        [6] Wan S, Cao Q, Xie C, et al.Code-m: A non-mds erasure code scheme to support fast recovery from up to two-disk failures in storage systems[J].2010 IEEE/IFIP International Conference on Dependable Systems and Networks. IEEE, 2010,23(5): 51-60.

        [7] Xie Ping, Huang Jianzhong, Cao Qiang, et al. V2-Code: A new non-MDS array code with optimal reconstruction performance for RAID-6[C].2013 IEEE International Conference on Cluster Computing (CLUSTER13). IEEE, 2013: 1-8.

        [8] Pinheiro E, Weber W D, Barroso L A. Failure Trends in a Large Disk Drive Population[C]. In Proceedings of the 2007 USENIX Conference on File and Storage Technologies. USENIX, 2007: 17-23.

        [9] Blaum M, Brady J, Bruck J, et al. EVENODD: An efficient scheme for tolerating double disk failures in RAID architectures[J]. Acm Sigarch Computer Architecture News, 1995, 22(2): 245-254.

        [10] Corbett P F, English R, Goel A, et al. Row-diagonal parity for double disk failure correction[C].In Proceedings of the 3rd USENIX Conference on File and Storage Technologies. USENIX, 2004: 1-14.

        [11] Xiang L, Xu Y, Lui J, et al. A hybrid approach to failed disk recovery using RAID-6 codes: Algorithms and performance evaluation[J]. ACM Transactions on Storage, 2011, 7(3): 11

        [12] Wang Z, Dimakis A G, Bruck J. Rebuilding for array codes in distributed storage systems[C]. 2010 IEEE GLOBECOM Workshops, 2010: 1905-1909.

        [13] Khan O, Burns R, Plank J, et al. In search of I/O-optimal recovery from disk failures[C].In Proceedings of the 3rd USENIX conference on Hot topics in storage and file systems. USENIX Association, 2011: 6.

        [14] Zhu Y, Lee P P C, Hu Y, et al.On the speedup of single-disk failure recovery in xor-coded storage systems:Theory and practice[J].Mass Storage Systems and Technologies,2012,22(5):1-12.

        [15] Dimakis A G, Godfrey P B, Wu Y, et al.Network coding for distributed storage systems[J]. IEEE Transactions on Information Theory, 2010, 56(9): 4539-4551.

        [16] Rashmi K V, Shah N B, Kumar P V, et al.Explicit construction of optimal exact regenerating codes for distributed storage[C].Allerton 2009:47th Annual Allerton Conference on Communication, Control, and Computing. IEEE, 2009: 1243-1249.

        [17] Li J, Wang X, Li B. Pipelined regeneration with regenerating codes for distributed storage systems[C]. 2011 International Symposium on Network Coding. IEEE, 2011: 1-6

        [18] Hu Y, Xu Y, Wang X, et al. Cooperative recovery of distributed storage systems from multiple losses with network coding[J]. IEEE Journal on Selected Areas in Communications, 2010, 28(2): 268-276.

        [19] Kermarrec A M, Le Scouarnec N, Straub G. Repairing multiple failures with coordinated and adaptive regenerating codes[C].2011 International Symposium on Network Coding. IEEE, 2011: 1-6.

        [20] Zhu Y, Lee P P C, Xiang L, et al. A cost-based heterogeneous recovery scheme for distributed storage systems with RAID-6 codes[C].2012 42nd Annual IEEE/IFIP International Conference on Dependable Systems and Networks, 2012: 1-12.

        [21] K. V. Rashmi, Preetum Nakkiran, Jingyan Wang,et al. Having Your Cake and Eating It Too: Jointly Optimal Erasure Codes for I/O, Storage and Network-bandwidth[C]. In Proceedings of the 2015 USENIX Conference on File and Storage Technologies. USENIX, 2015:81-94.

        [22] Luo X, Shu J.Load-Balanced Recovery Schemes for Single-Disk Failure in Storage Systems with Any Erasure Code[C]. 2013 42nd International Conference on Parallel Processing, 2013: 552-561.

        [23] Wan J, Wang J, Yang Q, et al.S2-RAID:A new RAID architecture for fast data recovery[C]. 2010 IEEE 26th Symposium on Mass Storage Systems and Technologies, 2010: 1-9.

        [24] Hou R Y, Menon J, Patt Y N. Balancing I/O response time and disk rebuild time in a RAID5 disk array[C].In Proceeding of the Twenty-Sixth Hawaii International Conference on System Sciences. IEEE, 1993: 70-79.

        [25] Holland M, Gibson G A, Siewiorek D P. Architectures and algorithms for on-line failure recovery in redundant disk arrays[J].Distributed and Parallel Databases, 1994, 2(3): 295-335.

        [26] Holland M, Gibson G A, Siewiorek D P. Fast, on-line failure recovery in redundant disk arrays[C].The Twenty-Third International Symposium on Fault-Tolerant Computing, 1993: 422-431.

        [27] Tian L, Feng D, Jiang H, et al. PRO: A Popularity-based Multi-threaded Reconstruction Optimization for RAID-Structured Storage Systems[C].In Proceedings of the 2007 USENIX Conference on File and Storage Technologies. USENIX, 2007:277-290.

        [28] Wu S, Jiang H, Feng D, et al. WorkOut: I/O Workload Outsourcing for Boosting RAID Reconstruction Performance[C]. In Proceedings of the 2009 USENIX Conference on File and Storage Technologies. USENIX 2009: 239-252.

        [29] Shenggang Wan, Xubin He, Jianzhong Huang,et al.An Efficient Penalty-Aware Cache to Improve the Performance of Parity-Based Disk Arrays under Faulty Conditions[J].IEEE Transactions on Parallel Distributed Systems,2013,24(8): 1500-1513.

        [30] Xu L, Bruck J. X-code: MDS array codes with optimal encoding[J].IEEE Transactions on Information Theory, 1999, 45(1): 272-276.

        [31] Xie T, Wang H. MICRO: A multilevel caching-based reconstruction optimization for mobile storage systems[J].IEEE Transactions on Computers, 2008, 57(10): 1386-1398.

        [32] Guide P. Multiple (Nested) RAID Levels[EB/OL]. http://www.pcguide.com/ref/hdd/perf/raid/levels/mult.htm

        [33] Jin C, Jiang H, Feng D, et al. P-Code: A new RAID-6 code with optimal properties[C].In Proceedings of the 23rd international conference on Supercomputing. ACM, 2009: 360-369.

        [34] Li M, Shu J, Zheng W. GRID codes: Strip-based erasure codes with high fault tolerance for storage systems[J]. ACM Transactions on Storage, 2009, 4(4): 1-22.

        [35] Shiyi Li, Xubin He, Shenggang Wan, et al. Exploiting Decoding Computational Locality to Improve the I/O Performance of an XOR-Coded Storage Cluster under Concurrent Failures[J]. SRDS 2014(1): 125-135.

        [36] Shiyi Li,Qiang Cao,Shenggang Wan,et al.PPM: A Partitioned and Parallel Matrix Algorithm to Accelerate Encoding/Decoding Process of Asymmetric Parity Erasure Codes[C]. International Conference on Parallel Processing,2015:460-469.

        [37] Jianzhong Huang, Er-wei Dai, Changsheng Xie, et al.CoRec: A Cooperative Reconstruction Pattern for Multiple Failures in Erasure-Coded Storage Clusters[C].International Conference on Parallel Processing,2015: 470-479.

        性欧美长视频免费观看不卡| 99久久综合狠狠综合久久一区| 精品国产福利一区二区三区| 三级国产自拍在线观看| 少妇无码太爽了在线播放| 中国内射xxxx6981少妇| 中文字幕久久久久人妻无码| 91久久精品一区二区喷水喷白浆| 美女视频一区二区三区在线| 久久久亚洲av成人网站| 欧美色aⅴ欧美综合色| 亚洲成a人片在线观看高清| 白嫩少妇高潮喷水av| 亚洲人成精品久久久久| 亚洲av日韩av不卡在线观看| 国产一区二区三区爆白浆| 久久久精品国产老熟女| 免费观看mv大片高清| 内射中出无码护士在线| 玩中年熟妇让你爽视频| 四虎影视在线观看2413| 资源在线观看视频一区二区| 蜜桃传媒网站在线观看| 日韩毛片无码永久免费看| 免费在线亚洲视频| 日本成人三级视频网站| 婷婷久久国产综合精品| 亚洲人成电影在线观看天堂色 | 日本成人在线不卡一区二区三区| 三级黄色片免费久久久| 亚洲一区二区三区中文字幂 | 国产精品女同一区二区久| 一本大道道久久综合av| 国产av精国产传媒| 日韩亚洲欧美精品| 久久精品女同亚洲女同| 一本久久伊人热热精品中文字幕 | 99精品又硬又爽又粗少妇毛片| 国产精品国产三级国产av品爱| 99久久人人爽亚洲精品美女| 国产乱子伦农村xxxx|