金培權

1. 中國科學技術大學計算機科學與技術學院，安徽 合肥 2300272. 中國科學院電磁空間信息重點實驗室，安徽 合肥 230027

基于新型存儲的大數(shù)據(jù)存儲管理

金培權1,2

1. 中國科學技術大學計算機科學與技術學院，安徽 合肥 2300272. 中國科學院電磁空間信息重點實驗室，安徽 合肥 230027

如何高效地存儲大數(shù)據(jù)并支持實時大數(shù)據(jù)處理與分析是大數(shù)據(jù)技術發(fā)展面臨的首要問題。近年來，以相變存儲器、閃存等為代表的新型存儲為實現(xiàn)高效的大數(shù)據(jù)存儲和管理提供了新思路。以相變存儲器為代表的存儲級主存技術為切入點，針對大數(shù)據(jù)存儲與管理中的高效存儲、實時處理等存在的挑戰(zhàn)，討論了面向新型存儲的大數(shù)據(jù)存儲管理研究現(xiàn)狀，并對未來基于新型存儲的大數(shù)據(jù)研究進行了展望。

相變存儲器；大數(shù)據(jù)管理；新型存儲；存儲管理

1 引言

大數(shù)據(jù)已經(jīng)成為目前的一個研究熱點[1]。如何改進現(xiàn)有的數(shù)據(jù)存儲與管理技術或者設計全新的體系結構，以滿足大數(shù)據(jù)應用中的大數(shù)據(jù)量和高速數(shù)據(jù)流實時處理需求，是大數(shù)據(jù)技術中的核心問題之一。如果采用傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)（database management system，DBMS）的集中式數(shù)據(jù)存儲方式，大數(shù)據(jù)存取性能就會受到極大的影響。Hadoop技術雖然提供了對大規(guī)模數(shù)據(jù)的快速、低成本存儲和管理，但它是一個離線、批量的數(shù)據(jù)處理系統(tǒng)，對于實時數(shù)據(jù)處理與分析的支持較弱，難以滿足許多應用的要求。例如，在城市公共安全中，通常要求能夠對高達每秒幾千幀的高清監(jiān)控視頻流進行實時處理與分析。但目前在傳統(tǒng)計算體系結構下，單臺計算機只能支持每秒150～300幀的低分辨率圖像實時異常事件檢測[2,3]。如果要做進一步的目標識別，根據(jù)目前的處理技術，性能將下降到每秒16幀左右[4,5]，遠遠不能滿足每秒幾千幀高清圖像的實時處理要求。因此，迫切需要研究能夠滿足大數(shù)據(jù)高效存儲與實時處理的新型體系結構與新方法。

針對大數(shù)據(jù)高效存儲與管理問題，目前除了Hadoop技術之外，學術界和工業(yè)界也提出了一些其他的設計，包括以NoSQL數(shù)據(jù)庫為代表的大規(guī)模分布式數(shù)據(jù)庫系統(tǒng)設計[6]、基于動態(tài)隨機存取存儲器（dynamic random access memory，DRAM）的內存數(shù)據(jù)庫技術[7]等。但現(xiàn)有的NoSQL分布式數(shù)據(jù)庫技術仍以磁盤存儲或者“磁盤＋閃存（flash memory）”混合存儲的方式存儲數(shù)據(jù)，本質上還是傳統(tǒng)的“CPU－DRAM－二級存儲”的存儲架構，依然存在著內存和磁盤之間的“存儲墻”問題，難以從本質上解決大數(shù)據(jù)實時存取的問題。此外，由于DRAM能耗和成本較高，也限制了其在大規(guī)模數(shù)據(jù)處理中的應用。

過去5年來，閃存作為新型存儲的代表性技術取得了快速發(fā)展，對現(xiàn)有的數(shù)據(jù)管理技術提出了極大的挑戰(zhàn)，同時也帶來了許多新的機遇[8]。但是，閃存由于其存取方式（按頁）、存取性能（1次存取通常需要約217個CPU時鐘周期）的限制，仍適合作為二級存儲器。基于閃存的數(shù)據(jù)管理只是優(yōu)化了I/O延遲，并沒有從本質上改變計算架構。

除了閃存之外，近年來另一種新型存儲介質——相變存儲器（phase change memory，PCM）引起了學術界和工業(yè)界的廣泛關注[9]。與閃存相比，PCM可以被CPU直接按位存取，而且存取性能更高。因此PCM可以與DRAM一樣與CPU交互。但與DRAM相比，PCM存儲具有非易失性，能夠進行持久的數(shù)據(jù)存儲。傳統(tǒng)硬盤基于磁性存儲機理存儲數(shù)據(jù)，閃存基于微型電容儲存電荷的機理存儲數(shù)據(jù)，存儲密度都有理論上限，而PCM基于微型相變單元存儲數(shù)據(jù)的機理使其能夠迅速超越固態(tài)盤的存儲密度，并且在未來還有更大的提升空間。IBM公司把PCM這一類具有DRAM的存取性能，同時又具有持久存儲能力的介質稱為存儲級主存（storage class memory，SCM）[10,11]。PCM等存儲級主存以其非揮發(fā)、存儲速度快、易實現(xiàn)高密度等技術特點，在高速與海量存儲方面具有巨大的潛能，已被認為是下一代非易失存儲技術的發(fā)展方向。另外，因該技術兼有DRAM的高速隨機訪問和閃存的非易失特性，模糊了主存和外存的界限，有望突破原有的存儲架構，實現(xiàn)更高性能的存儲。

因此，如果能夠利用PCM等新型存儲器件設計出適合大數(shù)據(jù)存儲與管理的新型存儲架構（如圖1所示），同時設計新的分布式多節(jié)點存儲技術，則可以將大數(shù)據(jù)存取集中在DRAM和PCM上，充分發(fā)揮DRAM和PCM的高性能特性以及PCM的隨機存取和非易失優(yōu)點，而且可以利用分布式多節(jié)點存儲的優(yōu)勢建立高擴展的大數(shù)據(jù)存儲系統(tǒng)，從而有望徹底解決大數(shù)據(jù)存取中的性能與容量問題，為大規(guī)模的大數(shù)據(jù)分析與應用提供有力的支撐。

目前，公共安全、智能交通、物聯(lián)網(wǎng)等許多應用都要求實現(xiàn)大數(shù)據(jù)的實時存取。但是，現(xiàn)有的Hadoop等技術還很難達到這一目標，主要的困難在于無法提供低延遲、高吞吐的大數(shù)據(jù)實時存取能力。新型存儲的出現(xiàn)為解決這一難題提供了可能。首先，PCM等非易失內存的出現(xiàn)為實現(xiàn)大規(guī)模的內存計算奠定了基礎，使得人們有可能在內存中支持高并發(fā)的事務處理，而不需要傳統(tǒng)DRAM導致的大量I/O操作，從而實現(xiàn)低延遲的大數(shù)據(jù)存取。其次，借助基于新型存儲的分布式內存文件系統(tǒng)等技術[12]，可以大規(guī)模提升外存和內存的寫吞吐速率。

圖1 引入PCM等存儲級主存后的存儲體系結構

本文綜述了基于新型存儲的大數(shù)據(jù)存儲管理技術，分析了現(xiàn)有大數(shù)據(jù)存儲技術的局限性，介紹了新型存儲的特點和發(fā)展概況，總結了基于新型存儲的大數(shù)據(jù)存儲架構、基于新型存儲的大數(shù)據(jù)存儲管理等方向的研究現(xiàn)狀，在此基礎上給出了基于新型存儲的大數(shù)據(jù)存儲與管理的若干未來研究方向。

2 大數(shù)據(jù)存儲技術

2.1 常見的大數(shù)據(jù)存儲技術

目前，大數(shù)據(jù)存儲一般采用分布式存儲技術，主要應用在NoSQL數(shù)據(jù)庫系統(tǒng)中?，F(xiàn)有的主流的NoSQL數(shù)據(jù)庫系統(tǒng)，例如文檔數(shù)據(jù)庫系統(tǒng)MongoDB①、列存儲數(shù)據(jù)庫系統(tǒng)HBase[13,14]、內存數(shù)據(jù)庫系統(tǒng)Redis②等，均采用了分布式集群架構實現(xiàn)大數(shù)據(jù)的存儲。也有一些分布式數(shù)據(jù)庫系統(tǒng)在存儲架構設計上考慮了異構存儲的特性，例如RAMCloud[15]和RethinkDB③，從而有效提升了系統(tǒng)的存取性能。

但是，現(xiàn)有的大數(shù)據(jù)存儲技術還存在著以下的局限性[16]。

● 以NoSQL數(shù)據(jù)庫為代表的大規(guī)模分布式數(shù)據(jù)庫系統(tǒng)設計了基于磁盤存儲的讀寫方式、索引結構、查詢執(zhí)行、查詢優(yōu)化、恢復策略，但是磁盤固有的讀寫性能差等弊端限制了大數(shù)據(jù)存取尤其是大數(shù)據(jù)分析性能的提升。

● 在以H adoop分布式文件系統(tǒng)（Hadoop distributed file system，HDFS）為代表的大規(guī)模分布式文件系統(tǒng)中，雖然它們提供了大數(shù)據(jù)的存儲支持能力，但由于這些文件系統(tǒng)在設計時并沒有考慮對實時、高性能的數(shù)據(jù)處理的支持，因此無法滿足日益增長的大數(shù)據(jù)在線分析的需求。此外，隨著數(shù)據(jù)量的急劇增加，元數(shù)據(jù)的大小也急劇增加，傳統(tǒng)的元數(shù)據(jù)架構、元數(shù)據(jù)備份管理、元數(shù)據(jù)動態(tài)負載均衡等越來越難適應大數(shù)據(jù)應用需求。

● 基于DRAM的內存數(shù)據(jù)管理技術旨在通過海量的內存提高大數(shù)據(jù)的處理性能。但是，由于DRAM本身能耗高、價格相對昂貴，使得構建基于大內存的大數(shù)據(jù)存儲集群在環(huán)境支持、成本上存在較大的困難。此外，DRAM的掉電易失特性導致的大數(shù)據(jù)環(huán)境下的數(shù)據(jù)一致性也是一個棘手的問題。

2.2 新型存儲技術

鑒于磁盤存儲、內存存儲在面臨大數(shù)據(jù)管理與分析時的困難，學術界和工業(yè)界開始將目光轉向新型存儲技術。目前，從技術成熟度和應用前景上看，閃存和相變存儲器最有可能形成大規(guī)模應用，因此也吸引了國內外學者的關注[8,9,16,17]。

閃存是一種可以被電子化擦除和重寫的非易失性存儲設備[8]。基于閃存的固態(tài)盤（solid state drive，SSD）是目前市場上常見的閃存存儲設備。與傳統(tǒng)的磁存儲介質相比，閃存具有傳輸速率高、低延遲、低能耗、低噪音、抗震等優(yōu)良特性。同時也有一些特殊性質：寫前擦除，對閃存的寫操作不是簡單地改變某個二進制位，而是需要將整個擦除塊的所有二進制位置改為1，這帶來了閃存的讀寫不對稱性，一般采用異地更新的方式緩解寫前擦除帶來的延遲，減少讀寫不對稱帶來的影響；壽命限制，目前企業(yè)級閃存能耐受3萬次寫循環(huán)，消費級閃存僅為3000次；讀寫與擦除的單位不一致，一個擦除塊中包含若干個閃存頁，擦除的單位是一個閃存擦除塊，讀寫的單位是閃存頁。

相變存儲器是一種非易失類型的存儲器，由硫系玻璃材質構成[17]。由于這種材質的特質，通過施以電脈沖熱，它可以在非晶態(tài)和多晶態(tài)這兩種狀態(tài)之間進行切換。PCM兼具速度快、耐用、非揮發(fā)性和高密度性等多種優(yōu)勢，其讀寫數(shù)據(jù)和恢復數(shù)據(jù)的速度是閃存的100倍[18]。

隨著云計算和物聯(lián)網(wǎng)等新一代信息技術的涌現(xiàn)，對海量存儲系統(tǒng)的低能耗、高速及高可靠性的需求日益凸顯，以新型存儲取代傳統(tǒng)存儲介質的呼聲越來越高，而PCM有望成為未來新型存儲的主要技術。與DRAM、閃存等存儲介質相比，PCM具有非易失性、存取速度快、節(jié)能、可字節(jié)尋址、寫壽命長等優(yōu)點[19]。韓國三星（Samsung）公司與美國美光（Micron）公司是目前在PCM技術方面較為領先的兩家公司，其中三星公司開發(fā)出的65 nm制程、512 MB容量的PCM芯片已投入量產(chǎn)，并應用在三星公司的手機存儲卡中；同時三星公司已經(jīng)推出了20 nm制程、8GB容量的相變內存顆粒。美光公司已經(jīng)成功研制了45 nm制程、1GB容量的LPDDR2接口的PCM芯片產(chǎn)品，并已經(jīng)量產(chǎn)[20]。我國中國科學院上海微系統(tǒng)與信息技術研究所近年來也研制了中國自主知識產(chǎn)權的PCM芯片（8 MB），為研制我國自主產(chǎn)權的新型存儲系統(tǒng)奠定了基礎[21]。此外，華中科技大學自2007年開始研究高密度低功耗的電阻式相變存儲器、相變存儲器功能芯片、相變存儲器芯片的關鍵材料以及相關專用測試設備等，已經(jīng)自主研制出具有簡單讀、擦、寫功能的相變存儲器功能芯片[22]。

總體而言，傳統(tǒng)的磁盤存儲技術在大數(shù)據(jù)存儲與管理方面面臨著嚴重的性能瓶頸。內存數(shù)據(jù)管理技術由于價格、容量以及易失等特點難以作為PB級大數(shù)據(jù)存儲的最終解決方案，但在大數(shù)據(jù)存儲與管理中可以借鑒內存數(shù)據(jù)處理的一些思路。閃存、PCM等新型存儲器件提供了高性能、非易失的數(shù)據(jù)存儲支持。從目前的技術發(fā)展現(xiàn)狀看，PCM是現(xiàn)有最為成熟，且性能、容量與DRAM最為接近的存儲技術。PCM以其非揮發(fā)、存儲速度快、易實現(xiàn)高密度等技術特點以及與CMOS工藝兼容性好、易于與CPU集成形成片上系統(tǒng)（system on chip，SoC）芯片等優(yōu)點，具有廣泛的應用前景。

3 大數(shù)據(jù)存儲架構

新型存儲的出現(xiàn)為構建新的大數(shù)據(jù)存儲架構提供了可能。目前，學術界針對基于新型存儲的大數(shù)據(jù)存儲架構提出了多種設計，包括基于PCM的主存架構、基于閃存的主存擴展架構、分布式存儲與緩存架構等。

3.1 基于PCM的主存架構

PCM與閃存相比，其存取延遲更短，而且可以直接按位存取，因此能夠被CPU直接存取，更適合作為DRAM的擴展。與DRAM相比，PCM具有非易失性特點，因此適合存儲文件等靜態(tài)數(shù)據(jù)?？偠灾琍CM可以看作兼有DRAM和閃存的優(yōu)點。從存儲架構設計的角度來看，PCM既可以作為主存使用，也可以作為外存使用。但由于PCM的可字節(jié)尋址特性（與閃存不同），目前學術界對基于PCM的主存架構研究相對較多。

在利用PCM替代DRAM方面，理論上可以有兩種架構，即純PCM主存架構和DRAM/PCM混合主存架構。在純PCM主存架構中，PCM完全替代DRAM作為唯一的主存，而在DRAM/PCM混合主存架構中，DRAM和PCM共同作為主存。在后一種架構中，又存在著兩種可能的設計：一是將DRAM作為PCM緩存的層次架構，另一種是DRAM和PCM并列的平等架構。目前，大多數(shù)的研究都假設DRAM/PCM的混合主存架構[10,11,23-25]。研究者針對DRAM/PCM的混合主存架構，提出了多種PCM寫操作優(yōu)化[23]以及負載均衡算法[10,11,24]。由于PCM的寫次數(shù)有限制，因此如何在混合主存中減少PCM上的寫操作是目前的研究重點。

基于PCM的主存架構為實現(xiàn)大數(shù)據(jù)的實時處理提供了可能。首先，PCM的低能耗特性使得在集群系統(tǒng)中使用大量的PCM存儲代替DRAM成為可能，從而降低系統(tǒng)成本。其次，PCM的持久存儲特性可以通過設計有效的算法提高分布式存儲環(huán)境中的數(shù)據(jù)一致性。第三，PCM的高密度特性可以為內存計算提供有力的支持。

3.2 基于閃存的主存擴展架構

閃存是目前相對較成熟的新型存儲技術。基于閃存的SSD已經(jīng)大量裝備在服務器上，成為企業(yè)級存儲解決方案中的重要組成。由于閃存的整體存取性能優(yōu)于磁盤，因此理論上可以借助閃存提升大數(shù)據(jù)存儲和管理的性能。在早期的一些研究工作中，研究人員往往假設未來存儲系統(tǒng)中閃存可以完全替代磁盤作為外存，但是，由于閃存的讀寫不均衡特性以及壽命問題，目前實際的系統(tǒng)中往往是DRAM、閃存和磁盤共存。

在DRAM、閃存、磁盤共存的存儲架構下，閃存通常作為主存的擴展，即作為DRAM和磁盤之間的中間層，提升大數(shù)據(jù)存取的性能[26-28]。SSDAlloc[26]是基于閃存的主存擴展系統(tǒng)，它將閃存作為磁盤的緩存，實現(xiàn)了系統(tǒng)整體性能的提升。也有一些學者提出了將閃存作為虛擬內存，在DRAM容量不夠的情況下，將閃存作為虛擬內存設備進行頁面交換[27]。由于閃存性能總體優(yōu)于磁盤，因此這種以閃存作為虛擬內存的架構理論上在大數(shù)據(jù)應用場景下性能優(yōu)于傳統(tǒng)的DRAM+磁盤的架構。

對于大數(shù)據(jù)處理而言，基于PCM的主存擴展總體上比基于閃存的主存擴展更具可行性。這是因為大容量的閃存本身仍然采用按頁存取的方式，與CPU按位存取模式之間存在不一致性，而且在存取性能上PCM也高于閃存，因此更有望減小與CPU之間的性能差距，構建能夠充分發(fā)揮CPU、DRAM和PCM各自優(yōu)勢的高性能數(shù)據(jù)處理系統(tǒng)。

3.3 分布式存儲與緩存架構

目前，基于分布式觀點的數(shù)據(jù)管理是大數(shù)據(jù)存儲與管理研究中的一個熱點。一種觀點是將閃存應用于分布式文件系統(tǒng)中進行元數(shù)據(jù)存儲。元數(shù)據(jù)對于整個大數(shù)據(jù)管理系統(tǒng)的性能起著決定性作用，對于大數(shù)據(jù)解析、大數(shù)據(jù)統(tǒng)計、大數(shù)據(jù)操作優(yōu)化等起著重要作用?；陂W存的分布式文件系統(tǒng)元數(shù)據(jù)管理的基本思路是在元數(shù)據(jù)服務器（metadata server，MDS）上使用SSD作為存儲設備加速文件系統(tǒng)，如參考文獻[29]在Lustre分布式文件系統(tǒng)架構中的元數(shù)據(jù)服務器上使用閃存作為存儲介質，加速元數(shù)據(jù)的讀寫速度。此外，基于Memcached的內存分布式緩存技術也被廣泛用來加速大規(guī)模數(shù)據(jù)的訪問，而在更為復雜的大數(shù)據(jù)環(huán)境下，其局限性主要體現(xiàn)在：一方面內存分布式緩存受限于集群內存容量，只能服務容量較小的熱點數(shù)據(jù)，會造成性能下降；另一方面，如果采取擴大集群內存容量滿足更多數(shù)據(jù)緩存需求，會帶來高額的成本和巨大的能耗?，F(xiàn)階段解決方法是將小容量、高I/O負載的緩存處理與大容量、中低等I/O負載的緩存處理分離，形成“熱緩存”與“冷緩存”的緩存策略，其中在“冷緩存”方面主要采用了閃存技術。例如，F(xiàn)acebook設計了基于閃存的鍵—值存儲系統(tǒng)McDipper，代替Memcached為大量訪問頻率較低的圖片提供緩存服務，降低成本和能耗，為了減少閃存I/O延遲，將閃存層分成兩個區(qū)域，一個區(qū)域存放數(shù)據(jù)，另一個區(qū)域配置散列桶存放鍵值數(shù)據(jù)的指針，并將散列桶元數(shù)據(jù)放入內存。

分布式存儲技術將是解決大數(shù)據(jù)存儲與管理問題的主要途徑之一。一方面是由于Hadoop分布式技術已經(jīng)為現(xiàn)有的大數(shù)據(jù)管理提供了一種行之有效的存儲方案，而且已經(jīng)在Google、Facebook等公司的實際應用中得到了驗證，為大數(shù)據(jù)未來研究提供了有用的借鑒；另一方面也是因為在大數(shù)據(jù)應用中數(shù)據(jù)來源、用戶等本身存在天然的分布特性，適合采用分布式存儲技術。

4 大數(shù)據(jù)存儲管理

閃存、PCM等新型存儲的物理特性、讀寫特性等均與磁盤有著非常顯著的不同，而目前已有的大數(shù)據(jù)數(shù)據(jù)庫，其設計理念均是基于磁盤存儲，在面對閃存、PCM等新型存儲時，并不能最大限度地發(fā)揮新型存儲的性能。目前，在基于新型存儲的大數(shù)據(jù)存儲管理方面也有一些研究工作。

在基于PCM的存儲管理方面，Ramos L E等人[30]提出了一種針對DRAM/PCM混合主存的硬件驅動的頁面置換策略。該策略依賴一個內存控制器（memory controller，MC）監(jiān)控內存頁面的使用頻率和寫密集程度。MC在DRAM和PCM之間進行頁面遷移，保證性能攸關的頁面和頻繁寫的頁面保存在DRAM中，而性能不太敏感以及很少寫的頁面存儲在PCM中。Qureshi M K等人[23]提出了一個層次型混合主存系統(tǒng)。他們將DRAM設計為CPU和PCM之間的緩沖區(qū)。所有的數(shù)據(jù)頁都存儲在PCM中，只有當DRAM發(fā)生頁面置換或者需要訪問新的頁面時系統(tǒng)才存取PCM。Wu Z L等人[31,32]在PCM存儲管理方面也提出了動態(tài)桶列表（dynamic bucket list）以及寫敏感的混合時鐘存儲管理方法。

索引作為優(yōu)化數(shù)據(jù)存取性能的重要技術，是數(shù)據(jù)存儲管理中的關鍵問題之一。傳統(tǒng)的B+樹索引在數(shù)據(jù)庫系統(tǒng)和文件系統(tǒng)中被廣泛應用，近年來在云計算[33-36]、位置服務[37,38]等應用中也有一些針對B+樹的優(yōu)化工作。雖然B+樹具有很好的搜索性能，但它常常導致較高的更新代價。在面向閃存的數(shù)據(jù)庫領域，研究人員提出了多種針對B+樹的改進設計，例如μ*-Tree[39]、BF-Tree[40]、LA-Tree[41]、HashTree[42]、BloomTree[43]等。這些方法以減少對閃存的寫操作為主要目標，采用了利用溢出節(jié)點延遲更新、利用額外的緩存節(jié)點的更新等方法，最終減少B+樹葉節(jié)點的更新次數(shù)以及索引的合并和分裂操作。

雖然目前在基于閃存的索引設計方面已經(jīng)有了不少的工作，但由于在大數(shù)據(jù)存儲中引入了PCM等其他類型的新型存儲介質，而且在計算架構上產(chǎn)生了根本性的變化（閃存定位在二級存儲，而PCM則可以用于直接的內存擴展），因此，近年來研究人員也探討了針對PCM的B+樹索引優(yōu)化問題。Chen S M等人[44]最早在2011年的國際創(chuàng)新數(shù)據(jù)庫研究會議（International Conference on Innovative Database Research，CIDR）上測試了B+樹在采用了PCM主存技術的服務器上的性能。其研究結果表明，當PCM技術應用到數(shù)據(jù)庫服務器上后，因其具備高速隨機訪問特性，傳統(tǒng)的索引技術應進行新的設計。他們在后續(xù)的工作中繼續(xù)研究了針對PCM等非易失內存的B+樹索引結構[45]，類似的工作還有Hu W W等人[46]提出的BP-tree、Chi P等人[47]提出的寫優(yōu)化B+樹以及Li L等人[48]提出的面向PCM的讀寫趨勢感知的CB+-tree索引。這些工作基本都采用了針對PCM特性優(yōu)化傳統(tǒng)的B+樹的思路。

5 未來研究展望

5.1 基于新型存儲的大數(shù)據(jù)存儲架構

以PCM為代表的新型存儲技術進一步提升了非易失存儲的性能極限。PCM類似于DRAM的高速隨機訪問模式使其有機會直接與CPU連接，而其高密度潛力也使它能夠適應大數(shù)據(jù)時代的容量需求。當存儲靜態(tài)數(shù)據(jù)的非易失存儲允許CPU通過直接尋址的方式訪問時，存儲體系的進化不僅僅帶來性能的大幅提升，同時還將改變應用程序訪問數(shù)據(jù)的方式。由于PCM等存儲級主存能夠直接支持隨機讀寫，因此可以將其與DRAM共同連接于主存控制器上，與DRAM實現(xiàn)統(tǒng)一編址，CPU可直接尋址到PCM的任何地址。

由于計算機系統(tǒng)的系統(tǒng)集成度較高、構成復雜，不易完成架構改動，因此基于新型存儲的大數(shù)據(jù)存儲架構可以采用嵌入式系統(tǒng)方式構建驗證用的硬件平臺，在平臺上直接實現(xiàn)新存儲架構及相應軟件，從而能夠準確地評估新存儲架構帶來的性能優(yōu)勢。通過搭建新型嵌入式存儲架構軟硬件驗證平臺，實現(xiàn)對存儲系統(tǒng)的硬件級訪問檢測，為驗證軟件系統(tǒng)性能提供準確的數(shù)據(jù)。

5.2 基于新型存儲的分布式內存文件系統(tǒng)

PCM等存儲級主存的出現(xiàn)及應用打破了傳統(tǒng)的硬盤驅動器（hard disk drive，HDD）/SDD＋DRAM的存儲架構，為適應PCM等存儲級主存PCM和DRAM共存的新存儲架構，需研究新型的可支持以內存訪問形式訪問各種文件數(shù)據(jù)的新型文件系統(tǒng)。同時，由于大數(shù)據(jù)時代數(shù)據(jù)一般需要分布式存儲與計算，因此在文件管理上還需要考慮對分布式環(huán)境的支持。因此，需要結合新型存儲架構和分布式環(huán)境的需求，研究新型的大數(shù)據(jù)文件系統(tǒng)。該方向的一些研究要點包括以下幾方面。

（1）支持新型存儲架構的單節(jié)點文件系統(tǒng)

單節(jié)點文件系統(tǒng)是研制分布式隨機訪問內存文件系統(tǒng)的基礎，具體包括新型存儲架構下的文件原位訪問技術、文件系統(tǒng)管理與控制技術、基于新型存儲架構的內存管理機制等。

（2）支持新型存儲架構的分布式文件系統(tǒng)

本地節(jié)點的數(shù)據(jù)訪問僅能夠提升應用程序訪問本地數(shù)據(jù)時的效率。分布式存儲技術可以基于新型存儲架構搭建支持海量數(shù)據(jù)存儲的分布式環(huán)境，從而滿足大數(shù)據(jù)存儲的容量需求。因此，將單節(jié)點文件系統(tǒng)向多節(jié)點擴充，完成支持新型存儲架構的分布式內存文件系統(tǒng)，是實現(xiàn)基于新型存儲的大數(shù)據(jù)存儲管理的關鍵，研究要點包括分布式文件系統(tǒng)虛擬訪問接口、基于統(tǒng)一尋址的分布式文件管理技術、存儲空間的全局劃分和尋址技術等。

5.3 基于新型存儲的大數(shù)據(jù)管理

P C M等存儲級主存給存儲與計算架構帶來了極大的挑戰(zhàn)，包括異構存儲上的數(shù)據(jù)分配與調整機制、異質緩存管理機制、基于新型存儲的大數(shù)據(jù)索引技術等。

（1）基于新型存儲架構的數(shù)據(jù)存儲分配與調整機制

由于DRAM、PCM、SSD/HDD等多種存儲介質同時用于數(shù)據(jù)存儲，因此需要研究一種自適應的多粒度數(shù)據(jù)存儲分配機制。具體而言，該機制首先根據(jù)數(shù)據(jù)訪問頻度將數(shù)據(jù)劃分為3種狀態(tài)：熱（hot）、溫（warm）、冷（cold），然后根據(jù)數(shù)據(jù)的狀態(tài)進行存儲分配與調整。所謂多粒度是指在存儲分配時，同時采用文件和頁兩種粒度。在PCM與SSD/HDD之間進行數(shù)據(jù)分配時，PCM作為持久存儲介質，采用文件粒度進行數(shù)據(jù)分配；在DRAM與SSD/HDD之間進行數(shù)據(jù)分配時，DRAM作為緩存，采用頁粒度進行數(shù)據(jù)分配；在DRAM與PCM之間進行數(shù)據(jù)分配時，以鍵值記錄粒度進行數(shù)據(jù)遷移和交換。

在數(shù)據(jù)存儲調整方面，一種可能的方法是基于應用對數(shù)據(jù)的訪問模式變化，自適應、動態(tài)地調整數(shù)據(jù)存儲策略。訪問模式的度量基于數(shù)據(jù)的訪問頻度以及存取方式（讀/寫）兩類因素，通過周期性考察的方法確定當前數(shù)據(jù)訪問模式的變化程度，并基于訪問模式的變化程度確定是否重新執(zhí)行數(shù)據(jù)存儲分配。一旦確定了新的數(shù)據(jù)存儲分配策略，將對相應的數(shù)據(jù)進行介質之間的遷移操作。

（2）基于新型存儲架構的異質緩存管理

數(shù)據(jù)緩存是傳統(tǒng)數(shù)據(jù)庫領域中的核心技術之一，它對于提升系統(tǒng)存取性能有著非常重要的作用。在大數(shù)據(jù)環(huán)境下，由于數(shù)據(jù)量的急劇增加，數(shù)據(jù)緩存的重要性尤為突出，因為如果讓每個應用直接在全部的大數(shù)據(jù)上運行將很難保證訪問性能。目前一種普遍的觀點認為，雖然大數(shù)據(jù)環(huán)境下數(shù)據(jù)量很大，但對一個具體應用而言，涉及的只是大數(shù)據(jù)集合中的一部分（小數(shù)據(jù)）。但是，在新型存儲架構下，數(shù)據(jù)存儲涉及了DRAM、PCM、SSD等具有完全不同訪問特性的存儲介質，在緩存層也同樣面臨著多種介質共存的局面，例如數(shù)據(jù)既可以緩存在DRAM中，也可以緩存在PCM中，甚至也可以緩存在SSD中。這類異質緩存管理問題是傳統(tǒng)數(shù)據(jù)緩存研究中不曾面臨的新問題，也是構建基于新型存儲的高效大數(shù)據(jù)管理系統(tǒng)的關鍵所在，需要首先分析異質緩存管理中的普遍性問題，闡明異質緩存管理的一些新的準則，在此基礎上研究新的方法。

（3）基于新型存儲架構的大數(shù)據(jù)索引

在傳統(tǒng)的基于“DRAM＋SSD/HDD”的存儲架構下，DRAM與外存之間的I/O是影響系統(tǒng)查詢處理性能的瓶頸。但在基于新型存儲架構的大數(shù)據(jù)應用系統(tǒng)中，索引的設計不僅要考慮內外存之間的I/O代價，還要考慮異質內存之間的數(shù)據(jù)遷移代價（從DRAM到PCM以及從PCM到DRAM），此外還要考慮PCM等新型存儲的器件特性（例如芯片寫次數(shù)有限制）。另一方面，大數(shù)據(jù)應用系統(tǒng)往往構建在分布式環(huán)境之上，由于數(shù)據(jù)的分布以及涉及的數(shù)據(jù)量過大，傳統(tǒng)的單一索引機制不能從根本上解決問題。因此，需要針對新型存儲和分布式查詢處理要求，設計相應的大數(shù)據(jù)索引結構以及操作算法。

6 結束語

高效的大數(shù)據(jù)存儲與管理如果僅從軟件體系結構考慮很難取得本質性突破，因為在大數(shù)據(jù)環(huán)境下內存與外存之間的I/O瓶頸很難克服。以PCM為代表的新型存儲為大數(shù)據(jù)高效存儲與實時處理提供了可能。研究適合高效大數(shù)據(jù)存儲和管理的新型存儲架構，借助創(chuàng)新的系統(tǒng)軟件設計，改變大數(shù)據(jù)處理過程中對外存I/O的依賴，有望克服目前大數(shù)據(jù)存儲與管理中的性能瓶頸，并進一步帶動大數(shù)據(jù)技術的未來發(fā)展。本文討論了新型存儲的特點以及現(xiàn)有大數(shù)據(jù)存儲技術的局限性，在此基礎上綜述了基于新型存儲的大數(shù)據(jù)存儲管理領域的研究現(xiàn)狀，最后給出了未來研究展望，以期能對新型存儲與大數(shù)據(jù)管理的未來研究提供有價值的參考。

目前，由于非易失內存技術仍處于研發(fā)階段，工業(yè)界還沒有推出真正可用的新型存儲系統(tǒng)，因此目前的研究還只能在新型存儲模擬器[49]上展開。隨著非易失內存芯片工藝上的突破，預計幾年內會出現(xiàn)可用的新型存儲系統(tǒng)。屆時，可以基于實際的平臺開展理論和實驗，對基于新型存儲的理論研究成果進行驗證。

[1] 孟小峰, 慈祥. 大數(shù)據(jù)管理：概念、技術與挑戰(zhàn)[J]. 計算機研究與發(fā)展, 2013, 50(1):146-169.MENG X F, CI X. Big data management:concepts, techniques and challenges[J].Journal of Computer Research and Development, 2013, 50(1): 146-169.

[2] LU C, SHI J P, JIA J Y. Abnormal event detection at 150 FPS in MATLAB[C]//2013 IEEE International Conference on Computer Vision(ICCV), December 1-8,2013, Sydney, Australia. New Jersey:IEEE Press, 2013: 2720-2727.

[3] CHENG M M, ZHANG Z M, LIN W Y, et al.BING: binarized normed gradients for objectness estimation at 300fps[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 23-28,2014, Columbus, USA. New Jersey: IEEE Press, 2014: 3286-3293.

[4] YAN J J, LEI Z, WEN L Y, et al. The fastest deformable part model for object detection[C]// 2014 IEEE Conference on Computer V ision and Pat tern Recognition(CVPR), June 23-28, 2014,Columbus, USA. New Jersey: IEEE Press,2014: 2497-2504

[5] ROSS B. Girshick: fast R-CNN[C]//International Conference on Computer Vision(ICCV), December 13-16, 2015,Santiago, Chile. [S.l.:s.n.], 2015: 1440-1448

[6] 申德榮, 于戈, 王習特, 等. 支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學報, 2013,24(8): 1786-1803.SHEN D R, YU G, WANG X T, et al.Survey on NoSQL for management of big data[J]. Journal of Software, 2013, 24(8):1786-1803.

[7] 哈索·普拉特納, 亞歷山大·蔡爾. 內存數(shù)據(jù)管理（第2版）[M]. SAP, 譯. 北京: 清華大學出版社, 2012.PLATTNER H, ZEIER A. In-memory data management(2nd edition)[M]. Translated by SAP. Beijing: Tsinghua University Press, 2012.

[8] 王江濤, 賴文豫, 孟小峰. 閃存數(shù)據(jù)庫：現(xiàn)狀、技術與展望[J]. 計算機學報, 2013, 36(8):1549-1567.WANG W T, LAI W Y, MENG X F. Flashbased database: studies, techniques and forecasts[J]. Chinese Journal of Computers, 2013, 36(8): 1549-1567.

[9] 吳章玲, 金培權, 岳麗華, 等. 基于PCM的大數(shù)據(jù)存儲與管理研究綜述[J]. 計算機研究與發(fā)展, 2015, 52(2): 343-361.WU Z L, JIN P Q, YUE L H, et al. A survey on PCM-based big data storage and management[J]. Journal of Computer Research and Development, 2015, 52(2):343-361.

[10] FREITAS R F, WILCKE W W. Storageclass memory: the next storage system technology[J]. IBM Journal of Research and Development, 2008, 52(4): 439-447

[11] BURR G W, KURDI B N, SCOTT J C, et al.Overview of candidate device technologies for storage-class memory[J]. IBM Journal of Research and Development, 2008,52(4): 449-464.

[12] HAO X J, JIN P Q, YUE L H. Efficient storage of multi-sensor object-tracking data[J]. IEEE Transactions on Parallel and Distributed Systems, 2016, 27(10): 2881-2894.

[13] HARTER T, BORTHAKUR D, DONG S Y,et al. Analysis of HDFS under HBase: a Facebook messages case study[C]//The 12th USENIX Conference on File and Storage Technologies(FAST), February 17-20,2014, Santa Clara, USA. Berkeley: USENIX Association Berkeley, 2014: 199-212.

[14] O'NEIL P E, CHENG E, GAWLICK D, et al.The log-structured merge-tree (LSMTree) [J]. Acta Informatica, 1996, 33(4):351-385.

[15] O U S T E R H O U T J K, G O PA L A N A,GUPTA A, et al. The RAMCloud storage system[J]. ACM Transactions on Computer Systems, 2015, 33(3): 7.

[16] 金培權, 郝行軍, 岳麗華. 面向新型存儲的大數(shù)據(jù)存儲架構與核心算法綜述[J]. 計算機工程與科學, 2013, 35(10): 12-24.JIN P Q, HAO X J, YUE L H. A survey on storage architectures and core algorithms for big data management on new storages[J]. Computer Engineering and Science, 2013, 35(10): 12-24.

[17] 張鴻斌, 范捷, 舒繼武, 等. 基于相變存儲器的存儲系統(tǒng)與技術綜述[J]. 計算機研究與發(fā)展, 2014, 51(8): 1647-1662.ZHANG H B, FAN J, SHU J W, et a l.Summar y of s to r ag e s ys te m an d technology based on phase change memory[J]. Journal of Computer Research and Development, 2014, 51(8): 1647-1662.

[18] VIGLAS S D. Write-limited sorts and joins for persistent memory[J]. Proceedings of the VLDB Endowment, 2014, 7(5): 413-424.

[19] XIA F, JIANG D J, XIONG J, e t al.A survey of phase change memory systems[J]. Journal of Computer Science and Technology, 2015, 30(1): 121-144.

[20] 冒偉, 劉景寧, 童薇, 等. 基于相變存儲器的存儲技術研究綜述[J]. 計算機學報, 2015,38(5): 944-960.MAO W, LIU J N, TONG W, et al. A review of storage technology research based on phase change memory[J]. Chinese Journal of Computers, 2015, 38(5): 944-960.

[21] 陳 小 剛 , 許 林 海 , 陳 一 峰 , 等. 一 種非易失性隨機存儲器及其操作方法:CN201110202834.7[P]. 2013-01-23.CHEN X G, XU L H, CHEN Y F, et al.A non-volatile random memory and its operations: CN201110202834.7[P]. 2013-01-23.

[22] 繆向水, 余念念, 童浩, 等. 相變存儲器:CN105247677A[P]. 2015-11-05.MIAO X S, YU N N, DONG H, et al.Phase change memory: CN105247677A[P].2015-11-05.

[23] QURESHI M K, SRINIVASAN V, RIVERS J A.Scalable high performance main memory system using phase-change memory te chno l o g y[C]//T he 36th Annual International Symposium on Computer Architecture(ISCA), June 20-24, 2009,Austin, USA. New York: ACM Press,2009: 24-33.

[24] Q U R E S H I M K, K A R I D I S J P,FRANCESCHINI M, et al. Enhancing lifetime and security of PCM-based main memory with start-gap wear leveling[C]//The 42nd Annual IEEE/ACM International Symposium on Microarchitecture(MICRO),December 12-16, 2009, New York, USA.New Jersey: IEEE Press, 2009: 14-23.

[25] RAMOS L E, BIANCHINI R. Exploiting phase-change memory in cooperative caches[C]// 2012 IEEE 24th International Symposium on Computer Architecture and High Performance Computing(SBACPAD), October 24-26, 2012, New York,USA. New Jersey: IEEE Press, 2012:227-234.

[26] BADAM A, PAI V S. SSDAlloc: hybrid SSD/RAM memory management made easy[C]// The 8th USENIX Conference on Networked Systems Design and Implementation(NSDI), March 30-April 1,2011, Boston, USA. New York: ACM Press, 2011: 16-30.

[27] 韓旭, 曹巍, 孟小峰. 使用固態(tài)硬盤管理主存KV數(shù)據(jù)庫的虛擬內存[J]. 計算機科學與探索, 2011, 5(8): 686-694.HAN X, CAO W, MENG X F. Vir tual memory management for main-memory KV database using solid state disk[J].Journal of Frontiers of Computer Science& Technology, 2011, 5(8): 686-694.

[28] O U Y A N G X Y, I S L A M N S,RAJACHANDRASEKAR R, et al. SSD-assisted hybrid memory to accelerate memcached over high performance networks[C]//The 41st International Conference on Parallel Processing(ICPP),September 10-13, 2012, Pittsburgh, USA.New Jersey: IEEE Press, 2012: 470-479.

[29] 陳卓, 熊勁, 馬燦, 等. 基于SSD的機群文件系統(tǒng)元數(shù)據(jù)存儲系統(tǒng)[J]. 計算機研究與發(fā)展,2012, 49(z1): 269-275.CHEN Z, XIONG J, MA C, et al. SSD-based metadata storage system for cluster file system[J]. Journal of Computer Research and Development, 2012, 49(z1):269-275.

[30] RAMOS L E, GORBATOV E, BIANCHINI R.Page placement in hybrid memory systems[C]// The International Conference on Supercomputing(ICS), May 31 - June 4,2011, Tucson, USA. New York: ACM Press,2011: 85-95.

[31] WU Z L, JIN P Q, YUE L H. Efficient space management and wear leveling for pcm-based storage systems[C]// The 15th International Conference on Algorithms and Architectures for Parallel Processing(ICA3PP),November 18-20, 2015, Zhangjiajie, China.Berlin: Springer, 2015: 784-798.

[32] WU Z L, JIN P Q, YANG C C, et al.Efficient memory management for NVM-based hybrid memory systems[J].International Journal of Control and Automation, 2016, 9(1): 445-458.

[33] WU S, JIANG D W, OOI B C, et al.Efficient B-tree based indexing for cloud data processing[J]. Proceedings of the VLDB Endowment, 2010, 3(1): 1207-1218.

[34] WA N G J B, W U S, G A O H, e t a l.Indexing multi-dimensional data in a cloud system[C]// The 2010 ACM SIGMOD International Conference on Management of Data(SIGMOD), June 6-10, 2010,Indianapolis, USA. New York: ACM Press, 2010: 591-602.

[35] DING L L, QIAO B Y, WANG G R, et al.An efficient quad-tree based index structure for cloud data management[C]//International Conference on Web-Age Information Management (WAIM),September 14-16, 2011, Wuhan, China.Berlin: Springer Berlin Heidelberg, 2011:238-250.

[36] ZOU Y Q, LIU J, WANG S C, et al.CCIndex: a complemental clustering index on distributed ordered tables for multidimensional range queries[C]// IFIP International Conference on Network and Parallel Computing(NPC), April 28, 2011,Changsha, China. Berlin: Springer, 2010:247-261.

[37] NISHIMURA S, DAS S, AGRAWAL D,et al. MD-HBase: a scalable multidimensional data infrastructure for location aware services[C]//The 12th IEEE International Conference on Mobile Data Management(MDM), June 6-9, 2011,Lulea, Sweden. New Jersey: IEEE Press,2011: 7-16

[38] MA Y Z, R AO J, HU W S, et al. An efficient index for massive IOT data in cloud environment[C]// The 21st ACM International Conference on Information and Knowledge Management(CIKM),October 29-November 2, 2012, Maui, USA.New York: ACM Press, 2012: 2129-2133.

[39] AHN J S, KANG D W, JUNG D, et al.μ*-Tree: an ordered index structure for NAND flash memory with adaptive page layout scheme[J]. IEEE Transactions on Computers, 2013, 62(4): 784-797.

[40] ATHANA SSOULIS M, AIL AM AK I A.BF-Tree: approximate tree indexing[J].Proceedings of the VLDB Endowment,2014, 7(14): 1881-1892.

[41] ON S T, HU H B, LI Y, et al. Flashoptimized B+-tree[J]. Journal of Computer Science and Technology (JCST), 2010,25(3): 509-522.

[42] CUI K, JIN P Q, YUE L H. HashTree:a new hybrid index for flash disks[C]//The 12th International Asia-Pacific Web Conference(APWeb), April 6-8, 2010,Busan, Korea. New Jersey: IEEE Press,2010: 45-51.

[43] JIN P Q, YANG C C, JENSEN C S, et al.Read/Write-optimized tree indexing for solid state drives[J]. VLDB Journal, 2016,25(5): 695-717.

[44] CHEN S M, GIBBONS P B. SumanNath:rethinking database algorithms for phase change memory[C]//The 5th Biennial Conference on Innovative Data Systems Research(CIDR), January 9-12, 2011,Asilomar, USA. [S.l.:s.n.], 2011: 21-31.

[45] CHEN S M, JIN Q. Persistent B+-Trees in non-volatile main memory[J]. Proceedings of the VLDB Endowment, 2015, 8(7):786-797.

[46] HU W W, LI G L, NI J C, et al. Bptree: a predictive B+-tree for reducing writes on phase change memory[J]. IEEE Transactions on Knowledge and Data Engineering, 2014, 26(10): 2368-2381.

[47] CHI P, LEE W C, XIE Y. Making B+-tree efficient in PCM-based main memory[C]//International Symposium on Low Power Electronics and Design(ISLPED), August 11-13, 2014, La Jolla, USA. [S.l.:s.n.], 2014:69-74.

[48] L I L, J I N P Q, YA N G C C, e t a l.Optimizing B+-Tree for PCM-based hybrid memory[C]//The 19th International Conference on Extending Database Technology(EDBT), March 15-18, 2016,Bordeaux, France. [S.l.:s.n.], 2016:662-663.

[49] ZHANG D Z, JIN P Q, WANG X L, et al.DPHSim: a flexible simulator for DRAM/PCM-based hybrid memory[C]// Asia-Pacific Web (APWeb) and Web-Age Information Management (WAIM) Joint Conference on Web and Big Data(APWeb/WAIM), July 7-9, 2017, Beijing, China.Berlin: Springer, 2017: 319-323.

Big data storage management based on new storage

JIN Peiquan1,2
1. School of Computer Science and Technology, University of Science and Technology of China, Hefei 230027, China 2. Key Laboratory of Electromagnetic Space Information, Chinese Academy of Sciences, Hefei 230027, China

How to efficiently store big data and support real-time big data processing and analysis has been the most critical issue in the development of big data technologies. Recently, new storage media such as phase change memory and flash memory provides new opportunities for developing an efficient framework for big data storage and management. Based on the challenges of efficient storage and real-time processing in big data storage and management, storage class memories were focused, which were represented by phase change memory, and the state of the art of new-storage-based big data storage management was discussed. Finally, some future research directions for new-storage-based big data storage management were proposed.

phase change memory, big data management, new storage, storage management

The National Natural Science Foundation of China (No.61672479)

TP311

A

10.11959/j.issn.2096-0271.2017053

金培權（1975-），男，博士，中國科學技術大學計算機科學與技術學院和中國科學院電磁空間信息重點實驗室副教授、碩士生導師，目前主要從事大數(shù)據(jù)與數(shù)據(jù)庫領域的研究工作，近年來主持了20余項科研項目，包括5項國家自然科學基金項目和2項“863”計劃項目，在VLDB Journal、TKDE、TPDS、ICDE、WWW等本領域著名期刊和會議上發(fā)表論文20余篇，曾獲中國科學院院長獎、NPC 2014最佳論文獎、DASFAA 2015最佳海報獎、NDBC 2012最佳論文提名獎以及NDBC 2011最佳系統(tǒng)演示獎。

2017-05-10

國家自然科學基金資助項目（No.61672479）