摘要：文章主要研究了分布式存儲的定義及其特性，發(fā)現(xiàn)布式文件存儲系統(tǒng)拓展性強、容錯性高、成本較低。并對大數(shù)據(jù)存儲中分布式文件存儲系統(tǒng)的類型及其應用范圍作出了詳解。其中，GemFire系統(tǒng)具備較高的安全性并且能促進設備的智能化，是具有代表性、值得應用的系統(tǒng)之一。

關鍵詞：大數(shù)據(jù)存儲;分布式文件存儲系統(tǒng);應用

引言

2021年1月28日，中國海量存儲系統(tǒng)MassStor100排行榜發(fā)布，這是我國國內首個存儲領域權威榜單。大數(shù)據(jù)環(huán)境下，信息收集與存儲技術逐漸成為人們生活當中不可缺少的部分。并且大數(shù)據(jù)推動了傳統(tǒng)存儲技術的革新，促進了現(xiàn)代化基于網(wǎng)絡技術的存儲系統(tǒng)的生成。且大數(shù)據(jù)存儲中分布式文件存儲系統(tǒng)能夠以快速、便捷的方式完成信息存儲與管理，并且可以為用戶提供個性化存儲服務。但是不同的存儲系統(tǒng)適用的范圍與效果皆有不同，為實現(xiàn)用戶選擇合適的分布式文件存儲系統(tǒng)，對大數(shù)據(jù)存儲中分布式文件存儲系統(tǒng)進行了深入研究。

1 分布式存儲的定義

在大數(shù)據(jù)存儲技術中，根據(jù)物理形態(tài)可以分成兩大板塊：集中式存儲與分布式存儲。集中式存儲與分布式存儲實現(xiàn)數(shù)據(jù)存儲的形式與方法完全不一樣，集中式存儲利用設備的疊加來實現(xiàn)擴增大數(shù)據(jù)容量，分布式存儲則基于軟件服務來實現(xiàn)大數(shù)據(jù)存儲。分布式存儲需要服務器、服務和軟件形成一個完成存儲的綜合體，并且這個綜合體是采用非標準程序協(xié)議的方式對其他服務器已有的存儲資源進行整合利用。再通過由主體設備的固有存儲資源與其他軟件的增容資源進行聯(lián)合處理，實現(xiàn)存資源池化，同時進行虛擬化處理，最終呈現(xiàn)給用戶“塊存儲”或“文件存儲”形式的大容量存儲空間。總的來說，就是將一些分散在不同機器設備中的磁盤空間數(shù)據(jù)，利用網(wǎng)絡技術和支持運行存儲的軟件對其進行有效整合，以此搭建一個可以延伸擴展、完整的結構系統(tǒng)，實現(xiàn)對海量數(shù)據(jù)的存儲服務。

2 分布式文件存儲系統(tǒng)的特性

2.1可拓展性

大數(shù)據(jù)存儲中分布式文件存儲系統(tǒng)一個較顯著的特點就是其具備可拓展性能。傳統(tǒng)集中式的存儲系統(tǒng)無法實現(xiàn)對其他機器設備的有效連接與延伸，而分布式存儲系統(tǒng)不但可以對不同的及其設備與軟件的進行有效連接，進行存儲資源整合，還能通過其擴展性優(yōu)勢實現(xiàn)對數(shù)百上千臺機器設備的存儲利用，并形成一個覆蓋范圍較大的存儲集群[1]。

2.2容錯性

分布式文件存儲系統(tǒng)強大的容錯性效能，可以快速完成對服務器的故障檢測，并且可以對發(fā)生故障的服務器及時進行內部數(shù)據(jù)的高效自動化遷移。但是分布式文件存儲系統(tǒng)在內部數(shù)據(jù)的存儲與管理過程中，需要對其進行適當調整以實現(xiàn)存儲數(shù)的持久化，保障數(shù)據(jù)信息資源的穩(wěn)定狀態(tài)。究其原因，是因為分布式文件存儲系統(tǒng)中的存儲拓撲結構較為復雜，而運行繁瑣則會對分布式文件存儲系統(tǒng)造成一定影響，會增加系統(tǒng)發(fā)生故障的概率。為了預防系統(tǒng)故障的可能，則需要分布式文件存儲系統(tǒng)切實保障存儲數(shù)據(jù)的一致性，這就需要分布式文件存儲系統(tǒng)通過自動容錯、自動遷移和并發(fā)讀寫等過程中完成數(shù)據(jù)一致性。

2.3成本低

分布式文件存儲系統(tǒng)對存儲設備的要求較低，常規(guī)服務器就能滿足分布式文件存儲系統(tǒng)的基本需求，支撐分布式文件存儲系統(tǒng)運行。因此分布式文件存儲系統(tǒng)所消耗的成本較低，這也是分布式文件存儲系統(tǒng)比較明顯的優(yōu)勢與特點。同時，分布式存儲系統(tǒng)得到拓展性也大幅度降低了其對服務器的要求，進一步減少了分布式文件存儲系統(tǒng)運行所需的設備服務器成本。

3 大數(shù)據(jù)存儲中分布式文件存儲系統(tǒng)的應用

3.1 GemFire系統(tǒng)

當前被廣泛運用的分布式文件存儲系統(tǒng)主要包含兩個部分：Hadoop與NoSQL。Hadoop是分布式系統(tǒng)基礎架構，而NoSQL是非關系型的數(shù)據(jù)庫，兩者涉及和被應用的領域都較廣泛。除此之外，還有較前沿的NewSQL技術，三者之間的存儲原理存在一致性，都是基于對存儲空間進行合理利用與升級優(yōu)化，從而保障數(shù)據(jù)存儲的有效性并促進資源優(yōu)化分配。而分布式文件存儲技術已然成為大數(shù)據(jù)存儲中的核心技術，并且GemFire系統(tǒng)是比較具有代表性的分布式文件存儲系統(tǒng)。在實際運用過程中，GemFire系統(tǒng)主要設計成橫向擴展模式與其他機器設備的數(shù)據(jù)庫完成對接[2]。同時，GemFire系統(tǒng)還可以對數(shù)據(jù)存儲空間進行虛擬化處理，方便用戶對存儲空間進行集中化管理。并且GemFire系統(tǒng)不需要依靠特定的讀寫磁盤就能實現(xiàn)對數(shù)據(jù)的有效存儲，具有較高的穩(wěn)定性，有利于提高存儲數(shù)據(jù)空間的可靠性和保障數(shù)據(jù)的安全性。目前GemFire系統(tǒng)就被應用到我國鐵道部的乘客信息安全與管理過程當中，所以在優(yōu)先保障數(shù)據(jù)存儲安全與無讀寫磁盤限制時，可以選擇GemFire系統(tǒng)這類極限數(shù)據(jù)分布式存儲技術進行數(shù)據(jù)存儲。

3.2 Swift 系統(tǒng)

分布式文件存儲技術的成本要求具有多元化的特點，并且有一些分布式文件存儲技術只需較低的運行成本就能達到滿足用戶需要的存儲效果。這類低成本、低消耗分布式存儲系統(tǒng)與作用對象存在較大關聯(lián)，并且在實際過程中，這類分布式文件存儲技術會利用相關的網(wǎng)頁服務協(xié)議分離數(shù)據(jù)通道及其對應的控制通道，進一步完成分布式文件存儲系統(tǒng)對不同數(shù)據(jù)庫的管控與利用。另外，這種存儲技術能夠有效促進存儲對象提高自身智能屬性。比較有代表性的就是Swift 系統(tǒng)，主要由數(shù)據(jù)訪問系統(tǒng)和數(shù)據(jù)自檢系統(tǒng)組成其中，Swift系統(tǒng)所含的數(shù)據(jù)訪問系統(tǒng)需要專門的服務器才能實現(xiàn)，并且需要其他模塊設置成相對應的運行系統(tǒng)才能順利進行，尤其是要保障數(shù)據(jù)檢索功能的對應。Swift系統(tǒng)創(chuàng)建的各個數(shù)據(jù)存儲空間處于平等地位，并且內部的系統(tǒng)框架能夠形成對稱效果，進一步增強了Swift系統(tǒng)的擴展性，除此之外，當系統(tǒng)內某個存儲空間出現(xiàn)故障時也不會造成數(shù)據(jù)的丟失，具備較高的安全保護性能。

3.3自定義分布式存儲技術

自定義分布式存儲技術有利于用戶結合自身需求選擇適用的分布式文件存儲系統(tǒng)。自定義分布式存儲技術能夠結合機器設備、存儲軟件的需要，對內部系統(tǒng)進行調整與改進。當前市面上較為常見、應用較多的主要是Ceph系統(tǒng)，Ceph系統(tǒng)因其具備多個對外接口可以實現(xiàn)存儲軟件拓寬訪問渠道，并且可以結合用戶需求和軟件要求提供個性化的存儲模式，基于不同需求設置塊存儲、文件存儲、對象存儲等模式。此外，Ceph系統(tǒng)還可以對Librbd 存儲系統(tǒng)、Rados-GW 系統(tǒng)提供有效支撐。雖然Ceph系統(tǒng)通過將多種存儲模式融入存儲系統(tǒng)的整體框架當中，實現(xiàn)與不同存儲模式的系統(tǒng)進行有機結合，但是Ceph系統(tǒng)的存儲模式及其覆蓋范圍難以支持系統(tǒng)跨度較大的規(guī)模布置。

結語

大數(shù)據(jù)存儲中分布式文件存儲系統(tǒng)，由于其容錯性高、可拓展性強好消耗成本較低的優(yōu)勢，在眾多領域中得到廣泛應用。并且根據(jù)其不同特性，用戶可結合自身需要進行選擇。分布式文件存儲系統(tǒng)的不同存儲模式對應的及其設備與存儲軟件也不盡相同，但是目前已有的GemFire系統(tǒng)、Swift 系統(tǒng)等，對數(shù)據(jù)存儲的保護作用較強，還能實現(xiàn)對資源的優(yōu)化分配，對用戶來說都是不錯的選擇。

參考文獻

[1]劉蘇英. 分布式文件存儲系統(tǒng)在電子通信大數(shù)據(jù)存儲中的應用[J]. 九江學院學報（自然科學版），2021，36（02）：78-80.

[2]高尚建，魏國，楊功. 基于海量數(shù)據(jù)優(yōu)化管理的分布式文件存儲系統(tǒng)應用研究[J]. 科技創(chuàng)新與應用，2020，（18）：181-182.

作者簡介：劉建斌（1990年5月），男，漢族，籍貫：山西省忻州市人，學歷：碩士，職稱：助教，研究方向：數(shù)據(jù)存儲技術。