高尚建　魏國　楊功

摘? 要：大數據時代數據成為了企業(yè)非常有價值的資源，對實時產生的海量大數據進行價值最大化挖掘成為了企業(yè)當前非常重要的一項工作和追求目標。而針對如此海量的數據，首先要解決的一個問題就是采取何種方式進行存儲。基于此，文章結合當前大數據時代企業(yè)經營數據信息的實際，就如何管理好這些海量大數據進行了分布式文件存儲系統(tǒng)的應用研究，以期通過充分發(fā)揮分布式文件存儲系統(tǒng)的優(yōu)勢實現對海量數據資源處理的水平和能力，讓企業(yè)數據資源發(fā)揮了最有效的價值。

關鍵詞：海量數據;分布式文件存儲;優(yōu)化管理

中圖分類號：TP311.1? ? ? ? 文獻標志碼：A? ? ? ? ?文章編號：2095-2945（2020）18-0181-02

Abstract： The data of big data era has become a very valuable resource for enterprises， and it has become a very important work and goal for enterprises to maximize the value of the massive big data generated in real time. In view of such a large amount of data， the first problem to be solved is how to store it. Based on this， combined with the reality of enterprise management data information in big data era， this paper makes a research on the application of distributed file storage system on how to manage these massive big data well. In order to achieve the level and ability to deal with massive data resources by giving full play to the advantages of distributed file storage system， so that enterprise data resources play the most effective value.

Keywords： massive data; distributed file storage; optimal management

前言

對于企業(yè)信息化數據的存儲來說，以往由于企業(yè)的數據量不是很大，傳統(tǒng)的集中式存儲以其功能豐富、穩(wěn)定可靠性高優(yōu)勢就可以很好的實現數據存儲，然而隨著數字化時代的到來，企業(yè)每天都實時產生了相當的數據，這些數據海量冗雜且實時更新，數據量也從GB級一直往ZB級上飆升，再用傳統(tǒng)的集中式存儲就出現了各種問題，主要表現為存儲系統(tǒng)難以橫向擴展、硬件成本居高不下、數據有效連通性不足等，導致企業(yè)數據存在諸多孤島，難以有效實現數據管理。而以云存儲為代表的分部署存儲則有效避免了因為常規(guī)集中式存儲難以高效的處理海量數據所出現的問題，不僅實現了數據管理的高效化，也大大降低了企業(yè)數據管理運行成本。因此，針對當前大數據時代企業(yè)的數據管理應用分布式文件存儲系統(tǒng)非常合適且必要。

1 分布式存儲的定義

數據的存儲按照物理存儲形態(tài)的分類來說在應用中最多的就是集中式存儲以及分布式存儲。作為一種數據存儲的技術，兩種存儲的實現方式完全不同，傳統(tǒng)的集中式存儲主要是通過設備的增加來增大數據容量，而分布式存儲則主要以軟件服務的方式來完成，是服務器、服務、軟件的綜合體，它是通過非標準協(xié)議的方式整合企業(yè)各類服務器上的存儲資源，并進行存儲資源池化和虛擬化處理，最后呈現給用戶某種形式（塊存儲或者文件存儲）的存儲空間。具體來說就是將企業(yè)中分散在每臺機器設備上的磁盤空間數據通過網絡和運行存儲軟件的形式整合起來形成一個可以擴展的結構系統(tǒng)在進行的一種存儲服務，其可以讓這些服務器都可以對數據存儲進行負荷承擔，這樣不僅對數據的處理能力大大提高，而且更加高效更加實用更加節(jié)約成本。

2 分布式文件存儲系統(tǒng)的主要特征分析

傳統(tǒng)的集中式存儲主要是通過存儲矩陣來實現數據存儲管理，其雖然功能豐富，穩(wěn)定性和可靠性也都很不錯，但是在應對海量數據時卻缺陷明顯，不僅無法針對各類數據進行有機銜接，同時需要花更多的成本來進行硬件存儲設備的購置，這些都導致了數據處理的效率低下和成本居高不小。然而分布式文件存儲系統(tǒng)就很好的避免了這些問題的出現，因為分布式文件存儲系統(tǒng)并不是完全靠存儲設備來實現對數據的管理的，它主要是以非標準協(xié)議的方式來對企業(yè)各類設備上的數據進行有效的資源整合，并通過專業(yè)的存儲軟件來實現數據的有效存儲和管理，徹底解決了數據孤島和設備硬件成本高的問題。

總結起來說，分布式文件存儲系統(tǒng)具有以下幾個方面的特性：

2.1 可拓展性

分布式文件存儲系統(tǒng)的一個顯著特點就是可拓展，這是傳統(tǒng)集中式存儲系統(tǒng)無法比擬的，它通過將企業(yè)內所有的存儲有數據的設備有機連接起來，其可以通過擴展性將數據存儲資源擴展形成數百臺甚至幾千臺的設備存儲集群，并且通過擴展性讓存儲系統(tǒng)性能呈線性增長。

2.2 成本較低

一般的常規(guī)服務器就可以滿足分布式文件存儲系統(tǒng)的需要，存儲設備要求比較低，常規(guī)的就能有效利用，這也是分布式存儲系統(tǒng)優(yōu)勢的具體體現，那就是具有的自動負載均衡、自動容錯機制。由于在常規(guī)的普通服務器上既可有效的運行分布式存儲系統(tǒng)，那么數據存儲運行成本就大大降低了。此外，擴展性的優(yōu)勢也降低了分布式存儲系統(tǒng)對設備服務器的需求，進一步降低了成本。

2.3 性能優(yōu)越

分布式文件存儲系統(tǒng)高性能是其運行的一個顯著特點，在企業(yè)數據管理中，無論是單一的服務器應用還是整個企業(yè)數據集群存儲應用，分布式文件存儲系統(tǒng)數據存儲能力及效果都非常明顯。

2.4 實用性強

對于用戶來說，實現分布式存儲系統(tǒng)的應用簡單便捷是其性能發(fā)揮的又一特點，但是要想使這個系統(tǒng)使用起來非常實用便捷高效，對外接口的設計非常重要，在進行分布式存儲系統(tǒng)選擇使用時需要對用戶提供簡單好用的接口。此外，為了更好的與其它系統(tǒng)進行集成，可以提前設置好監(jiān)控、運維等工具系統(tǒng)。

2.5 容錯性

對服務器故障能夠實現快速的檢測，并且能夠實現對發(fā)生故障服務器上的數據進行自動化遷移。

分布式文件存儲系統(tǒng)雖然具有諸多的優(yōu)勢，但是在文件數據存儲管理過程中也面臨著一定調整，那就是持久化的保持數據和數據信息狀態(tài)，這是因為分布式存儲系統(tǒng)比較復雜的存儲拓撲結構，這樣就會增加系統(tǒng)出現故障的機率。要避免這樣的問題發(fā)生，數據一致性是首先要解決的問題，而要確保數據的一致性，需要系統(tǒng)在自動容錯、自動遷移以及并發(fā)讀寫的過程中來實現，并且要提前實現基于網絡控制下的數據保護、數據冗雜、數據容錯等功能，這就可以確保在企業(yè)設備各種服務器、磁盤或者交換機等出現故障或者某些異常情況時存儲系統(tǒng)仍能保持非常好的可靠性和可用性。

3 常用的分布式文件存儲系統(tǒng)

目前在用的分布式文件存儲系統(tǒng)比較多，它們在各個領域的應用中其側重的點不盡相同，在市場中應用中較多的為企業(yè)應用級，系統(tǒng)級的相對不多，主要的有GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等等。

4 典型的分布式文件存儲的架構

在眾多的分布式文件存儲系統(tǒng)的應用中，開源的應用最為廣泛，本文以hadoop的HDFS為例，就其系統(tǒng)結構的設計進行了詳細闡述。

Hadoop是當前應用非常廣泛的一種文本搜索庫系統(tǒng)之一，它的來源是Apache Nutch，由Doug Cutting開發(fā)，其是Doug Cutting開發(fā)的Apache Lucene項目中的一部分，作為Google系統(tǒng)的重要組成部分，其實現的是網絡搜索引擎開源化。其中的Aapche Hadoop架構作為一種開源應用，其根本算法是MapReduce。Hadoop實現了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。作為一個容錯性非常高的分布式文件系統(tǒng)，其一般會被優(yōu)化設計而在常規(guī)的機器設備上就可以運行的，特別是一些同樣的硬件設備都可以高效的運行，其性能的發(fā)揮主要體現在通過應用在規(guī)模龐大的數據集上而表現出訪問吞吐量非常高的價值體現。

4.1 大規(guī)模數據集

在HDFS系統(tǒng)上進行文件存儲系統(tǒng)的運行，數據集規(guī)模龐大是最顯著的特點，特別是對于大文件的存儲尤其為特點，并且能有效實現高數據帶寬的功能。一個單一的HDFS就可以支持以千萬量級計的文件，這些文件的大小通常都在G字節(jié)至T字節(jié)。

4.2 簡單的一致性模型

為確保HDFS系統(tǒng)進行文件存儲時進行海量數據的訪問，文件訪問模型的建立非常關鍵，模型形式具體是“一次寫入多次讀取”，而且這個模型通常在進行了創(chuàng)建、寫入和關閉操作之后就不需要進行改變了，同時這個模型是一個相對簡化的模型。現在各分布式文件存儲系統(tǒng)都進一步提升了這個模型的實用性，可以在此基礎上對模型進行優(yōu)化，使之可以對支持的文件進行寫操作處理。

4.3 異構軟硬件平臺間的可移植性

文件存儲系統(tǒng)對文件數據進行存儲時就對平臺的可移植性進行了結構設計，這樣的功能就對于提高HDFS系統(tǒng)的應用具有明顯的優(yōu)勢，特別是在海量大數據的存儲方面具有突出的優(yōu)勢。

5 結束語

通過分布式文件存儲系統(tǒng)的應用，有效的實現了企業(yè)海量數據的管理和利用，避免了數據孤島及數據分散的問題，同時由于可以彈性擴展使數據儲存空間的利用率大大提高，大大降低了軟硬件運行成本，非常適合數字化時代企業(yè)大數據存儲。

參考文獻：

[1]王梅，張四平.基于分布式系統(tǒng)的大數據管理平臺技術架構研究[J].電腦與電信，2019（10）：10-13.

[2]喬萌萌.基于Hadoop的云存儲技術在檔案館的應用研究[J].信息與電腦，2019（24）：163.

[3]王大志.基于HDFS的跨集群分布式文件系統(tǒng)研究[J].信息技術與信息化，2018（08）：230.