荊東星

摘 要：在本篇文章當(dāng)中，我們針對(duì)數(shù)據(jù)中心存在大量的數(shù)據(jù)冗余的問(wèn)題進(jìn)行了簡(jiǎn)單的探討，并且對(duì)于備份數(shù)據(jù)造成的存儲(chǔ)容量浪費(fèi)現(xiàn)象，提出了一種基于Hadoop平臺(tái)的分布式重復(fù)數(shù)據(jù)刪除解決方案。

關(guān)鍵詞：Hadoop;分布式重刪;存儲(chǔ)系統(tǒng)

一、我們對(duì)于重復(fù)數(shù)據(jù)刪除技術(shù)進(jìn)行研究和探討分析

我們可以從圖1當(dāng)中了解到，對(duì)于刪除重復(fù)數(shù)據(jù)技術(shù)來(lái)講，它內(nèi)在的主要思想是：可以將存入到內(nèi)部的數(shù)據(jù)進(jìn)行分割成塊，接著對(duì)于這一類(lèi)的數(shù)據(jù)進(jìn)行判斷是否進(jìn)行存儲(chǔ)。如果沒(méi)有進(jìn)行存儲(chǔ)的話，那么便需要使用到存儲(chǔ)塊的指針來(lái)進(jìn)行存儲(chǔ)。因此在本篇文章當(dāng)中，我們主要是對(duì)基于數(shù)據(jù)塊的重復(fù)數(shù)據(jù)刪除技術(shù)進(jìn)行簡(jiǎn)單的探討和分析。

二、相關(guān)工作探討

對(duì)于分布式刪除技術(shù)，主要是指分布式集群存儲(chǔ)系統(tǒng)中的刪除操作。在當(dāng)前的分布式重刪數(shù)據(jù)主要面對(duì)著效率，磁盤(pán)大小，可靠性以及擴(kuò)展性等方面的問(wèn)題，因此相關(guān)的工作人員就考慮到使用Hadoop平臺(tái)來(lái)進(jìn)行操作。對(duì)于Hadoop平臺(tái)來(lái)講，它有著高效率，低成本，高容錯(cuò)等優(yōu)點(diǎn)，能夠?qū)⒆詣?dòng)并行化，負(fù)載均衡等多項(xiàng)復(fù)雜的操作變?yōu)楹?jiǎn)化，大大的減輕了程序員的工作內(nèi)容。

三、基于Hadoop平臺(tái)的分布式重刪存儲(chǔ)系統(tǒng)

在基于Hadoop平臺(tái)的重刪研究當(dāng)中，我們需要使用到MapReduce的方式來(lái)進(jìn)行重刪并行化，但是重刪的速度仍然需要有效的提高。雖然分布式重刪可以在很大的程度上提升重刪速度，但是在每一個(gè)節(jié)點(diǎn)當(dāng)中仍然保留了一部分的指紋值，從而會(huì)在一定的程度上影響到數(shù)據(jù)的重刪率。本文實(shí)現(xiàn)了一個(gè)基于Hadoop分布式平臺(tái)的可擴(kuò)展分布式刪除集群，固定塊用于離線和精確地存儲(chǔ)備份數(shù)據(jù)，可以備份和使用某些大型文件。相應(yīng)的也提高了重刪的速度。我們主要是按照KB級(jí)的大小分塊來(lái)進(jìn)行數(shù)據(jù)塊級(jí)的重刪。系統(tǒng)體系如圖2所示。

（一）并行化重刪分析

為了能夠很好的提高重刪速度，我們對(duì)MapReduce這一個(gè)機(jī)制進(jìn)行了大力的改進(jìn)，并且減少了Reduce的流程，僅僅是通過(guò)Map函數(shù)并能夠?qū)崿F(xiàn)相應(yīng)的一些功能和操作。大致的說(shuō)來(lái)，對(duì)于系統(tǒng)當(dāng)中存在的MAP函數(shù)，這一個(gè)函數(shù)主要是對(duì)數(shù)據(jù)進(jìn)行讀取和預(yù)處理操作的。而對(duì)于REDUCE函數(shù)來(lái)講，它主要是進(jìn)行負(fù)責(zé)合并MAP中間產(chǎn)生的數(shù)據(jù)。因此對(duì)于REDUCE函數(shù)來(lái)講，它不能實(shí)現(xiàn)分組以及排序等操作。進(jìn)行處理。并且能夠在一定的程度上有效的避免Shuffle以及Sort這兩個(gè)階段的處理延時(shí)，因此在本篇文章當(dāng)中忽略了Reduce這一個(gè)操作，我們只需要通過(guò)MAP函數(shù)便可以實(shí)現(xiàn)重刪等操作，并且還可以提高重刪的速度。

（二）可擴(kuò)展性

在集群當(dāng)中可擴(kuò)展是內(nèi)部的一個(gè)重點(diǎn)關(guān)鍵，因此，如何在擴(kuò)展簇大小的同時(shí)有效地實(shí)現(xiàn)重復(fù)數(shù)據(jù)刪除的性能和容量，這也是我們?cè)谠O(shè)計(jì)集群時(shí)需要注意的問(wèn)題，對(duì)于系統(tǒng)當(dāng)中的地層來(lái)講，它是基于HADOOP平臺(tái)來(lái)進(jìn)行操作的，其內(nèi)部當(dāng)中的索引表會(huì)保存在數(shù)據(jù)當(dāng)中，那么當(dāng)我們?cè)谶M(jìn)行刪除操作以及查詢(xún)操作的時(shí)候便有著很好的擴(kuò)展性能。

當(dāng)我們需要擴(kuò)展集群的大小時(shí)，我們可以通過(guò)在元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)的配置文件中注冊(cè)來(lái)在線添加和刪除存儲(chǔ)節(jié)點(diǎn)，接著我們還需要操作系統(tǒng)來(lái)完成數(shù)據(jù)平衡操作，當(dāng)系統(tǒng)在對(duì)數(shù)據(jù)進(jìn)行處理的過(guò)程中，系統(tǒng)出現(xiàn)了負(fù)載的情況發(fā)生，我們能夠加入MAPPER節(jié)點(diǎn)來(lái)讓系統(tǒng)內(nèi)部的處理性能有所提高，另外，對(duì)于增加重刪存儲(chǔ)節(jié)點(diǎn)還可以在一定的程度上擴(kuò)展存儲(chǔ)容量。

（三）重刪操作之后如何進(jìn)行快速恢復(fù)

為了快速恢復(fù)已刪除 的文件，我們添加了元數(shù)據(jù)表來(lái)存儲(chǔ)文件數(shù)據(jù)的信息。對(duì)于系統(tǒng)來(lái)講，其內(nèi)部的操作只需要對(duì)元數(shù)據(jù)表進(jìn)行簡(jiǎn)單的維護(hù)和保存便可，我們?cè)谶M(jìn)行保存的過(guò)程中，可以發(fā)現(xiàn)在該表當(dāng)中我們可以將文件保存為記錄。對(duì)于數(shù)據(jù)表來(lái)講內(nèi)部有著兩個(gè)方面，第一個(gè)方面，主要是要用對(duì)文件的絕對(duì)路徑進(jìn)行記錄，另一個(gè)方面是用于對(duì)文件的數(shù)據(jù)信息進(jìn)行記錄，并且在記錄的過(guò)程當(dāng)中需要對(duì)文件的大小以及塊偏移值信息進(jìn)行有效的保存。我們可以從圖3當(dāng)中看出元數(shù)據(jù)表和索引表的關(guān)系。

當(dāng)對(duì)于刪除過(guò)后還需要進(jìn)行恢復(fù)的文件來(lái)講，那么我們便需要按照文件的路徑來(lái)進(jìn)行搜索，接著搜索到文件的原始數(shù)據(jù)信息便可。然后我們可以瀏覽存儲(chǔ)在文件元數(shù)據(jù)中的塊信息，這樣我們就可以獲得塊指紋值。然后我們可以通過(guò)塊指紋值找到索引表，這樣我們就可以得到數(shù)據(jù)塊的具體存儲(chǔ)位置。經(jīng)過(guò)幾次后，我們可以獲得原始文件了。

四、結(jié)語(yǔ)

總體的說(shuō)來(lái)，我們?yōu)榱四軌蚋玫淖屜到y(tǒng)的可用性變得十分穩(wěn)定，應(yīng)當(dāng)在日后的操作當(dāng)中，采用糾刪編碼技術(shù)來(lái)對(duì)需要進(jìn)行備份的文件進(jìn)行備份等相關(guān)操作。通過(guò)對(duì)存儲(chǔ)的單一副本數(shù)據(jù)進(jìn)行編碼，從而有效的提高系統(tǒng)的可靠性。

參考文獻(xiàn)：

[1]王奏鳴.分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)中路由方法的研究[D].重慶大學(xué)，2017.

[2]劉青，付印金，倪桂強(qiáng)，梅建民.基于Hadoop平臺(tái)的分布式重刪存儲(chǔ)系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2016，36（02）：330-335.

[3]王建輝，石宇良.支持文件重刪的HDFS分布式備份系統(tǒng)研究[J].電子設(shè)計(jì)工程，2014，22（04）：19-22.