重復(fù)數(shù)據(jù)刪除技術(shù)已經(jīng)引起了廠商和IT管理者的高度關(guān)注，人們寄希望以此來(lái)減少大多數(shù)數(shù)據(jù)中心遇到的數(shù)據(jù)急劇增長(zhǎng)所帶來(lái)的困難。但是部署這一新技術(shù)時(shí)，需要從各方面考慮清楚。

大約在十年前，重復(fù)數(shù)據(jù)刪除技術(shù)(DataDeduplication)就開(kāi)始浮出水面，而只是最近它才成為一項(xiàng)主流技術(shù)。在接下來(lái)的幾年里，重復(fù)數(shù)據(jù)刪除技術(shù)可能會(huì)像今天的時(shí)間點(diǎn)拷貝和RAID技術(shù)一樣常見(jiàn)。

重復(fù)數(shù)據(jù)刪除是一種激動(dòng)人心的概念，因?yàn)樗軌虼蠓档痛鎯?chǔ)及移動(dòng)數(shù)據(jù)的成本。許多廠商在介紹自身產(chǎn)品優(yōu)點(diǎn)的同時(shí)，夸大了其他替代產(chǎn)品的缺點(diǎn)，這使得潛在的客戶(hù)不由得犯疑:“我該不該部署重復(fù)數(shù)據(jù)刪除技術(shù)?該把它用在何處?什么產(chǎn)品最適合我的環(huán)境?”

我們還是來(lái)客觀地分析一下這項(xiàng)技術(shù)以及每種方案各自的優(yōu)缺點(diǎn)，以免IT管理員、IT經(jīng)理和CIO們盲目相信廠商們營(yíng)銷(xiāo)時(shí)的一套說(shuō)法。

重復(fù)數(shù)據(jù)刪除是如何工作的?

重復(fù)數(shù)據(jù)刪除技術(shù)基于數(shù)據(jù)壓縮的概念和方法，包括重復(fù)數(shù)據(jù)集刪除及其他技術(shù)。重復(fù)數(shù)據(jù)刪除借鑒了數(shù)據(jù)壓縮采用的尋找冗余信息這一概念，但所處理的數(shù)據(jù)量大大增加。重復(fù)數(shù)據(jù)刪除要處理的數(shù)據(jù)達(dá)到TB級(jí)或PB級(jí)，而不是壓縮技術(shù)的KB級(jí)。

所有重復(fù)數(shù)據(jù)刪除解決方案都會(huì)尋找數(shù)據(jù)中的冗余信息，無(wú)論是在文件級(jí)、對(duì)象級(jí)還是子對(duì)象塊級(jí)。早期的重復(fù)數(shù)據(jù)刪除技術(shù)著眼于文件，旨在消除重復(fù)文件。目前市場(chǎng)上仍存在這些方法，稱(chēng)為單實(shí)例存儲(chǔ)(single instance storage)。最近的改良版技術(shù)可以針對(duì)多種類(lèi)型的數(shù)據(jù)尋找重復(fù)數(shù)據(jù)，找出長(zhǎng)度不一的重復(fù)部分。

重復(fù)數(shù)據(jù)刪除的工作方式通常是先分析數(shù)據(jù)，為某部分信息計(jì)算出簡(jiǎn)寫(xiě)或惟一的標(biāo)識(shí)。子文件級(jí)或塊級(jí)的重復(fù)數(shù)據(jù)刪除技術(shù)通常把數(shù)據(jù)細(xì)分成幾段，用于進(jìn)行重復(fù)數(shù)據(jù)刪除。每段數(shù)據(jù)都有指紋印，使用密碼散列來(lái)查看這部分信息之前有沒(méi)有存儲(chǔ)過(guò)。只要存在相同部分的數(shù)據(jù)，就用原始數(shù)據(jù)的索引來(lái)替換，因而節(jié)省了空間。計(jì)算簡(jiǎn)寫(xiě)指紋索引的數(shù)學(xué)算法稱(chēng)為“密碼散列”(cryptographic hash)。目前有許多散列算法，包括MD5和SHA-256，另外還有其他專(zhuān)用算法。

何時(shí)考慮部署?

通過(guò)消除冗余數(shù)據(jù)來(lái)節(jié)省成本能夠在整個(gè)數(shù)據(jù)中心引起連鎖反應(yīng)。若能推遲購(gòu)買(mǎi)新的存儲(chǔ)系統(tǒng)，或者擴(kuò)展現(xiàn)有存儲(chǔ)系統(tǒng)的實(shí)際容量，就有望節(jié)省成本。由于使用物理存儲(chǔ)系統(tǒng)的數(shù)量減少了，因而電力、冷卻和場(chǎng)地等方面的要求也隨之減小，這就進(jìn)一步節(jié)省了成本。另一個(gè)潛在的優(yōu)點(diǎn)就是可以減少通過(guò)局域網(wǎng)、廣域網(wǎng)和存儲(chǔ)網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量，從而減少了對(duì)網(wǎng)絡(luò)設(shè)備的需要，并降低了帶寬需求。

一旦了解了重復(fù)數(shù)據(jù)刪除技術(shù)，就比較容易知道何時(shí)部署解決方案、部署到何處及怎樣部署。不是所有數(shù)據(jù)都很適合采用重復(fù)數(shù)據(jù)刪除技術(shù)，得到的好處也不盡相同。因而，用戶(hù)在考慮是否部署重復(fù)數(shù)據(jù)刪除時(shí)，應(yīng)該提出這樣幾個(gè)問(wèn)題:

● 我該何時(shí)對(duì)數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除?

● 我該在何處對(duì)數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除?

● 市面上有什么樣的方案可以選擇?

我們還需要考慮有關(guān)架構(gòu)方面的問(wèn)題:該對(duì)所有數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除，還是只要對(duì)部分?jǐn)?shù)據(jù)進(jìn)行這種處理?我該在存儲(chǔ)數(shù)據(jù)時(shí)進(jìn)行重復(fù)數(shù)據(jù)刪除，還是以后再進(jìn)行這種處理?在選擇總體架構(gòu)之前，應(yīng)分析及了解所有這些問(wèn)題，然后再選擇一家廠商。

需要關(guān)注的問(wèn)題

消除冗余數(shù)據(jù)的想法聽(tīng)上去有風(fēng)險(xiǎn)。新技術(shù)通常都會(huì)帶來(lái)一些額外風(fēng)險(xiǎn)，但隨著產(chǎn)品的不斷改進(jìn)，問(wèn)題也會(huì)隨之得到解決。重復(fù)數(shù)據(jù)刪除背后的許多理念在數(shù)據(jù)壓縮領(lǐng)域運(yùn)用了幾十年了，已經(jīng)是成熟的技術(shù)了。

一些新技術(shù)都會(huì)重新映射數(shù)據(jù)，并改變數(shù)據(jù)的物理布局，比如磁帶驅(qū)動(dòng)器的邏輯塊尋址、RAID、時(shí)間點(diǎn)拷貝和復(fù)制。最初，有許多這樣的技術(shù)被認(rèn)為有風(fēng)險(xiǎn)，但是隨著這些技術(shù)的日漸成熟，以及廠商們拿出了性能可靠的產(chǎn)品，這些技術(shù)便逐漸得到了采用及接受。近十年來(lái)，重復(fù)數(shù)據(jù)刪除技術(shù)一直不斷進(jìn)步，目前的產(chǎn)品存在的風(fēng)險(xiǎn)非常小。

一些用戶(hù)希望將重復(fù)數(shù)據(jù)刪除與歸檔和法規(guī)遵從存儲(chǔ)產(chǎn)品一起部署，他們目前面臨的問(wèn)題是，符合標(biāo)準(zhǔn)的歸檔產(chǎn)品是否支持重復(fù)數(shù)據(jù)刪除技術(shù)。盡管政府的法規(guī)通常要比技術(shù)滯后好多年，但仍可以預(yù)料，正如WORM磁帶驅(qū)動(dòng)器和WORM磁盤(pán)存儲(chǔ)設(shè)備逐漸得到監(jiān)管部門(mén)的接受一樣，重復(fù)數(shù)據(jù)刪除技術(shù)也會(huì)逐漸得到接受。

部署在何處?

了解了部署方面的選擇后，下一個(gè)問(wèn)題通常是使用虛擬磁帶庫(kù)(VTL)還是使用磁盤(pán)到磁盤(pán)(D2D)設(shè)備。決定利用備份軟件中重復(fù)數(shù)據(jù)刪除技術(shù)的企業(yè)可能仍想使用VTL或D2D設(shè)備，以便加快備份和恢復(fù)速度。

對(duì)許多D2D和VTL產(chǎn)品來(lái)說(shuō)，重復(fù)數(shù)據(jù)刪除是作為一項(xiàng)附加功能提供的。有幾家廠商提供的重復(fù)數(shù)據(jù)刪除用于主存儲(chǔ)系統(tǒng)，另一些廠商提供了可把普通硬件變成D2D設(shè)備的軟件，還有一些廠商把重復(fù)數(shù)據(jù)刪除技術(shù)內(nèi)含在備份應(yīng)用軟件中。

最終，重復(fù)數(shù)據(jù)刪除有望成為一項(xiàng)服務(wù)，可能用于整個(gè)數(shù)據(jù)中心的許多不同地方。到那時(shí)，IT管理員和架構(gòu)師必須設(shè)計(jì)出能夠在效益最明顯的地方使用重復(fù)數(shù)據(jù)刪除的解決方案。數(shù)據(jù)備份過(guò)程通常是重復(fù)數(shù)據(jù)刪除技術(shù)用得最多的地方。

由于這個(gè)原因，大多數(shù)廠商把精力集中于在備份過(guò)程對(duì)數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除，這是由于這一過(guò)程涉及數(shù)量眾多的重復(fù)數(shù)據(jù)。盡管一些備份應(yīng)用軟件在最初的完全備份后會(huì)使用增量備份，但仍存在著相當(dāng)多數(shù)量的重復(fù)數(shù)據(jù)，而重復(fù)數(shù)據(jù)刪除還能減少這些數(shù)據(jù)集的存儲(chǔ)需求。

由于重復(fù)數(shù)據(jù)刪除會(huì)帶來(lái)處理上的開(kāi)銷(xiāo)，因此，針對(duì)備份或歸檔數(shù)據(jù)部署重復(fù)數(shù)據(jù)刪除技術(shù)很常見(jiàn)，而針對(duì)主存儲(chǔ)系統(tǒng)來(lái)部署的卻很少。因而，提供重復(fù)數(shù)據(jù)刪除技術(shù)的產(chǎn)品大多與備份和歸檔聯(lián)系在一起，包括備份應(yīng)用軟件和基于磁盤(pán)的備份及歸檔平臺(tái)，如NAS設(shè)備或VTL。

選擇使用D2D設(shè)備還是使用VTL取決于IT環(huán)境，包括所用的其他存儲(chǔ)系統(tǒng)、所用物理磁帶的數(shù)量及其他因素。如果IT環(huán)境已在磁帶方面做了大量投入，而且主要使用塊存儲(chǔ)系統(tǒng)，那么，部署VTL常常能收到比較好的效果。相比之下，如果IT環(huán)境沒(méi)有在磁帶驅(qū)動(dòng)器或存儲(chǔ)介質(zhì)方面進(jìn)行大量投入，又使用大量的文件或NAS存儲(chǔ)，那么，D2D設(shè)備可能比較合適。

如何部署?

決定了怎樣部署重復(fù)數(shù)據(jù)刪除及部署在何處后，仍需要為何時(shí)使用重復(fù)數(shù)據(jù)刪除做出重要決定。一個(gè)選擇是，數(shù)據(jù)在發(fā)送到備份設(shè)備時(shí)進(jìn)行重復(fù)數(shù)據(jù)刪除，這種實(shí)時(shí)或流式重復(fù)數(shù)據(jù)刪除被稱(chēng)為“在線處理”(in-line)重復(fù)數(shù)據(jù)刪除;另一個(gè)選擇是以后再對(duì)數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除，這種以后進(jìn)行的通常被稱(chēng)為“后處理”(post-process)重復(fù)數(shù)據(jù)刪除。

對(duì)于期望盡量縮短數(shù)據(jù)備份時(shí)間的管理員來(lái)說(shuō)，最佳選擇通常是使用后處理方法。這種方法具有加快數(shù)據(jù)備份速度、縮短備份窗口的優(yōu)點(diǎn)。但缺點(diǎn)是，它要占用額外的存儲(chǔ)空間。也就是說(shuō)，備份數(shù)據(jù)需要傳送到臨時(shí)保存區(qū)，目的是為了加快備份過(guò)程; 一旦這一步完成，再重新檢查數(shù)據(jù)有無(wú)重復(fù)部分，在以后的“后處理”時(shí)間段刪除重復(fù)數(shù)據(jù)。

除了備份后進(jìn)行重復(fù)數(shù)據(jù)刪除，另一種辦法是，當(dāng)數(shù)據(jù)傳送到備份設(shè)備時(shí)，進(jìn)行“在線式”重復(fù)數(shù)據(jù)刪除。這種方法的優(yōu)點(diǎn)是，不需要額外的存儲(chǔ)空間;另外，一旦數(shù)據(jù)經(jīng)重復(fù)數(shù)據(jù)刪除處理后存儲(chǔ)起來(lái)，這個(gè)過(guò)程就完成了，數(shù)據(jù)可能復(fù)制到異地存儲(chǔ)系統(tǒng)上。因而，如果使用在線處理重復(fù)數(shù)據(jù)刪除方法，就能縮短完成整個(gè)備份過(guò)程(包括復(fù)制到異地存儲(chǔ)系統(tǒng))的時(shí)間。

產(chǎn)品比較與選擇

從架構(gòu)方面來(lái)說(shuō)，重復(fù)數(shù)據(jù)刪除有幾種方法。重復(fù)數(shù)據(jù)刪除也許內(nèi)含在備份應(yīng)用軟件中，也許通過(guò)存儲(chǔ)設(shè)備來(lái)實(shí)現(xiàn)。選擇產(chǎn)品時(shí)，首先要考慮的就是了解這些架構(gòu)之間有什么區(qū)別。

提供給客戶(hù)的重復(fù)數(shù)據(jù)刪除功能絕大部分結(jié)合了軟硬件。重復(fù)數(shù)據(jù)刪除在計(jì)算數(shù)據(jù)的散列值時(shí)，要耗用大量的CPU和內(nèi)存資源。硬件設(shè)備需要就存儲(chǔ)容量、輸入/輸出性能和可用計(jì)算功能做出決定。因而，與基于硬件的解決方案相比，基于軟件的系統(tǒng)在選擇合適數(shù)量的CPU、內(nèi)存和存儲(chǔ)容量等方面通常具有更大的靈活性。

許多IT用戶(hù)喜歡購(gòu)買(mǎi)集成的軟硬件，充分發(fā)揮硬件模式便于部署及支持的優(yōu)點(diǎn)。另一些用戶(hù)則更喜歡用通用硬件上的軟件，覺(jué)得這種方法更靈活。很難說(shuō)兩種模式孰優(yōu)孰劣，各有優(yōu)缺點(diǎn)。

重復(fù)數(shù)據(jù)刪除能夠顯著減少備份數(shù)據(jù)所需要的磁盤(pán)空間數(shù)量，同時(shí)保留了基于磁盤(pán)的備份設(shè)備較之磁帶大幅提升性能的優(yōu)點(diǎn)。因而，只要IT環(huán)境希望控制與備份及歸檔有關(guān)的存儲(chǔ)成本，同時(shí)為數(shù)據(jù)保護(hù)提供很高的服務(wù)級(jí)別，都應(yīng)該考慮部署重復(fù)數(shù)據(jù)刪除。

目前對(duì)數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除方面有諸多選擇。一些產(chǎn)品允許通過(guò)NAS協(xié)議或D2D設(shè)備，把其系統(tǒng)用做備份目標(biāo)，提供了在傳統(tǒng)備份場(chǎng)景之外對(duì)數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除的靈活性。其他產(chǎn)品專(zhuān)門(mén)用來(lái)與VTL結(jié)合使用，旨在幫助VTL在成本上與傳統(tǒng)的備份到磁帶系統(tǒng)相比具有競(jìng)爭(zhēng)力。

隨著時(shí)間的推移，重復(fù)數(shù)據(jù)刪除會(huì)成為與多種產(chǎn)品類(lèi)型和部署場(chǎng)景一同提供的一項(xiàng)功能。最終，重復(fù)數(shù)據(jù)刪除會(huì)逐漸進(jìn)入到多種存儲(chǔ)產(chǎn)品中。重復(fù)數(shù)據(jù)刪除技術(shù)可能會(huì)在幾年內(nèi)部署到存儲(chǔ)備份或歸檔數(shù)據(jù)的大多數(shù)產(chǎn)品中。下一步就是在主存儲(chǔ)中運(yùn)用重復(fù)數(shù)據(jù)刪除技術(shù)，同時(shí)又不影響性能。

未來(lái)幾乎所有的數(shù)據(jù)在存儲(chǔ)或傳送時(shí)都會(huì)進(jìn)行重復(fù)數(shù)據(jù)刪除處理。到那時(shí)，IT部門(mén)應(yīng)該認(rèn)真評(píng)估本公司在成本、性能和數(shù)據(jù)保留等方面的目標(biāo)，之后再選擇怎樣部署重復(fù)數(shù)據(jù)刪除、部署在何處。只有慎重選擇，大大小小的IT部門(mén)才能夠用更低成本獲得更高性能。