顧 勤

(景德鎮(zhèn)學(xué)院，江西 景德鎮(zhèn) 333400)

大數(shù)據(jù)時(shí)代下，人們的生活和社會(huì)各類產(chǎn)業(yè)的發(fā)展都離不開不斷發(fā)展的計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)，云計(jì)算也因?yàn)楹Ａ繑?shù)據(jù)而不斷完善與發(fā)展，與此同時(shí)，傳統(tǒng)的存儲(chǔ)信息技術(shù)逐漸跟不上時(shí)代發(fā)展的步伐，不能很好地滿足人們在日常生活和各領(lǐng)域生產(chǎn)中的要求，分布式存儲(chǔ)技術(shù)應(yīng)運(yùn)而生，為解決這一問題做出了巨大貢獻(xiàn)。分布式存儲(chǔ)技術(shù)包括軟件和硬件，二者各自發(fā)揮作用，共同促進(jìn)了分布式存儲(chǔ)技術(shù)的發(fā)展[1]。

1 大數(shù)據(jù)分布式存儲(chǔ)技術(shù)的研究現(xiàn)狀

1.1 分布式存儲(chǔ)技術(shù)的相關(guān)研究背景

近年來，互聯(lián)網(wǎng)的發(fā)展迎來了新高峰，相關(guān)的網(wǎng)絡(luò)技術(shù)在不斷革新、進(jìn)步，互聯(lián)網(wǎng)中不斷有移動(dòng)終端、傳感設(shè)備等設(shè)備進(jìn)入，相關(guān)數(shù)據(jù)量越來越大，數(shù)據(jù)值只增不減。云計(jì)算在我國許多領(lǐng)域都被廣泛應(yīng)用，據(jù)相關(guān)調(diào)查顯示，阿里云應(yīng)用了分布式存儲(chǔ)技術(shù)，促使業(yè)績飛速增長；國家對云計(jì)算也越來越重視，甚至出臺了許多與分布式存儲(chǔ)技術(shù)相關(guān)的戰(zhàn)略。一直以來，云計(jì)算之所以能夠有快速發(fā)展，核心在于分布式存儲(chǔ)技術(shù)，它一直都是云計(jì)算系統(tǒng)平穩(wěn)和安全運(yùn)行的“保護(hù)傘”，但是云計(jì)算在發(fā)展中還是暴露了一些問題，需要相關(guān)人員去研究和解決[2]。

1.2 國內(nèi)外對分布式存儲(chǔ)技術(shù)的研究現(xiàn)狀

1.2.1 對分布式存儲(chǔ)系統(tǒng)數(shù)據(jù)安全性技術(shù)的研究

分布式存儲(chǔ)系統(tǒng)因?yàn)榈统杀镜膬?yōu)勢被許多領(lǐng)域的企業(yè)青睞，但缺點(diǎn)是在安全性方面存在重要問題。因?yàn)榉植际酱鎯?chǔ)系統(tǒng)對數(shù)據(jù)的機(jī)密性和完整性有比較高的要求，同時(shí)也有強(qiáng)烈的需求，但其大多是在云端部署自己的一些基礎(chǔ)設(shè)備，所以安全程度較低。傳統(tǒng)的密碼學(xué)對于保證分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)的機(jī)密性有著十分重要的作用，想要確保數(shù)據(jù)的完整性，主要是通過在分布式存儲(chǔ)系統(tǒng)中引入安全技術(shù)實(shí)現(xiàn)的[3]。

1.2.2 對分布式存儲(chǔ)系統(tǒng)容納錯(cuò)誤技術(shù)的研究

容錯(cuò)技術(shù)并不是單一的，而是有很多種類型，不同容錯(cuò)技術(shù)的基礎(chǔ)不同。基于研究現(xiàn)狀發(fā)現(xiàn)，容錯(cuò)技術(shù)主要有3種：(1)以復(fù)制為基礎(chǔ)的容錯(cuò)技術(shù)，比較簡單，在實(shí)現(xiàn)過程中也很簡單，但是也有致命的缺點(diǎn)——存儲(chǔ)開銷過大，如果多臺服務(wù)器同時(shí)發(fā)生故障，可能會(huì)使大量信息丟失。(2)以糾刪碼為基礎(chǔ)的容錯(cuò)技術(shù)，要同時(shí)對多個(gè)數(shù)據(jù)編碼產(chǎn)生編碼現(xiàn)象，可以很好地解決對于以復(fù)制為基礎(chǔ)的容錯(cuò)技術(shù)產(chǎn)生開銷過大的問題；缺陷在于，如果某一節(jié)點(diǎn)發(fā)生了問題，需要連接多個(gè)節(jié)點(diǎn)才能恢復(fù)數(shù)據(jù)，對寬帶是十分耗費(fèi)的。(3)以網(wǎng)絡(luò)編碼為基礎(chǔ)的容錯(cuò)技術(shù)，保留了以糾刪碼為基礎(chǔ)容錯(cuò)技術(shù)的優(yōu)勢，同時(shí)，引進(jìn)了與網(wǎng)絡(luò)編碼有關(guān)的先進(jìn)思想，對分布式存儲(chǔ)系統(tǒng)有很大的作用[4]。

2 面向大數(shù)據(jù)的分布式存儲(chǔ)技術(shù)在發(fā)展中存在的問題

2.1 設(shè)計(jì)與實(shí)施中的差異化

文件系統(tǒng)和數(shù)據(jù)庫是面向大數(shù)據(jù)存儲(chǔ)的信息數(shù)據(jù)的主要內(nèi)容，但是一般需要彈性很強(qiáng)的擴(kuò)展能力進(jìn)行支撐，而分布式的存儲(chǔ)技術(shù)能夠滿足各種需要。分布式存儲(chǔ)技術(shù)容易在設(shè)計(jì)與具體實(shí)施過程中產(chǎn)生差異，主要原因是數(shù)據(jù)庫對分布式存儲(chǔ)技術(shù)系統(tǒng)的要求過高，但是文件系統(tǒng)主要是要求氣存儲(chǔ)空間的質(zhì)量能夠更高。

2.2 存儲(chǔ)技術(shù)的成本在不斷增加

“雙十一”瘋狂購物、春運(yùn)搶票等事件，會(huì)導(dǎo)致數(shù)據(jù)總量十分龐大，而且各網(wǎng)絡(luò)用戶也會(huì)對數(shù)據(jù)頻繁操作，但是并不是所有的數(shù)據(jù)都有人訪問的，有的數(shù)據(jù)訪問量過大，有的數(shù)據(jù)幾乎無人問津，幾乎沒有被訪問的數(shù)據(jù)占據(jù)很大的存儲(chǔ)空間，會(huì)大大提高存儲(chǔ)技術(shù)的成本，降低性價(jià)比，使許多企業(yè)望而卻步。另外，傳統(tǒng)存儲(chǔ)技術(shù)過于復(fù)雜，新的分布式存儲(chǔ)技術(shù)要克服傳統(tǒng)存儲(chǔ)技術(shù)的復(fù)雜以及擴(kuò)展度低的問題。

3 面向大數(shù)據(jù)的分布式存儲(chǔ)技術(shù)的更好發(fā)展

在大數(shù)據(jù)時(shí)代，分布式存儲(chǔ)技術(shù)如果想要獲得更好的發(fā)展，就必須要積極改革和創(chuàng)新，技術(shù)人員要分析當(dāng)下在傳統(tǒng)存儲(chǔ)技術(shù)和新的分布式存儲(chǔ)技術(shù)中各自存在的問題，然后盡力在解決問題的基礎(chǔ)上發(fā)展自身。接下來，本文將詳細(xì)分析面向大數(shù)據(jù)時(shí)代實(shí)現(xiàn)分布式存儲(chǔ)技術(shù)更好發(fā)展的策略。

3.1 完善極限數(shù)據(jù)分布式存儲(chǔ)技術(shù)

完善極限數(shù)據(jù)分布式存儲(chǔ)技術(shù)是指通過業(yè)務(wù)邏輯和復(fù)雜查詢來對總量龐雜的數(shù)據(jù)進(jìn)行操作，此外，還要分析處理數(shù)據(jù)訪問量，其很關(guān)鍵的作用是提高信息訪問的速度。所以，極限數(shù)據(jù)分布式存儲(chǔ)技術(shù)要實(shí)現(xiàn)大力度的架構(gòu)作用調(diào)整。NoSQL與NewSQL是極限數(shù)據(jù)分布式存儲(chǔ)的兩大主要架構(gòu)技術(shù)，兩者共同點(diǎn)在于都是面向極限數(shù)據(jù)分布式存儲(chǔ)技術(shù)，各有優(yōu)勢，但也有很多不同點(diǎn)；最關(guān)鍵的是兩大主要架構(gòu)技術(shù)都有不足之處，且都是關(guān)于極限性能方面的。所以，極限數(shù)據(jù)分布式存儲(chǔ)技術(shù)不僅要注重外存方面的改變，也要注重內(nèi)存方面的改變，尤其是內(nèi)存方面的改變，主要可以通過改變節(jié)點(diǎn)來實(shí)現(xiàn)。

3.2 完善低成本分布式存儲(chǔ)技術(shù)

存儲(chǔ)技術(shù)一直在努力控制成本，但是當(dāng)下數(shù)據(jù)信息量的極速增長導(dǎo)致成本控制越來越難。低成本分布式存儲(chǔ)技術(shù)與極限數(shù)據(jù)分布存儲(chǔ)技術(shù)有所不同，主要體現(xiàn)在對訪問量較低的數(shù)據(jù)信息的分析和處理上。低成本分布式存儲(chǔ)技術(shù)對低訪問數(shù)據(jù)信息的實(shí)時(shí)性要求并不高，但是成本控制問題卻給相關(guān)人員提出了一個(gè)大難題。許多相關(guān)技術(shù)企業(yè)都注重使用對象存儲(chǔ)方法，目的就是控制成本。對象存儲(chǔ)主要就是一個(gè)相應(yīng)的對象為一個(gè)訪問單元，主要以對象存儲(chǔ)設(shè)備為基礎(chǔ)去構(gòu)建存儲(chǔ)系統(tǒng)，能夠?qū)崿F(xiàn)對相關(guān)數(shù)據(jù)的自動(dòng)化管理及保存。對象存儲(chǔ)系統(tǒng)在當(dāng)下已經(jīng)發(fā)展得比較完備，Swift就是一種比較典型的對象存儲(chǔ)系統(tǒng)。

3.3 完善軟件自定義分布式存儲(chǔ)技術(shù)

軟件自定義分布式存儲(chǔ)技術(shù)能夠?qū)Υ鎯?chǔ)系統(tǒng)進(jìn)行分布式的統(tǒng)一存儲(chǔ)，在統(tǒng)一存儲(chǔ)的過程中，主要通過軟件應(yīng)用的方式進(jìn)行。Ceph是比較典型的自定義分布式存儲(chǔ)技術(shù)，一個(gè)十分顯著的特點(diǎn)是訪問接口多樣化，對具體的數(shù)據(jù)塊能夠通過算法定位，使其使用性和擴(kuò)展性不斷得到提高。Ceph的分布式存儲(chǔ)方法具有強(qiáng)一致性，所以，如果是跨地區(qū)甚至是跨機(jī)房使用，都可能會(huì)引起一些不適用的問題。另外，技術(shù)人員要注意不斷將Ceph系統(tǒng)中納入更多的存儲(chǔ)模式，以滿足更多客戶的數(shù)據(jù)需求，而且其設(shè)計(jì)要能夠滿足不同客戶的需求，為客戶提供高質(zhì)量、高效率的存儲(chǔ)管理服務(wù)。

3.4 完善大數(shù)據(jù)空間管理系統(tǒng)

大數(shù)據(jù)空間管理系統(tǒng)主要是4層架構(gòu)：(1)數(shù)據(jù)資源層。負(fù)責(zé)存儲(chǔ)和管理各類數(shù)據(jù)，可以說是整個(gè)系統(tǒng)的比較數(shù)據(jù)資源層。特點(diǎn)是能夠快速讀取和高效計(jì)算空間大數(shù)據(jù)，滿足空間信息瀏覽過程中的各種需求，例如，進(jìn)行高效分析處理和應(yīng)用。(2)基礎(chǔ)設(shè)施層。是整個(gè)系統(tǒng)的支持基礎(chǔ)，功能是對各種資源進(jìn)行計(jì)算、存儲(chǔ)，此外，還包括安全設(shè)備和網(wǎng)絡(luò)資源，因此十分豐富。(3)系統(tǒng)應(yīng)用層。以組件服務(wù)層提供的服務(wù)接口和功能組件為基礎(chǔ)，對Web端、桌面端等模式進(jìn)行應(yīng)用構(gòu)建。Web應(yīng)用和桌面應(yīng)用包括的數(shù)據(jù)種類都很多，Web端包括對信息的查詢檢索、展示成果數(shù)據(jù)等；而桌面應(yīng)用包括更新維護(hù)數(shù)據(jù)、管理好系統(tǒng)安全等。(4)組件服務(wù)層。體現(xiàn)著整個(gè)系統(tǒng)的基本服務(wù)能力，不僅能夠?qū)?yīng)用層的應(yīng)用構(gòu)件進(jìn)行支撐，還能夠?qū)?shù)據(jù)層的數(shù)據(jù)資源進(jìn)行操作，既可以向上也可以向下，當(dāng)然，相關(guān)操作都是通過服務(wù)接口和功能組件完成的。

3.5 完善分布式文件系統(tǒng)存儲(chǔ)技術(shù)

分布式文件系統(tǒng)是指在文件系統(tǒng)管理中，物理存儲(chǔ)資源的連接點(diǎn)不確定，既有可能連接在本地的節(jié)點(diǎn)上，也有可能通過計(jì)算機(jī)網(wǎng)絡(luò)媒介與節(jié)點(diǎn)相連。對于分布在網(wǎng)絡(luò)任何位置的資源數(shù)據(jù)，分布式文件系統(tǒng)都能夠?yàn)槠涮峁湫挝募到y(tǒng)結(jié)構(gòu)。分布式文件系統(tǒng)存儲(chǔ)技術(shù)能夠在不同節(jié)點(diǎn)上存儲(chǔ)數(shù)據(jù)，因此，有一個(gè)十分明顯的優(yōu)勢：能夠保證數(shù)據(jù)安全，減少丟失數(shù)據(jù)的可能性。

4 結(jié)語

我國社會(huì)與經(jīng)濟(jì)的不斷發(fā)展、進(jìn)步，促使互聯(lián)網(wǎng)以及計(jì)算機(jī)的各類技術(shù)在不斷改革，許多新型數(shù)據(jù)模式誕生，存儲(chǔ)信息數(shù)據(jù)的技術(shù)也在不斷進(jìn)步，力求能夠滿足用戶各種各樣的需求。從分布式數(shù)據(jù)存儲(chǔ)技術(shù)的研究現(xiàn)狀來看，該技術(shù)目前受到各領(lǐng)域的青睞，其優(yōu)勢決定了它還有很大的發(fā)展空間；但是對于分布式數(shù)據(jù)存儲(chǔ)技術(shù)中存在的問題，相關(guān)技術(shù)人員也不能忽視，而是要從各方面去解決，促進(jìn)該技術(shù)更加完善、先進(jìn)。