王茱 東北石油大學(xué)

基于云計(jì)算的分布式存儲(chǔ)技術(shù)研究

王茱 東北石油大學(xué)

隨著信息技術(shù)的快速發(fā)展，出現(xiàn)一種新的計(jì)算模式“云計(jì)算”，并且已逐漸趨于成熟穩(wěn)定，被廣泛運(yùn)用到各個(gè)行業(yè)領(lǐng)域中?；谠朴?jì)算的存儲(chǔ)系統(tǒng)，大都采用其關(guān)鍵設(shè)施“分布式存儲(chǔ)”。本文主要從對(duì)當(dāng)前基本云計(jì)算的分布式存儲(chǔ)技術(shù)的內(nèi)容進(jìn)行分析，并提出其未來(lái)發(fā)展方向。

云計(jì)算 分布式存儲(chǔ) 技術(shù)

云計(jì)算是一種以網(wǎng)絡(luò)為中心，通過(guò)構(gòu)建一個(gè)甚至是多個(gè)網(wǎng)絡(luò)設(shè)備相互連接的數(shù)據(jù)中心，把海量的數(shù)據(jù)都存儲(chǔ)到數(shù)據(jù)中心上并向上提供安全、有效的的信息存儲(chǔ)和計(jì)算的服務(wù)。云環(huán)境下，為了解決海量數(shù)據(jù)的可擴(kuò)展存儲(chǔ)問(wèn)題，分布式存儲(chǔ)技術(shù)應(yīng)運(yùn)而生。與集中式存儲(chǔ)技術(shù)不同，分布式存儲(chǔ)技術(shù)并不是將數(shù)據(jù)存儲(chǔ)在某個(gè)或多個(gè)特定的節(jié)點(diǎn)上，而是通過(guò)使用互聯(lián)網(wǎng)上的每臺(tái)設(shè)備上的磁盤空間，并且將這些分散的資源數(shù)據(jù)構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備，數(shù)據(jù)分散的存儲(chǔ)在各個(gè)設(shè)備上。

1 云環(huán)境下分布式存儲(chǔ)技術(shù)概述

1.1 基本機(jī)構(gòu)

首先，以服務(wù)器為核心的網(wǎng)絡(luò)結(jié)構(gòu)。這種結(jié)構(gòu)主要是利用網(wǎng)線將所有的服務(wù)器上面安裝的相應(yīng)網(wǎng)卡進(jìn)行相互連接，在操作使用的過(guò)程中，服務(wù)器對(duì)數(shù)據(jù)進(jìn)行及時(shí)存儲(chǔ)、處理，數(shù)據(jù)包的轉(zhuǎn)發(fā)功能也完全由服務(wù)器負(fù)責(zé)而不是通過(guò)交換機(jī)使得整個(gè)結(jié)構(gòu)和線路的鏈接上面變得更簡(jiǎn)單清晰化。這種結(jié)構(gòu)有利于服務(wù)器和底層網(wǎng)絡(luò)的直接互交，但也有一定的不足，由于在運(yùn)行過(guò)程中極大地占用了服務(wù)器資源，使服務(wù)器的負(fù)荷量過(guò)大，導(dǎo)致計(jì)算機(jī)運(yùn)行速度變慢、效率降低，甚至?xí)p壞計(jì)算的相關(guān)性能。其次，以交換機(jī)為核心的結(jié)構(gòu)。這種結(jié)構(gòu)主要是以交換機(jī)為中心紐帶，將多個(gè)服務(wù)器互連起并承擔(dān)數(shù)據(jù)包的轉(zhuǎn)發(fā)功能。其操作方法簡(jiǎn)單方便，數(shù)據(jù)可擴(kuò)展性較大，但存儲(chǔ)容量教小，存儲(chǔ)技術(shù)相對(duì)落后，對(duì)下層服務(wù)器的利用率較低。最后，以服務(wù)器和交換機(jī)為核心的混合結(jié)構(gòu)。這種混合結(jié)構(gòu)其實(shí)就是將兩種結(jié)構(gòu)巧妙地結(jié)合起來(lái)，揚(yáng)長(zhǎng)避短，通過(guò)交換機(jī)連接各個(gè)服務(wù)器并在所有的服務(wù)器上面安裝網(wǎng)卡從而構(gòu)成一個(gè)更加靈活、方便的網(wǎng)絡(luò)結(jié)構(gòu)，更有利于數(shù)據(jù)的存儲(chǔ)和轉(zhuǎn)發(fā)，根據(jù)服務(wù)器與節(jié)點(diǎn)之間的關(guān)系在服務(wù)器上實(shí)行節(jié)點(diǎn)互聯(lián)的方法來(lái)更快捷地完成數(shù)據(jù)之間的傳遞。這種混合模式結(jié)構(gòu)具有操作簡(jiǎn)便靈活、可擴(kuò)展性大、降低成本等特點(diǎn)。

1.2 主要技術(shù)內(nèi)容

第一種，節(jié)能技術(shù)。主要分為硬件節(jié)能技術(shù)和軟件節(jié)能技術(shù)，其中，硬件節(jié)能技術(shù)又可以分為兩種，一種是通過(guò)改進(jìn)硬件設(shè)備、優(yōu)化節(jié)能體系與結(jié)構(gòu)從而降低計(jì)算機(jī)存儲(chǔ)能耗達(dá)到節(jié)能的目的，例如：ARM體系結(jié)構(gòu)。另一種是從數(shù)據(jù)中心出發(fā)，通常在構(gòu)建數(shù)據(jù)中心的過(guò)程中，使用低性能耗的硬件設(shè)備避免高性能耗的設(shè)備，降低數(shù)據(jù)中心能耗從而實(shí)現(xiàn)節(jié)能減耗的目的。例如在芯片的研究上，研究如何把低能耗同時(shí)性能也較低的芯片應(yīng)用到數(shù)據(jù)中心上，產(chǎn)生能滿足任務(wù)需要的更高性能需求。軟件節(jié)能技術(shù)主要是通過(guò)一定的軟件方法，在不不影響性能的前提下，使用節(jié)點(diǎn)動(dòng)態(tài)的運(yùn)作方式，使數(shù)據(jù)中心內(nèi)部的節(jié)點(diǎn)進(jìn)入低能耗的狀態(tài)，從而實(shí)現(xiàn)對(duì)能耗的有效節(jié)約。

第二種，數(shù)據(jù)容錯(cuò)技術(shù)。主要分為基于復(fù)制的容錯(cuò)技術(shù)和基于糾刪碼的容錯(cuò)技術(shù)。糾刪碼容錯(cuò)技術(shù)主要指通過(guò)對(duì)多個(gè)數(shù)據(jù)對(duì)象進(jìn)行編碼而產(chǎn)生編碼對(duì)象，實(shí)現(xiàn)有序排列數(shù)據(jù)對(duì)象的技術(shù)，使數(shù)據(jù)在傳遞過(guò)程中簡(jiǎn)單化，還達(dá)到了降低通過(guò)完全復(fù)制帶來(lái)的巨大存儲(chǔ)開銷支出的目的。該技術(shù)能夠容忍多個(gè)數(shù)據(jù)信息的丟失，避免了對(duì)個(gè)別丟失信息的過(guò)于依賴，弱化個(gè)體強(qiáng)化整體，以系統(tǒng)觀的思想傳遞數(shù)據(jù)。復(fù)制容錯(cuò)技術(shù)，主要是指對(duì)一個(gè)數(shù)據(jù)對(duì)象同時(shí)創(chuàng)建多個(gè)相同的數(shù)據(jù)副本，并把這些相同的數(shù)據(jù)副本分散到各個(gè)存儲(chǔ)節(jié)點(diǎn)上。這種技術(shù)可以實(shí)現(xiàn)數(shù)據(jù)的快速補(bǔ)充，從而快速修復(fù)數(shù)據(jù)中心出現(xiàn)的錯(cuò)誤。該技術(shù)相對(duì)于糾刪碼容錯(cuò)技術(shù)，雖然能能保證整體數(shù)據(jù)的高質(zhì)量但存儲(chǔ)成本更大。

2 分布式存儲(chǔ)技術(shù)未來(lái)發(fā)展方向

2.1 加大研究基于糾刪碼的技術(shù)

如今，云計(jì)算環(huán)境下，例如機(jī)架無(wú)關(guān)、相關(guān)、隨機(jī)放置等數(shù)據(jù)放置方法都比較簡(jiǎn)單，且都主要針對(duì)于復(fù)制容錯(cuò)技術(shù)?，F(xiàn)有的工作中卻很少有針對(duì)基于糾刪碼的放置技術(shù)的研究策略。實(shí)際操作中，不同的放置方法同樣對(duì)基于糾刪碼的容錯(cuò)技術(shù)的容錯(cuò)性和數(shù)據(jù)訪問(wèn)效率具有很深遠(yuǎn)的影響。這就要求我們要根據(jù)數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)和具體操作應(yīng)用特點(diǎn)，設(shè)計(jì)研究出針對(duì)于基于糾刪碼的容錯(cuò)技術(shù)的放置策略，且可以從節(jié)能減耗的目標(biāo)下，深入研究該技術(shù)的數(shù)據(jù)放置策略。

2.2 改善數(shù)據(jù)網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)存儲(chǔ)應(yīng)用的訪問(wèn)模式的多樣性，設(shè)計(jì)出一個(gè)能夠高效組織和管理數(shù)據(jù)的數(shù)據(jù)網(wǎng)絡(luò)中心結(jié)構(gòu)從而達(dá)到均衡鏈路負(fù)載、提高系統(tǒng)吞吐率的目的。

2.3 降低能耗成本

為了減少數(shù)據(jù)中心網(wǎng)絡(luò)的能耗成本，且達(dá)到節(jié)能的目的，可以分析研究存儲(chǔ)應(yīng)用的數(shù)據(jù)訪問(wèn)模式以及流量特征，在不影響數(shù)據(jù)容錯(cuò)性能和效率的前提下，關(guān)閉數(shù)據(jù)中心網(wǎng)絡(luò)中一些不必要的鏈路和交換機(jī)。

3 小結(jié)

總之，云計(jì)算是信息技術(shù)發(fā)展的產(chǎn)物，應(yīng)用廣泛。其分布存儲(chǔ)技術(shù)也面臨著巨大的挑戰(zhàn)需要我們?cè)谖磥?lái)的發(fā)展研究中不斷完善。

[1]陳大偉,張清,劉敏.試論云計(jì)算環(huán)境下的分布式存儲(chǔ)技術(shù)[J].科技展望,2016,(31):16

[2]唐京偉.基于云計(jì)算的分布式存儲(chǔ)技術(shù)[J].中國(guó)傳媒科技,2013,(15):106-110