方勝吉

摘 要：“分布式”存儲(chǔ)就其本質(zhì)來講是一種資源分配策略，就是利用一定規(guī)模的計(jì)算機(jī)形成網(wǎng)絡(luò)群，然后共同調(diào)配群中的資源，包括軟硬件、信息等。它融合了傳統(tǒng)的計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)，如分布式計(jì)算、網(wǎng)格計(jì)算、并行計(jì)算、虛擬化等。只要通過瀏覽器或其他WEB服務(wù)就可以直接訪問的一種新的IT服務(wù)模式，它通過互聯(lián)網(wǎng)來提供資源，而這種資源是動(dòng)態(tài)且易擴(kuò)展的。

關(guān)鍵詞：分布式 網(wǎng)絡(luò) 存儲(chǔ)

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2017）10（c）-0124-02

1 “分布式”存儲(chǔ)的分類

（1）基礎(chǔ)架構(gòu)服務(wù)（IaaS）：指由供應(yīng)商提供的硬件資源服務(wù)，用戶使用租用的方式從供應(yīng)商處獲取硬件資源完成自己的應(yīng)用部署，用戶不需要購買硬件設(shè)備，而節(jié)省相關(guān)費(fèi)用。而對硬件資源的虛擬化是基礎(chǔ)架構(gòu)服務(wù)的關(guān)鍵技術(shù)，它包括對服務(wù)器、存儲(chǔ)以及網(wǎng)絡(luò)的虛擬化。

（2）軟件服務(wù)（SaaS）：軟件服務(wù)是指供應(yīng)商提供軟件平臺(tái)，并負(fù)責(zé)安裝、升級和維護(hù)[1]，用戶只需通過網(wǎng)絡(luò)來租用軟件即可。這種方式在服務(wù)器性能較高的情況下，基本能夠?qū)崿F(xiàn)對所有軟件的虛擬化。

（3）平臺(tái)服務(wù)（PaaS）：PaaS是對SaaS的進(jìn)一步深化，PaaS不僅提供軟件應(yīng)用服務(wù)，還提供開發(fā)環(huán)境、數(shù)據(jù)庫等，為用戶提供一個(gè)可以自己開發(fā)應(yīng)用程序的軟硬件資源平臺(tái)，在平臺(tái)上用戶開發(fā)完成自己的程序后可以通過服務(wù)器發(fā)布在網(wǎng)絡(luò)上。

2 存儲(chǔ)設(shè)備的常見連接方式

2.1 直接連接存儲(chǔ)（DAS）

DAS作為一種存儲(chǔ)結(jié)構(gòu)，是以服務(wù)器為中心的，其他的存儲(chǔ)設(shè)備通過I/O總線與服務(wù)器連接，客戶端要想對數(shù)據(jù)進(jìn)行訪問，必須經(jīng)過服務(wù)器的轉(zhuǎn)發(fā)，再利用I/O總線從相應(yīng)的存儲(chǔ)設(shè)備中得到。DAS本身是硬件的堆疊，以服務(wù)器為中心，并寄生在服務(wù)器或客戶端上，其速度受到客戶連接數(shù)的影響。

2.2 網(wǎng)絡(luò)連接存儲(chǔ)（NAS）

NAS不是基于“數(shù)據(jù)塊”級的，而是基于“文件”級的以數(shù)據(jù)為中心的存儲(chǔ)結(jié)構(gòu)[2]。NAS是將軟硬件有機(jī)結(jié)合，通過其自身的簡化實(shí)時(shí)操作系統(tǒng)直接向網(wǎng)絡(luò)上的用戶提供文件級共享服務(wù)的存儲(chǔ)設(shè)備。但在實(shí)際應(yīng)用中NAS文件訪問速度較低，進(jìn)行數(shù)據(jù)備份時(shí)，對LAN的帶寬消耗極大，對資源的整合和管理較弱。

2.3 存儲(chǔ)區(qū)域網(wǎng)絡(luò)存儲(chǔ)（SAN）

SAN是以光纖網(wǎng)為中心[3]，在服務(wù)器和存儲(chǔ)系統(tǒng)之間，在Fibre Channe1等互聯(lián)協(xié)議的作用下，直接進(jìn)行數(shù)據(jù)傳遞的存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)。SAN的應(yīng)用服務(wù)器和存儲(chǔ)設(shè)備間的數(shù)據(jù)交換，主要使用Block I/0方式。SAN主要有兩種類型：分為FC SAN和IP SAN。

3 網(wǎng)絡(luò)文件系統(tǒng)與分布式文件系統(tǒng)

在分布式文件系統(tǒng)中，最早形成的就是網(wǎng)絡(luò)文件系統(tǒng)，它將存儲(chǔ)服務(wù)器和網(wǎng)絡(luò)客戶端連接，存儲(chǔ)服務(wù)器當(dāng)中存放元數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)，使用增加協(xié)議棧方式實(shí)現(xiàn)數(shù)據(jù)和命令的傳遞。常用的網(wǎng)絡(luò)文件系統(tǒng)有NFS、CIFS等。

在NFS上可以實(shí)現(xiàn)異構(gòu)系統(tǒng)間的文件共享。同時(shí)NFS使用的是客戶機(jī)/服務(wù)器模型，使它在局域網(wǎng)或廣域網(wǎng)上都可以運(yùn)行。但是，當(dāng)面臨海量數(shù)據(jù)的處理時(shí)，處理能力是有限的。

常見的分布式文件系統(tǒng)主要有下面幾類。

（1）基于共享存儲(chǔ)設(shè)備的集群文件系統(tǒng)。

所謂基于共享存儲(chǔ)設(shè)備的集群文件系統(tǒng)，重點(diǎn)是對存儲(chǔ)設(shè)備的共享。在集群中，像SAN、NAS這樣的存儲(chǔ)設(shè)備將其存儲(chǔ)空間共享給所有服務(wù)器，所有服務(wù)器共同使用存儲(chǔ)設(shè)備上的同一個(gè)分區(qū)，這樣一來，當(dāng)集群中的節(jié)點(diǎn)訪問系統(tǒng)時(shí)，就如同訪問本地文件系統(tǒng)一樣。而在集群中還設(shè)置了統(tǒng)一的調(diào)度和鎖存機(jī)制，為服務(wù)器提供統(tǒng)一的命名空間。

基于共享存儲(chǔ)設(shè)備的集群文件系統(tǒng)，有一個(gè)共同的特性，那就是都對共享存儲(chǔ)設(shè)備有極強(qiáng)的依賴性，這就對存儲(chǔ)設(shè)備的性能提出了較高的要求，同時(shí)也受到存儲(chǔ)設(shè)備性能的限制，這種集群文件系統(tǒng)下，節(jié)點(diǎn)自身的存儲(chǔ)資源無法被充分利用。

（2）P2P。

P2P是一種對等的分布式網(wǎng)絡(luò)，在P2P網(wǎng)絡(luò)中，參與者之間實(shí)現(xiàn)部分硬件資源的共享，通過網(wǎng)絡(luò)來提供服務(wù)和內(nèi)容，對等點(diǎn)之間不需要服務(wù)器，而直接能夠互訪[4]。在此網(wǎng)絡(luò)中，節(jié)點(diǎn)既提供資源又使用資源，也就是說每個(gè)節(jié)點(diǎn)既是服務(wù)器也是客戶機(jī)。因此，P2P這種對等的分布式網(wǎng)絡(luò)打破了傳統(tǒng)的C/S模式。

常見的P2P網(wǎng)絡(luò)一般可分為3類[5]。

①集中目錄式結(jié)構(gòu)：在這種結(jié)構(gòu)當(dāng)中要設(shè)置一個(gè)中心服務(wù)器，它的主要作用是提供網(wǎng)絡(luò)中必要的服務(wù)，比如索引和路由、安全檢驗(yàn)等。中心服務(wù)器協(xié)助網(wǎng)絡(luò)中兩節(jié)點(diǎn)完成連接后，將不再起作用，而節(jié)點(diǎn)間可以跨過服務(wù)器直接通訊。其優(yōu)點(diǎn)是：網(wǎng)絡(luò)結(jié)構(gòu)簡單，通過中心索引服務(wù)器便于節(jié)點(diǎn)管理。缺點(diǎn)是：對中心服務(wù)器依賴性強(qiáng)，網(wǎng)絡(luò)環(huán)境受其性能限制。

②分散式結(jié)構(gòu)：在這種結(jié)構(gòu)里沒有中心服務(wù)器，節(jié)點(diǎn)間分散連接，通過對等網(wǎng)絡(luò)協(xié)議形成網(wǎng)絡(luò)，用戶自定義自己的網(wǎng)絡(luò)環(huán)境。優(yōu)點(diǎn)是：網(wǎng)絡(luò)規(guī)模理論上可以無限擴(kuò)展。缺點(diǎn)是：沒有管理者，安全性較差，節(jié)點(diǎn)很難被發(fā)現(xiàn)。

③混合式結(jié)構(gòu)：在集中目錄式結(jié)構(gòu)基礎(chǔ)上引入了超級節(jié)點(diǎn)，它的作用是輔助服務(wù)器對節(jié)點(diǎn)進(jìn)行管理，減輕中心服務(wù)器的壓力。這種結(jié)構(gòu)在提高了網(wǎng)絡(luò)的穩(wěn)定性和可擴(kuò)展性的同時(shí)也增加了網(wǎng)絡(luò)管理的難度。

（3）Google GFS。

GFS是美國谷歌公司開發(fā)的分布式文件系統(tǒng)，主要是為了解決海量數(shù)據(jù)存儲(chǔ)問題而研發(fā)設(shè)計(jì)的。GFS對運(yùn)行環(huán)境要求不高，它可以通過廉價(jià)的普通PC為用戶提供高性能的服務(wù)，同時(shí)它還有極強(qiáng)的容錯(cuò)功能。GFS與傳統(tǒng)的分布式文件系統(tǒng)相比，在繼承了傳統(tǒng)的分布式文件系統(tǒng)優(yōu)點(diǎn)的同時(shí)又對其做了創(chuàng)造性的改進(jìn)，具體表現(xiàn)在如下幾方面。

①GFS認(rèn)為硬件錯(cuò)誤是正常的，關(guān)鍵是在硬件出現(xiàn)故障時(shí)怎樣保證數(shù)據(jù)存儲(chǔ)的安全，同時(shí)還能提供不間斷的存儲(chǔ)服務(wù)。這是GFS最核心的問題。

②GFS最終的設(shè)計(jì)目的就是為了解決海量數(shù)據(jù)的存儲(chǔ)。

③在GFS中，以重新寫入的方式修改文件，不是覆蓋原數(shù)據(jù)。

④GFS向應(yīng)用程序提供透明的訪問接口，在訪問文件系統(tǒng)時(shí)無需重新編譯。

由于GFS沒有開源，通過國內(nèi)外相關(guān)的文獻(xiàn)綜述我們了解到，GFS集群采用Master/Slave結(jié)構(gòu)，部署在普通PC機(jī)上。集群當(dāng)中有一個(gè)Master節(jié)點(diǎn)和多個(gè)Chunk節(jié)點(diǎn)，GFS的工作過程是這樣的，對于要存儲(chǔ)到他上面的文件，GFS首先要把它分解成一樣大小的Chunk，然后通過Master給每一個(gè)Chunk分配一個(gè)唯一標(biāo)識，通過本地服務(wù)器將每一個(gè)Chunk保存到本地硬盤并根據(jù)Chunk的標(biāo)識和大小來進(jìn)行讀寫操作。為了保證安全性，每個(gè)Chunk都會(huì)被復(fù)制到不同的數(shù)據(jù)塊服務(wù)器，一般情況下要復(fù)制三份，用戶也可以根據(jù)實(shí)際情況更改配置文件。在Master節(jié)點(diǎn)上存儲(chǔ)管理的是文件系統(tǒng)的元數(shù)據(jù)信息，元數(shù)據(jù)信息主要有命名空間、文件和Chunk的對應(yīng)關(guān)系、Chunk的存儲(chǔ)位置等。除此之外，Master還要實(shí)現(xiàn)對元數(shù)據(jù)的檢查、操作日志記錄以及回放功能。工作機(jī)在Master的指揮下完成對數(shù)據(jù)的存儲(chǔ)、遷移和計(jì)算工作。在這種結(jié)構(gòu)中，Master機(jī)器工作極為繁重，且只有一臺(tái)機(jī)器，留下了單點(diǎn)隱患。

參考文獻(xiàn)

[1] 王龍，王冬星.基于DICOM的醫(yī)學(xué)圖像存儲(chǔ)與處理系統(tǒng)的實(shí)現(xiàn)[J].電腦學(xué)習(xí)，2010（4）：124-126.

[2] 薛萬宇，宋余慶，王恒，等.一種醫(yī)學(xué)圖像數(shù)據(jù)庫存儲(chǔ)方案設(shè)計(jì)與實(shí)現(xiàn)[J].微計(jì)算機(jī)信息，2008，24（3）：177-179.

[3] 徐磊，王英，張耀軍.基于DICOM標(biāo)準(zhǔn)的醫(yī)學(xué)圖像存儲(chǔ)與訪問的研究[J].醫(yī)療裝備，2005，18（11）：1-4.

[4] 楊曉月，董方敏，劉勇，等.一種DICOM醫(yī)學(xué)圖像數(shù)據(jù)存儲(chǔ)管理的設(shè)計(jì)方案[J].電腦知識與技術(shù)：學(xué)術(shù)交流，2007，1（3）：53-54，135.

[5] 韓磊，張虹.基于DICOM的醫(yī)學(xué)圖像存儲(chǔ)模型設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)時(shí)代，2006（10）：30-32.