劉友安，羅明超

（1.信陽供電公司，信陽 464000；2.空軍第一航空學(xué)院 電子工程系，信陽 464000）

0 引言

互聯(lián)網(wǎng)應(yīng)用正經(jīng)歷一場(chǎng)數(shù)據(jù)管理方式的變革，以云計(jì)算、云存儲(chǔ)為代表的先進(jìn)計(jì)算方式正以星火燎原之式躍入視野，帶來的是海量激增和管理日益復(fù)雜的難題。社會(huì)網(wǎng)絡(luò)中的大規(guī)模數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)正每時(shí)每刻地產(chǎn)生，據(jù)IDC（國(guó)際數(shù)據(jù)公司，International Data Corporation）在2012年的研究報(bào)告中指出，從2006年到2012年全球信息總量增長(zhǎng)8倍以上，全球存儲(chǔ)市場(chǎng)的總出貨量中有80%的容量被文件型數(shù)據(jù)所覆蓋，且文件型數(shù)據(jù)的增幅已經(jīng)明顯超過了數(shù)據(jù)存儲(chǔ)容量的增長(zhǎng)[1]。這些現(xiàn)象表明，文件型數(shù)據(jù)管理技術(shù)應(yīng)緊跟數(shù)據(jù)的加速膨脹趨勢(shì)而不斷向前發(fā)展。

1 網(wǎng)格存儲(chǔ)及待解決問題

網(wǎng)格文件存儲(chǔ)系統(tǒng)的技術(shù)基礎(chǔ)是分布式計(jì)算和分布式存儲(chǔ)，借助于分布式服務(wù)器機(jī)群，允許網(wǎng)格用戶在網(wǎng)格節(jié)點(diǎn)之間共享文件型數(shù)字資源，并為網(wǎng)格用戶提供統(tǒng)一的文件視圖[2]。該系統(tǒng)架構(gòu)應(yīng)該是一套具有統(tǒng)一命名空間，合理安全策略，可擴(kuò)展、穩(wěn)定性高的結(jié)構(gòu)。網(wǎng)格文件存儲(chǔ)通過抽象各種存儲(chǔ)資源，將眾多同構(gòu)存儲(chǔ)資源和計(jì)算資源集成于網(wǎng)格環(huán)境中，但展示在用戶眼中的卻是一個(gè)無差異的虛擬文件系統(tǒng)。該系統(tǒng)包括存儲(chǔ)資源虛擬化、文件虛擬化和數(shù)據(jù)庫虛擬化，其實(shí)質(zhì)是邏輯存儲(chǔ)，網(wǎng)格用戶使用的存儲(chǔ)空間不是直接使用物理存儲(chǔ)資源，存儲(chǔ)空間的管理也不再針對(duì)具體的物理存儲(chǔ)設(shè)備。該技術(shù)應(yīng)解決兩個(gè)方面的問題，其一，文件數(shù)據(jù)信息可靠安全地?cái)?shù)字化，其二，以低成本管理海量數(shù)據(jù)。

2 網(wǎng)格存儲(chǔ)與云存儲(chǔ)的異同

網(wǎng)格存儲(chǔ)是以數(shù)據(jù)共享為主的計(jì)算密集型網(wǎng)格，是一種軟、硬結(jié)合的分布式計(jì)算基礎(chǔ)設(shè)施，能在動(dòng)態(tài)跨域的虛擬結(jié)構(gòu)內(nèi)實(shí)現(xiàn)數(shù)據(jù)資源共享和存取。網(wǎng)格存儲(chǔ)借助若干相互連接且具有自治能力的存儲(chǔ)結(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)，每個(gè)節(jié)點(diǎn)都具備計(jì)算能力、高速存儲(chǔ)設(shè)備和管理軟件，允許節(jié)點(diǎn)間自由交換數(shù)據(jù)，不需要中央交換節(jié)點(diǎn)的參與。應(yīng)用網(wǎng)格存儲(chǔ)具有三個(gè)優(yōu)點(diǎn)：首先，網(wǎng)格存儲(chǔ)將提升數(shù)據(jù)容錯(cuò)及冗余的級(jí)別。若單節(jié)點(diǎn)故障或兩節(jié)點(diǎn)間出現(xiàn)通信故障，網(wǎng)格存儲(chǔ)將自動(dòng)選擇另一通路或者冗余副本數(shù)據(jù)結(jié)點(diǎn)；其次，存儲(chǔ)節(jié)點(diǎn)對(duì)間建立的多條路徑，可保證網(wǎng)絡(luò)負(fù)載出現(xiàn)急劇變化時(shí)系統(tǒng)性能較佳；最后，網(wǎng)格存儲(chǔ)允許節(jié)點(diǎn)的加入和退出，新增的存儲(chǔ)結(jié)點(diǎn)能夠被系統(tǒng)識(shí)別和接納，并在隨后的工作中分擔(dān)存儲(chǔ)任務(wù)。

云存儲(chǔ)和網(wǎng)格存儲(chǔ)這兩種存儲(chǔ)技術(shù)分別以云計(jì)算和網(wǎng)格計(jì)算為基礎(chǔ)，二者有別于兩個(gè)方面，一個(gè)區(qū)別是資源調(diào)度和管理模式的不同，另一區(qū)別是是資源虛擬化方式的不同。

云計(jì)算采用服務(wù)器集群來存儲(chǔ)和管理數(shù)據(jù)，計(jì)算任務(wù)和存儲(chǔ)任務(wù)分布于高性能服務(wù)器上，是一種以數(shù)據(jù)為中心的處理模式。網(wǎng)格計(jì)算將軟件資源虛擬化，而云計(jì)算則進(jìn)一步將硬件資源虛擬化[3]。網(wǎng)格計(jì)算大多要求結(jié)點(diǎn)安裝虛擬機(jī)軟件，網(wǎng)格內(nèi)各節(jié)點(diǎn)借助于虛擬機(jī)使用統(tǒng)一的操作系統(tǒng)（多為L(zhǎng)inux系統(tǒng)），而云計(jì)算放寬了條件，適應(yīng)多種人機(jī)界面和操作系統(tǒng)，表現(xiàn)為硬件資源的無限擴(kuò)展。

3 網(wǎng)格文件存儲(chǔ)系統(tǒng)

3.1 存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)

圖1 網(wǎng)格文件存儲(chǔ)系統(tǒng)結(jié)構(gòu)

網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)結(jié)構(gòu)具體描述如下：

1）應(yīng)用層，提供用戶界面，包括文件數(shù)據(jù)查詢、增加、刪除、管理。

2）匯聚層，負(fù)責(zé)將各網(wǎng)格節(jié)點(diǎn)的元數(shù)據(jù)統(tǒng)一到名字空間。

3）存儲(chǔ)資源層，由存儲(chǔ)子網(wǎng)和用戶組成，每個(gè)子網(wǎng)由多存儲(chǔ)節(jié)點(diǎn)組成，如圖2所示。

4）鏈路層和物理層，可借助于現(xiàn)存的存儲(chǔ)資源子網(wǎng)和現(xiàn)有網(wǎng)絡(luò)設(shè)備及通路，無需升級(jí)。

圖2 存儲(chǔ)資源子網(wǎng)結(jié)構(gòu)

3.2 存儲(chǔ)系統(tǒng)的數(shù)據(jù)流模式

系統(tǒng)工作流程如下：客戶端向中心服務(wù)器提出請(qǐng)求，中心服務(wù)器對(duì)客戶的請(qǐng)求進(jìn)行安全認(rèn)證，若認(rèn)證不通過則拒絕訪問，若認(rèn)證成功則根據(jù)文件存儲(chǔ)結(jié)點(diǎn)的負(fù)載情況將請(qǐng)求轉(zhuǎn)發(fā)到負(fù)載較輕的網(wǎng)格結(jié)點(diǎn)，其數(shù)據(jù)流程如圖3所示。

圖3描述了網(wǎng)絡(luò)存儲(chǔ)的工作流程。當(dāng)用戶需要訪問一個(gè)網(wǎng)格文件時(shí)，通過以下步驟：

1）用戶向認(rèn)證服務(wù)器發(fā)送認(rèn)證請(qǐng)求；

2）認(rèn)證服務(wù)器向請(qǐng)求者返回公鑰；

3）認(rèn)證服務(wù)器向名字服務(wù)群集返回RSA私鑰；

4）名字服務(wù)器向網(wǎng)格存儲(chǔ)結(jié)點(diǎn)傳輸私鑰；

5）名字服務(wù)器根據(jù)邏輯文件名字返回物理文件名映射；

6）網(wǎng)格存儲(chǔ)系統(tǒng)通過協(xié)商好的網(wǎng)格文件訪問協(xié)議向用戶訪問接口傳送數(shù)據(jù)。

圖3 安全認(rèn)證模式下網(wǎng)格存儲(chǔ)信息流程

4 網(wǎng)格存儲(chǔ)關(guān)鍵技術(shù)

4.1 名字服務(wù)

名字服務(wù)由若干同構(gòu)的網(wǎng)格服務(wù)器組成，為網(wǎng)絡(luò)文件存儲(chǔ)提供統(tǒng)一的命名空間，該命名空間是所有分布在各網(wǎng)格節(jié)點(diǎn)上文件數(shù)據(jù)的邏輯視圖，便于技術(shù)人員和用戶對(duì)系統(tǒng)進(jìn)行統(tǒng)一管理。不論技術(shù)人員，還是用戶，可在任何時(shí)間、任何地域及任何類型的客戶端上訪問系統(tǒng)，所看到的文件列表都是一致的。若一個(gè)用戶新增或刪除數(shù)據(jù)資源，其他用戶整個(gè)系統(tǒng)的數(shù)據(jù)變化可很快被其他用戶感知[4]。

名字服務(wù)的核心是元數(shù)據(jù)管理，主要記錄網(wǎng)格中某個(gè)文件的物理位置信息，并維持邏輯文件信息與物理的文件實(shí)體一致性。名字服務(wù)提供的對(duì)物理文件元數(shù)據(jù)信息管理，包括某個(gè)文件的具體屬性，如文件大小、二進(jìn)制文件類型、CRC或MD5較驗(yàn)。

4.2 冗余存儲(chǔ)策略設(shè)計(jì)

同任何一個(gè)存儲(chǔ)系統(tǒng)一樣，不合理的存儲(chǔ)策略設(shè)計(jì)將影響系統(tǒng)可靠度，從而影響其網(wǎng)格文件系統(tǒng)可用性。而對(duì)網(wǎng)絡(luò)文件數(shù)據(jù)進(jìn)行合理的冗余，可彌補(bǔ)單一文件副本存儲(chǔ)方式帶來的低可靠度問題。系統(tǒng)采用將大文件分解成若干份額并將若干份額存儲(chǔ)到各個(gè)網(wǎng)格節(jié)點(diǎn)的方式，提高系統(tǒng)可靠性。為方便將大文件分成小份額和將各個(gè)小份額合理分配，需要兩種關(guān)鍵技術(shù)，分別是數(shù)據(jù)指紋和信息散列。

數(shù)字指紋也叫數(shù)字簽名，是一種信息編碼技術(shù)，較常用的有MD5加密算法，應(yīng)用MD5算法可以為任何文件生成一個(gè)同樣獨(dú)一無二的數(shù)字指紋，如果數(shù)據(jù)在傳輸過程出現(xiàn)任何錯(cuò)誤，其MD5值也會(huì)發(fā)生相應(yīng)變化。在本系統(tǒng)中，一個(gè)大文件分成若干個(gè)份額，計(jì)算每份額的MD5編碼，同時(shí)為每個(gè)份額準(zhǔn)備若干副本，最后利用MD5加密和檢測(cè)技術(shù)避免在同一臺(tái)主機(jī)上存儲(chǔ)多個(gè)相同份額。

為實(shí)現(xiàn)將若干個(gè)文件副本均勻分發(fā)到各網(wǎng)格結(jié)點(diǎn)，并保證每個(gè)網(wǎng)格結(jié)點(diǎn)中沒有相同的份額，還需要應(yīng)用信息散列算法（Information Dispersal A lgorithm，IDA）[5]。IDA算法可表述為 IDA（n,m）的形式，其中，參數(shù) n 表示一個(gè)數(shù)據(jù)文件能分解出的份額及其副本的總數(shù)目，參數(shù)m表示系統(tǒng)從n個(gè)份額中恢復(fù)出原始文件至少需要多少個(gè)份額，其工作原理如圖4所示。

圖4 網(wǎng)格數(shù)據(jù)冗余存儲(chǔ)策略設(shè)計(jì)

5 網(wǎng)格存儲(chǔ)系統(tǒng)可靠性

網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的可靠性可結(jié)合概率模型和可靠性理論[6]進(jìn)行刻畫，假設(shè)網(wǎng)格存儲(chǔ)系統(tǒng)的可靠性用P表示，網(wǎng)絡(luò)節(jié)點(diǎn)的可靠性用p表示，由以上提出的IDA散列算法可知，成功恢復(fù)出一個(gè)原始文件，需要從n個(gè)份額中至少挑出m個(gè)份額才可完成，則整個(gè)系統(tǒng)的可靠性由式（1）表示。

若網(wǎng)格節(jié)點(diǎn)的可靠性平均為0.8，一個(gè)完整的文件分解為64個(gè)份額，即n為64，恢復(fù)出原始的數(shù)據(jù)文件需要32個(gè)份額，即m為32，所使用的散列函數(shù)為IDA（64，32），由式（1）可知P=0.99974。若不進(jìn)行文件分割令其可靠性為P’，而采用雙機(jī)備份，即兩個(gè)網(wǎng)格節(jié)點(diǎn)，一個(gè)存儲(chǔ)原始數(shù)據(jù)，一個(gè)存儲(chǔ)副本數(shù)據(jù)，則而對(duì)于完全備份系統(tǒng)來說，可靠性P’=1-（1-0.8）（1-0.8）=0.96。由以上可知，采用文件分割的多副本冗余方式存儲(chǔ)數(shù)據(jù)，可靠性改善明顯，由此系統(tǒng)可用性提高了。

6 結(jié)束語

海量文件數(shù)據(jù)增長(zhǎng)難題最終轉(zhuǎn)化為對(duì)傳統(tǒng)存儲(chǔ)技術(shù)改造和升級(jí)，如分布式存儲(chǔ)、網(wǎng)格存儲(chǔ)。系統(tǒng)比較了云存儲(chǔ)和網(wǎng)格存儲(chǔ)異同，設(shè)計(jì)了網(wǎng)格存儲(chǔ)的系統(tǒng)結(jié)構(gòu)和冗余存儲(chǔ)策略，有效提高了網(wǎng)格文件存儲(chǔ)系統(tǒng)的可用性，采用基于認(rèn)證的存儲(chǔ)流程，改善系統(tǒng)安全性。在能源、電力和互聯(lián)網(wǎng)企業(yè)中，借助網(wǎng)格文件存儲(chǔ)將同構(gòu)的計(jì)算資源整合起來，可為企業(yè)的生產(chǎn)和檔案管理及各種ERP應(yīng)用系統(tǒng)提供數(shù)據(jù)支撐。

[1] 中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心.中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[EB/OL].(2012-1).http://www.cnnic.net.cn/dtygg/dt gg/201201/W 020120116337628870651.pdf.

[2] 劉浩,唐培和,等.企業(yè)存儲(chǔ)網(wǎng)格中資源請(qǐng)求任務(wù)的模擬與分析[J].計(jì)算機(jī)工程與應(yīng)用,2011,19:82-84,131.

[3] 謝華成,范黎林.云環(huán)境下海量非結(jié)構(gòu)化信息存儲(chǔ)技術(shù)探究[J].制造業(yè)自動(dòng)化,2012,16:28-30,67.

[4] 朱強(qiáng).基于對(duì)等網(wǎng)絡(luò)架構(gòu)的新型控制系統(tǒng)研究與實(shí)現(xiàn)[D].上海大學(xué),2011.

[5] 呂衛(wèi)忠,康紅勛,等.數(shù)據(jù)網(wǎng)格中高效的分布式存儲(chǔ)策略[J].計(jì)算機(jī)工程,2011,05:38-40.

[6] A.Calderón,F.García-Carballeira,L.M.Sánchez,et al.Fault tolerant file models for parallel file systems:introducing distribution patterns for every fi le [J].The Journal of Super computing,2009,47(03):312-334.