熊安萍，劉進進，鄒 洋

（重慶郵電大學 計算機科學與技術(shù)學院，重慶400065）

0 引 言

近年來，隨著處理器和網(wǎng)絡(luò)等基礎(chǔ)設(shè)備性能取得飛速發(fā)展，高性能并行技術(shù)的應(yīng)用領(lǐng)域由石油勘探、氣象預(yù)測、科學研究等計算密集型領(lǐng)域擴展到國際金融、電信業(yè)務(wù)等數(shù)據(jù)密集型領(lǐng)域。需要處理的數(shù)據(jù)量極大增長的同時，對海量存儲系統(tǒng)的性能也提出了巨大挑戰(zhàn)。

基于對象存儲是一種高性能、為解決海量數(shù)據(jù)存儲而設(shè)計的分布式并行存儲技術(shù)。基于對象存儲體系結(jié)構(gòu)由客戶端（簡稱Client）、元數(shù)據(jù)服務(wù)器（MDS）、對象存儲服務(wù)器（OST）（也稱“存儲節(jié)點”）3部分構(gòu)成。將數(shù)據(jù)通路（讀和寫）和控制通路（元數(shù)據(jù)）分離的策略，每個對象存儲設(shè)備智能地管理自身設(shè)備上的數(shù)據(jù)對象分布，對象存儲體系結(jié)構(gòu)很好地實現(xiàn)了在元數(shù)據(jù)和文件數(shù)據(jù)之間的并行性、文件數(shù)據(jù)在對象存儲設(shè)備上的并行性，提高了系統(tǒng)I/O性能。在大文件并行存儲的同時，需要分配各種計算機資源，并且存儲節(jié)點性能的差異，作業(yè)到達的隨機性，都會導致系統(tǒng)各節(jié)點負載和存儲空間的動態(tài)變化，為了適應(yīng)這種無序變化，文件在對象存儲設(shè)備上如何均衡、高效存儲，進而提高系統(tǒng)I/O性能，成為學術(shù)界研究的熱點。

本文分析了對象存儲技術(shù)現(xiàn)有文件存儲策略與機制的優(yōu)缺點，針對對象存儲體系結(jié)構(gòu)的特性、數(shù)據(jù)并行存儲的特點提出了一種負載均衡存儲策略，綜合考慮了影響系統(tǒng)存儲性能的因素，并在現(xiàn)有對象存儲文件系統(tǒng)中設(shè)計和實現(xiàn)了該存儲策略。實驗表明，該策略在現(xiàn)有異構(gòu)存儲集群環(huán)境下，能一定程度上避免因部分節(jié)點過載的再次分配，同時，保證了數(shù)據(jù)的均衡、高效存儲，提高了系統(tǒng)整體讀寫性能。相比現(xiàn)有存儲策略，本文的存儲負載策略具有更加廣泛的適用性。

1 現(xiàn)有文件存儲策略

目前對象存儲技術(shù)普遍采用以下兩種策略將文件數(shù)據(jù)分配到不同的存儲節(jié)點。

第一種策略是順序分配方式，也稱為輪詢放置策略。元數(shù)據(jù)服務(wù)器按照某種規(guī)則將存儲節(jié)點順序編號，選擇有效的存儲節(jié)點，將文件數(shù)據(jù)劃分成一定大小的數(shù)據(jù)片輪詢放置到各個存儲節(jié)點上。

第二種策略是哈希分配方式，也稱為隨機分配策略。該策略利用哈希函數(shù)確定文件的存儲節(jié)點。

以上策略均為靜態(tài)分配策略，沒有考慮各個對象存儲設(shè)備本身負載的實時變化，具體存在以下3個方面的問題：

（1）默認了存儲環(huán)境是同構(gòu)的，但是對象存儲系統(tǒng)往往構(gòu)建在異構(gòu)集群環(huán)境下。在集群環(huán)境下，隨機分配I/O任務(wù)時，所有集群節(jié)點接受任務(wù)的概率相等，在異構(gòu)環(huán)境下，性能較差節(jié)點處理任務(wù)的能力相對較弱，在任務(wù)量一定的情況下，就會出現(xiàn)性能較差節(jié)點任務(wù)滿載或者超載，性能較好節(jié)點相對空閑，影響客戶端響應(yīng)時間，系統(tǒng)資源得不到充分利用。

（2）未考慮所選存儲節(jié)點的I/O負載，假設(shè)輪詢或者HASH的方式選擇了一個正在進行大量I/O處理的超載節(jié)點，則會大大影響客戶端響應(yīng)時間。

（3）未考慮所選節(jié)點的存儲空間負載的變化。存儲節(jié)點通過刪除、創(chuàng)建、修改等操作，會出現(xiàn)文件數(shù)據(jù)不均衡的分布在各存儲節(jié)點中，部分節(jié)點存儲空間占用率高，部分節(jié)點存儲空間占用率低。而靜態(tài)分配方式，仍然會選擇存儲空間滿載的節(jié)點，造成分配失敗，導致數(shù)據(jù)的遷移或者重新分配，增加系統(tǒng)開銷。

總之，當前的數(shù)據(jù)分配策略沒有綜合考慮對象存儲設(shè)備的空間、I/O等負載的實時變化，會導致整個存儲系統(tǒng)性能下降。

2 基于對象存儲的負載均衡存儲策略

本文基于對象存儲的負載均衡存儲策略基本思想綜合考慮了存儲對象節(jié)點的動態(tài)負載，包括存儲空間、I/O負載。由元數(shù)據(jù)服務(wù)器全局地維護對象存儲節(jié)點存儲空間等負載信息。客戶端以2.1節(jié)理論為基礎(chǔ)，決定存儲的節(jié)點集合，客戶端從元數(shù)據(jù)服務(wù)器獲取該集合中各存儲節(jié)點負載信息，選擇剩余空間最大且I/O負載較小的存儲節(jié)點進行文件存儲。

2.1 存儲節(jié)點數(shù)

對象存儲體系結(jié)構(gòu)中的數(shù)據(jù)分配機制，使得一個完整的數(shù)據(jù)文件分布存儲在多個存儲設(shè)備上，一個客戶端可以同時訪問一個文件的多個部分，同樣，多個客戶端可以同時訪問一個文件的不同部分，提高了系統(tǒng)的整體并行性［3］。但是建立連接的系統(tǒng)開銷對系統(tǒng)整體性能有負面影響，首先，數(shù)據(jù)同步和文件片段重新拼裝也將花費不少CPU時間；其次，一個客戶端與多個OST交互增加了協(xié)議處理開銷［4］。基于此，文獻［2］提出了柔性對象分布策略，從理論上分析了文件分割與網(wǎng)絡(luò)傳輸時延的關(guān)系，數(shù)據(jù)文件應(yīng)該被分割的對象數(shù)

式中：Tp——數(shù)據(jù)文件并行傳輸?shù)臅r間開銷；T——數(shù)據(jù)文件串行傳輸?shù)臅r間開銷；n——數(shù)據(jù)文件被劃分的對象數(shù)；a——在客戶端劃分數(shù)據(jù)、建立連接等的開銷因子；b——數(shù)據(jù)傳輸時間，b＝數(shù)據(jù)大小/網(wǎng)絡(luò)帶寬；c—— 一個常數(shù)，表示數(shù)據(jù)校驗、身份認證等額外時間開銷。

該公式的意義是：傳輸數(shù)據(jù)文件時，總時延為總開銷因子與傳輸時間之和。并行傳輸時，需要建立連接、數(shù)據(jù)分片等時間開銷是串行傳輸時的n倍，但是數(shù)據(jù)并行傳輸帶寬是串行傳輸?shù)膎倍。Tp/T值越小，說明Tp相對于T而言值越小，并行傳輸?shù)臅r延相對而言越短，性能相比而言越好。因此求出函數(shù)（2）的最小值就是節(jié)點n的最優(yōu)解

考慮到實際應(yīng)用中，有效的存儲節(jié)點數(shù)不一定恰好滿足該最優(yōu)解，例如，可能會有存儲節(jié)點因為各種故障而失效，為此，本文對存儲對象節(jié)點數(shù)目的取值進行以下修正：

取分配節(jié)點數(shù)n的取值為：

其中：N為存儲體系結(jié)構(gòu)中有效存儲節(jié)點個數(shù)。［x］表示不大于x的最大整數(shù)。

由此可見，當數(shù)據(jù)文件很小時，a值即在客戶端建立連接等開銷應(yīng)該很小，不適合分片存儲，因此對小文件而言，無需分片存儲。

2.2 負載因素

對象存儲負載涉及到CPU、內(nèi)存、網(wǎng)絡(luò)、I/O量、硬盤容量等。針對不同作業(yè)類型，選擇能準確反映節(jié)點綜合負載的負載因素，是設(shè)計調(diào)度策略時考慮的必要前提。

對象存儲體系結(jié)構(gòu)針對大數(shù)據(jù)文件采取分片存儲及并行讀寫策略，存儲節(jié)點的讀寫操作屬于I/O類作業(yè)，需要進行頻繁的磁盤讀寫，并且磁盤I/O讀寫速率與CPU及主存速率之間的差異容易導致I/O成為系統(tǒng)的瓶頸。對象存儲體系環(huán)境中，讀寫操作都會涉及到批量數(shù)據(jù)的讀寫及其在網(wǎng)絡(luò)中的傳輸，因此磁盤I/O量和網(wǎng)絡(luò)帶寬是影響系統(tǒng)性能的主要因素，而CPU在對象存儲節(jié)點中主要完成操作流控制和地址轉(zhuǎn)換功能，只需進行較少的計算?；谝陨戏治?，本文選擇存儲節(jié)點的磁盤剩余空間及I/O負載作為主要負載因素。

2.3 基于對象存儲的負載均衡存儲策略

假定我們已經(jīng)為某個文件確定了n個存儲節(jié)點。設(shè)OST＝｛OST0，OST1，OST2，…，OSTn－1｝是該存儲節(jié)點集合，S＝｛S0，S1，S2，S3，…，Sn－1｝是該存儲節(jié)點剩余存儲容量集合。A＝｛A0，A1，A2，…，－An－1｝是存儲節(jié)點剩余空間所占總剩余空間比例。L＝｛Load0，Load1，Load2，…，Loadn－1｝表示存儲節(jié)點的I/O負載量

式（3）表示存儲節(jié)點剩余磁盤空間占總磁盤剩余空間的比例。

將所有存儲節(jié)點存儲空間虛擬為一個邏輯整體，每個存儲節(jié)點可用空間是對象存儲系統(tǒng)可用空間的一部分。存儲節(jié)點剩余空間比例Ai是整體剩余空間的一部分，存儲節(jié)點Ai越大，剩余空間相對其它節(jié)點可用空間而言越大。為了均衡利用存儲空間資源、平衡存儲空間負載，優(yōu)先選擇Ai大的存儲節(jié)點

式（4）表示存儲節(jié)點I/O負載量，其中 MEMi、IOi、Ni分別代表存儲節(jié)點OSTi的內(nèi)存負載、I/O量和網(wǎng)絡(luò)負載。其中wi（i＝1，2，3）表示對應(yīng)負載因素在影響整個I/O負載情況的重要程度。其中

服務(wù)器性能猶如電壓功率一樣，也有自己的I/O負載額定值 MAX（i），定義ui＝LOAD（i）/MAX（i）表示存儲節(jié)點OSTi的I/O負載與負載額定值的比例即I/O負載參量。如果ui＞1，說明系統(tǒng)I/O負載大于額定值，該存儲節(jié)點的I/O負載處于超載狀態(tài)；如果ui＝1，說明存儲節(jié)點I/O負載處于飽和狀態(tài)；如果ui＜1，說明存儲節(jié)點I/O負載小于額定值，表示存儲節(jié)點處于相對空閑狀態(tài)。隨著系統(tǒng)的運行，任何一個節(jié)點的I/O負載狀態(tài)將在這3種狀態(tài)中轉(zhuǎn)換，當系統(tǒng)達到穩(wěn)定平衡時，各節(jié)點應(yīng)該處于I/O負載飽和狀態(tài)或者接近飽和狀態(tài)。

理論上I/O負載額定值是對系統(tǒng)性能的評估，但是可以在實際運行中根據(jù)實際情況動態(tài)調(diào)整該參數(shù)，滿足當前系統(tǒng)運行需求，當某個時刻所有節(jié)點都滿負荷了，此時可以適當?shù)脑龃驧AX（i）的值，可以盡可能多的接納用戶的任務(wù)量，當系統(tǒng)整體負載較輕時，可以適當降低MAX（i），此時更多節(jié)點趨于飽和平衡狀態(tài)。動態(tài)調(diào)整這個參數(shù)，動態(tài)調(diào)整系統(tǒng)運行的狀態(tài)，系統(tǒng)運行狀態(tài)隨著系統(tǒng)的運行情況而動態(tài)變化，不斷滿足用戶需求，實現(xiàn)了應(yīng)對系統(tǒng)I/O負載的彈性化處理機制，盡量提高系統(tǒng)的吞吐率。

3 基于對象存儲的負載均衡存儲策略實現(xiàn)

基于以上對對象存儲體系中文件存儲策略和異構(gòu)系統(tǒng)負載特征的研究和分析，結(jié)合基于對象存儲系統(tǒng)的特征和負載性質(zhì)，設(shè)計并實現(xiàn)了一種基于對象存儲的負載均衡存儲策略，該實現(xiàn)模塊結(jié)構(gòu)如圖1所示。

圖1 實現(xiàn)模塊結(jié)構(gòu)

3.1 模塊設(shè)計

對象存儲體系結(jié)構(gòu)中，負載信息的采集和存儲由元數(shù)據(jù)服務(wù)器全局維護，各個對象存儲節(jié)點智能的管理和維護自身負載信息，并且實時的向元數(shù)據(jù)服務(wù)器反饋，客戶端依據(jù)這些信息決策所選存儲節(jié)點集合，符合軟件設(shè)計的模塊化原則，均衡了處理邏輯的任務(wù)分布。整個數(shù)據(jù)分配流程更加合理、靈活、高效。

（1）剩余空間信息鏈表：存儲空間負載監(jiān)控模塊發(fā)現(xiàn)當前存儲節(jié)點剩余空間變化較大時，主動通知元數(shù)據(jù)服務(wù)器MDS并且捎帶最新的剩余空間信息，MDS相應(yīng)的存儲空間負載監(jiān)控模塊收到消息后，觸發(fā)負載信息處理模塊更新該鏈表信息，將鏈表節(jié)點信息按照存儲節(jié)點剩余空間比例從大到小排序。與傳統(tǒng)的主動接受信息相比，該方法節(jié)約了網(wǎng)絡(luò)帶寬，保證了存儲空間信息的實時性。

（2）I/O負載信息數(shù)組：MDS的I/O負載收集模塊周期性的向各存儲節(jié)點發(fā)送I/O負載信息請求，存儲節(jié)點的I/O負載監(jiān)控模塊將最新的負載信息反饋給 MDS，觸發(fā)MDS運行負載信息處理模塊更新各節(jié)點負載信息。

（3）當某個節(jié)點失效或者添加節(jié)點時，觸發(fā)MDS負載信息管理模塊將在剩余空間信息和負載信息從鏈表和數(shù)組中刪除或者增加相應(yīng)節(jié)點，并且這種操作對客戶端完全透明，實現(xiàn)了數(shù)據(jù)存儲的可擴展性。

（4）元數(shù)據(jù)服務(wù)器將存儲空間信息和負載信息分別維護，提高了系統(tǒng)的靈活性和信息的可靠性。

3.2 實現(xiàn)算法描述

其基本思想是：基于本文2.1節(jié)理論，決定數(shù)據(jù)文件的分割粒度，選擇剩余空間最大且負載較輕節(jié)點，將數(shù)據(jù)文件按照給定的放置算法放置到選定的存儲節(jié)點上。

輸入：SIZE數(shù)據(jù)文件大??；B網(wǎng)絡(luò)帶寬；N有效存儲節(jié)點個數(shù)；

輸出：選擇存儲節(jié)點集合Q；

步驟1 從MDS獲取各個有效節(jié)點剩余空間信息鏈表和負載信息數(shù)組；

步驟2 如果SIZE小于數(shù)據(jù)塊兩倍，選擇存儲節(jié)點數(shù)設(shè)為1，跳轉(zhuǎn)至步驟6；否則，從步驟3開始

步驟3 計算數(shù)據(jù)傳輸時間b＝SIZE/B；

步驟5 依據(jù)N與n的大小，決定所選存儲節(jié)點個數(shù)M；

步驟6 遍歷存儲節(jié)點剩余空間鏈表，基于存儲節(jié)點索引值從負載信息數(shù)組中取出負載參量值，判斷其是否小于1，如果小于1，將存儲節(jié)點索引號加入集合Q中，否則繼續(xù)遍歷，直到集合大小為M，算法結(jié)束?？蛻舳伺c所選存儲節(jié)點進行數(shù)據(jù)分配存儲。

3.3 算法實現(xiàn)

算法實現(xiàn)所需的核心數(shù)據(jù)結(jié)構(gòu)：

存儲節(jié)點剩余可用空間數(shù)據(jù)結(jié)構(gòu)，由各對象存儲節(jié)點維護：

存儲節(jié)點剩余可用空間數(shù)據(jù)結(jié)構(gòu)，元數(shù)據(jù)服務(wù)器節(jié)點維護：

算法所需要的部分函數(shù)和鏈表：

Dist＿info＿linklist鏈表：用于存放有效存儲節(jié)點存儲容量信息，MDS服務(wù)器按照剩余空間比例字段從大到小排序。

Load＿info信息表：用于存放有效存儲節(jié)點I/O負載相關(guān)信息。

Get＿ratio（idx）：從I/O負載信息數(shù)組中得到索引號為idx的存儲節(jié)點相應(yīng)I/O負載參量。

Add＿To＿Set（idx，Q）：將索引號為idx的存儲節(jié)點添加到節(jié)點所選集合Q中。

M：選擇存儲節(jié)點數(shù)。

STRIPE＿SIZE：兩倍的數(shù)據(jù)塊大小。

客戶端負載均衡存儲策略偽代碼如下所示：

輸入：數(shù)據(jù)文件大小SIZE，網(wǎng)絡(luò)帶寬B，有效存儲節(jié)點個數(shù)N。

算法輸出：選擇的存儲節(jié)點集合OST＿SET＝｛｝，初始化為空，集合個數(shù)為count，初始化為0

算法開始：

4 實驗及結(jié)果分析

測試平臺搭建1個MDS服務(wù)器，10個OST服務(wù)器，6個客戶端，在對象存儲文件系統(tǒng)Lustre1.4.7版本上實現(xiàn)負載均衡存儲策略，使用IOzone作為文件系統(tǒng)讀寫性能測試工具。

比較現(xiàn)有數(shù)據(jù)分配算法（TDAA）與本文基于對象存儲的負載均衡算法（OBSLBA），設(shè)置數(shù)據(jù)塊大小固定值為256K，3個客戶端測試大小為64M、128M、256M、1024M、2048M的數(shù)據(jù)文件的寫性能，在測試過程中，通過不斷的刪除、創(chuàng)建、修改文件、播放視頻等操作模擬系統(tǒng)資源的無序動態(tài)變化，最后求其平均值。

實驗結(jié)果如圖2所示，本文的負載均衡存儲算法的寫性能比傳統(tǒng)的數(shù)據(jù)分配算法寫性能要好，系統(tǒng)寫的數(shù)據(jù)文件越大，兩者性能差異越大。主要原因是現(xiàn)有數(shù)據(jù)分配算法沒有充分考慮系統(tǒng)存儲資源和系統(tǒng)I/O負載的動態(tài)變化，導致數(shù)據(jù)不合理的分配，部分節(jié)點超載或者飽和仍然會收到大量的讀寫任務(wù)，影響系統(tǒng)的寫性能，數(shù)據(jù)文件越大，系統(tǒng)資源需求越大，數(shù)據(jù)越不均衡的分配，導致系統(tǒng)整體性能越低，相比本文基于對象存儲的負載均衡存儲策略，差別就越明顯。

圖2 寫性能比較

設(shè)置數(shù)據(jù)塊大小為256K，分別采用1、2、4、6個客戶端并發(fā)寫2G的數(shù)據(jù)文件，在測試過程中，通過不斷的刪除、創(chuàng)建、修改文件、播放視頻等操作模擬系統(tǒng)資源無序的動態(tài)變化進行測試。

實驗結(jié)果如圖3所示，隨著客戶端數(shù)量的增加，系統(tǒng)寫性能下降，主要原因是客戶端并發(fā)寫時，對系統(tǒng)資源需求越大，系統(tǒng)負載將會越大，影響系統(tǒng)整體吞吐率。本文基于對象存儲負載均衡算法靈活、方便的數(shù)據(jù)分配機制能均衡使用存儲資源的同時，避免負載不均衡分配，盡量提高了系統(tǒng)的整體性能，并且客戶端越多，相對現(xiàn)有數(shù)據(jù)分配算法而言，這種優(yōu)越性越容易體現(xiàn)。

圖3 不同客戶端并發(fā)訪問時寫性能比較

由此可見，本文實現(xiàn)的基于對象存儲的負載均衡存儲策略能較好適應(yīng)系統(tǒng)存儲資源、負載的動態(tài)變化，客戶端能夠靈活選擇合理的存儲節(jié)點，保證對象存儲系統(tǒng)寫性能的高效性。

5 結(jié)束語

本文研究了基于對象存儲技術(shù)的數(shù)據(jù)分配策略，重點分析了這類策略在系統(tǒng)動態(tài)變化時的不足，給出了靈活、簡單、高效、并且能滿足存儲資源和I/O負載無規(guī)律變化環(huán)境的基于對象存儲的負載均衡存儲策略。實驗結(jié)果表明，該策略能均衡使用系統(tǒng)的存儲資源，能避免I/O負載超載節(jié)點的再次分配，提高了系統(tǒng)的吞吐量，保證了系統(tǒng)高效的讀寫性能，尤其是寫性能。

［1］YU Zhanwu，ZHENG Sheng，LI Zhongmin，et ak.Massive spatial data storage and management based on object－based storage［J］.Geomatics and Information Science of Wuhan University，2008，33（5）：528－532（in Chinese）.［喻占武，鄭勝，李忠民，等.基于對象存儲的海量空間數(shù)據(jù)存儲與管理［J］.武漢大學學報：信息科學版，2008，33（5）：528－532.］

［2］WANG Fang，ZHANG Shunda，F(xiàn)ENG Dan，et al.Hybrid object allocation policy for object storage systems［J］.J Huazhong Univ of Sci ＆Tech：Nature Science Edition，2007，35（3）：46－48（in Chinese）.［王芳，張順達，馮丹，等.對象存儲系統(tǒng)中的柔性對象分布策略［J］.華中科技大學學報：自然科學版，2007，35（3）：46－48.］

［3］Yu Weikuan，Jeffrey Vetter，Shane Canon R，et al.Exploiting lustre file joining for effective collective IO［C］.Rio De Janeiro，Brazil：Seventh IEEE International Symposium on Cluster Computing and the Grid.American：IEEE Computer Society，2007：267－274.

［4］Jeremy Logan，Phillip Dickens.Towards an understanding of the performance of MPI－IO in lustre file systems［C］.Tsukuba：International Conference on Cluster Computing.American：IEEE，2008：330－335.

［5］Sumit Narayan，John A Chandy.Parity redundancy in a clustered storage system［C］.San Diego，CA：Fourth International Workshop on Storage Network Architecture and Parallel I/Os.American：IEEE Computer Society，2008：17－24.

［6］LING Yun，ZHOU Huafeng.Researches on dynamic Loadbalancing technique for heterogeneous cluster system［J］.Computer Engineering and Design，2008，29（12）：3068－3070（in Chinese）.［凌云，周華鋒.面向異構(gòu)集群系統(tǒng)的動態(tài)負載均衡技術(shù)研究［J］.計算機工程與設(shè)計，2008，29（12）：3068－3070.］

［7］WANG Fang，LV Song，F(xiàn)ENG Dan，et al.A general－purpose，intelligent RAID－based object storage device［G］.Lecture Notes in Computer Science 2820：Proceedings of the Second international conference on Embedded Software and Systems，2005：747－756.

［8］Mesnier M，Ganger G，Riedel E.Object－based storage：Pushing more functionality into storage［J］.Potentials，IEEE：2005，24（2）：31－34.

［9］ WEI Li，ZHOU Yuezhi，XIA Nan.Approach to allocate storage space dynamically in network storage system［J］.Computer Engineering，2008，34（5）：33－35（in Chinese）.［韋理，周悅芝，夏楠.用于網(wǎng)絡(luò)存儲系統(tǒng)的存儲空間動態(tài)分配方法［J］.計算機工程，2008，34（5）：33－35.］

［10］ZHAO Tiezhu，Verdi March，Dong Shoubin，et al.Evaluation of a performance model of lustre file system［C］.Guangzhou，Guangdong China：The Fifth Annual ChinaGrid Conference.A－merican：IEEE Computer Society，2010：191－196.

［11］ZHAO Tiezhu，HU Jinlong.Performance evaluation of parallel file system based on lustre and grey theory［C］.Nanjang，Jiangsu，China：Ninth International Conference on Grid and Cloud Computing.American：IEEE Computer Society，2010：118－123.

［12］LING Bo，WANG Xiaoyu，ZHOU Aoying，et al.A collaborative web caching system based on Peer－to－Peer architecture［J］.Chinese Journal of Computers，2005，28（2）：170－178（in Chinese）.［凌波，王曉宇，周傲英，等.一種基于Peerto－Peer技術(shù)的 Web緩存共享系統(tǒng)研究［J］.計算機學報，2005，28（2）：170－178.］

［13］Andrew S Tanenbaum，Maarten Van Steen.Distributed systems principles and paradigms［M］.2nd ed，XIN Chunsheng，CHEN Zongbin，transl.Beijin：Tsinghua University Press，2008：358－360（in Chinese）.［Andrew S Tanenbaum，Maarten Van Steen.分布式系統(tǒng)原理與范性［M］.2版.辛春生，陳宗斌，譯.北京：清華大學出版社，2008：358－360.］

［14］Ananth Rao，Karthik Lakshminarayanan，Sonesh Surana，et al.Load balancing in structured P2Psystems［G］.Lecture Notes in Computer Science 2735：Ion Stoica in PeertoPeer Systems II，2003：68－79.

［15］WANG Fei，XI Hongsheng，YANG Jian.Optimized fileblocking storage scheme in clustered VoD system［J］.Computer Engineering，2008，34（21）：213－215（in Chinese）.［王飛，奚宏生，楊堅.集中式VoD系統(tǒng)中文件分塊存儲策略［J］.計算機工程，2008，34（21）：213－215.］