彭英

（岳陽(yáng)職業(yè)技術(shù)學(xué)院 國(guó)際信息工程學(xué)院，湖南 岳陽(yáng) 414000）

校園網(wǎng)云存儲(chǔ)客戶端的設(shè)計(jì)與實(shí)現(xiàn)

彭英

（岳陽(yáng)職業(yè)技術(shù)學(xué)院 國(guó)際信息工程學(xué)院，湖南 岳陽(yáng) 414000）

本文設(shè)計(jì)一個(gè)基于Hadoop的校園網(wǎng)云存儲(chǔ)客戶端，從系統(tǒng)的體系結(jié)構(gòu)、功能組織和各功能模塊方面進(jìn)行了具體實(shí)現(xiàn)，并對(duì)其擴(kuò)展性能進(jìn)行了測(cè)試與分析。用戶通過(guò)這個(gè)客戶端管理自己的存儲(chǔ)空間和文件,可以將文件上傳到云存儲(chǔ)服務(wù)器中進(jìn)行存儲(chǔ)，并能將云存儲(chǔ)服務(wù)器中的文件下載并進(jìn)行處理。

云存儲(chǔ)；客戶端；Hadoop

云存儲(chǔ)服務(wù)是在云計(jì)算技術(shù)的基礎(chǔ)上，將網(wǎng)絡(luò)中大量不同類型的低成本設(shè)施用統(tǒng)一的平臺(tái)整合起來(lái)，將所有存儲(chǔ)設(shè)備虛擬化成統(tǒng)一的存儲(chǔ)池，采用文件系統(tǒng)全局命名空間，提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能[1]。校園網(wǎng)采用云存儲(chǔ)系統(tǒng)后，用戶使用客戶端登錄云存儲(chǔ)系統(tǒng)，通過(guò)標(biāo)準(zhǔn)的公共應(yīng)用接口進(jìn)行文件管理，享受云存儲(chǔ)服務(wù)[2]。

Hadoop起源于Apache Nutch一個(gè)開(kāi)源的網(wǎng)絡(luò)搜索引擎，是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架[3]。在已有的hadoop云計(jì)算平臺(tái)技術(shù)的基礎(chǔ)上[4]，針對(duì)校園網(wǎng)云存儲(chǔ)服務(wù)的功能、性能需求，筆者設(shè)計(jì)和實(shí)現(xiàn)了校園網(wǎng)云存儲(chǔ)系統(tǒng)的客戶端。這個(gè)客戶端在HDFS（Hadoop Distributed File System，hadoop分布式文件系統(tǒng)）的基礎(chǔ)之上[5]，建立用戶的存儲(chǔ)需求和底層的數(shù)據(jù)處理之間的聯(lián)系。

1 校園網(wǎng)云存儲(chǔ)體系結(jié)構(gòu)

系統(tǒng)底層數(shù)據(jù)處理的基礎(chǔ)采用HDFS分布式文件系統(tǒng)，HDFS采用主/從架構(gòu)，一個(gè)HDFS集群由一個(gè)namenode和多個(gè)datanode組成[6]。Namenode是分布式文件系統(tǒng)中的管理者，主要負(fù)責(zé)管理文件系統(tǒng)的命名空間、集群配置信息和存儲(chǔ)塊的復(fù)制等。Datanode負(fù)責(zé)管理節(jié)點(diǎn)上的存儲(chǔ)，進(jìn)行塊的創(chuàng)建、刪除和復(fù)制等。

用戶通過(guò)客戶端訪問(wèn)云存儲(chǔ)服務(wù)平臺(tái)，客戶端驗(yàn)證接口信息和用戶信息，然后解析用戶命令，知道上傳的文件存到哪里，下載的文件從哪里找?？蛻舳送ㄟ^(guò)遠(yuǎn)程過(guò)程調(diào)用協(xié)議與namenode通信，將這些信息提交給namenode，namenode查找其中的目錄，找到數(shù)據(jù)實(shí)際存在哪些datanode上，以及另外兩個(gè)備份存在哪里 （Hadoop的標(biāo)準(zhǔn)設(shè)定是集群中的每個(gè)數(shù)據(jù)塊有三個(gè)備份）。Namenode通過(guò)任務(wù)跟蹤器控制相應(yīng)的datanode，執(zhí)行相應(yīng)的任務(wù)。客戶端與namenode通過(guò)簡(jiǎn)單的套界字通信，返回結(jié)果。校園網(wǎng)云存儲(chǔ)服務(wù)系統(tǒng)的結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)

2 校園網(wǎng)云存儲(chǔ)系統(tǒng)客戶端的功能組織

通過(guò)對(duì)系統(tǒng)的功能和性能需求分析，校園網(wǎng)云存儲(chǔ)服務(wù)系統(tǒng)客戶端主要包括以下兩個(gè)功能模塊:用戶信息管理和文件管理。其功能組織結(jié)構(gòu)如圖2所示。

圖2 系統(tǒng)功能組織結(jié)構(gòu)

3 用戶管理

用戶管理模塊主要完成對(duì)用戶的基本信息和享有的基本服務(wù)進(jìn)行管理，用戶管理模塊分為用戶登錄、密碼修改、瀏覽目錄、修改目錄四個(gè)子模塊。

用戶登錄模塊完成對(duì)用戶合法性的驗(yàn)證和管理，實(shí)現(xiàn)已有用戶登錄和新用戶注冊(cè)功能，維護(hù)和查找數(shù)據(jù)庫(kù)中的用戶信息表。對(duì)本人信息，用戶擁有修改權(quán)限。登錄時(shí)，系統(tǒng)還要驗(yàn)證其使用期限，如果到期，提示并引導(dǎo)進(jìn)行相應(yīng)的操作。非法用戶嘗試幾次后，禁止其繼續(xù)操作。登錄后，用戶的身份由系統(tǒng)分配的合法ID作為唯一標(biāo)示，ID為進(jìn)行一切操作的前提。用戶權(quán)限由系統(tǒng)管理員統(tǒng)一管理，授予每個(gè)合法用戶相應(yīng)的操作權(quán)限，用戶享受合法權(quán)限內(nèi)的數(shù)據(jù)存儲(chǔ)服務(wù)。用戶信息庫(kù)表如表1所示。

表1 用戶信息表

密碼修改模塊完成對(duì)用戶密碼的維護(hù)。新增用戶時(shí)，設(shè)置初始化密碼，首次登錄時(shí)需要對(duì)初始化密碼進(jìn)行修改，密碼修改后對(duì)其進(jìn)行加密。用戶忘記密碼時(shí)可以選擇通過(guò)手機(jī)發(fā)送驗(yàn)證碼來(lái)重置密碼。

瀏覽目錄模塊完成用戶對(duì)其在本地?fù)碛械拇鎯?chǔ)空間的查看和管理，用戶可以瀏覽本地的存儲(chǔ)空間，及本地存儲(chǔ)空間的文件和各級(jí)目錄。修改目錄模塊完成用戶對(duì)本地存儲(chǔ)空間目錄的合法操作，如創(chuàng)建新的文件目錄，修改已存在的文件目錄等。這兩個(gè)模塊完成對(duì)本地存儲(chǔ)空間的管理和維護(hù)。

操作界面的設(shè)計(jì)上，瀏覽目錄時(shí)在頁(yè)面層次顯示本地磁盤的文件列表，用戶可在文件列表上點(diǎn)擊進(jìn)入任意一個(gè)文件目錄，在此基礎(chǔ)上，對(duì)存儲(chǔ)空間中的文件和目錄進(jìn)行管理操作，完成文件的復(fù)制、重命名、上傳、下載、更改路徑等。

4 文件管理

文件管理模塊實(shí)現(xiàn)文件的上傳和下載操作。文件管理模塊是校園網(wǎng)云存儲(chǔ)客戶端的重要模塊。云存儲(chǔ)系統(tǒng)客戶端的文件管理，必須與在底層處理文件的讀寫(xiě)分布式文件系統(tǒng)HDFS結(jié)合，才能實(shí)現(xiàn)。底層文件處理架構(gòu)以HDFS為核心，負(fù)責(zé)具體的數(shù)據(jù)文件的讀寫(xiě)操作。建立好客戶端和分布式文件集群之間有效的溝通機(jī)制，完善文件操作的處理流程，才能實(shí)現(xiàn)對(duì)用戶數(shù)據(jù)文件的有效管理。

文件管理模塊包括文件上傳模塊和文件下載模塊，分別完成將用戶數(shù)據(jù)文件上傳至云存儲(chǔ)系統(tǒng)進(jìn)行存儲(chǔ)的功能，和將用戶數(shù)據(jù)文件下載至本地的磁盤中的功能。

文件上傳模塊中，客戶端準(zhǔn)備上傳文件到云存儲(chǔ)系統(tǒng)時(shí)，先把文件劃分為塊，然后向namenode發(fā)出寫(xiě)文件的請(qǐng)求。請(qǐng)求被接受后，namenode根據(jù)需上傳數(shù)據(jù)文件的大小和文件塊配置情況，返回它所管理的datanode的信息?？蛻舳私邮找粋€(gè)datanode表（一般為三個(gè)表項(xiàng)），每個(gè)datanode寫(xiě)入一個(gè)數(shù)據(jù)備份。寫(xiě)數(shù)據(jù)前，向相應(yīng)的datanode發(fā)送請(qǐng)求，得到“準(zhǔn)備就緒”響應(yīng)后，開(kāi)始寫(xiě)數(shù)據(jù)。隨著塊復(fù)制的完成，文件被成功上傳。

文件上傳的操作流程為:1）用戶登錄系統(tǒng)，選擇需上傳的文件，客戶端向云存儲(chǔ)系統(tǒng)發(fā)出文件上傳請(qǐng)求；2）云存儲(chǔ)系統(tǒng)收到文件上傳請(qǐng)求，在集群的名字空間中查找，看是否有同名文件，有，則向客戶端反饋信息，要求修改文件名，無(wú)，則根據(jù)數(shù)據(jù)文件的大小及datanode的存儲(chǔ)狀況，為其分配存儲(chǔ)空間；3）客戶端將文件塊上傳到各個(gè)datanode，將文件保存在集群系統(tǒng)中，將文件名字記錄在系統(tǒng)名字空間中。

文件下載模塊中，用戶想要下載文件時(shí)，首先向namenode請(qǐng)求，查詢文件的位置，namenode返回一個(gè)包含所有數(shù)據(jù)塊位置的鏈表，鏈表包含全部備份所在的datanode?？蛻舳诉x取datanode，依次讀取，獲得所需數(shù)據(jù)。

文件下載的操作過(guò)程與文件上傳的操作過(guò)程類似。

實(shí)際操作中，文件上傳到云存儲(chǔ)系統(tǒng)中時(shí)，客戶端的操作界面上會(huì)保留包含文件詳細(xì)信息的記錄，下載該文件時(shí)，可直接根據(jù)文件記錄進(jìn)行操作。HDFS收到下載文件的請(qǐng)求及數(shù)據(jù)文件的相應(yīng)信息，讀取HDFS中相應(yīng)的文件，返回操作結(jié)果，客戶端接收后，將其寫(xiě)入到指定的文件中。

在客戶端界面的文件管理模塊的設(shè)置中，設(shè)置盤符列表，以方便查看云存儲(chǔ)系統(tǒng)中的文件和文件處理狀態(tài)。

5 測(cè)試與分析

本文主要設(shè)計(jì)一個(gè)校園網(wǎng)云存儲(chǔ)系統(tǒng)的客戶端，該云存儲(chǔ)系統(tǒng)建立在hadoop的基礎(chǔ)之上。用戶通過(guò)這個(gè)客戶端，享受校園網(wǎng)云存儲(chǔ)服務(wù)，解決教學(xué)、辦公中產(chǎn)生的海量文件及數(shù)據(jù)存儲(chǔ)、共享問(wèn)題。系統(tǒng)的主要任務(wù)是對(duì)來(lái)自用戶的海量數(shù)據(jù)進(jìn)行存儲(chǔ)處理。對(duì)于用戶來(lái)說(shuō)，系統(tǒng)的存儲(chǔ)容量及可擴(kuò)展性、系統(tǒng)的處理時(shí)間及數(shù)據(jù)的安全是系統(tǒng)性能最重要的評(píng)判標(biāo)準(zhǔn)。存儲(chǔ)容量通過(guò)虛擬化存儲(chǔ)池實(shí)現(xiàn)，數(shù)據(jù)的安全通過(guò)數(shù)據(jù)的多個(gè)備份和用戶身份驗(yàn)證等網(wǎng)絡(luò)安全設(shè)置實(shí)現(xiàn)。測(cè)試主要關(guān)注系統(tǒng)處理作業(yè)的響應(yīng)時(shí)間和系統(tǒng)的可擴(kuò)展性。系統(tǒng)的可擴(kuò)展性方面，系統(tǒng)運(yùn)行中應(yīng)該能容易地添加節(jié)點(diǎn)；加入節(jié)點(diǎn)后，系統(tǒng)性能應(yīng)保持相對(duì)穩(wěn)定。結(jié)合現(xiàn)有設(shè)備和條件，分組進(jìn)行實(shí)驗(yàn)，分別設(shè)定需存儲(chǔ)的文本數(shù)據(jù)的大小和工作節(jié)點(diǎn)的個(gè)數(shù)，測(cè)試系統(tǒng)響應(yīng)時(shí)間。

測(cè)試工具采用LoadRunner，分別采用文件模擬大小不同的文件，工作節(jié)點(diǎn)依次采用為2個(gè)、4個(gè)和8個(gè)遞增測(cè)試。測(cè)試結(jié)果如圖3所示（縱坐標(biāo)單位:10-2秒）。

測(cè)試結(jié)果顯示，對(duì)于600MB、1.2G、2.4G大小的文件，系統(tǒng)響應(yīng)時(shí)間在可接受范圍內(nèi)。隨著存儲(chǔ)節(jié)點(diǎn)的添加，系統(tǒng)處理能力穩(wěn)定，性能基本上處于一個(gè)水平，具有較好的擴(kuò)展性?？傻贸鼋Y(jié)論:系統(tǒng)可以滿足校園網(wǎng)用戶不斷增大的數(shù)據(jù)存儲(chǔ)任務(wù)。

圖3 測(cè)試結(jié)果圖

6 結(jié)論

本文根據(jù)功能和性能需求，在hadoop云計(jì)算平臺(tái)技術(shù)的基礎(chǔ)之上，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)校園網(wǎng)云存儲(chǔ)服務(wù)系統(tǒng)的客戶端。從系統(tǒng)的體系結(jié)構(gòu)、功能組織和各功能模塊方面進(jìn)行了具體實(shí)現(xiàn)，并對(duì)其擴(kuò)展性能進(jìn)行了測(cè)試與分析。用戶可以通過(guò)客戶端管理自己的存儲(chǔ)空間和文件,將數(shù)據(jù)文件上傳到云存儲(chǔ)服務(wù)器中存儲(chǔ)，以及將數(shù)據(jù)文件下載并進(jìn)行相關(guān)的處理。

[1]Ying Peng,Dong Xie.A Network Storage Framework for Internet of Things[C].IUPT,2013.

[2]宋振華.虛擬化技術(shù)中的存儲(chǔ)管理問(wèn)題研究[D].合肥：中國(guó)科技大學(xué)，2010.

[3]李煜民，章才能.云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)[J].電腦知識(shí)與技術(shù)，2010,6(5):1032-1034.

[4]張俊蘭,郭金平,劉翼.高校校園網(wǎng)設(shè)計(jì)方案[J].延安大學(xué)學(xué)報(bào)：自然科學(xué)版,2010,(1).

[5]王剛.云平臺(tái)下HDFS HA的研究與實(shí)現(xiàn)[D].西安：西北大學(xué),2013.

[6]劉琨,李愛(ài)菊,董龍江.基于Hadoop的云存儲(chǔ)的研究及實(shí)現(xiàn)[J].微計(jì)算機(jī)信息：2011,27(7):220-221.

（責(zé)任編校：馬余平）

Design and Implementation of Campus Cloud Storage Client

PENG Ying
(Department of Information Engineering,Yueyang Vocational and Technical College,Yueyang,Hunan 414000)

This paper designs a campus cloud storage client based on Hadoop,implements it on system structure,function organization and function module and test and analysis its expand performance.With it,user can manage his own storage space and files,upload local file to cloud storage server and store,download file from cloud storage server and do the relevant process.

cloud storage;client;Hadoop

TP 393

A

1672-738X(2015)05-0085-03

2015-08-31

湖南省教育廳一般科研項(xiàng)目“校園網(wǎng)中存儲(chǔ)方案的設(shè)計(jì)與應(yīng)用”（14C1150）。

彭英（1973—），女，湖南岳陽(yáng)人，計(jì)算機(jī)副教授，高級(jí)工程師。主要研究方向：計(jì)算機(jī)網(wǎng)絡(luò)。