楊斌++馬小虎

摘要：針對大數(shù)據(jù)時代以及職業(yè)院校學(xué)習(xí)資源需求的特點和海量數(shù)字學(xué)習(xí)資源提供服務(wù)中的不足，結(jié)合云計算的特點提出了基于Hadoop框架構(gòu)建學(xué)校內(nèi)部云存儲的設(shè)計方案，為學(xué)生在大數(shù)據(jù)背景下能夠進(jìn)行高效的學(xué)習(xí)提供幫助。文中重點論述了云存儲的體系結(jié)構(gòu)和各個層的功能，通過實驗進(jìn)行模擬測試進(jìn)行分析。

關(guān)鍵詞：學(xué)習(xí)資源 云存儲 模型構(gòu)建

中圖分類號：TP333 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2014）08-0203-01

數(shù)字化學(xué)習(xí)資源的不斷增長，使傳統(tǒng)的單一課堂教學(xué)向網(wǎng)絡(luò)化的數(shù)字學(xué)習(xí)模式發(fā)展，人們的學(xué)習(xí)方式和理念也在發(fā)生變化：“人們期望能夠按照自己的意愿在任何時間、任何地點從事學(xué)習(xí)、工作和研究”， 泛在學(xué)習(xí)已經(jīng)成為學(xué)習(xí)發(fā)展的重要方向。大數(shù)據(jù)時代來臨，數(shù)字化學(xué)習(xí)資源的建設(shè)受到廣泛的關(guān)注。各高職院校也在積極的投入資金和人力進(jìn)行數(shù)字化學(xué)習(xí)資源的建設(shè)與采購。

1 目前職業(yè)院校學(xué)習(xí)資源存儲模式不足

大數(shù)據(jù)時代學(xué)習(xí)資源呈爆炸式增長趨勢。隨著教育信息化不斷提高，各種新形式的學(xué)習(xí)資源不斷出現(xiàn)，職業(yè)院校學(xué)生仿真模擬實踐、數(shù)字化的各種教育積件資源存儲等需求，不斷對存儲結(jié)構(gòu)提出新的挑戰(zhàn)。學(xué)生獲取學(xué)習(xí)資源受制于地理位置和學(xué)習(xí)對象，無法實現(xiàn)泛在式學(xué)習(xí)，學(xué)習(xí)效率不高。在資源存儲結(jié)構(gòu)上大多采用單機服務(wù)器的存儲結(jié)構(gòu)，給資源服務(wù)制造了不穩(wěn)定因素。隨著學(xué)習(xí)資源的增長，需要不斷的進(jìn)行硬件設(shè)備和管理系統(tǒng)的升級和更新，會造成設(shè)備和資金的浪費。學(xué)校資源存儲中主要存在三個問題：一是資源來源復(fù)雜，資源類型多樣、內(nèi)容豐富，缺乏有效的組織和管理，安全性不高；二是數(shù)字學(xué)習(xí)資源需求高，資源共享程度不高，提供服務(wù)效率低；三是系統(tǒng)更新較慢，不能滿足泛在學(xué)習(xí)的高速檢索和下載，資金投入壓力大。

2 學(xué)習(xí)資源云存儲模型設(shè)計與實現(xiàn)

云計算是大數(shù)據(jù)的基礎(chǔ)，大數(shù)據(jù)時代需要云存儲才能實現(xiàn)高效的資源服務(wù)。構(gòu)建一個安全、穩(wěn)定、高效的云存儲結(jié)構(gòu)對于解決海量學(xué)習(xí)資源的存儲和泛在式學(xué)習(xí)對數(shù)字資源高效需求存在的問題是一個新的方案。

云存儲。云存儲是為了滿足海量數(shù)據(jù)的存儲和管理，通過網(wǎng)格技術(shù)和分布式文件系統(tǒng)等技術(shù)，把大量各種類型的存儲設(shè)備組成集群，運用虛擬化技術(shù)形成一個整體，提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的系統(tǒng)。用戶無需考慮存儲設(shè)備的型號、磁盤的容量和類型，也無需考慮具體采用何種接口和傳輸協(xié)議及存儲和服務(wù)器之間的連接電纜等，即可快速建立自己的數(shù)據(jù)中心并將本地數(shù)據(jù)部署至網(wǎng)絡(luò)存儲。它具有：存儲容量大、高可靠性、通用性、高擴展性、按需服務(wù)、成本低等特點。

Hadoop框架。Hadoop是Apache軟件基金會組織下的一個開源云平臺項目，它可以使用普通的硬件組件大規(guī)模的集群系統(tǒng)，是云計算、大數(shù)據(jù)存儲的方法之一，主要包括HDFS文件系統(tǒng)和MapReduce映射/簡化引擎。采用Hadoop框架構(gòu)建學(xué)校學(xué)習(xí)資源云存儲系統(tǒng)具有一定的優(yōu)勢。

學(xué)習(xí)資源云存儲模型。由于網(wǎng)絡(luò)訪問量較大，為了減少訪問的壓力，在使用Hadoop構(gòu)建學(xué)習(xí)資源云存儲模型時對其結(jié)構(gòu)進(jìn)行改進(jìn)。在本模型中采用了三級模式，在第一層的分析節(jié)點中使用單節(jié)點來控制多個名字空間節(jié)點，構(gòu)成一個主從結(jié)構(gòu)；在名字節(jié)點下又設(shè)置有數(shù)據(jù)集群管理節(jié)點，名字空間節(jié)點控制數(shù)據(jù)集群管理節(jié)點構(gòu)成第二層的主從結(jié)構(gòu)；數(shù)據(jù)控制節(jié)點控制所有的低端數(shù)據(jù)集群，構(gòu)成了底層主從結(jié)構(gòu)。在Hadoop的主框架下，通過對中心任務(wù)的分解和下放的方式，來降低中心節(jié)點的任務(wù)量。把原來中心節(jié)點的任務(wù)分布到分析節(jié)點、名字空間節(jié)點和數(shù)據(jù)管理節(jié)點上執(zhí)行，可以極大的降低中心節(jié)點的壓力。實現(xiàn)學(xué)習(xí)資源在底端物理存儲設(shè)備上的分布存儲。

在設(shè)計存儲模型時，充分考慮學(xué)習(xí)資源的特點和內(nèi)在的聯(lián)系，設(shè)計時把名字空間節(jié)點，按照學(xué)科進(jìn)行劃分。當(dāng)有資源文件提交寫入申請后，在分析節(jié)點進(jìn)行解析、提取學(xué)習(xí)資源的信息，并根據(jù)學(xué)科分配到相應(yīng)的名字空間節(jié)點。在名字空間節(jié)點上，對學(xué)習(xí)文件進(jìn)行分塊，同時向下層和上層傳遞信息。在數(shù)據(jù)控制節(jié)點接收到塊文件以后對塊文件分配數(shù)據(jù)節(jié)點進(jìn)行存儲。在存儲時把一次提交的資源文件的塊文件，采用就近原則進(jìn)行存儲（分布存儲在多個數(shù)據(jù)節(jié)點上，方便以后的并行訪問）。然后根據(jù)副本存儲策略進(jìn)行副本的存儲。在訪問的時候系統(tǒng)根據(jù)需要決定哪些數(shù)據(jù)節(jié)點提供服務(wù)，在數(shù)據(jù)管理節(jié)點可以對資源的訪問情況進(jìn)行記錄，當(dāng)某些資源被頻繁的訪問，可以通過改變塊文件的分布情況和增加塊文件的副本數(shù)量的方法，讓更多的數(shù)據(jù)節(jié)點參與提供服務(wù)。關(guān)系數(shù)據(jù)庫在處理海量數(shù)據(jù)的時候，服務(wù)效率（包括查詢、插入等）都會有一定程度的降低，而且容易產(chǎn)生系統(tǒng)瓶頸。為了能夠滿足海量學(xué)習(xí)資源存儲的要求，采用Hadoop中的HBase對資源的元數(shù)據(jù)進(jìn)行存儲?？梢园巡煌谋矸植即鎯Φ讲煌墓?jié)點上，而且具有良好的擴展性。

3 實驗測試

采用清華同方個人計算機7臺，在實驗室內(nèi)對模型進(jìn)行測試。在模擬測試模型中設(shè)計將1臺計算機設(shè)置為控制節(jié)點，2臺計算機模擬名字空間節(jié)點，4臺計算機模擬數(shù)據(jù)管理節(jié)點，在數(shù)據(jù)管理節(jié)點使用虛擬機下安裝4個Linux操作系統(tǒng)，模擬數(shù)據(jù)集群。在名字空間節(jié)點上部署Hadoop的中心節(jié)點程序和數(shù)據(jù)庫程序，在數(shù)據(jù)控制節(jié)點上安裝集群節(jié)點程序，形成一個Hadoop平臺。在模擬存儲結(jié)構(gòu)上進(jìn)行5G學(xué)習(xí)資源的存儲和學(xué)習(xí)資源的檢索，實驗表明：學(xué)習(xí)資源的云存儲模型可以有效的提高學(xué)習(xí)資源的存儲效率和資源的檢索效率?？梢?，使用低性能的計算機作為節(jié)點服務(wù)器是可行的。使用Hadoop平臺替代傳統(tǒng)的學(xué)習(xí)資源存儲方式，提高學(xué)習(xí)資源存儲中的經(jīng)濟(jì)性，解決硬件瓶頸，提高了讀取效率。

4 結(jié)語

數(shù)字學(xué)習(xí)資源的高效存儲是大數(shù)據(jù)時代泛在學(xué)習(xí)過程中不容忽視的一個重要環(huán)節(jié)，職業(yè)院校學(xué)習(xí)資源云存儲解決了學(xué)生獲取數(shù)字教育資源后的管理與學(xué)習(xí)問題，實現(xiàn)了海量數(shù)字學(xué)習(xí)資源的集成共享，推進(jìn)了學(xué)校教育信息化、云計算的普遍應(yīng)用，使學(xué)生可以獲得大數(shù)據(jù)時代下更多優(yōu)質(zhì)的、豐富的數(shù)字學(xué)習(xí)資源。

參考文獻(xiàn)

[1]陳巧，施佺，等.大數(shù)據(jù)時代下個人運資源柜的構(gòu)建研究[J].現(xiàn)代教育技術(shù)，2013（10）.

[2]劉琨，李愛菊，等.基于Hadoop的云存儲的研究及實現(xiàn)[J].微計算機信息，2011（2）：220-223.

[3]陳公超，劉海濤.云存儲中多類型文件存儲及訪問優(yōu)化機制的研究[J].計算機應(yīng)用與軟件，2011（12）：165-168.endprint