摘要：大數(shù)據(jù)的應(yīng)用正在逐漸滲透到人類社會(huì)生活工作的各個(gè)領(lǐng)域，當(dāng)前中小學(xué)教育經(jīng)費(fèi)有限，通常承擔(dān)不起高成本的大數(shù)據(jù)系統(tǒng)設(shè)計(jì)。因此，本文考慮中小學(xué)的教育現(xiàn)狀，提出一種低成本低功耗的分布式大數(shù)據(jù)存儲(chǔ)系統(tǒng)。對(duì)于新時(shí)期中小學(xué)的教育和發(fā)展來(lái)說(shuō)意義重大。

關(guān)鍵詞：大數(shù)據(jù)；中小學(xué)教育；數(shù)據(jù)存儲(chǔ)；低成本

一、 引言

自2012年以后，大數(shù)據(jù)（big data）的應(yīng)用逐漸滲入到人類社會(huì)日常生活工作的各個(gè)領(lǐng)域，其中海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)，通用大數(shù)據(jù)的統(tǒng)計(jì)和分析，給人類提供了更強(qiáng)的決策力，更透明的洞見(jiàn)發(fā)現(xiàn)力，更有效的流程優(yōu)化能力。現(xiàn)階段，大數(shù)據(jù)主要應(yīng)用在消費(fèi)類人群，很少有人研究如何將大數(shù)據(jù)應(yīng)用到現(xiàn)在中小學(xué)教育中。在我國(guó)現(xiàn)階段，作為基礎(chǔ)教育的中國(guó)，教育經(jīng)費(fèi)絕大部分由國(guó)家支出，導(dǎo)致基礎(chǔ)教育系統(tǒng)的經(jīng)費(fèi)有時(shí)出現(xiàn)緊缺，沒(méi)有足夠的資金注入到新型技術(shù)的開(kāi)發(fā)與應(yīng)用中。但是，大數(shù)據(jù)對(duì)現(xiàn)在中小學(xué)的教育有極大的意義。例如，針對(duì)每個(gè)學(xué)生學(xué)習(xí)中存在的問(wèn)題、老師以及家長(zhǎng)的意見(jiàn)反饋信息，可以通過(guò)有關(guān)大數(shù)據(jù)的分析，找出其相關(guān)數(shù)據(jù)的特異性，從而為每一名學(xué)生定制符合自身實(shí)際的特有的學(xué)習(xí)和復(fù)習(xí)計(jì)劃。通過(guò)此種大數(shù)據(jù)的分析，彌補(bǔ)學(xué)生在學(xué)習(xí)中的不足，特別是減少對(duì)老師的依賴，提高自身學(xué)習(xí)的主動(dòng)性與有效性，提高學(xué)生的學(xué)習(xí)效率，達(dá)到理想的成績(jī)。因此，本文針對(duì)中國(guó)現(xiàn)有的中小學(xué)教育經(jīng)費(fèi)有限的教育國(guó)情，提出了一種低成本，低功耗的大數(shù)據(jù)存儲(chǔ)和設(shè)計(jì)方案，將有效的、符合現(xiàn)階段教育實(shí)際的大數(shù)據(jù)應(yīng)用到目前的基礎(chǔ)教育中，對(duì)現(xiàn)階段的中小學(xué)的教育和發(fā)展意義重大。

二、 低成本大數(shù)據(jù)存儲(chǔ)架構(gòu)

現(xiàn)階段，中小學(xué)教育中大數(shù)據(jù)的應(yīng)用面對(duì)的主要問(wèn)題是設(shè)計(jì)的成本問(wèn)題。因?yàn)榛A(chǔ)教育的資金不充足，并且還有不小的缺口，同時(shí)，直接采購(gòu)大容量的數(shù)據(jù)存儲(chǔ)服務(wù)器成本太高。故降低成本或者是以最低的成本設(shè)計(jì)大數(shù)據(jù)的存儲(chǔ)架構(gòu)是設(shè)計(jì)中的核心問(wèn)題。圖1描述了本文提出的面向中小學(xué)教育中的低成本低功耗大數(shù)據(jù)的存儲(chǔ)架構(gòu)。本設(shè)計(jì)中，采用的是主流的面向大數(shù)據(jù)的分布式文件系統(tǒng)（HDFS）架構(gòu)。本設(shè)計(jì)中主要包括三部分主要內(nèi)容，一是元數(shù)據(jù)管理器，二是元數(shù)據(jù)節(jié)點(diǎn)，三是大數(shù)據(jù)的用戶（教師、家長(zhǎng)和學(xué)生）和數(shù)據(jù)節(jié)點(diǎn)（活動(dòng)數(shù)據(jù)節(jié)點(diǎn)和存檔數(shù)據(jù)節(jié)點(diǎn)）。元數(shù)據(jù)管理器是大數(shù)據(jù)分布式文件系統(tǒng)（HDFS）的核心部件，其作用和人類的大腦類似，負(fù)責(zé)管理和協(xié)調(diào)大數(shù)據(jù)的其他個(gè)部分。元數(shù)據(jù)管理器負(fù)責(zé)接收用戶的數(shù)據(jù)查詢和用戶數(shù)據(jù)接點(diǎn)的數(shù)據(jù)存儲(chǔ)管理。他內(nèi)部以表格的形式記錄了用戶數(shù)據(jù)存儲(chǔ)的磁盤位置。用戶端是大數(shù)據(jù)應(yīng)用中的數(shù)據(jù)源頭，所有的數(shù)據(jù)存儲(chǔ)和訪問(wèn)都是通過(guò)用戶端產(chǎn)生的。元數(shù)據(jù)管理器也是針對(duì)用戶端產(chǎn)生的數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。用戶端在大數(shù)據(jù)存儲(chǔ)和管理中同時(shí)起著中間人的角色。用戶端進(jìn)行數(shù)據(jù)的訪問(wèn)和存儲(chǔ)時(shí)，首先通過(guò)和元數(shù)據(jù)管理器進(jìn)行通信交互。系統(tǒng)設(shè)計(jì)中的數(shù)據(jù)節(jié)點(diǎn)分為元數(shù)據(jù)節(jié)點(diǎn)和用戶數(shù)據(jù)節(jié)點(diǎn)。

圖1低成本大數(shù)據(jù)存儲(chǔ)架構(gòu)

三、 低成本和低功耗存儲(chǔ)設(shè)計(jì)

傳統(tǒng)的商業(yè)設(shè)計(jì)中，會(huì)進(jìn)行三份冗余，本地冗余和異地冗余，為達(dá)到高可靠性的設(shè)計(jì)分布式存儲(chǔ)設(shè)計(jì)。但三份冗余需要更多的硬件設(shè)備，必然會(huì)增加額外的成本，這對(duì)當(dāng)前的中小學(xué)教育的資金來(lái)說(shuō)是一個(gè)不太可以接受的因素。相對(duì)于傳統(tǒng)的大數(shù)據(jù)存儲(chǔ)方案，我們?cè)O(shè)計(jì)了一種存檔的管理方法，以提供一種低成本的設(shè)計(jì)方案。如圖1所示，元數(shù)據(jù)管理器使用表格中的數(shù)據(jù)項(xiàng)記錄數(shù)據(jù)的存儲(chǔ)位置。表格通常由3個(gè)數(shù)據(jù)項(xiàng)組成：數(shù)據(jù)的唯一存儲(chǔ)標(biāo)號(hào)（ID）、數(shù)據(jù)的當(dāng)前存儲(chǔ)位置（Location）和數(shù)據(jù)的存檔位置。當(dāng)用戶需要進(jìn)行數(shù)據(jù)的存儲(chǔ)或讀取時(shí)，用戶首先將要訪問(wèn)的數(shù)據(jù)路徑或目錄通過(guò)網(wǎng)絡(luò)傳遞給元數(shù)據(jù)管理器。隨后，元數(shù)據(jù)管理器根據(jù)用戶請(qǐng)求ID查詢數(shù)據(jù)的存儲(chǔ)位置并返回給用戶。新來(lái)的數(shù)據(jù)請(qǐng)求會(huì)優(yōu)先存儲(chǔ)在活動(dòng)數(shù)據(jù)節(jié)點(diǎn)中，因?yàn)榛顒?dòng)數(shù)據(jù)節(jié)點(diǎn)可以提供高可靠性和高性能的存儲(chǔ)服務(wù)。活動(dòng)節(jié)點(diǎn)的存儲(chǔ)代價(jià)會(huì)相對(duì)較高，因此設(shè)計(jì)中采用較少的活動(dòng)節(jié)點(diǎn)。與活動(dòng)節(jié)點(diǎn)對(duì)應(yīng)的是存檔數(shù)據(jù)節(jié)點(diǎn)。

低成本的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)是存檔數(shù)據(jù)節(jié)點(diǎn)利用的關(guān)鍵，比如學(xué)校淘汰的舊計(jì)算機(jī)，來(lái)搭建數(shù)據(jù)存儲(chǔ)單元，從而實(shí)現(xiàn)降低存儲(chǔ)成本的目的。存檔數(shù)據(jù)節(jié)點(diǎn)是存儲(chǔ)數(shù)據(jù)的低成本設(shè)計(jì)的核心部分，一般由傳統(tǒng)的機(jī)械硬盤組成?？紤]到中小學(xué)對(duì)低成本的需求，以及對(duì)高速的數(shù)據(jù)存儲(chǔ)依賴性并不是太強(qiáng)烈，設(shè)計(jì)中只采用傳統(tǒng)的機(jī)械硬盤。這些傳統(tǒng)的機(jī)械硬盤可以從以前廢舊的電腦上直接獲取，然后通過(guò)網(wǎng)絡(luò)講他們組建成分布式存儲(chǔ)系統(tǒng)。設(shè)計(jì)中為降低成本，如果采用比較舊的硬盤，由于舊硬盤的不穩(wěn)定性，導(dǎo)致存儲(chǔ)的數(shù)據(jù)容易出現(xiàn)數(shù)據(jù)錯(cuò)誤，甚至產(chǎn)生不可恢復(fù)的數(shù)據(jù)損壞。但是，在設(shè)計(jì)中為保證數(shù)據(jù)節(jié)點(diǎn)的可靠性，采用冗余的策略來(lái)處理，通過(guò)這種冗余的機(jī)制，通過(guò)對(duì)相同的數(shù)據(jù)進(jìn)行不同節(jié)點(diǎn)的備份來(lái)實(shí)現(xiàn)大數(shù)據(jù)的可靠性與安全性。在大數(shù)據(jù)處理過(guò)程中，如果一份數(shù)據(jù)出錯(cuò)，通過(guò)設(shè)計(jì)的冗余機(jī)制，就可以實(shí)現(xiàn)利用備份的數(shù)據(jù)來(lái)進(jìn)行恢復(fù)，從而提高數(shù)據(jù)的可靠性。

四、 結(jié)語(yǔ)

大數(shù)據(jù)對(duì)現(xiàn)在的中小學(xué)教育有重要和深遠(yuǎn)的意義，但有限的教育科研經(jīng)費(fèi)往往無(wú)法使大數(shù)據(jù)有效地應(yīng)用到中小學(xué)教育中?？傊?，本文針對(duì)目前中國(guó)中小學(xué)教育存在的經(jīng)費(fèi)不足的問(wèn)題，提出了一種有效的可操作性強(qiáng)的低成本低功耗的大數(shù)據(jù)存儲(chǔ)設(shè)計(jì)方案。隨著本文對(duì)大數(shù)據(jù)在中小學(xué)應(yīng)用的提出，相信未來(lái)會(huì)有更多的研究探索如何有效地將大數(shù)據(jù)應(yīng)用到現(xiàn)在中小學(xué)教育中。

參考文獻(xiàn)：

[1]孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013（1）：146-169.

[2]王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與展望[J].計(jì)算機(jī)報(bào)，2013，6（06）：1125-1138.

作者簡(jiǎn)介：

陳雨筱，山東省濰坊市，山東省昌樂(lè)第一中學(xué)。