周明芳 拜亞萌

（焦作大學(xué)，河南 焦作 454003）

當(dāng)前，高校信息化建設(shè)進(jìn)入智慧校園建設(shè)階段，由于上層應(yīng)用程序的數(shù)據(jù)分析和處理過程需要建立在龐大的數(shù)據(jù)服務(wù)基礎(chǔ)之上，需要由統(tǒng)一的數(shù)據(jù)服務(wù)中心來滿足需求，而傳統(tǒng)的教育信息化系統(tǒng)數(shù)據(jù)的處理模式導(dǎo)致信息不能互通，數(shù)據(jù)很難共享。因此，本文利用Spark架構(gòu)構(gòu)建一種新的個(gè)性化智慧教育云服務(wù)平臺(tái)來解決上述問題。

1.個(gè)性化智慧教育云服務(wù)模型需求

1.1 智慧教育云服務(wù)模型需求

智慧教育云計(jì)算服務(wù)平臺(tái)的設(shè)計(jì)思路是在云架構(gòu)的基礎(chǔ)上將高校的各種軟件﹑硬件資源按照分層架構(gòu)進(jìn)行部署，構(gòu)建基于調(diào)度核管理的教育教學(xué)服務(wù)組件[1]，如：用戶權(quán)限服務(wù)﹑系統(tǒng)安全監(jiān)控服務(wù)﹑海量的教育數(shù)據(jù)存儲(chǔ)能力，能夠讓高校的學(xué)生﹑教師﹑各類管理人員等進(jìn)行協(xié)同操作，構(gòu)建教育資源集成化﹑共享化﹑數(shù)字化的生態(tài)環(huán)境[2]。

智慧教育云平臺(tái)對(duì)用戶來講，是完全透明的，用戶不用了解底層服務(wù)的構(gòu)建和部署方式，只需要根據(jù)自己的實(shí)際需求向服務(wù)器提出請(qǐng)求，而平臺(tái)則根據(jù)部署在平臺(tái)上的業(yè)務(wù)邏輯組件和一系列復(fù)雜的業(yè)務(wù)邏輯的操作過程，搜索符合的服務(wù)接口，并且按照數(shù)據(jù)計(jì)算和傳輸格式進(jìn)行封裝，最終將符合用戶個(gè)性化需求的服務(wù)資源反饋給用戶[3]。

1.2 個(gè)性化的智慧教育云服務(wù)模式

根據(jù)高校智慧教育的需求，一方面要在云平臺(tái)下將各類資源進(jìn)行集成，統(tǒng)一為用戶提供數(shù)據(jù)的分析和管理功能[4]。另一方面，根據(jù)教育云的部署特征，對(duì)海量的數(shù)據(jù)資源進(jìn)行分析，從而最大限度地為終端用戶提供個(gè)性化的學(xué)習(xí)﹑工作和管理服務(wù)[5]。因此，結(jié)合開放協(xié)同的云服務(wù)和可以進(jìn)行教育大數(shù)據(jù)部署的架構(gòu)，將云計(jì)算﹑SOA﹑Spark架構(gòu)進(jìn)行融合，應(yīng)用于教育云服務(wù)模式中，建立更加符合用戶需求的個(gè)性化智慧教育云服務(wù)模式，如圖1所示。

圖1 智慧教育云服務(wù)平臺(tái)需求模式

(1)云服務(wù)消費(fèi)者。教師用戶和學(xué)生用戶是平臺(tái)主要的服務(wù)對(duì)象，也是評(píng)價(jià)服務(wù)質(zhì)量的主要參與者；管理人員則是部署在底層的各類子系統(tǒng)的管理員，其權(quán)限由服務(wù)中心根據(jù)各自職務(wù)來分配權(quán)限。

(2)云服務(wù)中心。教育云服務(wù)中心是整個(gè)智慧教育云服務(wù)平臺(tái)的核心樞紐，負(fù)責(zé)提供教育云服務(wù)的注冊(cè)﹑查找和訪問功能。云服務(wù)中心可以根據(jù)高校的業(yè)務(wù)需求，進(jìn)行協(xié)同部署，為不同高校和校區(qū)提供統(tǒng)一的云計(jì)算服務(wù)。無論是服務(wù)的提供者還是使用者，在進(jìn)入服務(wù)中心訪問系統(tǒng)資源時(shí)，都需要提出訪問請(qǐng)求，并通過統(tǒng)一身份認(rèn)證后，經(jīng)過授權(quán)才可以獲取接口訪問權(quán)限。

(3)云服務(wù)提供者。智慧教育云服務(wù)的提供者分為：應(yīng)用服務(wù)提供者﹑平臺(tái)服務(wù)提供者和基礎(chǔ)設(shè)施服務(wù)提供者。應(yīng)用服務(wù)提供者為終端用戶提供遠(yuǎn)程課堂﹑服務(wù)資源維護(hù)﹑教務(wù)管理﹑學(xué)工管理﹑人事管理等應(yīng)用服務(wù)；平臺(tái)服務(wù)提供者主要負(fù)責(zé)將所有的應(yīng)用服務(wù)組件進(jìn)行注冊(cè)和管理，并對(duì)平臺(tái)的服務(wù)進(jìn)行部署和監(jiān)控，同時(shí)負(fù)責(zé)各類教育服務(wù)組件的規(guī)范化管理；基礎(chǔ)設(shè)施服務(wù)提供者負(fù)責(zé)集成云計(jì)算服務(wù)器﹑大數(shù)據(jù)存儲(chǔ)架構(gòu)﹑Spark架構(gòu)的部署，同時(shí)，該層還可以租用IaaS服務(wù)商提供的優(yōu)質(zhì)服務(wù)功能，構(gòu)建系虛擬化的教育資源池，從而為上層的各個(gè)應(yīng)用組件提供基礎(chǔ)的服務(wù)接口。

2.Spark下數(shù)據(jù)存儲(chǔ)與個(gè)性化服務(wù)模型

2.1 數(shù)據(jù)存儲(chǔ)與服務(wù)模型設(shè)計(jì)

隨著系統(tǒng)中的教育教學(xué)資源和用戶信息規(guī)模的不斷增加，傳統(tǒng)的數(shù)據(jù)分析與挖掘算法模型已經(jīng)無法滿足系統(tǒng)用戶的需求，因此，本文結(jié)合HBase的存儲(chǔ)與Spark并行處理框架，構(gòu)建了一種在Spark下的智慧教育云的數(shù)據(jù)存儲(chǔ)與個(gè)性化服務(wù)模型架構(gòu)，如圖2所示。從模型圖中可以看出，整個(gè)數(shù)據(jù)的處理過程大致可以分為數(shù)據(jù)采集﹑數(shù)據(jù)處理與分析﹑數(shù)據(jù)存儲(chǔ)三個(gè)過程，每個(gè)過程都是建立在不同的處理框架之上，以便于滿足教育云平臺(tái)下的大批量數(shù)據(jù)的集中處理與分析。

圖2 Spark下數(shù)據(jù)存儲(chǔ)與個(gè)性化服務(wù)模型

（1）個(gè)性化數(shù)據(jù)采集過程：主要是對(duì)客戶端數(shù)據(jù)源產(chǎn)生的各種個(gè)性化的結(jié)構(gòu)性或非結(jié)構(gòu)性數(shù)據(jù)信息進(jìn)行采集，對(duì)清洗后的數(shù)據(jù)進(jìn)行存儲(chǔ)。通常，數(shù)據(jù)采集模塊是由系統(tǒng)的各種終端定期地向文件服務(wù)器提交訪問日志，文件服務(wù)器則對(duì)采集到的數(shù)據(jù)進(jìn)行匯總和整合。

（2）個(gè)性化數(shù)據(jù)處理與分析：該過程是整個(gè)數(shù)據(jù)存取與服務(wù)模型的核心。利用Spark架構(gòu)的Spark_ETL和Hive機(jī)制，對(duì)用戶的個(gè)性化行為數(shù)據(jù)進(jìn)行采集﹑清洗﹑篩選﹑過濾處理，并且按照字段建立的時(shí)間建立Hive倉(cāng)庫(kù)的分區(qū)表，以便于區(qū)分用戶的身份特征和類型。

（3）數(shù)據(jù)存儲(chǔ)：通過對(duì)用戶信息的挖掘分析，對(duì)用戶建立各種屬性標(biāo)簽，以便于根據(jù)用戶標(biāo)簽引擎建立數(shù)據(jù)源與用戶歷史數(shù)據(jù)信息之間的連接，并將所有的標(biāo)簽和用戶行為信息存入HBase數(shù)據(jù)庫(kù)中，從而為數(shù)據(jù)的可視化分析與上層應(yīng)用提供結(jié)構(gòu)化數(shù)據(jù)。

2.2 Spark架構(gòu)下數(shù)據(jù)并行處理模式

相比其他計(jì)算框架，Spark技術(shù)的主要特點(diǎn)是在內(nèi)存中建立彈性分布式數(shù)據(jù)集（Resilient Distributed Datesets,RDD）,減少多次計(jì)算的中間結(jié)果寫入過程，從而實(shí)現(xiàn)基于內(nèi)存的高效并行處理[6,7]。

本文采用Spark作為智慧教育云服務(wù)計(jì)算的實(shí)時(shí)處理框架，可以通過更簡(jiǎn)潔的配置和方式，實(shí)現(xiàn)一些復(fù)雜的業(yè)務(wù)流程處理和數(shù)據(jù)計(jì)算，并保證分析過程的實(shí)時(shí)性能[8]。其中Spark數(shù)據(jù)轉(zhuǎn)換流程如圖3所示。

圖3 Spark數(shù)據(jù)并行轉(zhuǎn)換流程

前置輸入項(xiàng)：Spark分布式計(jì)算集群部署完成。

Step1：集群主節(jié)點(diǎn)啟動(dòng)主要進(jìn)程Master和工作進(jìn)程Worker，監(jiān)控整個(gè)集群的運(yùn)行狀態(tài)；

Step2：Spark Driver接收Task任務(wù)指令，對(duì)任務(wù)進(jìn)行分發(fā)和調(diào)度管理；

Step3：Worker接收任務(wù)指令，執(zhí)行任務(wù)操作，將指定的分片數(shù)存儲(chǔ)在RDD的不同的分區(qū)中；

Step4：Spark對(duì)RDD執(zhí)行并行處理操作，將指定的任務(wù)發(fā)送到對(duì)應(yīng)的機(jī)器上，并利用多線程控制各個(gè)計(jì)算節(jié)點(diǎn)任務(wù)執(zhí)行和結(jié)束；

Step5：一項(xiàng)任務(wù)執(zhí)行完成后，當(dāng)前RDD立即轉(zhuǎn)向另外一個(gè)RDD，對(duì)應(yīng)的用戶操作隨之依次執(zhí)行。

3.仿真實(shí)驗(yàn)

搭建Spark和Hadoop實(shí)驗(yàn)環(huán)境，分別對(duì)采用Spark和Hadoop的MapReduce框架的智慧校園云服務(wù)平臺(tái)的數(shù)據(jù)并行處理能力進(jìn)行對(duì)比測(cè)試[9-10]。

本文測(cè)試環(huán)境采用6臺(tái)虛擬機(jī)搭建Hadoop和Spark實(shí)驗(yàn)集群,其中,1臺(tái)為主節(jié)點(diǎn)(Master)，負(fù)責(zé)NameNode節(jié)點(diǎn)和Master進(jìn)程，其余5臺(tái)為工作節(jié)點(diǎn)(Worker),負(fù)責(zé)DataNode和Worker進(jìn)程，節(jié)點(diǎn)之間通過10/100M交換機(jī)相連，并通過SSH進(jìn)行消息認(rèn)證，具體配置信息如表1所示。

表1 實(shí)驗(yàn)平臺(tái)配置信息

同時(shí)，為更好地顯示比對(duì)效果，選定5組測(cè)試數(shù)據(jù)分別在Spark和Hadoop平臺(tái)做Kmeans運(yùn)算，如表2所示。

表2 測(cè)試數(shù)據(jù)

采用數(shù)據(jù)計(jì)算時(shí)間和執(zhí)行效率這兩項(xiàng)性能指標(biāo)，對(duì)并行數(shù)據(jù)計(jì)算能力和數(shù)據(jù)處理實(shí)時(shí)性進(jìn)行性能分析[11]。圖4為Spark和Hadoop計(jì)算時(shí)間的對(duì)比。

從圖4可知，總體而言，隨著測(cè)試數(shù)據(jù)規(guī)模的增大，計(jì)算時(shí)間不斷增加，增長(zhǎng)率也逐漸變大，計(jì)算效率明顯降低。造成該結(jié)果的主要原因是計(jì)算任務(wù)多，平臺(tái)處于飽和狀態(tài)，計(jì)算資源競(jìng)爭(zhēng)激烈，任務(wù)排隊(duì)時(shí)間長(zhǎng)，計(jì)算額外開銷大。

圖4 Spark和Hadoop計(jì)算時(shí)間對(duì)比

另外，對(duì)于小規(guī)模數(shù)據(jù)而言，Spark集群內(nèi)存計(jì)算優(yōu)勢(shì)明顯，且計(jì)算任務(wù)無需排隊(duì)。Hadoop集群由于需要不斷進(jìn)行迭代計(jì)算，每個(gè)MapReduce任務(wù)都需要重新從HDFS讀寫數(shù)據(jù)，而Spark則只需一次讀取過程，因此，對(duì)HDFS的讀寫時(shí)間，Spark也要明顯優(yōu)于Hadoop。而對(duì)于大規(guī)模數(shù)據(jù)而言，Spark集群受限于CPU和內(nèi)存容量限制，Worker的中間計(jì)算結(jié)果需要存儲(chǔ)到外部存儲(chǔ)，導(dǎo)致計(jì)算時(shí)間延長(zhǎng)，計(jì)算效率明顯降低。

4.結(jié)束語

本文討論了Spark架構(gòu)下的智慧教育云服務(wù)模型的構(gòu)建，首先對(duì)個(gè)性化智慧教育云服務(wù)模型進(jìn)行闡述，然后對(duì)Spark架構(gòu)下的數(shù)據(jù)存儲(chǔ)和服務(wù)模型進(jìn)行了設(shè)計(jì)，同時(shí)，對(duì)Spark架構(gòu)下的數(shù)據(jù)并行處理模式進(jìn)行了闡述，最后，通過搭建仿真實(shí)驗(yàn)環(huán)境，分別對(duì)采用Spark和Hadoop的MapReduce框架的智慧校園云服務(wù)平臺(tái)的數(shù)據(jù)并行處理能力進(jìn)行對(duì)比測(cè)試，分析不同并行計(jì)算架構(gòu)的并行計(jì)算性能。結(jié)果表明，采用Spark架構(gòu)在計(jì)算時(shí)間和計(jì)算效率方面具有明顯的優(yōu)勢(shì)。