高新成王 燕李春生王莉利盧 清

(1東北石油大學現(xiàn)代教育技術(shù)中心2.東北石油大學計算機與信息技術(shù)學院 黑龍江大慶 163318)

基于云計算的大數(shù)據(jù)教學服務平臺設計

高新成1王 燕1李春生1王莉利2盧 清1

(1東北石油大學現(xiàn)代教育技術(shù)中心2.東北石油大學計算機與信息技術(shù)學院 黑龍江大慶 163318)

隨著高校教育信息化的快速發(fā)展，累積了大量種類繁多的教學數(shù)據(jù),包括來源各種信息系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)和來源網(wǎng)頁、課件、視頻等的非結(jié)構(gòu)化數(shù)據(jù)。云計算、大數(shù)據(jù)存儲和移動互聯(lián)網(wǎng)等技術(shù)的發(fā)展，為高校教學服務平臺建設提供了新的思路。文章首先概述了云計算和大數(shù)據(jù)平臺的基本術(shù)語及相互關(guān)系，然后提出了基于云計算的大數(shù)據(jù)教學平臺的設計方案，主要包括平臺構(gòu)架模型、大數(shù)據(jù)處理流程以及平臺部署及功能，為師生提供更多高效便捷的云服務。最后，探討了平臺應用前景及存在問題。

大數(shù)據(jù)；云計算；云平臺;大數(shù)據(jù)平臺；大數(shù)據(jù)處理

一、引言

大數(shù)據(jù)是繼云計算、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)之后迅速發(fā)展的新技術(shù)[1]，已成為高校教育教學改革的熱點。利用大數(shù)據(jù)技術(shù)可以更好的表征異構(gòu)數(shù)據(jù)和解析數(shù)據(jù)，能夠分析出許多有價值的知識，構(gòu)建集檢索、計算和分析的學生行為知識庫。通過數(shù)據(jù)挖掘與智能分析，及時掌握學生的學習動態(tài)，對學生的學習過程、學習效果和學習能力等進行綜合評估。云計算的發(fā)展解決了信息存儲及資源調(diào)度等一系列數(shù)據(jù)孤島難題[2]，能夠讓各類零散的數(shù)據(jù)資源有效集成到統(tǒng)一平臺，師生通過云服務平臺隨時隨地的獲得信息資源及更好的分享和互動。大數(shù)據(jù)技術(shù)的發(fā)展能更加有效的引導師生自主學習，基于大數(shù)據(jù)的云服務教學環(huán)境不僅可以對教師教學過程進行監(jiān)控，還可以對學生的學習過程進行分析，并能預測每個學生的學習效果。讓學生了解自我學習軌跡，為開展個性化學習和自主學習提供更好的環(huán)境。

利用大數(shù)據(jù)和云計算技術(shù)的優(yōu)勢，本文將大數(shù)據(jù)和云服務的先進理念引入到高效教學服務平臺建設中。通過對國內(nèi)外教學云服務平臺應用的研究，運用系統(tǒng)構(gòu)架分析法，提出基于大數(shù)據(jù)環(huán)境下高校教學云服務平臺設計的總體方案，構(gòu)建了基于大數(shù)據(jù)的教學云服務平臺架構(gòu)模型，梳理出云服務平臺大數(shù)據(jù)處理流程，展示出大數(shù)據(jù)環(huán)境下高校教學云服務應用，并提出大數(shù)據(jù)環(huán)境下云服務平臺的展望及存在的問題。

二、云計算與大數(shù)據(jù)平臺

（一）云計算。云計算的概念是由Google提出的一種新型計算模式，是網(wǎng)格計算、分布式計算、并行計算和負載均衡等傳統(tǒng)計算機技術(shù)和網(wǎng)絡技術(shù)發(fā)展相融合的結(jié)果[3]。其核心思想是將大量網(wǎng)絡連接的計算資源進行統(tǒng)一管理和調(diào)度，形成一個計算資源池向用戶提供按需服務，能夠完成大數(shù)據(jù)集的處理與分析，并向用戶提供高效的云服務，在云計算環(huán)境中，用戶可以在任何時間、任意地點使用終端設備，通過網(wǎng)絡直接從云服務中獲得所自己需要的資源。云計算具有超大處理能力、高可靠性、通用性和高可擴展性等諸多優(yōu)點。云計算平臺層次化基礎(chǔ)架構(gòu)如圖1所示[4]。

圖1 云平臺層次化基礎(chǔ)構(gòu)架

（二）大數(shù)據(jù)平臺與云計算關(guān)系。大數(shù)據(jù)（bigdata），是通過運用新的處理模式獲得的海量、多樣化的信息資產(chǎn)。數(shù)據(jù)主要包括關(guān)系數(shù)據(jù)庫等結(jié)構(gòu)化數(shù)據(jù)，文本圖像等半結(jié)構(gòu)化數(shù)據(jù)，以及網(wǎng)絡的不同異構(gòu)的數(shù)據(jù)[5]。大數(shù)據(jù)技術(shù),簡單來說,就是從這些異構(gòu)數(shù)據(jù)中,快速分析出有價值的信息的技術(shù)。大數(shù)據(jù)技術(shù)，重點不在于擁有龐大的數(shù)據(jù)資源，而在于通過專業(yè)技術(shù)挖掘出海量數(shù)據(jù)資源中有價值的信息，大數(shù)據(jù)技術(shù)通過提高對海量數(shù)據(jù)的“加工能力”，實現(xiàn)海量數(shù)據(jù)的“增值服務”。IBM提出大數(shù)據(jù)的5V特點為：大量化（Volume）、快速化（Velocity）、多樣化 （Variety）、價值化 （Value）、真實化（Veracity）[6]。大數(shù)據(jù)平臺極大地提高了大數(shù)據(jù)的生產(chǎn)力，使得大數(shù)據(jù)的存儲、分析變得更加容易和高效[7]。以下為大數(shù)據(jù)平臺通用構(gòu)架，如圖2所示。通過應用這些平臺，可以快速搭建出多樣化大數(shù)據(jù)應用服務，移動互聯(lián)網(wǎng)正是在此基礎(chǔ)上不斷高速發(fā)展，為我們的生活帶來更多便捷。

圖2 大數(shù)據(jù)平臺通用構(gòu)架

大數(shù)據(jù)與云計算之間關(guān)系密不可分，大數(shù)據(jù)與云計算關(guān)系，如圖3所示。大數(shù)據(jù)通常采用分布式存儲、分布式架構(gòu)和分布式數(shù)據(jù)挖掘，它依托于云計算的云存儲、分布式數(shù)據(jù)庫、分布式計算和虛擬化技術(shù)等[8]。目前，云計算和大數(shù)據(jù)技術(shù)的結(jié)合，已經(jīng)應用在了許多領(lǐng)域，例如生物學、氣象學、地質(zhì)學以及互聯(lián)網(wǎng)產(chǎn)業(yè)等多重領(lǐng)域[9]。教育領(lǐng)域的應用雖然剛剛興起，但是基于國家對教育信息化的大力支持，數(shù)據(jù)和平臺的共享協(xié)作成為了教育信息化的熱點。

圖3 大數(shù)據(jù)與云計算關(guān)系

三、基于云計算的大數(shù)據(jù)教學服務平臺設計

（一）平臺架構(gòu)模型設計。大數(shù)據(jù)教學服務平臺將云計算三大服務模式：IaaS、PaaS和SaaS作為系統(tǒng)構(gòu)架的基礎(chǔ)，以服務器、存儲、網(wǎng)絡資源以及數(shù)據(jù)資源等構(gòu)成的虛擬資源池為底層，以Hadoop、中間件等大數(shù)據(jù)云服務平臺組件為核心，以為師生提供方便快捷的云服務為目標，最終構(gòu)建大數(shù)據(jù)環(huán)境下高效、便捷、智能化的教育教學大數(shù)據(jù)平臺[10]。基于

云計算的大數(shù)據(jù)教學服務平臺構(gòu)架模型，如圖4所示。

圖4 基于云計算的大數(shù)據(jù)教學服務平臺構(gòu)架模型

基于云計算的大數(shù)據(jù)教學服務平臺構(gòu)架模型包括數(shù)據(jù)源、數(shù)據(jù)存儲與處理、數(shù)據(jù)管理與分析、應用服務、云終端五層架構(gòu)[11]，具體功能如下：

數(shù)據(jù)源層：主要提供物理資源池及虛擬資源池。物理資源池主要包括服務器、存儲設備和網(wǎng)絡設備等；虛擬資源池主要包括服務器虛擬資源池、存儲虛擬資源池、網(wǎng)絡虛擬資源池和數(shù)據(jù)資源池等。數(shù)據(jù)源層對分散的軟硬件資源進行有效整合，將軟硬件資源通過虛擬化技術(shù)形成可供調(diào)度的虛擬化資源池，提供給上層服務，同時可形成獨立的數(shù)據(jù)源服務供其他層單獨使用。主要功能有資源監(jiān)控、資源部署和負載均衡等。數(shù)據(jù)源層主要用戶是系統(tǒng)管理員。

數(shù)據(jù)處理與存儲層：主要進行數(shù)據(jù)的處理與數(shù)據(jù)存儲。其中數(shù)據(jù)處理主要包括數(shù)據(jù)清理、數(shù)據(jù)索引、數(shù)據(jù)抽取和聚合關(guān)聯(lián)等；數(shù)據(jù)存儲服務包括Hadoop、關(guān)系型數(shù)據(jù)庫、HBase、YARN等。通過對數(shù)據(jù)預處理，最終將不同類型的數(shù)據(jù)存儲到分布數(shù)據(jù)庫中。

數(shù)據(jù)管理與分析層：主要進行數(shù)據(jù)的管理和分析服務。其中數(shù)據(jù)管理功能主要包括資源調(diào)度、數(shù)據(jù)并行作業(yè)、生命期管理和資源分配等；數(shù)據(jù)分析服務包括數(shù)據(jù)統(tǒng)計、機器學習、實時分析和聚合關(guān)聯(lián)等。通過數(shù)據(jù)管理更有效的對數(shù)據(jù)資源進行調(diào)度和分配，數(shù)據(jù)分析主要為上層數(shù)據(jù)挖掘提供有效的分析方法，針對不同的需求，調(diào)用不同的數(shù)據(jù)分析方式。

應用服務層：主要進行數(shù)據(jù)挖據(jù)服務和應用服務。數(shù)據(jù)挖掘服務主要包括教學評估分析、趨勢發(fā)現(xiàn)、關(guān)聯(lián)分析和專題偵測等。應用服務主要包括教學評估分析系統(tǒng)、學生管理系統(tǒng)、資源檢索系統(tǒng)和教務管理系統(tǒng)等。應用服務層通過數(shù)據(jù)挖掘方式對教學中學生的學習效果、學習興趣、生活情況等提供個性化的資源和信息，有效提高了教師的教學效能和教務管理的效率。

云終端層：主要將用戶需要的云服務推送到不同的云終端。云終端主要包括PC機、移動終端、智能終端等。通過建立統(tǒng)一的教學一站式服務中心為師生提供方便快捷的云服務。面向師生的云服務主要包括信息門戶服務、統(tǒng)一身份認證服務、教學視頻資源、網(wǎng)絡教學資源和電子閱覽與遠程教育等。云終端層在云端為終端用戶提供各種個性化的云服務，學習者利用不同的云終端能便捷訪問到需要的云服務。校區(qū)間和高校間根據(jù)不同的權(quán)限需求，建立私有云、混合云和公有云，有效保障云資源的安全訪問權(quán)限。

（二）平臺大數(shù)據(jù)處理流程。大數(shù)據(jù)處理流程通常為多數(shù)據(jù)整合(BDP)、數(shù)據(jù)處理、可視化分析和報告分析等。云服務教學平臺的大數(shù)據(jù)的處理流程，如圖5所示。主要分為數(shù)據(jù)來源收集、數(shù)據(jù)抽取與存儲、數(shù)據(jù)分析和數(shù)據(jù)展示四個步驟，其功能是利用合適工具對大量異構(gòu)的數(shù)據(jù)源進行抽取，將結(jié)果按一定的標準統(tǒng)一存儲，根據(jù)不同類型的數(shù)據(jù)利用不同的數(shù)據(jù)分析方法，對存儲的數(shù)據(jù)進行分析從中挖掘出有價值的知識，并利用可視化等不同表現(xiàn)方式將結(jié)果推送給終端用戶。[12]

圖5 平臺大數(shù)據(jù)處理流程

數(shù)據(jù)來源：通過云服務教學平臺將學生學習行為涉及到的學習成績信息、電子閱讀信息、參加競賽及獲獎信息、社團信息和生活信息等眾多相關(guān)的信息進行收集和整理。

數(shù)據(jù)抽取與存儲：根據(jù)不同的數(shù)據(jù)來源，采取不同的數(shù)據(jù)抽取方式，對于結(jié)構(gòu)良好的信息系統(tǒng)的數(shù)據(jù)采用通常的工具將數(shù)據(jù)抽取到數(shù)據(jù)庫中，對于網(wǎng)頁、課件和視頻等非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)抓取對數(shù)據(jù)進行索引后存儲到數(shù)據(jù)庫中，形成分布式數(shù)據(jù)庫[13]。

數(shù)據(jù)分析：實現(xiàn)學生學習行為數(shù)據(jù)統(tǒng)計分析。在學習行為能力分析時，首先是協(xié)作篩選，通過分析知識庫中已分類學生的成績、參加的社團活動、關(guān)注的行業(yè)和性格特點等，計算學生之間的相似度，為相似的學生推薦適合的學習方案；其次是聚類，通過不同的維度將不同類別的學生進行分析，從中找出相似點，再比較相關(guān)屬性，及時針對不同的學生給出科學合理建議，以便其在后續(xù)的學習和生活中加以改進。

數(shù)據(jù)展示：通過可視化技術(shù)等進行數(shù)據(jù)結(jié)果顯示和推送，可以使用Tableau等軟件將分析結(jié)果進行可視化展示，通過將數(shù)據(jù)與美觀的圖表結(jié)合起來，讓教師和學生更直觀便捷的了解數(shù)據(jù)分析結(jié)果。

（三）平臺的功能與部署。大數(shù)據(jù)教學服務平臺以“共享數(shù)據(jù)、分析數(shù)據(jù)、終端服務”為指導思想，為高校各學區(qū)間提供便捷、統(tǒng)一的終端云服務。通過平臺提供學校各部門共享所需的基礎(chǔ)數(shù)據(jù)和各應用服務所需的分析數(shù)據(jù)，以及提供各應用系統(tǒng)所需的開發(fā)數(shù)據(jù)。云計算大數(shù)據(jù)教學平臺功能如圖6所示。

圖6 云計算大數(shù)據(jù)教學平臺功能

基于云計算的大數(shù)據(jù)教學平臺部署如下：

1.建立基于虛擬化的資源池，構(gòu)建服務器、存儲、網(wǎng)絡等硬件資源的虛擬化集群系統(tǒng)，數(shù)據(jù)集群系統(tǒng)中搭建集群進行部署，建立基于云計算的大數(shù)據(jù)教學集群環(huán)境，各自運行在獨立的JVM上，通過心跳信號進行信息交互。平臺主要采用高密度刀片服務器，實現(xiàn)虛擬機的快速部署和調(diào)度。

2.在傳統(tǒng)Oracle數(shù)據(jù)庫基礎(chǔ)上，應用大數(shù)據(jù)分布式存儲組件HIVE、HDFS等，支持主流的分布式存儲系統(tǒng)Gluster。

3.基于云計算的大數(shù)據(jù)平臺提供云基礎(chǔ)平臺主要包括統(tǒng)一認證服務、平臺云計算科研平臺、云計算實驗平臺、云計算教學和評估平臺、云計算資源平臺、互動交流平臺等。通過基礎(chǔ)平臺能夠構(gòu)建多樣化、個性化的應用系統(tǒng)。云計算科研平臺包括大數(shù)據(jù)并行計算系統(tǒng)、共享協(xié)同科研系統(tǒng)和科研管理系統(tǒng)等；在線預約實驗系統(tǒng)包括實驗預約系統(tǒng)、網(wǎng)絡虛擬括在線答疑系統(tǒng)和在線交流社區(qū)等。

4.支持擴展的云終端桌面，可取代傳統(tǒng)的PC電腦。既能滿足計算機等傳統(tǒng)公共基礎(chǔ)課程的教學需求，又能完成專業(yè)

實驗等課程的個性化單機實驗課程。云終端為終端學習者提供各種多樣化個性化的應用服務，學習者利用PC機瀏覽器以及移動終端就能直接訪問到需要的應用服務。校區(qū)間和高校間不同的終端用戶設置不同的權(quán)限按需申請服務。

四、結(jié)語

云計算、大數(shù)據(jù)和移動互聯(lián)等技術(shù)的快速興起給教育信息化發(fā)展帶來了機遇和挑戰(zhàn)，隨著高校數(shù)字化教學的不斷推進，采用大數(shù)據(jù)理念和云計算技術(shù)構(gòu)建基于云計算的大數(shù)據(jù)教學服務平臺，能夠推動高校校區(qū)間和高校間教學資源共享、資源獲取智能化、科研等應用共享協(xié)作、教學方式個性化多樣化，為師生提供更多高效便捷的云服務，有著良好的應用前景。但是，仍很多工作需要完善，如在教學育人、人才培養(yǎng)和科學研究等多方面收集過程數(shù)據(jù)信息，建立持久運作的收集、存儲、分析、統(tǒng)計和展示等體系。以及大數(shù)據(jù)在實際應用中還存在一些技術(shù)問題，主要包括數(shù)據(jù)集成困難、數(shù)據(jù)分析方法改良和數(shù)據(jù)安全等方面，這些將成為今后研究的主要方向。

[1]孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展,2013（1）:146-169.

[2]王莉利,高新成,周凱.云環(huán)境下高校教學資源建設與管理研究[J].長江大學學報(自科版)，2014（19）:40-42.

[3]茍燕,趙希武.大數(shù)據(jù)時代下基于云平臺的“大學計算機基礎(chǔ)”課程建設[J].內(nèi)蒙古師范大學學報（教育科學版）,2015（1）:93-95.

[4]王莉利,高新成,李瑞芳.基于云計算的高校教學資源管理平臺的設計 [J].陜西理工學院學報 (自然科學版).2014(4):37-40.

[5]何清.大數(shù)據(jù)與云計算[J].科學促進發(fā)展,2014（1）:35-40.

[6]郭敏杰.大數(shù)據(jù)和云計算平臺應用研究[J].現(xiàn)代電信科技,2014（8）:7-12.

[7]王裕.基于云平臺的大數(shù)據(jù)處理流程的關(guān)鍵技術(shù)研究[J].情報科學,2014（9）:143-146.

[8]高新成,王莉利.基于Hadoop的校園云存儲系統(tǒng)的研究[J].陜西理工學院學報（自然科學版），2012（4）:30-34.

[9]譚忠理.基于云計算和大數(shù)據(jù)教學實訓平臺的設計研究[J].技術(shù)與應用,2014（8）:86-90.

[10]邢丘丹,焦晶,杜占河.基于云計算和大數(shù)據(jù)的在線教育交互應用研究[J].技術(shù)與應用,2014（4）:88-95.

[11]龍虎,張小梅,唐林海.大數(shù)據(jù)背景下智慧教育云平臺的構(gòu)建研究[J].電腦知識與技術(shù),2015（11）:109-111.

[12]胡樹煜,孫士宏,金丹.大數(shù)據(jù)時代檔案信息資源共享平臺建設研究[J].蘭臺世界,2015（35）:134-135.

[13]劉中宇,劉海良.大數(shù)據(jù)時代高校云資源應用[J].現(xiàn)代教育技術(shù),2013（7）:59-62.

[責任編輯 鄭麗娟]

“自然科學與工程技術(shù)”欄目征稿啟示

為鼓勵科技人員開展科學技術(shù)研究，及時刊登最新研究成果，促進學術(shù)交流，《綏化學院學報》“自然科學與工程技術(shù)”欄目特面向全國高校教師和社會科技人員征集該欄目各研究方向具有創(chuàng)新性或?qū)嵱眯缘膶W術(shù)論文，歡迎大家投稿。

投稿信箱：shxyxblg@126.com 電話：0455-8301078

綏化學院學報編輯部

The Research of Cloud Service Platform for Higher Education Based on the Big Data

Gao Xincheng Wang Yan Li Chunsheng Wang Lili Lu Qing
(Northeast Petroleum University,Daqing,Heilongjiang 163318)

With the rapid development of higher education information,it is accumulated a lot of teaching resources,including structured data from all kinds of information system,and other unstructured data from web courseware,video.At the same time,with the development of cloud computing,big data storage and mobile Internet technology,new ideas for the construction of cloud service platform for Higher education is provided.In this paper,first,basic expressions and interrelation on cloud computing and big data platform are analyzed,and then the design scheme of big data platform based on the cloud computing mainly including platform architecture model,big data processing and platform deployment and function is put forward application process is promoted for Higher education in the technology of big data and cloud computing,in order to more convenient and efficient cloud service can be provided for teachers and students.Finally,the application prospect and existing problems of the platform are proposed.

big data;cloud computing;cloud platform;big data platform;big data processing

TP393

A

2095-0438（2017）08-0146-05

2017-02-02

高新成(1979-)，男，黑龍江木蘭人，東北石油大學現(xiàn)代教育技術(shù)中心副教授，博士，研究方向：云計算、大數(shù)據(jù)及其教育平臺管理。

黑龍江省教育科學規(guī)劃課題——大數(shù)據(jù)環(huán)境下高校計算機專業(yè)實驗教學模式研究（GJB1215013）；大數(shù)據(jù)時代基于MOOC教學模式的教學設計策略研究（GJB1215018）。黑龍江省高等教育學會教育科研課題——面向數(shù)字化校園的開放式網(wǎng)絡學習模式研究（16G154）；大數(shù)據(jù)時代下高校計算機基礎(chǔ)教學模式研究（16G160）；開放式MOOC+傳統(tǒng)課堂模式融合的研究（16Q117）。