亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種個(gè)性化智慧教育云服務(wù)模式的設(shè)計(jì)

        2021-07-02 08:13:56周明芳拜亞萌
        焦作大學(xué)學(xué)報(bào) 2021年2期
        關(guān)鍵詞:服務(wù)提供者架構(gòu)個(gè)性化

        周明芳 拜亞萌

        (焦作大學(xué),河南 焦作 454003)

        當(dāng)前,高校信息化建設(shè)進(jìn)入智慧校園建設(shè)階段,由于上層應(yīng)用程序的數(shù)據(jù)分析和處理過程需要建立在龐大的數(shù)據(jù)服務(wù)基礎(chǔ)之上,需要由統(tǒng)一的數(shù)據(jù)服務(wù)中心來滿足需求,而傳統(tǒng)的教育信息化系統(tǒng)數(shù)據(jù)的處理模式導(dǎo)致信息不能互通,數(shù)據(jù)很難共享。因此,本文利用Spark架構(gòu)構(gòu)建一種新的個(gè)性化智慧教育云服務(wù)平臺(tái)來解決上述問題。

        1.個(gè)性化智慧教育云服務(wù)模型需求

        1.1 智慧教育云服務(wù)模型需求

        智慧教育云計(jì)算服務(wù)平臺(tái)的設(shè)計(jì)思路是在云架構(gòu)的基礎(chǔ)上將高校的各種軟件﹑硬件資源按照分層架構(gòu)進(jìn)行部署,構(gòu)建基于調(diào)度核管理的教育教學(xué)服務(wù)組件[1],如:用戶權(quán)限服務(wù)﹑系統(tǒng)安全監(jiān)控服務(wù)﹑海量的教育數(shù)據(jù)存儲(chǔ)能力,能夠讓高校的學(xué)生﹑教師﹑各類管理人員等進(jìn)行協(xié)同操作,構(gòu)建教育資源集成化﹑共享化﹑數(shù)字化的生態(tài)環(huán)境[2]。

        智慧教育云平臺(tái)對(duì)用戶來講,是完全透明的,用戶不用了解底層服務(wù)的構(gòu)建和部署方式,只需要根據(jù)自己的實(shí)際需求向服務(wù)器提出請(qǐng)求,而平臺(tái)則根據(jù)部署在平臺(tái)上的業(yè)務(wù)邏輯組件和一系列復(fù)雜的業(yè)務(wù)邏輯的操作過程,搜索符合的服務(wù)接口,并且按照數(shù)據(jù)計(jì)算和傳輸格式進(jìn)行封裝,最終將符合用戶個(gè)性化需求的服務(wù)資源反饋給用戶[3]。

        1.2 個(gè)性化的智慧教育云服務(wù)模式

        根據(jù)高校智慧教育的需求,一方面要在云平臺(tái)下將各類資源進(jìn)行集成,統(tǒng)一為用戶提供數(shù)據(jù)的分析和管理功能[4]。另一方面,根據(jù)教育云的部署特征,對(duì)海量的數(shù)據(jù)資源進(jìn)行分析,從而最大限度地為終端用戶提供個(gè)性化的學(xué)習(xí)﹑工作和管理服務(wù)[5]。因此,結(jié)合開放協(xié)同的云服務(wù)和可以進(jìn)行教育大數(shù)據(jù)部署的架構(gòu),將云計(jì)算﹑SOA﹑Spark架構(gòu)進(jìn)行融合,應(yīng)用于教育云服務(wù)模式中,建立更加符合用戶需求的個(gè)性化智慧教育云服務(wù)模式,如圖1所示。

        圖1 智慧教育云服務(wù)平臺(tái)需求模式

        (1)云服務(wù)消費(fèi)者。教師用戶和學(xué)生用戶是平臺(tái)主要的服務(wù)對(duì)象,也是評(píng)價(jià)服務(wù)質(zhì)量的主要參與者;管理人員則是部署在底層的各類子系統(tǒng)的管理員,其權(quán)限由服務(wù)中心根據(jù)各自職務(wù)來分配權(quán)限。

        (2)云服務(wù)中心。教育云服務(wù)中心是整個(gè)智慧教育云服務(wù)平臺(tái)的核心樞紐,負(fù)責(zé)提供教育云服務(wù)的注冊(cè)﹑查找和訪問功能。云服務(wù)中心可以根據(jù)高校的業(yè)務(wù)需求,進(jìn)行協(xié)同部署,為不同高校和校區(qū)提供統(tǒng)一的云計(jì)算服務(wù)。無論是服務(wù)的提供者還是使用者,在進(jìn)入服務(wù)中心訪問系統(tǒng)資源時(shí),都需要提出訪問請(qǐng)求,并通過統(tǒng)一身份認(rèn)證后,經(jīng)過授權(quán)才可以獲取接口訪問權(quán)限。

        (3)云服務(wù)提供者。智慧教育云服務(wù)的提供者分為:應(yīng)用服務(wù)提供者﹑平臺(tái)服務(wù)提供者和基礎(chǔ)設(shè)施服務(wù)提供者。應(yīng)用服務(wù)提供者為終端用戶提供遠(yuǎn)程課堂﹑服務(wù)資源維護(hù)﹑教務(wù)管理﹑學(xué)工管理﹑人事管理等應(yīng)用服務(wù);平臺(tái)服務(wù)提供者主要負(fù)責(zé)將所有的應(yīng)用服務(wù)組件進(jìn)行注冊(cè)和管理,并對(duì)平臺(tái)的服務(wù)進(jìn)行部署和監(jiān)控,同時(shí)負(fù)責(zé)各類教育服務(wù)組件的規(guī)范化管理;基礎(chǔ)設(shè)施服務(wù)提供者負(fù)責(zé)集成云計(jì)算服務(wù)器﹑大數(shù)據(jù)存儲(chǔ)架構(gòu)﹑Spark架構(gòu)的部署,同時(shí),該層還可以租用IaaS服務(wù)商提供的優(yōu)質(zhì)服務(wù)功能,構(gòu)建系虛擬化的教育資源池,從而為上層的各個(gè)應(yīng)用組件提供基礎(chǔ)的服務(wù)接口。

        2.Spark下數(shù)據(jù)存儲(chǔ)與個(gè)性化服務(wù)模型

        2.1 數(shù)據(jù)存儲(chǔ)與服務(wù)模型設(shè)計(jì)

        隨著系統(tǒng)中的教育教學(xué)資源和用戶信息規(guī)模的不斷增加,傳統(tǒng)的數(shù)據(jù)分析與挖掘算法模型已經(jīng)無法滿足系統(tǒng)用戶的需求,因此,本文結(jié)合HBase的存儲(chǔ)與Spark并行處理框架,構(gòu)建了一種在Spark下的智慧教育云的數(shù)據(jù)存儲(chǔ)與個(gè)性化服務(wù)模型架構(gòu),如圖2所示。從模型圖中可以看出,整個(gè)數(shù)據(jù)的處理過程大致可以分為數(shù)據(jù)采集﹑數(shù)據(jù)處理與分析﹑數(shù)據(jù)存儲(chǔ)三個(gè)過程,每個(gè)過程都是建立在不同的處理框架之上,以便于滿足教育云平臺(tái)下的大批量數(shù)據(jù)的集中處理與分析。

        圖2 Spark下數(shù)據(jù)存儲(chǔ)與個(gè)性化服務(wù)模型

        (1)個(gè)性化數(shù)據(jù)采集過程:主要是對(duì)客戶端數(shù)據(jù)源產(chǎn)生的各種個(gè)性化的結(jié)構(gòu)性或非結(jié)構(gòu)性數(shù)據(jù)信息進(jìn)行采集,對(duì)清洗后的數(shù)據(jù)進(jìn)行存儲(chǔ)。通常,數(shù)據(jù)采集模塊是由系統(tǒng)的各種終端定期地向文件服務(wù)器提交訪問日志,文件服務(wù)器則對(duì)采集到的數(shù)據(jù)進(jìn)行匯總和整合。

        (2)個(gè)性化數(shù)據(jù)處理與分析:該過程是整個(gè)數(shù)據(jù)存取與服務(wù)模型的核心。利用Spark架構(gòu)的Spark_ETL和Hive機(jī)制,對(duì)用戶的個(gè)性化行為數(shù)據(jù)進(jìn)行采集﹑清洗﹑篩選﹑過濾處理,并且按照字段建立的時(shí)間建立Hive倉(cāng)庫(kù)的分區(qū)表,以便于區(qū)分用戶的身份特征和類型。

        (3)數(shù)據(jù)存儲(chǔ):通過對(duì)用戶信息的挖掘分析,對(duì)用戶建立各種屬性標(biāo)簽,以便于根據(jù)用戶標(biāo)簽引擎建立數(shù)據(jù)源與用戶歷史數(shù)據(jù)信息之間的連接,并將所有的標(biāo)簽和用戶行為信息存入HBase數(shù)據(jù)庫(kù)中,從而為數(shù)據(jù)的可視化分析與上層應(yīng)用提供結(jié)構(gòu)化數(shù)據(jù)。

        2.2 Spark架構(gòu)下數(shù)據(jù)并行處理模式

        相比其他計(jì)算框架,Spark技術(shù)的主要特點(diǎn)是在內(nèi)存中建立彈性分布式數(shù)據(jù)集(Resilient Distributed Datesets,RDD),減少多次計(jì)算的中間結(jié)果寫入過程,從而實(shí)現(xiàn)基于內(nèi)存的高效并行處理[6,7]。

        本文采用Spark作為智慧教育云服務(wù)計(jì)算的實(shí)時(shí)處理框架,可以通過更簡(jiǎn)潔的配置和方式,實(shí)現(xiàn)一些復(fù)雜的業(yè)務(wù)流程處理和數(shù)據(jù)計(jì)算,并保證分析過程的實(shí)時(shí)性能[8]。其中Spark數(shù)據(jù)轉(zhuǎn)換流程如圖3所示。

        圖3 Spark數(shù)據(jù)并行轉(zhuǎn)換流程

        前置輸入項(xiàng):Spark分布式計(jì)算集群部署完成。

        Step1:集群主節(jié)點(diǎn)啟動(dòng)主要進(jìn)程Master和工作進(jìn)程Worker,監(jiān)控整個(gè)集群的運(yùn)行狀態(tài);

        Step2:Spark Driver接收Task任務(wù)指令,對(duì)任務(wù)進(jìn)行分發(fā)和調(diào)度管理;

        Step3:Worker接收任務(wù)指令,執(zhí)行任務(wù)操作,將指定的分片數(shù)存儲(chǔ)在RDD的不同的分區(qū)中;

        Step4:Spark對(duì)RDD執(zhí)行并行處理操作,將指定的任務(wù)發(fā)送到對(duì)應(yīng)的機(jī)器上,并利用多線程控制各個(gè)計(jì)算節(jié)點(diǎn)任務(wù)執(zhí)行和結(jié)束;

        Step5:一項(xiàng)任務(wù)執(zhí)行完成后,當(dāng)前RDD立即轉(zhuǎn)向另外一個(gè)RDD,對(duì)應(yīng)的用戶操作隨之依次執(zhí)行。

        3.仿真實(shí)驗(yàn)

        搭建Spark和Hadoop實(shí)驗(yàn)環(huán)境,分別對(duì)采用Spark和Hadoop的MapReduce框架的智慧校園云服務(wù)平臺(tái)的數(shù)據(jù)并行處理能力進(jìn)行對(duì)比測(cè)試[9-10]。

        本文測(cè)試環(huán)境采用6臺(tái)虛擬機(jī)搭建Hadoop和Spark實(shí)驗(yàn)集群,其中,1臺(tái)為主節(jié)點(diǎn)(Master),負(fù)責(zé)NameNode節(jié)點(diǎn)和Master進(jìn)程,其余5臺(tái)為工作節(jié)點(diǎn)(Worker),負(fù)責(zé)DataNode和Worker進(jìn)程,節(jié)點(diǎn)之間通過10/100M交換機(jī)相連,并通過SSH進(jìn)行消息認(rèn)證,具體配置信息如表1所示。

        表1 實(shí)驗(yàn)平臺(tái)配置信息

        同時(shí),為更好地顯示比對(duì)效果,選定5組測(cè)試數(shù)據(jù)分別在Spark和Hadoop平臺(tái)做Kmeans運(yùn)算,如表2所示。

        表2 測(cè)試數(shù)據(jù)

        采用數(shù)據(jù)計(jì)算時(shí)間和執(zhí)行效率這兩項(xiàng)性能指標(biāo),對(duì)并行數(shù)據(jù)計(jì)算能力和數(shù)據(jù)處理實(shí)時(shí)性進(jìn)行性能分析[11]。圖4為Spark和Hadoop計(jì)算時(shí)間的對(duì)比。

        從圖4可知,總體而言,隨著測(cè)試數(shù)據(jù)規(guī)模的增大,計(jì)算時(shí)間不斷增加,增長(zhǎng)率也逐漸變大,計(jì)算效率明顯降低。造成該結(jié)果的主要原因是計(jì)算任務(wù)多,平臺(tái)處于飽和狀態(tài),計(jì)算資源競(jìng)爭(zhēng)激烈,任務(wù)排隊(duì)時(shí)間長(zhǎng),計(jì)算額外開銷大。

        圖4 Spark和Hadoop計(jì)算時(shí)間對(duì)比

        另外,對(duì)于小規(guī)模數(shù)據(jù)而言,Spark集群內(nèi)存計(jì)算優(yōu)勢(shì)明顯,且計(jì)算任務(wù)無需排隊(duì)。Hadoop集群由于需要不斷進(jìn)行迭代計(jì)算,每個(gè)MapReduce任務(wù)都需要重新從HDFS讀寫數(shù)據(jù),而Spark則只需一次讀取過程,因此,對(duì)HDFS的讀寫時(shí)間,Spark也要明顯優(yōu)于Hadoop。而對(duì)于大規(guī)模數(shù)據(jù)而言,Spark集群受限于CPU和內(nèi)存容量限制,Worker的中間計(jì)算結(jié)果需要存儲(chǔ)到外部存儲(chǔ),導(dǎo)致計(jì)算時(shí)間延長(zhǎng),計(jì)算效率明顯降低。

        4.結(jié)束語

        本文討論了Spark架構(gòu)下的智慧教育云服務(wù)模型的構(gòu)建,首先對(duì)個(gè)性化智慧教育云服務(wù)模型進(jìn)行闡述,然后對(duì)Spark架構(gòu)下的數(shù)據(jù)存儲(chǔ)和服務(wù)模型進(jìn)行了設(shè)計(jì),同時(shí),對(duì)Spark架構(gòu)下的數(shù)據(jù)并行處理模式進(jìn)行了闡述,最后,通過搭建仿真實(shí)驗(yàn)環(huán)境,分別對(duì)采用Spark和Hadoop的MapReduce框架的智慧校園云服務(wù)平臺(tái)的數(shù)據(jù)并行處理能力進(jìn)行對(duì)比測(cè)試,分析不同并行計(jì)算架構(gòu)的并行計(jì)算性能。結(jié)果表明,采用Spark架構(gòu)在計(jì)算時(shí)間和計(jì)算效率方面具有明顯的優(yōu)勢(shì)。

        猜你喜歡
        服務(wù)提供者架構(gòu)個(gè)性化
        基于FPGA的RNN硬件加速架構(gòu)
        功能架構(gòu)在電子電氣架構(gòu)開發(fā)中的應(yīng)用和實(shí)踐
        汽車工程(2021年12期)2021-03-08 02:34:30
        網(wǎng)絡(luò)服務(wù)提供者的侵權(quán)責(zé)任研究
        法制博覽(2020年11期)2020-11-30 03:36:52
        堅(jiān)持個(gè)性化的寫作
        文苑(2020年4期)2020-05-30 12:35:12
        新聞的個(gè)性化寫作
        新聞傳播(2018年12期)2018-09-19 06:27:10
        論網(wǎng)絡(luò)服務(wù)提供者刑事責(zé)任的歸責(zé)模式一一以拒不履行網(wǎng)絡(luò)安全管理義務(wù)罪為切入點(diǎn)
        LSN DCI EVPN VxLAN組網(wǎng)架構(gòu)研究及實(shí)現(xiàn)
        論網(wǎng)絡(luò)服務(wù)提供者的侵權(quán)責(zé)任
        法制博覽(2017年16期)2017-01-28 00:01:59
        上汽大通:C2B個(gè)性化定制未來
        網(wǎng)絡(luò)服務(wù)提供者第三方責(zé)任的立法審視
        湖湘論壇(2015年4期)2015-12-01 09:30:16
        爽妇网国产精品| 国产精品无码一区二区三级| 国产精品兄妹在线观看麻豆| 国产午夜激无码av毛片| 国产乱人伦AⅤ在线麻豆A| 一个人午夜观看在线中文字幕| 国产av无码专区亚洲精品| 亚洲男人第一无码av网站| 四虎精品国产一区二区三区| 日本高清色一区二区三区| 亚洲乱码中文在线观看| 夜先锋av资源网站| 日韩欧美国产自由二区| 久久精品国产亚洲av试看| 久久99亚洲精品久久久久 | 激情内射亚州一区二区三区爱妻| 91美女片黄在线观看| 午夜视频手机在线免费观看| 婷婷五月六月激情综合色中文字幕| 日日噜狠狠噜天天噜av| 国产精品白浆视频一区| 久久老熟女一区二区三区| 国产欧美精品一区二区三区四区| 欧美性videos高清精品| 亚洲欧洲日产国码无码av野外| av手机免费在线观看高潮| 国语对白做受xxxxx在| 国产午夜视频在永久在线观看| 国产av熟女一区二区三区老牛| 极品嫩模大尺度av在线播放| 久青草久青草视频在线观看 | 台湾佬娱乐中文22vvvv| 免费在线观看一区二区| 男女性行为免费视频网站| 国产精女同一区二区三区久| 国产成人无码a区在线观看导航 | 美女草逼视频免费播放| 2021亚洲国产精品无码| 欧美孕妇xxxx做受欧美88| 国产对白刺激在线观看| 日本熟女精品一区二区三区|