張雙祥

摘 ?要： 針對(duì)云計(jì)算環(huán)境下信息化教學(xué)資源的云存儲(chǔ)和個(gè)性化推薦問(wèn)題，提出一種基于分布式文件系統(tǒng)（HDFS）和用戶興趣的教學(xué)信息化資源管理方法。該方法采用Hadoop平臺(tái)的HDFS技術(shù)來(lái)解決網(wǎng)絡(luò)教學(xué)資源的云端存儲(chǔ)問(wèn)題，并對(duì)相應(yīng)的HDFS云存儲(chǔ)架構(gòu)進(jìn)行分析。其中，教學(xué)資源推薦功能模塊采用LDA用戶興趣主題挖掘模型，并引入學(xué)生評(píng)分矩陣產(chǎn)生學(xué)生?課程屬性偏好相似度，提升推薦的質(zhì)量和準(zhǔn)確度。在Hadoop 2.2.0平臺(tái)上的實(shí)例仿真結(jié)果驗(yàn)證了提出方法的可行性。此外，相比于基于標(biāo)準(zhǔn)關(guān)聯(lián)規(guī)則的推薦方法，提出的挖掘推薦方法表現(xiàn)出更高的準(zhǔn)確性。

關(guān)鍵詞： 教育信息化; Hadoop; HDFS; LDA; 用戶興趣模型; 推薦服務(wù); 云存儲(chǔ)

中圖分類號(hào)： TN99?34; TP393 ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）11?0087?03

Abstract： In allusion to the problems of cloud storage and personalized recommendation of information teaching resources in cloud computing environment， a teaching information resource management method based on Hadoop distributed file system （HDFS） and user interest is proposed. The method uses the HDFS technology of the Hadoop platform to solve the cloud storage problem of the network teaching resources， and analyzes the corresponding HDFS cloud storage architecture. The LDA user interest topic mining model is adopted in teaching resource recommendation function module， and a student scoring matrix is introduced to generate the "student?course attribute" preference similarity， so as to improve the quality and accuracy of the recommendation. The feasibility of the proposed method was verified by simulation results obtained in Hadoop 2.2.0 platform. In addition， the proposed mining recommendation method has higher accuracy than recommendation method based on standard association rules.

Keywords： educational informationization; Hadoop; HDFS; LDA; user interest model; recommendation service; cloud storage

0 ?引 ?言

互聯(lián)網(wǎng)和4G技術(shù)的快速發(fā)展和廣泛普及，使得人們隨時(shí)隨地的上網(wǎng)成為可能。上網(wǎng)的便捷改變了人們生活和工作的方式，也為教育教學(xué)活動(dòng)帶來(lái)了新的途徑和手段。計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)相結(jié)合，產(chǎn)生了一種新的信息化教學(xué)形式，即遠(yuǎn)程教育（遠(yuǎn)程教學(xué)）。遠(yuǎn)程教育在世界范圍內(nèi)得到了許多教育機(jī)構(gòu)的關(guān)注，并花費(fèi)大量的人力資源來(lái)建設(shè)自己的遠(yuǎn)程教育資源[1?3]，例如，大型開(kāi)放式網(wǎng)絡(luò)課程MOOC（Massive Open Online Courses）、網(wǎng)易云課堂等。

隨著在線課程的數(shù)量越來(lái)越多，教師教學(xué)工具也十分多樣，例如Word，PPT教案、音視頻素材、FLASH、Web網(wǎng)頁(yè)等，遠(yuǎn)程教育資源變得越來(lái)越豐富。但是，隨著教學(xué)信息化資源的急劇增加，如何對(duì)其進(jìn)行有效共享以便減少存儲(chǔ)空間浪費(fèi)，如何根據(jù)學(xué)生的興趣推薦最適合的教學(xué)內(nèi)容，成為目前急需解決的問(wèn)題[4]。

因此，本文提出采用HDFS來(lái)實(shí)現(xiàn)教學(xué)信息化資源管理，以便根據(jù)學(xué)生的不同需求提供更準(zhǔn)確的教育資源推薦。首先在分布式Hadoop平臺(tái)上設(shè)計(jì)適用于教學(xué)資源的HDFS云存儲(chǔ)架構(gòu)。然后根據(jù)學(xué)生評(píng)分矩陣，利用LDA用戶興趣模型實(shí)現(xiàn)個(gè)性化教學(xué)信息資源推薦，并給出相應(yīng)的參數(shù)估計(jì)方法。實(shí)例仿真結(jié)果表明，相比標(biāo)準(zhǔn)關(guān)聯(lián)規(guī)則Apriori方法，LDA用戶興趣模型具有更高的教學(xué)資源推薦準(zhǔn)確度，有效提升了學(xué)生學(xué)習(xí)的效率。

1 ?HDFS模式下的網(wǎng)絡(luò)教學(xué)資源存儲(chǔ)問(wèn)題

1.1 ?HDFS技術(shù)原理分析

由于在數(shù)據(jù)存儲(chǔ)和分析方面具有較大優(yōu)勢(shì)，Hadoop分布式計(jì)算系統(tǒng)成為現(xiàn)代信息教學(xué)資源管理方面的主流平臺(tái)。目前，分布式Hadoop平臺(tái)主要采用大規(guī)模并行編程框架，包括HDFS和Map Reduce[5]。HDFS主要負(fù)責(zé)數(shù)據(jù)存儲(chǔ)。Map Reduce主要負(fù)責(zé)并行處理任務(wù)。在Hadoop平臺(tái)中，常用的HDFS原理如圖1所示。為了實(shí)現(xiàn)海量教學(xué)資源的整合，以便實(shí)現(xiàn)數(shù)據(jù)共享，提高數(shù)據(jù)存儲(chǔ)效率，本文采用Hadoop分布式HDFS實(shí)現(xiàn)教學(xué)信息化資源存儲(chǔ)和處理。

圖1 ?HDFS原理

1.2 ?適用于教學(xué)資源的HDFS云存儲(chǔ)架構(gòu)

本文的目標(biāo)是將復(fù)雜的信息化教學(xué)資源通過(guò)云存儲(chǔ)技術(shù)進(jìn)行整合，形成一個(gè)共享的教育云存儲(chǔ)服務(wù)。因此，需要設(shè)計(jì)一個(gè)適用于教學(xué)信息化資源管理的HDFS云存儲(chǔ)架構(gòu)，其中存儲(chǔ)層通過(guò)HDFS完成數(shù)據(jù)的分布式存儲(chǔ)，包括各種形式的教學(xué)資源（數(shù)據(jù)源自各個(gè)教育機(jī)構(gòu)），例如，動(dòng)畫(huà)、PPT、文本文檔等。

在本文設(shè)計(jì)的云存儲(chǔ)架構(gòu)中，教學(xué)資源推薦功能模塊運(yùn)用LDA主題挖掘模型對(duì)海量的網(wǎng)絡(luò)教學(xué)資源進(jìn)行處理，然后將符合學(xué)生興趣的教學(xué)資源進(jìn)行推薦展示，如圖2所示。

圖2 ?HDFS云存儲(chǔ)架構(gòu)

2 ?基于LDA用戶興趣模型的教學(xué)資源推薦方法

2.1 ?LDA主題挖掘模型

LDA主題挖掘模型作為一種非監(jiān)督的機(jī)器學(xué)習(xí)方法[4]，主要由三層的貝葉斯模型構(gòu)成。LDA主題模型生成過(guò)程如圖3所示。

圖3 ?LDA用戶興趣模型

在圖3中，方框[M]表示項(xiàng)目集合，方框[N]表示項(xiàng)目中主題[z]和關(guān)鍵詞[w]的集合，[α]為Dirichlet分布的先驗(yàn)參數(shù)，[β]為被估計(jì)的矩陣參數(shù)，[θ]為某項(xiàng)目中所有主題的概率分布。

2.2 ?用戶興趣的偏好相似度矩陣

為了收集學(xué)生的興趣愛(ài)好信息，需要構(gòu)建學(xué)生?課程評(píng)分矩陣[R]，如表1所示。

表1 ?學(xué)生?課程評(píng)分表

本文根據(jù)學(xué)生對(duì)課程屬性的喜好，在傳統(tǒng)的LDA用戶興趣模型推薦算法中加入了“學(xué)生?課程屬性”偏好相似度。通過(guò)有效結(jié)合以上隱藏的信息，可以有效提升推薦的質(zhì)量和準(zhǔn)確度。

3 ?仿真結(jié)果

為了對(duì)本文提出的方法進(jìn)行分析和驗(yàn)證，在相同的測(cè)試數(shù)據(jù)中，分別對(duì)本文方法、基于標(biāo)準(zhǔn)關(guān)聯(lián)規(guī)則Apriori的推薦方法進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)源來(lái)自32所公立教育單位，主要是各大專本科院校。仿真實(shí)驗(yàn)測(cè)試的教學(xué)信息化資源包括近1.3 TB的數(shù)字化資源，其中，Word資源格式占30%，PPT教案資源格式占35%，音視頻素材資源格式占10%，F(xiàn)LASH資源格式占20%，Web網(wǎng)頁(yè)資源格式占5%。課程共計(jì)237門。本文采用的評(píng)估指標(biāo)為平均絕對(duì)誤差（Mean Absolute Error，MAE）[6]。

實(shí)驗(yàn)采用分布式Hadoop 2.2.0平臺(tái)，包括10臺(tái)計(jì)算節(jié)點(diǎn)，具有Intel i7 處理器，CPU主頻為 3.2 GHz，8 GB 內(nèi)存。JDK版本為[7]1.8.0。

兩種不同方法的MAE結(jié)果如圖4所示。從圖4中可以看出，隨著課程數(shù)量的增加，兩種方法的推薦平均絕對(duì)誤差均不斷降低。其中，標(biāo)準(zhǔn)關(guān)聯(lián)規(guī)則Apriori算法的下降速度較快，本文提出方法的下降速度次之，但是兩者的下降速度相差很小。此外，在相同課程數(shù)量條件下，相比標(biāo)準(zhǔn)關(guān)聯(lián)規(guī)則Apriori算法，本文提出算法的MAE更小。也就是說(shuō)，本文提出算法具有更高的精準(zhǔn)度，有效提高了在線課程資源的管理效率。

圖4 ?兩種不同方法的MAE

4 ?結(jié) ?語(yǔ)

本文提出一種基于分布式HDFS和LDA用戶興趣模型的教學(xué)信息化資源管理方法。通過(guò)Hadoop 2.2.0平臺(tái)上的實(shí)例測(cè)試得出如下結(jié)論：基于HDFS架構(gòu)的網(wǎng)絡(luò)教學(xué)資源云存儲(chǔ)管理是切實(shí)可行的;相比于標(biāo)準(zhǔn)關(guān)聯(lián)規(guī)則Apriori方法，基于LDA用戶興趣模型的推薦方法在HDFS模型下表現(xiàn)出更高的精準(zhǔn)度，課程資源推薦效果更好，具有一定的參考價(jià)值。

參考文獻(xiàn)

[1] BOZKURT A， AKGUNOZBEK E， YILMAZEL S， et al. Trends in distance education research： a content analysis of journals 2009—2013 [J]. International review of research in open & distributed learning， 2015， 16（1）： 330?363.

[2] EILEEN Scanlon， PATRICK McAndrew， TIM O′Shea. Desig?ning for educational technology to enhance the experience of learners in distance education： how open educational resources， learning design and MOOCs are influencing learning [J]. Journal of interactive media in education， 2015， 2015（1）： 9.

[3] DE HART K， CHETTY Y， ARCHER E. Uptake of OER by staff in distance education in South Africa [J]. International review of research in open & distance learning， 2015， 16（2）： 18?45.

[4] CLEGG J. Internationalisation in online distance learning postgraduate education： a case study on student views on learning alongside students from other countries [J]. Innovations in education & teaching international， 2015， 52（2）： 137?147.

[5] ADDAIR T G， DODGE D A， WALTER W R， et al. Large?scale seismic signal analysis with Hadoop [J]. Computers & geosciences， 2014， 66（2）： 145?154.

[6] 史慶偉，從世源.基于mRMR和LDA主題模型的文本分類研究[J].計(jì)算機(jī)工程與應(yīng)用，2016，52（5）：127?133.

SHI Qingwei， CONG Shiyuan. Text classification based on mRMR and LDA topic model [J]. Computer engineering and applications， 2016， 52（5）： 127?133.

[7] KHAN M， JIN Y， LI M， et al. Hadoop performance modeling for job estimation and resource provisioning [J]. IEEE transactions on parallel & distributed systems， 2016， 27（2）： 441?454.

[8] PAPANIKOLAOU Y， FOULDS J R， RUBIN T N， et al. Dense distributions from sparse samples： improved Gibbs sampling parameter estimators for LDA [J]. Statistics， 2017， 18（62）： 1?58.