顏磊+祁冰

摘 要： 基于Android平臺對移動學(xué)習(xí)系統(tǒng)大數(shù)據(jù)挖掘技術(shù)進(jìn)行研究。通過期望最大化EM算法進(jìn)行用戶聚類，利用移動學(xué)習(xí)系統(tǒng)的個(gè)性化資源推薦模型進(jìn)行近鄰用戶的選取和評分預(yù)測，采用CRISP?DM模型，根據(jù)學(xué)習(xí)者下載資源的時(shí)間序列數(shù)據(jù)建立ARTXP算法挖掘模型，通過對英語類課件、法律類課件、計(jì)算機(jī)類課件在7天后的下載預(yù)測，表明英語類的移動學(xué)習(xí)資源需求有所下降，法律類與計(jì)算機(jī)類課件需求有所增加，同樣，可對移動學(xué)習(xí)系統(tǒng)的其他類學(xué)習(xí)資源需求進(jìn)行預(yù)測，根據(jù)需求的變化情況制作并上傳相應(yīng)移動學(xué)習(xí)資源。

關(guān)鍵詞： 挖掘技術(shù)； 大數(shù)據(jù)； 移動學(xué)習(xí)； Android平臺

中圖分類號： TN911?34； G420 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2017）19?0142?03

Research on big data mining technology of mobile learning

system based on Android platform

YAN Lei1， QI Bing2

（1. Network and Educational Technology Center， Hainan University， Haikou 570228， China；

2. Department of Information Engineering， Hainan Technology and Business College， Haikou 570220， China）

Abstract： The big data mining technology of mobile learning system based on Android platform is studied. User clustering was performed by means of the expectation maximization （EM） algorithm. The personalized resource recommendation model of mobile learning system is used to select neighbour users and predict the score. The CRISP?DM model is used to establish the mining model of ARTXP algorithm according to the time series data of learner′s downloading resource. The downloading of English courseware， law courseware and computer courseware in seven days is forecasted， which shows that the demand of English mobile learning resources is declined， and the demands of law courseware and computer courseware are increased. The model can predict other courses′ learning resource demand of mobile learning system， and create and upload the corresponding mobile learning resources according to the changes in demand.

Keywords： mining technology； big data； mobile learning； Android platform

0 引 言

在數(shù)據(jù)分析方面，數(shù)據(jù)挖掘可滿足現(xiàn)實(shí)需求，應(yīng)用廣泛。數(shù)據(jù)挖掘?yàn)橐苿訉W(xué)習(xí)創(chuàng)建系統(tǒng)條件、開發(fā)學(xué)習(xí)資源、設(shè)計(jì)培養(yǎng)方案提供了支持，是移動學(xué)習(xí)系統(tǒng)服務(wù)的關(guān)鍵技術(shù)[1?3]。利用數(shù)據(jù)挖掘技術(shù)構(gòu)建移動學(xué)習(xí)系統(tǒng)，提高學(xué)生學(xué)習(xí)積極性、自主性、學(xué)習(xí)效率，是研究數(shù)據(jù)挖掘技術(shù)的重點(diǎn)[4]。借助通信設(shè)備及網(wǎng)絡(luò)，通過移動學(xué)習(xí)，學(xué)生學(xué)習(xí)不再受教師、地域、時(shí)間的限制[5]。

目前，隨著大數(shù)據(jù)及移動互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)已融入到人們的日常生活中[6]。隨著各種移動終端設(shè)備的廣泛使用，在移動過程中提高移動終端服務(wù)質(zhì)量是移動互聯(lián)網(wǎng)研究的熱點(diǎn)[7?9]。用戶使用移動終端設(shè)備產(chǎn)生大量數(shù)據(jù)，促使進(jìn)一步研究大數(shù)據(jù)挖掘技術(shù)[10]。本文基于Android平臺，對移動學(xué)習(xí)系統(tǒng)大數(shù)據(jù)挖掘技術(shù)進(jìn)行研究。

1 移動學(xué)習(xí)系統(tǒng)用戶特征聚類

聚類是指將數(shù)據(jù)庫中的記錄分為一系列有意義的子集。聚類是數(shù)據(jù)挖掘最主要的功能之一，聚類是概念進(jìn)行偏差分析、描述的先決條件，本文研究根據(jù)移動學(xué)習(xí)系統(tǒng)中用戶可用信息稀疏的問題，將用戶按特征信息進(jìn)行聚類，從而發(fā)現(xiàn)目標(biāo)用戶的近鄰用戶，并將目標(biāo)用戶作為計(jì)算用戶集進(jìn)行協(xié)同過濾，使用期望最大化EM算法進(jìn)行用戶聚類，EM算法的收斂穩(wěn)定性、高效性效果較好。

1.1 移動學(xué)習(xí)系統(tǒng)用戶聚類特征維度選取

在進(jìn)行用戶聚類時(shí)，本文采用的特征維度為年齡、性別、文化程度、職業(yè)，表1為移動學(xué)習(xí)系統(tǒng)用戶聚類維度數(shù)據(jù)量化表。在各用戶特征維度上，數(shù)據(jù)預(yù)處理可將用戶屬性表示能力有效提高，同時(shí)可將算法收斂速度提高。將用戶維度信息從數(shù)據(jù)庫不同位置抽取出來，對其進(jìn)行數(shù)據(jù)清理及量化操作，在數(shù)據(jù)庫特定位置裝入規(guī)整化數(shù)據(jù)。

1.2 移動學(xué)習(xí)系統(tǒng)用戶聚類EM算法實(shí)現(xiàn)

對于移動學(xué)習(xí)系統(tǒng)全部用戶數(shù)據(jù)[X，]不清楚各自屬于哪個(gè)聚類簇，若將用戶完整的數(shù)據(jù)用[X，Y]表示，[X]所屬聚類簇用[Y]表示，[Y∈1，2，…，g]，整體數(shù)據(jù)概率密度如下：

[fX，Y；θ=i=1grifiX，Y；θi] （1）

式中：[g]表示密度分支的個(gè)數(shù)；[r1，r2，…，rg]表示各分支點(diǎn)的分布比例；[fi]表示第[i]個(gè)分支密度；[θi]表示相應(yīng)分支未知參數(shù)；[X1，X2，…，Xn]表示學(xué)習(xí)系統(tǒng)用戶數(shù)據(jù)集。通過極大似然估計(jì)法得到[θMLE]：

[θMLE=argmaxi=1nfXi，Yi；θ] （2）

EM算法屬于迭代算法，從初始解[θ0]開始，通過迭代得到[θ1，θ2，…，θt，]完整數(shù)據(jù)對數(shù)似然函數(shù)期望值為：

[Qθθt=i=1nEYlog fX，Y；θXi，θt] （3）

式中[EY]表示隨機(jī)變量[Y]的期望值。

對數(shù)似然函數(shù)期望值最大化[θt+1]如下：

[θt+1=argmaxQθθt] （4）

2 移動學(xué)習(xí)系統(tǒng)個(gè)性化資源推薦

移動學(xué)習(xí)系統(tǒng)的個(gè)性化資源推薦模型由模型分析模塊、推薦算法模塊、行為記錄模塊三部分組成。行為記錄模塊是推薦模型的輸入部分，記錄模塊主要記錄系統(tǒng)使用信息、用戶注冊信息，同時(shí)在數(shù)據(jù)庫中的特定位置存儲記錄信息；用戶信息的抽取、轉(zhuǎn)換、重載由操作模型分析模塊完成，同時(shí)對用戶信息進(jìn)行分析，通過評價(jià)產(chǎn)品、評價(jià)新用戶，使得稀疏用戶資源推薦得到實(shí)現(xiàn)；推薦算法模塊是整個(gè)推薦模型的核心模塊，模型大數(shù)據(jù)計(jì)算工作由該模塊完成，用戶推薦服務(wù)的目標(biāo)通過產(chǎn)品資源協(xié)同過濾得到實(shí)現(xiàn)，圖1為移動學(xué)習(xí)系統(tǒng)的個(gè)性化資源推薦模型架構(gòu)。

2.1 個(gè)性化資源協(xié)同過濾

對用戶間興趣相似性進(jìn)行合理利用，能有效提高推薦精確度，本文以協(xié)同過濾技術(shù)為基礎(chǔ)，提出混合推薦技術(shù)。對用戶興趣進(jìn)行協(xié)同過濾并分析，尋找同興趣相似的目標(biāo)用戶，根據(jù)近鄰用戶對產(chǎn)品的具體評價(jià)，對目標(biāo)用戶預(yù)測評分進(jìn)行計(jì)算，進(jìn)而推薦產(chǎn)品。

2.1.1 個(gè)性化資源近鄰用戶的選取

目標(biāo)用戶與其他用戶通過計(jì)算評價(jià)向量[Ei=][X1，X2，…，Xj]，得到其存在的相似性，將達(dá)到閾值[δ]的用戶選為目標(biāo)用戶的近鄰用戶，并根據(jù)評分對用戶集進(jìn)行計(jì)算預(yù)測。本文采用Pearson系統(tǒng)進(jìn)行用戶相似性計(jì)算：

[SimX，Y=j∈IXYrXj-rXrYj-rYj∈IXYrXj-rX2j∈IXYrYj-rY2] （5）

式中：[rX]表示用戶[X]對產(chǎn)品的評分均值；[rXj]表示用戶[X]對產(chǎn)品[j]的評分；[IXY]表示用戶[X，][Y]均評價(jià)的產(chǎn)品集；[SimX，Y]表示[X，][Y]的相似度系數(shù)。

2.1.2 個(gè)性化資源的評分預(yù)測

使用全局?jǐn)?shù)值算法，利用式（6）對個(gè)性化資源的評分進(jìn)行預(yù)測：

[PXj=rX+Y=1nSimX，Y×rYj-rY-1] （6）

式中：[n]表示用戶集的用戶數(shù)量；[PXj]表示用戶[X]對產(chǎn)品[j]的預(yù)測評分。

2.2 移動學(xué)習(xí)系統(tǒng)模型工作流程

用戶通過登錄移動學(xué)習(xí)系統(tǒng)知識庫，按照產(chǎn)品數(shù)據(jù)粘稠度的評價(jià)，判斷聚類操作選取的近鄰用戶是否通過并繼續(xù)下一步操作，并根據(jù)協(xié)同過濾算法對用戶集進(jìn)行計(jì)算，將資源推薦給目標(biāo)用戶，圖2為移動學(xué)習(xí)系統(tǒng)推薦模型的具體工作流程。

3 移動學(xué)習(xí)系統(tǒng)學(xué)習(xí)資源需求量預(yù)測

學(xué)習(xí)者通過移動學(xué)習(xí)系統(tǒng)可上傳課件資源，同時(shí)也可下載課件資源，所有資源的劃分按大類和小類進(jìn)行。根據(jù)資源類型的受歡迎程度，進(jìn)行資源上傳，進(jìn)而使上傳資源的下載量得到提高，并滿足下載者需求。以課件資源歷史下載記錄預(yù)測課件下載量，實(shí)質(zhì)屬于典型的數(shù)據(jù)挖掘問題。

3.1 移動學(xué)習(xí)系統(tǒng)時(shí)序預(yù)測算法

數(shù)據(jù)挖掘過程模型CRISP?DM主要是描述數(shù)據(jù)、定義數(shù)據(jù)、開發(fā)數(shù)據(jù)、實(shí)現(xiàn)數(shù)據(jù)的挖掘步驟，設(shè)計(jì)開發(fā)部署具有快速、易于管理、系統(tǒng)可靠、成本低廉等特點(diǎn)。ARTXP算法是以自回歸決策樹模型為基礎(chǔ)的時(shí)序預(yù)測算法，該算法在SQL Server 2005中引入SSAS，對預(yù)測序列可能值進(jìn)行優(yōu)化，適合短期預(yù)測。ARTXP算法通過對時(shí)間序列數(shù)據(jù)集的轉(zhuǎn)化，方便于事例集的回歸分析。通過對轉(zhuǎn)換數(shù)據(jù)集的學(xué)習(xí)，產(chǎn)生目標(biāo)變量決策樹，在葉節(jié)點(diǎn)產(chǎn)生線性回歸，使用貝葉斯技術(shù)學(xué)習(xí)決策樹參數(shù)、結(jié)構(gòu)。ARTXP算法的優(yōu)點(diǎn)是效率高、預(yù)測準(zhǔn)確，該算法采用線性分段預(yù)測，這樣容易理解，也容易解釋。

3.2 移動學(xué)習(xí)系統(tǒng)預(yù)測模塊設(shè)計(jì)

根據(jù)CRISP?DM模型，并依據(jù)學(xué)習(xí)者下載資源的時(shí)間序列數(shù)據(jù)，建立ARTXP算法挖掘模型，同時(shí)建立需求預(yù)測模塊，指出一定時(shí)間內(nèi)用戶對資源的需求量，從而安排課件制作。移動學(xué)習(xí)系統(tǒng)預(yù)測模塊的核心是Analysis Server，裝有數(shù)據(jù)挖掘接口及時(shí)序分析算法，預(yù)測表、網(wǎng)站數(shù)據(jù)存放在數(shù)據(jù)庫，預(yù)測輔助程序?qū)χ囟ㄐ屯诰蚰Ｐ?、預(yù)測表進(jìn)行定時(shí)更新，時(shí)序預(yù)測Web服務(wù)內(nèi)容包括數(shù)據(jù)挖掘結(jié)果的封裝、預(yù)測，查詢數(shù)據(jù)庫信息，并通過SOAP消息將預(yù)測結(jié)果輸出到客戶端。

3.2.1 移動學(xué)習(xí)系統(tǒng)輔助程序的建立

圖3為移動學(xué)習(xí)系統(tǒng)預(yù)測模型解決方案框架，系統(tǒng)輔助程序?yàn)閃indows計(jì)劃任務(wù)，每7天執(zhí)行一次，該程序的主要功能包括首次填充預(yù)測表、更新數(shù)據(jù)，對表中的數(shù)據(jù)進(jìn)行提取、歸納及匯總，填入預(yù)測表，借助AMO對時(shí)序模型進(jìn)行重新定型，這樣可及時(shí)得到預(yù)測結(jié)果。

3.2.2 移動學(xué)習(xí)系統(tǒng)分析服務(wù)項(xiàng)目的建立

在移動學(xué)習(xí)系統(tǒng)中，根據(jù)預(yù)測表建立移動學(xué)習(xí)系統(tǒng)分析服務(wù)項(xiàng)目，包括數(shù)據(jù)源、預(yù)測挖掘模型，數(shù)據(jù)視圖、安全級別的設(shè)置，允許.net程序訪問的模型等。

3.2.3 移動學(xué)習(xí)系統(tǒng)預(yù)測結(jié)果瀏覽頁面的建立

本研究移動學(xué)習(xí)系統(tǒng)服務(wù)端采用Web服務(wù)器，MVC開發(fā)模式，客戶端采用Android平臺網(wǎng)絡(luò)設(shè)備。系統(tǒng)采用HTTP協(xié)議，XML為數(shù)據(jù)傳輸格式，客戶端利用HttpClient與服務(wù)器進(jìn)行連接。使用AdomdClient類庫建立瀏覽頁面，并預(yù)測模型的查詢讓管理者進(jìn)行瀏覽，同時(shí)創(chuàng)建一個(gè)公共類，分析并封裝服務(wù)器，進(jìn)行事務(wù)處理的操作，例如服務(wù)器的連接、查詢數(shù)據(jù)的獲取等，這樣可給代碼復(fù)用提供方便，通過DMX查詢語言對檢索結(jié)果進(jìn)行預(yù)測，表2為三類客戶端的預(yù)測結(jié)果。

表2 三類客戶端預(yù)測結(jié)果

[下載的課件類型＼&預(yù)測7天后的下載量＼&所占百分比 /%＼&變化情況＼&英語類＼&51＼&20.5＼&下降＼&法律類＼&13＼&5.0＼&上升＼&計(jì)算機(jī)類＼&8＼&3.0＼&上升＼&]

從表2可以看出，在英語類課件、法律類課件、計(jì)算機(jī)類課件中，7天后英語類的移動學(xué)習(xí)資源需求有所下降，法律類與計(jì)算機(jī)類的課件需求有所增加，同樣，可對移動學(xué)習(xí)系統(tǒng)的其他類學(xué)習(xí)資源需求進(jìn)行預(yù)測，根據(jù)需求的變化情況制作并上傳相應(yīng)的移動學(xué)習(xí)資源。

4 結(jié) 語

本文基于Android平臺，對移動學(xué)習(xí)系統(tǒng)大數(shù)據(jù)挖掘技術(shù)進(jìn)行研究。通過期望最大化EM算法進(jìn)行用戶聚類，利用移動學(xué)習(xí)系統(tǒng)的個(gè)性化資源推薦模型進(jìn)行近鄰用戶的選取和評分預(yù)測，采用CRISP?DM模型，根據(jù)學(xué)習(xí)者下載資源的時(shí)間序列數(shù)據(jù)建立ARTXP算法挖掘模型，可以對學(xué)習(xí)資源需求進(jìn)行預(yù)測。

參考文獻(xiàn)

[1] 趙德偉，高江錦，徐正巧.基于K?means算法的Web日志挖掘在移動學(xué)習(xí)中的實(shí)現(xiàn)[J].電腦編程技巧與維護(hù)，2016（16）：92?94.

[2] 陳超.基于數(shù)據(jù)挖掘的個(gè)性化學(xué)習(xí)模式研究[J].電子設(shè)計(jì)工程，2013，21（12）：18?21.

[3] 王妍，李波，趙立英，等.基于數(shù)據(jù)挖掘技術(shù)的自適應(yīng)學(xué)習(xí)系統(tǒng)的研究[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2012（19）：131?133.

[4] 歐陽柏成.大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)探究[J].電腦知識與技術(shù)，2015，11（15）：3?5.

[5] 趙倩倩，程國建，冀乾宇，等.大數(shù)據(jù)崛起與數(shù)據(jù)挖掘芻議[J].電腦知識與技術(shù)，2014，10（33）：7831?7833.

[6] 金濤，鄭紫微，陳平順.基于Android終端與數(shù)據(jù)挖掘的FMIPv6 切換算法[J].計(jì)算機(jī)應(yīng)用研究，2016（4）：1224?1227.

[7] 宋志秋.大數(shù)據(jù)時(shí)代營銷中的數(shù)據(jù)挖掘技術(shù)[J].數(shù)字技術(shù)與應(yīng)用，2015（3）：209?211.

[8] 王蘭成，劉曉亮.網(wǎng)上數(shù)字檔案大數(shù)據(jù)分析中的知識挖掘技術(shù)研究[J].浙江檔案，2013（10）：14?19.

[9] 王全旺，趙兵川.數(shù)據(jù)挖掘技術(shù)在Moodle課程管理系統(tǒng)中的應(yīng)用研究[J].電化教育研究，2011（11）：69?73.

[10] 周艷，李萍，吳雷.基于云平臺的圖書館數(shù)據(jù)挖掘技術(shù)研究[J].現(xiàn)代情報(bào)，2012，32（7）：46?50.