張立輝

摘要：隨著“數(shù)據(jù)中國”的深入開展，高校教育管理的信息化、數(shù)據(jù)化成為不可逆轉(zhuǎn)的趨勢。高校數(shù)據(jù)管理的重要任務(wù)是挖掘教學(xué)數(shù)據(jù)深層次的價(jià)值并使其為學(xué)校發(fā)展決策提供數(shù)據(jù)支撐。文章提出的大數(shù)據(jù)用戶行為分析平臺通過挖掘海量用戶行為數(shù)據(jù)，解析用戶行為喜好并進(jìn)行智能推薦，能夠從數(shù)據(jù)中精準(zhǔn)識別用戶基礎(chǔ)行為及專題行為，通過行為匹配進(jìn)而分析用戶偏好情況。平臺針對用戶偏好進(jìn)行智能推薦，對用戶進(jìn)行行為分類，有效掌握用戶動態(tài)；針對預(yù)測群體進(jìn)行精準(zhǔn)推薦，為提升產(chǎn)品營銷成功率做出貢獻(xiàn)。

關(guān)鍵詞：大數(shù)據(jù)；用戶行為；智能推薦；預(yù)測

中圖分類號：C37? 文獻(xiàn)標(biāo)志碼：A

0 引言

隨著大數(shù)據(jù)應(yīng)用的不斷普及和發(fā)展，學(xué)生之間通過網(wǎng)絡(luò)來進(jìn)行信息交流逐漸頻繁，如何有效地對學(xué)生行為進(jìn)行分析是目前行為分析平臺的主要難點(diǎn)之一。為適應(yīng)高校學(xué)生平臺的應(yīng)用情況，文章提出結(jié)合大數(shù)據(jù)技術(shù)和互聯(lián)網(wǎng)等多項(xiàng)技術(shù)，提出基于高校師生共同使用的基于大數(shù)據(jù)的學(xué)生行為分析平臺。

1 平臺的研究現(xiàn)狀

從文明之初的“結(jié)繩記事”，到文字發(fā)明后的“文以載道”，再到近現(xiàn)代科學(xué)的“數(shù)據(jù)建?！?，數(shù)據(jù)一直伴隨著人類社會的發(fā)展變遷，承載了人類基于數(shù)據(jù)和信息認(rèn)識世界的努力和取得的巨大進(jìn)步［1］。國家的多項(xiàng)規(guī)劃中不止一次提到要加快信息化的發(fā)展建設(shè)，更要加強(qiáng)基于大數(shù)據(jù)技術(shù)的應(yīng)用建設(shè)，大數(shù)據(jù)的應(yīng)用不僅要實(shí)現(xiàn)對大數(shù)據(jù)的管理、大數(shù)據(jù)的清洗與挖掘，更要將基于大數(shù)據(jù)的信息化建設(shè)變成國家的發(fā)展戰(zhàn)略。

我國是人口大國，高校林立，在高校的多元管理過程中會產(chǎn)生大量的數(shù)據(jù)信息，比如學(xué)生的基本信息管理、學(xué)生的成績管理、學(xué)生的圖書借閱管理等［2］。學(xué)生在學(xué)校論壇等平臺會留下大量的數(shù)據(jù)信息。教師的工齡及薪酬管理、上課課件和視頻傳輸、項(xiàng)目管理及經(jīng)費(fèi)應(yīng)用等教學(xué)科研會產(chǎn)生大量的數(shù)據(jù)信息。除此之外，高校教務(wù)及行政系統(tǒng)的設(shè)備管理、辦公自動化建設(shè)和學(xué)校主頁建設(shè)也會產(chǎn)生大量的數(shù)據(jù)信息。學(xué)校在執(zhí)行教學(xué)管理和學(xué)生管理的過程中會同時(shí)采用多個(gè)管理系統(tǒng)進(jìn)行數(shù)據(jù)維護(hù)和管理，多年應(yīng)用會積累大量的數(shù)據(jù)信息。對這些數(shù)據(jù)進(jìn)行挖掘和分析尤為有意義。

2 立項(xiàng)的必要性

許多學(xué)校每學(xué)期都會統(tǒng)計(jì)教師和學(xué)生的信息，但是傳統(tǒng)的管理模式都是通過Excel表格實(shí)行人工數(shù)據(jù)統(tǒng)計(jì)，每次的數(shù)據(jù)統(tǒng)計(jì)都會產(chǎn)生一定的誤差。為此，使用數(shù)據(jù)平臺實(shí)現(xiàn)教師和學(xué)生數(shù)據(jù)的統(tǒng)一管理，從已有數(shù)據(jù)中進(jìn)行統(tǒng)計(jì)，不僅可以提高管理的可靠性，還能夠提升管理人員的工作效率，甚至能改變教育領(lǐng)域傳統(tǒng)的授課模式、學(xué)習(xí)模式和管理模式［3］。對現(xiàn)存海量原始數(shù)據(jù)分析的成果，可應(yīng)用在科研計(jì)算、招生推廣、學(xué)科管理、薪資統(tǒng)籌、教師和學(xué)生信息跟蹤等多個(gè)方面。在新形勢下，多數(shù)高校已經(jīng)形成共識。在信息爆炸時(shí)代，開展數(shù)據(jù)的深度分析和應(yīng)用工作，對高校的發(fā)展而言是非常有必要的一項(xiàng)工作。

2.1 學(xué)?？茖W(xué)決策，需要數(shù)據(jù)深度分析和應(yīng)用的輔助

完善高校管理大數(shù)據(jù)工程支持體系。一方面，將大數(shù)據(jù)分析分別與高校中的垂直管理和橫向業(yè)務(wù)聯(lián)系起來并充分融合，形成“數(shù)描高校”，即通過大數(shù)據(jù)分析方法，將高校中的人、財(cái)、物，以及各類事件、活動、過程和現(xiàn)象進(jìn)行可視化處理，既對高校各類主體、實(shí)體進(jìn)行靜態(tài)“畫像”，也對各類活動或過程開展動態(tài)“攝像”，為推動高校管理科學(xué)化提供精準(zhǔn)動態(tài)的認(rèn)識和把握。另一方面，推動建立高校科學(xué)管理體系。建立高校管理決策中教育大數(shù)據(jù)分析結(jié)果使用原則和流程；成立專家小組，推動教育大數(shù)據(jù)“數(shù)描方法”與領(lǐng)域?qū)＜曳治鱿嘟Y(jié)合，助推科學(xué)規(guī)劃與科學(xué)決策。

2.2 教學(xué)質(zhì)量評估，需要科學(xué)的數(shù)據(jù)深度分析和應(yīng)用

每所高校都要定期開展教學(xué)評估工作，在評估工作中引入大數(shù)據(jù)分析技術(shù)不僅具備管理的依據(jù)，可以使教學(xué)工作的管理更加科學(xué)，還提高了學(xué)校數(shù)字化建設(shè)的步伐。在教學(xué)質(zhì)量評估工作中引入大數(shù)據(jù)挖掘與分析技術(shù)，可以有效地提高教師的教學(xué)質(zhì)量，還可以從教師教學(xué)的業(yè)績、教學(xué)手段多樣化、師生的互動、教學(xué)場所的使用情況等多個(gè)環(huán)節(jié)中尋找數(shù)據(jù)之間的內(nèi)在關(guān)系，通過數(shù)據(jù)的分析可以為教學(xué)管理部門提供決策支持信息，為教師提供各方面的反饋信息，使教師可以更好地開展教學(xué)工作，提高教學(xué)質(zhì)量。

2.3 教師教學(xué)能力的提升，需要數(shù)據(jù)支持

傳統(tǒng)的教學(xué)都是憑教師的感覺進(jìn)行設(shè)計(jì)，沒有數(shù)據(jù)支撐，也不能和學(xué)生的實(shí)際情況契合?，F(xiàn)在，通過深度分析學(xué)生在觀看網(wǎng)絡(luò)教學(xué)視頻過程中的關(guān)注頻次和瀏覽量，分析得出學(xué)生感興趣或者難理解的課程關(guān)鍵節(jié)點(diǎn)，幫助教師有的放矢地改進(jìn)教學(xué)重點(diǎn)、確定教學(xué)難點(diǎn)，勢必會引導(dǎo)教師改革教學(xué)方式。

2.4 校企融合，解決技術(shù)難題

大數(shù)據(jù)分析工作涉及數(shù)據(jù)抽取、清洗、整理、建模與分析、測試優(yōu)化、預(yù)警展示、手機(jī)App應(yīng)用等方面，對技術(shù)要求很高，可與行業(yè)企業(yè)合作，解決技術(shù)難題。這些技術(shù)問題將是大數(shù)據(jù)分析工作最大的障礙，需要重點(diǎn)注意兩個(gè)方面：（1）大數(shù)據(jù)分析及決策應(yīng)用與智慧校園平臺的關(guān)聯(lián)關(guān)系。智慧校園平臺支撐整個(gè)學(xué)校的運(yùn)營管理，采集了各類業(yè)務(wù)的原始數(shù)據(jù)。已建設(shè)有智慧校園平臺的學(xué)校，大數(shù)據(jù)分析與決策應(yīng)用應(yīng)基于智慧校園平臺；未建設(shè)智慧校園平臺的學(xué)?？芍苯咏ㄔO(shè)整合集成大數(shù)據(jù)分析的智慧校園平臺。（2）注意大數(shù)據(jù)分析平臺及展示工具的選型。首先支持的數(shù)據(jù)源應(yīng)全面，其次是應(yīng)支持App接入，再者應(yīng)支持電視、LED等展示終端接入。

3 平臺研究目標(biāo)

學(xué)校是一個(gè)育人的搖籃，師生會產(chǎn)生大量的數(shù)據(jù)信息，利用大數(shù)據(jù)技術(shù)將產(chǎn)生的這些數(shù)據(jù)進(jìn)行分析，可以找出數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，學(xué)校的管理人員通過數(shù)據(jù)即可掌握教師和學(xué)生的在校情況，掌握學(xué)生在各種活動中的行為規(guī)律，針對有問題的學(xué)生進(jìn)行疏導(dǎo)，培養(yǎng)學(xué)生良好的行為習(xí)慣，幫助學(xué)生樹立合理的學(xué)習(xí)和行為觀念。通過數(shù)據(jù)的分析可促使學(xué)生的管理工作更加有效，在工作中能夠更加切實(shí)地解決教師和學(xué)生遇到的問題，消除教師和學(xué)生之間的矛盾，減輕學(xué)生的消極思想，促進(jìn)學(xué)生的良性發(fā)展。

4 平臺研究主要內(nèi)容

大數(shù)據(jù)的學(xué)生行為分析平臺主要功能包括9個(gè)模塊：（1）地址庫生成模塊基于學(xué)校多平臺常用的地址，采取數(shù)據(jù)爬取技術(shù)生成地址庫標(biāo)簽，最終生成便于程序使用的地址庫。（2）數(shù)據(jù)清洗模塊用于實(shí)現(xiàn)清洗學(xué)校平臺的異常數(shù)據(jù)以及不作為分析范圍的數(shù)據(jù)，包括加載基礎(chǔ)數(shù)據(jù)、判斷數(shù)據(jù)字段是否一致、判斷url是否為空。（3）數(shù)據(jù)解析模塊用于識別教師和學(xué)生在學(xué)校多個(gè)平臺的操作行為，匹配出基礎(chǔ)數(shù)據(jù)地址并根據(jù)地址庫標(biāo)識出訪問標(biāo)簽。（4）用戶畫像模塊用于對學(xué)生操作行為實(shí)施匹配后的數(shù)據(jù)進(jìn)行畫像，識別出學(xué)生的不同類別值，便于其他模塊準(zhǔn)確掌握學(xué)生的操作行為。（5）學(xué)生信息分析模塊可實(shí)現(xiàn)對學(xué)生生源地、各專業(yè)學(xué)生性別等信息的統(tǒng)計(jì)分析。（6）學(xué)生平臺訪問管理模塊負(fù)責(zé)記錄學(xué)生對學(xué)校平臺訪問的持續(xù)時(shí)間，用于分析學(xué)生對平臺的關(guān)注度。（7）數(shù)據(jù)統(tǒng)計(jì)模塊可對清洗后的標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行可視化處理，通過餅圖、柱狀圖等多種圖形向?qū)W校管理人員展示數(shù)據(jù)分析結(jié)果，提供分析決策的數(shù)據(jù)支撐。（8）智能推薦模塊主要用于實(shí)現(xiàn)對學(xué)生關(guān)心課程的推薦，包括加載同類學(xué)生喜歡的課程。（9）對外接口模塊可為外系統(tǒng)提供教師和學(xué)生的最新狀態(tài)查詢服務(wù)，包括接口調(diào)用、驗(yàn)證調(diào)用權(quán)限、查詢調(diào)用請求信息、返回查詢結(jié)果。

5 主要關(guān)鍵技術(shù)及創(chuàng)新點(diǎn)

5.1 關(guān)鍵技術(shù)

基于大數(shù)據(jù)的用戶行為分析平臺，主要采用Hadoop，MapReduce，HDFS，Python進(jìn)行數(shù)據(jù)清洗和處理，采用Spark數(shù)據(jù)分析等技術(shù)手段來實(shí)現(xiàn)學(xué)生數(shù)據(jù)分析。

5.1.1 Hadoop集群層

Hadoop是由Apache基金會開發(fā)的大數(shù)據(jù)分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，輕松地在Hadoop上開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的分布式程序，充分利用集群的威力高速運(yùn)算和存儲。

Hadoop是一個(gè)數(shù)據(jù)管理系統(tǒng)，作為數(shù)據(jù)分析的核心，其匯集了結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)分布在傳統(tǒng)的企業(yè)數(shù)據(jù)棧的每一層。

Hadoop也是一個(gè)大規(guī)模并行處理框架，擁有超級計(jì)算能力，定位于推動企業(yè)級應(yīng)用的執(zhí)行。

5.1.2 HDFS存儲層

HDFS是Hadoop Distribute File System的簡稱，意為Hadoop分布式文件系統(tǒng)，是Hadoop核心組件之一，作為最底層的分布式存儲服務(wù)而存在。HDFS使用Master和Slave結(jié)構(gòu)對集群進(jìn)行管理。一般一個(gè)HDFS集群只由一個(gè)NameNode和一定數(shù)目的DataNode組成。NameNode是HDFS集群主節(jié)點(diǎn)，DataNode是HDFS集群從節(jié)點(diǎn)，兩種角色各司其職，共同協(xié)調(diào)完成分布式的文件存儲服務(wù)。

5.1.3 MapReduce計(jì)算層

數(shù)據(jù)在進(jìn)行清洗以后被存儲在HDFS系統(tǒng)，使用MapReduce計(jì)算框架可對數(shù)據(jù)進(jìn)行分析。根據(jù)學(xué)校管理人員的需求，系統(tǒng)設(shè)定分析角度和分析方向，每一個(gè)分析方向都需要通過專門的MapReduce程序?qū)崿F(xiàn)，主要設(shè)定的分析角度有學(xué)費(fèi)的收取情況、學(xué)生生源地分布情況、學(xué)生的分?jǐn)?shù)分布情況、學(xué)生平臺訪問情況等。

5.1.4 數(shù)據(jù)清洗和處理

數(shù)據(jù)清洗是一項(xiàng)復(fù)雜且煩瑣的工作，也是整個(gè)數(shù)據(jù)分析過程中最為重要的環(huán)節(jié)。數(shù)據(jù)清洗的目的有兩個(gè)，第一是通過清洗讓數(shù)據(jù)可用，第二是讓數(shù)據(jù)變得更適合進(jìn)行后續(xù)的分析工作。這樣獲取到的原始數(shù)據(jù)不能直接用來分析和處理，因?yàn)檫@些數(shù)據(jù)存在各種各樣的問題，如包含無效信息、列名不規(guī)范、格式不一致、存在重復(fù)值、缺失有效值等。數(shù)據(jù)處理理念經(jīng)歷了三大轉(zhuǎn)變過程，第一階段是處理全體數(shù)據(jù)而不是處理抽樣數(shù)據(jù)，第二階段是提高效率而不是追求數(shù)據(jù)的絕對精確，第三階段是處理數(shù)據(jù)的相關(guān)性而不是尋求數(shù)據(jù)的因果關(guān)系。具體的大數(shù)據(jù)處理流程可以概括為4步，分別是數(shù)據(jù)采集、數(shù)據(jù)導(dǎo)入和預(yù)處理、數(shù)據(jù)統(tǒng)計(jì)和分析以及數(shù)據(jù)挖掘。

（1）數(shù)據(jù)處理指由于數(shù)據(jù)量過于龐大，無法在較短時(shí)間內(nèi)迅速解決，或者無法一次性裝入內(nèi)存［4］。解決方案是針對大量數(shù)據(jù)采用巧妙的算法搭配合適的數(shù)據(jù)結(jié)構(gòu)。

（2）數(shù)據(jù)庫存儲層是一個(gè)支持多副本的分布式存儲系統(tǒng)，包含多個(gè)存儲服務(wù)器，主要提供數(shù)據(jù)存儲服務(wù)。存儲層支持持續(xù)的數(shù)據(jù)更新。數(shù)據(jù)更新是基于日志回放機(jī)制，而非傳統(tǒng)數(shù)據(jù)庫的檢查點(diǎn)數(shù)據(jù)頁刷盤機(jī)制，因此在CPU資源占用、內(nèi)存帶寬占用、資源峰谷差異等方面有更好的表現(xiàn)。

（3）用戶接口層是整個(gè)系統(tǒng)與系統(tǒng)的使用者進(jìn)行信息交換的媒介。將可視化界面及系統(tǒng)的全貌展示給學(xué)校管理人員，學(xué)校管理人員通過可視化層展示界面將請求直接發(fā)送給管理人員，用戶層接收到可視化層發(fā)送的請求，將請求傳遞給平臺的后臺其他層，實(shí)現(xiàn)請求的處理并將處理結(jié)果利用可視化技術(shù)展示給管理人員。用戶接口層的主要功能是實(shí)現(xiàn)用戶的請求并接收分析結(jié)果。

5.2 創(chuàng)新點(diǎn)

技術(shù)方面：平臺采用大數(shù)據(jù)技術(shù)，通過分布式存儲技術(shù)實(shí)現(xiàn)數(shù)據(jù)的存儲，在數(shù)據(jù)存儲過程中采用一個(gè)NameNode和多個(gè)DataNode，利用MapReduce技術(shù)實(shí)現(xiàn)數(shù)據(jù)的初級處理，利用Spark技術(shù)實(shí)現(xiàn)數(shù)據(jù)的最終處理。

教學(xué)方面：大數(shù)據(jù)的用戶行為分析平臺可以根據(jù)用戶的多種情況進(jìn)行統(tǒng)計(jì)并展示數(shù)據(jù)，教師根據(jù)平臺顯示的結(jié)果，不僅可以對部分用戶進(jìn)行有針對性的教育和管理，還可以利用平臺實(shí)現(xiàn)對用戶興趣的調(diào)查，尋找用戶的興趣點(diǎn)，在課堂上針對用戶興趣展開教學(xué)，提高教學(xué)質(zhì)量。

6 結(jié)語

綜合需求分析和功能分析可以看出，高校的師生在學(xué)生行為分析平臺會產(chǎn)生大量的數(shù)據(jù)。在學(xué)生行為分析平臺具體使用的過程中，可以根據(jù)不同的需求對數(shù)據(jù)進(jìn)行清洗和可視化，為高校的各級領(lǐng)導(dǎo)及平臺使用者提供數(shù)據(jù)支持和數(shù)據(jù)分析結(jié)果。

參考文獻(xiàn)

［1］韓冰.大數(shù)據(jù)技術(shù)在圖書館讀者借閱行為分析中的應(yīng)用［J］.科技視界，2021（24）：61-62.

［2］李春艷.教育大數(shù)據(jù)背景下用戶網(wǎng)絡(luò)學(xué)習(xí)行為機(jī)制研究［J］.電腦知識與技術(shù)，2021（20）：41-42.

［3］葉力銘.基于Spark電商用戶行為數(shù)據(jù)的分析與研究［D］.沈陽：沈陽師范大學(xué)，2020.

［4］羅嘉龍.基于大數(shù)據(jù)分析技術(shù)的用戶行為分析平臺設(shè)計(jì)與實(shí)現(xiàn)［J］.電腦知識與技術(shù)，2019（35）：54-56.

（編輯 王永超）

Research and implementation of student behavior analysis platform based on big data

Zhang? Lihui

（Changchun? Polytechnic， Changchun 130033， China）

Abstract： With the in-depth development of “Data China”， the informatization and data transformation of university education management have become an irreversible trend. The important task of university data management is to mine the deep value of teaching data and make it provide data support for school development decisions. The big data user behavior analysis platform can accurately identify user basic behavior and thematic behavior from the data， analyze user behavior through behavior matching make intelligent recommendation for user preference， classify user behavior. It can effectively grasp user dynamics， make accurate recommendation for prediction group and make great contribution to improving the success rate of product marketing.

Key words： big data; user behavior; intelligent recommendation; prediction