楊塤 姚進(jìn) 黃丹梅

摘要：在對大數(shù)據(jù)生命周期研究的基礎(chǔ)上，提出大數(shù)據(jù)生態(tài)系統(tǒng)參考架構(gòu)，并基于在線學(xué)習(xí)行為的特點(diǎn)及研究方法，構(gòu)建出在線學(xué)習(xí)行為的大數(shù)據(jù)分析模型，為大數(shù)據(jù)領(lǐng)域及在線教學(xué)領(lǐng)域標(biāo)準(zhǔn)化及相關(guān)研究工作帶來深遠(yuǎn)意義。

關(guān)鍵詞：大數(shù)據(jù);生命周期;在線學(xué)習(xí);架構(gòu);模型

中圖分類號(hào)：TP399 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）13-0281-03

1背景

在線學(xué)習(xí)行為指學(xué)習(xí)者在線上學(xué)習(xí)平臺(tái)，如MOOC、SPOC等的在線學(xué)習(xí)網(wǎng)站上登錄、觀看視頻、提交作業(yè)、參與討論、考試等一系列與課程學(xué)習(xí)相關(guān)聯(lián)的行為。

如今，各領(lǐng)域都離不開大數(shù)據(jù)分析，大數(shù)據(jù)背景下的在線學(xué)習(xí)平臺(tái)記錄了學(xué)習(xí)者從登錄至退出平臺(tái)所經(jīng)歷的全部學(xué)習(xí)路徑數(shù)據(jù)，為研究者從在線學(xué)習(xí)平臺(tái)中提取學(xué)習(xí)者的大量行為數(shù)據(jù)提供了保障。

本文基于大數(shù)據(jù)研究模型及分析路徑，首先討論大數(shù)據(jù)的生命周期模型，再基于此模型構(gòu)建大數(shù)據(jù)生態(tài)系統(tǒng)參考架構(gòu)，最后提出基于大數(shù)據(jù)架構(gòu)的在線學(xué)習(xí)行為分析模型。

2大數(shù)據(jù)生命周期模型

大數(shù)據(jù)生態(tài)系統(tǒng)參考架構(gòu)的制定需考慮的重要因素是大數(shù)據(jù)信息生命周期，信息生命周期指的是信息的收集、存儲(chǔ)、處理和維護(hù)的全過程，包括信息識(shí)別、信息收集、信息傳輸、信息存儲(chǔ)、信息處理以及信息維護(hù)和使用六個(gè)階段。大數(shù)據(jù)的數(shù)據(jù)集合規(guī)模龐大，遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)數(shù)據(jù)庫工具軟件在獲取、存儲(chǔ)、管理和分析方面的能力范圍。由于大數(shù)據(jù)具有數(shù)據(jù)規(guī)模海量、數(shù)據(jù)流轉(zhuǎn)快速、數(shù)據(jù)類型多樣和價(jià)值密度低等特性，傳統(tǒng)信息生命周期理論已不適于大數(shù)據(jù)動(dòng)態(tài)的生命周期管理需求，因此，必須針對大數(shù)據(jù)特征以及價(jià)值挖掘和決策的實(shí)際，對大數(shù)據(jù)的生命周期進(jìn)行分析。

針對大數(shù)據(jù)在流動(dòng)的不同階段的不同特征，本文將大數(shù)據(jù)生命周期從數(shù)據(jù)源到目的客戶的整個(gè)過程劃分為采集、存儲(chǔ)、傳輸、使用幾個(gè)階段，并在從采集到使用的過程中加人對數(shù)據(jù)的“加工”處理與反饋模塊，具體環(huán)節(jié)如圖1所示。

2.1數(shù)據(jù)采集

數(shù)據(jù)采集階段根據(jù)應(yīng)用場景和客戶要求從諸如無線傳感器節(jié)點(diǎn)、RFID等感知設(shè)備以及從云服務(wù)器、數(shù)據(jù)庫、網(wǎng)絡(luò)、用戶終端等渠道對各類數(shù)據(jù)進(jìn)行全面、高效地收集和聚合嘲。

2.2數(shù)據(jù)存儲(chǔ)

大數(shù)據(jù)存儲(chǔ)是指將傳統(tǒng)基礎(chǔ)設(shè)施中長期保存的數(shù)據(jù)以及數(shù)量巨大、難于收集、處理、分析的數(shù)據(jù)集持久化到計(jì)算機(jī)中。大數(shù)據(jù)應(yīng)用的爆發(fā)性增長直接推動(dòng)了存儲(chǔ)技術(shù)的發(fā)展。大數(shù)據(jù)的存儲(chǔ)已經(jīng)不單單是對這些數(shù)據(jù)的物理存放，如存放在某服務(wù)器硬盤，還需要采用一系列的技術(shù)，如分布式存儲(chǔ)、虛擬化技術(shù)、數(shù)據(jù)倉庫、非關(guān)系數(shù)據(jù)庫、分布內(nèi)存分析計(jì)算、硬件計(jì)算，將海量、分散、無序、異構(gòu)的數(shù)據(jù)經(jīng)過高效的組織和映射，最終形成便于用戶檢索和使用的數(shù)據(jù)模式。

2.3數(shù)據(jù)傳輸

數(shù)據(jù)傳輸是指依據(jù)適當(dāng)?shù)囊?guī)程和協(xié)議，將數(shù)據(jù)從數(shù)據(jù)源到數(shù)據(jù)宿之間通過一條或多條鏈路進(jìn)行傳送。此處數(shù)據(jù)傳輸專指大數(shù)據(jù)的傳輸。大數(shù)據(jù)的傳輸是大數(shù)據(jù)流動(dòng)的核心和數(shù)據(jù)共享的基礎(chǔ)，依托的是網(wǎng)絡(luò)通信技術(shù)，將存儲(chǔ)在服務(wù)器和數(shù)據(jù)庫中的數(shù)據(jù)傳遞給上層應(yīng)用和使用者。數(shù)據(jù)傳輸過程需要尤其注意協(xié)議安全、數(shù)據(jù)泄漏、破壞、攔截、密鑰管理等安全問題。

2.4數(shù)據(jù)使用

數(shù)據(jù)使用是大數(shù)據(jù)應(yīng)用的目的及結(jié)果，是大數(shù)據(jù)價(jià)值的最終體現(xiàn)，是客戶對數(shù)據(jù)進(jìn)行有效利用的過程，例如利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營銷、利用大數(shù)據(jù)規(guī)劃實(shí)時(shí)交通路線躲避擁堵、利用大數(shù)據(jù)從大量客戶中快速識(shí)別出金牌客戶等。

2.5數(shù)據(jù)“加工”

數(shù)據(jù)“加工”是指數(shù)據(jù)從最初的采集到最終的使用，除了需對數(shù)據(jù)進(jìn)行存儲(chǔ)和傳輸，還需對數(shù)據(jù)進(jìn)行深入的“加工”，主要過程有：對采集到的數(shù)據(jù)進(jìn)行初步的過濾、加工、分類，再對其進(jìn)行關(guān)聯(lián)、聚類、建模、預(yù)測等數(shù)據(jù)處里，最終再提交給使用者或上層應(yīng)用。而對數(shù)據(jù)的這些“加工”，是可以根據(jù)使用者和應(yīng)用程序的反饋，不斷進(jìn)行優(yōu)化，即根據(jù)反饋結(jié)果再次進(jìn)行關(guān)聯(lián)、聚類、建模、預(yù)測、加工、分類等，直至關(guān)聯(lián)規(guī)則、聚類分析方法、以及建立的預(yù)測模型能使得數(shù)據(jù)應(yīng)用效果達(dá)到最優(yōu)化。例如，在商務(wù)應(yīng)用中，依照聚類分析的結(jié)論，幫助市場分析人員從廣泛的客戶庫中找到不同的客戶群，并使用不同的購買模型來表征不同的客戶群體特點(diǎn)。

3大數(shù)據(jù)生態(tài)系統(tǒng)參考架構(gòu)

大數(shù)據(jù)生態(tài)系統(tǒng)參考架構(gòu)可以很好地描述以數(shù)據(jù)為中心的端到端數(shù)據(jù)采集、轉(zhuǎn)換、分發(fā)和使用。分析大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)的意義在于：一來可以讓大數(shù)據(jù)的生命周期更好的被產(chǎn)業(yè)、策略制定者、用戶所理解;二來可以定義相關(guān)的組件和功能以確定其邊界、互操作性、安全含義等。

以數(shù)據(jù)為中心，基于大數(shù)據(jù)生命周期特點(diǎn)，對大數(shù)據(jù)生態(tài)系統(tǒng)參考架構(gòu)進(jìn)行構(gòu)建，該架構(gòu)用以描述大數(shù)據(jù)從采集到使用的生命周期各階段數(shù)據(jù)流向及可能的轉(zhuǎn)換過程。

大數(shù)據(jù)生態(tài)系統(tǒng)的組成有四個(gè)部分：數(shù)據(jù)源、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)架構(gòu)和數(shù)據(jù)應(yīng)用。如圖2所示。構(gòu)建該架構(gòu)時(shí)，將大數(shù)據(jù)的安全和管理問題作為架構(gòu)中獨(dú)立的模塊跨層存在，以支持其余各層的功能和服務(wù)嘲。該架構(gòu)既結(jié)合了大數(shù)據(jù)生命周期特點(diǎn)，又考慮了安全及管理等因素。

3.1數(shù)據(jù)源

數(shù)據(jù)源即產(chǎn)生大數(shù)據(jù)的對象，具備5v的特點(diǎn)，它們是Vol-ume體積：數(shù)據(jù)量很大，及采集、存儲(chǔ)和計(jì)算都有很大的量。大數(shù)據(jù)的起始測量單位至少為P（1（千T）、E（1百萬T）或z（十億T）。Variety多樣性：來源和種類多樣化，包括以地理位置信息、日志、圖片、視頻、音頻等表現(xiàn)的結(jié)構(gòu)化的、半結(jié)構(gòu)的化以及非結(jié)構(gòu)化的數(shù)據(jù);Value價(jià)值：數(shù)據(jù)具有相對較低的價(jià)值密度;Ve-locity速度：數(shù)據(jù)的增長速度快，處理速度快，對實(shí)時(shí)性的要求高。例如，搜索引擎能讓用戶查詢到幾分鐘之前的新聞，而實(shí)時(shí)推薦功能依賴于個(gè)性化推薦算法的實(shí)現(xiàn)。Veracity準(zhǔn)確性：數(shù)據(jù)的準(zhǔn)確性和可靠性，即數(shù)據(jù)的可信度和質(zhì)量。

3.2數(shù)據(jù)轉(zhuǎn)換

為了提取數(shù)據(jù)中有價(jià)值的部分，當(dāng)數(shù)據(jù)在生態(tài)系統(tǒng)中傳播時(shí)，就要對其進(jìn)行不同方式的處理和轉(zhuǎn)換，數(shù)據(jù)轉(zhuǎn)換通常至少包括數(shù)據(jù)采集、聚合、匹配、數(shù)據(jù)挖掘。每個(gè)數(shù)據(jù)轉(zhuǎn)換功能都可能會(huì)有它特定的預(yù)處理階段：包括注冊和元數(shù)據(jù)創(chuàng)造，可能會(huì)用到不同的適應(yīng)其要求的數(shù)據(jù)架構(gòu)，以及會(huì)有不同的隱私和安全策略要求。

3.2.1采集

數(shù)據(jù)可以采用不同的方式和形式被采集。數(shù)據(jù)收集階段收集來自相同安全規(guī)則和策略的或相同結(jié)構(gòu)的數(shù)據(jù)集，產(chǎn)生出的元數(shù)據(jù)隨后將被進(jìn)一步聚合。采集數(shù)據(jù)時(shí)，由于數(shù)據(jù)量大，數(shù)據(jù)來源多樣化，價(jià)值密度低，需要不斷改進(jìn)和完善數(shù)據(jù)采集方法，制定數(shù)據(jù)采集標(biāo)準(zhǔn)。

3.2.2聚合

相關(guān)聯(lián)的元數(shù)據(jù)組成的數(shù)據(jù)集合被聚合成更大的集合，這個(gè)過程稱為聚合。聚合后，要么每個(gè)對象的信息更加豐富，要么集合中的對象的數(shù)量得以增加。新的集合適用的安全規(guī)則和策略和原始集合的類似。例如，將源頭數(shù)據(jù)進(jìn)行分裝整理規(guī)范化后，以API的形式提供給開發(fā)者團(tuán)隊(duì)及企業(yè)調(diào)用，就是一種聚合。數(shù)據(jù)經(jīng)過聚合，能夠被挖掘出更多的價(jià)值。近兩年來，對數(shù)據(jù)聚合的需求的趨勢從基礎(chǔ)泛娛樂數(shù)據(jù)到汽車服務(wù)數(shù)據(jù)，再到互聯(lián)網(wǎng)金融信用數(shù)據(jù)行業(yè)，可以看出，企業(yè)服務(wù)和數(shù)據(jù)的專業(yè)性需求越來越高。

3.2.3匹配

不同元數(shù)據(jù)（如關(guān)鍵字）的數(shù)據(jù)集被聚合成更大的集合。匹配后，每個(gè)目標(biāo)的信息更加豐富。例如，通過追蹤用戶觀看視頻、點(diǎn)擊廣告、社交偏好等行為，提取高頻母嬰用戶，并鎖定該類人群喜愛的綜藝節(jié)目和電影電視劇，再精準(zhǔn)投放母嬰廣告，就是一種對推廣信息與目標(biāo)消費(fèi)進(jìn)行匹配的過程，匹配后，商業(yè)推廣效果將從量級(jí)和精準(zhǔn)度方面脫穎而出。

3.2.4數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是從大量的數(shù)據(jù)中提取數(shù)據(jù)的過程，隨著物聯(lián)網(wǎng)應(yīng)用的普及，信息感知無處不在，信息量巨大，但價(jià)值密度較低。如何挖掘數(shù)據(jù)的價(jià)值是大數(shù)據(jù)時(shí)代需要解決的最重要的問題。數(shù)據(jù)挖掘需要結(jié)合業(yè)務(wù)邏輯并通過諸多方法來實(shí)現(xiàn)，例如，統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、在線分析處理、專家系統(tǒng)、情報(bào)檢索和模式識(shí)別等。數(shù)據(jù)挖掘從不同的角度和維度分析數(shù)據(jù)，并產(chǎn)生能標(biāo)識(shí)數(shù)據(jù)內(nèi)部關(guān)聯(lián)的信息的摘要。有兩種形式的數(shù)據(jù)挖掘：描述性的和預(yù)判性的。描述性的數(shù)據(jù)挖掘給出已有數(shù)據(jù)的信息;預(yù)判性的數(shù)據(jù)挖掘給出基于現(xiàn)有數(shù)據(jù)的預(yù)測。

3.3數(shù)據(jù)架構(gòu)

大數(shù)據(jù)的數(shù)據(jù)架構(gòu)是支持?jǐn)?shù)據(jù)轉(zhuǎn)換功能和滿足數(shù)據(jù)存儲(chǔ)需要的一系列數(shù)據(jù)存儲(chǔ)或數(shù)據(jù)庫軟件、服務(wù)、存儲(chǔ)和網(wǎng)絡(luò)的總和。

為了使數(shù)據(jù)處理的效率更高，具備不同5v特點(diǎn)的數(shù)據(jù)可以使用不同的技術(shù)進(jìn)行處理，采用不同的存儲(chǔ)技術(shù)進(jìn)行存儲(chǔ)。處理和存儲(chǔ)技術(shù)的選擇和“轉(zhuǎn)換”功能模塊中對數(shù)據(jù)的加工處理無關(guān)。因此，通常同樣的數(shù)據(jù)可以使用不同的獨(dú)立的數(shù)據(jù)架構(gòu)轉(zhuǎn)換多次。

訓(xùn)練：例如去標(biāo)識(shí)、采樣、模糊處理，構(gòu)建數(shù)據(jù)分析模型前，需要對數(shù)據(jù)進(jìn)行訓(xùn)練。

存儲(chǔ)和檢索：例如NoSQL和SQL數(shù)據(jù)庫中各類不同類型數(shù)據(jù)的加載和查詢。

3.4數(shù)據(jù)應(yīng)用

數(shù)據(jù)應(yīng)用是大數(shù)據(jù)最終的目的和價(jià)值體現(xiàn)。大數(shù)據(jù)應(yīng)用時(shí)，會(huì)以呈現(xiàn)出不同的形式、不同的粒度、以及適用于不同的安全策略及規(guī)則。大數(shù)據(jù)可應(yīng)用于任何領(lǐng)域、任何產(chǎn)業(yè)，如網(wǎng)絡(luò)運(yùn)營商/電信業(yè)、工業(yè)、商業(yè)、政府領(lǐng)域、健康醫(yī)療領(lǐng)域、金融領(lǐng)域、教育領(lǐng)域等。

4在線學(xué)習(xí)行為大數(shù)據(jù)分析模型

根據(jù)在線學(xué)習(xí)行為分析的特點(diǎn)，基于上述大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)模型，構(gòu)建出在線學(xué)習(xí)行為大數(shù)據(jù)分析模型，如圖3所示。

該在線學(xué)習(xí)行為大數(shù)據(jù)分析模型是圖2大數(shù)據(jù)生態(tài)系統(tǒng)參考架構(gòu)的具體應(yīng)用和體現(xiàn)，前者與后者采用相同的體系結(jié)構(gòu)，均具備數(shù)據(jù)源、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)架構(gòu)、安全、管理、數(shù)據(jù)使用幾個(gè)模塊，只在不同的模塊體現(xiàn)出電子商務(wù)的特點(diǎn)。例如在數(shù)據(jù)轉(zhuǎn)換部分，體現(xiàn)出在線學(xué)習(xí)應(yīng)用的學(xué)習(xí)風(fēng)格、學(xué)習(xí)路徑等業(yè)

5結(jié)束語

本文根據(jù)提出的大數(shù)據(jù)生命周期模型及特點(diǎn)，構(gòu)建出大數(shù)據(jù)生態(tài)系統(tǒng)參考架構(gòu)，定義了大數(shù)據(jù)應(yīng)用必備的功能組件，大數(shù)據(jù)生態(tài)系統(tǒng)參考架構(gòu)適用于各種大數(shù)據(jù)應(yīng)用，本文最后給出的在線學(xué)習(xí)行為大數(shù)據(jù)分析模型就是大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)的具體實(shí)現(xiàn)。本文的工作有助于大數(shù)據(jù)研究領(lǐng)域及在線學(xué)習(xí)行為研究工作的標(biāo)準(zhǔn)化，使大數(shù)據(jù)領(lǐng)域研究者及基于大數(shù)據(jù)進(jìn)行在線學(xué)習(xí)行為研究的參與者從中受益。