李馥娟

(江蘇警官學(xué)院 計(jì)算機(jī)信息與網(wǎng)絡(luò)安全系, 江蘇 南京 210031)

隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等應(yīng)用的快速發(fā)展,數(shù)據(jù)的產(chǎn)生、存儲(chǔ)、分析、展示等方式都發(fā)生著深刻變化,不同來(lái)源、不同結(jié)構(gòu)、不同功能數(shù)據(jù)的應(yīng)用價(jià)值越來(lái)越多地引起人們的重視,大數(shù)據(jù)已成為目前整個(gè)信息技術(shù)行業(yè)中關(guān)注度最高、發(fā)展最快、市場(chǎng)需求最旺盛的技術(shù)之一,成為學(xué)術(shù)界和工業(yè)界研究的重點(diǎn)和熱點(diǎn)。目前,對(duì)于傳統(tǒng)數(shù)據(jù)挖掘和處理技術(shù)的研究和應(yīng)用成果已經(jīng)非常豐富,但原有的軟件技術(shù)和常用的軟件處理工具在面對(duì)大數(shù)據(jù)這一具有特定屬性的數(shù)據(jù)集時(shí),在技術(shù)和方法上都遇到了困難和挑戰(zhàn)。

在學(xué)術(shù)界和企業(yè)界加快大數(shù)據(jù)技術(shù)研究和應(yīng)用創(chuàng)新的同時(shí),政府職能部門也在大數(shù)據(jù)專業(yè)人才培養(yǎng)方面提出了一系列具有重要指導(dǎo)意義的政策文件。其中,在2015年8月31日國(guó)務(wù)院印發(fā)的《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》中就提出:“創(chuàng)新人才培養(yǎng)模式,建立健全多層次、多類型的大數(shù)據(jù)人才培養(yǎng)體系”,并鼓勵(lì)采取跨校聯(lián)合培養(yǎng)等方式開展跨學(xué)科大數(shù)據(jù)綜合型人才培養(yǎng)。在此環(huán)境下,一些高校開始設(shè)置大數(shù)據(jù)相關(guān)專業(yè),推動(dòng)大數(shù)據(jù)學(xué)科建設(shè),加強(qiáng)大數(shù)據(jù)人才培養(yǎng),為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展提供有效保障。根據(jù)教育部公布的普通高等學(xué)校本科專業(yè)備案和審批結(jié)果中提供的信息,從2015年首批開設(shè)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)以來(lái),開設(shè)該專業(yè)的高校到2016年已經(jīng)達(dá)到35所。然而,由于大數(shù)據(jù)專業(yè)是一個(gè)新型專業(yè),即使是目前已經(jīng)開設(shè)該專業(yè)的高校,也是在不斷實(shí)踐中探索人才培養(yǎng)的具體內(nèi)容和環(huán)節(jié),沒(méi)有現(xiàn)成的模式可供借鑒和套用。為此,本文立足社會(huì)人才需求和大數(shù)據(jù)人才培養(yǎng)要求,結(jié)合本校大數(shù)據(jù)相關(guān)課程建設(shè)中取得的成功經(jīng)驗(yàn),從大數(shù)據(jù)專業(yè)人才培養(yǎng)的具體要求出發(fā),提出了大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)的內(nèi)容和方法。

1 大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)設(shè)計(jì)

大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè),在突出大數(shù)據(jù)技術(shù)和應(yīng)用固有功能的同時(shí),還需要充分借鑒現(xiàn)有實(shí)驗(yàn)室建設(shè)、應(yīng)用和管理中的既有成果,提升大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)和應(yīng)用水平,最大限度地發(fā)揮實(shí)驗(yàn)室在服務(wù)教學(xué)和科研中的功能[1-2]。大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)具體由6大功能模塊組成。

(1) 大數(shù)據(jù)處理支撐平臺(tái)。該平臺(tái)一般以開源Apache Hadoop為基礎(chǔ),其功能是為整個(gè)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)提供對(duì)海量數(shù)據(jù)的分布式處理。該支撐平臺(tái)除提供了Apache Hadoop 項(xiàng)目中的HDFS(Hadoop Distributed File System,Hadoop分布式文件系統(tǒng))和MapReduce編程框架兩大基本組件外,還提供了Hadoop Streaming、HBase、Hive等主流組件[3]。為便于進(jìn)行實(shí)驗(yàn),并可以更快速、更準(zhǔn)確、更穩(wěn)定、更可靠地從各類無(wú)序的海量數(shù)據(jù)中挖掘有價(jià)值的信息,對(duì)支撐平臺(tái)在安全性、易管理性、高可用性等方面進(jìn)行了優(yōu)化。

(2) 教學(xué)管理支持平臺(tái)。該平臺(tái)充分借鑒現(xiàn)有在線學(xué)習(xí)系統(tǒng)的功能,采用B/S架構(gòu),以便于對(duì)教學(xué)課程、實(shí)驗(yàn)教材、教學(xué)資源庫(kù)等進(jìn)行集中管理和訪問(wèn)授權(quán)。同時(shí),通過(guò)增加在線評(píng)估、在線測(cè)試等輔助功能,有效提升教學(xué)質(zhì)量。

(3) 云課堂綜合服務(wù)平臺(tái)。云計(jì)算是支撐大數(shù)據(jù)的關(guān)鍵技術(shù)之一。該平臺(tái)基于云計(jì)算技術(shù),為實(shí)驗(yàn)者提供虛擬教學(xué)桌面和虛擬實(shí)驗(yàn)桌面。虛擬教學(xué)桌面的功能與傳統(tǒng)在線互動(dòng)教學(xué)平臺(tái)類似,為師生提供桌面共享、在線測(cè)試、分組討論等功能,以提高教學(xué)質(zhì)量；虛擬實(shí)驗(yàn)桌面提供Hadoop部署環(huán)境和實(shí)驗(yàn)應(yīng)用環(huán)境,強(qiáng)化對(duì)大數(shù)據(jù)基礎(chǔ)理論的學(xué)習(xí)和實(shí)踐應(yīng)用的訓(xùn)練。

(4) 虛擬化實(shí)驗(yàn)平臺(tái)。大數(shù)據(jù)技術(shù)離不開虛擬化技術(shù)的支持,在具體實(shí)驗(yàn)過(guò)程中,各類大數(shù)據(jù)組件的安裝部署、數(shù)據(jù)分析等操作都需要在虛擬機(jī)上進(jìn)行。該平臺(tái)需要提供虛擬機(jī)的創(chuàng)建與配置、虛擬化網(wǎng)絡(luò)環(huán)境設(shè)置[4]、存儲(chǔ)資源分配等管理功能,為實(shí)驗(yàn)者提供虛擬化實(shí)驗(yàn)環(huán)境。

(5) 應(yīng)用建模分析平臺(tái)。大數(shù)據(jù)分析和可視化建模[5]是大數(shù)據(jù)技術(shù)中直接服務(wù)于具體應(yīng)用的兩項(xiàng)功能,也是大數(shù)據(jù)技術(shù)最具代表性的功能體現(xiàn)。建模分析平臺(tái)整合了大數(shù)據(jù)分析和可視化建模兩大功能,支持典型的數(shù)據(jù)分析算法,實(shí)驗(yàn)者可直接通過(guò)圖形化的組件、以拖拽方式進(jìn)行數(shù)據(jù)分析模型的搭建,以降低大數(shù)據(jù)建模難度。

(6) 師生客戶端。師生客戶端以Web方式,除實(shí)現(xiàn)傳統(tǒng)的在線資源管理與師生互動(dòng)功能,還提供有關(guān)大數(shù)據(jù)技術(shù)的開發(fā)工具,使實(shí)驗(yàn)者可以根據(jù)學(xué)習(xí)需要選擇安裝所需的開發(fā)工具,編寫和調(diào)試代碼。

2 主流大數(shù)據(jù)技術(shù)

2.1 大數(shù)據(jù)技術(shù)框架

近年來(lái),隨著大數(shù)據(jù)應(yīng)用越來(lái)越被重視,各類大數(shù)據(jù)技術(shù)得到了雨后春筍般的發(fā)展,分別圍繞大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲(chǔ)及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用等方面進(jìn)行了大量創(chuàng)新性研究和實(shí)踐,取得了大量成果。就Hadoop生態(tài)圈而言,短時(shí)間內(nèi)推出了很多各具功能特征和應(yīng)用特點(diǎn)的組件,并快速得到了應(yīng)用。在大數(shù)據(jù)學(xué)習(xí)中,需要根據(jù)學(xué)習(xí)者的特點(diǎn),有選擇地選取學(xué)習(xí)內(nèi)容,使其較為系統(tǒng)全面地學(xué)習(xí)當(dāng)前主流的大數(shù)據(jù)技術(shù)。根據(jù)教學(xué)需要,本文認(rèn)為對(duì)于大數(shù)據(jù)技術(shù)框架的學(xué)習(xí),主要包括以下內(nèi)容:數(shù)據(jù)抽取工具Sqoop、分布式海量日志分析工具Flume、分布式存儲(chǔ)系統(tǒng)HDFS、鍵值數(shù)據(jù)庫(kù)HBase、數(shù)據(jù)倉(cāng)庫(kù)Hive、分布式計(jì)算框架MapReduce/Yarn、內(nèi)存計(jì)算Spark、流式計(jì)算Storm、數(shù)據(jù)挖掘算法庫(kù)Mahout、機(jī)器學(xué)習(xí)工具包MLLib,以及其他主流大數(shù)據(jù)組件[6]。

2.2 數(shù)據(jù)挖掘算法庫(kù)Mahout

云計(jì)算和大數(shù)據(jù)被稱為一枚硬幣的兩面,掌握云平臺(tái)下的編程方法是學(xué)習(xí)大數(shù)據(jù)技術(shù)的基礎(chǔ)。不像單機(jī)或傳統(tǒng)的網(wǎng)絡(luò)環(huán)境,在云平臺(tái)下編程時(shí)首先要掌握云平臺(tái)框架,并要熟悉某一個(gè)具體算法的原理,增加了學(xué)習(xí)和應(yīng)用的難度。然而,Mahout的推出,在學(xué)習(xí)大數(shù)據(jù)技術(shù)與教學(xué)難度之間取得了一個(gè)平衡。Mahout是Apache基金會(huì)的一個(gè)適用于Hadoop云計(jì)算平臺(tái)的開源項(xiàng)目,提供了一個(gè)可擴(kuò)展的云平臺(tái)機(jī)器學(xué)習(xí)經(jīng)典數(shù)據(jù)挖掘算法庫(kù)[7-9],以幫助開發(fā)人員在不需要自己編寫復(fù)雜算法、不需要掌握太深的云平臺(tái)框架和數(shù)據(jù)流程理論知識(shí)的條件下,通過(guò)調(diào)用Mahout相關(guān)算法的程序接口來(lái)方便快捷地創(chuàng)建智能應(yīng)用程序。

(1) 聚類算法。一個(gè)聚類即是一類具有相同特征的數(shù)據(jù)的集合,位于該集合中的每個(gè)個(gè)體是相似的,而不同聚類中的個(gè)體是不相似的。聚類是將一個(gè)數(shù)據(jù)集合根據(jù)特征的不同分割成多個(gè)被稱為簇或類別的子集,使得同一子集中的元素盡可能相似,而不同簇中的元素盡可能相異。聚類分析的目的就是把一組無(wú)標(biāo)簽的數(shù)據(jù)加上標(biāo)簽,是一個(gè)迭代學(xué)習(xí)的過(guò)程。Mahout算法庫(kù)中聚類模塊包含的算法主要有:Canopy、K-Means、Fuzzy K-Means、Mean Shift、Spectral、Minhash、Top Down。表1對(duì)算法的主要功能進(jìn)行了描述[10]。

表1 Mahout算法庫(kù)中聚類模塊主要功能描述

(2) 分類算法。分類算法是數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和模式識(shí)別等領(lǐng)域用于解決分類問(wèn)題的方法,具體通過(guò)對(duì)已知類別訓(xùn)練集的分析,從中發(fā)現(xiàn)分類規(guī)則,以此預(yù)測(cè)新數(shù)據(jù)的類別。分類是一種基于訓(xùn)練樣本數(shù)據(jù)(這些數(shù)據(jù)都已經(jīng)被貼了標(biāo)簽)區(qū)分另外的樣本數(shù)據(jù)標(biāo)簽的過(guò)程,即解決另外的樣本數(shù)據(jù)應(yīng)該如何貼標(biāo)簽的問(wèn)題。分類算法和聚類算法的不同之處在于,當(dāng)具體的學(xué)習(xí)過(guò)程有指導(dǎo)時(shí)稱為分類,而無(wú)指導(dǎo)時(shí)稱為聚類。有指導(dǎo)是指在具體的訓(xùn)練過(guò)程中訓(xùn)練樣本數(shù)據(jù)已經(jīng)貼上了標(biāo)簽,而無(wú)指導(dǎo)則不同。Mahout算法庫(kù)中分類模塊包含的算法主要有Logistic Regression、Bayesian、Support Vector Machine、Random Forests、Hidden Markov Models。表2對(duì)算法的主要功能進(jìn)行了描述[10]。

表2 Mahout算法庫(kù)中分類模塊主要功能描述

(3) 協(xié)同過(guò)濾算法。在推薦系統(tǒng)中,協(xié)同過(guò)濾算法是應(yīng)用最為廣泛的一種算法。在大數(shù)據(jù)環(huán)境中,協(xié)同過(guò)濾算法的核心思想是首先確定一個(gè)指定用戶的興趣,然后以該用戶為樣本在海量用戶群中尋找具有相似興趣的用戶并形成一個(gè)集合,綜合該集合中每一個(gè)用戶對(duì)某一信息的評(píng)價(jià),該評(píng)價(jià)即為該指定用戶對(duì)此信息的喜好程度預(yù)測(cè)。Mahout算法庫(kù)的協(xié)同過(guò)濾算法主要有Distributed Item-Based Collaborative Filtering和Collaborative Filtering using a parallel matrix factorization,前者是基于項(xiàng)目的協(xié)同過(guò)濾算法,其簡(jiǎn)單思想就是利用項(xiàng)目之間的相似度來(lái)為用戶進(jìn)行項(xiàng)目推薦；后者的核心思想是把所有的用戶以及項(xiàng)目想象成一個(gè)二維表格,利用表格中有數(shù)據(jù)的單元格來(lái)預(yù)測(cè)用戶(空單元格)對(duì)項(xiàng)目的評(píng)分,進(jìn)而得到推薦結(jié)果。

3 主要的大數(shù)據(jù)開發(fā)工具

任何一項(xiàng)應(yīng)用技術(shù)的學(xué)習(xí)都應(yīng)遵循環(huán)境和方法的一致性,對(duì)于大數(shù)據(jù)技術(shù)的學(xué)習(xí)更應(yīng)如此[11-12]。一般情況下,大數(shù)據(jù)開發(fā)工作的流程為:安裝開發(fā)工具→配置開發(fā)環(huán)境→編寫代碼→代碼編譯→制作jar包→將jar包上傳服務(wù)器→程序運(yùn)行→代碼修改→再次上傳程序調(diào)試。如此反復(fù)的練習(xí),也是學(xué)好大數(shù)據(jù)技術(shù)的基礎(chǔ)。通過(guò)對(duì)當(dāng)前大數(shù)據(jù)開發(fā)工具的綜合分析,結(jié)合高校教學(xué)特點(diǎn)和需要,從培養(yǎng)應(yīng)用型大數(shù)據(jù)人才的角度出發(fā),介紹典型的3種大數(shù)據(jù)開發(fā)工具。

(2) R語(yǔ)言。R語(yǔ)言是一款完整的開源的具有數(shù)據(jù)處理、統(tǒng)計(jì)分析和繪圖等功能的軟件系統(tǒng),其功能組件主要包括:大數(shù)據(jù)的存儲(chǔ)和處理,具有強(qiáng)大向量、矩陣運(yùn)算功能的數(shù)組運(yùn)算工具,統(tǒng)計(jì)分析工具,統(tǒng)計(jì)制圖工具,簡(jiǎn)捷而強(qiáng)大的編程語(yǔ)言等。強(qiáng)大的統(tǒng)計(jì)分析功能是R語(yǔ)言適用于大數(shù)據(jù)處理環(huán)境的一大優(yōu)勢(shì),R語(yǔ)言通過(guò)以R軟件包形式發(fā)布的大量數(shù)學(xué)計(jì)算和統(tǒng)計(jì)分析工具,使開發(fā)者能夠在一個(gè)開放環(huán)境中靈活地對(duì)各類結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理分析,還可以根據(jù)用戶具體需求設(shè)計(jì)出統(tǒng)計(jì)計(jì)算模型。例如,在Hadoop中,通過(guò)MapReduce將TB和PB量級(jí)的數(shù)據(jù)處理后可生成GB量級(jí)的數(shù)據(jù),被縮小后的數(shù)據(jù)再在R語(yǔ)言中利用MPI并行處理框架構(gòu)建的機(jī)群計(jì)算進(jìn)行處理,大大提高了數(shù)據(jù)處理的效率。

4 結(jié)語(yǔ)

大數(shù)據(jù)技術(shù)是大數(shù)據(jù)價(jià)值得以體現(xiàn)的基本手段,云計(jì)算、分布式處理技術(shù)和具有感知功能的物聯(lián)網(wǎng)等技術(shù)的發(fā)展,為大數(shù)據(jù)的采集、處理、存儲(chǔ)、分析處理及過(guò)程和結(jié)果展示等提供了技術(shù)支撐和方法保證。大數(shù)據(jù)專業(yè)及其相關(guān)課程的建設(shè)需要緊扣大數(shù)據(jù)技術(shù)的發(fā)展,創(chuàng)新性地探討其人才培養(yǎng)體系。其中,大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)和應(yīng)用探討,更是從人才培養(yǎng)的最基礎(chǔ)性的需求出發(fā),提供最基本的知識(shí)和方法保障。本文提出了一套適應(yīng)大數(shù)據(jù)人才培養(yǎng)需要的實(shí)驗(yàn)室建設(shè)方案,強(qiáng)調(diào)在系統(tǒng)掌握大數(shù)據(jù)基礎(chǔ)知識(shí)的基礎(chǔ)上,通過(guò)科學(xué)地設(shè)計(jì)實(shí)驗(yàn)實(shí)訓(xùn)方案,使實(shí)驗(yàn)者較為扎實(shí)地掌握目前主流的大數(shù)據(jù)技術(shù)。本實(shí)驗(yàn)室建設(shè)方案的特點(diǎn)是在充分借鑒在線學(xué)習(xí)平臺(tái)已取得的被大家普遍認(rèn)可的應(yīng)用功能的基礎(chǔ)上,突出了大數(shù)據(jù)技術(shù)的完整性和系統(tǒng)性,尤其是突出了云計(jì)算技術(shù)在大數(shù)據(jù)中的應(yīng)用,真實(shí)體現(xiàn)了云計(jì)算與大數(shù)據(jù)之間的關(guān)聯(lián)性。當(dāng)然,作為一項(xiàng)既復(fù)雜又在快速發(fā)展中的技術(shù),如何使實(shí)驗(yàn)室建設(shè)在充分體現(xiàn)技術(shù)特點(diǎn)的同時(shí),更能夠較好地反應(yīng)人才培養(yǎng)要求,本文尚有一些考慮不周的地方,這也是作者下一步繼續(xù)研究和實(shí)踐的一個(gè)方向。

參考文獻(xiàn)(References)

[1] 李輝,張標(biāo),高萬(wàn)林.大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)及資源建設(shè)的思考與探索[J].實(shí)驗(yàn)技術(shù)與管理,2016,33(7):195-199.

[2] 尹學(xué)松,蔣融融,張吉先,等.面向大數(shù)據(jù)遠(yuǎn)程開放實(shí)驗(yàn)平臺(tái)構(gòu)建研究[J].中國(guó)遠(yuǎn)程教育,2016(11):28-34.

[3] 董新華,李瑞軒,周灣灣,等.Hadoop系統(tǒng)性能優(yōu)化與功能增強(qiáng)綜述[J].計(jì)算機(jī)研究與發(fā)展,2013,50(增刊):1-15.

[4] 李馥娟.虛擬機(jī)技術(shù)在復(fù)雜網(wǎng)絡(luò)實(shí)驗(yàn)中的應(yīng)用[J].實(shí)驗(yàn)技術(shù)與管理,2009,26(12):79-83.

[5] 崔迪,郭小燕,陳為.大數(shù)據(jù)可視化的挑戰(zhàn)與最新進(jìn)展[J].計(jì)算機(jī)應(yīng)用,2017,37(7):2044-2049,2056.

[6] 程學(xué)旗,靳小龍,王元卓,等.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].軟件學(xué)報(bào),2014,25(9):1889-1908.

[7] Barrachina A D,O’Driscoll A. A big data methodology for categorising technical support requests using Hadoop and Mahout[J].Journal of Big Data,2014,1(1):1-11.

[8] Eluri V R,Ramesh M,Al-Jabri A S M,et al.A comparative study of various clustering techniques on big data sets using Apache Mahout[C]//Mec International Conference on Big Data and Smart City.IEEE,2016:1-4.

[9] Bamnote G R,Agrawal S S.Evaluating and Implementing Collaborative Filtering Systems Using Apache Mahout[C]//International Conference on Computing Communication Control and Automation.IEEE Computer Society,2015:858-862.

[10] 樊哲.Mahout算法解析與案例實(shí)戰(zhàn)[M].北京:機(jī)械工業(yè)出版社,2014.

[11] 劉鳳娟.大數(shù)據(jù)的教育應(yīng)用研究綜述[J].現(xiàn)代教育技術(shù),2014,24(8):13-19.

[12] 周情濤,何軍,胡昭華.基于GPU的Spark大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室的開發(fā)應(yīng)用[J].實(shí)驗(yàn)室研究與探索,2017,36(1):112-116,131.