晁妍 陳文龍 王浩

摘要：高校實(shí)驗(yàn)室是大學(xué)生實(shí)踐創(chuàng)新、開闊眼界的場所，傳統(tǒng)的實(shí)驗(yàn)室存在著不能及時(shí)反映實(shí)驗(yàn)設(shè)備的利用和損壞等情況。論文旨在研究大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室管理系統(tǒng)中的作用與意義。論文介紹大數(shù)據(jù)技術(shù)的一些概念和基本體系架構(gòu)，結(jié)合實(shí)驗(yàn)室管理系統(tǒng)，重點(diǎn)闡述大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室管理系統(tǒng)中的應(yīng)用。對Python數(shù)據(jù)分析與數(shù)據(jù)可視化進(jìn)行介紹，分析數(shù)據(jù)挖掘技術(shù)和遺傳算法在實(shí)驗(yàn)室管理系統(tǒng)中的應(yīng)用前景，將大數(shù)據(jù)技術(shù)應(yīng)用在實(shí)驗(yàn)室管理系統(tǒng)中來提高實(shí)驗(yàn)室的管理水平，做出科學(xué)決策，促進(jìn)學(xué)生學(xué)習(xí)的主動性與效率。

關(guān)鍵詞：大數(shù)據(jù);實(shí)驗(yàn)室管理系統(tǒng);Python;數(shù)據(jù)挖掘;遺傳算法

中圖分類號：TP3 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）18-0031-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

在現(xiàn)實(shí)生活中，大數(shù)據(jù)已經(jīng)與我們的生活息息相關(guān)，例如網(wǎng)上購物時(shí)的個(gè)性化推薦。本文將闡述大數(shù)據(jù)的定義、特征和關(guān)鍵技術(shù)，結(jié)合高校實(shí)驗(yàn)室管理信息系統(tǒng)，分析大數(shù)據(jù)在高校實(shí)驗(yàn)室管理信息系統(tǒng)中的實(shí)際應(yīng)用。

1 大數(shù)據(jù)簡介

1.1大數(shù)據(jù)的概念

“大數(shù)據(jù)”，現(xiàn)在主流的說法有研究機(jī)構(gòu)麥肯錫研究所等提出的定義，總結(jié)就是大數(shù)據(jù)是海量數(shù)據(jù)需要進(jìn)行加工處理的信息資產(chǎn)，海量的數(shù)據(jù)的采集和存儲都需要新的處理模式。

1.2大數(shù)據(jù)的特點(diǎn)

1.2.1體量大[1-3]

從上圖中可以分析得出，2015年全球數(shù)據(jù)產(chǎn)生量是2005年的66.08倍，預(yù)計(jì)在2020年將會產(chǎn)生40ZB。

1.2.2速度快

大數(shù)據(jù)產(chǎn)生的速度遠(yuǎn)遠(yuǎn)超出我們得想象，2013年，有數(shù)據(jù)顯示淘寶網(wǎng)每分鐘成交8300多筆訂單，這些訂單會產(chǎn)生大量的信息，例如訂單雙方的個(gè)人信息，訂單成交號，訂單成交時(shí)間等。早在2017年，淘寶網(wǎng)每天產(chǎn)生的數(shù)據(jù)就達(dá)到了7T。

1.2.3種類多

現(xiàn)在大數(shù)據(jù)可以大致分為三類。第一類是傳統(tǒng)企業(yè)數(shù)據(jù)。第二類是機(jī)器和傳感器數(shù)據(jù)，工業(yè)中的各種儀器設(shè)備產(chǎn)生的數(shù)據(jù)。第三類是社交產(chǎn)生的數(shù)據(jù)，像現(xiàn)在比較流向的抖音、微博、微信等產(chǎn)生的數(shù)據(jù)。

1.2.4價(jià)值密度低

數(shù)據(jù)只是信息的表現(xiàn)形式和載體，對于我們有價(jià)值的是數(shù)據(jù)背后的某種關(guān)系或者知識。需要我們自己去采用高效的方式探索。大數(shù)據(jù)的體量龐大，種類繁雜，其中的價(jià)值就被其體量的龐大和復(fù)雜性所沖淡。

1.3大數(shù)據(jù)的幾種基本體系架構(gòu)

1.3.1商業(yè)智能（Business Intelligence）系統(tǒng)架構(gòu)[4][5]

商業(yè)系統(tǒng)簡稱BI，商業(yè)系統(tǒng)架構(gòu)首先需要數(shù)據(jù)源，數(shù)據(jù)源來自企業(yè)的歷史業(yè)務(wù)數(shù)據(jù)，它是企業(yè)運(yùn)行時(shí)的狀態(tài)的記錄。傳統(tǒng)關(guān)系型數(shù)據(jù)庫中數(shù)據(jù)轉(zhuǎn)換服務(wù)（DTS）中有強(qiáng)大的工具可以使用，可以從多種數(shù)據(jù)源中提取和轉(zhuǎn)換數(shù)據(jù)。

1）工業(yè)大數(shù)據(jù)系統(tǒng)技術(shù)[6]

采集交換層：采集交換層是將各個(gè)傳感器獲取到的數(shù)據(jù)以及企業(yè)內(nèi)部的各個(gè)管理系統(tǒng)中的數(shù)據(jù)進(jìn)行收集，在這個(gè)過程中，需要一些數(shù)據(jù)搜集的工具以及初步數(shù)據(jù)預(yù)處理的工具。

集成處理層：集成處理層在功能上將建立不同主題的數(shù)據(jù)模型進(jìn)而產(chǎn)生不同主題的數(shù)據(jù)庫，此外，還進(jìn)行數(shù)據(jù)清洗。

建模分析層：建模分析層在功能上是將現(xiàn)實(shí)生活中的實(shí)體進(jìn)行抽象，然后進(jìn)行分析建模，最終得到一個(gè)可以給決策者提供參考的結(jié)果。技術(shù)層面上在這一層將會涉及機(jī)器學(xué)習(xí)、統(tǒng)計(jì)規(guī)劃等知識以及工具。

決策控制層：在建模分析層的基礎(chǔ)上，將產(chǎn)生一個(gè)可信的結(jié)果，形成對工業(yè)系統(tǒng)決策產(chǎn)生影響。這將在工業(yè)的智能化生產(chǎn)等方面產(chǎn)生積極影響。

2）Lambda架構(gòu)[7]

Lambda架構(gòu)是由Apache Storm（-種分布式實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)）的設(shè)計(jì)者Nathan Marz提出，其特點(diǎn)是：批處理計(jì)算、實(shí)時(shí)計(jì)算、讀寫分離、復(fù)雜性隔離、高容錯(cuò)、低時(shí)延和可擴(kuò)展性。

2 大數(shù)據(jù)在高校實(shí)驗(yàn)室管理系統(tǒng)中的應(yīng)用

近年來，高校實(shí)驗(yàn)室發(fā)生意外的新聞報(bào)道屢見不鮮，據(jù)統(tǒng)計(jì)2010年到2015年我國發(fā)生高校實(shí)驗(yàn)室事故高達(dá)66起，意外帶來了嚴(yán)重的損失。

2.1 實(shí)驗(yàn)室管理系統(tǒng)

2.1.1系統(tǒng)開發(fā)技術(shù)[8][9]

系統(tǒng)采用的是Java和Tomcat后臺服務(wù)器技術(shù)，設(shè)計(jì)中采用了HTML和JSP技術(shù)完成頁面設(shè)計(jì)的過程。

2.1.2 JavaScript

JavaScript可以增加HTML網(wǎng)頁動態(tài)功能，例如反饋用戶的所有操作。JavaScript的一個(gè)關(guān)鍵作用是向?qū)ο蟮墓δ?，根?jù)以對象為基礎(chǔ)的程序開發(fā)，能夠用更直接、系統(tǒng)化和能夠反復(fù)利用的方法設(shè)計(jì)程序。根據(jù)HTML程序，可以采用JavaScript對交互式Web網(wǎng)頁進(jìn)行設(shè)計(jì)。

2.1.3 MySQL數(shù)據(jù)庫

MySQL是一種常用的關(guān)系數(shù)據(jù)庫管理系統(tǒng)。它包括電子商務(wù)、數(shù)據(jù)倉庫和業(yè)務(wù)流解決方案所需的基本功能。

2.1.4 S2SH框架

主流的S2SH的技術(shù)架構(gòu)有很多優(yōu)點(diǎn)，例如：可以降低程序員面對問題的手忙腳亂的概率以及給程序員比較清晰的思維框架S2SH框架有很好的抵抗風(fēng)險(xiǎn)的能力并且具有良好的解耦性。

2.2 實(shí)驗(yàn)室管理系統(tǒng)中的大數(shù)據(jù)技術(shù)

2.2.1 Python語言[10]

Python是現(xiàn)在主流的數(shù)據(jù)分析語言，其具有代碼量小、豐富的類庫、便捷性強(qiáng)的特點(diǎn)。其中有三大庫Numpy、Pandas、Matplotlib和Seaborn廣為人知。下面是導(dǎo)人這些庫的代碼。

使用餅圖能夠比較直觀地顯示學(xué)生平均每周在實(shí)驗(yàn)室學(xué)習(xí)的頻率，matplotlib提供了pie函數(shù)，我們可以給pie -些參數(shù)，使它能夠清晰地顯示我們的信息。

2.2.2數(shù)據(jù)挖掘技術(shù)[11][12]

數(shù)據(jù)挖掘是從大量可能不完整的數(shù)據(jù)或者隨機(jī)的數(shù)據(jù)中獲取有用知識的過程。現(xiàn)在Fayyad等人設(shè)計(jì)的多階段模型被大家廣為認(rèn)可。從原始雜亂無章的數(shù)據(jù)經(jīng)過數(shù)據(jù)初步選擇成為任務(wù)數(shù)據(jù)，然后經(jīng)過數(shù)據(jù)處理成為已經(jīng)進(jìn)化的數(shù)據(jù)，再將數(shù)據(jù)轉(zhuǎn)換成事物數(shù)據(jù)，從事物數(shù)據(jù)中提取出我們需要的模式，最后經(jīng)過分析評估得到我們具有價(jià)值的知識。

分析學(xué)生在做實(shí)驗(yàn)的時(shí)候產(chǎn)生的問題。在實(shí)驗(yàn)過程中，學(xué)生可能會遇到棘手的問題，在系統(tǒng)中學(xué)生可以記錄下問題。在教師端可以查看到學(xué)生的問題所在，有效的改善學(xué)生遇到難題就退縮的習(xí)慣。每學(xué)期結(jié)束之后，系統(tǒng)將會統(tǒng)計(jì)全班學(xué)生遇到的難題分布表，有利于教師在傳授知識時(shí)具有一定的針對性。

實(shí)驗(yàn)室每天都會產(chǎn)生大量的數(shù)據(jù)，實(shí)驗(yàn)室人員流通情況，實(shí)驗(yàn)設(shè)備流通情況，實(shí)驗(yàn)時(shí)間，實(shí)驗(yàn)人員信息等等[13]。將實(shí)驗(yàn)數(shù)據(jù)分類然后進(jìn)行實(shí)體之間的關(guān)聯(lián)，運(yùn)用統(tǒng)計(jì)分析的方法來探討實(shí)驗(yàn)設(shè)備的使用情況、實(shí)驗(yàn)人員的任務(wù)完成情況等。結(jié)果將會對實(shí)驗(yàn)室管理人員采購實(shí)驗(yàn)設(shè)備以及分析學(xué)生的學(xué)習(xí)情況提供依據(jù)。

3 大數(shù)據(jù)在實(shí)驗(yàn)室管理系統(tǒng)中面臨的挑戰(zhàn)

隨著時(shí)代技術(shù)的發(fā)展，信息世界將會產(chǎn)生越來越多的數(shù)據(jù)，如何建立有效的數(shù)據(jù)存儲模型成為一大難題。隨著智能終端應(yīng)用的多樣化，挖掘信息世界的有效數(shù)據(jù)成為一個(gè)挑戰(zhàn)，數(shù)據(jù)挖掘算法還需要進(jìn)一步改進(jìn)。在個(gè)人信息如此寶貴的時(shí)代，保護(hù)好用戶的個(gè)人隱私又是一個(gè)及其重要的挑戰(zhàn)。

4 結(jié)論

本文從大數(shù)據(jù)的特征和概念開始介紹，隨后分析了一些常見的大數(shù)據(jù)架構(gòu)，明確闡述了大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室管理系統(tǒng)中應(yīng)用的可行性。之后探究大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室管理系統(tǒng)中的應(yīng)用，主要體現(xiàn)在數(shù)據(jù)挖掘方面。最后分析了大數(shù)據(jù)在未來的實(shí)驗(yàn)室管理系統(tǒng)中的機(jī)遇，希望越來越多的學(xué)者能夠參與到實(shí)驗(yàn)室管理系統(tǒng)的研究。

參考文獻(xiàn)：

[1]程學(xué)旗，靳小龍，王元卓，等.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[Jl.軟件學(xué)報(bào)，2014.25（9）：1889-1908.

[2]呂登龍，朱詩兵，大數(shù)據(jù)及其體系架構(gòu)與關(guān)鍵技術(shù)綜述[J].裝備學(xué)院學(xué)報(bào)，2017，28（1）：86-96.

[3]陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[Jl.系統(tǒng)仿真學(xué)報(bào)，2013，25（S1）：142-146.

[4]陶禮亮.基于云計(jì)算的Bl處理技術(shù)研究[Dl.長春：吉林大學(xué)，2013.

[5]惠瑜，商業(yè)智能關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[Dl.成都：電子科技大學(xué)，2008.

[6]王妙瓊，馬鵬瑋，魏凱，等.工業(yè)大數(shù)據(jù)架構(gòu)分析[J].信息通信技術(shù)，2018，12（3）：49-57.

[7]羅琦芳.一種基于Lambda架構(gòu)的電信數(shù)據(jù)平臺解決方案[J].電子技術(shù)與軟件工程，2017（11）：182.

[8]雅娟.實(shí)驗(yàn)室管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].長春：吉林大學(xué)， 2016.

[9]杜朋，基于“互聯(lián)網(wǎng)+”的高校開放實(shí)驗(yàn)室管理系統(tǒng)研究[D].淮南：安徽理工大學(xué)，2018.

[10]李俊華.基于Python的數(shù)據(jù)分析[Jl-電子技術(shù)與軟件工程，2018（17）：167.

[11]馬永杰，云文霞.遺傳算法研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2012，29（4）：1201-1206+1210.

[12]李成，楊淑媛，劉芳，等，神經(jīng)網(wǎng)絡(luò)七十年：回顧與展望[Jl_計(jì)算機(jī)學(xué)報(bào)，2016，39（8）：1697-1716.

[13]石軍，數(shù)據(jù)挖掘在高校圖書館的應(yīng)用[J].江西圖書館學(xué)刊，2005（3）：94-96.

【通聯(lián)編輯：張薇】

基金項(xiàng)目：安徽省大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目：基于大數(shù)據(jù)的高校實(shí)驗(yàn)室管理系統(tǒng)的應(yīng)用研究（編號：201810371022）;阜陽師范大學(xué)一阜陽市政府橫向合作項(xiàng)目：阜陽市“平安城市”項(xiàng)目監(jiān)控設(shè)備故障智能診斷系統(tǒng)的開發(fā)與應(yīng)用（編號：XDHX201732）

作者簡介：晁妍（1986-），女，青海人，碩士，講師，研究方向：信息安全、數(shù)字圖像處理;陳文龍（1998-），男，安徽人，本科，研究方向：大數(shù)據(jù)、計(jì)算機(jī)應(yīng)用;王浩（1976-），男，安徽人，碩士，副教授，研究方向：數(shù)據(jù)挖掘、信息處理。