張君君

摘 要：在大數(shù)據(jù)時代，數(shù)據(jù)應用的價值逐漸受到了人們的重視，通過大數(shù)據(jù)技術的發(fā)展，在高校教學資源中應發(fā)揮了重要的作用。建設大數(shù)據(jù)技術實驗室可以實現(xiàn)更多的功能，使教學需求得到滿足，同時提升了實驗室的水平。

關鍵詞：大數(shù)據(jù)技術;實驗室;建設;管理

引言

隨著科技的快速發(fā)展，數(shù)據(jù)量也大幅度增長，在這種趨勢下，大數(shù)據(jù)技術得到了進一步發(fā)展，各個高校在開展教學的同時，也對大數(shù)據(jù)技術人才培養(yǎng)采取了有效的措施，通過大數(shù)據(jù)技術的有效應用，可以為教學提供更多的資源。但是由于高校中缺少完善的實驗基地，難以滿足實際的需求，應通過大數(shù)據(jù)技術對實驗室進行改善，提升實驗室的建設水平，使實驗室能夠在高校中發(fā)揮出更好的作用。

1大數(shù)據(jù)技術概述

1.1 大數(shù)據(jù)技術的基本含義

大數(shù)據(jù)作為一種信息化特點的資源，具有較多的應用價值，數(shù)據(jù)的獲得有著真實性特點，難以通過其他的方式模擬出來，需要使用設備來獲取。大數(shù)據(jù)技術能夠?qū)?shù)據(jù)進行收集和處理，使數(shù)據(jù)得到全面的分析，并且能夠進行大量的數(shù)據(jù)處理。大數(shù)據(jù)本身具有復雜性的特點，在處理的過程中對技術有著較高的要求。大數(shù)據(jù)技術的內(nèi)涵是通過對數(shù)據(jù)中包含的特點進行分析來建立相應的模型，并且通過模型的分析和預測來實現(xiàn)數(shù)據(jù)的應用。在這個階段之中，對不同行業(yè)進行預測評價，結(jié)合情況提出建議，使行業(yè)能夠順利的發(fā)展。目前的大數(shù)據(jù)技術在發(fā)展中包括計算分析以及數(shù)據(jù)存儲兩方面內(nèi)容，同時在應用中也體現(xiàn)了良好的效果。

1.2高校大數(shù)據(jù)技術實驗室建設的重要性

大數(shù)據(jù)技術在現(xiàn)代社會中屬于一種的新技術，高校發(fā)展過程中對這項技術非常重視，在技術應用中通過建立實驗室來創(chuàng)造更好的科研發(fā)展平臺，使高校的資源更加的完善，進一步的提升了高校的技術設施水平。建立實驗室可以為教師和學生帶來更多的資源，幫助他們完成教學和學習任務，并且提升實踐能力，使大數(shù)據(jù)技術的發(fā)展中有更加完整的基礎條件，同時促進了我國高校的人才培養(yǎng)發(fā)展，為大數(shù)據(jù)技術的改善帶來有效的幫助，對技術的整體發(fā)展有著重要的作用。

2大數(shù)據(jù)技術實驗室建設和管理

2.1大數(shù)據(jù)技術實驗室硬件設施和軟件設施的建設

大數(shù)據(jù)技術實驗室的建設應符合實際的需要，在建設中按照相關的規(guī)定進行，結(jié)合大數(shù)據(jù)技術的支持，采油有效的方式對大數(shù)據(jù)實驗室進行完善，使其能夠在應用中發(fā)揮出有效的作用。在當前的發(fā)展趨勢下，大數(shù)據(jù)技術實驗室中的設施中有存儲和數(shù)據(jù)計算中心、終端、可視化模塊。大數(shù)據(jù)技術的數(shù)據(jù)處理計算功能作為重要的內(nèi)容，其中包括了計算資源、虛擬技術和存儲等功能，一般使用的設施包括IBM和HP等。在大數(shù)據(jù)技術應用中需要通過軟件部署的支持，其中的軟件設施有存儲模型管理系統(tǒng)，在建設實驗室的時候，應結(jié)合其他國家的大數(shù)據(jù)技術實驗室建設內(nèi)容進行參考，使實驗室的建設能夠更加的有效，同時也能夠發(fā)揮出大數(shù)據(jù)技術的有效作用，為高校的資源帶來更加豐富的內(nèi)容，這樣可以全面的提升高校的發(fā)展水平和技術設施質(zhì)量。

2.2大數(shù)據(jù)技術實驗室的框架建設

大數(shù)據(jù)實驗室需要配套設施包括：HADOOP 平臺、數(shù)據(jù)庫 MENDB、分布式數(shù)據(jù)倉庫 MPP、分布式文件系統(tǒng) HDFS、分布式計算引擎 MAPREDUCE、LINUX 集群、分布式數(shù)據(jù)庫HBASE。具體目標是建設基于云計算、分布式計算、融合計算，配備高性能計算設備、高速網(wǎng)絡、大容量存儲設備、滿足大數(shù)據(jù)應用軟件性能的需求大數(shù)據(jù)技術實驗室由硬件與軟件設施整合而成的，其中包括應用層、云平臺和虛擬資源層、基礎設施層。在應用層中為教學實驗的實訓管理，云平臺中為提供服務和維護管理的內(nèi)容，虛擬資源層中為計算資源管理，針對使用者進行管理，有使用者的申請以及生產(chǎn)環(huán)境等方面的管理，還可以為使用者帶來相應的系統(tǒng)鏡像服務，將計算資源進行有效的分配?；A設施層為服務器和其他設備內(nèi)容，能夠為用戶的VM管理提供相應的條件，在基礎設施中對服務器進行維護處理，使整體能夠協(xié)調(diào)的運行，滿足使用者的實際需求，達到相應的水平。

2.3大數(shù)據(jù)技術實驗室管理結(jié)構(gòu)的建設

大數(shù)據(jù)技術實驗室的建設平臺中應具備知識資源庫平臺以及協(xié)同開發(fā)服務平臺、協(xié)同開發(fā)桌面云平臺。應建立知識資源庫平臺，將源碼庫完善好，使平臺具有相應的構(gòu)件，能夠發(fā)揮出有效的作用，還需要建設開發(fā)計劃和素材等，使平臺的結(jié)構(gòu)更加完善，同時保證了項目的效率。此外，在高校中，為了實現(xiàn)更好的教學目標，應建設所需要的知識資源案例，使項目的案例內(nèi)容更加的詳細，還包括文檔撰寫的示范等內(nèi)容的案例。在協(xié)同開發(fā)服務平臺中，應將項目的設計以及軟件說明內(nèi)容等都導入到平臺，使平臺能夠具有相應的數(shù)據(jù)信息，在其中說明內(nèi)容應以注冊初始化的文檔形式進行導入，保證說明書的有效信號。開發(fā)桌面平臺建設中需要將桌面計算機中的CPU和硬盤、計算資源等進行部署，再將物理資源信息進行虛擬轉(zhuǎn)化處理，結(jié)合使用者的要求，對使用者提供相應的虛擬桌面服務，使用者能夠在實際的應用中得到更加全面高效的服務。

2.4 Spark技術大數(shù)據(jù)實驗室的建設

Spark大數(shù)據(jù)實驗室的建設作為其中一種內(nèi)容，這種實驗室在實際的產(chǎn)生中將Open Stack平臺作為基礎，這種技術能夠起到虛擬機管理的功能，在應用中可以建立虛擬機，將其掛起或者重啟等，通過對虛擬機的控制發(fā)揮作用。在這種實驗室中，一般為集群平臺，包括至少六臺的虛擬機，其中工作節(jié)點中包括4臺虛擬機裝置，其與還有一臺為主節(jié)點、一臺為主備份節(jié)點，這些虛擬機裝置在其中形成了服務器集群，使實驗室的服務器集群能夠達到要求?？梢赃m當?shù)奶砑觝adoop2.X配置，使部署的結(jié)構(gòu)和Spark中的結(jié)構(gòu)達到相同的要求，同時作為Spark on yarn模式環(huán)境，使集群能夠在運行中提供不同的模式，發(fā)揮了有效的作用，提供了相應的功能。在這種基礎上，Spark大數(shù)據(jù)實驗室中包含了輕配置的特點同時易于進行擴展，還可以實現(xiàn)資源需求，使實驗室整體能夠符合高校教學的要求，在實際使用中帶來良好的條件，并且使教學中的實踐活動順利的實現(xiàn)。

2.5大數(shù)據(jù)教學資源平臺建設

在大數(shù)據(jù)實驗室中，為了使實驗人員能夠更好的掌握運用大數(shù)據(jù)專業(yè)技術，具有相應的時間能力，對大數(shù)據(jù)分析和應用有更加全面的了解，使人員對數(shù)據(jù)的分析以及收集、使用等相關原理進一步明確，并且能夠?qū)ο到y(tǒng)進行研究開發(fā)。需要具有相應的知識基礎，包括數(shù)據(jù)分析。挖掘、編程、機器學習等內(nèi)容，將自身的能力提升，對大數(shù)據(jù)技術有更多的認識，并且在實驗室的模擬環(huán)境中，對實際的問題進行解決，采用自己所掌握的知識將技術完善，提升技術市場的競爭力水平。

結(jié)語

大數(shù)據(jù)技術作為社會發(fā)展的重要內(nèi)容，在社會各個行業(yè)發(fā)展中具有重要的意義，通過大數(shù)據(jù)技術的應用，可以為行業(yè)帶來更好的技術條件。在高校的教學中，使用大數(shù)據(jù)技術建立實驗室，使教學中的資源更加的豐富，并且滿足當前教學的發(fā)展要求。在大數(shù)據(jù)實驗室建設管理中，應合理的完善技術內(nèi)容，使實驗室的建設能夠發(fā)揮良好的作用。

參考文獻：

[1]都娟，李納.基于應用型高校的大數(shù)據(jù)實驗室建設探究[J].時代農(nóng)機，2018，（10）：158.

[2]哈里白.淺談大數(shù)據(jù)技術在高職實驗室的應用[J].科教導刊-電子版（下旬），2018，（9）：134.

[3]秦樂樂，黃濤，劉暢.基于物聯(lián)網(wǎng)技術的高校智慧實驗室架構(gòu)[J].河北工業(yè)科技，2018，35（6）：400-405.

[4]蔡宇.基于應用型高校的大數(shù)據(jù)實驗室建設研究[J].電腦知識與技術，2018，14（17）：1-2.