天津卓朗科技發(fā)展有限公司 張亞麗

0.前言

大數(shù)據(jù)是一種信息資產(chǎn)，無法在短時間內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理，經(jīng)過加工提煉后具有更強的決策、洞察力，是信息社會一種可靠的資源。就智慧校園建設而言，其基礎(chǔ)是廣泛分布的物聯(lián)網(wǎng)節(jié)點，而自動化工作的各個系統(tǒng)則需要來自大數(shù)據(jù)的支持，大數(shù)據(jù)處理技術(shù)決定了智慧校園建設的成效。針對大數(shù)據(jù)處理技術(shù)在學生信息、學術(shù)研究等系統(tǒng)建設中的應用進行分析十分必要。

1.學生信息系統(tǒng)建設中的大數(shù)據(jù)處理技術(shù)

1.1 信息收集

學生系統(tǒng)系統(tǒng)建設中，大數(shù)據(jù)處理技術(shù)應用的基礎(chǔ)是廣泛、全面的信息收集，現(xiàn)代校園較傳統(tǒng)校園已經(jīng)明顯不同，學生的數(shù)目更多，校園內(nèi)的信息設施也更加完備，信息收集工作可以借助互聯(lián)網(wǎng)直接進行。校方可以建設一個互聯(lián)網(wǎng)登記平臺，平臺以物聯(lián)網(wǎng)技術(shù)為支持，與學校管理總站實現(xiàn)連接，學生可以登錄該平臺，點擊“信息注冊”模塊，進入該模塊后，創(chuàng)建“doc”后綴文件或者下載學校預制的統(tǒng)一表格，填寫各類必要信息。填寫完成后，利用遠程通信技術(shù)將表格發(fā)送給管理處。所有信息都以相同方式處理，確保當前和以后學生的信息能夠得到廣泛收集，生成大數(shù)據(jù)。

1.2 信息加工與存儲

信息加工取參數(shù)處理法，采用 Hadoop技術(shù)、基于J2EE環(huán)境，在Eclipse集成環(huán)境中完善系統(tǒng)處理方法。如果校園內(nèi)部學生數(shù)目較少，可以簡單分類處理，如果學生數(shù)目較多，大數(shù)據(jù)處理技術(shù)就擁有了應用的空間?？梢圆捎醚呕⒐鹃_源軟件構(gòu)架Hadoop的Map Re-duce技術(shù)進行數(shù)據(jù)加工和存儲，所有的學生信息可以被分為若干大模塊，如年級、民族等等，數(shù)據(jù)在Hadoop中處理的流程可以簡化為：將所有非結(jié)構(gòu)化和半結(jié)構(gòu)化的學生信息輸入到計算機群組中，通過Hadoop對其進行粗加工，Hadoop系統(tǒng)的核心單元是HDFS和Map Re-duce，這兩個模塊可以再粗加工的基礎(chǔ)上進一步進行解析處理，所有的input split都以一個task調(diào)用Map計算，利用計算機群組的高超的計算能力（不低于100億次/秒）對所有task實現(xiàn)逐一計算，在保證每一個input split都有一個單獨的record，最后通過鍵值（key-value）的形式輸出，通過Hadoop的默認處理系統(tǒng)，以鍵值（key-value）為標準實現(xiàn)整理輸出、存儲，保存在HDFS上。

1.3 信息更新

學生信息系統(tǒng)的更新應用默認計算機緩沖技術(shù)實現(xiàn)，在完成了信息加工和存儲后，以年級為標準進行分類，所有學生信息分為若干部分。如大學分為大專部分、本科部分、博士部分、碩士部分，依照學年制原則，設定大數(shù)據(jù)處理的默認技術(shù)，由于大學不同層次的學習存在固定性，學生信息隨著學年變化滾入到二年級、三年級……直到畢業(yè)，達到默認計算機緩沖技術(shù)設定的臨界值，即自動進入緩沖平臺。所有信息數(shù)據(jù)在緩沖平臺暫存1個月，供管理人員進行必要的處理，如果沒有異常情況，1個月后畢業(yè)生信息不再更新，從學生系統(tǒng)系統(tǒng)中消失，新生的信息則按照上述步驟重新收集，進入循環(huán)。

2.學術(shù)研究系統(tǒng)建設中的大數(shù)據(jù)處理技術(shù)

2.1 信息收集

學術(shù)研究系統(tǒng)建設中，大數(shù)據(jù)處理技術(shù)主要針對不同層次、方向的研究課題、成果，在信息收集環(huán)節(jié)，將所有存在研究需要的課題劃分為若干組別，進行海量信息的初步收集。高?？梢越⑾嗨菩运阉髟瓌t進行信息篩選，所謂相似性搜索，是指明確研究的重點內(nèi)容，確立一個關(guān)鍵點，比如“高分子材料”，將其作為關(guān)鍵詞，進入學術(shù)研究的各個平臺中，搜索相關(guān)信息，集中納入系統(tǒng)范圍內(nèi)。在收集環(huán)境，相關(guān)工作主要著眼于資料的廣泛性，要求確保信息齊整、數(shù)目較大。

2.2 信息加工與存儲

與學生信息系統(tǒng)不同，學術(shù)研究系統(tǒng)建設不能簡單應用Hadoop技術(shù)，相關(guān)信息的加工和存儲采取集中管理、分布存儲的基本原則。完成海量信息收集后，首先根據(jù)相似性搜索過程中的“組別”進行分類，將所有信息數(shù)據(jù)納入各自范圍下。如果共建立了10個“組別”，要求至少建立10個對應的信息庫，將初步分類后的數(shù)據(jù)各自存儲到對應的信息庫中，實現(xiàn)第一輪加工[1]。第二輪加工設定默認參數(shù)為資料的級別，如“博士論文”、“碩士論文”等，以不同的學術(shù)級別對資料進行二次加工，并根據(jù)級別數(shù)設置若干分信息庫，完善分布式存儲架構(gòu)。在信息總庫中，要求設計檢索欄，保證資料調(diào)取、查看的效率。智慧校園建設離不開高端信息技術(shù)的支持，高效的數(shù)據(jù)傳輸是學術(shù)研究系統(tǒng)的主要追求之一，也是大數(shù)據(jù)處理技術(shù)得以實現(xiàn)的重點環(huán)節(jié)，校方可以采取無線通信和有線通信相結(jié)合的方式，使大量數(shù)據(jù)可以在短時間內(nèi)快速實現(xiàn)傳輸。

2.3 信息更新

學術(shù)研究系統(tǒng)的信息更新主要依賴大數(shù)據(jù)處理技術(shù)中的“信息匹配”技術(shù)，信息匹配技術(shù)是指以當前信息庫中的信息為基礎(chǔ)，在資源收集中，與其高度類似、核心類似的信息都可以看做是有效信息，要求給予收集和存儲。如“PDCA循環(huán)管理模式的應用”，其核心信息為“PDCA循環(huán)管理模式”，在中外各地高校的研究工作中，該模式被反復論證，生成的數(shù)據(jù)信息也越來越多，智慧校園建設中，學術(shù)研究能力也應確保持續(xù)進步，應用“信息匹配”技術(shù)，可以有效將當前研究的新成果納入到信息庫中，實現(xiàn)信息的高效更新[2]。

3.校園管理系統(tǒng)建設的大數(shù)據(jù)處理技術(shù)

3.1 信息收集

校園管理系統(tǒng)應該是一個半開放的系統(tǒng)，能夠提供基本管理服務，也能夠作為一個信息交流和擴散的平臺，這對其信息收集能力有較高的要求。該理念下，首先要求各地學校明確工作的重點內(nèi)容，將需要展示的核心信息通過拓撲學原理給予系統(tǒng)羅列，之后應用大數(shù)據(jù)處理技術(shù)給出高度結(jié)構(gòu)化的信息。比如2017年度某地高中生升學率，當?shù)毓灿懈咧袑W生15萬名，逐一進行調(diào)查是不現(xiàn)實，應用大數(shù)據(jù)技術(shù)快速收集各學校公布的信息報告，提煉其核心信息，就可以獲取結(jié)構(gòu)化數(shù)據(jù)，工作快速、高效。

3.2 系統(tǒng)設計和工作

校園管理系統(tǒng)牽涉到的信息更多、更復雜，加工和存儲也更需要來自大數(shù)據(jù)處理技術(shù)的支持，可以利用ITIL技術(shù)完善相關(guān)工作。在ITIL技術(shù)下，校園管理系統(tǒng)包括服務平臺和信息平臺兩個大模塊，服務平臺又包括常規(guī)管理平臺和緊急事務平臺兩個部分，設置網(wǎng)絡設備發(fā)現(xiàn)、網(wǎng)絡設備監(jiān)控、管理服務申請、機房環(huán)境監(jiān)控、應用系統(tǒng)監(jiān)控、監(jiān)控預警等等具體工作板塊。所有的系統(tǒng)信息都分布在各個工作板塊中。在大數(shù)據(jù)處理技術(shù)的支持下，所有問題類型、自動化指令都是默認的，可以根據(jù)異常報警，也可以根據(jù)需要直接提供服務。如管理平臺對管理對象進行記錄、分析、接收、處理、完成，并將全過程記錄在信息系統(tǒng)中，生成結(jié)構(gòu)化數(shù)據(jù)，為后續(xù)工作提供幫助[3]。

3.3 信息更新

校園管理系統(tǒng)是一個多項技術(shù)集成的信息化系統(tǒng)，該系統(tǒng)的最大特色是框架穩(wěn)定、內(nèi)容更新。該系統(tǒng)下需要更新的信息內(nèi)容多種多樣，也要求采取分布式存儲方式，將每一個管理項目作為一個信息庫，每個大信息庫下設置若干小信息庫，信息更新在小信息庫下具體進行。為保證信息更新的有效性，采取大數(shù)據(jù)處理技術(shù)中的挖掘技術(shù)，將所有信息庫細化到最小單位，作為更新工作的目標。如智慧圖書館管理系統(tǒng)，可以將所有圖書分為若干類別，在每一個類別下，按年份進一步細分，一直劃分到最小的類別單元（比如作者），學校大規(guī)模購入圖書后，再對新圖書進行數(shù)據(jù)挖掘處理，劃分到最小的類別單元，將新書生成信息數(shù)據(jù)后，歸入到所述的類別中（如果沒有對應類別，可以建立新的信息條目），使信息更新工作細致、完善。

4.總結(jié)

通過分析智慧校園建設中大數(shù)據(jù)處理技術(shù)的應用，獲取了相關(guān)理論成果。大數(shù)據(jù)處理技術(shù)的應用分為四個步驟，即信息的收集、加工、存儲和更新。在智慧校園建設背景下，各個環(huán)節(jié)的工作以數(shù)據(jù)作為基礎(chǔ)，通過互聯(lián)網(wǎng)、物聯(lián)網(wǎng)連接為一個整體，實現(xiàn)信息的快速傳輸，以固定參數(shù)和方式進行海量信息的提煉和分類存儲，信息更新則周期進行，確保智慧校園建設的成果和信息數(shù)據(jù)的即時性。

[1]蔣達央,姚琪.基于大數(shù)據(jù)背景下智慧校園的可視化管理信息系統(tǒng)的研究[J].常州工學院學報,2016,29(01):73-76.

[2]汶向東.大數(shù)據(jù)時代“智慧校園”的應用研究[J].中北大學學報(社會科學版),2015,31(05):62-65.

[3]蔣東興,付小龍,劉啟新.大數(shù)據(jù)背景下的高校智慧校園建設探討[J].華東師范大學學報(自然科學版),2015(S1):119-125+131.