魯世清,劉浩男,王磊,郭洪亮,康建華
數(shù)據(jù)科學(xué)環(huán)境搭建實(shí)驗(yàn)管理平臺(tái)設(shè)計(jì)
魯世清,劉浩男,王磊,郭洪亮,康建華
(天津仁愛學(xué)院 智算工程學(xué)院,天津 301636)
智慧實(shí)驗(yàn)室是智慧校園建設(shè)的重要組成部分,是解決當(dāng)前高校因?qū)嶒?yàn)設(shè)備更新快,設(shè)備使用率高而帶來的管理難度加大、管理人員緊缺的主要途徑。結(jié)合本校招生規(guī)模擴(kuò)大,實(shí)驗(yàn)設(shè)備種類繁多、數(shù)量龐大,實(shí)驗(yàn)室使用率高、實(shí)驗(yàn)室管理人員不足的實(shí)際情況,搭載智慧校園建設(shè)的快車,利用大數(shù)據(jù)技術(shù),從基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、設(shè)計(jì)數(shù)據(jù)三個(gè)層面對(duì)高校實(shí)驗(yàn)室開展數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、挖掘和加載等工作。以此為數(shù)據(jù)輸入端,基于客戶機(jī)/服務(wù)器模式分布式存儲(chǔ)服務(wù),對(duì)平臺(tái)底層存儲(chǔ)設(shè)備進(jìn)行統(tǒng)一的管理,設(shè)計(jì)面向?qū)嶒?yàn)室資產(chǎn)管理、運(yùn)維管理、教學(xué)管理、實(shí)驗(yàn)管理等全要素的智慧實(shí)驗(yàn)管理平臺(tái),技術(shù)實(shí)現(xiàn)阿里云服務(wù)器API短信接口,設(shè)置短信簽名與短信模板實(shí)現(xiàn)實(shí)驗(yàn)室資產(chǎn)的全生命期管理和對(duì)實(shí)驗(yàn)教學(xué)資源的科學(xué)調(diào)配。
數(shù)據(jù)科學(xué);實(shí)踐應(yīng)用;實(shí)驗(yàn)管理平臺(tái)
高校計(jì)算機(jī)教學(xué)在信創(chuàng)行業(yè)的引領(lǐng)下,逐步適應(yīng)信息化技術(shù)的快速發(fā)展,行業(yè)對(duì)高校畢業(yè)人才培養(yǎng)提出的需求,高質(zhì)量的應(yīng)用型人才需求量日益增大。計(jì)算機(jī)類實(shí)驗(yàn)室是學(xué)生開展應(yīng)用型培養(yǎng)人才的主要場(chǎng)所,是高校有效開展實(shí)踐教學(xué)的重要實(shí)訓(xùn)場(chǎng)景,是高質(zhì)量培養(yǎng)應(yīng)用型人才的關(guān)鍵環(huán)節(jié)。為順應(yīng)信息化社會(huì)發(fā)展趨勢(shì),培養(yǎng)符合企業(yè)、行業(yè)和社會(huì)需求的應(yīng)用型人才,高校在不斷更新教學(xué)體系,梳理新的教學(xué)理念,改進(jìn)教學(xué)方法,提升教學(xué)質(zhì)量的同時(shí),還大力投入實(shí)驗(yàn)室建設(shè),搭建與之配套的軟硬件實(shí)驗(yàn)室。以高?,F(xiàn)有實(shí)驗(yàn)室大數(shù)據(jù)為基礎(chǔ),構(gòu)建可全過程監(jiān)督教學(xué)動(dòng)態(tài)、可隨時(shí)反饋學(xué)習(xí)效果、可循環(huán)優(yōu)化的、真正意義上開放共享的高校實(shí)驗(yàn)室管理平臺(tái),推進(jìn)其在實(shí)驗(yàn)教學(xué)中的有效應(yīng)用,在高校實(shí)驗(yàn)室建設(shè)過程中尤為重要[1]。
數(shù)據(jù)科學(xué)領(lǐng)域包含所有與結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)相關(guān)的教學(xué)內(nèi)容,主要從數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)清理、數(shù)據(jù)篩選、數(shù)據(jù)分析等角度展開。本文以數(shù)據(jù)科學(xué)環(huán)境下高校實(shí)驗(yàn)室大數(shù)據(jù)為研究對(duì)象,以數(shù)學(xué)、統(tǒng)計(jì)學(xué)為理論基礎(chǔ),協(xié)同數(shù)據(jù)抽取轉(zhuǎn)換加載技術(shù)、聯(lián)機(jī)分析處理技術(shù)、數(shù)據(jù)挖掘技術(shù)、數(shù)據(jù)清理技術(shù)、數(shù)據(jù)存儲(chǔ)與管理技術(shù)等大數(shù)據(jù)技術(shù)的支持,開展數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、數(shù)據(jù)建模等活動(dòng)[2],以此為輸入構(gòu)建開放共享、循環(huán)交互的高校實(shí)驗(yàn)室管理平臺(tái)。
隨著高校信息化建設(shè)的不斷深入和移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展,高校實(shí)驗(yàn)室管理系統(tǒng)整合資產(chǎn)管理、教學(xué)活動(dòng)資源、人才培養(yǎng)規(guī)劃、評(píng)價(jià)反饋等各個(gè)環(huán)節(jié)均產(chǎn)生大量數(shù)據(jù)。在數(shù)字時(shí)代,“數(shù)據(jù)即是資產(chǎn)”的觀點(diǎn)已經(jīng)深入人心。但是在實(shí)際應(yīng)用中,需建立科學(xué)有效的高校實(shí)驗(yàn)室數(shù)據(jù)資產(chǎn)管理平臺(tái),降低管理成本,提高管理效率,發(fā)揮實(shí)驗(yàn)室管理的價(jià)值[3]。
目前,高校實(shí)驗(yàn)室管理所面臨的問題主要有以下三個(gè)方面:①數(shù)據(jù)多源融合。從管理層面來說,實(shí)驗(yàn)教學(xué)資源體量龐大,實(shí)驗(yàn)室種類多且復(fù)雜,實(shí)驗(yàn)器材設(shè)備繁多,實(shí)驗(yàn)數(shù)據(jù)來源豐富,數(shù)據(jù)格式多樣化,統(tǒng)一管理比較困難,管理效率低。②數(shù)據(jù)類型異構(gòu)。從實(shí)驗(yàn)室用戶層面來說,各學(xué)科之間相對(duì)獨(dú)立,多種結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)并存,實(shí)驗(yàn)教學(xué)學(xué)科融合度低,數(shù)據(jù)孤島現(xiàn)象嚴(yán)重。③數(shù)據(jù)具有時(shí)效性和周期性。從實(shí)驗(yàn)室數(shù)據(jù)層面來說,實(shí)驗(yàn)教學(xué)數(shù)據(jù)是依據(jù)教學(xué)計(jì)劃產(chǎn)生的,實(shí)驗(yàn)室數(shù)據(jù)逐年累積,數(shù)據(jù)重復(fù)性高,集成度低,連接性差,缺乏有效的科學(xué)管理,數(shù)據(jù)利用度低[4]。
在大量的實(shí)驗(yàn)教學(xué)數(shù)據(jù)和實(shí)驗(yàn)室管理數(shù)據(jù)中篩選出有用的數(shù)據(jù),讓數(shù)據(jù)資源真正轉(zhuǎn)化成數(shù)據(jù)資產(chǎn)是業(yè)界關(guān)注的核心和重點(diǎn),數(shù)據(jù)治理技術(shù)應(yīng)運(yùn)而生。數(shù)據(jù)治理是指對(duì)數(shù)據(jù)組成的資產(chǎn)進(jìn)行使用和管理,是讓數(shù)據(jù)資源轉(zhuǎn)變成數(shù)據(jù)資產(chǎn)最有效的手段[5]。
高校實(shí)驗(yàn)室數(shù)據(jù)治理過程涉及資產(chǎn)管理、運(yùn)維管理、教學(xué)管理等多方面數(shù)據(jù),借助ETL、數(shù)據(jù)挖掘、聯(lián)機(jī)分析處理等多種大數(shù)據(jù)技術(shù),按照數(shù)據(jù)治理評(píng)估、標(biāo)準(zhǔn)數(shù)據(jù)體系建設(shè)、數(shù)據(jù)分布與整合設(shè)計(jì)三個(gè)步驟,從基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、設(shè)計(jì)數(shù)據(jù)三個(gè)層面展開實(shí)驗(yàn)室數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換、挖掘和加載工作,形成RDBMS,以此作為高校實(shí)驗(yàn)管理平臺(tái)的數(shù)據(jù)輸入端。其治理框架如圖1所示。
圖1 高校實(shí)驗(yàn)數(shù)據(jù)治理框架
1.3.1 數(shù)據(jù)治理評(píng)估
數(shù)據(jù)治理評(píng)估主要發(fā)生在基礎(chǔ)數(shù)據(jù)層,是數(shù)據(jù)治理的底層設(shè)計(jì),其任務(wù)是通過資料收集、調(diào)查問卷、調(diào)研訪談、數(shù)據(jù)篩選等方式對(duì)高校實(shí)驗(yàn)室軟、硬件資源和數(shù)據(jù)資源使用現(xiàn)狀進(jìn)行調(diào)查,了解其管理模式、組織架構(gòu)、數(shù)據(jù)質(zhì)量等;從運(yùn)維管理部門獲取實(shí)驗(yàn)室管理制度、運(yùn)行網(wǎng)絡(luò)、維修維護(hù)與安全保障機(jī)制等數(shù)據(jù);與教務(wù)管理系統(tǒng)對(duì)接,獲取教學(xué)和實(shí)驗(yàn)教學(xué)管理過程中的相關(guān)數(shù)據(jù);與實(shí)驗(yàn)實(shí)踐教學(xué)活動(dòng)主體關(guān)聯(lián),獲取高校實(shí)驗(yàn)室管理數(shù)據(jù)以及運(yùn)行數(shù)據(jù);利用ETL技術(shù)將分布數(shù)據(jù)、異構(gòu)數(shù)據(jù)源中相應(yīng)文件抽取后,實(shí)現(xiàn)數(shù)據(jù)的清洗、標(biāo)引、轉(zhuǎn)換,形成有標(biāo)注的數(shù)據(jù)挖掘和聯(lián)機(jī)分析處理的數(shù)據(jù)分析實(shí)踐。
1.3.2 標(biāo)準(zhǔn)數(shù)據(jù)體系建設(shè)
標(biāo)準(zhǔn)數(shù)據(jù)體系建設(shè)在業(yè)務(wù)數(shù)據(jù)層實(shí)現(xiàn),其實(shí)質(zhì)就是數(shù)據(jù)挖掘的過程。首先,對(duì)數(shù)據(jù)治理評(píng)估系統(tǒng)中取得的基礎(chǔ)數(shù)據(jù)進(jìn)行規(guī)范化處理,制定統(tǒng)一接口標(biāo)準(zhǔn),規(guī)范問題數(shù)據(jù),人工解決如數(shù)據(jù)缺失、數(shù)據(jù)不一致等情況。然后對(duì)基礎(chǔ)數(shù)據(jù)層產(chǎn)生的資產(chǎn)數(shù)據(jù)、運(yùn)維數(shù)據(jù)、教學(xué)數(shù)據(jù)和實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分類、聚類和歸檔,制作數(shù)據(jù)標(biāo)簽,確定各類數(shù)據(jù)的存儲(chǔ)格式、倉儲(chǔ)類型、組織方式等。最后,根據(jù)數(shù)據(jù)源之間的關(guān)聯(lián)關(guān)系和關(guān)聯(lián)規(guī)則,選擇數(shù)據(jù)挖掘工具或數(shù)據(jù)庫工具,如利用KNIME完成常規(guī)的數(shù)據(jù)分析、利用SPSS進(jìn)行文本分析、利用Orange進(jìn)行可視化數(shù)據(jù)分析等,編寫算法開展數(shù)據(jù)挖掘,制定符合本校實(shí)驗(yàn)室管理特點(diǎn)的組織架構(gòu)和標(biāo)準(zhǔn)數(shù)據(jù)體系,促進(jìn)數(shù)據(jù)從數(shù)據(jù)源轉(zhuǎn)化目標(biāo)數(shù)據(jù)倉庫,實(shí)現(xiàn)數(shù)據(jù)倉儲(chǔ),按照統(tǒng)一的標(biāo)準(zhǔn)與規(guī)則集成和共享數(shù)據(jù)。
1.3.3 數(shù)據(jù)分布與整合設(shè)計(jì)
分布式設(shè)計(jì)的主要任務(wù)是明確這些數(shù)據(jù)源在數(shù)據(jù)倉儲(chǔ)系統(tǒng)中的位置,以及其在系統(tǒng)中與其他數(shù)據(jù)源之間是如何關(guān)聯(lián)的,解決數(shù)據(jù)源的執(zhí)行列和表的級(jí)別、主-外鍵的關(guān)系、數(shù)據(jù)查詢模式、數(shù)據(jù)源之間的關(guān)系及如何轉(zhuǎn)換等;數(shù)據(jù)整合設(shè)計(jì)的主要任務(wù)是利用多種分析方法如聯(lián)機(jī)分析處理(OLAP),從分布在業(yè)務(wù)數(shù)據(jù)層各模塊中將數(shù)據(jù)提取出來,經(jīng)過必要的處理采用新的并行處理結(jié)構(gòu)、新的數(shù)據(jù)組織,利用查詢策略和索引技術(shù),轉(zhuǎn)換統(tǒng)一模式的數(shù)據(jù),整合標(biāo)準(zhǔn)數(shù)據(jù)體系中的數(shù)據(jù)源之間的邏輯關(guān)系,明確各基礎(chǔ)架構(gòu)模塊如何滿足實(shí)驗(yàn)室管理和實(shí)踐教學(xué)等業(yè)務(wù)需要,促進(jìn)數(shù)據(jù)治理成果向?qū)嶒?yàn)室管理平臺(tái)轉(zhuǎn)換固化和落地。
數(shù)據(jù)治理的最終目的是形成數(shù)據(jù)資產(chǎn),構(gòu)建數(shù)據(jù)倉儲(chǔ),以此為產(chǎn)出端,設(shè)計(jì)高校實(shí)驗(yàn)室管理平臺(tái),固化實(shí)驗(yàn)室數(shù)據(jù)資產(chǎn)。本文以數(shù)據(jù)倉儲(chǔ)為產(chǎn)出,基于客戶機(jī)/服務(wù)器模式,依托智慧校園網(wǎng)絡(luò),以學(xué)校實(shí)驗(yàn)室事物管理和核心業(yè)務(wù)為目的,設(shè)計(jì)智慧實(shí)驗(yàn)室管理平臺(tái)過程如下。
實(shí)驗(yàn)室管理平臺(tái)由四級(jí)用戶組成,即超級(jí)管理員、實(shí)驗(yàn)室管理員、教師用戶和學(xué)生用戶,平臺(tái)業(yè)務(wù)架構(gòu)如圖2所示。
2.1.1 超級(jí)管理員
超級(jí)管理員為校級(jí)實(shí)驗(yàn)中心管理員,主要負(fù)責(zé)學(xué)校實(shí)驗(yàn)室資產(chǎn)管理,包括實(shí)驗(yàn)設(shè)備采購、入庫登記、運(yùn)行保障、安全保障,并對(duì)下一級(jí)實(shí)驗(yàn)室管理員權(quán)限操作等,是智慧實(shí)驗(yàn)室管理平臺(tái)的基礎(chǔ)數(shù)據(jù)。資產(chǎn)管理數(shù)據(jù)包括不動(dòng)型實(shí)驗(yàn)室資產(chǎn)和消耗型實(shí)驗(yàn)室資產(chǎn)。不動(dòng)型實(shí)驗(yàn)室資產(chǎn)如實(shí)驗(yàn)室、桌椅等,資產(chǎn)數(shù)據(jù)相對(duì)固定,可重復(fù)利用率高,采集容易,數(shù)據(jù)獲取和存儲(chǔ)技術(shù)都比較簡單。消耗型實(shí)驗(yàn)室資產(chǎn)隨著實(shí)驗(yàn)教學(xué)需要、學(xué)生人數(shù)等常發(fā)生較大變化,數(shù)據(jù)生命期短,數(shù)據(jù)格式多樣、類型豐富,數(shù)據(jù)獲取與存儲(chǔ)技術(shù)較為復(fù)雜。因此,本文利用回歸、分類和聚集算法,數(shù)據(jù)統(tǒng)計(jì)后展示可視化匯總,創(chuàng)建模型表單,逐漸利用現(xiàn)有數(shù)據(jù)構(gòu)建無監(jiān)督模型和監(jiān)督模型,以圖形方式呈現(xiàn)模型性能,并對(duì)新數(shù)據(jù)集進(jìn)行評(píng)分,以提高管理能力。
圖2 平臺(tái)業(yè)務(wù)架構(gòu)
2.1.2 實(shí)驗(yàn)室管理員
實(shí)驗(yàn)室管理員由兩級(jí)單位實(shí)驗(yàn)室管理員組成,負(fù)責(zé)本部門實(shí)驗(yàn)室基礎(chǔ)信息的后臺(tái)管理、實(shí)驗(yàn)課程管理、學(xué)生自主實(shí)驗(yàn)開放預(yù)約管理以及實(shí)驗(yàn)環(huán)境維護(hù)等工作。向上,對(duì)接教務(wù)系統(tǒng),為本部門實(shí)驗(yàn)教師安排實(shí)驗(yàn)課程表,根據(jù)教師實(shí)驗(yàn)課程需要?jiǎng)討B(tài)調(diào)配和使用實(shí)驗(yàn)室,向下,審核教師和學(xué)生的自主預(yù)約,獲取動(dòng)態(tài)的預(yù)約數(shù)據(jù),為預(yù)約師生做好實(shí)驗(yàn)準(zhǔn)備。由于實(shí)驗(yàn)室環(huán)境較為復(fù)雜,各學(xué)科實(shí)驗(yàn)相對(duì)獨(dú)立,實(shí)驗(yàn)參與者呈動(dòng)態(tài)變化狀態(tài),加之實(shí)驗(yàn)室數(shù)據(jù)類型異構(gòu),多且復(fù)雜,數(shù)據(jù)連接性差,所以數(shù)據(jù)獲取與存儲(chǔ)難度都比較大,本文利用多種數(shù)據(jù)挖掘工具完成自動(dòng)化處理、強(qiáng)化算法、建模、數(shù)據(jù)可視化和勘探等工作。
2.1.3 教師用戶
教師用戶通過在可視化操作界面輸入用戶名和密碼登錄平臺(tái),向上鏈接實(shí)驗(yàn)室管理員,按照實(shí)驗(yàn)課表開展教學(xué),并依據(jù)課程計(jì)劃安排自主預(yù)約實(shí)驗(yàn)室包括實(shí)驗(yàn)室使用時(shí)間、地點(diǎn)、所需要的實(shí)驗(yàn)設(shè)備等,當(dāng)預(yù)約時(shí)間有變化時(shí),取消或修改預(yù)約;向下鏈接學(xué)生用戶,課前發(fā)布實(shí)驗(yàn)任務(wù),上傳預(yù)習(xí)資料包括課件、視頻、預(yù)習(xí)報(bào)告等,并在答疑區(qū)解答學(xué)生預(yù)習(xí)過程中遇到的難題,確保實(shí)驗(yàn)課有序展開。課后開展實(shí)驗(yàn)報(bào)告查重,批改實(shí)驗(yàn)報(bào)告,成績統(tǒng)計(jì)分析,并對(duì)學(xué)生發(fā)送必要的反饋信息。
2.1.4 學(xué)生用戶
學(xué)生用戶與教師用戶一樣,基于校園網(wǎng)絡(luò),通過手機(jī)、電腦等終端登錄平臺(tái),根據(jù)需要進(jìn)行有效處理,進(jìn)行可交互與可視化數(shù)據(jù)存儲(chǔ)。課前接收教師發(fā)布的實(shí)驗(yàn)任務(wù)進(jìn)行預(yù)習(xí),如自主觀看課件、微課、視頻等學(xué)習(xí)資源;課后查看個(gè)人實(shí)驗(yàn)操作情況,包括平臺(tái)反饋數(shù)據(jù)和教師評(píng)價(jià)等數(shù)據(jù),還可以根據(jù)個(gè)人學(xué)習(xí)需要,直接鏈接實(shí)驗(yàn)室管理員用戶,預(yù)約開放實(shí)驗(yàn)室,開展自主實(shí)驗(yàn)。
平臺(tái)運(yùn)行中積累大量的影像數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù),含資產(chǎn)數(shù)據(jù)、課程數(shù)據(jù)、教師信息、學(xué)生信息、實(shí)驗(yàn)數(shù)據(jù)等。本文以實(shí)驗(yàn)室基礎(chǔ)設(shè)施和校園網(wǎng)為依托,由校實(shí)驗(yàn)中心為責(zé)任主體部門,管理員用戶負(fù)責(zé)對(duì)平臺(tái)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析,分析結(jié)果導(dǎo)入數(shù)據(jù)決策系統(tǒng)中,根據(jù)客戶需求進(jìn)行有效的數(shù)據(jù)處理。平臺(tái)的技術(shù)架構(gòu)如圖3所示。
2.2.1 平臺(tái)搭建
平臺(tái)基于客戶機(jī)/服務(wù)器模式開發(fā),采用國產(chǎn)高斯數(shù)據(jù)庫和Unix操作系統(tǒng),部署并行服務(wù)器引入bootstrap和WebStorm開發(fā)CSS/HTML框架,方便定制自己的框架代碼構(gòu)建前端;基于阿里云服務(wù)器、視頻敏感信息檢測(cè)、騰訊短信系統(tǒng)、智能識(shí)別Python語言構(gòu)建實(shí)驗(yàn)報(bào)告查重系統(tǒng),實(shí)現(xiàn)大數(shù)據(jù)分析及機(jī)器學(xué)習(xí)功能,實(shí)時(shí)追蹤數(shù)據(jù)科學(xué)技術(shù)引入到平臺(tái)之中[6]。
2.2.2 硬件布置
本系統(tǒng)采用星型拓?fù)浣Y(jié)構(gòu)進(jìn)行配置,根據(jù)系統(tǒng)開發(fā)過程中所需服務(wù)器功能,將服務(wù)端劃分為影像、移動(dòng)信息、數(shù)據(jù)庫、管理、應(yīng)用程序的服務(wù)器。教師用戶終端和學(xué)生用戶終端為普通可接入校園網(wǎng)絡(luò)的PC終端,移動(dòng)終端采用可接入4G或5G信號(hào)的可移動(dòng)設(shè)備。
圖3 平臺(tái)技術(shù)架構(gòu)圖
數(shù)據(jù)庫服務(wù)器采用2臺(tái)16核CPU,64G內(nèi)存2TB硬盤。超級(jí)管理員終端和管理員終端運(yùn)行在應(yīng)用程序服務(wù)器上,通過Web服務(wù)器將管理員數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫服務(wù)器上。影像數(shù)據(jù)和移動(dòng)數(shù)據(jù)分別存儲(chǔ)在影像服務(wù)器和移動(dòng)信息服務(wù)器上,服務(wù)器基本配置為8核32G內(nèi)存1TB硬盤1臺(tái)。
由于平臺(tái)基于阿里云服務(wù)器,短信系統(tǒng)可直接借助阿里云API短信接口實(shí)現(xiàn)。在阿里云開通短信服務(wù)后設(shè)置短信簽名與短信模板,獲取ACCESS_KEY_ID與ACCESS_KEY_SECRET,完成阿里云短信接口,測(cè)試的準(zhǔn)備工作項(xiàng)目pom.xml文件中添加阿里云短信接口依賴核心代碼如圖4所示。
圖4 短信技術(shù)實(shí)現(xiàn)部分代碼展示圖
從阿里云官方API文檔中下載Demo數(shù)據(jù),經(jīng)過修改后可以進(jìn)行測(cè)試,如圖4所示圖中ACCESS_KEY_ID、ACCESS_KEY_SECRET、電話號(hào)碼、短信簽名和短信模板均使用“*”代替,實(shí)際使用中根據(jù)申請(qǐng)的KEY及號(hào)碼等替換即可。修改相應(yīng)位置,運(yùn)行main函數(shù)獲取驗(yàn)證碼。
圖5中ACCESS_KEY_ID、ACCESS_KEY_SECRET、電話號(hào)碼可自行替換,通過調(diào)用阿里云的短信API接口成功發(fā)送阿里云測(cè)試短信,如圖6所示短信驗(yàn)證碼為“1314”。
網(wǎng)絡(luò)安全設(shè)置訪問控制時(shí),從預(yù)防未授權(quán)訪問與越權(quán)訪問兩個(gè)方面考慮。攻擊者沒有獲取到登錄權(quán)限或未授權(quán),不需要輸入密碼,即可通過輸入網(wǎng)站主頁面地址或者不允許查看的鏈接便于訪問,加入用戶身份認(rèn)證機(jī)制或token驗(yàn)證。采用Java過濾器技術(shù),對(duì)/pages下所有的URL進(jìn)行登錄狀態(tài)檢查,通過session.getAttribute()方法從session中獲取登錄成功時(shí)存入的session中的身份標(biāo)識(shí),判斷客戶端傳遞過來的身份標(biāo)識(shí)是否與session中保存的一致,不一致則跳轉(zhuǎn)到登錄頁面,對(duì)系統(tǒng)的功能點(diǎn)增加權(quán)限控制如圖7所示。
圖6 調(diào)用阿里云短信API接口獲取驗(yàn)證碼實(shí)例圖
圖7 實(shí)現(xiàn) session身份標(biāo)識(shí)部分代碼展示圖
越權(quán)訪問漏洞產(chǎn)生的主要原因是沒有對(duì)用戶的身份做判斷和控制,防護(hù)這種漏洞時(shí),通過session來控制。例如在用戶登錄成功之后,將username或uid寫入到session中,當(dāng)用戶查看個(gè)人信息時(shí),從session中取出username,而不是從GET或POST取username,那么此時(shí)取到username就是沒有被篡改。
服務(wù)端請(qǐng)求偽造SSRF攻擊的目標(biāo)是外網(wǎng)無法訪問的內(nèi)部系統(tǒng),由服務(wù)端發(fā)起請(qǐng)求,為此服務(wù)端能請(qǐng)求到與自身相連而與外網(wǎng)隔離的內(nèi)部系統(tǒng)。經(jīng)過SSRF漏洞代碼分析,在頁面SSRF.php中,程序獲取GET參數(shù)URL,通過curl_init()初始化curl組件后,參數(shù)URL帶入curl_setopt($ch,CURLOPT_URL,$url),然后調(diào)用curl-exec請(qǐng)求該URL。調(diào)整后服務(wù)端會(huì)將banner信息返回客戶端,隨后根據(jù)banner判斷主機(jī)存在的某些服務(wù)。
本文以數(shù)據(jù)科學(xué)環(huán)境為背景,從組織戰(zhàn)略目標(biāo)出發(fā),規(guī)劃、指導(dǎo)和監(jiān)督實(shí)驗(yàn)室建設(shè)和管理,從分析實(shí)驗(yàn)室大數(shù)據(jù)特征入手,建立高校實(shí)驗(yàn)室數(shù)據(jù)治理框架、數(shù)據(jù)倉儲(chǔ),為保護(hù)數(shù)據(jù)庫安全,可以構(gòu)建數(shù)據(jù)庫安全系統(tǒng)修改默認(rèn)數(shù)據(jù)庫密碼,避免出現(xiàn)弱口令撞庫,通過修改配置文件更改數(shù)據(jù)庫默認(rèn)端口,以提高數(shù)據(jù)庫安全性能。以MySQL數(shù)據(jù)庫為例,修改my.ini文件中的port參數(shù)即可;對(duì)數(shù)據(jù)庫數(shù)據(jù)做加密加鹽處理,防止數(shù)據(jù)庫明文信息泄露;為防止SQL注入采用預(yù)編譯語句集,內(nèi)置處理SQL注入的能力,使其setXXX方法傳值即可。使用正則表達(dá)式過濾傳入的參數(shù),針對(duì)SSRF攻擊限制請(qǐng)求的Web端口,只允許訪問HTTP和HTTPS的請(qǐng)求,限制不能訪問內(nèi)網(wǎng)的IP,以防止對(duì)內(nèi)網(wǎng)攻擊,屏蔽返回的詳細(xì)信息。以此為輸入端設(shè)計(jì)并開發(fā)可循環(huán)優(yōu)化、安全、開放共享的高校智慧實(shí)驗(yàn)室管理平臺(tái),以期學(xué)生在實(shí)驗(yàn)教學(xué)過程中,能夠更加全面、直觀地改善現(xiàn)有實(shí)驗(yàn)環(huán)境,提高實(shí)驗(yàn)教學(xué)學(xué)習(xí)效果。
[1] 姜文鳳,張永策,宿艷.“雙一流”建設(shè)中實(shí)驗(yàn)教學(xué)平臺(tái)構(gòu)建及應(yīng)用研究[J]. 實(shí)驗(yàn)技術(shù)與管理,2019, 36(06): 16-20.
[2] 賀文武,劉國買. 數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)核心課程建設(shè)的探索與研究[J]. 教育評(píng)論,2017(11): 31-35.
[3] 胡國強(qiáng),楊彥榮. 智慧教育背景下高校智慧實(shí)驗(yàn)室的構(gòu)建與研究[J]. 實(shí)驗(yàn)技術(shù)與管理,2021, 38(03): 283-287.
[4] 于方,劉延申. 大數(shù)據(jù)畫像——實(shí)現(xiàn)高等教育“依數(shù)治理”的有效路徑[J]. 江蘇高教,2019(03): 50-57.
[5] 謝添德,徐守萍. 大數(shù)據(jù)促實(shí)驗(yàn)教學(xué)智慧管理服務(wù)研究與實(shí)踐[J]. 實(shí)驗(yàn)室研究與探索,2020, 39(06): 138-143, 165.
[6] 孫志敏,王政嘉,周志軍,等. 數(shù)據(jù)決策功能在實(shí)驗(yàn)室管理系統(tǒng)的應(yīng)用研究[J]. 實(shí)驗(yàn)技術(shù)與管理,2019, 36(02): 272-276.
Design of management platform in data science environment
LU Shi-qing,LIU Hao-nan,WANG Lei,GUO Hong-liang,KANG Jian-hua
(School of Intelligent Computing Engineering, Tianjin Renai College, Tianjin 301636, China)
Intelligence laboratory is an important part of the construction of smart campus. It is the main way to solve the management difficulty and shortage of management personnel caused by the rapid updating of experimental equipment with high utilization rate of equipment in colleges and universities. With the fact that the enrollment scale of our university has increased, the experimental equipment number is various and large , the laboratory utilization rate is high, and the laboratory management personnel are insufficient, with the express of smart campus construction is carried out, this paper uses big data technology , from three levels of basic data, business data and design data, to carry out data extraction, cleaning, conversion, mining and loading of university laboratories from three levels of basic data, business data, and design data, taking this as the data input terminal. As data input, distributed storage service based on client/server mode, the underlying storage equipment for unified management platform, designed for laboratory asset management, operations management, teaching management, laboratory management of the wisdom of the total factor experiment management platform, technical implementation Ali-cloud server API message interface, short message signature and short message template are set to realize the whole life management of laboratory assets and the scientific allocation of experimental teaching resources.
data science;practice application;lab management platform
2022-06-20
2021年教育部產(chǎn)學(xué)研項(xiàng)目“構(gòu)建數(shù)據(jù)科學(xué)實(shí)踐環(huán)境產(chǎn)學(xué)合作培養(yǎng)實(shí)訓(xùn)模式研究”(202102459030);2022年全國高等院校計(jì)算機(jī)基礎(chǔ)教育研究會(huì)計(jì)算機(jī)基礎(chǔ)教育教學(xué)研究項(xiàng)目“基于線上線下混合式‘金課’的《軟件測(cè)試》課程教學(xué)模式創(chuàng)新與應(yīng)用研究”(2022-AFCEC-509)
魯世清(1981-),女,黑龍江鶴崗人,講師,碩士,主要從事基于網(wǎng)絡(luò)的遠(yuǎn)程教學(xué),shuxinfriend@126.com。
TP399
A
1007-984X(2023)01-0059-06