■ 甘肅 段曉東

編者按：為滿(mǎn)足教學(xué)需求，筆者搭建了大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)、開(kāi)發(fā)了大數(shù)據(jù)實(shí)訓(xùn)課程、資源庫(kù)以及題庫(kù)等，幫助教師和學(xué)生順利開(kāi)展線(xiàn)上教學(xué)活動(dòng)。本文筆者從設(shè)計(jì)、運(yùn)行與管理等方面具體介紹了這一建設(shè)方案，供讀者參考。

基于云計(jì)算架構(gòu)建設(shè)實(shí)踐創(chuàng)新型大數(shù)據(jù)實(shí)訓(xùn)室，為高校提供完整的數(shù)據(jù)科學(xué)實(shí)驗(yàn)平臺(tái)，重點(diǎn)建設(shè)專(zhuān)業(yè)教學(xué)資源以及實(shí)訓(xùn)、教學(xué)科研環(huán)境，滿(mǎn)足課程實(shí)驗(yàn)、課程設(shè)計(jì)、實(shí)習(xí)實(shí)訓(xùn)、科研訓(xùn)練等多方面需求，幫助學(xué)生學(xué)習(xí)課程內(nèi)容，提高動(dòng)手能力，激發(fā)學(xué)習(xí)興趣。

建設(shè)內(nèi)容

1.搭建大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)

涵蓋實(shí)訓(xùn)教學(xué)、考試、管理，幫助學(xué)生快速掌握應(yīng)用大數(shù)據(jù)技術(shù)的技能。

2.開(kāi)發(fā)大數(shù)據(jù)實(shí)訓(xùn)課程

結(jié)合大數(shù)據(jù)實(shí)訓(xùn)教學(xué)知識(shí)體系，開(kāi)發(fā)大數(shù)據(jù)實(shí)訓(xùn)課程，充實(shí)教學(xué)實(shí)訓(xùn)平臺(tái)的課程內(nèi)容。

3.開(kāi)發(fā)實(shí)訓(xùn)資源庫(kù)

結(jié)合大數(shù)據(jù)知識(shí)，設(shè)計(jì)開(kāi)發(fā)教學(xué)案例、數(shù)據(jù)和算法。

4.開(kāi)發(fā)試題庫(kù)

結(jié)合實(shí)訓(xùn)課程內(nèi)容，開(kāi)發(fā)課程試題庫(kù)，用以學(xué)生的課內(nèi)外練習(xí)及考核。

項(xiàng)目效益分析

大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)，能快速引入大數(shù)據(jù)技術(shù)、成熟的解決方案以及管理和教學(xué)內(nèi)容。另外，實(shí)訓(xùn)室的建設(shè)將使學(xué)生掌握主流技術(shù)，分享大數(shù)據(jù)應(yīng)用項(xiàng)目實(shí)踐經(jīng)驗(yàn)。

業(yè)務(wù)流程、業(yè)務(wù)功能和業(yè)務(wù)量分析

大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)承載了課程教學(xué)、試題庫(kù)練習(xí)、案例分析等教學(xué)內(nèi)容。采用傳統(tǒng)的課堂學(xué)習(xí)結(jié)合在線(xiàn)案例實(shí)訓(xùn)的混合教學(xué)模式，可以使學(xué)生在傳統(tǒng)課堂進(jìn)行理論課的學(xué)習(xí)，在平臺(tái)上進(jìn)行案例實(shí)訓(xùn)學(xué)習(xí)、在線(xiàn)練習(xí)和在線(xiàn)考試；老師在平臺(tái)上發(fā)布各類(lèi)課程、試題庫(kù)和案例庫(kù)。

平臺(tái)采用分布式存儲(chǔ)和計(jì)算引擎，每位實(shí)訓(xùn)學(xué)生最低需要4核CPU，8 GB內(nèi)存進(jìn)行實(shí)訓(xùn)，同時(shí)預(yù)留30 %的CPU和內(nèi)存資源維持正常運(yùn)轉(zhuǎn)?？偣残枰?×50＋60=260核CPU，520 GB內(nèi)存資源。

實(shí)訓(xùn)平臺(tái)面向三類(lèi)用戶(hù)：學(xué)生、教師、系統(tǒng)管理員。學(xué)生在在線(xiàn)實(shí)訓(xùn)平臺(tái)完成大數(shù)據(jù)業(yè)務(wù)場(chǎng)景的數(shù)據(jù)采集、預(yù)處理、分析挖掘和數(shù)據(jù)可視化等大數(shù)據(jù)仿真實(shí)訓(xùn)操作，全面掌握大數(shù)據(jù)的理論和技能。

教師通過(guò)平臺(tái)發(fā)布大數(shù)據(jù)實(shí)訓(xùn)課程、案例和試題等教學(xué)資源，并對(duì)學(xué)習(xí)過(guò)程進(jìn)行管理，包括排課、考勤、考試等教學(xué)管理，做到因材施教，方便與學(xué)生形成一對(duì)一的互動(dòng)和溝通，實(shí)時(shí)掌握學(xué)生的學(xué)習(xí)狀況。

管理員全程參與監(jiān)控運(yùn)維平臺(tái)，具體包括用戶(hù)權(quán)限的管理，對(duì)服務(wù)器、網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)等支撐平臺(tái)進(jìn)行統(tǒng)一管理和控制；全面監(jiān)控平臺(tái)的運(yùn)行情況，包括系統(tǒng)內(nèi)集群使用情況，人數(shù)上限和當(dāng)前使用量情況；支持調(diào)整集群配額，如改變集群節(jié)點(diǎn)個(gè)數(shù)、內(nèi)存、CPU配額等。

平臺(tái)總體設(shè)計(jì)

1.硬件部分

硬件部分專(zhuān)門(mén)提供面向大數(shù)據(jù)集群的硬件要求，服務(wù)器6臺(tái)，內(nèi)存要求≥128 GB，千兆交換機(jī)2臺(tái)，多電腦切換器一個(gè)，理線(xiàn)器6個(gè)，光纖跳線(xiàn)10個(gè)，PDU電源4個(gè)，品牌42U機(jī)柜一個(gè)。如果資金寬裕一點(diǎn)，可以直接采用刀片式服務(wù)器，內(nèi)存擴(kuò)充到16×16 GB，刀箱采用12U，可安裝在標(biāo)準(zhǔn)機(jī)柜中，支持半寬和全寬服務(wù)器混插，每個(gè)機(jī)箱可配置2個(gè)8路節(jié)點(diǎn)。交換模塊在不影響刀片部署密度的前提下支持網(wǎng)絡(luò)直通擴(kuò)展方案，同時(shí)支持不低于4個(gè)網(wǎng)絡(luò)交換機(jī)。本次配置2個(gè)網(wǎng)絡(luò)交換模塊，每個(gè)交換模塊配置8×1 GE＋8×10 GE。配置16×10 GE SFP+多模模塊。

光纖交換機(jī)直接采用24端口8 GB光纖交換機(jī)，存儲(chǔ)可采用SAN存儲(chǔ)，粗略估算：1個(gè)學(xué)生最多5個(gè)VM，一臺(tái)虛擬機(jī)100 GB大小，50個(gè)學(xué)生上機(jī)最多2500 GB，300個(gè)學(xué)生備份按照100 GB×300計(jì)算，總共需要33TB，同時(shí)需要考慮Raid冗余，因此最少需要50 TB存儲(chǔ)。

存儲(chǔ)系統(tǒng)的設(shè)計(jì)需滿(mǎn)足橫向擴(kuò)展能力和容錯(cuò)能力，其中橫向擴(kuò)展能力指根據(jù)需求增加不同的計(jì)算和存儲(chǔ)容量，依靠多服務(wù)器、存儲(chǔ)協(xié)同運(yùn)算，借負(fù)載平衡及容錯(cuò)等功能在確?？煽慷鹊那疤嵯绿岣哌\(yùn)算以及存儲(chǔ)能力，適應(yīng)未來(lái)教學(xué)任務(wù)的不斷增加。容錯(cuò)能力指保證整個(gè)大數(shù)據(jù)分析系統(tǒng)的穩(wěn)定性魯棒性，在技術(shù)架構(gòu)設(shè)計(jì)上需要考慮服務(wù)器節(jié)點(diǎn)發(fā)生宕機(jī)、故障時(shí)整個(gè)集群系統(tǒng)仍能保證提供分析服務(wù)以及數(shù)據(jù)的不丟失能力。

2.軟件部分

大數(shù)據(jù)分析平臺(tái)，包括分布式批處理，實(shí)時(shí)計(jì)算引擎、機(jī)器學(xué)習(xí)算法、分布式文件和數(shù)據(jù)存儲(chǔ)等方面的技術(shù)能力支撐，用以支持實(shí)訓(xùn)課程中數(shù)據(jù)預(yù)處理、特征提取、模型構(gòu)建和優(yōu)化分析等操作。

3.教學(xué)案例包

教學(xué)案例包用于為學(xué)生提供多場(chǎng)景的大數(shù)據(jù)分析案例，幫助學(xué)生從真實(shí)案例中了解大數(shù)據(jù)的應(yīng)用，各種算法的使用，各種數(shù)據(jù)處理的使用。

4.網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)

依托現(xiàn)有網(wǎng)絡(luò)設(shè)備，萬(wàn)兆交換機(jī)2臺(tái)，提供萬(wàn)兆以太網(wǎng)接口支持基于端口的劃分VLAN；支持組播標(biāo)準(zhǔn)LGMPV1/V2/V3;支持ARP攻擊防御，ACL等安全功能。

5.備份系統(tǒng)設(shè)計(jì)

數(shù)據(jù)平臺(tái)應(yīng)采用分布式文件系統(tǒng)，多機(jī)器容錯(cuò)。另外配置離線(xiàn)備份系統(tǒng)，保證數(shù)據(jù)不丟失。

項(xiàng)目建設(shè)與運(yùn)行管理

為協(xié)調(diào)系統(tǒng)建設(shè)中出現(xiàn)的問(wèn)題，筆者單位成立了領(lǐng)導(dǎo)小組，落實(shí)相關(guān)人員的職責(zé)，執(zhí)行領(lǐng)導(dǎo)小組的決策，協(xié)調(diào)具體工作的實(shí)施，并對(duì)系統(tǒng)建設(shè)情況進(jìn)行定期檢查和監(jiān)督。在項(xiàng)目質(zhì)保期內(nèi)，由學(xué)院項(xiàng)目負(fù)責(zé)團(tuán)隊(duì)和項(xiàng)目承建單位共同承擔(dān)項(xiàng)目的運(yùn)行維護(hù)工作。在質(zhì)保期后，由學(xué)院項(xiàng)目負(fù)責(zé)團(tuán)隊(duì)承擔(dān)運(yùn)行維護(hù)工作，同時(shí)由項(xiàng)目承建單位提供相應(yīng)的技術(shù)支持。