張亮 趙妍
摘要:本文主要對高校私有云存儲系統(tǒng)的背景、需求和技術進行了介紹,結合本院的實際需求給出了高校云盤系統(tǒng)的邏輯構架和拓撲構架,然后給出了校園云盤系統(tǒng)的詳細功能設計實現(xiàn),最后探討了高校云盤系統(tǒng)的關鍵問題和解決思路。
關鍵詞:云存儲;網(wǎng)盤;私有云;HDFS
中圖分類號:G642? ? ? ? 文獻標識碼:A
文章編號:1009-3044(2021)04-0041-03
Abstract: This paper mainly introduces the background, requirements and technology of the private cloud storage system in Colleges and universities, gives the logical framework and topological framework of the cloud disk system in Colleges and Universities Based on the actual needs of our college, then gives the detailed function design and implementation of the cloud disk system in campus, and finally discusses the key problems and solutions of the cloud disk system in Colleges and universities.
Key words: cloud storage; online disk; private cloud; HDFS
1 緒論
“互聯(lián)網(wǎng)+教育”的不斷發(fā)展促使著各高職院校的信息化水平,早期高職院校的信息化建設主要是底層硬件和網(wǎng)絡的建設,但隨著師生對信息化功能需求的提升,如今高職院校的信息化建設組件轉移到上層的系統(tǒng)平臺系統(tǒng)的建設以及教學數(shù)據(jù)資源的建設,新時期高職院校的信息化建設主要以內(nèi)容和服務的建設為主,而內(nèi)容的建設又是信息化建設的基礎和核心,高職院校的數(shù)據(jù)建設涉及教學,科研以及管理等部門,并且數(shù)據(jù)的建設是一個逐漸積累的過程,只有長時間的積累和沉淀,才能逐漸形成真正體現(xiàn)學校特色和特質(zhì)的校本資源。當前學院的數(shù)據(jù)來源非常復雜,形式多種多樣,包括教師的電子教學資源科研課題資源、學生的學習記錄資料和個人積累的學習資料、行政部門的辦公資料以及一些公共公開的資源資料甚至包含一些學習內(nèi)部的保密關鍵資料數(shù)據(jù)等等。所以高職院校急需一套私有云存儲系統(tǒng)來管理這些數(shù)據(jù)資料。
2 系統(tǒng)需求
隨著大數(shù)據(jù)時代的到來,云存儲成為一種新型的數(shù)據(jù)存儲解決方案。國外成熟的云存儲廠商和產(chǎn)品主要有微軟的Azure,IMB的“藍云”,亞馬遜的S3(簡單存儲服務),國內(nèi)也有一些成熟的云存儲產(chǎn)品,比如阿里云的OSS,百度的百度網(wǎng)盤,360公司的360網(wǎng)盤,騰訊的微云等等。這些云存儲產(chǎn)品在可靠性,安全性和易用性方面都得到了很好的拓展,也能讓用戶在不同的設備終端上方便地訪問云上的文件,讓越來越多的普通用戶體驗到了云存儲的功能與便利。
而目前的高校校園網(wǎng)還不能將互聯(lián)網(wǎng)中的云存儲系統(tǒng)直接在校園中推廣主要有以下四方面原因:
1)外網(wǎng)帶寬限制,高職院校的外網(wǎng)一般接入的有教育網(wǎng),移動聯(lián)通電信等商業(yè)網(wǎng)絡,受到經(jīng)費限制,外網(wǎng)的出口帶寬遠低于校園網(wǎng)內(nèi)網(wǎng)的網(wǎng)速,造成高校師生在校園網(wǎng)內(nèi)訪問外網(wǎng)的云存儲系統(tǒng)會有速度上的影響。
2)受知識產(chǎn)權保護的制約,公網(wǎng)上的商業(yè)云存儲平臺受知識產(chǎn)權保護,而高校的很多資料有些事僅授權教育教學使用的,一旦上傳到外網(wǎng)的云平臺上,會有泄露知識產(chǎn)權資料的風險,因此在數(shù)據(jù)公開共享上會受到很大的限制。
3)數(shù)據(jù)安全無法保障,數(shù)據(jù)安全主要是兩方面:一是云平臺自身運營方面的,云平臺由于自身的資金和運營的因素很多無法一直運營下去,導致很多知名的云平臺倒閉或者停止服務。二是網(wǎng)絡由于云平臺缺乏主管單位的監(jiān)管力度,導致存儲在平臺上得學院內(nèi)部資料的安全性不是可控的。
4)平臺使用資金昂貴,商業(yè)存儲平臺由于需要自身運營,往往需要會對使用者收取昂貴的使用費用,即使有免費的平臺但是也僅僅是適用于個人,并且在速度和空間上有諸多的限制。
鑒于以上的限制,各高校開始探究建設自己的私有云存儲系統(tǒng),例如北京師范大學的“師大云盤”,中央財經(jīng)大學也建設了自己的云存儲網(wǎng)盤系統(tǒng),這些私有云網(wǎng)盤系統(tǒng)主要解決高校文檔統(tǒng)一管理,文檔在線協(xié)作,保護知識財產(chǎn)等方面的需求。其他高校也急需結合本校的實際情況建設自己的高校私有云存儲系統(tǒng)。
3 系統(tǒng)構架
高校云存儲系統(tǒng)以高速的校園網(wǎng)為依托,集成底層硬件服務器和云存儲基礎構架產(chǎn)品,整合了數(shù)據(jù)存儲、基礎服務管理、應用程序接口、多端訪問等等功能模塊、詳細的邏輯架構圖如圖1所示:
對外支持多種終端訪問方式,不僅可以提供面向個人云存儲應用產(chǎn)品易用美觀的客戶端以及文件共享功能,還著力打造了私有云存儲服務所需要的數(shù)據(jù)私有化,數(shù)據(jù)高速傳輸、系統(tǒng)全冗余、數(shù)據(jù)高可用、負載均衡以數(shù)據(jù)傳輸存儲加密等高級功能特性,并可以按照高校用戶的組織架構進行文檔分發(fā)共享的控制管理功能。
4 應用功能設計
如圖2所示,高校的私有云存儲系統(tǒng)應該是為高校的師生量身定制的文件管理平臺,要具備傳統(tǒng)FTP、文件服務器系統(tǒng)的功能,做到數(shù)據(jù)更安全、管理更方便、工作更愉快。包括個人私有網(wǎng)盤、校園公共網(wǎng)盤、收發(fā)文件(教師之間收發(fā)備課課件、師生之間收發(fā)作業(yè))、PC客戶端(自動備份與同步)、移動端(移動分享查閱)、用戶管理與授權、數(shù)據(jù)統(tǒng)計與備份等功能模塊。提供了對云盤文件的瀏覽查看功能、文件的上傳下載功能,文件的移動、分享、刪除等功能。
1)文件(夾)批量上傳:支持上傳文件時可選擇多個文件批量上傳,可顯示文件上傳百分比進度和上傳文件大小,上傳時可隨時刪除未上傳完成的文件;實時顯示當前個人網(wǎng)盤和公共網(wǎng)盤的空間使用情況,批量上傳的同時支持文件秒傳功能。PC客戶端支持斷點續(xù)傳。上傳文件時選擇上傳文件夾并選擇本地某個文件夾,即可創(chuàng)建該文件夾以及里面的所有子文件夾,并同時批量上傳文件夾中的所有文件,可顯示文件上傳百分比進度和上傳文件大小,上傳時可隨時刪除未上傳完成的文件。支持多端管理文件,支持多個文件批量上傳。文件夾拖拽上傳時也可實現(xiàn)上傳文件夾中的多個文件,Web端和PC客戶端都支持拖拽上傳。支持選中多個文件和文件夾批量打包下載,系統(tǒng)可將選中的文件(夾)打包壓縮成ZIP文件后進行下載,以提高下載效率,不限制文件大小和數(shù)量。PC客戶端支持斷點下載。
2)文件(夾)分享、共享:有私密分享和公開分享,輕松進行文件及文件夾的分享,讓你的好友和你一起High起來。好友分享時設有相應的提取碼,只有輸入相應的提取碼才能訪問分享的文件,并且分享鏈接地址做了加密處理,有效確保了隱私安全。還可通過手機瀏覽器或微信掃描分享二維碼,便于手機查看分享內(nèi)容。個人私有文件或文件夾可共享到公共文件夾,可選擇共享到多個文件夾中,可供其他人查看、下載或作為公共資料。
3)回收站:云平臺上不不使用的文件刪除后不會徹底傷處,而是會臨時存放在回收站的文件夾中,用戶可以在30天內(nèi)還原被刪除的文件,也可以在回收站中徹底的刪除文件。
4)權限管理:對文件的管理仿照Linux的文件權限管理方式,對文件的管理細粒度到單個文件的讀寫和運行,可以對用戶,分組,部門進行授權管理。
5)文件(夾)查找:文件和文件夾的查找,支持名稱的模糊查詢,查詢到文件(夾)時候可以點擊跳轉到該文件原來所在的位置。由于支持了文件(夾)復制和移動,就會產(chǎn)生一些重復文件,因此系統(tǒng)支持重復文件的查找,便于用戶對重復文件進行整理,節(jié)約存儲空間。
6)多媒體文件在線預覽播放:視頻、文檔在線轉碼:提供文檔和視頻在線轉碼,文檔轉碼是基于MS Office原生轉碼策略,保證排版格式不出現(xiàn)亂碼不變形,支持轉碼器集群部署、極大提高文件轉碼效率。視頻統(tǒng)一轉碼成mp4格式,保障所有終端都可查看此視頻格式文件。上傳的視頻文件后,在線統(tǒng)一轉碼成mp4格式,并且提供在線播放功能,并且兼容IE8/9/10/11 、360瀏覽器、QQ瀏覽器、Firefox、 Chrome等主流瀏覽器,視頻播放支持多種格式并且支持拖動進度條播放。音頻格式的文件上傳后,可直接在線聽,比如音樂、英語聽力資料等。swf也支持上傳在線預覽。對于上傳的Office辦公文檔,支持在線預覽和文字復制。在文件夾或圖片庫中可支持圖片翻轉特效預覽,每一張圖片都有圖片標題懸浮在圖片上,圖片預覽支持全屏、縮放和定時自動輪播特效。音頻格式的文件上傳后,可直接在線聽,比如音樂、聽力資料等。
7)文件秒傳:支持類似百度網(wǎng)盤、360網(wǎng)盤的秒傳功能,上傳文件時智能識別相同文件時則無須重復上傳實體文件,系統(tǒng)能自動對應至同一個實體文件,避免網(wǎng)盤中存儲多個相同文件,實現(xiàn)智能文件去重功能,有效節(jié)約網(wǎng)盤服務器磁盤存儲空間。
8)收發(fā)文件:(1)教師之間收發(fā)文件:教師之間收備課教案、教學論文、教師榮譽、研修感言、聽課筆記、成績分析報告等。(2)教師向?qū)W生分發(fā)文件、收文件:教師給班級學生分發(fā)課程學習內(nèi)容,如PPT課件、微課等;收集學生的作業(yè)(朗讀或背誦課件的音視頻)、作文、美術作品、手抄報、獲獎榮譽等。
9)公共網(wǎng)盤:公共網(wǎng)盤是學校的一個公共訪問存儲空間管理云盤,系統(tǒng)管理員可隨意新建和維護公共網(wǎng)盤文件夾。
10)虛擬目錄:虛擬目錄即模擬傳統(tǒng)FTP服務器的虛擬目錄原理,可授權用戶關聯(lián)多個公共網(wǎng)盤目錄空間,并可獨立設置不同級別的權限(只讀、讀寫、管理)??梢宰鳛閭€人公共網(wǎng)盤根目錄下的子目錄來使用,盡管這些虛擬目錄并不是根目錄真正意義上的子目錄。虛擬目錄是在公共網(wǎng)盤的根目錄下創(chuàng)建一個子目錄,然后將這個子目錄映射到個人公共網(wǎng)盤根目錄中。把公共網(wǎng)盤中某個文件夾映射到個人公共網(wǎng)盤根目錄下的某個虛擬文件夾,并且可以設置只讀、讀寫、管理三種不同權限。
11)文件自動歸類:上傳到網(wǎng)盤里的文件,會被自動智能分類,分成圖片、文檔、音頻、視頻、應用、其他,方便您的快速查找。
12)右鍵與快捷鍵:網(wǎng)盤支持右鍵功能,包括文件(夾)打開、排序內(nèi)容、選取、列表顯示、上傳文件、新建文件夾、復制、剪切、共享(至公共網(wǎng)盤)、分享、刪除、重命名、下載、加密、屬性等。
13)文件(夾)加密:可以對云平臺上得文件或者文件夾進行加密,一旦經(jīng)過加密的文件或者文件夾在訪問,下載,移動,播放,預覽的時候都需要輸入正確的密碼才能進行相對應的操作。
14)數(shù)據(jù)安全備份:支持數(shù)據(jù)庫手動備份與自動定時備份功能,并可以下載數(shù)據(jù)以防系統(tǒng)故障;提供服務器Raid技術或?qū)I(yè)存儲服務器實體資源文件定期備份技術支持。
15)集成調(diào)用:提供集成接口,與第三方應用深度集成整合、互聯(lián)互通,第三方應用可調(diào)用網(wǎng)盤資源、上傳的資源也可同步到網(wǎng)盤,并支持與第三方統(tǒng)一認證系統(tǒng)對接,實現(xiàn)用戶同步和單點登錄。
5 關鍵問題
1)各種硬件的兼容性問題:由于高校再發(fā)展過程中會積累淘汰很多舊的服務器和存儲設備,這些都可以用來作為分布式文件存儲的硬件,但是由于學院淘汰下來的服務器和存儲設備的廠商不統(tǒng)一,型號也不統(tǒng)一,新舊程度更不一樣,在進行私有存儲系統(tǒng)的搭建過程中會遇到硬件兼容性的問題,有可能影響到系統(tǒng)的穩(wěn)定性和健壯性。解決辦法盡量選擇型號統(tǒng)一的硬件設備,同時選擇穩(wěn)定的分布式文件存儲軟件例如Hadoop,來解決硬件不兼容問題以及硬件故障導致的系統(tǒng)宕機問題。
2)網(wǎng)絡帶寬問題:校園網(wǎng)盤中存儲的大部分都是教學資源文件,視頻,音頻,電子文檔居多,這些文件都比價大,在校園內(nèi)因為課程原因,同一時段可能很多人共同訪問下載,對校園網(wǎng)網(wǎng)速和流量造成很大的壓力,可以通過對不同的資源類型進行限定網(wǎng)速,對賬號的類型進行網(wǎng)絡限制,也可以分時段進行網(wǎng)速限制,不過在高速校園網(wǎng)內(nèi),基本上能滿足師生在資源使用上得網(wǎng)速要求。
3)數(shù)據(jù)安全問題:數(shù)據(jù)存儲在云上,最重要的就是數(shù)據(jù)安全問題,數(shù)據(jù)安全威脅主要來源于自然災害,軟硬件故障,計算機病毒,黑客入侵,用戶誤操作等,對于自然災害和軟硬件可以采取多地系統(tǒng)鏡像方式進行數(shù)據(jù)的鏡像備份,對于計算機病毒和黑客入侵的威脅,由于私有云存儲系統(tǒng)安裝部署在學校的內(nèi)網(wǎng)中,校園網(wǎng)有自己的防火墻,殺毒軟件,入侵檢測系統(tǒng)等一系列的安裝保障措施,基本上可以防備這些因素對數(shù)據(jù)的威脅。
6 總結
總之,高校建立自己的私有云存儲系統(tǒng),無疑是未來高校信息化發(fā)展的新方向,本文只是對高校私有云存儲系統(tǒng)的建設意義,構建體系結構,功能結構以及關鍵問題進行了研究和闡述,如何構建各高校符合自己學校和專業(yè)相符的私有云存儲系統(tǒng),還需要各私有云平臺的廠商和各高校依據(jù)實際情況進行不斷的合作,研究與探討。
參考文獻:
[1] 魯學亮,陳金燾.私有云存儲助力高校智慧校園建設[J].中國教育信息化·高教職教,2019(5):61-63,69. DOI:10.3969/j.issn.1673-8454.2019.05.014.
[2] 黃猛,羅樺,李洪兵.基于Hadoop的高校檔案館私有云存儲平臺的構建[J].辦公自動化(綜合版),2015(1):54-56,29. DOI:10.3969/j.issn.1007-001X.2015.01.015.
[3] 田燎.高等院校大容量數(shù)字資源存儲平臺建設研究[J].中國信息技術教育,2020(5):169-171.
[4] 張峰,李基亮.校園私有云存儲方案的探索[J].華東師范大學學報(自然科學版),2015(Z1):139-145. DOI:10.3969/j.issn.1000-5641.2015.z1.023.
[5] 姜建峰.基于云存儲的高校資源平臺設計與應用[J].江蘇經(jīng)貿(mào)職業(yè)技術學院學報,2018(2):36-39. DOI:10.16335/j.cnki.issn1672-2604.2018.02.010.
【通聯(lián)編輯:王力】