摘要:人工智能、物聯(lián)網和云計算等信息技術在高校中的廣泛應用,積極推動了校園信息化發(fā)展進程,使得教學、科研和生活等數(shù)據爆炸式地增長。然而,由于各個應用系統(tǒng)或平臺建立的時間、環(huán)境、標準和技術等不一致,導致“信息孤島”問題日益嚴峻。本文在剖析校園大數(shù)據共享與交換的現(xiàn)狀的基礎上,提出了一種基于校園大數(shù)據的數(shù)據共享與交換平臺方案。該方案試圖突破信息壁壘、解除信息孤島,為異構業(yè)務系統(tǒng)、異構數(shù)據庫和不同數(shù)據格式之間提供數(shù)據共享與交換提供服務。
Abstract: The extensive application of information technology such as artificial intelligence, Internet of Things and cloud computing in colleges and universities has actively promoted the development of campus informationization, which has led to the explosive growth of data such as teaching, research and life. However, due to the inconsistencies in the time, environment, standards and technologies established by various application systems or platforms, the problem of "information silos" has become increasingly serious. Based on the analysis of the status quo of campus big data sharing and exchange, this paper proposes a data sharing and exchange platform based on campus big data. The program attempts to break through information barriers, dismantle information silos, and provide services for data sharing and exchange among heterogeneous business systems, heterogeneous databases and different data formats.
關鍵詞:大數(shù)據;數(shù)據共享;數(shù)據交換
Key words: big data;data sharing;data exchange
中圖分類號:G47;TP308? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼:A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號:1006-4311(2019)18-0240-03
0? 引言
隨著高校信息化建設的發(fā)展,應用信息化的不斷深入,管理精細化要求的提高,不同系統(tǒng)間的數(shù)據得不到共享,形成一個又一個的信息孤島。各個業(yè)務系統(tǒng)所產生的大量異構數(shù)據,如何能夠方便高效地開放出去,實現(xiàn)數(shù)據共享與交換,是當前高校信息化亟需決的難題[1]。校園信息化水平不高的時候,數(shù)據的開放方式還可以直接將數(shù)據導出給對方。然而,教育信息技術2.0支撐下的泛在學習、混合式教學和智慧校園等應用,使得教育教學有關數(shù)據爆炸式地增長。過往簡單的數(shù)據直連的方式不僅低效,而且還帶來了管理與安全等諸多問題。同時,信息技術的廣泛應用,使得業(yè)務服務對象從既往的各級業(yè)務部門變?yōu)槿7秶鷥鹊膸熒8嗟膽?、更多的用戶需求,將直接導致業(yè)務共享與交換的壓力呈指數(shù)上升。例如,數(shù)據服務共享得不到有效管控,多源頭的數(shù)據采集,重復過程的數(shù)據采集,服務通訊無法統(tǒng)一管控等問題日益突現(xiàn)。這對數(shù)據服務架構性能、穩(wěn)定性、擴展性、可控性提出了更高的需求。因此,如何減輕工作量,方便業(yè)務部門進行數(shù)據管理,打造一個數(shù)據共享交換生態(tài)平臺成為各個高校的共性問題。
1? 現(xiàn)狀及需求分析
當前我國學校教育信息化基礎設施、信息系統(tǒng)建設和師生服務等方面普遍取得了長足進展。同時,隨著信息技術在教育領域中的不斷深入,也逐漸暴露出各級信息系統(tǒng)分散,數(shù)據質量低等問題,這與金融、電力、通訊、交通、制造等信息化程度高的行業(yè)相比,仍存在較大差距。主要體現(xiàn)在數(shù)據文件和數(shù)據報文的共享與交換。
首先,在數(shù)據文件共享與交換方面,校內存在眾多的信息管理系統(tǒng),每個信息的數(shù)據獨立存在,得不到有效共享與互通。其次,信息安全管理與防范機制不夠完善,存在信息系統(tǒng)數(shù)據隨意授權或管理不嚴的現(xiàn)象,容易導致濫用數(shù)據或隱私數(shù)據泄露的情況發(fā)生。最后,數(shù)據的質量得不到提高。前期信息系統(tǒng)建設普遍存在“重功能輕數(shù)據”情況,缺少全校數(shù)據標準整體規(guī)劃,即使發(fā)現(xiàn)數(shù)據有問題也無從審核與校驗,進而導致問題數(shù)據不斷的沉積,相關報表數(shù)據統(tǒng)計的及時性、準確性得不到保證,嚴重將會影響到學校的決策與分析的應用。
在數(shù)據報文共享與交換方面,不同業(yè)務系統(tǒng)之間的通訊報文與文件交換缺乏相關管理流程,數(shù)據管理責任不明確和缺乏審計機制等。首先,數(shù)據全生命周期缺乏管理,容易出現(xiàn)數(shù)據質量問題,無法對問題數(shù)據進行溯源追蹤。其次,學校各種應用服務快速增長,單點負載均衡壓力也會越來越大,并且各項應用服務之間的依賴關系變得錯綜復雜,難以理清具體應用程序之間的先后啟動順序。最后,各項應用服務的調用量越來越大,服務的容量就會受到一定的考驗。
2? 數(shù)據共享與交換平臺設計
數(shù)據共享交換平臺將起到橋梁樞紐作用,是突破信息壁壘、消除信息孤島的重要手段。針對當前校園數(shù)據共享與交換的現(xiàn)狀與需求,本文提出一種基于校園大數(shù)據的數(shù)據共享與交換平臺框架。該平臺架構由三大框架組成,分別為分布式服務中間件、分布式數(shù)據交換系統(tǒng)和集中任務調度系統(tǒng),如圖1所示。
數(shù)據共享與交換平臺通過為各業(yè)務系統(tǒng)提供數(shù)據準入接口,以統(tǒng)一的數(shù)據模型、數(shù)據質量標準和接口規(guī)范,以實現(xiàn)數(shù)據自動提取、數(shù)據轉換、數(shù)據發(fā)送、數(shù)據校驗、數(shù)據審核等,并確保各項業(yè)務系統(tǒng)之間的數(shù)據能夠順暢、實時和批量傳輸。然后。通過制訂大數(shù)據共享規(guī)則,將所有經過檢驗與審核的數(shù)據匯聚到數(shù)據管理中心,形成大數(shù)據共享中心庫。最終該平臺采用規(guī)范、統(tǒng)一和透明的數(shù)據共享方式,為不同業(yè)務系統(tǒng)、不同數(shù)據庫和不同數(shù)據格式之間進行數(shù)據交換而提供服務。
2.1 分布式服務中間件設計
隨著信息技術在教育教學中廣泛應用,越來越多的系統(tǒng)被融進“服務流程重組”,“敏捷開發(fā)”等“微服務”的概念中,并對原有業(yè)務系統(tǒng)進行不同層次與級別的拆分?!拔⒎铡惫?jié)點在學校中的數(shù)量成指數(shù)增長,不同數(shù)據服務直接的調度對服務接口造成的強烈的負擔。尤其在傳統(tǒng)業(yè)務分層概念下開發(fā)的相關服務系統(tǒng),給學校業(yè)務環(huán)境留下了嚴峻的單點故障問題[2]。為了解決這些問題,分布式服務中間件就應運而生。
分布式服務中間件為所有的業(yè)務系統(tǒng)提供了統(tǒng)一的API接口。在取得數(shù)據管理者授權的前提下,數(shù)據使用者可以通過調用數(shù)據接口對數(shù)據服務進行獲取。同時,分布式服務系統(tǒng)對接口調用情況進行記錄,并且形成API接口調用分析表。從服務模型的角度來看,分布式服務系統(tǒng)采用的是一種非常穩(wěn)定的模型,只有服務提供方(Provider)和服務消費方 (Consumer)兩個角色。數(shù)據服務調度過程如圖2所示。
2.2 分布式數(shù)據交換系統(tǒng)設計
分布式數(shù)據交換系統(tǒng)是將各項繁雜的數(shù)據系統(tǒng)集成在一起,提供同構或異構數(shù)據之間的數(shù)據采集、格式轉換、消息過濾、動態(tài)部署和可視化監(jiān)管等方面功能[3]。該系統(tǒng)能夠支持Oracle、SQLServer、MySQL等主流數(shù)據庫以及各項常規(guī)文件(如:word、excel、pdf等)各種格式。如圖3所示,Reader負責數(shù)據采集,Writer負責數(shù)據的寫入,而Framework解決Reader和Writer之間的連接問題。另外,數(shù)據從原始數(shù)據庫流向標準庫的過程中,需要對數(shù)據的唯一性和正確性的變化情況進行監(jiān)測。
2.3 集中任務調度系統(tǒng)設計
集中任務調度系統(tǒng)是數(shù)據交換共享平臺的核心,將完成分布式服務系統(tǒng)與分布式數(shù)據交換系統(tǒng)進行任務的統(tǒng)一調度。如圖4所示,集中任務調度系統(tǒng)通過獲取分布式服務系統(tǒng)與分布式數(shù)據交換系統(tǒng)的相關策略配置,并對不同的服務與交換要求進行優(yōu)化,進而實現(xiàn)統(tǒng)一的進程發(fā)起與任務調度。首先,集中任務調度系統(tǒng)能夠支持豐富多樣的調試方法,以滿足各種調度需求。其次,調度方式具有靈活性,能夠支持調度數(shù)據的多種存儲,以及任務與調度多方式組合。最后,該任務調度系統(tǒng)通過對RMI(Remote Method Invocation)的使用,能夠確保該調度服務能夠以獨立的方式運行。
3? 結束語
大數(shù)據環(huán)境下,大量的信息服務與應用的興起給校園數(shù)據共享與交換平臺的建設帶來了巨大的挑戰(zhàn)。本文提出了一種基于校園大數(shù)據的共享交換平臺設計方案。該方案將通過為各類型業(yè)務系統(tǒng)數(shù)據接入的提供準入接口,并采用統(tǒng)一的數(shù)據模型、數(shù)據質量標準和接口規(guī)范,實現(xiàn)數(shù)據的自動采集、內容轉換、數(shù)據傳輸和數(shù)據審核等,進而為異構業(yè)務系統(tǒng)、異構數(shù)據庫和不同數(shù)據格式之間數(shù)據交換與共享提供服務。
參考文獻:
[1]俞春,袁芳,等.高校數(shù)據共享與交換技術的應用研究[J].實驗技術與管理,2012,29(11):109-122.
[2]張云,韓彥嶺.航運大數(shù)據[M].上海:上??茖W技術出版社,2016:133-135.
[3]陳海郎,陳農心.信訪一體化信息系統(tǒng)關鍵技術研究與實現(xiàn)[J].價值工程,2016,15:81-83.