張軍 王芬芬

摘 要：為更好地支持各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的整合集成以及對(duì)多維數(shù)據(jù)的交叉分析和數(shù)據(jù)的挖掘分析等需求，有效支撐高校管理與決策對(duì)數(shù)據(jù)的需求，需搭建規(guī)范、有效的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，并部署實(shí)施數(shù)據(jù)統(tǒng)計(jì)與分析系統(tǒng)?；诖?，文章闡述了數(shù)據(jù)倉(cāng)庫(kù)的基本理論及一般構(gòu)建方法，給出了符合高校需求的數(shù)據(jù)倉(cāng)庫(kù)主題劃分，設(shè)計(jì)了5層數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)體系。并將其應(yīng)用于湖南鐵道職業(yè)技術(shù)學(xué)院數(shù)據(jù)分析系統(tǒng)，取得了較好的效果，對(duì)其它高校數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建具有示范和借鑒意義。

關(guān)鍵詞： 數(shù)據(jù)倉(cāng)庫(kù);數(shù)據(jù)分析;ETL

文章編號(hào)： 2095-2163（2019）03-0122-04 中圖分類號(hào)： TP315 文獻(xiàn)標(biāo)志碼： A

0 引 言

隨著信息技術(shù)的迅猛發(fā)展，教育信息化的建設(shè)在大多數(shù)的高校里已經(jīng)開(kāi)展多年，用于支持高校管理及教育教學(xué)的多個(gè)信息系統(tǒng)已經(jīng)完成建設(shè)，大量的業(yè)務(wù)數(shù)據(jù)已經(jīng)產(chǎn)生，如何有效地組織管理這些數(shù)據(jù)，使其能為學(xué)校的管理決策和教育教學(xué)提供支持已成為當(dāng)前高校教育信息化研究的重要課題。教育部于2018年4月印發(fā)的《教育信息化2.0行動(dòng)計(jì)劃》中就明確指出：深化教育大數(shù)據(jù)應(yīng)用，全面提升教育管理信息化支撐教育業(yè)務(wù)管理、政務(wù)服務(wù)、教學(xué)管理等工作的能力。充分利用云計(jì)算、大數(shù)據(jù)、人工智能等新技術(shù)，構(gòu)建全方位、全過(guò)程、全天候的支撐體系，助力教育教學(xué)、管理和服務(wù)的改革發(fā)展[1]。

數(shù)據(jù)倉(cāng)庫(kù)技術(shù)能夠從數(shù)據(jù)采集、清洗、存儲(chǔ)、統(tǒng)計(jì)分析、展現(xiàn)等多個(gè)方面為高校數(shù)據(jù)資源的積累、管理和利用提供技術(shù)方案。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)為分析型數(shù)據(jù)，以相同主題的方式組織聚集的，而業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)為操作型數(shù)據(jù)，是圍繞著一個(gè)或幾個(gè)業(yè)務(wù)處理流程來(lái)組織。所以，利用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)來(lái)建設(shè)高校數(shù)據(jù)統(tǒng)計(jì)與分析系統(tǒng)是必要且有效的。本文根據(jù)高校數(shù)據(jù)統(tǒng)計(jì)與分析的實(shí)際業(yè)務(wù)需求及教育數(shù)據(jù)的特點(diǎn)，結(jié)合現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)技術(shù)和建設(shè)經(jīng)驗(yàn)，設(shè)計(jì)符合高校數(shù)據(jù)統(tǒng)計(jì)與分析的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，給出建設(shè)過(guò)程，最后實(shí)現(xiàn)基于數(shù)據(jù)倉(cāng)庫(kù)的高校數(shù)據(jù)統(tǒng)計(jì)與分析系統(tǒng)。其系統(tǒng)架構(gòu)及建設(shè)過(guò)程可為其它類似數(shù)據(jù)分析或決策支持系統(tǒng)的建設(shè)提供有益參考和借鑒。

1 數(shù)據(jù)倉(cāng)庫(kù)基本理論

數(shù)據(jù)倉(cāng)庫(kù)之父Bill Inmon給出的定義是：數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的（Subject Oriented）、集成的（Integrate）、相對(duì)穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策[2]。其中的主題是指用戶使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行數(shù)據(jù)分析時(shí)所關(guān)心的重點(diǎn)方面。每一個(gè)主題對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域。數(shù)據(jù)倉(cāng)庫(kù)排除對(duì)于決策無(wú)用的數(shù)據(jù)，提供特定主題的簡(jiǎn)明視圖。集成就是對(duì)原有分散的數(shù)據(jù)進(jìn)行抽取、清洗，然后進(jìn)行加工、匯總、整理得到的規(guī)范、統(tǒng)一的全局信息。同時(shí)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是很少有修改或是刪除操作的，數(shù)據(jù)將會(huì)長(zhǎng)期保留，包含有大量的歷史數(shù)據(jù)，能夠存儲(chǔ)不同時(shí)間范圍的數(shù)據(jù)快照，所以這就既是相對(duì)穩(wěn)定的，也是能夠反映歷史變化的數(shù)據(jù)集合。

因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)的目的就是數(shù)據(jù)統(tǒng)計(jì)分析，為決策支持服務(wù)，這就注定數(shù)據(jù)倉(cāng)庫(kù)不會(huì)“生產(chǎn)”數(shù)據(jù)，其內(nèi)部數(shù)據(jù)主要來(lái)源于其它業(yè)務(wù)系統(tǒng)或是外部數(shù)據(jù)，這些數(shù)據(jù)經(jīng)過(guò)清洗、轉(zhuǎn)換流入至倉(cāng)庫(kù)層中。在倉(cāng)庫(kù)層中，有用于對(duì)倉(cāng)庫(kù)中數(shù)據(jù)進(jìn)行描述管理的元數(shù)據(jù);有為應(yīng)用層提供在線分析處理服務(wù)的Web服務(wù)器;有面向各類的主題的聚集數(shù)據(jù);有面向特定應(yīng)用或單個(gè)主題的數(shù)據(jù)集市等。最后，由具體的應(yīng)用為用戶提供各類數(shù)據(jù)統(tǒng)計(jì)分析等相關(guān)服務(wù)。由此，研究可以將數(shù)據(jù)倉(cāng)庫(kù)分為3層：源數(shù)據(jù)、倉(cāng)庫(kù)層、應(yīng)用層，如圖1所示。

2 系統(tǒng)構(gòu)建

2.1 源數(shù)據(jù)分析及主題確定

建立數(shù)據(jù)倉(cāng)庫(kù)的首要環(huán)節(jié)就是對(duì)業(yè)務(wù)源數(shù)據(jù)進(jìn)行分析，是否能夠充分理解和透徹分析業(yè)務(wù)源數(shù)據(jù)將直接影響到后面數(shù)據(jù)模型的設(shè)計(jì)是否合理、有效。通常，研究將源數(shù)據(jù)的分析分為表級(jí)分析和字段級(jí)分析。而源數(shù)據(jù)分析的主要工作則包括有：整理所有業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)的清單表，統(tǒng)計(jì)每一張數(shù)據(jù)表的記錄數(shù)，對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)量以及使用情況有一個(gè)全面的了解;統(tǒng)計(jì)每一張表的主要字段，包括數(shù)據(jù)類型以及數(shù)據(jù)長(zhǎng)度;了解表的主鍵和外鍵，明確表之間的相互依賴關(guān)系;明確最后需要進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)表及具體數(shù)據(jù)項(xiàng)。

主題是在較高層次上將業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行整合、歸類和分析利用的一個(gè)抽象概念，每個(gè)宏觀的分析領(lǐng)域與一個(gè)主題相對(duì)應(yīng)。在邏輯意義上 主題是對(duì)應(yīng)業(yè)務(wù)中具體宏觀分析領(lǐng)域所涉及的分析對(duì)象。主題一般是采用逐級(jí)細(xì)分的思路進(jìn)行設(shè)計(jì)劃分，結(jié)合高校的具體業(yè)務(wù)數(shù)據(jù)特點(diǎn)以及數(shù)據(jù)統(tǒng)計(jì)與分析系統(tǒng)的建設(shè)需求，本次研究可以開(kāi)發(fā)確定的數(shù)據(jù)倉(cāng)庫(kù)主題域即如圖2所示。

2.2 分層架構(gòu)設(shè)計(jì)

數(shù)據(jù)統(tǒng)計(jì)與分析系統(tǒng)的核心部分就是數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵任務(wù)就是對(duì)分散、繁雜的數(shù)據(jù)進(jìn)行規(guī)范、統(tǒng)一的清洗處理，然后建立清晰的業(yè)務(wù)邏輯關(guān)系，實(shí)現(xiàn)數(shù)據(jù)的匯總聚合，分層的架構(gòu)設(shè)計(jì)能夠有效地完成上述工作。結(jié)合高校對(duì)數(shù)據(jù)倉(cāng)庫(kù)的實(shí)際業(yè)務(wù)需求，將數(shù)據(jù)倉(cāng)庫(kù)按照相關(guān)功能分為臨時(shí)層、近源層、主題層、匯總層和集市層等5層，其層次架構(gòu)設(shè)計(jì)如圖3所示。對(duì)其中各層的功能設(shè)計(jì)可做闡釋解析如下。

（1）臨時(shí)層：該層位于最下層，最接近業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)，并直接與各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)源對(duì)接，盡量保持業(yè)務(wù)數(shù)據(jù)的原貌，在抽取策略上可選擇增量和全量抽取，同時(shí)在抽取時(shí)加上時(shí)間戳，形成多個(gè)版本的歷史數(shù)據(jù)信息。

（2）近源層：該層以偏源系統(tǒng)建模，對(duì)臨時(shí)層數(shù)據(jù)進(jìn)行初步的篩選和加工，不進(jìn)行數(shù)據(jù)的整合處理，能夠提供基于業(yè)務(wù)數(shù)據(jù)的訪問(wèn)需求。

（3）主題層：該層數(shù)據(jù)模型要求符合數(shù)據(jù)庫(kù)3NF范式規(guī)則，是數(shù)據(jù)倉(cāng)庫(kù)的核心數(shù)據(jù)層，每個(gè)主題對(duì)應(yīng)一個(gè)宏觀分析領(lǐng)域。主題層數(shù)據(jù)強(qiáng)調(diào)數(shù)據(jù)整合和歷史信息，能夠支持較長(zhǎng)時(shí)間周期的分析需求，模型設(shè)計(jì)應(yīng)具備足夠的靈活性，以滿足進(jìn)一步的升級(jí)和更新。

（4）匯總層：該層是面向數(shù)據(jù)分析而建模，由于主題層是大量高度規(guī)范化的數(shù)據(jù)，因此要完成一個(gè)查詢或是一項(xiàng)統(tǒng)計(jì)往往需要大量的關(guān)聯(lián)工作[3]，而數(shù)據(jù)統(tǒng)計(jì)分析又需要針對(duì)主題層數(shù)據(jù)進(jìn)行大量的匯總工作（如：累加、平均值、記錄數(shù)、最大最小值等等），設(shè)計(jì)匯總層能有效提高數(shù)據(jù)倉(cāng)庫(kù)的查詢效率。

（5）集市層：該層數(shù)據(jù)面向具體應(yīng)用，可以理解為供用戶直接訪問(wèn)。具有面向用戶、相互獨(dú)立、形式各異等特點(diǎn)。同時(shí)，該層數(shù)據(jù)的生命期是依具體應(yīng)用的需求而定。

2.3 數(shù)據(jù)ETL設(shè)計(jì)與實(shí)施

ETL（Extract-Transform-Load）是數(shù)據(jù)源端不同數(shù)據(jù)庫(kù)或異構(gòu)數(shù)據(jù)源的數(shù)據(jù)經(jīng)過(guò)抽取、轉(zhuǎn)換和加載到目的端的過(guò)程[4]，ETL是實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的核心和靈魂。ETL根據(jù)不同的抽取策略進(jìn)行參數(shù)、執(zhí)行時(shí)間的初始化，之后進(jìn)入后臺(tái)守護(hù)模塊實(shí)時(shí)監(jiān)控。后臺(tái)主要完成將業(yè)務(wù)數(shù)據(jù)按照抽取策略定時(shí)導(dǎo)入數(shù)據(jù)到臨時(shí)數(shù)據(jù)庫(kù)，處理后定時(shí)調(diào)用后臺(tái)存儲(chǔ)過(guò)程保存到數(shù)據(jù)倉(cāng)庫(kù)中。ETL數(shù)據(jù)處理整體上可分為數(shù)個(gè)階段。對(duì)此可做設(shè)計(jì)分述如下。

（1）數(shù)據(jù)抽取階段。主要根據(jù)業(yè)務(wù)調(diào)研制定的規(guī)范，把分布在各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取到數(shù)據(jù)倉(cāng)庫(kù)的臨時(shí)層，在抽取時(shí)要遵守業(yè)務(wù)調(diào)研階段制定的數(shù)據(jù)標(biāo)準(zhǔn)。

（2）數(shù)據(jù)清洗階段。是解決從各數(shù)據(jù)源抽取數(shù)據(jù)所出現(xiàn)的數(shù)據(jù)重復(fù)、數(shù)據(jù)不一致、空值數(shù)據(jù)等問(wèn)題，包括標(biāo)準(zhǔn)化處理、空值處理和不一致數(shù)據(jù)處理等。數(shù)據(jù)清洗工作主要在近源層完成，清洗時(shí)結(jié)合一定的業(yè)務(wù)規(guī)則將數(shù)據(jù)值進(jìn)行標(biāo)準(zhǔn)化。

（3）數(shù)據(jù)轉(zhuǎn)換階段。也是在近源層完成，即將源系統(tǒng)抽取的數(shù)據(jù)，經(jīng)過(guò)不同的算法處理，并將數(shù)據(jù)處理成數(shù)據(jù)倉(cāng)庫(kù)特定的存儲(chǔ)模式。數(shù)據(jù)轉(zhuǎn)換的任務(wù)主要是進(jìn)行不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度轉(zhuǎn)換和一些業(yè)務(wù)規(guī)則的計(jì)算。

（4）數(shù)據(jù)加載階段。就是在數(shù)據(jù)倉(cāng)庫(kù)中經(jīng)過(guò)數(shù)據(jù)轉(zhuǎn)換、清洗后，按一定的方式把數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)的主題層、匯總層和集市層中。

常見(jiàn)的ETL工具有Informatica、Datastage、ODI、OWB、kettle等，本文所選取的是ORACLE公司的ODI系統(tǒng)。ODI提出了知識(shí)模塊的概念，用戶既可以直接使用ODI的知識(shí)模塊完成數(shù)據(jù)的獲取工作，也可以直接在知識(shí)模塊上面做各種定制，比如某一個(gè)業(yè)務(wù)場(chǎng)景可能并不需要知識(shí)模塊里的某一個(gè)特定的步驟，那就可以直接把該步驟刪除掉從而提供更好的性能。當(dāng)然用戶也可以完全自己來(lái)開(kāi)發(fā)這些知識(shí)模塊[5]。

2.4 數(shù)據(jù)展示

通過(guò)對(duì)各類數(shù)據(jù)的分類匯總，形成各個(gè)主題的事實(shí)數(shù)據(jù)表，利用數(shù)據(jù)展示工具集中提供統(tǒng)計(jì)數(shù)據(jù)的圖表展示、查詢下載等相關(guān)服務(wù)。常見(jiàn)的用于數(shù)據(jù)前端展示的工具有IBM的Cognos和SAP的BO、Oracle的BIEE、微軟的SSRS等，這些工具都是專業(yè)的報(bào)表工具，屬于商業(yè)BI產(chǎn)品，具有強(qiáng)大的報(bào)表設(shè)計(jì)能力和豐富的數(shù)據(jù)展示功能，但是卻也價(jià)值不菲、且使用較為復(fù)雜。ExtJS是一款基于JavaScript的前端用戶界面開(kāi)發(fā)平臺(tái)。作為一款前端AJAX框架，ExtJS具有編程簡(jiǎn)單、與后臺(tái)技術(shù)無(wú)關(guān)、功能強(qiáng)大等特點(diǎn)，可以便捷地將ExtJS用在dot NET、Java、PHP等各種設(shè)計(jì)語(yǔ)言開(kāi)發(fā)的項(xiàng)目中?；跀?shù)據(jù)倉(cāng)庫(kù)的高校數(shù)據(jù)統(tǒng)計(jì)與分析系統(tǒng)就是基于ExtJS開(kāi)發(fā)。圖4展示科研數(shù)據(jù)統(tǒng)計(jì)分析報(bào)表的詳細(xì)界面，這是系統(tǒng)的典型展示界面，上面是按相關(guān)維度生產(chǎn)的數(shù)據(jù)統(tǒng)計(jì)圖和數(shù)據(jù)匯總表、當(dāng)點(diǎn)擊圖表中某個(gè)具體統(tǒng)計(jì)數(shù)字時(shí)，則在頁(yè)面下方顯示劃分至更細(xì)粒度的詳細(xì)數(shù)據(jù)，同時(shí)提供查詢和導(dǎo)出功能。

3 系統(tǒng)實(shí)現(xiàn)

數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的物理結(jié)構(gòu)主要包括數(shù)據(jù)交換中心服務(wù)器、數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器、數(shù)據(jù)管控中心服務(wù)器、數(shù)據(jù)備份服務(wù)器。平臺(tái)系統(tǒng)的部署設(shè)計(jì)如圖5所示。其中，數(shù)據(jù)交換中心主要負(fù)責(zé)各業(yè)務(wù)數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)之間的數(shù)據(jù)抽取、清洗和推送，部署ODI系統(tǒng)。數(shù)據(jù)管控中心負(fù)責(zé)對(duì)各類數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)接口的維護(hù)和管理;數(shù)據(jù)備份服務(wù)器主要負(fù)責(zé)對(duì)倉(cāng)庫(kù)數(shù)據(jù)的容災(zāi)備份。數(shù)據(jù)統(tǒng)計(jì)與分析系統(tǒng)服務(wù)器可同時(shí)擔(dān)任Web應(yīng)用服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器。在此部署方案中，充分考慮了平臺(tái)系統(tǒng)的整體穩(wěn)定性和可用性。平臺(tái)的各功能服務(wù)器盡量獨(dú)立，保證了系統(tǒng)的運(yùn)行效率和數(shù)據(jù)安全。

4 結(jié)束語(yǔ)

數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的構(gòu)建是基于高校對(duì)數(shù)據(jù)分析業(yè)務(wù)的實(shí)際需求建立的，完全依賴于高校各應(yīng)用系統(tǒng)的業(yè)務(wù)運(yùn)行情況，各個(gè)高校的業(yè)務(wù)需求及定義都不完全一樣，同時(shí)還有動(dòng)態(tài)調(diào)整的潛在需求。所以，構(gòu)建出來(lái)的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)也都各具特色。本文以湖南鐵道職業(yè)技術(shù)學(xué)院數(shù)據(jù)分析系統(tǒng)的構(gòu)建為例，簡(jiǎn)要介紹了數(shù)據(jù)倉(cāng)庫(kù)的一般構(gòu)建過(guò)程，研究剖析了一種數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的架構(gòu)設(shè)計(jì)機(jī)理，同時(shí)一并給出了該設(shè)計(jì)平臺(tái)的部署方案。該系統(tǒng)達(dá)到了既定需求，能夠靈活地對(duì)各類業(yè)務(wù)數(shù)據(jù)進(jìn)行整合分析，形成各類數(shù)據(jù)報(bào)表，為學(xué)校的相關(guān)的管理決策提供數(shù)據(jù)支撐。

參考文獻(xiàn)

[1]中華人民共和國(guó)教育部. 教育部關(guān)于印發(fā)《教育信息化2.0行動(dòng)計(jì)劃》的通知[EB/OL]. [2018-04-18]. http：//www.moe.edu.cn/srcsite/A16/s3342/201804/t20180425_334188.html.

[2] 吳振濤. 基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的數(shù)據(jù)集成在數(shù)字化校園中的應(yīng)用[J] . 電子設(shè)計(jì)工程， 2016， 24（9）：28-31.

[3] 龍新征，李麗，彭一明，等. 基于數(shù)據(jù)倉(cāng)庫(kù)的高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺(tái)研究[J]. 通信學(xué)報(bào)，2013，34（Z2）：163-169.

[4] 張孟春. 面向數(shù)據(jù)集成的分布式ETL研究與設(shè)計(jì)[J]. 軟件導(dǎo)刊， 2017，16（11）：197-199.

[5] 李欣. 高校信息門戶內(nèi)外網(wǎng)信息流轉(zhuǎn)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 成都：電子科技大學(xué)，2012.