朱宇華
摘要:建設(shè)資源節(jié)約型、環(huán)境友好型社會是中央的一項重要任務,高校作為社會構(gòu)成中的重要組成部分,資源占有量大,能源消耗量大,因此“節(jié)約型校園”建設(shè)勢在必行。該文以蘇州工藝美術(shù)職業(yè)技術(shù)學院校園一卡通系統(tǒng)的歷史流水為樣本,通過大數(shù)據(jù)技術(shù)對其進行清洗、轉(zhuǎn)換等操作,并最終加載到數(shù)據(jù)倉庫中,找出學院水能源損耗規(guī)律,發(fā)現(xiàn)平時未留意的問題,將學院“節(jié)約型校園”建設(shè)工作提升到一個新的臺階。
關(guān)鍵詞:節(jié)約型校園;數(shù)據(jù)倉庫;OLAP
中圖分類號:TP274 文獻標識碼:A 文章編號:1009-3044(2015)24-0013-03
中國是一個自然資源總量大國,又是一個人均資源小國,各類主要資源的人均占有量遠低于世界平均水平。長期以來,中國經(jīng)濟飛速發(fā)展,粗獷型的經(jīng)濟增長方式導致資源利用率低,浪費破壞現(xiàn)象嚴重,環(huán)境逐步惡化,資源的供需矛盾不斷加劇。為了有效緩解這種矛盾,中央將構(gòu)建“節(jié)約型社會”列為一項重要任務。中國的高校不僅是社會資源占有大戶,而且是能源消耗大戶,更是傳播節(jié)約理念,創(chuàng)造節(jié)約節(jié)能技術(shù)的基地,因此節(jié)約型校園的建設(shè)對整個國家的和諧發(fā)展具有非常重要的意義。
校園一卡通系統(tǒng)學院的各項工作中都起著重要的作用,每天都產(chǎn)生數(shù)以萬計的歷史數(shù)據(jù),這些數(shù)據(jù)均具有時效性,在報表完成后,其就變成了垃圾數(shù)據(jù),每到一定時間系統(tǒng)就將其自動覆蓋掉,但隨著大數(shù)據(jù)技術(shù)的發(fā)展和應用,如果將歷史數(shù)據(jù)變廢為寶,使其能夠為學院的輔助決策提供依據(jù)成為亟需解決的問題。本文以蘇州工藝美術(shù)職業(yè)技術(shù)學院的校園一卡通系統(tǒng)的歷史數(shù)據(jù)為樣本,通過大數(shù)據(jù)技術(shù)的綜合使用,找出學院水能消耗規(guī)律,為學院的水能調(diào)配工作提供事實依據(jù),從而將學院的節(jié)約型校園工作提升到一個新的臺階。
1 數(shù)據(jù)倉庫技術(shù)簡介
1.1 數(shù)據(jù)倉庫簡介
到底什么叫數(shù)據(jù)倉庫?這可能是每一個技術(shù)人員剛剛接觸數(shù)據(jù)倉庫時都會問的問題,有人說它是一個特別大的數(shù)據(jù)庫,也有人說它是一種數(shù)據(jù)管理和分析的技術(shù),其實這些都從側(cè)面反映了數(shù)據(jù)倉庫的概念。
目前,業(yè)內(nèi)公認的數(shù)據(jù)倉庫概念的概念是由美國著名信息工程學家 W. H. Inmon 在他的《Building the Data Warehouse》一書中定義的,即數(shù)據(jù)倉庫是集成的反映歷史變化的(Time-variant)、(Integrated)、穩(wěn)定的(Non-volatile)、面向主題的(Subject-oriented)數(shù)據(jù)集合,用于決策支持。正如Inmon所說的,數(shù)據(jù)倉庫具有以下特點:
(1) 面向主題的
與OLTP事務性數(shù)據(jù)庫相比,數(shù)據(jù)倉庫中的數(shù)據(jù)是面向主題進行組織的。主題就是指將信息系統(tǒng)中的數(shù)據(jù)綜合歸類并進行分析利用的抽象。
(2) 數(shù)據(jù)倉庫的數(shù)據(jù)是集成的
為了更易于訪問和減少用戶的查詢相應時間,應把數(shù)據(jù)從數(shù)據(jù)源中提取到數(shù)據(jù)倉庫中,而這些被提取的屬于應該進過數(shù)據(jù)預處理,將原始數(shù)據(jù)做出又應用層面到面相主題層面的轉(zhuǎn)變。
(3) 不可更新的
數(shù)據(jù)倉庫的數(shù)據(jù)主要是為了決策分析之用,一般情況下并不進行修改操作。數(shù)據(jù)倉庫的數(shù)據(jù)相對數(shù)據(jù)庫管理系統(tǒng)要簡單很多,可以最大限度地對數(shù)據(jù)倉庫進行性能優(yōu)化。
(4) 隨時間不斷變化的
數(shù)據(jù)倉庫中的數(shù)據(jù)雖穩(wěn)定,數(shù)據(jù)倉庫隨著時間的積累,其中也會不斷增加新的數(shù)據(jù)內(nèi)容和去除過去的數(shù)據(jù)內(nèi)容。
1.2 數(shù)據(jù)倉庫和數(shù)據(jù)庫的比較
傳統(tǒng)數(shù)據(jù)庫是為特定的應用服務,它的相應時間、數(shù)據(jù)安全性和完整性是人們主要關(guān)心的方面。因此,數(shù)據(jù)庫提供完善的數(shù)據(jù)鎖、事務日志和并發(fā)控制等機制,可以安全可靠的處理業(yè)務。而數(shù)據(jù)倉庫雖然是又數(shù)據(jù)基礎(chǔ)上發(fā)展而來,但是它更多的作用是為復雜的數(shù)據(jù)分析和高層決策提供支持。盡管目前的數(shù)據(jù)倉庫還是采用關(guān)系數(shù)據(jù)庫來實現(xiàn),但是他們面相的應用已是不同,無論是在數(shù)據(jù)模型的設(shè)計還是數(shù)據(jù)的物理組織上都存在很大的差異如表1所示:
2 數(shù)據(jù)倉庫工具簡介
隨著大數(shù)據(jù)技術(shù)越來越被人所重視,各大軟件廠商積極投入到數(shù)據(jù)倉庫解決方案的競爭中,形成了諸侯紛爭的局面,但截至目前為止,還沒有形成某一家廠商的產(chǎn)品壟斷的局面。本文選用Microsoft的SQL server 2005作為數(shù)據(jù)倉庫工具。
Microsoft SQL server 2005有兩大體系,一是關(guān)于數(shù)據(jù)庫管理的,一是關(guān)于商業(yè)智能應用的。其中商業(yè)智能方面SQL Server 2005提供了三大服務,分別是:SQL Server 2005 Analysis Services(SSAS)、SQL Server 2005 Integration Services(SSIS)、SQL Server 2005 Reporting Services(SSRS),其體系結(jié)構(gòu)如圖1所示:
本文通過使用SSIS服務從各種異構(gòu)數(shù)據(jù)源中整合業(yè)務數(shù)據(jù),構(gòu)建能耗分析數(shù)據(jù)倉庫,再使用SSAS服務構(gòu)建數(shù)據(jù)立方(Cube),也就是多維數(shù)據(jù)集,最后進行OLAP分析。
3 項目具體實施步驟
能耗分析數(shù)據(jù)倉庫的構(gòu)建工作主要分為以下幾個步驟:
3.1 校園一卡通系統(tǒng)數(shù)據(jù)理解建立數(shù)據(jù)倉庫模型
首先,需要對校園一卡通的業(yè)務數(shù)據(jù)進行詳盡的了解,進而確定分析主題。經(jīng)了解,校園一卡通包含了學生消費、圖書借閱、考勤等多種數(shù)據(jù),此次目的是對學院的水能消耗情況進行一個宏觀觀察,因此選取學生消費信息中的水能消費流水為基礎(chǔ),建立能耗分析主題,抽取相關(guān)數(shù)據(jù),建立數(shù)據(jù)倉庫模型,模型如圖2所示:
3.2 校園一卡通數(shù)據(jù)預處理
因為現(xiàn)實中的數(shù)據(jù)或多或少的都會存在數(shù)據(jù)不完整,數(shù)據(jù)不一致和包含不需要的成分等各種問題,而這些問題會給分析結(jié)果帶來干擾,因此為了提高數(shù)據(jù)分析結(jié)果的準確性,數(shù)據(jù)預處理非常的重要。
經(jīng)查詢發(fā)現(xiàn),校園一卡通數(shù)據(jù)庫中由于賬戶的異動、讀卡錯誤、流水丟失等問題,也產(chǎn)生了部分噪聲數(shù)據(jù),需要通過數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)歸約等技術(shù)對校園一卡通數(shù)據(jù)庫內(nèi)的噪聲數(shù)據(jù)進行預處理,其主要過程如圖3所示:
3.3維度的設(shè)計與建立
根據(jù)E-R模型,分別建立學生維度表、商戶維度表、時間維度表和事實表,在此只展示商戶維度表(如表2)和事實維度表(如表3),其他類似。
鑒于時間維度表的特殊性,不能夠從校園一卡通數(shù)據(jù)庫中直接抽取,因此需要使用SQL對其進行轉(zhuǎn)換,其部分代碼如下:
SELECT @addday = 1
SELECT @dDate = '08/31/2013' --開始日期
WHILE @dDate < '08/31/2014' --結(jié)束日期
BEGIN
SELECT @Month = DATENAME( mm, @dDate )
SELECT @DayOfMonth = DATENAME ( dd, @dDate )
SELECT @ WeekString = DATENAME ( dw, @dDate )
SELECT @Year = DATENAME ( yy, @dDate )
SELECT @MonthOfYea r = DATEPART( month, @dDate )
SELECT @WeekOfYea = DATENAME ( week, @dDate )
SELECT @Quarter = 'Q' + CAST (DATENAME ( quarter, @dDate ) as varchar(1))
End
3.4 使用OLAP進行分析處理
接下來通過SQL Server數(shù)據(jù)倉庫工具對數(shù)據(jù)源和維度表進行設(shè)置即可形成數(shù)據(jù)立方體,然后通過OLAP聯(lián)機分析處理技術(shù)對其進行鉆取、切片、旋轉(zhuǎn)對學院的水能消耗情況進行一個全方位立體分析,將分析結(jié)果通過excel透析表方式進行呈現(xiàn),結(jié)果如圖4所示:
從上圖可以看出,有的月份用水量較高,而有的月份用水量偏少,結(jié)合學院的自身情況和天氣規(guī)律,就很容易找到學院水能消耗規(guī)律,從而有針對性的調(diào)配水資源。
4 結(jié)論和展望
通過對數(shù)據(jù)倉庫技術(shù)和OLAP聯(lián)機分析處理技術(shù)的綜合運用,對校園一卡通數(shù)據(jù)庫內(nèi)的歷史數(shù)據(jù)完成了篩選,清洗,加載等操作,建立了水能消耗數(shù)據(jù)倉庫,找到了學院水能消耗規(guī)律,為學院后勤對水能的供應調(diào)配,提供了事實依據(jù),既滿足了學生的用水,又防止了盲目供熱,浪費能源,最大限度地節(jié)約了學院能源損耗。
落實科學發(fā)展觀、建設(shè)生態(tài)文明是全社會的一項重要舉措,節(jié)約型校園的建設(shè)對全社會有著重要的現(xiàn)實意義。水資源作為我國珍貴的稀缺資源,本文通過先進的技術(shù)手段,對學院的水資源的合理調(diào)配,最大限度地節(jié)約了水能消耗,既滿足了學院廣大師生的需求,又切實地將節(jié)約型校園工作落到了實處。同樣,依照此方法,也可以對學院的其他能源做出相應的處理,最終形成學院能耗檢測平臺,使學院的節(jié)能減排工作上升到一個新的臺階。
參考文獻:
[1] 中華人民共和國住房和城鄉(xiāng)建設(shè)部、教育部.高等學校節(jié)約型校園建設(shè)管理與技術(shù)導則(試行)[S],2008.
[2] 張福麟.高校節(jié)約型校園建設(shè)示范進展及工作要求[Z].
[3] 建科[2008]90號.中華人民共和國住房和城鄉(xiāng)建設(shè)部、教育部關(guān)于推進高等學校節(jié)約型校園建設(shè)進一步加強高等學校節(jié)能節(jié)水工作的意見[S].