修國(guó)林,黃雨筍,李國(guó)清,胡乃聯(lián),侯 杰,黃樹(shù)巍
(1.北京科技大學(xué)金屬礦山高效開(kāi)采與安全教育部重點(diǎn)實(shí)驗(yàn)室,北京 100083;2.山東黃金集團(tuán)有限公司,山東 濟(jì)南 250100)
基于敏捷型BI的礦業(yè)集團(tuán)生產(chǎn)信息分析模型
修國(guó)林1,2,黃雨筍1,李國(guó)清1,胡乃聯(lián)1,侯 杰1,黃樹(shù)巍1
(1.北京科技大學(xué)金屬礦山高效開(kāi)采與安全教育部重點(diǎn)實(shí)驗(yàn)室,北京100083;2.山東黃金集團(tuán)有限公司,山東 濟(jì)南250100)
為了解決礦業(yè)集團(tuán)底層生產(chǎn)運(yùn)營(yíng)數(shù)據(jù)難以交互分析、無(wú)法直接轉(zhuǎn)換為戰(zhàn)略層面上集成信息,易形成數(shù)據(jù)孤島的問(wèn)題,本文基于敏捷型BI實(shí)施方案,采用多種現(xiàn)代化信息技術(shù)快速構(gòu)建了礦業(yè)集團(tuán)生產(chǎn)信息多維數(shù)據(jù)模型,并完成了相關(guān)的數(shù)據(jù)分析。從集團(tuán)管控模式的角度出發(fā),在科學(xué)規(guī)劃生產(chǎn)數(shù)據(jù)的基礎(chǔ)之上,進(jìn)行了可視化的數(shù)據(jù)ETL處理和主題域的確定,搭建了礦業(yè)集團(tuán)生產(chǎn)信息數(shù)據(jù)倉(cāng)庫(kù),構(gòu)建了生產(chǎn)信息多維數(shù)據(jù)模型,利用OLAP技術(shù)對(duì)模型進(jìn)行了多角度、深層次的分析與研究,最后采用敏捷型BI工具實(shí)現(xiàn)了生產(chǎn)信息可視化的多維分析操作與圖形展示。通過(guò)敏捷型BI生產(chǎn)信息分析模型在國(guó)內(nèi)某大型礦業(yè)集團(tuán)的應(yīng)用,實(shí)現(xiàn)了集團(tuán)下屬礦山企業(yè)生產(chǎn)運(yùn)營(yíng)數(shù)據(jù)的匯總、統(tǒng)計(jì)分析及異常預(yù)警,促進(jìn)了礦業(yè)集團(tuán)生產(chǎn)信息智能分析和科學(xué)決策能力的提升。
礦業(yè)集團(tuán);生產(chǎn)信息;商業(yè)智能;敏捷型BI;多維數(shù)據(jù)模型
礦業(yè)集團(tuán)是現(xiàn)代礦山企業(yè)發(fā)展的高級(jí)組織形式之一,集團(tuán)管控模式可以針對(duì)宏觀戰(zhàn)略目標(biāo),通過(guò)層級(jí)管理的控制、資源的協(xié)調(diào)分配、生產(chǎn)經(jīng)營(yíng)的風(fēng)險(xiǎn)控制,進(jìn)而優(yōu)化業(yè)務(wù)流程和組織架構(gòu),使成員企業(yè)集中資源要素、減少內(nèi)耗,最終達(dá)到最佳運(yùn)作效率并實(shí)現(xiàn)更好的經(jīng)濟(jì)和社會(huì)效益[1]。礦業(yè)集團(tuán)化經(jīng)營(yíng)可以實(shí)現(xiàn)專(zhuān)業(yè)化經(jīng)營(yíng)與集團(tuán)化管理的雙重優(yōu)勢(shì),但這種管控模式也存在著管理層級(jí)復(fù)雜、管控集中程度多樣化、成員企業(yè)生產(chǎn)類(lèi)型與產(chǎn)品類(lèi)型個(gè)性突出等諸多不利因素的影響。
在集團(tuán)管控模式下,管理者需要隨時(shí)了解和掌握集團(tuán)下屬企業(yè)的生產(chǎn)運(yùn)營(yíng)情況,包括生產(chǎn)數(shù)據(jù)、財(cái)務(wù)成本、技術(shù)經(jīng)濟(jì)指標(biāo)等信息,并通過(guò)對(duì)生產(chǎn)狀況的綜合分析,及時(shí)發(fā)現(xiàn)生產(chǎn)經(jīng)營(yíng)過(guò)程中存在的問(wèn)題,進(jìn)而改進(jìn)集團(tuán)及其下屬企業(yè)的計(jì)劃規(guī)劃,輔助企業(yè)的經(jīng)營(yíng)決策[2-4]。礦業(yè)集團(tuán)目前處理底層生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)的方式是報(bào)表系統(tǒng),然而礦山企業(yè)的生產(chǎn)與經(jīng)濟(jì)指標(biāo)體系龐雜,呈現(xiàn)數(shù)據(jù)量大、維度多、統(tǒng)計(jì)路徑多樣化等特點(diǎn),隨著生產(chǎn)數(shù)據(jù)的增多和集團(tuán)需求的提高,傳統(tǒng)的報(bào)表系統(tǒng)逐漸面臨數(shù)據(jù)量豐富、信息知識(shí)匱乏,難以交互分析、形成數(shù)據(jù)孤島等問(wèn)題[5]。為此,本文針對(duì)礦業(yè)集團(tuán)生產(chǎn)運(yùn)營(yíng)管理特點(diǎn),借助現(xiàn)代信息技術(shù)手段,引入商業(yè)智能(BI)技術(shù)。
商業(yè)智能是一套完整的解決方案,用來(lái)將企業(yè)中現(xiàn)有數(shù)據(jù)進(jìn)行有效整合,快速準(zhǔn)確地提供圖表分析與決策依據(jù),幫助企業(yè)管理者做出明智的業(yè)務(wù)經(jīng)營(yíng)決策,其關(guān)鍵技術(shù)是數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、OLAP技術(shù)和數(shù)據(jù)挖掘技術(shù)。隨著信息時(shí)代的來(lái)臨,大部分礦山企業(yè)已經(jīng)建立了比較完善的CRM、ERP、OA等基礎(chǔ)信息化系統(tǒng),可以實(shí)現(xiàn)簡(jiǎn)單的信息查詢與決策支持,山東某黃金礦山在此基礎(chǔ)上應(yīng)用商業(yè)智能中的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)研究了礦山成本問(wèn)題,構(gòu)建了黃金礦山成本分析模型,實(shí)現(xiàn)了黃金礦山成本考察和成本分析的目的。傳統(tǒng)BI實(shí)施方案在解決單一特定問(wèn)題上十分有效,但其大數(shù)據(jù)分析能力和靈活性較差,分析能力滯后,而且相關(guān)項(xiàng)目耗資不菲、實(shí)施周期極長(zhǎng)、對(duì)人才要求高。本文研究礦業(yè)集團(tuán)生產(chǎn)信息,數(shù)據(jù)龐雜,需求靈活多變,應(yīng)用傳統(tǒng)BI實(shí)施方案可能會(huì)導(dǎo)致投入與收益不成正比,因此采用貼近現(xiàn)代企業(yè)經(jīng)營(yíng)需求,可實(shí)現(xiàn)快速部署、需求多變、靈活易用的敏捷型BI,完成礦業(yè)集團(tuán)生產(chǎn)信息分析模型的構(gòu)建。
商業(yè)智能的關(guān)鍵是通過(guò)數(shù)據(jù)ETL過(guò)程從海量生產(chǎn)運(yùn)營(yíng)數(shù)據(jù)中提取出有用的部分,再利用合適的查詢和分析工具對(duì)其進(jìn)行分析和處理(這時(shí)數(shù)據(jù)變?yōu)檩o助決策的知識(shí)),最后將知識(shí)呈現(xiàn)給管理者,為管理者的決策過(guò)程提供數(shù)據(jù)支持[6]。敏捷型BI是在商業(yè)智能的基礎(chǔ)上,使用可視化ETL流程操作,動(dòng)態(tài)的內(nèi)存數(shù)據(jù)立方體技術(shù),并行計(jì)算的先進(jìn)數(shù)據(jù)處理模式,根據(jù)用戶需求形成快而有效、靈活易用的實(shí)施方案。敏捷型BI的主要特性和優(yōu)點(diǎn)如下所述。
1)快速部署。敏捷型BI采用了分布式計(jì)算、內(nèi)存計(jì)算、列存儲(chǔ)以及庫(kù)內(nèi)計(jì)算等技術(shù),這樣大數(shù)據(jù)量處理不再依賴預(yù)計(jì)算即可快速完成,數(shù)據(jù)處理速度得到大幅度提升。面對(duì)礦業(yè)集團(tuán)億級(jí)數(shù)據(jù)量,敏捷型BI實(shí)施方案也可以做到快速部署,最快一周左右即可上線。
2)可視化ETL流程。敏捷型BI支持豐富的數(shù)據(jù)源連接,以及可視化的ETL工具幫助企業(yè)進(jìn)行多樣數(shù)據(jù)整合;并通過(guò)智能的字段名稱轉(zhuǎn)義和關(guān)聯(lián)手段,讓數(shù)據(jù)具有更強(qiáng)的可讀性。礦業(yè)集團(tuán)無(wú)需引進(jìn)專(zhuān)業(yè)技術(shù)人才,業(yè)務(wù)人員也不用編輯代碼和腳本,所見(jiàn)即所得,可快捷地完成數(shù)據(jù)ETL流程。
3)動(dòng)態(tài)的內(nèi)存數(shù)據(jù)立方體(Cube)。敏捷型BI完成數(shù)據(jù)ETL清洗轉(zhuǎn)換后,即可存儲(chǔ)到Cube中,并按照業(yè)務(wù)數(shù)據(jù)包進(jìn)行分類(lèi)管理,方便業(yè)務(wù)人員進(jìn)行前端數(shù)據(jù)分析。不同的業(yè)務(wù)人員操作不同的業(yè)務(wù)數(shù)據(jù)包,一個(gè)業(yè)務(wù)數(shù)據(jù)包中可包含多個(gè)Cube,Cube中的數(shù)據(jù)可實(shí)時(shí)動(dòng)態(tài)調(diào)整。礦業(yè)集團(tuán)數(shù)據(jù)多樣、指標(biāo)眾多、分析主題動(dòng)態(tài)化且多樣化,敏捷型BI可根據(jù)主題建立業(yè)務(wù)數(shù)據(jù)包,再根據(jù)分析的指標(biāo)建立Cube,相應(yīng)的業(yè)務(wù)人員只有固定的Cube操作權(quán)限,使得工作快捷高效地進(jìn)行。
4)輕量建模,N個(gè)視圖。與傳統(tǒng)BI的重量建模、統(tǒng)一視圖不同,敏捷BI采取輕量建模、N個(gè)視圖的方法,不需建二次表,數(shù)據(jù)導(dǎo)入后可直接進(jìn)行分析。操作人員可快速建立分析主題,并且可以實(shí)時(shí)調(diào)整分析維度和度量計(jì)算方式,極大增加了分析的靈活性和實(shí)用性,真正做到操作人員和數(shù)據(jù)對(duì)話。礦業(yè)集團(tuán)領(lǐng)導(dǎo)不需要再通過(guò)業(yè)務(wù)人員定制報(bào)表,自己即可通過(guò)可視化的操作進(jìn)行分析和探索,而且分析主題靈活多變,固定分析主題與臨時(shí)分析主題并重,真正做到經(jīng)營(yíng)決策及時(shí)調(diào)整。
5)低成本。敏捷型BI降低了數(shù)據(jù)分析學(xué)習(xí)和操作的門(mén)檻,隨之降低了對(duì)業(yè)務(wù)人員的要求;同時(shí)降低了項(xiàng)目實(shí)施難度,縮短了項(xiàng)目周期,隨之降低的還有項(xiàng)目風(fēng)險(xiǎn)性,敏捷型BI從整體上降低了項(xiàng)目成本。因此在礦業(yè)形勢(shì)低迷的現(xiàn)階段,敏捷型BI也是十分適用的。
通過(guò)對(duì)敏捷型BI概念、特性和優(yōu)點(diǎn)的分析,可以發(fā)現(xiàn)敏捷型BI不僅能夠?qū)崿F(xiàn)商業(yè)智能將原始數(shù)據(jù)轉(zhuǎn)換為決策知識(shí)的功能,而且更快、更簡(jiǎn)單、成本更低、適用性更好。面對(duì)礦業(yè)集團(tuán)數(shù)據(jù)多樣、指標(biāo)眾多、分析主題動(dòng)態(tài)化且多樣化、固定分析主題與臨時(shí)分析主題并重等問(wèn)題,采用敏捷型BI實(shí)施方案,無(wú)需引進(jìn)專(zhuān)業(yè)人才,只需提供底層數(shù)據(jù),再經(jīng)過(guò)可視化的數(shù)據(jù)ETL處理,建立動(dòng)態(tài)的內(nèi)存數(shù)據(jù)立方體,即可組成生產(chǎn)信息分析模型;同時(shí)可以實(shí)現(xiàn)數(shù)據(jù)的圖表可視化和OLAP分析,使數(shù)據(jù)快捷地變成輔助決策的知識(shí)。
目前大部分礦山企業(yè)單位已建立了比較完善的CRM、ERP、OA等基礎(chǔ)信息化系統(tǒng),這些系統(tǒng)的統(tǒng)一特點(diǎn)是:通過(guò)礦山業(yè)務(wù)人員或者用戶的操作,對(duì)礦山數(shù)據(jù)庫(kù)進(jìn)行查看、增加、修改、刪除等操作。上述系統(tǒng)可統(tǒng)稱為OLTP(Online Transaction Process,在線事務(wù)處理),OLTP系統(tǒng)運(yùn)行了一段時(shí)間以后,會(huì)幫助礦山企業(yè)收集大量的生產(chǎn)運(yùn)營(yíng)數(shù)據(jù),而這些數(shù)據(jù)最終將匯總到礦業(yè)集團(tuán)的數(shù)據(jù)庫(kù)中。集團(tuán)方面處理這些數(shù)據(jù)的方式是相關(guān)業(yè)務(wù)人員根據(jù)決策者的需求進(jìn)行報(bào)表定制,即報(bào)表系統(tǒng),然而隨著生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)的增多和礦業(yè)集團(tuán)需求的提高,使得礦業(yè)集團(tuán)生產(chǎn)經(jīng)營(yíng)決策過(guò)程更為復(fù)雜,這也促使生產(chǎn)信息的分析過(guò)程出現(xiàn)了一些新的需求。
1)數(shù)據(jù)的集成化與規(guī)范化[7]。現(xiàn)階段礦山企業(yè)已建立了比較完善的基礎(chǔ)信息化系統(tǒng),每天會(huì)收集大量的數(shù)據(jù)信息并通過(guò)互聯(lián)網(wǎng)匯總至礦業(yè)集團(tuán)的數(shù)據(jù)庫(kù)中,數(shù)據(jù)量豐富但信息知識(shí)匱乏,數(shù)據(jù)利用率較低。因此,集團(tuán)需要構(gòu)建標(biāo)準(zhǔn)化的數(shù)據(jù)倉(cāng)庫(kù),從存儲(chǔ)方式、數(shù)據(jù)結(jié)構(gòu)、處理邏輯等方面規(guī)范礦業(yè)集團(tuán)大規(guī)模數(shù)據(jù)的集成方式。
2)需求多變,分析多樣。礦業(yè)集團(tuán)管理層級(jí)復(fù)雜、管控集中程度多樣化、成員企業(yè)生產(chǎn)類(lèi)型與產(chǎn)品類(lèi)型個(gè)性突出,導(dǎo)致不同部門(mén)、不同層級(jí)的領(lǐng)導(dǎo)需要了解的信息不同,需要分析的主題不同;傳統(tǒng)的報(bào)表定制,無(wú)法滿足分析的動(dòng)態(tài)性和個(gè)人定制性。因此,采用敏捷型BI實(shí)施方案,可根據(jù)分析主題建立業(yè)務(wù)數(shù)據(jù)包,再根據(jù)分析的指標(biāo)建立Cube,使用可視化的操作,所見(jiàn)即所得的自助式數(shù)據(jù)分析模式,滿足集團(tuán)領(lǐng)導(dǎo)靈活多變的分析需求。
3)智能分析,科學(xué)決策。面對(duì)礦業(yè)集團(tuán)的海量數(shù)據(jù)和復(fù)雜多變的經(jīng)濟(jì)環(huán)境,需要根據(jù)清理分類(lèi)后的生產(chǎn)信息捕獲分析主題,并對(duì)主題進(jìn)行多層次、多角度、全方位立體式分析與挖掘,才能為集團(tuán)分析下屬礦山企業(yè)生產(chǎn)狀況提供準(zhǔn)確的數(shù)據(jù)支持,傳統(tǒng)的技術(shù)難以完成。因此,需要建立生產(chǎn)運(yùn)營(yíng)信息的多維數(shù)據(jù)模型,從模型中捕獲分析主題,并采取切片、切塊、鉆取、切換維度等多種分析動(dòng)作來(lái)剖析主題中的數(shù)據(jù),深入地了解包含在數(shù)據(jù)中的知識(shí),幫助集團(tuán)領(lǐng)導(dǎo)做出科學(xué)決策。
4)快速部署,實(shí)時(shí)調(diào)整。集團(tuán)領(lǐng)導(dǎo)需要隨時(shí)了解和掌握集團(tuán)下屬企業(yè)的生產(chǎn)運(yùn)營(yíng)情況,及時(shí)發(fā)現(xiàn)問(wèn)題,進(jìn)而改進(jìn)集團(tuán)及其下屬企業(yè)的計(jì)劃規(guī)劃;并且領(lǐng)導(dǎo)的分析需求多變,需要從多種角度分析數(shù)據(jù),但傳統(tǒng)BI實(shí)施方案部署周期長(zhǎng),需求定制,無(wú)法滿足集團(tuán)領(lǐng)導(dǎo)需求的靈活性。因此,選擇采用敏捷型BI實(shí)施方案,做到快速部署、實(shí)時(shí)調(diào)整分析維度和度量計(jì)算方式等,極大增加靈活性,真正做到和數(shù)據(jù)對(duì)話。
敏捷型BI是在商業(yè)智能的基礎(chǔ)之上,使用可視化的ETL流程、動(dòng)態(tài)的內(nèi)存數(shù)據(jù)立方體技術(shù)、并行計(jì)算的先進(jìn)數(shù)據(jù)處理模式,并根據(jù)業(yè)務(wù)數(shù)據(jù)包捕獲分析主題,構(gòu)建相應(yīng)的數(shù)據(jù)立方體,大大加快了數(shù)據(jù)處理與分析的速度,而且易用性與靈活性更強(qiáng),更加貼近現(xiàn)代礦業(yè)集團(tuán)的經(jīng)營(yíng)需求。敏捷型BI的具體實(shí)施流程如圖1所示。
采用敏捷型BI實(shí)施方案,底層數(shù)據(jù)在導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)之前,必須由數(shù)據(jù)抽取和轉(zhuǎn)換層(ETL)進(jìn)行數(shù)據(jù)清理、合并、轉(zhuǎn)換及其他信息集成工作。數(shù)據(jù)倉(cāng)庫(kù)提供了生產(chǎn)信息分析模型的基礎(chǔ)數(shù)據(jù),可實(shí)現(xiàn)大量細(xì)節(jié)數(shù)據(jù)和綜合性數(shù)據(jù)的存儲(chǔ),敏捷型BI采用了動(dòng)態(tài)的內(nèi)存數(shù)據(jù)立方體技術(shù),可將數(shù)據(jù)倉(cāng)庫(kù)劃分為多個(gè)業(yè)務(wù)數(shù)據(jù)包,每個(gè)業(yè)務(wù)數(shù)據(jù)包中包含多個(gè)數(shù)據(jù)立方體(Cube),后續(xù)的OLAP分析和數(shù)據(jù)挖掘操作,都可以在Cube上完成的。OLAP服務(wù)器可以根據(jù)業(yè)務(wù)數(shù)據(jù)包中自動(dòng)捕獲的分析主題進(jìn)行分析,也可以迅速地響應(yīng)用戶的各種查詢及分析要求,并能根據(jù)數(shù)據(jù)之間的關(guān)聯(lián)對(duì)數(shù)據(jù)進(jìn)行快速、靈活的計(jì)算和轉(zhuǎn)換;前端信息展示可部署所需的各種圖表分析,而且可自主調(diào)節(jié)數(shù)據(jù)的分析維度、指標(biāo)、方式等,將二維或多維數(shù)據(jù)生動(dòng)形象地顯示給集團(tuán)生產(chǎn)運(yùn)營(yíng)管理人員。
數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建的主要工作包括收集、分析和確認(rèn)業(yè)務(wù)分析需求,分析和理解主體和元數(shù)據(jù)、事實(shí)及其量度、粒度和維度的選擇與設(shè)計(jì)、數(shù)據(jù)倉(cāng)庫(kù)的物理存儲(chǔ)方式選擇等[8]。主要過(guò)程包括概念模型構(gòu)建、邏輯模型構(gòu)建和物理模型構(gòu)建,具體如圖2所示。
2.3.1 概念模型構(gòu)建
概念模型構(gòu)建的主要工作可以分兩個(gè)步驟:首先分析用戶的決策需求,其次分析實(shí)現(xiàn)這些決策需求所需的數(shù)據(jù)。
礦業(yè)集團(tuán)領(lǐng)導(dǎo)主要的決策需求是了解旗下礦山企業(yè)的生產(chǎn)運(yùn)營(yíng)狀況,及時(shí)發(fā)現(xiàn)生產(chǎn)經(jīng)營(yíng)存在的問(wèn)題。實(shí)現(xiàn)這些需求需要對(duì)礦山的生產(chǎn)信息進(jìn)行分析,礦山的生產(chǎn)信息主要包括地質(zhì)資源信息、礦山產(chǎn)品信息、運(yùn)營(yíng)收入信息、物資設(shè)備信息、安全環(huán)保信息等,其中地質(zhì)資源信息主要包括礦山地質(zhì)資源儲(chǔ)量、備采礦量和三級(jí)礦量等地質(zhì)方面數(shù)據(jù);礦石產(chǎn)品信息主要包括原礦產(chǎn)品和精礦產(chǎn)品等方面的數(shù)據(jù);運(yùn)營(yíng)收入信息包括銷(xiāo)售收入、銷(xiāo)售價(jià)格和成本費(fèi)用等財(cái)務(wù)方面的數(shù)據(jù);物資設(shè)備信息主要包括物資供應(yīng)和設(shè)備管理等方面的數(shù)據(jù);安全環(huán)保信息主要包括安全生產(chǎn)和環(huán)保管理等方面的數(shù)據(jù)。
綜上所述,根據(jù)集團(tuán)領(lǐng)導(dǎo)的決策需求及礦山生產(chǎn)活動(dòng)的實(shí)際劃分主題域如圖3所示。
圖1 敏捷型BI的實(shí)施流程圖
圖2 生產(chǎn)信息數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建過(guò)程框架圖
圖3 生產(chǎn)信息主題域劃分框架圖
2.3.2 邏輯模型構(gòu)建
邏輯模型構(gòu)建的主要工作是對(duì)概念模型構(gòu)建中所劃分的主題域進(jìn)行分析以及對(duì)事實(shí)表和維度表進(jìn)行設(shè)計(jì)。在概念模型中已經(jīng)劃分出地質(zhì)資源、礦石產(chǎn)品、運(yùn)營(yíng)收入、物資設(shè)備以及安全環(huán)保五個(gè)主題域,表1對(duì)各個(gè)主題域進(jìn)行了詳細(xì)分析,具體如表1所示。
數(shù)據(jù)倉(cāng)庫(kù)的每個(gè)主題是由多個(gè)數(shù)據(jù)表來(lái)實(shí)現(xiàn)的,這些表之間依靠主題的公共碼鍵聯(lián)系在一起,形成一個(gè)完整的數(shù)據(jù)結(jié)構(gòu)。在邏輯模型構(gòu)建中,主要考慮數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)及完整性,保證數(shù)據(jù)倉(cāng)庫(kù)所有數(shù)據(jù)元素包含在數(shù)據(jù)模型中。其重點(diǎn)是細(xì)化數(shù)據(jù),以星型模型或雪花型模型為基礎(chǔ),明確事實(shí)表和維度表,并在事實(shí)表和維度表中添加屬性。
表1 主題域詳細(xì)分析
1)事實(shí)表設(shè)計(jì)。度量值選取本月實(shí)際、本月計(jì)劃、本季計(jì)劃、本年累計(jì)、年計(jì)劃、去年同期。
2)維度表設(shè)計(jì)。將時(shí)間、企業(yè)、指標(biāo)定義為分析維度。其中時(shí)間維度形成月、季度、年的層級(jí)結(jié)構(gòu);企業(yè)維度形成礦山成員、二級(jí)公司、集團(tuán)的層次結(jié)構(gòu);指標(biāo)維度則形成具體指標(biāo)、指標(biāo)類(lèi)型的層次結(jié)構(gòu)。
3)數(shù)據(jù)立方體。數(shù)據(jù)立方體是一組維和度量的集合,也稱多維數(shù)據(jù)集。度量來(lái)自事實(shí)表,維來(lái)自維度表,從底層的維度表中讀取維的數(shù)據(jù),構(gòu)建維的結(jié)構(gòu),創(chuàng)建層次,將成員指派到層次中合適的級(jí)別。度量的聚集是基于維的層次來(lái)聚集,以特定的結(jié)構(gòu)存儲(chǔ)預(yù)先計(jì)算的聚集,通過(guò)索引幫助查詢聚集數(shù)據(jù)并實(shí)時(shí)返回查詢分析的結(jié)果。
2.3.3 物理模型構(gòu)建
物理模型是邏輯模型在物理系統(tǒng)的實(shí)現(xiàn)模式。包括特定的邏輯模型中的各種實(shí)體,例如,關(guān)系表的數(shù)據(jù)結(jié)構(gòu)類(lèi)型,索引策略、數(shù)據(jù)存儲(chǔ)位置和數(shù)據(jù)的存儲(chǔ)分配等。在物理模型構(gòu)建和實(shí)施中,要考慮的因素包括:I/O訪問(wèn)時(shí)間,空間利用率和維護(hù)成本[10]。
在本次物理模型構(gòu)建中,主要進(jìn)行存儲(chǔ)方式的選擇。關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)方式所需的查詢時(shí)間較長(zhǎng),但它所需存儲(chǔ)空間較小、查詢性能好、可以處理大量數(shù)據(jù),而且邏輯模型劃分的主題域較多,同時(shí)元數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中。根據(jù)綜合性數(shù)據(jù)的組織方式,從運(yùn)算速度、磁盤(pán)容量等方面綜合考慮,本模型對(duì)多維數(shù)據(jù)集采用關(guān)系型數(shù)據(jù)庫(kù)方式存儲(chǔ)。
與傳統(tǒng)BI的重量建模、統(tǒng)一視圖不同,敏捷型BI采取輕量建模、N個(gè)視圖的方法,不需建二次表,數(shù)據(jù)連進(jìn)來(lái)直接可以進(jìn)行分析,同時(shí)敏捷型BI采用分布式計(jì)算、內(nèi)存計(jì)算、列存儲(chǔ)、庫(kù)內(nèi)計(jì)算等技術(shù),使得數(shù)據(jù)處理速度有了大幅度提升,可迅速響應(yīng)操作人員的查詢及分析要求。操作人員可快速建立分析主題,并且可以實(shí)時(shí)調(diào)整分析維度和度量計(jì)算方式,極大增加了分析的靈活性和實(shí)用性,真正做到操作人員和數(shù)據(jù)對(duì)話。敏捷型BI建模方式如圖4所示。
圖4 輕量建模、N個(gè)視圖
傳統(tǒng)BI做分析是通過(guò)組織一批數(shù)據(jù),或者通過(guò)新建查詢從數(shù)據(jù)倉(cāng)庫(kù)中得到主題相關(guān)的數(shù)據(jù)表,再通過(guò)組織查詢來(lái)構(gòu)建多維數(shù)據(jù)模型,這種方式弊端十分明顯,主要是流程復(fù)雜,專(zhuān)業(yè)要求性極高,而且面對(duì)大數(shù)據(jù)量時(shí),查詢復(fù)雜繁瑣,構(gòu)建模型困難。而敏捷型BI則是使用了業(yè)務(wù)數(shù)據(jù)包的方式,業(yè)務(wù)數(shù)據(jù)包中包含相關(guān)主題對(duì)應(yīng)的所有業(yè)務(wù)數(shù)據(jù)表,是后續(xù)分析的數(shù)據(jù)基礎(chǔ),其源數(shù)據(jù)可以來(lái)自某個(gè)數(shù)據(jù)庫(kù)的多個(gè)表,或者多個(gè)數(shù)據(jù)庫(kù)的多個(gè)表。借助業(yè)務(wù)數(shù)據(jù)包可以輕松實(shí)現(xiàn)按照主題對(duì)數(shù)據(jù)進(jìn)行分類(lèi)、管理和權(quán)限配置,做到固定分析主題與臨時(shí)分析主題并重。同時(shí)業(yè)務(wù)數(shù)據(jù)包是多維數(shù)據(jù)模型在前端的映射,通過(guò)業(yè)務(wù)包的創(chuàng)建和設(shè)置,使得多維數(shù)據(jù)模型和業(yè)務(wù)分析需求的銜接更加緊密自然。
在業(yè)務(wù)數(shù)據(jù)包的基礎(chǔ)之上,敏捷型BI可根據(jù)其中的源數(shù)據(jù)捕獲分析主題,關(guān)聯(lián)對(duì)應(yīng)的數(shù)據(jù)表,自動(dòng)形成數(shù)據(jù)立方體,如在礦山產(chǎn)品業(yè)務(wù)數(shù)據(jù)包中,可捕獲分析主題“原礦產(chǎn)品”,數(shù)據(jù)立方體實(shí)體關(guān)系圖如圖5所示。
圖5 原礦產(chǎn)品數(shù)據(jù)立方體E-R圖
隨后對(duì)數(shù)據(jù)立方體進(jìn)行OLAP分析,OLAP的關(guān)鍵屬性是多維性。多維數(shù)據(jù)分析是分析企業(yè)數(shù)據(jù)最有效的方法,是OLAP的靈魂。多維數(shù)據(jù)分析是指對(duì)以多維分析組織起來(lái)的數(shù)據(jù)采取切片/切塊、上卷/鉆取和旋轉(zhuǎn)等多種分析動(dòng)作來(lái)剖析數(shù)據(jù)[11],具體如圖6所示。
針對(duì)礦業(yè)集團(tuán)生產(chǎn)信息分析模型的特點(diǎn),此數(shù)據(jù)立方體主要從三種維度分析觀察事實(shí)數(shù)據(jù)。在時(shí)間維度進(jìn)行“月→季度→年”上卷或“年→季度→月”鉆?。辉谄髽I(yè)維度進(jìn)行“礦山→二級(jí)公司→集團(tuán)”上卷或“集團(tuán)→二級(jí)公司→礦山”鉆?。辉谥笜?biāo)維度可以對(duì)某一指標(biāo)類(lèi)型進(jìn)行統(tǒng)計(jì),或在多個(gè)維度上進(jìn)行切片/切塊、上卷/鉆取和旋轉(zhuǎn)等操作;對(duì)事實(shí)數(shù)據(jù)可采取完成計(jì)劃情況、同比、環(huán)比分析,集團(tuán)領(lǐng)導(dǎo)可直觀地分析、理解數(shù)據(jù),最終多角度、多層次地觀察數(shù)據(jù),深入了解包含在數(shù)據(jù)中的信息與知識(shí)。
在展示方式上,敏捷型BI工具提供了豐富的圖表展示效果,對(duì)于量的信息,可以采用直方圖顯示,直接對(duì)比分析本月實(shí)際和本月計(jì)劃。對(duì)于率的信息或是品位信息,可采用折線圖顯示,一方面可以分析本月指標(biāo)的走勢(shì);另一方面則可以對(duì)比本月的計(jì)劃數(shù)據(jù),從波動(dòng)性中清晰觀測(cè)到數(shù)據(jù)的異常變動(dòng)。
國(guó)內(nèi)某大型礦業(yè)集團(tuán)生產(chǎn)運(yùn)營(yíng)系統(tǒng)主要針對(duì)集團(tuán)公司與其下屬企業(yè)對(duì)于生產(chǎn)信息管理需求設(shè)計(jì),用于管理各下屬企業(yè)生產(chǎn)相關(guān)指標(biāo)信息。系統(tǒng)主要由子公司/礦山生產(chǎn)數(shù)據(jù)管理、集團(tuán)總部生產(chǎn)數(shù)據(jù)稽核與管理、生產(chǎn)信息綜合服務(wù)門(mén)戶三部分構(gòu)成,其中生產(chǎn)信息綜合服務(wù)門(mén)戶的生產(chǎn)狀況分析模塊,需根據(jù)各下屬企業(yè)填報(bào)的日常生產(chǎn)運(yùn)營(yíng)信息,進(jìn)行多維度匯總分析,并通過(guò)相關(guān)分析對(duì)生產(chǎn)運(yùn)營(yíng)不佳的單位進(jìn)行狀態(tài)警示和重點(diǎn)關(guān)注。
本論文基于NET平臺(tái),采用全B/S架構(gòu),SQL Server2012作為后臺(tái)數(shù)據(jù)庫(kù),F(xiàn)ineBI作為展示工具,運(yùn)用敏捷型BI實(shí)施方案完成了生產(chǎn)信息分析模型的實(shí)體化過(guò)程,并已成功運(yùn)用于國(guó)內(nèi)某大型礦業(yè)集團(tuán)生產(chǎn)運(yùn)營(yíng)系統(tǒng),作為系統(tǒng)中生產(chǎn)信息綜合服務(wù)門(mén)戶的生產(chǎn)狀況分析模塊,可實(shí)現(xiàn)的核心功能包括數(shù)據(jù)匯總與分析,多維數(shù)據(jù)的OLAP分析以及多樣式數(shù)據(jù)預(yù)警。
圖6 OLAP分析的基本操作
通過(guò)匯總二級(jí)公司旗下各個(gè)礦山企業(yè)的生產(chǎn)數(shù)據(jù),分析各項(xiàng)生產(chǎn)數(shù)據(jù)的分布情況。如礦山產(chǎn)品主題域中原礦產(chǎn)品分析的采掘總量數(shù)據(jù),采用柱狀圖形式并進(jìn)行實(shí)際值與計(jì)劃值對(duì)比,了解計(jì)劃完成情況;同時(shí)采用餅狀圖的形式分析各個(gè)礦山企業(yè)所占百分比,了解此項(xiàng)生產(chǎn)數(shù)據(jù)的分布情況。
集團(tuán)領(lǐng)導(dǎo)可從生產(chǎn)信息分析模型中抽取所需的多維數(shù)據(jù)立方體,進(jìn)行切片/切塊、上卷/鉆取和旋轉(zhuǎn)等OLAP分析操作,實(shí)現(xiàn)從不同角度、不同層次、多方位地分析數(shù)據(jù)。當(dāng)分析某個(gè)匯總指標(biāo)的具體數(shù)值時(shí),該指標(biāo)的具體組成部分或有一定邏輯運(yùn)算關(guān)系的數(shù)據(jù)可在表格或者圖表組件中聯(lián)動(dòng)顯示,如礦山產(chǎn)品主題域中精礦產(chǎn)品分析的產(chǎn)品產(chǎn)量數(shù)據(jù),柱狀圖可上卷至季度或年,同時(shí)儀表盤(pán)可聯(lián)動(dòng)顯示完成計(jì)劃百分比,折線圖可聯(lián)動(dòng)顯示環(huán)比分析。
礦山企業(yè)生產(chǎn)過(guò)程中,某些重要生產(chǎn)指標(biāo)可以直觀地反映礦山生產(chǎn)運(yùn)營(yíng)狀況,對(duì)這些重要指標(biāo)可設(shè)置預(yù)警線,如運(yùn)營(yíng)收入主題域中銷(xiāo)售價(jià)格分析可設(shè)置預(yù)期價(jià)格警戒線;也可對(duì)重要指標(biāo)設(shè)置預(yù)警值,當(dāng)指標(biāo)具體值高于或低于預(yù)警值時(shí),會(huì)有特殊標(biāo)記提醒,如運(yùn)營(yíng)收入主題域中銷(xiāo)售收入分析可設(shè)置完成月計(jì)劃情況;還可設(shè)置趨勢(shì)預(yù)警,計(jì)算出指標(biāo)漲幅,箭頭標(biāo)記趨勢(shì)是上升或下降,如物資設(shè)備主題域中物資供應(yīng)分析可設(shè)置某個(gè)部件每月使用量的漲幅變化。
本文以國(guó)內(nèi)某大型礦業(yè)集團(tuán)為工程背景,采用敏捷型BI實(shí)施方案,構(gòu)建了生產(chǎn)信息分析模型并進(jìn)行實(shí)際應(yīng)用,成功運(yùn)用于集團(tuán)生產(chǎn)運(yùn)營(yíng)系統(tǒng),作為其中生產(chǎn)狀況分析模塊,極大提高了集團(tuán)運(yùn)營(yíng)管理效率及科學(xué)決策水平,在以下幾個(gè)方面有所體現(xiàn)。
1)將現(xiàn)代信息技術(shù)商業(yè)智能應(yīng)用到礦業(yè)領(lǐng)域,通過(guò)分析國(guó)內(nèi)某大型礦業(yè)集團(tuán)生產(chǎn)運(yùn)營(yíng)系統(tǒng)所產(chǎn)生的數(shù)據(jù),根據(jù)不同的數(shù)據(jù)性質(zhì),全面定義數(shù)據(jù)維度、變量、維的深度、集成方向等,實(shí)現(xiàn)了生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)在時(shí)間、指標(biāo)類(lèi)型、企業(yè)等維度上的集成。
2)基于敏捷型BI實(shí)施方案,采用多種現(xiàn)代化信息技術(shù)快速構(gòu)建了礦業(yè)集團(tuán)生產(chǎn)信息多維數(shù)據(jù)模型,實(shí)現(xiàn)了礦業(yè)集團(tuán)下屬企業(yè)生產(chǎn)信息的采集、抽取、加工與處理,在此基礎(chǔ)上進(jìn)行集中式數(shù)據(jù)匯總與分析,并形成了清晰、直觀的圖表分析,將海量生產(chǎn)數(shù)據(jù)變成了戰(zhàn)略層面上的集成信息,使集團(tuán)管理者可以實(shí)時(shí)、快捷地了解旗下礦山企業(yè)生產(chǎn)運(yùn)營(yíng)狀況。
3)通過(guò)敏捷型BI工具對(duì)生產(chǎn)運(yùn)營(yíng)數(shù)據(jù)進(jìn)行可視化的切片/切塊、上卷/鉆取、旋轉(zhuǎn)等的OLAP分析操作,并添加多樣式預(yù)警設(shè)置,增強(qiáng)了數(shù)據(jù)分析的展示效果,形成所見(jiàn)即所得的自助式分析模式,集團(tuán)領(lǐng)導(dǎo)可根據(jù)自己的需求查看相關(guān)數(shù)據(jù)并進(jìn)行分析,為集團(tuán)決策提供更可靠的數(shù)據(jù)支持。
[1] 黃樹(shù)巍,修國(guó)林,李國(guó)清,等.集團(tuán)管控模式下的礦業(yè)集團(tuán)生產(chǎn)信息管理系統(tǒng)[J].金屬礦山,2016(6):117-124.
[2] 胡乃聯(lián),何煦春,李國(guó)清.礦業(yè)集團(tuán)信息化問(wèn)題研究[J].金屬礦山,2005(Z1):178-180,185.
[3] 李學(xué)鋒,謝長(zhǎng)江,段希祥.我國(guó)礦山信息化現(xiàn)狀及發(fā)展途徑探討[J].礦業(yè)研究與開(kāi)發(fā),2004,24(6):66-68.
[4] 陳玉民,李國(guó)清,何吉平,等.山東黃金數(shù)字礦山建設(shè)實(shí)踐[C]∥全國(guó)采礦科學(xué)技術(shù)高峰論壇.2010:10-14.
[5] 黃解軍,崔巍,袁艷斌,等.面向數(shù)字礦山的數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建及其應(yīng)用研究[J].中國(guó)礦業(yè),2009,18(11):80-83.
[6] 趙衛(wèi)東.商務(wù)智能[M].北京:清華大學(xué)出版社,2009.
[7] 侯杰,胡乃聯(lián),李國(guó)清,等.基于商務(wù)智能的礦業(yè)集團(tuán)運(yùn)營(yíng)決策系統(tǒng)解決方案[J].計(jì)算機(jī)集成制造系統(tǒng),2016,22(1):202-212.
[8] 陳志泊.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘[M].北京:清華大學(xué)出版社,2009.
[9] 何煦春,胡乃聯(lián),李國(guó)清,等.基于數(shù)據(jù)倉(cāng)庫(kù)的礦山企業(yè)決策支持系統(tǒng)研究[J].中國(guó)礦業(yè),2007,16(4):4-7.
[10] 林宇.數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)踐[M].北京:人民郵電出版社,2003.
[11] 陳嶺,陳元中,陳根才,等.基于操作序列挖掘的OLAP查詢推薦方法[J].東南大學(xué)學(xué)報(bào):自然科學(xué)版,2011,41(3):498-504.
BI-basedanalysismodelofmininggroupproductioninformation
XIU Guolin1,2,HUANG Yusun1,LI Guoqing1,HU Nailian1,HOU Jie1,HUANG Shuwei1
(1.State Key Laboratory of High-Efficient Mining and Safety of Metal Mines of Ministry of Education,University of Science and Technology Beijing,Beijing 100083,China;2.Shandong Gold Group Co., Ltd.,Jinan 250100,China)
In order to solve the problems that the data of the bottom production and operation of the mining group are difficult to be analysed,and can not be directly transformed into the information integration on the strategic level,it is easy to form the data island.Based on the agile BI implementation plan,this paper constructs the production information of the mining group by many kinds of modern information technology Multidimensional data model,and completed the relevant data analysis.From the point of view of group control mode,based on the scientific planning of production data,the ETL processing of data and the definition of subject area are made.The production information data warehouse of mining group is built,and the multi-dimensional data model of production information is constructed.Use OLAP technology to analyse and research the model from multi-angle and deep-level.Finally,the agile BI tool is used to realize the multi-dimensional analysis operation and graphical display of production information visualization.The agile BI production information analysis model is applied to a large mining group in China to realize the summary,statistical analysis and abnormal early warning of the production and operation data of the mining enterprises,and promote the intelligent analysis and scientific decision-making ability of the mining group.
mining group;production information;business intelligence;agile BI;multidimensional data model
F406.2
A
1004-4051(2017)10-0030-08
2017-01-10責(zé)任編輯趙奎濤
修國(guó)林(1966-),男,山東萊州人,教授級(jí)高級(jí)工程師,主要從事礦山生產(chǎn)技術(shù)及管理工作。
黃雨筍(1993-),男,漢族,湖北襄陽(yáng)人,碩士研究生,攻讀北京科技大學(xué)采礦專(zhuān)業(yè),主要從事礦業(yè)系統(tǒng)工程方面的研究工作,E-mail:huangyusun@163.com。