郝志偉,郭 超

(山西焦煤集團有限責(zé)任公司 大數(shù)據(jù)中心, 山西 太原 030024)

大型煤炭企業(yè)多數(shù)存在以下問題:總部業(yè)務(wù)部門需求不明晰、數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)質(zhì)量不規(guī)范、數(shù)據(jù)安全不可控,各業(yè)務(wù)系統(tǒng)獨立運行、異構(gòu)不兼容,像一個個煙囪,很難統(tǒng)一和打通,無法實現(xiàn)數(shù)據(jù)的有效共享、業(yè)務(wù)的流程聯(lián)動和系統(tǒng)的全面協(xié)同,導(dǎo)致集團對人財物、產(chǎn)供銷等業(yè)務(wù)的管控力度不足,使安全生產(chǎn)經(jīng)營等過程存在風(fēng)險、隱患和漏洞;子分公司及廠礦單位多存在采掘機運通等專業(yè)業(yè)務(wù)系統(tǒng)多,數(shù)據(jù)孤島現(xiàn)象嚴(yán)重,且業(yè)務(wù)系統(tǒng)數(shù)據(jù)填報不準(zhǔn)確、信息輸入不及時,甚至不愿上報真實數(shù)據(jù)等。

為解決上述問題,需要構(gòu)建各業(yè)務(wù)系統(tǒng)數(shù)據(jù)共享和流程互通的共同底座,以打通各業(yè)務(wù)系統(tǒng),促進企業(yè)大數(shù)據(jù)的融通共享、協(xié)同聯(lián)動,提升集團管控能力。數(shù)據(jù)中臺作為全新的企業(yè)管控理念,以服務(wù)企業(yè)業(yè)務(wù)運營為目標(biāo),匯聚、整合、存儲煤炭企業(yè)安全生產(chǎn)經(jīng)營業(yè)務(wù)大數(shù)據(jù),經(jīng)加工整理后的有用數(shù)據(jù)可通過挖掘、分析直接應(yīng)用于具體業(yè)務(wù),幫助優(yōu)化業(yè)務(wù)流程,打通業(yè)務(wù)系統(tǒng)間的“部門墻”,促進業(yè)務(wù)流程標(biāo)準(zhǔn)化、工作標(biāo)準(zhǔn)信息化、企業(yè)信息智能化,為煤炭企業(yè)實現(xiàn)減人提效、對業(yè)務(wù)系統(tǒng)扁平化和人財物產(chǎn)供銷等核心資源的精益化管理奠定數(shù)據(jù)架構(gòu)基礎(chǔ)。

1 國內(nèi)外研究現(xiàn)狀

國內(nèi)外多個研究者對數(shù)據(jù)中臺技術(shù)進行了相關(guān)研究。蘇萌等[1]總結(jié)了數(shù)據(jù)中臺技術(shù)的相關(guān)進展,提出數(shù)據(jù)中臺通用技術(shù)架構(gòu)。艾瑞咨詢[2]從市場規(guī)模、適用行業(yè)、發(fā)展路徑等角度總結(jié)整理了2019年數(shù)據(jù)中臺在中國的發(fā)展情況。周綱等[3]介紹了一種應(yīng)用于電力營銷服務(wù)業(yè)務(wù)的數(shù)據(jù)中臺設(shè)計方法。李炳森等[4]設(shè)計了適用于電網(wǎng)企業(yè)的數(shù)據(jù)中臺貼源、共享、分析三層服務(wù)架構(gòu),并研究了關(guān)鍵技術(shù)。羅薇[5]提出了一種應(yīng)用于通訊行業(yè)的中臺一體化生產(chǎn)體系,強化了生產(chǎn)協(xié)同,提升了用戶體驗。于浩淼等[6]基于數(shù)據(jù)中臺的一般體系架構(gòu),提出中國聯(lián)通國際公司中臺建設(shè)方案。李廣乾[7]、劉童桐[8]探討了數(shù)據(jù)中臺的內(nèi)涵和外延。劉穎慧等[9]分析了不同企業(yè)的中臺戰(zhàn)略和架構(gòu),提出了通訊運營商的數(shù)據(jù)中臺建設(shè)方法和類型。PTC[10]從體系架構(gòu)、建設(shè)架構(gòu)、落地思路等方面探討了工業(yè)企業(yè)建設(shè)數(shù)據(jù)中臺面臨的關(guān)鍵問題。譚虎等[11]闡述了阿里云數(shù)據(jù)中臺的一些建設(shè)思路。劉俊良[12]研究了數(shù)據(jù)中臺架構(gòu)設(shè)計、關(guān)鍵技術(shù)。陳小勇等[13]論述了數(shù)據(jù)中臺設(shè)計思路、總體方案、關(guān)鍵技術(shù)等。但上述研究多為通訊、電力等行業(yè)的數(shù)據(jù)中臺建設(shè)探究,尚未發(fā)現(xiàn)針對大型煤炭企業(yè)建設(shè)數(shù)據(jù)中臺方法的相關(guān)研究。

針對大型煤炭企業(yè)普遍存在的問題,設(shè)計了一種數(shù)據(jù)中臺技術(shù)架構(gòu),從數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)、數(shù)據(jù)采集處理、數(shù)據(jù)庫選擇、數(shù)據(jù)管理、大數(shù)據(jù)分析應(yīng)用、新技術(shù)應(yīng)用等6方面研究探討了數(shù)據(jù)中臺建設(shè)中的關(guān)鍵技術(shù),為建設(shè)適用于大型煤炭企業(yè)的數(shù)據(jù)中臺,推進各業(yè)務(wù)大數(shù)據(jù)協(xié)同聯(lián)動和深度分析應(yīng)用提供可借鑒的解決思路。

2 數(shù)據(jù)中臺技術(shù)架構(gòu)

結(jié)合大型煤炭企業(yè)特點,數(shù)據(jù)中臺建設(shè)可遵循以下流程:采集集團人力、財務(wù)、設(shè)備、生產(chǎn)等核心業(yè)務(wù)數(shù)據(jù),基于規(guī)范統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),在保障數(shù)據(jù)質(zhì)量的前提下,對數(shù)據(jù)進行清洗加工等處理,存儲到數(shù)據(jù)倉庫,形成可以復(fù)用的元數(shù)據(jù),沉淀共性數(shù)據(jù)及服務(wù),實現(xiàn)一次錄入數(shù)據(jù),在數(shù)據(jù)控制權(quán)限內(nèi)所有業(yè)務(wù)系統(tǒng)共享,構(gòu)建業(yè)務(wù)共享和流程互通的共同底座;對數(shù)據(jù)進行建模,利用大數(shù)據(jù)建模、算法等開展主題分析等大數(shù)據(jù)挖掘、分析應(yīng)用,實現(xiàn)利用大數(shù)據(jù)對企業(yè)人員流、資金流、物資流進行在線監(jiān)控,防控企業(yè)風(fēng)險,研判安全生產(chǎn)經(jīng)營趨勢,充分支持各層級領(lǐng)導(dǎo)決策的目的。同時,通過提供統(tǒng)一應(yīng)用展示門戶,對內(nèi)支撐集團安全生產(chǎn)經(jīng)營等業(yè)務(wù)數(shù)據(jù)應(yīng)用,對外統(tǒng)一構(gòu)建與政府監(jiān)管部門、客戶、供應(yīng)商等的安全可控數(shù)據(jù)交換出入口,由集團統(tǒng)一、安全、高效地把控對外交換數(shù)據(jù),支持集團多維度的精益化管理,實現(xiàn)全方位、全鏈條、全域賦能全集團管理升級。典型的數(shù)據(jù)中臺架構(gòu)見圖1,主要包括數(shù)據(jù)源、數(shù)據(jù)采集處理、數(shù)據(jù)庫、數(shù)據(jù)管理、大數(shù)據(jù)分析、應(yīng)用展示等6部分。

一個典型的數(shù)據(jù)中臺的數(shù)據(jù)流見圖2,通過對集團業(yè)務(wù)系統(tǒng)中數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換等工作,存儲進集團數(shù)據(jù)庫,根據(jù)各層級領(lǐng)導(dǎo)對不同主題數(shù)據(jù)分析的需要,利用相關(guān)建模和算法對數(shù)據(jù)倉庫中的相關(guān)數(shù)據(jù)進行主題分析、展示,支持各層級領(lǐng)導(dǎo)決策,并將分析結(jié)果及時應(yīng)用到集團相關(guān)業(yè)務(wù)部門,保證領(lǐng)導(dǎo)決策的快速高效執(zhí)行。

3 關(guān)鍵技術(shù)分析

數(shù)據(jù)中臺建設(shè)的關(guān)鍵技術(shù)主要包括數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系建設(shè)、數(shù)據(jù)采集處理、數(shù)據(jù)庫選擇、數(shù)據(jù)管理、大數(shù)據(jù)分析應(yīng)用、新技術(shù)應(yīng)用等6方面。

3.1 數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)

圍繞大型煤炭企業(yè)生產(chǎn)、運輸、銷售全鏈條,人力、財務(wù)、設(shè)備、生產(chǎn)、供應(yīng)、銷售、法務(wù)、投資、辦公全業(yè)務(wù),通過制定數(shù)據(jù)源輸入標(biāo)準(zhǔn)、主數(shù)據(jù)企業(yè)標(biāo)準(zhǔn)、編制并出臺相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)管理辦法、開展集團相關(guān)業(yè)務(wù)數(shù)據(jù)清洗等方式,推動集團各業(yè)務(wù)系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一、規(guī)范使用,逐步構(gòu)建包括規(guī)范定義、術(shù)語、模型架構(gòu)、元數(shù)據(jù)命名規(guī)范、編碼規(guī)范等在內(nèi)全集團統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系。同時,通過加強對各子分公司的督導(dǎo)管理,規(guī)范集團公司數(shù)據(jù)標(biāo)準(zhǔn)體系的統(tǒng)一應(yīng)用,為數(shù)據(jù)存儲、管理、分析應(yīng)用和展示奠定標(biāo)準(zhǔn)基礎(chǔ)。

3.2 數(shù)據(jù)采集處理

建設(shè)大型煤炭企業(yè)全集團統(tǒng)一的數(shù)據(jù)采集平臺,根據(jù)數(shù)據(jù)源輸入標(biāo)準(zhǔn),對人力、財務(wù)、設(shè)備等各分散、凌亂的業(yè)務(wù)數(shù)據(jù)進行采集匯聚,通過ETL等技術(shù),形成清晰有序的有用數(shù)據(jù),存儲到數(shù)據(jù)倉庫中,形成元數(shù)據(jù),實現(xiàn)數(shù)據(jù)一次采集或錄入、所有業(yè)務(wù)共享共用,滿足企業(yè)對煤炭安全生產(chǎn)、經(jīng)營管理等業(yè)務(wù)數(shù)據(jù)管理要求的同時,為集團級的大數(shù)據(jù)分析提供統(tǒng)一的標(biāo)準(zhǔn)數(shù)據(jù)保障。

3.3 數(shù)據(jù)庫選擇

相比于Mpp數(shù)據(jù)庫,Hadoop擁有更多的計算節(jié)點數(shù)、更大的數(shù)據(jù)量,適用于存儲關(guān)系型、半關(guān)系型、無結(jié)構(gòu)化、語音、圖像、視頻等多種數(shù)據(jù)類型,因此,Hadoop數(shù)據(jù)庫適用范圍更廣泛,但當(dāng)面對需要大規(guī)模并行處理的場景時,Mpp更有優(yōu)勢。大型煤炭企業(yè)涉及人力、財務(wù)、設(shè)備、銷售、投資、辦公等多業(yè)務(wù)復(fù)雜的應(yīng)用場景,應(yīng)選擇Mpp和Hadoop混合型數(shù)據(jù)庫作為存儲媒介,以構(gòu)建一套既能管理全域業(yè)務(wù)數(shù)據(jù)、又能支撐上層應(yīng)用需求的新型數(shù)據(jù)庫,為實現(xiàn)快速高效的數(shù)據(jù)挖掘、分析提供數(shù)據(jù)存儲支持。

3.4 數(shù)據(jù)管理

數(shù)據(jù)庫中數(shù)據(jù)按照一定的數(shù)據(jù)標(biāo)準(zhǔn)和質(zhì)量規(guī)則匯集形成元數(shù)據(jù)和主數(shù)據(jù),高質(zhì)量的元數(shù)據(jù)和主數(shù)據(jù)可形成不同的主題數(shù)據(jù)庫,有效支撐大型煤炭企業(yè)進行安全生產(chǎn)、銷售管理、設(shè)備資產(chǎn)盤活等不同主題的大數(shù)據(jù)分析。同時高質(zhì)量的元數(shù)據(jù)和主數(shù)據(jù)可對企業(yè)不同業(yè)務(wù)提供全集團統(tǒng)一的數(shù)據(jù)共享和服務(wù),從而實現(xiàn)各業(yè)務(wù)信息互通、數(shù)據(jù)共享和全面協(xié)同,增強企業(yè)競爭力、管控力和抗風(fēng)險能力。

3.4.1 元數(shù)據(jù)管理

元數(shù)據(jù)可以讓企業(yè)數(shù)據(jù)資產(chǎn)用清晰直觀的方式進行呈現(xiàn),對元數(shù)據(jù)的管理包括元數(shù)據(jù)基礎(chǔ)管理、元數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)分析等。其中,元數(shù)據(jù)基礎(chǔ)管理包括對元數(shù)據(jù)添加、刪除、修改,元數(shù)據(jù)間關(guān)系建立、維護,元數(shù)據(jù)自身質(zhì)量的核查,元數(shù)據(jù)查詢、統(tǒng)計等;元數(shù)據(jù)質(zhì)量管理包括對元數(shù)據(jù)屬性、關(guān)系及安全性和一致性的檢查等;元數(shù)據(jù)分析主要指通過血緣分析、影響性分析、實體關(guān)聯(lián)分析、全景分析等,直觀了解元數(shù)據(jù)來源、流向、被引用次數(shù)等重要信息,以實時掌握元數(shù)據(jù)真實狀況。

3.4.2 主題數(shù)據(jù)管理

對大型煤炭企業(yè)財務(wù)、采購、科研等不同主題域數(shù)據(jù)的管理能有效支撐不同主題的大數(shù)據(jù)分析,同時,各主題域內(nèi)部,不同來源的數(shù)據(jù)可通過統(tǒng)一的標(biāo)準(zhǔn)基礎(chǔ)數(shù)據(jù)實現(xiàn)相互的關(guān)聯(lián),例如,采購主題的供應(yīng)商信息、合同信息等可通過客戶編碼、合同編碼等,實現(xiàn)互相聯(lián)系、互相融合;各主題域之間,來自于同一數(shù)據(jù)源的同樣數(shù)據(jù)是互相共享的。采購主題中對供貨、質(zhì)檢、合同分析的數(shù)據(jù)管理流程見圖3.

圖3 采購主題中對供貨、質(zhì)檢、合同分析的數(shù)據(jù)管理流程圖

3.4.3 數(shù)據(jù)質(zhì)量管理

通過建設(shè)包括質(zhì)量規(guī)則、核對校驗、監(jiān)控診斷、質(zhì)量報告在內(nèi)的數(shù)據(jù)質(zhì)量體系,能有效保障數(shù)據(jù)的完整性、一致性、合法性、關(guān)聯(lián)性、唯一性。在大型煤炭企業(yè)的實際應(yīng)用過程中,一個典型的數(shù)據(jù)質(zhì)量管理流程如下:利用數(shù)據(jù)質(zhì)量規(guī)則,對數(shù)據(jù)進行校驗篩查,判斷出的數(shù)據(jù)質(zhì)量問題,反饋給相關(guān)業(yè)務(wù)部門進行確認、調(diào)整,以有效提升數(shù)據(jù)質(zhì)量。

3.5 大數(shù)據(jù)分析應(yīng)用

針對大型煤炭企業(yè)存在的痛點、難點問題,可以選擇一個或者多個應(yīng)用場景,通過數(shù)據(jù)建模、算法等,開展多業(yè)務(wù)協(xié)同的主題分析,對內(nèi)支撐領(lǐng)導(dǎo)決策分析和提升各業(yè)務(wù)精益管理水平,對外賦能客戶、供應(yīng)商等產(chǎn)業(yè)鏈數(shù)據(jù),同時支持政府決策和服務(wù)社會關(guān)切。例如,針對企業(yè)各業(yè)務(wù)存在的信息孤島嚴(yán)重,無法實現(xiàn)數(shù)據(jù)的有效共享、業(yè)務(wù)的流程聯(lián)動和系統(tǒng)的全面協(xié)同問題,可開展產(chǎn)洗運銷協(xié)同聯(lián)動等大數(shù)據(jù)分析,讓數(shù)據(jù)為管理賦能:對大型煤炭企業(yè)所屬煤礦各類數(shù)據(jù)進行針對性建模、多維度分析和綜合集成展示,并援引集團外部相關(guān)數(shù)據(jù)研判煤炭價格,預(yù)測市場走勢,通過抓產(chǎn)銷、帶中間、堵漏洞,促進集團公司精益化管理水平的提升,輔助集團領(lǐng)導(dǎo)科學(xué)決策。

3.6 新技術(shù)應(yīng)用

在大型煤炭企業(yè)的數(shù)據(jù)中臺建設(shè)中,加強對視覺識別、語音識別和RPA流程機器人等新技術(shù)推廣應(yīng)用,能有效提高數(shù)據(jù)利用率、降低勞動強度、提升業(yè)務(wù)服務(wù)能力、實現(xiàn)業(yè)務(wù)技術(shù)創(chuàng)新。例如,利用語音識別技術(shù),將原來需要通過PC端手動操作的方式轉(zhuǎn)化為直接通過語音實現(xiàn)系統(tǒng)控制,并利用語音播報自動直觀展示需查詢、分析的結(jié)果;利用視覺識別技術(shù)和RPA流程機器人,通過對網(wǎng)頁或PDF等非結(jié)構(gòu)化頁面的采集或OCR識別,智能將所需數(shù)據(jù)實時、準(zhǔn)確、高效自動填入表格,并生成匯總表,有效提升集團業(yè)務(wù)準(zhǔn)確性、合規(guī)性和工作效率。

4 總 結(jié)

針對大型煤炭企業(yè)普遍存在的業(yè)務(wù)系統(tǒng)龐雜、信息孤島和數(shù)據(jù)壁壘嚴(yán)重,導(dǎo)致集團對子分公司管控能力不足、存在安全生產(chǎn)經(jīng)營風(fēng)險等問題,設(shè)計了一種數(shù)據(jù)中臺技術(shù)架構(gòu),并從數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)、數(shù)據(jù)采集處理、數(shù)據(jù)庫選擇、數(shù)據(jù)管理、大數(shù)據(jù)分析應(yīng)用、新技術(shù)應(yīng)用等6方面探討了數(shù)據(jù)中臺建設(shè)中的關(guān)鍵技術(shù),為建設(shè)適用于大型煤炭企業(yè)的數(shù)據(jù)中臺,實現(xiàn)全集團數(shù)據(jù)的標(biāo)準(zhǔn)化、資產(chǎn)化、價值化、服務(wù)化、自主化和開放化提供一種可借鑒的參考。