郎書旭 張孝臨 畢宏剛 姜山紅 彭觀偉

（1.遼寧科技大學(xué)計(jì)算機(jī)與軟件工程學(xué)院，遼寧 鞍山 114051；2.鞍鋼集團(tuán)礦業(yè)有限公司，遼寧 鞍山 114000）

一、案例背景

AK公司（以下簡稱“公司”）是某國有大型鋼鐵集團(tuán)的全資子公司，是我國掌控鐵礦石資源多、產(chǎn)量規(guī)模大、具有先進(jìn)工藝技術(shù)、具有完整產(chǎn)業(yè)鏈的冶金礦山龍頭企業(yè)之一。近幾年來，該公司展開了大數(shù)據(jù)工程應(yīng)用及相應(yīng)改革措施。

AK公司經(jīng)過多年的信息化建設(shè)，數(shù)據(jù)成爆炸式的增長，各種數(shù)據(jù)服務(wù)需求不斷涌現(xiàn)。雖然傳統(tǒng)信息系統(tǒng)在飛速建設(shè)，但公司內(nèi)各系統(tǒng)和數(shù)據(jù)庫大多是獨(dú)立采購或者獨(dú)立建設(shè)的，新舊 IT 系統(tǒng)中沉淀的數(shù)據(jù)之間難以打通，導(dǎo)致公司內(nèi)形成“數(shù)據(jù)孤島”“數(shù)據(jù)煙囪”式系統(tǒng)高達(dá)200余個(gè)，系統(tǒng)分散割裂且不易形成可共享的數(shù)據(jù)服務(wù)，在一定程度上已成為公司在數(shù)據(jù)化轉(zhuǎn)型過程中的一個(gè)制約。公司通過對(duì)以前采集的大量數(shù)據(jù)分析診斷，發(fā)現(xiàn)在數(shù)據(jù)生成、處理加工、運(yùn)行維護(hù)和利用過程中存在不少問題。隨著公司的數(shù)據(jù)平臺(tái)及數(shù)據(jù)日益龐大復(fù)雜，數(shù)據(jù)環(huán)境對(duì)數(shù)據(jù)系統(tǒng)運(yùn)行維護(hù)、數(shù)據(jù)開發(fā)帶來新的挑戰(zhàn)。

二、AK公司大數(shù)據(jù)工程的應(yīng)用實(shí)踐

1.大數(shù)據(jù)工程的內(nèi)容

數(shù)據(jù)治理包括由企業(yè)數(shù)字化轉(zhuǎn)型創(chuàng)新方式指導(dǎo)并且由企業(yè)數(shù)據(jù)治理部門發(fā)起并推行關(guān)于如何制定、實(shí)施和完善針對(duì)整個(gè)企業(yè)內(nèi)部數(shù)據(jù)的商業(yè)應(yīng)用和數(shù)據(jù)技術(shù)創(chuàng)新的一整套政策措施。公司制定了相應(yīng)的數(shù)據(jù)治理發(fā)展戰(zhàn)略，發(fā)展戰(zhàn)略分為數(shù)據(jù)應(yīng)用管理、數(shù)據(jù)管理、數(shù)據(jù)管控，步驟缺一不可。圖1為AK公司大數(shù)據(jù)工程的發(fā)展戰(zhàn)略圖。

圖1 AK公司大數(shù)據(jù)工程發(fā)展戰(zhàn)略圖

2.充分利用大數(shù)據(jù)開發(fā)管控平臺(tái)

大數(shù)據(jù)開發(fā)管控平臺(tái)是構(gòu)建一站式的數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)調(diào)度、數(shù)據(jù)運(yùn)維的平臺(tái)，滿足大數(shù)據(jù)集中管理、隔離開發(fā)的要求，為數(shù)據(jù)開發(fā)提供豐富多樣的工具和工具可視化的能力，助力企業(yè)需求進(jìn)行快速更新和迭代，提升開發(fā)效率，推進(jìn)企業(yè)應(yīng)用數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長進(jìn)程。企業(yè)大數(shù)據(jù)工程建設(shè)的過程離不開軟件平臺(tái)的支持，對(duì)此，公司應(yīng)用了STQ軟件系統(tǒng)。

STQ軟件系統(tǒng)具有強(qiáng)大的數(shù)據(jù)整合能力。STQ軟件系統(tǒng)具備多集群任務(wù)開發(fā)、統(tǒng)一調(diào)度、分布式運(yùn)行的能力。STQ軟件平臺(tái)可以對(duì)接多個(gè)集群，進(jìn)行任務(wù)開發(fā)、統(tǒng)一調(diào)度、分布式運(yùn)行。由于公司“數(shù)據(jù)孤島”“數(shù)據(jù)煙囪”式系統(tǒng)高達(dá)200余個(gè)，開發(fā)STQ軟件系統(tǒng)需要將之前的數(shù)據(jù)標(biāo)準(zhǔn)化。在算法創(chuàng)新方面，應(yīng)用圖計(jì)算算法，以圖表達(dá)、圖存儲(chǔ)和圖分析的方式，在用戶觸達(dá)領(lǐng)域優(yōu)化了目錄式的數(shù)據(jù)資產(chǎn)管理方法，帶來語義化、關(guān)聯(lián)化、實(shí)時(shí)化和智能化多方面的優(yōu)勢(shì)。

3.大數(shù)據(jù)工程的重點(diǎn)流程

（1）“盤”

“盤”——有什么數(shù)據(jù)，在哪里，有什么問題。在這個(gè)階段公司通過數(shù)據(jù)資產(chǎn)整合和盤點(diǎn)，構(gòu)建電子數(shù)據(jù)資產(chǎn)目錄，為數(shù)據(jù)服務(wù)使用建立良好基礎(chǔ)。

公司開發(fā)出提供數(shù)據(jù)資產(chǎn)掃描嗅探技術(shù)，智能化識(shí)別關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)等數(shù)據(jù)資產(chǎn)信息。提供數(shù)據(jù)資產(chǎn)維護(hù)管理和公司數(shù)據(jù)資產(chǎn)目錄能力，配合數(shù)據(jù)資產(chǎn)查詢檢索、數(shù)據(jù)資產(chǎn)展示功能。該技術(shù)支持常見關(guān)系型數(shù)據(jù)庫、MPP數(shù)據(jù)庫，分布式數(shù)據(jù)平臺(tái)的元數(shù)據(jù)采集。由于需要采集的數(shù)據(jù)過于龐大，所以采用元數(shù)據(jù)（Metadata）作為本系統(tǒng)的數(shù)據(jù)基礎(chǔ)，元數(shù)據(jù)也是數(shù)據(jù)治理的重要采集和管理對(duì)象。

公司定期采集數(shù)據(jù)資產(chǎn)分布、數(shù)據(jù)存儲(chǔ)情況、數(shù)據(jù)總?cè)萘?、?shù)據(jù)資產(chǎn)數(shù)目等信息，提供以圖表形式呈現(xiàn)數(shù)據(jù)資產(chǎn)的分布覆蓋范圍，從數(shù)據(jù)存儲(chǔ)位置、數(shù)據(jù)總?cè)萘?、?shù)據(jù)資產(chǎn)數(shù)目、變化趨勢(shì)角度進(jìn)行呈現(xiàn)，方便數(shù)據(jù)管理人員了解數(shù)據(jù)存儲(chǔ)情況以及變化趨勢(shì)，為數(shù)據(jù)資產(chǎn)運(yùn)營提供支撐和輔助。

（2）“規(guī)”

“規(guī)”——確定數(shù)據(jù)標(biāo)準(zhǔn)規(guī)則以及目標(biāo)。數(shù)據(jù)標(biāo)準(zhǔn)化的過程是為了規(guī)范系統(tǒng)建設(shè)的過程中，本公司人員對(duì)業(yè)務(wù)的統(tǒng)一理解，增強(qiáng)業(yè)務(wù)部門、技術(shù)部門等對(duì)數(shù)據(jù)的定義的標(biāo)準(zhǔn)化和使用數(shù)據(jù)的一致性標(biāo)準(zhǔn)化，進(jìn)而增強(qiáng)數(shù)據(jù)的易懂性和可傳遞性。

（3）“用”

“用”——基于數(shù)據(jù)價(jià)值，提供場景化應(yīng)用支撐。為了提升數(shù)據(jù)的價(jià)值和場景化的考慮STQ軟件系統(tǒng)是基于區(qū)塊鏈開發(fā)，系統(tǒng)具有數(shù)據(jù)安全服務(wù)機(jī)制，數(shù)據(jù)供需求雙方依托區(qū)塊鏈技術(shù)，憑借數(shù)據(jù)監(jiān)管方頒發(fā)的可信證書完成數(shù)據(jù)交互任務(wù)。系統(tǒng)加入了數(shù)據(jù)共享與交易網(wǎng)絡(luò)，更加提升了系統(tǒng)的安全性。數(shù)據(jù)消費(fèi)方需要從區(qū)塊鏈中獲取數(shù)據(jù)提供方發(fā)布的數(shù)據(jù)資產(chǎn)信息，數(shù)據(jù)消費(fèi)方需要選擇需要獲取的數(shù)據(jù)信息發(fā)起數(shù)據(jù)授權(quán)請(qǐng)求，等待批復(fù)結(jié)果。數(shù)據(jù)消費(fèi)方拿到批復(fù)結(jié)果，發(fā)起數(shù)據(jù)訪問，數(shù)據(jù)訪問經(jīng)代理發(fā)送到數(shù)據(jù)提供方的訪問代理，請(qǐng)求認(rèn)證通過，則可以訪問大數(shù)據(jù)中心數(shù)據(jù)?；趨^(qū)塊鏈無痕水印實(shí)現(xiàn)數(shù)據(jù)溯源。數(shù)據(jù)生產(chǎn)加工和消費(fèi)使用過程中，接觸的人員多，不乏有人利用職務(wù)之便或者保管不善，有意無意將數(shù)據(jù)泄露，公司通過區(qū)塊鏈無痕水印技術(shù)，實(shí)現(xiàn)泄露數(shù)據(jù)的反向追溯，發(fā)現(xiàn)泄露人員及泄露點(diǎn)，及時(shí)進(jìn)行補(bǔ)救。

（4）“治”

“治”——找到差距，針對(duì)性進(jìn)行治理。公司關(guān)注數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)價(jià)值?！爸巍钡木唧w過程是STQ軟件系統(tǒng)提供數(shù)據(jù)治理管理能力，STQ軟件系統(tǒng)支持稽核規(guī)則管理、數(shù)據(jù)治理稽核調(diào)度、稽核預(yù)警及數(shù)據(jù)治理報(bào)告?；颂峁┓?wù)能力，方便和現(xiàn)有ETL平臺(tái)進(jìn)行整合；支持?jǐn)?shù)據(jù)一致性、完整性、及時(shí)性、波動(dòng)性等檢查。STQ軟件系統(tǒng)提供數(shù)據(jù)血緣自動(dòng)化采集能力，支持通過數(shù)據(jù)庫運(yùn)行日志、數(shù)據(jù)庫執(zhí)行腳本、ETL工具進(jìn)行數(shù)據(jù)血緣影響自動(dòng)化采集，系統(tǒng)具備自動(dòng)識(shí)別分表的邏輯的功能，提升元數(shù)據(jù)血緣影響關(guān)系采集的自動(dòng)化程度，降低數(shù)據(jù)治理難度。支持?jǐn)?shù)據(jù)加工血緣影響關(guān)系、任務(wù)依賴關(guān)系、任務(wù)模型依賴關(guān)系的采集；提供可視化分析能力，方便運(yùn)維人員進(jìn)行問題分析和故障定位。

系統(tǒng)構(gòu)建公司數(shù)據(jù)資產(chǎn)知識(shí)庫，提供數(shù)據(jù)資產(chǎn)檢索能力，提供按照關(guān)鍵字、分類查詢檢索能力，支持模型、指標(biāo)、維度、任務(wù)資產(chǎn)的綜合展示，方便數(shù)據(jù)運(yùn)維管理人員、數(shù)據(jù)消費(fèi)人員進(jìn)行數(shù)據(jù)資產(chǎn)的探索為了方便價(jià)值評(píng)估。STQ軟件系統(tǒng)可以自動(dòng)化采集數(shù)據(jù)庫執(zhí)行日志、業(yè)務(wù)系統(tǒng)數(shù)據(jù)訪問日志、元數(shù)據(jù)訪問情況、數(shù)據(jù)授權(quán)情況、數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)，對(duì)以上數(shù)據(jù)進(jìn)行綜合評(píng)估，形成公司數(shù)據(jù)資產(chǎn)價(jià)值，提供數(shù)據(jù)價(jià)值綜合分析能力，為數(shù)據(jù)運(yùn)維、數(shù)據(jù)下線提供支撐。

三、大數(shù)據(jù)工程的實(shí)施效果

公司通過大數(shù)據(jù)應(yīng)用實(shí)踐與數(shù)據(jù)化轉(zhuǎn)型，現(xiàn)階段公司能及時(shí)診斷發(fā)現(xiàn)數(shù)據(jù)生產(chǎn)、產(chǎn)品處理加工、系統(tǒng)的運(yùn)維和數(shù)據(jù)利用過程中存在的問題，針對(duì)問題及時(shí)分析因地制宜地提供合理的解決方法、手段以及工具。公司合理的使用大數(shù)據(jù)，已經(jīng)能夠解決數(shù)生產(chǎn)使用過程中普遍存在數(shù)據(jù)質(zhì)量、數(shù)據(jù)一致性和數(shù)據(jù)性能等問題，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)合理，解決數(shù)據(jù)生產(chǎn)過程受控的問題，提升產(chǎn)品質(zhì)量。公司根據(jù)企業(yè)發(fā)展需要，積極適應(yīng)大數(shù)據(jù)時(shí)代要求，公司的數(shù)據(jù)化轉(zhuǎn)型取得了初步成效。