李曉芬，于志偉，曹曉冬，林碩

(1.吉林煙草工業(yè)有限責任公司延吉卷煙廠，吉林 延吉 133000；2.沈陽建筑大學，遼寧 沈陽 110168)

0 引言

數(shù)據(jù)是企業(yè)的命脈。數(shù)據(jù)來源于業(yè)務(wù)，如何讓數(shù)據(jù)更好地服務(wù)企業(yè)，是各類企業(yè)一直探索研究的課題。迄今為止，整個演變經(jīng)歷了四個階段：數(shù)據(jù)庫、傳統(tǒng)數(shù)據(jù)倉庫、大數(shù)據(jù)平臺、數(shù)據(jù)中臺。第一個階段：1979 年，Oracle 發(fā)布了商用版本的數(shù)據(jù)庫，實現(xiàn)了數(shù)據(jù)的永久存儲[1]。1996 年，MySQL 發(fā)布了1.0 版本。2000 年數(shù)據(jù)存儲開始逐漸走向流行和成熟。第二個階段：數(shù)據(jù)庫的出現(xiàn)使數(shù)據(jù)的永久存儲成為可能，如何充分利用這些數(shù)據(jù)，為企業(yè)的經(jīng)營決策提供支撐成為這一階段的核心問題。在1991 年出版的Building the Data Warehouse中，數(shù)據(jù)倉庫之父比爾·恩門(Bill Inmon) 首次給出了數(shù)據(jù)倉庫的完整定義，他認為：數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時間相關(guān)的，不可修改的數(shù)據(jù)集合。第一次明確了數(shù)據(jù)分析的應(yīng)用場景應(yīng)該用單獨的解決方案去實現(xiàn)，不再依賴于業(yè)務(wù)的數(shù)據(jù)庫。第三個階段：隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)呈指數(shù)增長，數(shù)據(jù)類型異構(gòu)化，傳統(tǒng)的數(shù)據(jù)倉庫無法承載海量數(shù)據(jù)存儲和計算[2]。分布式文件系統(tǒng) GFS、大數(shù)據(jù)分布式計算框架 MapReduce 和NoSQL 數(shù)據(jù)庫系統(tǒng) BigTable，使海量數(shù)據(jù)存儲和計算有了理論指導。Hadoop商業(yè)版本的發(fā)布，解決數(shù)據(jù)研發(fā)低效率、高門檻的問題，大數(shù)據(jù)平臺應(yīng)運而生。第四階段：數(shù)據(jù)發(fā)展到了2016年左右，面向不同業(yè)務(wù)場景的應(yīng)用開發(fā)越來越多，煙囪式的開發(fā)模式，導致數(shù)據(jù)的割裂，數(shù)據(jù)無法共享。為解決這一問題，避免數(shù)據(jù)重復加工，提高數(shù)據(jù)共享能力，賦能數(shù)據(jù)應(yīng)用的數(shù)據(jù)中臺應(yīng)運而生。

數(shù)據(jù)中臺的定義各家有各自的獨到見解，但核心功能包括：打破數(shù)據(jù)壁壘，統(tǒng)一標準和口徑，形成全域級、可復用的數(shù)據(jù)資產(chǎn)中心和數(shù)據(jù)存儲能力中心，為業(yè)務(wù)賦能、為數(shù)據(jù)賦能。

適合建設(shè)數(shù)據(jù)中臺的企業(yè)需要具備如下幾個特征：第一個特征：企業(yè)具備大量數(shù)據(jù)應(yīng)用場景。第二個特征：企業(yè)建立了大量的煙囪系統(tǒng)，存在大量異構(gòu)、非同源數(shù)據(jù)，需要打破數(shù)據(jù)壁壘。第三個特征：立志實現(xiàn)精益運營，且具備一定實力的企業(yè)。

構(gòu)建數(shù)據(jù)中臺的方法論，可歸納為兩點：統(tǒng)一數(shù)據(jù)標準規(guī)范和統(tǒng)一數(shù)據(jù)接口服務(wù)。

構(gòu)建數(shù)據(jù)中臺的技術(shù)路線：1) 建設(shè)大數(shù)據(jù)存儲、計算設(shè)施。2) 結(jié)合商用和開源工具組件，構(gòu)建數(shù)據(jù)平臺。3) 開展數(shù)據(jù)治理，統(tǒng)一數(shù)據(jù)標準，體現(xiàn)為數(shù)據(jù)發(fā)現(xiàn)、模型、質(zhì)量、成本和指標的治理五個方面。4) 建設(shè)對外統(tǒng)一數(shù)據(jù)接口服務(wù)。5) 基于數(shù)據(jù)服務(wù)，為業(yè)務(wù)賦能。

綜上所述，從理論支撐、工具支持、方法論、技術(shù)路線等多個方面均已很成熟，為數(shù)據(jù)中臺的建設(shè)提供了有力支撐。

1 應(yīng)用背景

隨著幾十年的信息化、網(wǎng)絡(luò)化建設(shè)，煙草行業(yè)在信息化建設(shè)方面取得了卓越成效，在倉儲、物流、能耗、銷售、生產(chǎn)、采購、售后等方面實現(xiàn)了精益化管理。

煙草行業(yè)在信息化建設(shè)主要體現(xiàn)在兩個方面：一是基礎(chǔ)建設(shè)的升級改造，包括設(shè)備、儀表的升級改造，網(wǎng)絡(luò)建設(shè)等。二是信息化建設(shè)，先后建設(shè)了面向不同應(yīng)用場景的信息化系統(tǒng)。如面向生產(chǎn)過程管控的MES(Manufacturing Execution System，制造執(zhí)行系統(tǒng)）、面向企業(yè)管理信息化的ERP(Enterprise Resource Planning，企業(yè)資源計劃）、面向生產(chǎn)設(shè)備管理的EAM(Enterprise Asset Management ，企業(yè)資產(chǎn)管理系統(tǒng)）、面向倉儲的WMS(Warehouse Management System，倉儲管理系統(tǒng)）等。信息化的建設(shè)實現(xiàn)了煙草企業(yè)全流程的精益化管理。

煙草行業(yè)開始信息化建設(shè)的時間較早、信息化建設(shè)投入相對很大，經(jīng)過數(shù)十年的建設(shè)，取得巨大成效的同時，也存在弊端。在信息化建設(shè)初期，受技術(shù)和其他因素影響，對于整個信息化建設(shè)缺乏長遠、戰(zhàn)略、統(tǒng)籌規(guī)劃，導致煙囪系統(tǒng)林立，老舊信息系統(tǒng)亟須更新?lián)Q代。數(shù)十年的信息化建設(shè)，形成面向煙草行業(yè)的海量數(shù)據(jù)，由于數(shù)據(jù)之間不同源、數(shù)據(jù)類型、數(shù)據(jù)模型不一致等導致形成大量數(shù)據(jù)孤島，打破系統(tǒng)壁壘，實現(xiàn)互聯(lián)互通，打破數(shù)據(jù)孤島，實現(xiàn)數(shù)據(jù)為企業(yè)賦能，是未來煙草行業(yè)信息化建設(shè)的重中之重。

隨著物聯(lián)網(wǎng)、云計算、互聯(lián)網(wǎng)+、智能感知、大數(shù)據(jù)平臺、數(shù)據(jù)中臺等高新技術(shù)的逐步成熟與廣泛應(yīng)用，架設(shè)面向煙草行業(yè)的數(shù)據(jù)中臺，挖掘潛在的應(yīng)用，全面提升煙草生產(chǎn)質(zhì)量、提升物流、倉儲、銷售的服務(wù)水平和擴展新的服務(wù)方式，實現(xiàn)數(shù)據(jù)從業(yè)務(wù)來，最終又服務(wù)于業(yè)務(wù)，為煙草行業(yè)賦能。

2 針對煙草企業(yè)的數(shù)據(jù)中臺架構(gòu)

數(shù)據(jù)中臺讓數(shù)據(jù)更加智能化提供給業(yè)務(wù)人員。整個數(shù)據(jù)中臺的核心是數(shù)據(jù)讓業(yè)務(wù)更加智慧。哪怕數(shù)據(jù)只有50%的準確性，那么在提高數(shù)據(jù)質(zhì)量同時，也希望這50%準確的數(shù)據(jù)產(chǎn)生業(yè)務(wù)價值。統(tǒng)一采集各業(yè)務(wù)部門數(shù)據(jù)，打破傳統(tǒng)企業(yè)數(shù)據(jù)壁壘，讓企業(yè)的數(shù)據(jù)“用起來”，通過對數(shù)據(jù)的收集、整理、計算、分析，來為企業(yè)提供決策的依據(jù)，實現(xiàn)數(shù)據(jù)的二次開發(fā)利用，轉(zhuǎn)化為對企業(yè)發(fā)展有益的有效信息，提高數(shù)據(jù)的利用率[3]。為平臺管理員提供一個整合的管理界面，完成數(shù)據(jù)統(tǒng)一匯總，統(tǒng)一模型算法處理，不同報表展現(xiàn)。企業(yè)部門分開使用，部門決策人員統(tǒng)一使用，減少企業(yè)數(shù)據(jù)治理的投入成本，通過數(shù)據(jù)中臺中的數(shù)據(jù)質(zhì)量模塊的自動化定時度量檢測，能夠大大降低數(shù)據(jù)治理相關(guān)的人力成本。平臺統(tǒng)一部署，統(tǒng)一實施，開設(shè)賬戶。使得大數(shù)據(jù)開發(fā)人員無須部署直接使用。企業(yè)各部門數(shù)據(jù)統(tǒng)一管理。統(tǒng)一定時采集各個部門的數(shù)據(jù)，進行統(tǒng)一存儲，標簽化。統(tǒng)一模型化存儲管理。集中數(shù)據(jù)共享接口暴露，數(shù)據(jù)預覽。減少不必要的運維成本。

目前開源和商用的數(shù)據(jù)中臺已有許多，本文借鑒開源的數(shù)據(jù)中臺平臺，結(jié)合煙草行業(yè)特點，提出一種面向煙草行業(yè)的數(shù)據(jù)中臺架構(gòu)。如圖1所示。

圖1 面向煙草行業(yè)的數(shù)據(jù)中臺架構(gòu)

圖2 數(shù)據(jù)治理

全域數(shù)據(jù)采集：全域數(shù)據(jù)覆蓋煙草行業(yè)倉儲、物流、能耗、銷售、生產(chǎn)、采購、售后、交通、IoT等領(lǐng)域，覆蓋全流程數(shù)據(jù)，形成一個企業(yè)級的大數(shù)據(jù)處理平臺。

數(shù)據(jù)規(guī)范管理：對煙草行業(yè)過程數(shù)據(jù)和結(jié)果數(shù)據(jù)進行質(zhì)量校驗，構(gòu)建數(shù)據(jù)類目體系，建設(shè)質(zhì)量標準體系，包括數(shù)據(jù)質(zhì)量標準、數(shù)據(jù)服務(wù)標準和數(shù)據(jù)管理標準，從數(shù)據(jù)建模、數(shù)據(jù)審核、數(shù)據(jù)交互角度建立標準，保障數(shù)據(jù)的一致性、完整性和準確性。建設(shè)數(shù)據(jù)標準化模型，幫助企業(yè)實現(xiàn)數(shù)據(jù)管理規(guī)范化[4]。

數(shù)據(jù)開發(fā)平臺：基于MDM(Master Data Management，主數(shù)據(jù)管理系統(tǒng)）和一站式建模及ETL，滿足離線和實時數(shù)據(jù)開發(fā)，運用平臺的相關(guān)大數(shù)據(jù)組件及計算資源，讓傳統(tǒng)的數(shù)據(jù)整合計算更加快速敏捷，使數(shù)據(jù)更快速地提供給業(yè)務(wù)部門。

數(shù)據(jù)服務(wù)平臺：建設(shè)數(shù)據(jù)共享服務(wù)平臺，支持Restful、Webservice等多種方式實現(xiàn)數(shù)據(jù)共享，支持發(fā)布與訂閱模式。數(shù)據(jù)資產(chǎn)自動生成數(shù)據(jù)查詢（支持分詞查詢）、數(shù)據(jù)導出等多種服務(wù)方式，提供自定義SQL的方式供業(yè)務(wù)人員進行數(shù)據(jù)和服務(wù)編排，快速滿足人員和系統(tǒng)的數(shù)據(jù)要求。

數(shù)據(jù)共享中心：基于magic-api 開發(fā)的數(shù)據(jù)共享中心，可實現(xiàn)針對數(shù)據(jù)庫表、視圖、SQL語句等動態(tài)發(fā)布Restful接口。

ETL技術(shù)： ETL負責將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后，進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘提供決策支持的數(shù)據(jù)。 ETL是構(gòu)建數(shù)據(jù)倉庫的重要的一環(huán)，用戶從數(shù)據(jù)源抽取所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中。

3 關(guān)鍵技術(shù)

3.1 元數(shù)據(jù)概念

構(gòu)建數(shù)據(jù)中臺的前提，是確認業(yè)務(wù)口徑、數(shù)據(jù)來源和計算邏輯。元數(shù)據(jù)是這些數(shù)據(jù)。

元數(shù)據(jù)類型包括：數(shù)據(jù)字典、數(shù)據(jù)血緣和數(shù)據(jù)特征。

數(shù)據(jù)字典：即數(shù)據(jù)結(jié)構(gòu)。包括：數(shù)據(jù)表名稱、數(shù)據(jù)字段名稱、數(shù)據(jù)字段類型、數(shù)據(jù)約束。數(shù)據(jù)約束包括：主鍵、外鍵、默認值、語義等，表的數(shù)據(jù)產(chǎn)出任務(wù)，表和字段的權(quán)限等。

數(shù)據(jù)血緣：是指數(shù)據(jù)表的溯源，如父子表。

數(shù)據(jù)特征：主要是指數(shù)據(jù)的屬性信息：存儲空間大小，數(shù)倉分層，訪問熱度，主題分類，關(guān)聯(lián)指標等。

3.2 多源異構(gòu)數(shù)據(jù)集成

由于煙草行業(yè)的數(shù)據(jù)來源于多類型數(shù)據(jù)庫且數(shù)據(jù)結(jié)構(gòu)不一致，打破數(shù)據(jù)壁壘，實現(xiàn)多源異構(gòu)數(shù)據(jù)集成，來為企業(yè)提供決策的依據(jù)，實現(xiàn)數(shù)據(jù)的二次開發(fā)利用，轉(zhuǎn)化為對企業(yè)發(fā)展有益的有效信息，提高數(shù)據(jù)的利用率。針對數(shù)據(jù)預處理困難的現(xiàn)狀，研究基于云端大數(shù)據(jù)多源異構(gòu)數(shù)據(jù)融合技術(shù)，包括多源異構(gòu)數(shù)據(jù)融合技術(shù)和預制構(gòu)件生產(chǎn)可視化建模工具，通過這兩種服務(wù)為機器學習和深度學習提供了從數(shù)據(jù)處理、模型訓練、到模型預測的一站式服務(wù)，打通底層數(shù)據(jù)為用戶提供模型開發(fā)環(huán)境，用戶不必精通大數(shù)據(jù)相關(guān)知識，也無須考慮復雜工況下數(shù)據(jù)處理，即可專注于業(yè)務(wù)本身?？梢暬９ぞ邔⑶岸丝赏献ЫM件與后臺在線學習、優(yōu)化和大數(shù)據(jù)的多目標、多任務(wù)實時優(yōu)化混合智能算法庫算法綁定，用戶只需在前端拖拽組件并連接形成大數(shù)據(jù)工作流程，后臺根據(jù)前端配置調(diào)用后臺數(shù)據(jù)和智能算法庫來訓練處理模型并返回運行結(jié)果。

3.3 數(shù)據(jù)治理

數(shù)據(jù)治理是數(shù)據(jù)中臺的核心組成部分，其基礎(chǔ)為元數(shù)據(jù)。通過對元數(shù)據(jù)進行一次加工，實現(xiàn)對數(shù)據(jù)發(fā)現(xiàn)、模型、質(zhì)量、成本和指標的治理[5]。

4 煙草行業(yè)數(shù)據(jù)中臺的應(yīng)用

數(shù)據(jù)中臺是煙草行業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵，煙草行業(yè)經(jīng)過幾十年的信息化建設(shè)，具備建設(shè)數(shù)據(jù)中臺的條件和能力，以數(shù)據(jù)驅(qū)動銷售、生產(chǎn)、物流、采購、能耗等業(yè)務(wù)領(lǐng)域的決策管理，實現(xiàn)煙草行業(yè)數(shù)據(jù)賦能、智慧營銷、智慧生產(chǎn)、智慧管理、智慧物流[6]。面向煙草行業(yè)全產(chǎn)業(yè)鏈數(shù)據(jù)中臺架構(gòu)如圖3所示。

圖3 數(shù)據(jù)中臺架構(gòu)

煙草行業(yè)數(shù)據(jù)中臺基于工業(yè)互聯(lián)網(wǎng)平臺之上建設(shè)。工業(yè)互聯(lián)網(wǎng)平臺自底向上分為接入層、邊緣層、IAAS層、PASS層和SAAS層。煙草行業(yè)數(shù)據(jù)中臺基于IAAS 層之上，涵蓋PAAS 層和SAAS 層，圍繞智慧經(jīng)營、智慧生產(chǎn)、智慧安全、智慧能源、智慧物流、智慧運維、智慧建設(shè)、智慧決策八個方面，最終實現(xiàn)數(shù)據(jù)透明化、管理精益化、制造智能化。

數(shù)據(jù)中臺主體自底向上包括接入層、中間層、集市層。接入層主要指各類信息系統(tǒng)，中間層建立數(shù)據(jù)標準體系，包括數(shù)據(jù)采集標準、數(shù)據(jù)模型標準、體系搭建標準三個標準，圍繞數(shù)據(jù)分類、數(shù)據(jù)存儲、數(shù)據(jù)治理、數(shù)據(jù)共享四個方面進行建設(shè)。集市層則是圍繞數(shù)據(jù)應(yīng)用方面建設(shè)，包括BI、報表、大屏展示等。

面向煙草行業(yè)全產(chǎn)業(yè)鏈數(shù)據(jù)中臺技術(shù)架構(gòu)如圖4所示。

圖4 數(shù)據(jù)中臺技術(shù)架構(gòu)

面向煙草行業(yè)的數(shù)據(jù)中臺技術(shù)架構(gòu)，以云平臺為底座，IAAS 層為基礎(chǔ)設(shè)施建設(shè)，PAAS 層提供數(shù)據(jù)建設(shè)服務(wù)平臺，包括：存儲、計算、數(shù)據(jù)庫、數(shù)據(jù)挖掘和數(shù)據(jù)分析，為上層應(yīng)用建設(shè)提供技術(shù)支撐。SAAS 層為應(yīng)用層，包括分布式隊列服務(wù)、分布式鎖服務(wù)、數(shù)據(jù)挖掘服務(wù)、數(shù)據(jù)分析服務(wù)、信息庫等。

5 結(jié)束語

本文對煙草行業(yè)信息化發(fā)展現(xiàn)狀進行分析，煙囪系統(tǒng)林立、數(shù)據(jù)異構(gòu)非同源問題嚴重，符合數(shù)據(jù)中臺建設(shè)基礎(chǔ)需求。通過對數(shù)據(jù)中臺技術(shù)的研究，結(jié)合煙草信息化建設(shè)過程中的問題和未來建設(shè)需求，提出適應(yīng)煙草行業(yè)的數(shù)據(jù)中臺技術(shù)架構(gòu)和應(yīng)用分析。

針對煙草行業(yè)的特點，覆蓋煙草行業(yè)倉儲、物流、能耗、銷售、生產(chǎn)、采購、售后、交通、IOT 等領(lǐng)域，覆蓋全流程數(shù)據(jù)，建設(shè)符合煙草行業(yè)需求的數(shù)據(jù)中臺，以期數(shù)據(jù)賦能煙草行業(yè)。