摘要:煙草行業(yè)在生產(chǎn)、運轉(zhuǎn)階段會產(chǎn)生大量數(shù)據(jù)資產(chǎn),而數(shù)據(jù)資產(chǎn)作為企業(yè)發(fā)展的核心,應(yīng)進一步加強數(shù)據(jù)中臺建設(shè),整合多元化數(shù)據(jù),實現(xiàn)資產(chǎn)具化。該研究以數(shù)據(jù)為驅(qū)動,根據(jù)煙草行業(yè)實際需求,從數(shù)據(jù)集成、分析以及服務(wù)的視角,探究大數(shù)據(jù)、人工智能等先進技術(shù)在數(shù)據(jù)中臺建設(shè)項目中的具體應(yīng)用,以此提高數(shù)據(jù)處理質(zhì)量和數(shù)據(jù)成果效能,推動產(chǎn)業(yè)高效、可持續(xù)化發(fā)展。
關(guān)鍵詞:煙草行業(yè);數(shù)據(jù)中臺建設(shè);智能化
中圖分類號:TP311 "文獻標(biāo)志碼:A
0 引言
當(dāng)前,煙草行業(yè)在生產(chǎn)和運營過程中積累了大量的數(shù)據(jù)信息,針對數(shù)據(jù)資產(chǎn),傳統(tǒng)管理方式難以滿足現(xiàn)代化生產(chǎn)和運營需求,存在資源浪費與信息孤島現(xiàn)象。為解決這一問題,加強數(shù)據(jù)中臺的建設(shè)尤為迫切。數(shù)據(jù)中臺通過整合多源異構(gòu)數(shù)據(jù),優(yōu)化框架設(shè)計實現(xiàn)數(shù)據(jù)資產(chǎn)的集中管理和高效利用,提升企業(yè)數(shù)據(jù)處理能力和分析決策水平,解決當(dāng)前數(shù)據(jù)管理局限性問題。
1 煙草行業(yè)數(shù)據(jù)中臺建設(shè)項目具體規(guī)劃
1.1 框架設(shè)計
在現(xiàn)代煙草行業(yè),生產(chǎn)運行所產(chǎn)生的數(shù)據(jù)量激增,如何高效管理與利用數(shù)據(jù)資產(chǎn)成為提高企業(yè)競爭力的關(guān)鍵。數(shù)據(jù)中臺建設(shè)旨在盤點數(shù)據(jù)資源,突破各業(yè)務(wù)系統(tǒng)局限,為相關(guān)決策提供有力參考。通過數(shù)據(jù)中臺,不僅能提升數(shù)據(jù)處理效率,還能打造數(shù)據(jù)驅(qū)動格局,優(yōu)化生產(chǎn)流程,并加強供應(yīng)鏈管理,落實更加精細化的市場營銷策略,促進企業(yè)可持續(xù)發(fā)展。對現(xiàn)有數(shù)據(jù)中臺系統(tǒng)框架進行優(yōu)化,框架設(shè)計結(jié)構(gòu)如圖1所示。下面對框架設(shè)計進行具體介紹。
1.1.1 應(yīng)用層
應(yīng)用層包括用戶交互界面和業(yè)務(wù)應(yīng)用程序,通過前端技術(shù)棧(如React、Angular、Vue.js)構(gòu)建用戶交互界面,確保用戶能夠便捷地獲取和利用數(shù)據(jù)資產(chǎn)。后端使用Spring Boot、Django、Node.js等框架開發(fā)業(yè)務(wù)應(yīng)用程序,確保應(yīng)用層的靈活性和擴展性。該層還開發(fā)移動應(yīng)用、Web應(yīng)用以及桌面應(yīng)用,使不同層級和崗位的工作人員根據(jù)需求訪問數(shù)據(jù),完成相關(guān)業(yè)務(wù)操作。例如,生產(chǎn)管理人員可通過應(yīng)用層實時監(jiān)控生產(chǎn)數(shù)據(jù),調(diào)整生產(chǎn)策略。
1.1.2 服務(wù)層
服務(wù)層負責(zé)構(gòu)建一系列微服務(wù)架構(gòu),利用RESTful API、GraphQL等技術(shù)確保各項服務(wù)能夠快速響應(yīng),并搭配Docker進行容器化,使用Kubernetes技術(shù)進行容器編排與管理,確保服務(wù)的可擴展性和高可用性。在煙草數(shù)據(jù)資產(chǎn)運維中,服務(wù)層可提供生產(chǎn)監(jiān)控、供應(yīng)鏈管理、銷售數(shù)據(jù)分析等服務(wù),通過標(biāo)準(zhǔn)化API向外部系統(tǒng)提供數(shù)據(jù)信息。
1.1.3 數(shù)據(jù)層
數(shù)據(jù)層是數(shù)據(jù)中臺的核心部分,包括緩沖數(shù)據(jù)層、公共數(shù)據(jù)層和萃取數(shù)據(jù)層。緩沖數(shù)據(jù)層用于臨時存儲實時采集的數(shù)據(jù),使用Kafka、RabbitMQ等技術(shù)進行實時數(shù)據(jù)采集和傳輸。公共數(shù)據(jù)層采用Hadoop、HBase等技術(shù)進行大規(guī)模數(shù)據(jù)存儲,提供統(tǒng)一視圖。該層數(shù)據(jù)可用于支持企業(yè)日常運營,例如市場銷售數(shù)據(jù)、庫存數(shù)據(jù)等。萃取數(shù)據(jù)層則利用Spark進行大數(shù)據(jù)處理與分析,通過TensorFlow、PyTorch等技術(shù)進行機器學(xué)習(xí)模型訓(xùn)練與預(yù)測,針對特定業(yè)務(wù)需求還可深度挖掘數(shù)據(jù)并分析,例如通過對銷售數(shù)據(jù)和市場趨勢的深度分析,生成銷售預(yù)測與市場需求預(yù)測報告,幫助企業(yè)制定戰(zhàn)略決策。
1.1.4 業(yè)務(wù)邏輯層
業(yè)務(wù)邏輯層通過引入業(yè)務(wù)規(guī)則引擎和工作流管理系統(tǒng),進行復(fù)雜業(yè)務(wù)邏輯的建模與執(zhí)行。其中,業(yè)務(wù)規(guī)則引擎的設(shè)計主要基于Java的BRMS系統(tǒng),直接通過規(guī)則語法定義業(yè)務(wù);工作流管理系統(tǒng)部分可選擇Apache Airflow和Camunda輕量級自動化決策平臺,支持決策建模標(biāo)記(Design Modification Note,DMN)與業(yè)務(wù)流程建模標(biāo)記(Business Process Modeling Notation,BPMN)。在煙草行業(yè),業(yè)務(wù)邏輯層能夠?qū)崿F(xiàn)生產(chǎn)計劃優(yōu)化、庫存管理自動化、銷售策略調(diào)整等復(fù)雜業(yè)務(wù)操作,確保企業(yè)運營的高效性和靈活性。
1.1.5 基礎(chǔ)設(shè)施層
基礎(chǔ)設(shè)施層作為數(shù)據(jù)中臺的技術(shù)底座,應(yīng)構(gòu)建高性能計算集群、網(wǎng)絡(luò)設(shè)備和存儲設(shè)備等硬件設(shè)施,并通過容器化技術(shù)和云計算平臺實現(xiàn)資源的動態(tài)分配和彈性擴展。采用Kubernetes進行容器編排和管理,以保障系統(tǒng)的高可靠性和靈活性[1]。同時,通過防火墻、入侵檢測系統(tǒng)和數(shù)據(jù)加密等技術(shù),可確保數(shù)據(jù)在傳輸和存儲過程中的安全性。在煙草行業(yè)中,基礎(chǔ)設(shè)施層保障數(shù)據(jù)中臺穩(wěn)定運行,支持各類數(shù)據(jù)處理和分析任務(wù)的高效執(zhí)行。
1.2 關(guān)鍵技術(shù)應(yīng)用
1.2.1 元數(shù)據(jù)管理技術(shù)
元數(shù)據(jù)管理技術(shù)通過元數(shù)據(jù)維護、注冊、檢索分析實現(xiàn)對數(shù)據(jù)資產(chǎn)的管理與應(yīng)用。元數(shù)據(jù)注冊負責(zé)將各類數(shù)據(jù)源、數(shù)據(jù)處理流程和數(shù)據(jù)結(jié)果登記在元數(shù)據(jù)管理系統(tǒng)中,以便后續(xù)的查詢和管理。注冊過程通過統(tǒng)一接口和描述語言(JSON、XML),將數(shù)據(jù)源、數(shù)據(jù)處理過程和結(jié)果的元數(shù)據(jù)注冊到元數(shù)據(jù)倉庫,確保信息的唯一性和規(guī)范性[2]。
元數(shù)據(jù)檢索分析過程通過信息的自主查詢與系統(tǒng)分析,為管理決策提供參考。主要涉及數(shù)據(jù)模型SQL腳本生成與導(dǎo)出、數(shù)據(jù)模型ER圖等技術(shù)。其中,數(shù)據(jù)模型SQL腳本生成與導(dǎo)出技術(shù)通過解析數(shù)據(jù)模型的元數(shù)據(jù),自動生成相應(yīng)的SQL腳本并對數(shù)據(jù)表進行創(chuàng)建、實時更新及查詢。數(shù)據(jù)模型ER圖技術(shù)則作為一種圖形化工具,展示實體、屬性之間的關(guān)系。ER圖通過元數(shù)據(jù)解析,生成具體關(guān)系圖形,函數(shù)如下:
ER=ER_Diagram(E,A,R)(1)
1.2.2 多源異構(gòu)數(shù)據(jù)整合技術(shù)
多源異構(gòu)數(shù)據(jù)整合技術(shù)主要應(yīng)用于數(shù)據(jù)層,負責(zé)將來自生產(chǎn)設(shè)備、供應(yīng)鏈系統(tǒng)、銷售終端等不同數(shù)據(jù)源的數(shù)據(jù)進行統(tǒng)一處理與系統(tǒng)化管理。該技術(shù)通過ETL(抽取、轉(zhuǎn)換、加載)過程實現(xiàn)對數(shù)據(jù)的清洗、轉(zhuǎn)換與整合,形成統(tǒng)一、規(guī)范化的數(shù)據(jù)集。該技術(shù)將數(shù)據(jù)源按照對應(yīng)類型分類,如結(jié)構(gòu)化數(shù)據(jù)(關(guān)系數(shù)據(jù)庫)、半結(jié)構(gòu)化數(shù)據(jù)(JSON、XML文件)、非結(jié)構(gòu)化數(shù)據(jù)(文本、圖像)等。在數(shù)據(jù)中臺實際運行中,該技術(shù)配合元數(shù)據(jù)管理技術(shù),應(yīng)用Apache Nifi等集成工具,處理各類交易數(shù)據(jù),將不同格式的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的內(nèi)部數(shù)據(jù)格式,以便后續(xù)分析和利用[3]。
1.2.3 信息分類與編碼技術(shù)
數(shù)據(jù)分類體系的構(gòu)建包括確定分類標(biāo)準(zhǔn)和分類層級。采用層次化分類方法對數(shù)據(jù)進行多維度、多層級的細化分類。根據(jù)層次化分類,在系統(tǒng)中采用數(shù)字集合形式進行表述,如一級分類集合A={a1,a2,…},其中元素a1表示原材料數(shù)據(jù),a2表示生產(chǎn)過程數(shù)據(jù)等。二級分類集合為BA,如Ba2={b21,b22,b23,…},其中,元素b21表示設(shè)備運行數(shù)據(jù),b22表示環(huán)境監(jiān)測數(shù)據(jù),b23表示工藝參數(shù)數(shù)據(jù)。編碼標(biāo)準(zhǔn)應(yīng)具有唯一性、規(guī)范性和擴展性,以保證編碼的唯一識別和規(guī)范使用。該技術(shù)的實現(xiàn)主要得益于數(shù)據(jù)分析與編碼模型的設(shè)計,基于機器學(xué)習(xí)和自然語言處理技術(shù),自動識別數(shù)據(jù)特征,進行分類標(biāo)注和編碼生成[4]。本文使用支持向量機(Support Vector Machine,SVM)或隨機森林(Random Forest,RF)算法進行分類訓(xùn)練和預(yù)測,公式如下:
y=f(x)(2)
其中,y表示分類標(biāo)簽,x表示數(shù)據(jù)特征,f表示分類模型。結(jié)合詞嵌入(Word Embedding,WE)和命名實體識別(Named Entity Recognition,NER)技術(shù),提取數(shù)據(jù)中的關(guān)鍵信息,生成相應(yīng)的編碼。
2 場景應(yīng)用
2.1 消費群體畫像
通過數(shù)據(jù)中臺的建設(shè),本文利用城市網(wǎng)格設(shè)計與聚類分析算法,對消費群體進行精細化畫像。該方法不僅能幫助企業(yè)識別高價值客戶,還能為個性化營銷策略的制定提供數(shù)據(jù)支持;選用K-means聚類,將相似的消費行為數(shù)據(jù)聚集在一起,形成不同的消費群體畫像。K-means聚類算法過程為:數(shù)據(jù)收集與預(yù)處理→特征提取→聚類。其中,聚類部分設(shè)定中心數(shù)k,初始化聚類中心為μ1,μ2,…,μk,迭代執(zhí)行式(3)—(5)所示步驟,直至聚類中心收斂。
d(xi,μj)=‖xi-μj‖(3)
Cj=xi:argminjd(xi,μj)(4)
μj=1Cj∑xi∈Cjxi(5)
其中,xi表示第i個消費者的特征向量,μj表示第j個聚類中心的特征向量,d(xi,μj)表示第i個消費者與第j個聚類中心之間的距離,Cj表示第j個聚類包含的消費者集合。
在實際應(yīng)用中,企業(yè)可以從多種渠道收集消費者數(shù)據(jù),包括銷售終端(Point of Sale,POS)系統(tǒng)、線上銷售平臺、會員管理系統(tǒng)和市場調(diào)研問卷等。收集的數(shù)據(jù)包括購買頻次、消費金額、偏好品牌、購買時間和地理位置等。通過對消費群體的精準(zhǔn)畫像,企業(yè)實現(xiàn)精準(zhǔn)營銷,加強客戶管理。例如:通過聚類分析,煙草企業(yè)可以識別出購買頻次高、消費金額大的高價值客戶。這些客戶對企業(yè)的利潤貢獻大,企業(yè)可以為他們提供專屬優(yōu)惠、會員特權(quán)和定制化服務(wù),提升客戶滿意度和忠誠度。同時,企業(yè)還可將客戶劃分為不同的消費群體,根據(jù)群體特征制定針對性的營銷策略。例如,對高頻次購買群體推送新品信息和促銷活動,對低頻次購買群體進行激勵消費的優(yōu)惠活動,從而提高營銷的精準(zhǔn)度和效果。根據(jù)群體需求進行更新,優(yōu)化產(chǎn)品線開發(fā)新產(chǎn)品,更好地滿足客戶需求提高市場競爭力。此外,企業(yè)還可對異常消費模式進行識別,及時預(yù)警潛在的客戶流失或市場變化。例如,當(dāng)某一群體的購買頻次明顯下降時,企業(yè)可以及時采取措施,如開展回訪活動或推出特定優(yōu)惠,挽回客戶。
2.2 核心業(yè)務(wù)可視化
為滿足煙草企業(yè)管理和決策的需求,核心業(yè)務(wù)可視化設(shè)計采用大屏展示的方式,為不同業(yè)務(wù)需求的部門提供全方位數(shù)據(jù)支持。借助可視化工具,多維度展示生產(chǎn)、銷售、庫存等關(guān)鍵業(yè)務(wù)數(shù)據(jù),實現(xiàn)實時監(jiān)控與動態(tài)分析,幫助企業(yè)管理者快速、準(zhǔn)確地做出決策。核心業(yè)務(wù)可視化旨在為企業(yè)用戶提供一站式、全方位的數(shù)據(jù)支持,能夠展示多維度數(shù)據(jù)的可視化情況,滿足管理與決策數(shù)據(jù)看板分析、業(yè)務(wù)專題分析和員工自助分析等需求[5];集成多種可視化工具,實現(xiàn)數(shù)據(jù)的實時展示和動態(tài)更新;使用Tableau構(gòu)建交互式儀表板,展示生產(chǎn)效率、銷售業(yè)績、庫存狀態(tài)等多維度數(shù)據(jù)信息。通過拖拽操作,用戶可自由選擇數(shù)據(jù)維度和展示方式,實現(xiàn)數(shù)據(jù)的深入分析和挖掘;采用Power BI構(gòu)建管理與決策數(shù)據(jù)看板,整合各業(yè)務(wù)部門的數(shù)據(jù),提供綜合性分析報告和決策支持;利用ECharts等工具進行業(yè)務(wù)專題分析,通過熱力圖、折線圖、柱狀圖等多種圖表形式,直觀展示業(yè)務(wù)數(shù)據(jù)。核心業(yè)務(wù)可視化設(shè)計支持用戶自定義分析維度和展示樣式,實現(xiàn)個性化數(shù)據(jù)分析。
2.3 供應(yīng)鏈優(yōu)化
數(shù)據(jù)中臺能夠整合供應(yīng)鏈各環(huán)節(jié)的數(shù)據(jù),包括原材料采購、庫存管理、物流運輸?shù)?。利用多源異?gòu)數(shù)據(jù)整合技術(shù),數(shù)據(jù)中臺能夠識別并分類數(shù)據(jù)源,如企業(yè)資源計劃(Enterprise Resource Planning,ERP)系統(tǒng)、倉庫管理系統(tǒng)(Warehouse Management System,WMS)和運輸管理系統(tǒng)(Transportation Management System,TMS);使用ETL工具從各數(shù)據(jù)源中抽取數(shù)據(jù),并進行清洗和轉(zhuǎn)換,確保數(shù)據(jù)一致性;將數(shù)據(jù)加載到統(tǒng)一存儲系統(tǒng)(如Hadoop HDFS、Ceph)后,進行整合與分析,形成供應(yīng)鏈全景視圖。
數(shù)據(jù)中臺通過可視化工具(如Tableau、Power BI)構(gòu)建供應(yīng)鏈管理儀表盤,實時展示采購進度、庫存狀態(tài)、運輸路線等,實現(xiàn)供應(yīng)鏈的可視化管理,提升效率,降低成本;通過數(shù)據(jù)中臺實時監(jiān)控庫存數(shù)據(jù),結(jié)合銷售預(yù)測和生產(chǎn)計劃,優(yōu)化庫存水平,避免庫存過多或短缺;利用元數(shù)據(jù)管理技術(shù),定義并維護庫存數(shù)據(jù)的元數(shù)據(jù),包括產(chǎn)品ID、數(shù)量、存儲位置等;將數(shù)據(jù)注冊到元數(shù)據(jù)倉庫,確保數(shù)據(jù)的一致性和可追溯性;提供數(shù)據(jù)檢索接口,實現(xiàn)對庫存數(shù)據(jù)的高效查詢;通過分析工具進行深度分析,預(yù)測未來需求,優(yōu)化庫存水平;基于分析結(jié)果,自動生成補貨計劃,設(shè)定庫存預(yù)警機制,及時處理庫存異常,實現(xiàn)庫存管理的自動化和智能化,提高庫存周轉(zhuǎn)率和資金利用率。
3 結(jié)語
在現(xiàn)代煙草行業(yè)中,生產(chǎn)和運營過程會生成大量數(shù)據(jù)資產(chǎn),這類資產(chǎn)是企業(yè)發(fā)展的關(guān)鍵驅(qū)動力。隨著信息技術(shù)的迅猛發(fā)展,傳統(tǒng)數(shù)據(jù)管理模式難以滿足高效、精細化管理的需求,企業(yè)應(yīng)對現(xiàn)有技術(shù)進行優(yōu)化,通過構(gòu)建數(shù)據(jù)中臺實現(xiàn)資產(chǎn)的統(tǒng)一管理。以數(shù)據(jù)驅(qū)動為基礎(chǔ),該研究結(jié)合實際需求提高企業(yè)運營效率,優(yōu)化資源配置,推動產(chǎn)業(yè)的高效、可持續(xù)化發(fā)展。
參考文獻
[1]林旻潔,周曉明.運用數(shù)字化技術(shù)提升煙草企業(yè)財會監(jiān)督效能的研究[J].財會學(xué)習(xí),2023(30):40-42.
[2]趙建翊,吳光哲,郁磊彬.中臺理念賦能煙草商業(yè)企業(yè)數(shù)字化轉(zhuǎn)型[J].中國集體經(jīng)濟,2022(31):65-68.
[3]張曉博,元棟.低代碼平臺對煙草企業(yè)信息化建設(shè)的啟發(fā)[J].合作經(jīng)濟與科技,2022(21):112-114.
[4]余仁聰,王波,何珣,等.武漢煙草物流中心智慧物流建設(shè)規(guī)劃[J].物流技術(shù),2022(9):124-128.
[5]章凱.雙中臺物流管理系統(tǒng)的協(xié)同設(shè)計方案分析[J].集成電路應(yīng)用,2022(7):286-288.
(編輯 沈 強編輯)
Research on construction project of tobacco industry data platform
YUAN" Zhimin
(Jiangxi China Tobacco Industry Co., Ltd., Nanchang 330096, China)
Abstract: The tobacco industry generates a large amount of data assets during the production and operation stages. As the core of enterprise development, the data assets should further strengthen the construction of data platforms, integrate diversified data, and achieve asset concretization. Based on the actual needs of the tobacco industry, the study is data-driven and explores the specific applications of advanced technologies such as big data and artificial intelligence in data center construction projects from the perspectives of data integration, analysis, and services. This study aims to improve the quality of data processing and the efficiency of data results, and promote the efficient and sustainable development of the industry.
Key words: tobacco industry; construction of data platform; intelligence