王華　張春生

摘? 要：高質量的數(shù)據是智能煉化工廠建設的基礎，為保證數(shù)據質量和集成共享，全面梳理某新建煉化企業(yè)數(shù)據源、數(shù)據類型和流轉關系，在數(shù)據治理和數(shù)據管理需求分析的基礎上，規(guī)劃了包括資源層、管理層、應用層和數(shù)據安全的企業(yè)整體數(shù)據架構，設計了面向業(yè)務的數(shù)據模型和面向物理對象的主數(shù)據，利用新一代信息技術，開發(fā)了融數(shù)據治理與數(shù)據管理于一體的綜合數(shù)據庫系統(tǒng)，為智能工廠構建統(tǒng)一的數(shù)據管理平臺和共享中心。

關鍵詞：煉化智能工廠；數(shù)據架構；主數(shù)據；數(shù)據模型；綜合數(shù)據庫

中圖分類號：TP311.5? 文獻標識碼：A? 文章編號：2096-4706（2023）12-0096-05

Research and Development of Overall Data Architecture Planning and Integrated Database of the New Generation Refining and Chemical Intelligent Factory

WANG Hua， ZHANG Chunsheng

（Kunlun Digital Technology Co.， Ltd.， Beijing? 102206， China）

Abstract： High-quality data is the basis of intelligent refining and chemical factory construction， in order to ensure the data quality and integration and sharing， comprehensively sort out the data source， data type and circulation relationship of a new refining and chemical enterprise， on the basis of data governance and data management requirements analysis， the overall data architecture of the enterprise including resource layer， management layer， application layer and data security are planned， and the business-oriented data model and physical object-oriented master data are designed. A comprehensive database system integrating data governance and data management is developed by using a new generation of information technology to build a unified data management platform and sharing center for intelligent factories.

Keywords： refining and chemical intelligent factory; data architecture; master data; data model; integrated database

0? 引? 言

第四次工業(yè)革命的標志是智能化，智能制造是未來的發(fā)展方向，高質量的數(shù)據是智能煉化工廠建設的基礎和高效運營的保證。煉化企業(yè)數(shù)據源復雜、數(shù)據類型多、產生速度快、數(shù)據量大。傳統(tǒng)煉化企業(yè)由于各信息系統(tǒng)建設時間不同、產品技術不同，實現(xiàn)數(shù)據一致和共享十分困難。在南方沿海某特大型煉化一體化企業(yè)工程建設過程中，同步規(guī)劃建設智能工廠，實現(xiàn)數(shù)字工廠與物理工廠同步設計、同步建設、同步投用。在智能工廠設計過程中，通過深入研究分析大數(shù)據、數(shù)據中臺、工業(yè)互聯(lián)網等技術，參考數(shù)據治理方法論，按照煉化企業(yè)業(yè)務特點和數(shù)據特點規(guī)劃了整體數(shù)據架構，創(chuàng)新提出了企業(yè)綜合數(shù)據庫概念，建設融數(shù)據治理與數(shù)據管理于一體的技術平臺，解決數(shù)據標準化、數(shù)據模型統(tǒng)一、主數(shù)據管理、跨系統(tǒng)數(shù)據共享等問題，從源頭上消除信息孤島。目前，綜合數(shù)據庫系統(tǒng)已在該企業(yè)試運行，實現(xiàn)數(shù)據的流暢流轉和跨系統(tǒng)共享應用，有效發(fā)揮數(shù)據價值。

1? 數(shù)據分析與整體架構規(guī)劃

1.1? 煉化企業(yè)數(shù)據源分析

煉化企業(yè)數(shù)據源產生方式復雜多樣，主要數(shù)據包括但不限于：1）機泵等動設備運行過程中的轉速、振動、溫度等機器數(shù)據；2）裝置生產過程的溫度、壓力、流量等DCS采集數(shù)據；3）儲罐中物料的液位、溫度等數(shù)據；4）固體化工品、物資等進出庫、庫存等數(shù)據；5）各種公用工程如蒸汽、氫氣、水的流量、溫度、壓力等數(shù)據；6）電力系統(tǒng)的輸入輸出電量、各裝置設備用電量等數(shù)據；7）原油進廠計量數(shù)據，產品出廠發(fā)運計量數(shù)據；8）原油、成品油、中間物料等分析化驗數(shù)據，化工品分析化驗數(shù)據；9）裝置DCS、SIS等報警預警數(shù)據，火災、有毒有害氣體、排出口等傳感器數(shù)據；10）工業(yè)視頻采集的圖像數(shù)據；11）工廠設計、建設、檢維修等形成的模型、屬性、文檔等數(shù)據；12）MES、ERP等信息系統(tǒng)應用操作生成的生產、業(yè)務數(shù)據；13）辦公系統(tǒng)生成各種公文、文檔等數(shù)據；14）企業(yè)生產經營管理生成的各種統(tǒng)計分析數(shù)據、指標數(shù)據；15）企業(yè)采集的各種客戶、供應商、價格、需求等外部數(shù)據；16）信息管理形成的主數(shù)據，系統(tǒng)應用過程生成的日志等數(shù)據。

由于煉化企業(yè)數(shù)據來源多樣，結構復雜，設計工廠數(shù)據架構時首先要梳理數(shù)據來源和在各業(yè)務中的分布、明確數(shù)據流轉關系，分類進行處理、存儲和應用。一般按照數(shù)據的某種屬性度對數(shù)據進行分類，常用的分類方法有：1）按照數(shù)據結構，分為結構化數(shù)據（如生產數(shù)據、產品數(shù)據）、半結構化數(shù)據（如門戶網頁、系統(tǒng)日志）、非結構化數(shù)據（如視頻、圖片）；2）按照數(shù)據記錄方式，分為時序數(shù)據（如自控系統(tǒng)采生成的溫度、壓力、流量等數(shù)據）、非時序數(shù)據（如財務數(shù)據、質量數(shù)據、客戶數(shù)據）。由于數(shù)據的多樣性和復雜性，煉化數(shù)據的分類一般是多種方式的組合，數(shù)據分類后分布存儲在相應的數(shù)據庫中。

1.2? 數(shù)據管理與治理需求

數(shù)據管理是對數(shù)據進行有效的收集、存儲、處理和應用的過程。數(shù)據標準化和數(shù)據質量控制是有效地發(fā)揮數(shù)據的作用的基礎，因此對于一個新建煉化企業(yè)來說，需要在物理工廠規(guī)劃時同步規(guī)劃數(shù)字工廠，從源頭對數(shù)據資產進行管理和控制。利用數(shù)據治理理念和方法，建立一套包括組織、制度、標準、流程、工具在內的數(shù)據治理體系，解決標準不統(tǒng)一、口徑不一致、共享難度大等問題，形成企業(yè)級數(shù)據資產，提升數(shù)據價值。數(shù)據治理涉及企業(yè)各個層面，是技術與管理相結合、貫穿于數(shù)據管理整個過程的系統(tǒng)工程，一般自上而下發(fā)起并推行。主要需求包括以下幾個方面：

1）組織方面，建立企業(yè)級數(shù)據治理委員會，企業(yè)主要領導牽頭掛帥，業(yè)務部門和IT部門共同參與，對數(shù)據治理體系進行統(tǒng)籌管理、協(xié)調溝通，建立企業(yè)數(shù)據戰(zhàn)略、制度和流程，對數(shù)據治理工作進行自上而下的管控與落實。

2）制度方面，制定企業(yè)數(shù)據治理管理辦法，作為數(shù)據治理總體的綱領性指引，并制定數(shù)據資源目錄管理、數(shù)據模型管理、數(shù)據標準管理、數(shù)據質量管理等數(shù)據治理活動的分項實施細則，對實際治理工作進行指導、管控和落實。

3）流程方面，數(shù)據治理實際工作需要依托有效的數(shù)據治理流程，建立數(shù)據模型管理、數(shù)據標準管理、主數(shù)據管理等各項治理工作的規(guī)范流程，將數(shù)據治理與業(yè)務、管理流程相融合、落實數(shù)據治理各項要求，促進數(shù)據治理工作的高效運作。

4）平臺方面，數(shù)據質量、數(shù)據安全、數(shù)據標準、數(shù)據模型等均需要相應的支撐工具，進行數(shù)據治理工作的固化與落地；建立統(tǒng)一的數(shù)據標準和數(shù)據資產管理的技術平臺，支撐數(shù)據集成、數(shù)據服務、數(shù)據治理和運行監(jiān)控。依托平臺進行主數(shù)據分類和標準化管理、發(fā)布、使用和變更。

1.3? 整體數(shù)據架構規(guī)劃

本著數(shù)據管理與數(shù)據治理并重的理念，站在煉化企業(yè)全局視角梳理數(shù)據源、數(shù)據流轉和數(shù)據應用關系，以提高數(shù)據質量和發(fā)揮數(shù)據價值為目標，以數(shù)據治理體系為基礎，以技術平臺為依托，以數(shù)據安全為保證，規(guī)劃企業(yè)整體數(shù)據架構，整合數(shù)據資源，統(tǒng)一數(shù)據標準，加強數(shù)據集成共享，從源頭上解決信息孤島。

整體數(shù)據架構由資源層、管理層、應用層和數(shù)據安全四部分組成（如圖1所示）。采用云平臺、微服務、大數(shù)據、數(shù)據倉庫等先進技術構建融數(shù)據管理與數(shù)據治理于一體的技術平臺，統(tǒng)一進行數(shù)據資源管理，并將數(shù)據標準、管理制度、管理流程、主數(shù)據、元數(shù)據等數(shù)據治理體系內容落實在平臺上。

1）資源層，建設全廠統(tǒng)一的數(shù)據庫管理系統(tǒng)，包括關系數(shù)據庫、NoSQL數(shù)據庫、實時數(shù)據庫、視頻數(shù)據庫、大數(shù)據平臺等，煉化企業(yè)IT層所有數(shù)據分類存儲在各數(shù)據庫系統(tǒng)中。系統(tǒng)物理層資源由企業(yè)級云平臺資源池（IaaS和PaaS）統(tǒng)一提供，可彈性擴展。

2）管理層，包括數(shù)據治理、數(shù)據共享中心、數(shù)據服務及與大數(shù)據平臺相應的算法模型等模塊。數(shù)據治理包括主數(shù)據管理、元數(shù)據管理、數(shù)據質量管理、標準文檔管理等功能。共享服務中心主要存儲主數(shù)據、跨系統(tǒng)共享的業(yè)務數(shù)據、指標數(shù)據，這些數(shù)據供各系統(tǒng)共享使用。數(shù)據服務包括數(shù)據目錄、數(shù)據地圖、數(shù)據共享管理、數(shù)據接口服務等功能，為用戶查詢數(shù)據、使用數(shù)據提供服務。算法模型為應用大數(shù)據求解給定的問題提供數(shù)學模型和計算過程，如常用的線性回歸、聚類、神經網絡等算法，通過大數(shù)據關聯(lián)分析實現(xiàn)數(shù)據智能。

3）應用層，通過對數(shù)據的分析應用，支持各系統(tǒng)或各業(yè)務部門生成所需報表、分析報告、預測結果、優(yōu)化方案等，并可將各種數(shù)據和指標與工廠三維模型關聯(lián)，形成虛實映射的數(shù)字孿生。

4）數(shù)據安全，通過技術和管理策略、措施建立數(shù)據安全保護體系，保護數(shù)據不遭到破壞、更改和泄露，保證數(shù)據的可用性、完整性和保密性。

在新建煉化工廠建設期，重點是梳理各IT系統(tǒng)數(shù)據共享需求，及IT系統(tǒng)與OT系統(tǒng)間數(shù)據集成需求，提高數(shù)據自動采集水平和共享水平，解決數(shù)據孤島問題。因此，在該大型煉化一體化工廠首先開發(fā)實施企業(yè)綜合數(shù)據庫系統(tǒng)（見圖1中虛框部分），待工廠營運期后再建設大數(shù)據平臺，實現(xiàn)數(shù)據關聯(lián)分析和智能應用。

2? 企業(yè)綜合數(shù)據庫設計

2.1? 功能設計

煉化企業(yè)綜合數(shù)據庫建設目標是構建煉化智能工廠的數(shù)據底座，存儲各類生產數(shù)據和業(yè)務數(shù)據，集成所需的控制系統(tǒng)數(shù)據，支撐業(yè)務流程橫向融通、縱向貫通；形成煉廠數(shù)據標準化治理平臺，承載主數(shù)據、元數(shù)據、數(shù)據質量管理等，支撐跨業(yè)務、跨部門的數(shù)據應用。企業(yè)綜合數(shù)據庫包括數(shù)據集成、數(shù)據存儲、數(shù)據服務、數(shù)據標準化管理及系統(tǒng)管理等功能模塊（如圖2所示）。

2.1.1? 數(shù)據治理功能

主數(shù)據管理提供主數(shù)據查詢、分類管理、模型管理、編碼規(guī)則管理、主數(shù)據維護以及主數(shù)據申請、校驗、審批、分發(fā)、歸檔等線上管控功能，實現(xiàn)智能煉廠統(tǒng)一數(shù)據編碼和基礎數(shù)據服務。數(shù)據質量管理模塊提供質量規(guī)則、質量報告、規(guī)則模板配置功能，提供基于空值、重復值、值域、正則表達式、主數(shù)據編碼等檢查規(guī)則的質量檢查模板和質量報告，幫助企業(yè)開展數(shù)據治理，提升數(shù)據質量。標準文檔管理提供文檔目錄配置及廣東石化標準文檔的上傳、下載、維護功能。元數(shù)據管理對數(shù)據生命周期中的業(yè)務語義、技術定義、處理規(guī)則等關鍵數(shù)據進行管理，為數(shù)據血緣追溯、關聯(lián)分析等應用提供基礎。

2.1.2? 數(shù)據集成管理功能

包括數(shù)據采集、ETL管理、采集監(jiān)控等子模塊。數(shù)據采集支持API和數(shù)據庫兩種接入方式，通過數(shù)據源、讀取方式、讀取頻率、錯誤隊列、請求參數(shù)、傳輸加密、讀取條件、目的庫等方面的配置，實現(xiàn)數(shù)據集成零代碼搭建。通過ETL管理、采集監(jiān)控等功能實現(xiàn)數(shù)據集成可視化管理。

2.1.3? 數(shù)據服務功能

包括數(shù)據目錄管理、數(shù)據地圖、數(shù)據共享管理、接口服務等子模塊。其中數(shù)據地圖形成計劃、生產、儲運、能源、設備、安環(huán)、經營等數(shù)據域分布的共享數(shù)據導航圖，綜合展示各數(shù)據域表數(shù)量和記錄數(shù)量，并定位具體數(shù)據實體。數(shù)據目錄功能提供各業(yè)務域從進廠、倉儲、生產活動到出廠等環(huán)節(jié)的業(yè)務數(shù)據目錄，并提供各項數(shù)據血緣分析關聯(lián)圖。數(shù)據共享管理包括各域數(shù)據應用的申請、審批和授權管理，為各系統(tǒng)和數(shù)據用戶提供數(shù)據應用安全定制化服務。接口服務管理包括共享數(shù)據接口配置、注冊發(fā)布、接口申請與授權、接口監(jiān)控等功能，為系統(tǒng)運維人員提供便捷的接口管理工具。

2.1.4? 數(shù)據共享中心

建立數(shù)據庫集群，對智能煉廠主數(shù)據和業(yè)務數(shù)據進行存儲管理。其中主數(shù)據部分納管裝置、物料、側線、儲罐、設備、人員、組織等智能煉廠基礎信息。業(yè)務數(shù)據部分包含各業(yè)務域計劃、執(zhí)行、統(tǒng)計、考核等方面的數(shù)據，以及生產過程重點實時監(jiān)測數(shù)據，形成智能煉廠高價值數(shù)據資產。

2.1.5? 系統(tǒng)管理功能

包括系統(tǒng)運營監(jiān)控、運營分析、日志管理、權限管理、用戶管理、數(shù)據安全等子模塊。系統(tǒng)運營監(jiān)控提供監(jiān)控模板、監(jiān)控配置、監(jiān)控類別、報警推送記錄、監(jiān)控記錄、接口監(jiān)控看板、數(shù)據庫接口分析等功能項，提供監(jiān)控模板、監(jiān)控范圍配置功能，對主機、接口、數(shù)據庫等對象的運行狀態(tài)、故障原因等進行跟蹤、記錄和展示。

2.2? 數(shù)據模型設計

在全面梳理該煉化企業(yè)數(shù)據源、數(shù)據分布、數(shù)據流轉關系、共享應用及管理需求的基礎上，參考ISA95和工業(yè)4.0工廠模型中及數(shù)據屬性定義，結合煉化企業(yè)生產過程和業(yè)務屬性，采用面向業(yè)務建模方法，設計企業(yè)綜合數(shù)據庫整體數(shù)據模型。數(shù)據模型涵蓋生產計劃、生產執(zhí)行、生產績效的管控鏈主線，以及進廠、倉儲、生產、出廠的業(yè)務鏈主線。根據專業(yè)化管理要求，在生產執(zhí)行管控環(huán)節(jié)增加儲運、設備、能源、安環(huán)等專業(yè)數(shù)據模型。設計裝置、設備、產品、物料、儲罐、料倉、組織等精確映射物理工廠對象的主數(shù)據模型，體數(shù)據模型如圖3所示。

數(shù)據建模的過程按照建模理論分為三步：1）在數(shù)據域劃分、整體模型確立之后，梳理各業(yè)務系統(tǒng)數(shù)據源頭和去向，明確系統(tǒng)間數(shù)據交互具體內容，定義共享數(shù)據結構，進行概念模型建模；2）在集成接口定義階段，進一步明確每一字段長度和格式，進行邏輯模型建模；3）在數(shù)據集成和共享接口開發(fā)階段，建立物理數(shù)據庫和數(shù)據表，通過接口同步數(shù)據入庫。最終形成裝置、儲罐、料倉等映射物理工廠的主數(shù)據模型，及計劃、生產、儲運、安環(huán)、設備等業(yè)務域下體現(xiàn)業(yè)務流、物料流、財務流的業(yè)務數(shù)據模型，建成符合生產工藝的物料層級樹、設備層級樹、物料移動關系及組織機構體系，支撐全廠數(shù)據資產規(guī)范化、可視化管理。

主數(shù)據是各應用系統(tǒng)數(shù)據標準化和共享的基礎數(shù)據，要求完全映射物理工廠中的實體，相關屬性為物理實體的靜態(tài)信息，具有通用性強、共享性高、變更頻度低等特點。煉化主數(shù)據包含裝置、設備、物料、側線、罐組、儲罐、公用工程設施、能源介質、裝車島、鶴位、碼頭、泊位、組織結構、人員、貨幣、計量單位、國家地區(qū)等20多個類型。主數(shù)據發(fā)布在綜合數(shù)據庫中供各系統(tǒng)使用。主數(shù)據按版本進行管理，新版本主數(shù)據發(fā)布時，企業(yè)綜合數(shù)據庫以消息待辦形式通知相關業(yè)務系統(tǒng)進行主數(shù)據同步，業(yè)務系統(tǒng)訪問綜合數(shù)據庫提供的共享接口進行接收處理。

3? 系統(tǒng)研發(fā)與實現(xiàn)

3.1? 技術方案

作為智能煉廠統(tǒng)一數(shù)據底座和共享中心，企業(yè)綜合數(shù)據庫要具有高可用、高并發(fā)、高性能及高魯棒性等特點，以滿足多應用系統(tǒng)同時訪問、實時調用及大批量取數(shù)等場景下的需求。同時，需要滿足上層分析展示需求變化頻繁，數(shù)據接口開發(fā)配置快速響應，系統(tǒng)運維簡單快捷的需求。因此企業(yè)綜合數(shù)據庫采用微服務架構，選擇Springboot開發(fā)框架，結合Mybatis、Kafka、Redis、RabbitMQ、ES、Activity、druid、log4j、Quartz等核心組件進行接口服務、消息服務、檢索服務、日志服務、任務編排服務等功能的開發(fā)?；赑aaS平臺的容器管理功能、微服務管理功能進行容器和微服務可視化配置、自動化監(jiān)控，使用DevOps自動化流水線，實現(xiàn)一站式應用設計、開發(fā)、測試、集成、發(fā)布、部署和運維。

3.2? 研發(fā)過程

系統(tǒng)研發(fā)采用整體設計、迭代開發(fā)、分步實施的策略，以3個月為一個迭代周期，先后分為三個階段進行開發(fā)：

第一階段為基礎平臺搭建階段，包括PaaS、數(shù)據庫、緩存數(shù)據庫等集群的搭建，消息、日志、工作流等基礎類庫開發(fā)，以及權限管理、系統(tǒng)管理、主數(shù)據管理等基礎功能開發(fā)。

第二階段為核心功能開發(fā)階段，主要包括數(shù)據集成管理、數(shù)據服務管理、數(shù)據地圖、數(shù)據目錄、元數(shù)據管理等模塊。

第三階段為提升功能開發(fā)階段，主要包括運營監(jiān)控、運營分析、數(shù)據質量管理、標準文檔管理、日志管理及待辦事項等平臺輔助功能模塊。

在實施階段，根據各數(shù)據域的接口現(xiàn)狀和需求迫切程度，分批次迭代開發(fā)各域數(shù)據微服務接口，滾動執(zhí)行接口定義、數(shù)據集成配置、數(shù)據共享配置、接口調試等步驟，及時滿足各業(yè)務系統(tǒng)數(shù)據應用需求。

研發(fā)完畢的系統(tǒng)界面如圖4、圖5所示。

4? 結? 論

煉化行業(yè)數(shù)字化、網絡化、智能化發(fā)展如火如荼，數(shù)據驅動已成為生產運營的新模式及數(shù)字化轉型的主要目標。隨著新一代信息技術的應用，改變了傳統(tǒng)的IT架構和開發(fā)、部署方式，利用新技術搭建新型平臺、新IT架構已成為趨勢，這種趨勢在新建煉化企業(yè)已成為主流。在某大型煉化一體化工程智能工廠項目中，通過規(guī)劃設計和研發(fā)取得以下成果：1）梳理數(shù)據分布和數(shù)據流轉關系，編制了包括主數(shù)據、數(shù)據庫、集成接口等在內的企業(yè)數(shù)據標準體系，用以個規(guī)范各類數(shù)據標準化和一致性。2）本著數(shù)據管理與數(shù)據治理并重的理念，站在煉化企業(yè)全局視角規(guī)劃了整體數(shù)據架構，指導信息系統(tǒng)數(shù)據管理和應用。3）利用云計算、微服務、數(shù)據治理等技術構建融數(shù)據管理和數(shù)據治理于一體的綜合數(shù)據庫系統(tǒng)，創(chuàng)新數(shù)據共享方式，從源頭解決了數(shù)據孤島問題。

參考文獻：

[1] 安筱鵬.重構數(shù)字化轉型的邏輯 [M].北京：電子工業(yè)出版社，2019.

[2] 戴厚良.以數(shù)字化轉型驅動油氣產業(yè)高質量發(fā)展 [J].國企，2021（1）：36.

[3] 馬明，章劍波，胡聯(lián)偉.煉化工程行業(yè)數(shù)字化交付研究與應用 [J].石油化工自動化，2020，56（5）：49-53.

[4] 鄭煒.基于工業(yè)互聯(lián)網統(tǒng)一數(shù)據平臺架構實踐 [J].電子技術與軟件工程，2022（3）：215-218.

[5] 尹巧蕊.數(shù)據要素與數(shù)據治理—數(shù)權世界的雙核驅動 [J].學術交流，2022（2）：44-54.

[6] 任國琦，張賀捷.化工行業(yè)集團型企業(yè)主數(shù)據標準的設計和應用 [J].現(xiàn)代化工，2022，42（1）：21-24.

[7] 王建平.大數(shù)據管理平臺在煉化企業(yè)管理中的應用 [J].煉油與化工，2017，28（2）：62-64.

作者簡介：王華（1965—），男，漢族，河南漯河人，教授級高級工程師，碩士研究生，主要研究方向：石化企業(yè)信息化、數(shù)字化轉型及智能工廠；張春生（1982—），男，漢族，河北雄安人，高級工程師，博士研究生，研究方向：數(shù)據中臺、數(shù)據運營分析。