柳躍，秦少星

（國能和利時信息技術有限公司，北京 100011）

1 前言

1.1 研究背景

物聯(lián)網、云計算、大數據等新的信息技術的出現，標志著智能制造時代的到來。當前能源行業(yè)大型企業(yè)倡導煤電化路港航油一條龍、產運銷縱向一體化的運營模式。即上下游產業(yè)高度關聯(lián)，通過一體化運營鏈條緊密銜接，實現煤炭從煤礦到港口、到電廠、到煤化工廠的產業(yè)鏈供應運營模式。生產運營調度系統(tǒng)對實現一體化智能化有著強烈的需求，為實現煤炭、運輸、電力、化工多產業(yè)生產經營全流程貫通、全產業(yè)鏈銜接和全場景監(jiān)控，信息自動感知、計劃模型驅動、_調度智能協(xié)同、應急快速精準，打造“一體化集中管控、智能化高效協(xié)同、可視化高度融合”獨具特色的核心運營平臺，為支撐業(yè)務快速的協(xié)同發(fā)展，支撐調度系統(tǒng)數據展示、運營分析提供數據，對煤礦、電力、化工、港口等領域的實時數據采集的實時性、可靠性、安全性等要求越來越高。

數據是一切智慧化工作的基礎與起點，企業(yè)信息化的核心就是“業(yè)務數據化，數據價值化”。沒有高質量的數據管理，就沒有系統(tǒng)應用的互聯(lián)互通，就沒有持續(xù)價值創(chuàng)造的大數據應用；沒有大量數據應用也就沒有企業(yè)的智能化、智慧化，數據的采集是建設信息化的基石。針對工業(yè)過程中生產實時數據的特點，要求采集系統(tǒng)能針對數據源廣泛的分布性能，可靠的進行數據采集；采集系統(tǒng)在進行數據采集時需要具有很好的可擴展性；能夠滿足對數據進行實時分析，即對數據流需要按照設定好的邏輯進行流水線式的處理。

1.2 研究現狀

當前工業(yè)過程采集的數據來源廣，包含結構化、半結構化、非結構化，各種類型數據庫、文檔文件、傳感器、智能設備、互聯(lián)網、外部數據等。數據標準不統(tǒng)一，源數據管理能力缺失，導致數據很多，但雜亂無序。主要體現在以下幾方面：（1）數據覆蓋面有限。一體化運營產業(yè)的上下游的數據資源仍然覆蓋不全，緊密銜接度不高，沒有覆蓋全業(yè)務板塊數據。（2）數據取用復雜。目前數據采集量雖然較多，形成了具有規(guī)模的大數據，但數據分布比較分散，存在信息孤島情況，各業(yè)務板塊之間的數據沒有形成有機結合體，不能統(tǒng)一協(xié)調和相互配合，全產業(yè)鏈數據沒有完全實現互聯(lián)互通。例如發(fā)電量隨季節(jié)波動較大，對煤炭的需求量也隨之發(fā)生變化。那么發(fā)電量和煤炭產量數據必須有機結合、調配后才能為生產運營管理創(chuàng)造更大的價值。（3）數據質量不可靠。高質量數據是進行數據分析的基礎，目前數據質量低下，對于數據變化率過大的數據、長時間不刷新的數據沒有進行充分檢測。其次，數據類型多而雜，包含結構化、半結構化、非結構化，以及各種類型數據庫、外部數據等，沒有形成統(tǒng)一的標準，導致數據質量不高。（4）數據管理無規(guī)劃。當數據的質量出現問題后才能發(fā)現問題，沒有對數據的異常進行診斷和預判。

2 數據采集系統(tǒng)架構及功能

數據湖是存儲的各種各樣原始數據的獨立的、統(tǒng)一的“數據資源池”。數據湖可以容納各類必要的數據，全面覆蓋存量數據和增量數據，作為統(tǒng)一的數據存儲、處理、展現的邏輯區(qū)域，提供數據清洗、數據轉換、數據加載、數據標簽處理等基礎數據處理服務；提供對不同類型數據的一致性管理、實現數據匯聚及數據的標準化存儲，并作為數據標準落地的“承載容器”；向數據中臺提供對多源異構數據的統(tǒng)一訪問能力。邊緣側實時數據采集作為數據湖及數據資源化平臺工具建設的一部分，邊緣側實時數據采集提供針對性工具集和整體解決方案服務，涉及內容廣泛、牽涉角色眾多，邊緣側實時數據采集系統(tǒng)建設內容主要包括：實時數據采集服務和配置管理系統(tǒng)，結合已有生產實時數據，在系統(tǒng)中進行邊緣側實時數據采集工作驗證，保證實時采集數據的質量，以滿足數據建設中數據采集需求。

2.1 應用架構

工業(yè)過程數據采集和傳輸系統(tǒng)的應用架構總體業(yè)務描述如下：（1）邊緣側實時數據采集系統(tǒng)為能源行業(yè)全產業(yè)鏈實時數據提供管理功能，既能支持在生產單位的數據采集，也能支持基建單位的數據采集。同時也支持不同系統(tǒng)數據，以及不同格式數據采集，并提供數據管理系統(tǒng)，同時提供數據監(jiān)測和系統(tǒng)管理功能，便于用戶查看數據和管理。（2）采用模塊化設計，具備開放性和易擴展性，以適應各種協(xié)議類型外部系統(tǒng)的接入，系統(tǒng)功能和控制范圍的不斷擴展，保證添加新組件和軟件升級不影響運行的應用程序，對系統(tǒng)的可用性和性能不會產生不利的影響，具備二次開發(fā)的能力，以適應不同工程的需求。（3）具備容錯性，提供自診斷和自恢復功能，一旦診斷功能發(fā)現進程非正常退出時，自動啟動此程序。（4）具備可維護性，提供初始化配置和系統(tǒng)自動升級功能，使得維護人員能快速完成初始化配置，以及升級過程無人員干預。（5）具備模塊獨立性，以保障單一軟件功能的故障不會引起其他功能的故障。該系統(tǒng)主要用于能源行業(yè)各產業(yè)鏈生產實時數據采集，并將數據傳送至數據湖中，實現不同系統(tǒng)的互聯(lián)互通、數據共享，為各業(yè)務應用提供數據支撐。邊緣側實時數據采集裝置管理系統(tǒng)主要負責提供采集裝置的配置管理功能，主要包括數據采集驅動管理、權限管理、初始化配置、升級管理、測點管理、以及數據監(jiān)測等。其中，通過數據采集驅動管理實現各產業(yè)鏈實時數據的接入設備及采集接口的管理。最終通過數據監(jiān)測工具，以圖形界面的形式提供數據查詢、管理窗口。系統(tǒng)支持標準通信協(xié)議，對于基建單位，需要從各子系統(tǒng)接入數據，可采集Modbus、OPC-DA 采集驅動。對于在生產單位，邊緣側采集裝置需要從各數據庫中取數，開發(fā)了多個數據庫驅動接口，可采集多樣源的數據庫，如麥杰數據庫采集驅動、PI數據庫采集驅動、eDNA采集驅動、VeStore數據庫采集驅動。

通過提供OPC-UA通訊協(xié)議，支持邊緣側采集裝置中實時數據能夠被第三方系統(tǒng)取數。并且系統(tǒng)具備良好的開放性和擴展性，其它通信協(xié)議驅動可繼續(xù)擴展開發(fā)。

2.2 部署架構

邊緣側實時數據采集系統(tǒng)體現“安全可靠、功能完善、實用經濟和結構簡單”，在硬件設計上，采取“集中管理、分散部署”的形式，在軟件設計上采用積木式模塊化結構，從結構上面保證其安全可靠完善，系統(tǒng)為分層分布的開放式結構，系統(tǒng)分為3層，即邊緣側數據采集層（廠礦現場層）、云端中間管理層（邊云中心）、云端集中管理層（數據湖）。系統(tǒng)既可以完成對各基建廠子系統(tǒng)運行數據的實時采集，也可以完成對已投產廠數據庫數據的采集。邊緣側和云端之間的數據采用隔離網閘進行隔離，保障邊緣側監(jiān)測監(jiān)控系統(tǒng)的安全性；邊緣側生產實時數據的采集同時可為數據湖的大數據分析、生產運營提供有效的數據支撐。

2.3 在大屏可視化的應用

數據作為各產業(yè)各業(yè)務信息化發(fā)展的核心，利用可視化展示可以實現對全業(yè)務的數據管理，使各業(yè)務貫通，是實現大數據分析的重要途徑，對助推企業(yè)信息化建設產生積極意義?？梢暬故臼请娏ζ髽I(yè)全業(yè)務統(tǒng)一數據中心管理的重要內容與要求，將大數據應用于各企業(yè)發(fā)展建設可視化展示系統(tǒng)，可以建設信息化水平比較高的系統(tǒng)，并促進源端的全業(yè)務結合，對后端大數據整理產生積極意義。通過對可視化的呈現可以幫助企業(yè)分析當前的技術和產品發(fā)展情況，為企業(yè)的技術與產品創(chuàng)新提供重要條件。

邊緣側實時數據采集后經過數據湖的數據清洗、數據轉換等操作，在數據轉換中可以實現統(tǒng)一字段命名、統(tǒng)一數據類型、統(tǒng)一編碼類型以及統(tǒng)一時間格式等功能。數據開發(fā)中可以進行模型建立，在大屏上實現數據的可視化的展示，利用數據可視化呈現企業(yè)相關業(yè)務狀況。

3 結語

綜上所述，本文設計開發(fā)的邊緣側實時數據采集系統(tǒng)能實現大規(guī)模邊緣側實時數據的采集和匯聚功能，同時也滿足了數據采集的實時性、開放性和擴展性、容錯性、易維護性、獨立性等性能。本文結合現有工業(yè)生產現場數據量大且繁雜特點，設計出邊緣側與云端的部署結構，邊緣側實時數據采集系統(tǒng)實現了工業(yè)邊緣側現場數據的采集需求，并且系統(tǒng)運行穩(wěn)定、人機交互友好、使用人員能夠快速上手。系統(tǒng)不僅實現工業(yè)邊緣側現場數據的采集需求，還實現了對采集裝置和采集傳輸通道的監(jiān)測與管理，實現了智能化數據采集和傳輸。

邊緣側采集的實時數據經過云端數據湖的統(tǒng)一數據清洗、數據轉換等操作，在大屏上實現數據的可視化展示，通過對數據的整體性和統(tǒng)一性規(guī)劃，形成了一個健全的可視化展示平臺。