王志榮

摘?要：上海城投水務集團利用基于生產(chǎn)全鏈條管理的大數(shù)據(jù)治理體系建設，通過業(yè)務建模、算法優(yōu)化、模擬仿真，促進了集團業(yè)務管理創(chuàng)新和節(jié)源增效，增強了全產(chǎn)業(yè)鏈上生產(chǎn)管理、運行狀況的態(tài)勢感知能力，提高了智慧化生產(chǎn)調(diào)度能力、輔助決策能力，支持生產(chǎn)管理更加全息化、精細化、數(shù)字化、智能化。這既增加了企業(yè)盈利能力，又監(jiān)護了水生態(tài)環(huán)境、保障了上海城市生活用水更安全。

關鍵詞：生產(chǎn)全鏈條?數(shù)據(jù)資產(chǎn)?大數(shù)據(jù)?數(shù)據(jù)治理?主數(shù)據(jù)?元數(shù)據(jù)

一、背景

上海城投水務（集團）有限公司（簡稱水務集團）是專業(yè)從事原水供應，自來水制水、輸配和銷售服務，雨水防汛、干線輸送、污水輸送和處理、污泥處理，供排水工程投資，供排水專業(yè)技術領域內(nèi)的技術開發(fā)、技術咨詢等城市水務產(chǎn)業(yè)的國有大型企業(yè)集團。集團核心的產(chǎn)業(yè)鏈分別由原、制、供、排、污五大分子公司管理運營，上下游企業(yè)生產(chǎn)運行彼此依賴，生產(chǎn)全鏈條管理對集團經(jīng)營管理至關重要。在當今大數(shù)據(jù)的時代，數(shù)據(jù)已被當作企業(yè)的重要資產(chǎn)來進行管理，數(shù)據(jù)就像“情報”成為決策者們的重要參考依據(jù)，然而數(shù)據(jù)并非天然成為資產(chǎn)，必須經(jīng)過數(shù)據(jù)質(zhì)量保障、有序的管理后，才能像人財物一樣成為企業(yè)資產(chǎn)。數(shù)據(jù)的資源經(jīng)過數(shù)據(jù)治理才能成為數(shù)據(jù)資產(chǎn)，數(shù)據(jù)資產(chǎn)通過數(shù)據(jù)服務和共享發(fā)布才能煥發(fā)數(shù)據(jù)的價值。

二、建設內(nèi)容

（一）體系結構與分類

1.數(shù)據(jù)標準化體系

水務集團數(shù)據(jù)標準化體系是在集團業(yè)務、數(shù)據(jù)的基礎上，結合數(shù)據(jù)治理歷史經(jīng)驗的總結，并非憑空創(chuàng)造。數(shù)據(jù)標準也難以一蹴而就，是一個“制訂標準、執(zhí)行標準、修訂標準”的持續(xù)優(yōu)化過程。信息化建設的不同階段，數(shù)據(jù)標準關注的對象和目標各不相同。數(shù)據(jù)標準的管理、維護與優(yōu)化是生產(chǎn)大數(shù)據(jù)管理與數(shù)據(jù)治理不可或缺的工作。

2. 數(shù)據(jù)資源分布

水務集團生產(chǎn)管理數(shù)據(jù)涉及業(yè)務范圍包括原水公司、制水公司、供水公司、排水公司和污水公司所屬水庫、水廠、泵站、管網(wǎng)等基礎設施的生產(chǎn)狀態(tài)、生產(chǎn)調(diào)度和水位＼液位、水質(zhì)、水壓、水量、安監(jiān)、計量和藥耗、電耗等生產(chǎn)監(jiān)控和調(diào)度管理。數(shù)據(jù)資源類別包括生產(chǎn)工控實時數(shù)據(jù)、遠傳數(shù)據(jù)（含水質(zhì)、水壓、流量等監(jiān)控計量梳理）和調(diào)度管理數(shù)據(jù)。數(shù)據(jù)存儲類型包括Historian工業(yè)實時數(shù)據(jù)庫、傳統(tǒng)結構化數(shù)據(jù)庫（Oracle、SQL Server等）和各類安監(jiān)視頻、Excel報表、文檔文件等。

（二）技術路線

為了實現(xiàn)生產(chǎn)全鏈條管理的目標，水務集團在數(shù)據(jù)源、數(shù)據(jù)時效性、數(shù)據(jù)質(zhì)量、數(shù)據(jù)全生命周期和數(shù)據(jù)應用等方面做了深化拓展，持續(xù)開展數(shù)據(jù)治理和平臺建設，建設技術內(nèi)容包括以下幾個主要方面。

1.基于云計算的數(shù)據(jù)采集

水務集團所屬各基層單位建設時期跨度較大，部分設備歷史久遠，生產(chǎn)設備品牌、技術參數(shù)、工藝標準、通訊方式、接口協(xié)議等存在較大的差異性，數(shù)據(jù)互聯(lián)對接難度較大，數(shù)據(jù)流向管理困難。為此，水務集團先期通過公有云驗證各“游離”數(shù)據(jù)對接的技術可行性和數(shù)據(jù)中斷、數(shù)據(jù)延遲等數(shù)據(jù)時效性、可用性問題，再搭建混合云實施統(tǒng)一的數(shù)據(jù)集中采集與數(shù)據(jù)預處理，同時充分利用邊緣計算能力，減少數(shù)據(jù)集中過程中的網(wǎng)絡通信壓力。

2.主數(shù)據(jù)管理系統(tǒng)

主數(shù)據(jù)作為企業(yè)最核心、最權威的業(yè)務數(shù)據(jù)，也是跨系統(tǒng)互聯(lián)打通業(yè)務流程的關鍵數(shù)據(jù)。隨著數(shù)據(jù)治理項目的開展與歷史遺留系統(tǒng)的改造，水務集團已建設主數(shù)據(jù)管理系統(tǒng)，管理維護了客戶檔案、客戶服務、生產(chǎn)計劃、水質(zhì)檢測、調(diào)度監(jiān)控、新裝業(yè)務、現(xiàn)維工單、管網(wǎng)設備、生產(chǎn)工藝、表卡計量等19類主題域。

3.元數(shù)據(jù)管理系統(tǒng)

集團元數(shù)據(jù)管理系統(tǒng)是水務集團信息資產(chǎn)管理的關鍵。它幫助用戶可以快速找到數(shù)據(jù)并了解其上下游數(shù)據(jù)關系及其所處數(shù)據(jù)環(huán)境。通過業(yè)務、技術等方面的元數(shù)據(jù)逐步實現(xiàn)統(tǒng)一描述，可以降低乃至消除業(yè)務部門之間、業(yè)務與IT部門之間的溝通障礙。元數(shù)據(jù)管理系統(tǒng)是知識管理的系統(tǒng)，是數(shù)據(jù)源梳理、數(shù)據(jù)加工過程等數(shù)據(jù)治理成果的固化系統(tǒng)。從長期來看，系統(tǒng)的應用會降低數(shù)據(jù)的發(fā)現(xiàn)、使用的成本。

水務集團通過主數(shù)據(jù)管理、元數(shù)據(jù)管理系統(tǒng)等相關應用平臺建設，提高了生產(chǎn)數(shù)據(jù)質(zhì)量和數(shù)據(jù)流通共享的效率。

4.基于Hadoop的生產(chǎn)大數(shù)據(jù)平臺

水廠、泵站工業(yè)自動化生產(chǎn)過程中，各種種類的生產(chǎn)設備會產(chǎn)生大量的實時數(shù)據(jù)，部分數(shù)據(jù)頻率為秒級甚至毫秒級，其數(shù)據(jù)存量和新增數(shù)據(jù)的規(guī)模極為龐大;在業(yè)務管理過程中，積累了生產(chǎn)運營計劃、調(diào)度指令執(zhí)行、安全監(jiān)控、運維審計日志等各種種類的數(shù)據(jù)，這些數(shù)據(jù)在編碼方式、數(shù)據(jù)格式、應用特征等多個方面存在巨大差異性，多信息源并發(fā)形成大量的異構數(shù)據(jù)。從數(shù)據(jù)量、數(shù)據(jù)類型、增長速度、數(shù)據(jù)價值和數(shù)據(jù)真實性等5V視角來看，明顯符合大數(shù)據(jù)特征。

（1）數(shù)據(jù)量的巨大，包括數(shù)據(jù)采集、傳輸、存儲和計算的量都非常大。這些數(shù)據(jù)涵蓋的業(yè)務包括生產(chǎn)工控、調(diào)度、水位、水量、水壓、水質(zhì)、流量、計量、考核、安監(jiān)、熱線、人事、財務、物資、設備、客戶服務、物資庫存等。

（2）數(shù)據(jù)種類和來源的多樣化，包括結構化數(shù)據(jù)、半結構化數(shù)據(jù)和非結構化數(shù)據(jù)。結構化數(shù)據(jù)主要以已經(jīng)上線的應用程式關系型數(shù)據(jù)庫為主，還包括一部分工業(yè)實時數(shù)據(jù);非結構化、半結構化數(shù)據(jù)具體表現(xiàn)為辦公審批文件、運維現(xiàn)場工單文檔、生產(chǎn)日志、安監(jiān)視頻、運維圖片、GIS管網(wǎng)地理位置信息等大量文檔、圖片、視頻。多樣化的數(shù)據(jù)類型對數(shù)據(jù)的處理能力提出了挑戰(zhàn)。

（3）數(shù)據(jù)量的高增長性，數(shù)據(jù)處理的高時效性。比如管網(wǎng)爆管、防汛排澇、應急指揮，都需要最快的信息處理能力。個性化算法的推薦盡可能要求快速實時完成。這是大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)挖掘之間最為顯著的特征區(qū)別。

（4）數(shù)據(jù)的質(zhì)量保障，即數(shù)據(jù)的準確性和可信賴度。制訂數(shù)據(jù)標準化管理體系，通過數(shù)據(jù)治理，確保數(shù)據(jù)質(zhì)量可靠、可用、易用。

基于以上考量和未來平臺擴展的需要，水務集團基于Hadoop企業(yè)版軟件搭建了集團生產(chǎn)大數(shù)據(jù)存儲與分析平臺。通過大數(shù)據(jù)平臺分析、優(yōu)化集團生產(chǎn)管理的各類仿真模型，從而能進一步挖掘出數(shù)據(jù)的潛在價值。

三、結語

基于生產(chǎn)全鏈條管理的大數(shù)據(jù)治理體系建設，首先，要搭建數(shù)據(jù)治理框架，通過組織結構調(diào)整，將原本分專業(yè)、劃區(qū)域的舊企業(yè)改變?yōu)榧瘓F化、市場化、專業(yè)化運作的大型城市供排水整體解決方案提供商。同時調(diào)整了信息化管理組織結構，從制訂數(shù)據(jù)治理的相關制度及數(shù)據(jù)質(zhì)量保障入手，強化數(shù)據(jù)標準和服務的管控，規(guī)范數(shù)據(jù)使用和管理流程，形成全面和可操作的數(shù)據(jù)治理框架。

其次，是共享數(shù)據(jù)的三中心架構，在建設過程中，水務集團創(chuàng)新地提出建設在共享數(shù)據(jù)平臺上的管控中心、運營中心和服務中心，以三個中心為業(yè)務實體共享集團大數(shù)據(jù)平臺提供的所有數(shù)據(jù)。三個中心可根據(jù)自己的分工，分別關注生產(chǎn)、運營和服務，使得各業(yè)務部門使用的不再是經(jīng)過“人工加工”的數(shù)據(jù)，而是可以使用經(jīng)過數(shù)據(jù)治理的集團數(shù)據(jù)資源，充分發(fā)揮數(shù)據(jù)的價值。

參考文獻

[1]楊琳，高洪美，宋俊典，張紹華.大數(shù)據(jù)環(huán)境下的數(shù)據(jù)治理框架研究及應用[J].計算機應用于軟件，2017（04）.

[2]鄭建明.大數(shù)據(jù)環(huán)境下的數(shù)字文化治理路徑創(chuàng)新與思考[J].晉圖學刊，2016（06）.

[3]鐘繼剛.大數(shù)據(jù)環(huán)境下計算機軟件技術分析[J].信息記錄材料，2020（01）.

[4]索瑞斯.大數(shù)據(jù)治理[M].清華大學出版社，2014.

[5]何賽群，趙林海，于慧，方堅.主數(shù)據(jù)管理體系構建[J].中國科技信息，2018（17）.

[6]張玉爽.企業(yè)主數(shù)據(jù)管理方法研究及實踐[J].現(xiàn)代信息科技，2019（05）.