朱磊 張文 呂亮亮 楊東

【摘要】? ? 針對信息化建設(shè)業(yè)務(wù)系統(tǒng)相互獨立、缺乏集成數(shù)據(jù)計劃的問題，提出了主數(shù)據(jù)管理平臺方案。主數(shù)據(jù)管理的每個系統(tǒng)都可以促進數(shù)據(jù)的分析與管理。這項研究對數(shù)據(jù)管理信息化具有實際意義。

【關(guān)鍵詞】? ? 主數(shù)據(jù)管理平臺? ? 信息化建設(shè)? ? 應(yīng)用

隨著企業(yè)業(yè)務(wù)的不斷擴展和信息技術(shù)的不斷發(fā)展，從簡單到復(fù)雜的企業(yè)信息化系統(tǒng)正在逐漸緩慢構(gòu)建，關(guān)鍵業(yè)務(wù)數(shù)據(jù)在不同系統(tǒng)之間分布。系統(tǒng)主數(shù)據(jù)管理可以保證企業(yè)內(nèi)所有業(yè)務(wù)系統(tǒng)可以有一個統(tǒng)一的平臺訪問企業(yè)主數(shù)據(jù)，該平臺可以為信息交換提供完整而一致的數(shù)據(jù)，并為業(yè)務(wù)流程和決策系統(tǒng)提供信息和數(shù)據(jù)的有效訪問通道。

一、主數(shù)據(jù)的內(nèi)涵及作用

1.1主數(shù)據(jù)的內(nèi)涵

企業(yè)主數(shù)據(jù)用于描述重要的業(yè)務(wù)部門、業(yè)務(wù)對象及其主要功能及特點，該數(shù)據(jù)需要存在很長時間，并且頻繁被企業(yè)內(nèi)部各類信息系統(tǒng)訪問和使用。企業(yè)主數(shù)據(jù)并非企業(yè)內(nèi)部所有的業(yè)務(wù)數(shù)據(jù)，而是對通用性、一致性、可訪問行要求非常高的業(yè)務(wù)數(shù)據(jù)，以及各種應(yīng)用系統(tǒng)中重用的數(shù)據(jù)才被稱為主數(shù)據(jù)。例如，員工、組織架構(gòu)、庫存、供應(yīng)商、客戶、項目、合同等。 主數(shù)據(jù)是在業(yè)務(wù)體系結(jié)構(gòu)中的關(guān)鍵組成部分，主數(shù)據(jù)是企業(yè)的核心數(shù)據(jù)。企業(yè)信息化的發(fā)展，信息系統(tǒng)的使用涵蓋了企業(yè)的各個方面，但企業(yè)信息系統(tǒng)的飛速發(fā)展，創(chuàng)建各種信息系統(tǒng)的過程也是不斷創(chuàng)建各種企業(yè)數(shù)據(jù)的過程。這導(dǎo)致各種數(shù)據(jù)的大量積累，使得具有許多重要數(shù)據(jù)源的信息化建設(shè)遇到了困境：1.由于分布式管理和缺乏集成標(biāo)準(zhǔn)，因此，數(shù)據(jù)系統(tǒng)成為了信息孤島，這增加了系統(tǒng)集成的復(fù)雜性;2.由于缺少全局?jǐn)?shù)據(jù)的集成視圖和規(guī)范，數(shù)據(jù)集成難度增大，同時，也無法保證數(shù)據(jù)質(zhì)量，此外，數(shù)據(jù)的分析和應(yīng)用結(jié)果會直接影響決策過程和控制的有效性;3.缺乏集成的數(shù)據(jù)管理和控制平臺，不同的業(yè)務(wù)部門分布著大量數(shù)據(jù)，這使得集成和共享關(guān)鍵數(shù)據(jù)變得困難，并且難以體現(xiàn)數(shù)據(jù)資產(chǎn)的價值。 建設(shè)主數(shù)據(jù)管理平臺是一個解決上述問題的有效方法。

1.2主數(shù)據(jù)管理信息系統(tǒng)的作用

“管理”是主數(shù)據(jù)管理的本質(zhì)和重點。主數(shù)據(jù)管理使許多業(yè)務(wù)系統(tǒng)能夠?qū)崿F(xiàn)統(tǒng)一的治理與控制。主數(shù)據(jù)模型的創(chuàng)建提供了這種數(shù)據(jù)管理和控制的規(guī)范，主數(shù)據(jù)管理信息系統(tǒng)是功能強大的數(shù)據(jù)管理工具，數(shù)據(jù)交換技術(shù)用于交換和共享來自各種業(yè)務(wù)系統(tǒng)的數(shù)據(jù)。數(shù)據(jù)管理信息系統(tǒng)有效的提高了信息的傳輸和交換速度，及時提供了各種新數(shù)據(jù)和相關(guān)的信息流，并為業(yè)務(wù)決策提供了準(zhǔn)確可靠的基礎(chǔ)[1]。

二、主數(shù)據(jù)管理在企業(yè)信息化建設(shè)中存在的問題

作為企業(yè)數(shù)據(jù)管理的關(guān)鍵，主數(shù)據(jù)可以提供企業(yè)數(shù)據(jù)管理的統(tǒng)一平臺，以提供完整、可管理和準(zhǔn)確的解決方案方面發(fā)揮作用。這樣不僅可以提高企業(yè)整個數(shù)據(jù)鏈的質(zhì)量，并可以進行各個部門的數(shù)據(jù)交換。但是，因為數(shù)據(jù)量大、包含的數(shù)據(jù)類型也有所不同，并且由于缺乏統(tǒng)一的標(biāo)準(zhǔn)，信息化建設(shè)也存在許多問題。第一，生成數(shù)據(jù)忽略了應(yīng)用程序的復(fù)雜性，并且缺乏一致的編碼。因此，企業(yè)可以通過重復(fù)的編碼得到相同的數(shù)據(jù)，甚至，在同一扇區(qū)的不同鏈接上，同一個信息擁有不同的編碼，因此，無法實現(xiàn)所查看信息的準(zhǔn)確性。第二，主題劃分不夠清楚，并且主數(shù)據(jù)在每個部門都有不同的要求。除此之外，它的分類是比較復(fù)雜的，因為它需要響應(yīng)多個管理部門，忽略了部門關(guān)鍵領(lǐng)域的數(shù)據(jù)，而管理和控制也是十分艱難和復(fù)雜的，這也使得責(zé)任部門無法進行切實有效的管理。第三，數(shù)據(jù)信息的質(zhì)量不夠高效準(zhǔn)確。由于業(yè)務(wù)信息的存儲不完整，因此，許多數(shù)據(jù)和信息都存在不完整或者不一致的問題。缺乏準(zhǔn)確性和一致性的信息會嚴(yán)重影響數(shù)據(jù)的使用和分析，甚至得出錯誤的結(jié)論。第四，由于所涉及的人員不是專家或不能完全理解企業(yè)數(shù)據(jù)的經(jīng)驗，因此，他們的專業(yè)知識的水平不足，并且不能保證主數(shù)據(jù)精度。統(tǒng)計錯誤不僅會給企業(yè)造成經(jīng)濟損失，而且還會導(dǎo)致影響企業(yè)發(fā)展未來方向的決策錯誤。第五，缺乏協(xié)調(diào)一致的綜合管理和控制機制。由于企業(yè)沒有內(nèi)置的管理和監(jiān)視機制，因此無法保證數(shù)據(jù)質(zhì)量，這也增加了管理企業(yè)數(shù)據(jù)的成本[2]。

三、主數(shù)據(jù)管理平臺在信息化建設(shè)中的應(yīng)用

3.1主數(shù)據(jù)管理范疇和機制

對于大多數(shù)天然氣企業(yè)而言，在系統(tǒng)主數(shù)據(jù)管理主要有數(shù)據(jù)類別、數(shù)據(jù)模型、數(shù)據(jù)內(nèi)容、數(shù)據(jù)質(zhì)量等。還有五個主要系統(tǒng)管理機制：第一是地方天然氣企業(yè)的主數(shù)據(jù)管理系統(tǒng)，包含主數(shù)據(jù)結(jié)構(gòu)和每個企業(yè)的信息，并且主數(shù)據(jù)結(jié)構(gòu)和基本分類代碼由主數(shù)據(jù)管理系統(tǒng)定義;第二是內(nèi)容管理，具體因不同企業(yè)而異，將他們歸結(jié)在維護方的管理系統(tǒng)中;第三是主數(shù)據(jù)管理的操作方式是通過企業(yè)服務(wù)總線傳送有關(guān)每個部門的系統(tǒng)信息，并且每個企業(yè)的系統(tǒng)的所有基本編碼分類也都統(tǒng)一參與此通道，以此來實現(xiàn)高速有效的信息共享;第四是必須在主數(shù)據(jù)中進行精細的業(yè)務(wù)驗證和技術(shù)驗證。默認情況下，會使用主數(shù)據(jù)系統(tǒng)中定義的主數(shù)據(jù)結(jié)構(gòu)，主數(shù)據(jù)信息將應(yīng)用于企業(yè)服務(wù)總線周圍的主數(shù)據(jù)管理系統(tǒng)。

3.2主數(shù)據(jù)管理平臺定位

眾所周知，主數(shù)據(jù)管理平臺使用計算機技術(shù)和互聯(lián)網(wǎng)技術(shù)創(chuàng)建了一套全面的主數(shù)據(jù)規(guī)范、技術(shù)、解決方案，并提供了一個完整、準(zhǔn)確且功能強大的主數(shù)據(jù)，可以在每個部門的服務(wù)方面進行集成，以及決策支持系統(tǒng)和業(yè)務(wù)流程中對于數(shù)據(jù)的使用。同時，集成、共享、數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是四個主要因素。 主數(shù)據(jù)管理平臺充當(dāng)主數(shù)據(jù)與交易系統(tǒng)之間的橋梁，為各種系統(tǒng)和應(yīng)用程序提供主數(shù)據(jù)和規(guī)范，它的功能主要是以下幾點：1.為功能性業(yè)務(wù)應(yīng)用程序系統(tǒng)提出基本的數(shù)據(jù)標(biāo)準(zhǔn)：通過主數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)接口將主數(shù)據(jù)放在一個統(tǒng)一的規(guī)范中，以促進應(yīng)用程序系統(tǒng)之間的數(shù)據(jù)交換和協(xié)作，以及數(shù)據(jù)集成和數(shù)據(jù)分析。2.為分析系統(tǒng)提供數(shù)據(jù)以確保數(shù)據(jù)的準(zhǔn)確性：根據(jù)標(biāo)準(zhǔn)和主數(shù)據(jù)的維度定義，它可以為數(shù)據(jù)分析應(yīng)用程序提供集成的統(tǒng)計分析模板，這不僅提高了數(shù)據(jù)統(tǒng)計的準(zhǔn)確性，并提高了應(yīng)用程序的有效性。

3.3主數(shù)據(jù)建設(shè)前進行數(shù)據(jù)建模

數(shù)據(jù)建模是創(chuàng)建信息系統(tǒng)主數(shù)據(jù)之前必須做的事情，必須通過為每個系統(tǒng)和每個業(yè)務(wù)部門進行主數(shù)據(jù)的集成與分析來定義企業(yè)每個業(yè)務(wù)領(lǐng)域的關(guān)鍵數(shù)據(jù)，并構(gòu)建一個穩(wěn)定高效的系統(tǒng)主數(shù)據(jù)模型。此模型旨在為系統(tǒng)主數(shù)據(jù)管理提供數(shù)據(jù)安全性。通過編譯該模型，它可以對代碼列表進行系統(tǒng)地分類和評估，支持系統(tǒng)主數(shù)據(jù)管理的構(gòu)建，并提供數(shù)據(jù)結(jié)構(gòu)設(shè)計的理論基礎(chǔ)。通過建立貼合實際應(yīng)用的數(shù)據(jù)模型，可以有效促進未來業(yè)務(wù)模型的數(shù)據(jù)模型的開發(fā)和使用。概念數(shù)據(jù)模型和邏輯模型的組合為將來構(gòu)建企業(yè)應(yīng)用程序系統(tǒng)和理解企業(yè)數(shù)據(jù)提供了堅實的參考基礎(chǔ)[3]。

3.4主數(shù)據(jù)采集

對于企業(yè)的主數(shù)據(jù)管理內(nèi)容，主數(shù)據(jù)主要來自統(tǒng)建類主數(shù)據(jù)、自建類主數(shù)據(jù)、以及現(xiàn)有系統(tǒng)的某些應(yīng)用型主數(shù)據(jù)。因此，選擇平臺控制模式時，需要選用集中的主數(shù)據(jù)模式。在集中模式下，系統(tǒng)主數(shù)據(jù)管理的形成和更改均是統(tǒng)一的系統(tǒng)處理，并使用推（Push）/拉（Pull）模式與其他系統(tǒng)同步。常見的處理方法包括：1.統(tǒng)建類主數(shù)據(jù)通常通過單向推動，將其升級為準(zhǔn)能系統(tǒng)，例如企業(yè)組織架構(gòu)、員工信息等;2.自建類主數(shù)據(jù)是將特定系統(tǒng)的自有數(shù)據(jù)導(dǎo)入系統(tǒng)主數(shù)據(jù)管理平臺，并由該系統(tǒng)自行維護，例如系統(tǒng)權(quán)限等;3.應(yīng)用型主數(shù)據(jù)指不同系統(tǒng)產(chǎn)生的應(yīng)用數(shù)據(jù)，而且這些數(shù)據(jù)可能會與其他系統(tǒng)有關(guān)聯(lián)，各系統(tǒng)按統(tǒng)一的數(shù)據(jù)規(guī)范提交至主數(shù)據(jù)管理平臺，同時可自由從主數(shù)據(jù)平臺獲取數(shù)據(jù)，例如不同系統(tǒng)獲取同一產(chǎn)品的庫存信息等。

3.5主數(shù)據(jù)查詢

主數(shù)據(jù)查詢服務(wù)旨在為企業(yè)內(nèi)所有業(yè)務(wù)系統(tǒng)中提供集成的主數(shù)據(jù)查詢。為了提供安全性和穩(wěn)定性而設(shè)計的主數(shù)據(jù)可使系統(tǒng)保持安全，主數(shù)據(jù)查詢服務(wù)不僅提供標(biāo)準(zhǔn)的查詢接口，還提供了統(tǒng)一的展示數(shù)據(jù)界面。除此之外，每個企業(yè)內(nèi)部系統(tǒng)都應(yīng)統(tǒng)一申請訪問主數(shù)據(jù)平臺的賬戶和密鑰，主數(shù)據(jù)平臺應(yīng)包含一套完整的生成和解析帶有效期的口令算法，以確保訪問安全。開發(fā)主數(shù)據(jù)查詢服務(wù)時，可以不需要直接向業(yè)務(wù)系統(tǒng)提供某些敏感數(shù)據(jù)（用戶密碼等），取而代之的是帶有效期的動態(tài)口令，這樣即便業(yè)務(wù)系統(tǒng)捕獲了口令，但是過了有效期仍無法獲取數(shù)據(jù)，以避免由于敏感業(yè)務(wù)數(shù)據(jù)的傳播而造成的安全風(fēng)險。

3.6主數(shù)據(jù)管理

主數(shù)據(jù)的管理包括數(shù)據(jù)標(biāo)準(zhǔn)管理，質(zhì)量管理等。1.主數(shù)據(jù)標(biāo)準(zhǔn)管理分為兩部分：主數(shù)據(jù)實體管理和參考實體管理。在創(chuàng)建標(biāo)準(zhǔn)時，我們主要遵循以下原則：1）唯一性：每個主數(shù)據(jù)代碼唯一地標(biāo)識對應(yīng)應(yīng)用程序系統(tǒng)中的唯一一條記錄。2）兼容性：根據(jù)業(yè)務(wù)需求，可以加速從舊代碼到新代碼的過渡，并減少從舊代碼到新代碼過渡所需的工作量和時間。3）可擴展性：標(biāo)準(zhǔn)代碼的創(chuàng)建必須有足夠的可伸縮性，以實現(xiàn)未來的業(yè)務(wù)敏捷性。4）穩(wěn)定性：為了避免由于業(yè)務(wù)變更、組織變更和其他因素導(dǎo)致的代碼變更，需要在創(chuàng)建代碼標(biāo)準(zhǔn)時考慮如何穩(wěn)定的處理所有代碼。5）可識別性：編碼為業(yè)務(wù)提供了適當(dāng)?shù)臉I(yè)務(wù)定義，方便相關(guān)的業(yè)務(wù)人員對其進行使用。2.主數(shù)據(jù)質(zhì)量控制主要包括主數(shù)據(jù)審核和主數(shù)據(jù)質(zhì)量報告等。

3.7數(shù)據(jù)一致性保證

主數(shù)據(jù)管理系統(tǒng)設(shè)計中最重要的是識別并消除重復(fù)的主數(shù)據(jù)。當(dāng)新的主數(shù)據(jù)進入系統(tǒng)時，系統(tǒng)會自動比較現(xiàn)有主數(shù)據(jù)，識別重復(fù)的主數(shù)據(jù)，并根據(jù)已建立的主數(shù)據(jù)自動或手動進行確定和處理。例如，供應(yīng)商信息通常包括供應(yīng)商編號、供應(yīng)商名稱、企業(yè)稅號、企業(yè)銀行賬戶、地址、電話號碼、電子郵件地址等。數(shù)據(jù)編號采用系統(tǒng)自動生成的UUID，這類編號既能保證數(shù)據(jù)的唯一性，又具備足夠的復(fù)雜度（區(qū)別于自增編號），另外所有主數(shù)據(jù)都應(yīng)包含一個唯一主鍵和一組或幾組復(fù)合主鍵，唯一主鍵可以構(gòu)建索引加快查詢，復(fù)合主鍵能協(xié)助判重，例如供應(yīng)商或客戶可能會有同名，但加上企業(yè)稅號或者身份證號就能區(qū)分，而在搜索過程中用戶能提供的模糊關(guān)鍵詞往往是供應(yīng)商或客戶名稱。

3.8系統(tǒng)監(jiān)控

提供一系列系統(tǒng)監(jiān)控信息，包括系統(tǒng)日志、系統(tǒng)性能檢測、系統(tǒng)監(jiān)控平臺、管理員管理平臺、系統(tǒng)接入申請和審批等等，這些是任何一個完整的平臺都不可缺少的組成部分，而且是系統(tǒng)穩(wěn)定運行和管理的常規(guī)操作平臺。

3.9主數(shù)據(jù)管理系統(tǒng)架構(gòu)

主數(shù)據(jù)管理平臺的體系結(jié)構(gòu)主要由三部分組成：分布式數(shù)據(jù)存儲系統(tǒng)，流處理數(shù)據(jù)接口，主數(shù)據(jù)管理平臺。

大量數(shù)據(jù)保存必須用到分布式架構(gòu)，分布式系統(tǒng)為每個數(shù)據(jù)節(jié)點都提供多個拷貝，不僅能應(yīng)對軟件系統(tǒng)故障，同時能有效防止硬件故障帶來的數(shù)據(jù)丟失;流處理流程（例如Flink）本身也是分布式架構(gòu)，能很好的結(jié)合分布式存儲的主數(shù)據(jù)，提供穩(wěn)定而高效的數(shù)據(jù)接口;主數(shù)據(jù)管理平臺就是通過調(diào)用流處理數(shù)據(jù)接口而提供給用戶和系統(tǒng)管理員進行系統(tǒng)操作的管理平臺，提供包括但不限于以上提到的數(shù)據(jù)查詢、系統(tǒng)接入申請和審批、系統(tǒng)監(jiān)控等功能。

四、結(jié)束語

綜上所述，隨著企業(yè)主數(shù)據(jù)平臺的應(yīng)用和繼續(xù)深化，數(shù)據(jù)的混亂狀態(tài)將逐漸得到有效的改善，并最終完成數(shù)據(jù)規(guī)范化建設(shè)。在天然氣行業(yè)中，主數(shù)據(jù)管理的使用旨在創(chuàng)建企業(yè)主數(shù)據(jù)平臺，集成企業(yè)各部門信息，提高信息安全性、一致性，從而指導(dǎo)企業(yè)做決策、促進企業(yè)發(fā)展。

參? 考? 文? 獻

[1]劉立松.主數(shù)據(jù)管理平臺在信息化建設(shè)中的應(yīng)用[J].電腦編程技巧與維護，2020（01）：80-82+100.

[2]鐘志堅. 制造企業(yè)主數(shù)據(jù)管理平臺分析設(shè)計與實現(xiàn)[D].北京工業(yè)大學(xué)，2017.

[3]羅莉.主數(shù)據(jù)管理在信息化建設(shè)中的應(yīng)用[J].電子世界，2012（07）：105-109.