朱磊 張文 呂亮亮 楊東
【摘要】? ? 針對信息化建設(shè)業(yè)務(wù)系統(tǒng)相互獨立、缺乏集成數(shù)據(jù)計劃的問題,提出了主數(shù)據(jù)管理平臺方案。主數(shù)據(jù)管理的每個系統(tǒng)都可以促進數(shù)據(jù)的分析與管理。這項研究對數(shù)據(jù)管理信息化具有實際意義。
【關(guān)鍵詞】? ? 主數(shù)據(jù)管理平臺? ? 信息化建設(shè)? ? 應(yīng)用
隨著企業(yè)業(yè)務(wù)的不斷擴展和信息技術(shù)的不斷發(fā)展,從簡單到復(fù)雜的企業(yè)信息化系統(tǒng)正在逐漸緩慢構(gòu)建,關(guān)鍵業(yè)務(wù)數(shù)據(jù)在不同系統(tǒng)之間分布。系統(tǒng)主數(shù)據(jù)管理可以保證企業(yè)內(nèi)所有業(yè)務(wù)系統(tǒng)可以有一個統(tǒng)一的平臺訪問企業(yè)主數(shù)據(jù),該平臺可以為信息交換提供完整而一致的數(shù)據(jù),并為業(yè)務(wù)流程和決策系統(tǒng)提供信息和數(shù)據(jù)的有效訪問通道。
一、主數(shù)據(jù)的內(nèi)涵及作用
1.1主數(shù)據(jù)的內(nèi)涵
企業(yè)主數(shù)據(jù)用于描述重要的業(yè)務(wù)部門、業(yè)務(wù)對象及其主要功能及特點,該數(shù)據(jù)需要存在很長時間,并且頻繁被企業(yè)內(nèi)部各類信息系統(tǒng)訪問和使用。企業(yè)主數(shù)據(jù)并非企業(yè)內(nèi)部所有的業(yè)務(wù)數(shù)據(jù),而是對通用性、一致性、可訪問行要求非常高的業(yè)務(wù)數(shù)據(jù),以及各種應(yīng)用系統(tǒng)中重用的數(shù)據(jù)才被稱為主數(shù)據(jù)。例如,員工、組織架構(gòu)、庫存、供應(yīng)商、客戶、項目、合同等。 主數(shù)據(jù)是在業(yè)務(wù)體系結(jié)構(gòu)中的關(guān)鍵組成部分,主數(shù)據(jù)是企業(yè)的核心數(shù)據(jù)。企業(yè)信息化的發(fā)展,信息系統(tǒng)的使用涵蓋了企業(yè)的各個方面,但企業(yè)信息系統(tǒng)的飛速發(fā)展,創(chuàng)建各種信息系統(tǒng)的過程也是不斷創(chuàng)建各種企業(yè)數(shù)據(jù)的過程。這導(dǎo)致各種數(shù)據(jù)的大量積累,使得具有許多重要數(shù)據(jù)源的信息化建設(shè)遇到了困境:1.由于分布式管理和缺乏集成標準,因此,數(shù)據(jù)系統(tǒng)成為了信息孤島,這增加了系統(tǒng)集成的復(fù)雜性;2.由于缺少全局數(shù)據(jù)的集成視圖和規(guī)范,數(shù)據(jù)集成難度增大,同時,也無法保證數(shù)據(jù)質(zhì)量,此外,數(shù)據(jù)的分析和應(yīng)用結(jié)果會直接影響決策過程和控制的有效性;3.缺乏集成的數(shù)據(jù)管理和控制平臺,不同的業(yè)務(wù)部門分布著大量數(shù)據(jù),這使得集成和共享關(guān)鍵數(shù)據(jù)變得困難,并且難以體現(xiàn)數(shù)據(jù)資產(chǎn)的價值。 建設(shè)主數(shù)據(jù)管理平臺是一個解決上述問題的有效方法。
1.2主數(shù)據(jù)管理信息系統(tǒng)的作用
“管理”是主數(shù)據(jù)管理的本質(zhì)和重點。主數(shù)據(jù)管理使許多業(yè)務(wù)系統(tǒng)能夠?qū)崿F(xiàn)統(tǒng)一的治理與控制。主數(shù)據(jù)模型的創(chuàng)建提供了這種數(shù)據(jù)管理和控制的規(guī)范,主數(shù)據(jù)管理信息系統(tǒng)是功能強大的數(shù)據(jù)管理工具,數(shù)據(jù)交換技術(shù)用于交換和共享來自各種業(yè)務(wù)系統(tǒng)的數(shù)據(jù)。數(shù)據(jù)管理信息系統(tǒng)有效的提高了信息的傳輸和交換速度,及時提供了各種新數(shù)據(jù)和相關(guān)的信息流,并為業(yè)務(wù)決策提供了準確可靠的基礎(chǔ)[1]。
二、主數(shù)據(jù)管理在企業(yè)信息化建設(shè)中存在的問題
作為企業(yè)數(shù)據(jù)管理的關(guān)鍵,主數(shù)據(jù)可以提供企業(yè)數(shù)據(jù)管理的統(tǒng)一平臺,以提供完整、可管理和準確的解決方案方面發(fā)揮作用。這樣不僅可以提高企業(yè)整個數(shù)據(jù)鏈的質(zhì)量,并可以進行各個部門的數(shù)據(jù)交換。但是,因為數(shù)據(jù)量大、包含的數(shù)據(jù)類型也有所不同,并且由于缺乏統(tǒng)一的標準,信息化建設(shè)也存在許多問題。第一,生成數(shù)據(jù)忽略了應(yīng)用程序的復(fù)雜性,并且缺乏一致的編碼。因此,企業(yè)可以通過重復(fù)的編碼得到相同的數(shù)據(jù),甚至,在同一扇區(qū)的不同鏈接上,同一個信息擁有不同的編碼,因此,無法實現(xiàn)所查看信息的準確性。第二,主題劃分不夠清楚,并且主數(shù)據(jù)在每個部門都有不同的要求。除此之外,它的分類是比較復(fù)雜的,因為它需要響應(yīng)多個管理部門,忽略了部門關(guān)鍵領(lǐng)域的數(shù)據(jù),而管理和控制也是十分艱難和復(fù)雜的,這也使得責(zé)任部門無法進行切實有效的管理。第三,數(shù)據(jù)信息的質(zhì)量不夠高效準確。由于業(yè)務(wù)信息的存儲不完整,因此,許多數(shù)據(jù)和信息都存在不完整或者不一致的問題。缺乏準確性和一致性的信息會嚴重影響數(shù)據(jù)的使用和分析,甚至得出錯誤的結(jié)論。第四,由于所涉及的人員不是專家或不能完全理解企業(yè)數(shù)據(jù)的經(jīng)驗,因此,他們的專業(yè)知識的水平不足,并且不能保證主數(shù)據(jù)精度。統(tǒng)計錯誤不僅會給企業(yè)造成經(jīng)濟損失,而且還會導(dǎo)致影響企業(yè)發(fā)展未來方向的決策錯誤。第五,缺乏協(xié)調(diào)一致的綜合管理和控制機制。由于企業(yè)沒有內(nèi)置的管理和監(jiān)視機制,因此無法保證數(shù)據(jù)質(zhì)量,這也增加了管理企業(yè)數(shù)據(jù)的成本[2]。
三、主數(shù)據(jù)管理平臺在信息化建設(shè)中的應(yīng)用
3.1主數(shù)據(jù)管理范疇和機制
對于大多數(shù)天然氣企業(yè)而言,在系統(tǒng)主數(shù)據(jù)管理主要有數(shù)據(jù)類別、數(shù)據(jù)模型、數(shù)據(jù)內(nèi)容、數(shù)據(jù)質(zhì)量等。還有五個主要系統(tǒng)管理機制:第一是地方天然氣企業(yè)的主數(shù)據(jù)管理系統(tǒng),包含主數(shù)據(jù)結(jié)構(gòu)和每個企業(yè)的信息,并且主數(shù)據(jù)結(jié)構(gòu)和基本分類代碼由主數(shù)據(jù)管理系統(tǒng)定義;第二是內(nèi)容管理,具體因不同企業(yè)而異,將他們歸結(jié)在維護方的管理系統(tǒng)中;第三是主數(shù)據(jù)管理的操作方式是通過企業(yè)服務(wù)總線傳送有關(guān)每個部門的系統(tǒng)信息,并且每個企業(yè)的系統(tǒng)的所有基本編碼分類也都統(tǒng)一參與此通道,以此來實現(xiàn)高速有效的信息共享;第四是必須在主數(shù)據(jù)中進行精細的業(yè)務(wù)驗證和技術(shù)驗證。默認情況下,會使用主數(shù)據(jù)系統(tǒng)中定義的主數(shù)據(jù)結(jié)構(gòu),主數(shù)據(jù)信息將應(yīng)用于企業(yè)服務(wù)總線周圍的主數(shù)據(jù)管理系統(tǒng)。
3.2主數(shù)據(jù)管理平臺定位
眾所周知,主數(shù)據(jù)管理平臺使用計算機技術(shù)和互聯(lián)網(wǎng)技術(shù)創(chuàng)建了一套全面的主數(shù)據(jù)規(guī)范、技術(shù)、解決方案,并提供了一個完整、準確且功能強大的主數(shù)據(jù),可以在每個部門的服務(wù)方面進行集成,以及決策支持系統(tǒng)和業(yè)務(wù)流程中對于數(shù)據(jù)的使用。同時,集成、共享、數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是四個主要因素。 主數(shù)據(jù)管理平臺充當(dāng)主數(shù)據(jù)與交易系統(tǒng)之間的橋梁,為各種系統(tǒng)和應(yīng)用程序提供主數(shù)據(jù)和規(guī)范,它的功能主要是以下幾點:1.為功能性業(yè)務(wù)應(yīng)用程序系統(tǒng)提出基本的數(shù)據(jù)標準:通過主數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)接口將主數(shù)據(jù)放在一個統(tǒng)一的規(guī)范中,以促進應(yīng)用程序系統(tǒng)之間的數(shù)據(jù)交換和協(xié)作,以及數(shù)據(jù)集成和數(shù)據(jù)分析。2.為分析系統(tǒng)提供數(shù)據(jù)以確保數(shù)據(jù)的準確性:根據(jù)標準和主數(shù)據(jù)的維度定義,它可以為數(shù)據(jù)分析應(yīng)用程序提供集成的統(tǒng)計分析模板,這不僅提高了數(shù)據(jù)統(tǒng)計的準確性,并提高了應(yīng)用程序的有效性。
3.3主數(shù)據(jù)建設(shè)前進行數(shù)據(jù)建模
數(shù)據(jù)建模是創(chuàng)建信息系統(tǒng)主數(shù)據(jù)之前必須做的事情,必須通過為每個系統(tǒng)和每個業(yè)務(wù)部門進行主數(shù)據(jù)的集成與分析來定義企業(yè)每個業(yè)務(wù)領(lǐng)域的關(guān)鍵數(shù)據(jù),并構(gòu)建一個穩(wěn)定高效的系統(tǒng)主數(shù)據(jù)模型。此模型旨在為系統(tǒng)主數(shù)據(jù)管理提供數(shù)據(jù)安全性。通過編譯該模型,它可以對代碼列表進行系統(tǒng)地分類和評估,支持系統(tǒng)主數(shù)據(jù)管理的構(gòu)建,并提供數(shù)據(jù)結(jié)構(gòu)設(shè)計的理論基礎(chǔ)。通過建立貼合實際應(yīng)用的數(shù)據(jù)模型,可以有效促進未來業(yè)務(wù)模型的數(shù)據(jù)模型的開發(fā)和使用。概念數(shù)據(jù)模型和邏輯模型的組合為將來構(gòu)建企業(yè)應(yīng)用程序系統(tǒng)和理解企業(yè)數(shù)據(jù)提供了堅實的參考基礎(chǔ)[3]。
3.4主數(shù)據(jù)采集
對于企業(yè)的主數(shù)據(jù)管理內(nèi)容,主數(shù)據(jù)主要來自統(tǒng)建類主數(shù)據(jù)、自建類主數(shù)據(jù)、以及現(xiàn)有系統(tǒng)的某些應(yīng)用型主數(shù)據(jù)。因此,選擇平臺控制模式時,需要選用集中的主數(shù)據(jù)模式。在集中模式下,系統(tǒng)主數(shù)據(jù)管理的形成和更改均是統(tǒng)一的系統(tǒng)處理,并使用推(Push)/拉(Pull)模式與其他系統(tǒng)同步。常見的處理方法包括:1.統(tǒng)建類主數(shù)據(jù)通常通過單向推動,將其升級為準能系統(tǒng),例如企業(yè)組織架構(gòu)、員工信息等;2.自建類主數(shù)據(jù)是將特定系統(tǒng)的自有數(shù)據(jù)導(dǎo)入系統(tǒng)主數(shù)據(jù)管理平臺,并由該系統(tǒng)自行維護,例如系統(tǒng)權(quán)限等;3.應(yīng)用型主數(shù)據(jù)指不同系統(tǒng)產(chǎn)生的應(yīng)用數(shù)據(jù),而且這些數(shù)據(jù)可能會與其他系統(tǒng)有關(guān)聯(lián),各系統(tǒng)按統(tǒng)一的數(shù)據(jù)規(guī)范提交至主數(shù)據(jù)管理平臺,同時可自由從主數(shù)據(jù)平臺獲取數(shù)據(jù),例如不同系統(tǒng)獲取同一產(chǎn)品的庫存信息等。
3.5主數(shù)據(jù)查詢
主數(shù)據(jù)查詢服務(wù)旨在為企業(yè)內(nèi)所有業(yè)務(wù)系統(tǒng)中提供集成的主數(shù)據(jù)查詢。為了提供安全性和穩(wěn)定性而設(shè)計的主數(shù)據(jù)可使系統(tǒng)保持安全,主數(shù)據(jù)查詢服務(wù)不僅提供標準的查詢接口,還提供了統(tǒng)一的展示數(shù)據(jù)界面。除此之外,每個企業(yè)內(nèi)部系統(tǒng)都應(yīng)統(tǒng)一申請訪問主數(shù)據(jù)平臺的賬戶和密鑰,主數(shù)據(jù)平臺應(yīng)包含一套完整的生成和解析帶有效期的口令算法,以確保訪問安全。開發(fā)主數(shù)據(jù)查詢服務(wù)時,可以不需要直接向業(yè)務(wù)系統(tǒng)提供某些敏感數(shù)據(jù)(用戶密碼等),取而代之的是帶有效期的動態(tài)口令,這樣即便業(yè)務(wù)系統(tǒng)捕獲了口令,但是過了有效期仍無法獲取數(shù)據(jù),以避免由于敏感業(yè)務(wù)數(shù)據(jù)的傳播而造成的安全風(fēng)險。
3.6主數(shù)據(jù)管理
主數(shù)據(jù)的管理包括數(shù)據(jù)標準管理,質(zhì)量管理等。1.主數(shù)據(jù)標準管理分為兩部分:主數(shù)據(jù)實體管理和參考實體管理。在創(chuàng)建標準時,我們主要遵循以下原則:1)唯一性:每個主數(shù)據(jù)代碼唯一地標識對應(yīng)應(yīng)用程序系統(tǒng)中的唯一一條記錄。2)兼容性:根據(jù)業(yè)務(wù)需求,可以加速從舊代碼到新代碼的過渡,并減少從舊代碼到新代碼過渡所需的工作量和時間。3)可擴展性:標準代碼的創(chuàng)建必須有足夠的可伸縮性,以實現(xiàn)未來的業(yè)務(wù)敏捷性。4)穩(wěn)定性:為了避免由于業(yè)務(wù)變更、組織變更和其他因素導(dǎo)致的代碼變更,需要在創(chuàng)建代碼標準時考慮如何穩(wěn)定的處理所有代碼。5)可識別性:編碼為業(yè)務(wù)提供了適當(dāng)?shù)臉I(yè)務(wù)定義,方便相關(guān)的業(yè)務(wù)人員對其進行使用。2.主數(shù)據(jù)質(zhì)量控制主要包括主數(shù)據(jù)審核和主數(shù)據(jù)質(zhì)量報告等。
3.7數(shù)據(jù)一致性保證
主數(shù)據(jù)管理系統(tǒng)設(shè)計中最重要的是識別并消除重復(fù)的主數(shù)據(jù)。當(dāng)新的主數(shù)據(jù)進入系統(tǒng)時,系統(tǒng)會自動比較現(xiàn)有主數(shù)據(jù),識別重復(fù)的主數(shù)據(jù),并根據(jù)已建立的主數(shù)據(jù)自動或手動進行確定和處理。例如,供應(yīng)商信息通常包括供應(yīng)商編號、供應(yīng)商名稱、企業(yè)稅號、企業(yè)銀行賬戶、地址、電話號碼、電子郵件地址等。數(shù)據(jù)編號采用系統(tǒng)自動生成的UUID,這類編號既能保證數(shù)據(jù)的唯一性,又具備足夠的復(fù)雜度(區(qū)別于自增編號),另外所有主數(shù)據(jù)都應(yīng)包含一個唯一主鍵和一組或幾組復(fù)合主鍵,唯一主鍵可以構(gòu)建索引加快查詢,復(fù)合主鍵能協(xié)助判重,例如供應(yīng)商或客戶可能會有同名,但加上企業(yè)稅號或者身份證號就能區(qū)分,而在搜索過程中用戶能提供的模糊關(guān)鍵詞往往是供應(yīng)商或客戶名稱。
3.8系統(tǒng)監(jiān)控
提供一系列系統(tǒng)監(jiān)控信息,包括系統(tǒng)日志、系統(tǒng)性能檢測、系統(tǒng)監(jiān)控平臺、管理員管理平臺、系統(tǒng)接入申請和審批等等,這些是任何一個完整的平臺都不可缺少的組成部分,而且是系統(tǒng)穩(wěn)定運行和管理的常規(guī)操作平臺。
3.9主數(shù)據(jù)管理系統(tǒng)架構(gòu)
主數(shù)據(jù)管理平臺的體系結(jié)構(gòu)主要由三部分組成:分布式數(shù)據(jù)存儲系統(tǒng),流處理數(shù)據(jù)接口,主數(shù)據(jù)管理平臺。
大量數(shù)據(jù)保存必須用到分布式架構(gòu),分布式系統(tǒng)為每個數(shù)據(jù)節(jié)點都提供多個拷貝,不僅能應(yīng)對軟件系統(tǒng)故障,同時能有效防止硬件故障帶來的數(shù)據(jù)丟失;流處理流程(例如Flink)本身也是分布式架構(gòu),能很好的結(jié)合分布式存儲的主數(shù)據(jù),提供穩(wěn)定而高效的數(shù)據(jù)接口;主數(shù)據(jù)管理平臺就是通過調(diào)用流處理數(shù)據(jù)接口而提供給用戶和系統(tǒng)管理員進行系統(tǒng)操作的管理平臺,提供包括但不限于以上提到的數(shù)據(jù)查詢、系統(tǒng)接入申請和審批、系統(tǒng)監(jiān)控等功能。
四、結(jié)束語
綜上所述,隨著企業(yè)主數(shù)據(jù)平臺的應(yīng)用和繼續(xù)深化,數(shù)據(jù)的混亂狀態(tài)將逐漸得到有效的改善,并最終完成數(shù)據(jù)規(guī)范化建設(shè)。在天然氣行業(yè)中,主數(shù)據(jù)管理的使用旨在創(chuàng)建企業(yè)主數(shù)據(jù)平臺,集成企業(yè)各部門信息,提高信息安全性、一致性,從而指導(dǎo)企業(yè)做決策、促進企業(yè)發(fā)展。
參? 考? 文? 獻
[1]劉立松.主數(shù)據(jù)管理平臺在信息化建設(shè)中的應(yīng)用[J].電腦編程技巧與維護,2020(01):80-82+100.
[2]鐘志堅. 制造企業(yè)主數(shù)據(jù)管理平臺分析設(shè)計與實現(xiàn)[D].北京工業(yè)大學(xué),2017.
[3]羅莉.主數(shù)據(jù)管理在信息化建設(shè)中的應(yīng)用[J].電子世界,2012(07):105-109.