◆楊紹雄 韓戈白 陳柯 閆龍
行業(yè)與應(yīng)用安全
主數(shù)據(jù)全生命周期管理在航空行業(yè)的應(yīng)用
◆楊紹雄1韓戈白1陳柯2閆龍2
(1.中國(guó)電子科技集團(tuán)公司第二十八研究所 江蘇 210000;2.中部戰(zhàn)區(qū)空軍保障部信息保障室 北京 100000)
現(xiàn)階段,航空行業(yè)中圍繞航空器的數(shù)據(jù)使用與管理現(xiàn)狀展現(xiàn)出數(shù)據(jù)定義及表示模糊、數(shù)據(jù)整合率低、數(shù)據(jù)質(zhì)量低和數(shù)據(jù)不可追溯的問題。為了解決這些問題,本文梳理出以航空器為核心的航空行業(yè)主數(shù)據(jù),并建設(shè)主數(shù)據(jù)全生命周期管理平臺(tái),通過元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、質(zhì)量規(guī)則管理和作業(yè)工廠等功能完成對(duì)主數(shù)據(jù)的全生命周期管理,構(gòu)建高整合、高質(zhì)量、多主題、可溯源的數(shù)據(jù)倉(cāng)庫(kù),為后續(xù)數(shù)據(jù)商店、數(shù)據(jù)同步和數(shù)據(jù)分析等數(shù)據(jù)應(yīng)用提供了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。
主數(shù)據(jù);全生命周期管理;數(shù)據(jù)治理
隨著航空行業(yè)信息化建設(shè)的不斷推進(jìn),圍繞航空器產(chǎn)生的數(shù)據(jù)變得愈發(fā)復(fù)雜,不同的業(yè)務(wù)系統(tǒng)在進(jìn)行數(shù)據(jù)管理時(shí)可能遇到數(shù)據(jù)定義不清晰、數(shù)據(jù)整合率低、數(shù)據(jù)質(zhì)量低和數(shù)據(jù)不可追溯等問題,使提高各系統(tǒng)中的業(yè)務(wù)連貫性和數(shù)據(jù)完整性變得困難,對(duì)核心業(yè)務(wù)實(shí)體的跨業(yè)務(wù)協(xié)同和跨系統(tǒng)共享成了挑戰(zhàn)。
當(dāng)前各個(gè)航空部門業(yè)務(wù)信息化建設(shè)逐漸普及,圍繞航空器從研制、訂購(gòu)到使用、維修的業(yè)務(wù)流程都將產(chǎn)生大量可追溯的數(shù)據(jù)。但各個(gè)部門的業(yè)務(wù)系統(tǒng)各自為政,煙囪林立,與航空器相關(guān)的重要數(shù)據(jù)散布在各個(gè)業(yè)務(wù)系統(tǒng)中,使得在處理跨部門、跨業(yè)務(wù)的綜合分析時(shí)會(huì)遇到以下問題:
(1)數(shù)據(jù)定義及表示模糊
同一類數(shù)據(jù)在不同業(yè)務(wù)系統(tǒng)中各自表述方法、管理方法和統(tǒng)計(jì)方法不一致導(dǎo)致不同部門中的核心數(shù)據(jù)產(chǎn)生差異,數(shù)據(jù)定義的不準(zhǔn)確、數(shù)據(jù)標(biāo)準(zhǔn)的缺失以及不統(tǒng)一的編碼方式使數(shù)據(jù)變更、整合和交互過程變得困難[1]。
(2)數(shù)據(jù)整合率低
圍繞航空器產(chǎn)生的數(shù)據(jù)涵蓋從研制直至退役的全系統(tǒng)、全壽命、全要素的周期管理活動(dòng),業(yè)務(wù)種類繁多。航空器各個(gè)生命周期的活動(dòng)由不同的業(yè)務(wù)部門負(fù)責(zé),數(shù)據(jù)散布在各個(gè)業(yè)務(wù)之中,并且部門之間橫、縱向業(yè)務(wù)關(guān)系復(fù)雜,導(dǎo)致數(shù)據(jù)整合率低,缺失對(duì)數(shù)據(jù)的整體視角。同時(shí),分散的數(shù)據(jù)缺乏統(tǒng)一標(biāo)準(zhǔn),導(dǎo)致數(shù)據(jù)對(duì)照和映射關(guān)系復(fù)雜,影響了業(yè)務(wù)數(shù)據(jù)整合的及時(shí)性和準(zhǔn)確率。
(3)數(shù)據(jù)質(zhì)量低
數(shù)據(jù)在使用過程中不可避免地產(chǎn)生了偏差,導(dǎo)致數(shù)據(jù)產(chǎn)生缺失、錯(cuò)誤和冗余等現(xiàn)象,數(shù)據(jù)整體價(jià)值降低,無法滿足各業(yè)務(wù)部門對(duì)管理對(duì)象的精細(xì)化管理需求[2]。
(4)數(shù)據(jù)不可追溯
對(duì)數(shù)據(jù)的產(chǎn)生、使用和變更等行為缺少信息化管理工具和手段,信息在業(yè)務(wù)部門之間的流轉(zhuǎn)缺少記錄,使得數(shù)據(jù)缺少可追溯的完整數(shù)據(jù)鏈。當(dāng)出現(xiàn)問題時(shí)無法快速定位問題來源,確定責(zé)任人和尋找解決方法,影響問題解決的速度。
(1)主數(shù)據(jù)
主數(shù)據(jù)(Master Data)是指具有高度業(yè)務(wù)價(jià)值的、可以在企業(yè)內(nèi)跨越各個(gè)業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù),是單一準(zhǔn)確、權(quán)威的數(shù)據(jù)來源[3-5]。
與業(yè)務(wù)型和分析型數(shù)據(jù)相比,主數(shù)據(jù)具有特征一致性、識(shí)別唯一性、長(zhǎng)期有效性和業(yè)務(wù)穩(wěn)定性幾個(gè)特征[6]。特征一致性是指主數(shù)據(jù)在各業(yè)務(wù)流程的運(yùn)轉(zhuǎn)和數(shù)據(jù)分析的對(duì)象層次中活動(dòng)的特征一致。識(shí)別唯一性主要體現(xiàn)在同一主數(shù)據(jù)實(shí)體在不同的場(chǎng)合需要有唯一的標(biāo)識(shí)。長(zhǎng)期有效性是指主數(shù)據(jù)對(duì)象貫穿了整個(gè)業(yè)務(wù)周期的活動(dòng)范圍,同時(shí)也表達(dá)了主數(shù)據(jù)自身應(yīng)具有長(zhǎng)期穩(wěn)定不變的特性。業(yè)務(wù)穩(wěn)定性體現(xiàn)在主數(shù)據(jù)本身的特征不會(huì)隨著業(yè)務(wù)的演變而變化,能廣泛應(yīng)用于不同的業(yè)務(wù)需求,是隨時(shí)能支撐業(yè)務(wù)活動(dòng)的關(guān)鍵數(shù)據(jù)。
(2)主數(shù)據(jù)全生命周期管理
主數(shù)據(jù)的全生命周期是指主數(shù)據(jù)從獲取、轉(zhuǎn)化、校驗(yàn)、發(fā)布、申請(qǐng)、分發(fā)、應(yīng)用、變更到最終核銷的整個(gè)生命歷程。對(duì)主數(shù)據(jù)整個(gè)生命周期的集中管理稱為主數(shù)據(jù)全生命周期管理,這種集中管理體系改變了原本分散管理中的平臺(tái)不統(tǒng)一、流程不一致、標(biāo)準(zhǔn)有差異、嚴(yán)重依靠人工檢驗(yàn)等問題,實(shí)現(xiàn)了從分散到集中、從片面到全局、從人工非專業(yè)到自動(dòng)化作業(yè)流程管理的轉(zhuǎn)變,完成了高質(zhì)量并且唯一準(zhǔn)確和規(guī)范的主數(shù)據(jù)建設(shè),為各個(gè)部門業(yè)務(wù)活動(dòng)流轉(zhuǎn)、數(shù)據(jù)分析報(bào)表和決策分析提供了堅(jiān)實(shí)的基礎(chǔ)[7-9]。
為解決航空行業(yè)數(shù)據(jù)使用現(xiàn)狀體現(xiàn)出來的幾個(gè)缺陷,本文設(shè)計(jì)和建設(shè)的主數(shù)據(jù)管理平臺(tái)中幾個(gè)重要的功能設(shè)計(jì)如下。
要對(duì)主數(shù)據(jù)進(jìn)行管理,首要任務(wù)就是對(duì)業(yè)務(wù)活動(dòng)進(jìn)行梳理,識(shí)別業(yè)務(wù)問題,定義主數(shù)據(jù)主題區(qū)域[10]。航空行業(yè)的關(guān)鍵主數(shù)據(jù)可以定義為通用數(shù)據(jù)、航空器、組織機(jī)構(gòu)和人員、供應(yīng)商和客戶、保障設(shè)備器材、設(shè)施、財(cái)務(wù)、項(xiàng)目、知識(shí)類信息等幾大類[11]。
元數(shù)據(jù)是指描述數(shù)據(jù)的數(shù)據(jù),其使用目的在于識(shí)別資源、評(píng)價(jià)資源、追蹤資源在使用過程中的變化,實(shí)現(xiàn)簡(jiǎn)單高效地管理大量數(shù)據(jù),信息資源的有效發(fā)現(xiàn)、查找、一體化組織和對(duì)使用資源的有效管理[8]。在物理層面,對(duì)底層各個(gè)業(yè)務(wù)庫(kù)的數(shù)據(jù)表的元數(shù)據(jù)定義越精準(zhǔn),整個(gè)主數(shù)據(jù)管理越有效。
數(shù)據(jù)標(biāo)準(zhǔn)定義了各種主數(shù)據(jù)對(duì)象的編碼體系,提供了主數(shù)據(jù)對(duì)象的編碼和變更流程,包括業(yè)務(wù)對(duì)象的數(shù)據(jù)項(xiàng)定義、域定義、枚舉值范圍和數(shù)據(jù)來源等,為業(yè)務(wù)之中的數(shù)據(jù)交互提供了標(biāo)準(zhǔn)。
通過對(duì)元數(shù)據(jù)的準(zhǔn)確定義和數(shù)據(jù)標(biāo)準(zhǔn)的實(shí)施可以有效解決數(shù)據(jù)定義和表示模糊的問題,為主數(shù)據(jù)管理打下堅(jiān)實(shí)的基礎(chǔ)。
質(zhì)量規(guī)則主要包括編碼規(guī)則、引用規(guī)則和字段校驗(yàn)規(guī)則,是驅(qū)動(dòng)數(shù)據(jù)質(zhì)量檢查的核心要素。編碼規(guī)則與數(shù)據(jù)標(biāo)準(zhǔn)相輔相成,為數(shù)據(jù)中字段的編碼方式提供準(zhǔn)則,統(tǒng)一引入平臺(tái)中的數(shù)據(jù)字段定義。引用規(guī)則為字段提供標(biāo)準(zhǔn)的枚舉值范圍。字段校驗(yàn)規(guī)則主要為數(shù)據(jù)字段提供多種規(guī)范化方法。數(shù)據(jù)質(zhì)量管理通過對(duì)數(shù)據(jù)表的字段設(shè)置質(zhì)量規(guī)則,對(duì)平臺(tái)中流轉(zhuǎn)的數(shù)據(jù)進(jìn)行自動(dòng)檢查,識(shí)別出重復(fù)、缺失和錯(cuò)誤的數(shù)據(jù),并通過計(jì)算機(jī)自動(dòng)修正與人工干預(yù)相結(jié)合的方法去除噪聲數(shù)據(jù),提高數(shù)據(jù)的整體質(zhì)量,為航空行業(yè)對(duì)數(shù)據(jù)精細(xì)化管理提供保障[12]。
作業(yè)工廠模塊主要以自動(dòng)化作業(yè)的形式管理接入平臺(tái)的主數(shù)據(jù)獲取、轉(zhuǎn)化、校驗(yàn)、發(fā)布過程,形成以主數(shù)據(jù)為核心的數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、非易失的并且隨時(shí)間變化的數(shù)據(jù)集合,用以支持經(jīng)驗(yàn)管理中的決策制定過程。因此數(shù)據(jù)倉(cāng)庫(kù)側(cè)重于從決策者的角度來組織數(shù)據(jù),將數(shù)據(jù)整合、分類成多種主題的數(shù)據(jù)集合。
作業(yè)管理搭配數(shù)據(jù)源配置和數(shù)據(jù)分類配置,可以將多個(gè)異種數(shù)據(jù)源的數(shù)據(jù)按照不同的主題集成,通過給表項(xiàng)打上分類標(biāo)簽來進(jìn)行數(shù)據(jù)多維度的整合。
同時(shí),通過在數(shù)據(jù)轉(zhuǎn)化過程中隊(duì)數(shù)據(jù)表添加數(shù)據(jù)來源、作業(yè)時(shí)間等作業(yè)字段,使整個(gè)數(shù)據(jù)流轉(zhuǎn)過程有源可溯。而數(shù)據(jù)倉(cāng)庫(kù)的非易失性和隨時(shí)間變化的特性表明存在于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是按時(shí)間累加的數(shù)據(jù),可以從不同版本的數(shù)據(jù)中推算數(shù)據(jù)演變過程,實(shí)現(xiàn)對(duì)數(shù)據(jù)來源和變化的完整記錄。
通過作業(yè)管理形成以主數(shù)據(jù)為核心的數(shù)據(jù)倉(cāng)庫(kù),使平臺(tái)內(nèi)的數(shù)據(jù)從不同的維度高度整合,并且可以追溯數(shù)據(jù)生成和演變的全過程。
作業(yè)工廠最終完成對(duì)數(shù)據(jù)的發(fā)布,可供用戶申請(qǐng)和使用。整個(gè)主數(shù)據(jù)的全生命周期管理如圖1所示。
本文針對(duì)航空行業(yè)圍繞航空器的數(shù)據(jù)使用過程體現(xiàn)出來的缺陷,設(shè)計(jì)實(shí)現(xiàn)了主數(shù)據(jù)全生命周期管理平臺(tái)。本文首先通過梳理航空行業(yè)各部門實(shí)際業(yè)務(wù)需求,整理出以航空器為核心的主數(shù)據(jù)。通過主數(shù)據(jù)管理平臺(tái)中的元數(shù)據(jù)和數(shù)據(jù)標(biāo)準(zhǔn)管理來統(tǒng)一并準(zhǔn)確地定義每一個(gè)數(shù)據(jù)表項(xiàng),避免數(shù)據(jù)實(shí)體在不同業(yè)務(wù)中識(shí)別困難的問題。通過質(zhì)量規(guī)則設(shè)置和質(zhì)量檢查篩選出有噪聲的數(shù)據(jù)并進(jìn)行修正,提高數(shù)據(jù)整體質(zhì)量。通過作業(yè)工廠來管理數(shù)據(jù)的獲取、轉(zhuǎn)換、校驗(yàn)和發(fā)布過程,形成高整合、多主題、可溯源的數(shù)據(jù)倉(cāng)庫(kù),供后續(xù)數(shù)據(jù)分析和商業(yè)智能等數(shù)據(jù)應(yīng)用提供優(yōu)質(zhì)的數(shù)據(jù)基礎(chǔ)。
圖1 主數(shù)據(jù)全生命周期管理
[1]鄧林. 主數(shù)據(jù)管理系統(tǒng)在大型企業(yè)中的應(yīng)用[J]. 煉油與化工,2019,30(02):59-61.
[2]宋金玉,陳爽,郭大鵬,等. 數(shù)據(jù)質(zhì)量及數(shù)據(jù)清洗方法[J]. 指揮信息系統(tǒng)與技術(shù),2013,004(005):63-70.
[3]王春麗. 基于主數(shù)據(jù)管理的數(shù)據(jù)共享平臺(tái)設(shè)計(jì)[J]. 電腦編程技巧與維護(hù),2019(9).
[4]歐志洪,胡天牧,康永 . 淺談主數(shù)據(jù)管理應(yīng)用問題治理[J]. 電子世界,2018.
[5]趙飛. 基于全生命周期的主數(shù)據(jù)管理:MDM 詳解與實(shí)踐[M]. 北京:清華大學(xué)出版社,2015:66.
[6]張玉爽. 企業(yè)主數(shù)據(jù)管理方法研究及實(shí)踐[J]. 現(xiàn)代信息科技,2019,3(05):117-119.
[7]和軼東,張怡,曹乃剛.SAP MDM 主數(shù)據(jù)管理[M]. 北京:清華大學(xué)出版社,2013:1-3.
[8]房俊彥. 集團(tuán)型企業(yè)的主數(shù)據(jù)管理[J]. 信息與電腦(理論版),2019,420(02):162-163.
[9]羅莉.主數(shù)據(jù)管理在信息化建設(shè)中的應(yīng)用[J]. 電子世界,2012(7).
[10]陳亞杰,董俊,鄭芳霖,王洋.淺析企業(yè)信息化發(fā)展之主數(shù)據(jù)管理[J]. 船舶標(biāo)準(zhǔn)化工程師,2015(4).
[11]亓東霞,馬琳,張永京,等. 企業(yè)業(yè)務(wù)主數(shù)據(jù)建設(shè)與應(yīng)用研究[J]. 數(shù)字技術(shù)與應(yīng)用,2019(6).
[12]魏健,葉安娜,楊春. 指揮信息系統(tǒng)數(shù)據(jù)質(zhì)量評(píng)估指標(biāo)體系[J]. 指揮信息系統(tǒng)與技術(shù),2020(002):85-88,93.
網(wǎng)絡(luò)安全技術(shù)與應(yīng)用2020年11期