劉南?！≈袊苿油ㄐ偶瘓F廣西有限公司信息系統(tǒng)部工程師

基于DAMA體系運營商數(shù)據(jù)資產(chǎn)管理體系構(gòu)建研究

劉南海中國移動通信集團廣西有限公司信息系統(tǒng)部工程師

“大數(shù)據(jù)”時代，數(shù)據(jù)已成為實現(xiàn)企業(yè)目標(biāo)的關(guān)鍵資產(chǎn)。基于DAMA體系，結(jié)合省級運營商實際，分析數(shù)據(jù)生命周期，構(gòu)建數(shù)據(jù)資產(chǎn)架構(gòu)，在組織、流程、IT方面做出相應(yīng)調(diào)整，給出省級運營商數(shù)據(jù)資產(chǎn)管理體系構(gòu)建的實施思路。

大數(shù)據(jù)；數(shù)據(jù)資產(chǎn)管理；DAMA

1　引言

大數(shù)據(jù)時代，借助對客戶“通信高速公路”的管控，運營商掌握了海量的數(shù)據(jù)。這些數(shù)據(jù)對于運營商內(nèi)部和外部的“數(shù)據(jù)驅(qū)動營銷”、“數(shù)據(jù)驅(qū)動管理”以及普遍意義上的“數(shù)據(jù)驅(qū)動XX”有著重要的價值。另一方面，雖然運營商對數(shù)據(jù)的認識、使用方法和管理實踐隨著IT技術(shù)的發(fā)展和信息化程度的提高不斷增強，如從沙漠中找到金子那般，從“4個V”的大數(shù)據(jù)中獲取知識，并轉(zhuǎn)化為價值仍然不容易。本文基于DAMA （DATAManagementAssociation）體系，結(jié)合實際，探討省級運營商數(shù)據(jù)資產(chǎn)管理體系的構(gòu)建思路。

2　DAMA體系簡介

DAMA（DATA Management Associa tion）數(shù)據(jù)管理協(xié)會是一個國際組織。DAMA體系是該協(xié)會對過去20多年數(shù)據(jù)管理領(lǐng)域知識和實踐的總結(jié)。DAMA體系認為，正如資金和人才長期被認為是企業(yè)的資產(chǎn)，對其進行精心管理有助于實現(xiàn)企業(yè)目標(biāo)一般，大數(shù)據(jù)時代，數(shù)據(jù)以及從數(shù)據(jù)產(chǎn)生的信息也已經(jīng)被公認為企業(yè)的資產(chǎn)，各個組織都需要有效地管理日益重要的數(shù)據(jù)和信息資源，通過業(yè)務(wù)領(lǐng)導(dǎo)和技術(shù)專家的合作，有效地提供和控制數(shù)據(jù)資產(chǎn)。

如同任何其他資產(chǎn)，數(shù)據(jù)資產(chǎn)具有生命周期，包括計劃、規(guī)范定義、開發(fā)實施、創(chuàng)建&獲取、維護&使用、存檔&檢索和清除。對數(shù)據(jù)資產(chǎn)的管理就是生命周期的管理。根據(jù)不同業(yè)務(wù)對數(shù)據(jù)的不同需求，把數(shù)據(jù)資產(chǎn)管理分為十大職能，即數(shù)據(jù)管理、數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)開發(fā)、數(shù)據(jù)操作管理、數(shù)據(jù)安全管理、數(shù)據(jù)質(zhì)量管理、參考數(shù)據(jù)和主數(shù)據(jù)管理、數(shù)據(jù)倉庫和商務(wù)智能管理、文檔和內(nèi)容管理、元數(shù)據(jù)管理（見圖1）。

圖1　DAMA數(shù)據(jù)生命周期和數(shù)據(jù)資產(chǎn)管理的十大職能

3　省級運營商數(shù)據(jù)管理現(xiàn)狀和存在問題

運營商的組織結(jié)構(gòu)和IT架構(gòu)通常采用“總部/省級”二級架構(gòu)，省級運營商按地域承擔(dān)IT系統(tǒng)的運、建、維。省級運營商IT系統(tǒng)通常包括BSS（Business Support System，簡稱B域）、OSS（Operation Support System，簡稱O域）和MSS（Management Support System，簡稱M域）三域，分域獨立建設(shè)，域內(nèi)部形成各類子系統(tǒng)和模塊。

大數(shù)據(jù)時代，在B/O/M三域基礎(chǔ)之上設(shè)立融合的分析支撐域（Analysis Support System，簡稱A域），建設(shè)獨立的大數(shù)據(jù)平臺匯聚三域數(shù)據(jù)，提供企業(yè)級的分析能力支撐是省級電信運營商大數(shù)據(jù)建設(shè)的一種最佳實踐。如圖2所示，B域數(shù)據(jù)主要來自BOSS系統(tǒng)、酬金管理系統(tǒng)、各類結(jié)算平臺，每日50億條記錄，1.2TB；O域數(shù)據(jù)來自網(wǎng)管、網(wǎng)優(yōu)、信測系統(tǒng)，每日160億條，5TB；M域數(shù)據(jù)來自MIS、資產(chǎn)、庫存、供應(yīng)鏈、每月3億條，0.1TB。

圖2　B/O/M三域數(shù)據(jù)匯聚到大數(shù)據(jù)平臺

B/O/M三域數(shù)據(jù)歷經(jīng)各系統(tǒng)十多年的“運”、“建”、“維”而產(chǎn)生。由于模型層統(tǒng)一管理、生命周期管理、統(tǒng)一文檔知識管理等數(shù)據(jù)管理基礎(chǔ)工作的缺失。數(shù)據(jù)模型生長呈復(fù)雜網(wǎng)狀結(jié)構(gòu)，清單數(shù)據(jù)、輕度匯總數(shù)據(jù)、高度匯總數(shù)據(jù)、應(yīng)用數(shù)據(jù)相互關(guān)聯(lián)調(diào)用，交織成網(wǎng)狀，數(shù)據(jù)分層不清晰（見圖3）。

數(shù)據(jù)模型的網(wǎng)狀結(jié)構(gòu)以及數(shù)據(jù)管理上的缺失，影響了企業(yè)目標(biāo)的達成（見圖4）。數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一影響業(yè)務(wù)需求到數(shù)據(jù)需求的溝通；數(shù)據(jù)種類的不完整影響數(shù)據(jù)分析和數(shù)據(jù)挖掘?qū)Q策的支持程度；數(shù)據(jù)不精確影響效率；數(shù)據(jù)不安全泄露機密和隱私；數(shù)據(jù)不及時降低了數(shù)據(jù)的使用價值。因此，在大數(shù)據(jù)到來的時候，在IT系統(tǒng)建設(shè)的同時，需要加強對數(shù)據(jù)的管理。

4　基于DAMA構(gòu)建數(shù)據(jù)資產(chǎn)管理體系

DAMA是一個標(biāo)準(zhǔn)化的體系，通過“數(shù)據(jù)生命周期”和“數(shù)據(jù)管理十大職能”，“大而全”地涵蓋了企業(yè)數(shù)據(jù)管理所涉及的各方面。基于該體系，結(jié)合運營商數(shù)據(jù)生命周期、數(shù)據(jù)管理組織機構(gòu)、流程、IT狀況等實際情況，構(gòu)建可落地可實施的數(shù)據(jù)資產(chǎn)管理體系。

4.1分析數(shù)據(jù)生命周期、角色

長期以來，各運營商多采用外部集成商提供IT服務(wù)的模式進行支撐，自身缺乏實際研發(fā)、部署運維能力。數(shù)據(jù)生命周期上通常分為兩個主要階段：多層次匯總階段和應(yīng)用階段（見圖5）。

圖3　網(wǎng)狀數(shù)據(jù)結(jié)構(gòu)

圖4　數(shù)據(jù)管理存在的問題

圖5　運營商數(shù)據(jù)生命周期

多層次匯總階段，數(shù)據(jù)加工者將原始的清單數(shù)據(jù)在Oracle/Hadoop/MPP等基礎(chǔ)設(shè)施上進行多個層次的匯總處理，形成各層次匯總數(shù)據(jù)?；A(chǔ)設(shè)施廠商就是數(shù)據(jù)加工者（通常是1～2個），局方維護管理部門承擔(dān)平臺管理者的角色。

應(yīng)用階段，數(shù)據(jù)消費者使用各層次的匯總數(shù)據(jù)，開發(fā)分析專題/應(yīng)用/統(tǒng)計報表/數(shù)據(jù)產(chǎn)品的過程。應(yīng)用開發(fā)商就是數(shù)據(jù)消費者（多個，按照人天單價簽署框架合同，應(yīng)用功能點開發(fā)折合人天計算費用），局方維護管理部門承擔(dān)平臺管理者的角色。開發(fā)出來應(yīng)用供產(chǎn)品消費者使用（業(yè)務(wù)部門），直接或間接形成價值。

4.2構(gòu)建數(shù)據(jù)資產(chǎn)架構(gòu)

針對數(shù)據(jù)生命周期兩階段的實際，運營商數(shù)據(jù)資產(chǎn)可歸為匯總層資產(chǎn)和應(yīng)用層資產(chǎn)，包含元數(shù)據(jù)、表結(jié)構(gòu)、處理流程以及相關(guān)的文檔、管理流程、組織結(jié)構(gòu)。

對于匯總層，首先是面向各數(shù)據(jù)接口的數(shù)據(jù)域，數(shù)據(jù)域模型從數(shù)據(jù)視角對清單數(shù)據(jù)進行合并、降維、歸一等處理。業(yè)務(wù)域模型和數(shù)據(jù)挖掘域模型基于數(shù)據(jù)域模型。業(yè)務(wù)域模型面向統(tǒng)計分析，從業(yè)務(wù)視角進行高度匯總，如個人客戶、集團客戶視圖，渠道、產(chǎn)品、營銷視圖等。數(shù)據(jù)挖掘域模型面向數(shù)據(jù)挖掘，從業(yè)務(wù)視角對可能用于挖掘的用戶屬性和特征進行匯總，如流失預(yù)警、XX產(chǎn)品潛在客戶挖掘模型等。

對于應(yīng)用層。包含支撐KPI/報表/臨時提數(shù)的模型，也包含實時狀態(tài)認知、行業(yè)偏好、出行認知等基于數(shù)據(jù)挖掘的預(yù)測模型。以及基于這些模型包裝的大數(shù)據(jù)產(chǎn)品，比如網(wǎng)格化平臺、旅游人流監(jiān)控平臺、大數(shù)據(jù)分析報告、金融征信服務(wù)API等。

4.3構(gòu)建數(shù)據(jù)資產(chǎn)管理體系

一個良好的數(shù)據(jù)資產(chǎn)管理組織方式和IT支撐模式，可以高效提升對內(nèi)精準(zhǔn)營銷、對外數(shù)據(jù)價值變現(xiàn)等的效率，是數(shù)據(jù)驅(qū)動運營的必然要求。在組織、規(guī)范制度、IT方面都要進行考慮。組織方面，成立常態(tài)化的模型管控團隊對匯總層和應(yīng)用層的數(shù)據(jù)模型進行管控。規(guī)范及制度方面，流程再造，建章立制，確保數(shù)據(jù)資產(chǎn)管理常態(tài)化開展。IT方面，通過元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理等功能聯(lián)動，進行支撐（見圖6）。

4.3.1組織和流程

數(shù)據(jù)資產(chǎn)管理是是業(yè)務(wù)人員（產(chǎn)品消費者）、技術(shù)人員（平臺管理者）、開發(fā)人員（數(shù)據(jù)生產(chǎn)者、消費者）共同的職責(zé)。模型管控團隊?wèi)?yīng)由相關(guān)部門的專家組成，定期對涉及匯總層/應(yīng)用層資產(chǎn)的增刪減的變更進行審核，這種審核將確保數(shù)據(jù)資產(chǎn)在“概念——邏輯——實體”3個層次的統(tǒng)一（見圖7）。

數(shù)據(jù)資產(chǎn)管理應(yīng)包括：事前（包括表、過程、標(biāo)準(zhǔn)、規(guī)范等的預(yù)定義等，元數(shù)據(jù)）、事中（基于預(yù)先定義的元數(shù)據(jù)開展數(shù)據(jù)加工、生產(chǎn)的過程，是生產(chǎn)態(tài)或運行態(tài)）、事后（對數(shù)據(jù)資產(chǎn)的稽核、監(jiān)控等事后環(huán)節(jié)）流程管控環(huán)節(jié)（見圖8）。兩個關(guān)鍵控制點在進行數(shù)據(jù)加工和生產(chǎn)前，對需求階段、規(guī)劃設(shè)計階段輸出規(guī)范文檔等進行評審，確保模型調(diào)整可控；在數(shù)據(jù)加工和生產(chǎn)工程之后，通過數(shù)據(jù)質(zhì)量監(jiān)控、元數(shù)據(jù)血緣分析對數(shù)據(jù)模型進行事后稽核，確保生產(chǎn)態(tài)模型與方案態(tài)模型的一致性，為后續(xù)評估優(yōu)化提供指導(dǎo)建議。

圖6　數(shù)據(jù)資產(chǎn)管理體系要素

圖7　模型管控團隊的構(gòu)成

4.3.2關(guān)鍵IT能力

為支撐模型管控團隊的管理控制，需要具備如下關(guān)鍵IT支撐能力。數(shù)據(jù)訪問管控能力，支持多種數(shù)據(jù)訪問方式（服務(wù)、文件、視圖、數(shù)據(jù)庫連接等）、敏感數(shù)據(jù)脫敏、安全、審計方面的管控；資源管控能力，構(gòu)建多租戶中心，打造Oracle/Hadoop/MPP多租戶能力，對計算資源、數(shù)據(jù)存儲能力的隔離訪問；元數(shù)據(jù)管理平臺（數(shù)據(jù)資產(chǎn)管理），通過元數(shù)據(jù)收斂B/M/O三域數(shù)據(jù)管理（表結(jié)構(gòu)、處理邏輯）、統(tǒng)一數(shù)據(jù)字典/溯源、匯總/應(yīng)用二級數(shù)據(jù)資產(chǎn)目錄。關(guān)鍵IT能力之間的交互如圖9所示。

圖8　模型管控團隊的控制點

圖9　關(guān)鍵IT能力之間的交互

數(shù)據(jù)訪問管控，資源隔離管控（多租戶中心）、元數(shù)據(jù)管理平臺（數(shù)據(jù)資產(chǎn)管理）之前協(xié)同工作，實現(xiàn)對個角色的支撐。

數(shù)據(jù)資產(chǎn)管理平臺采集統(tǒng)一數(shù)據(jù)接入中心ETL元數(shù)據(jù)，Hadoop、MPP、DB元數(shù)據(jù)，并實現(xiàn)管理和分析。提供的數(shù)據(jù)安全規(guī)則、數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)生命周期的定義實現(xiàn)對數(shù)據(jù)的安全管控、質(zhì)量稽核以及數(shù)據(jù)的遷移。

數(shù)據(jù)資產(chǎn)管理平臺提供數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全規(guī)則、數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)生命周期給能力服務(wù)中心的多租戶中心，能力服務(wù)中心的多租戶中心統(tǒng)一開發(fā)模塊基于提供的數(shù)據(jù)標(biāo)準(zhǔn)進行模型設(shè)計、物理建模。

數(shù)據(jù)加工者、數(shù)據(jù)消費者、產(chǎn)品消費者、平臺管理者可以通過能力服務(wù)門戶獲得對數(shù)據(jù)生命周期中相應(yīng)的能力。

4.4小結(jié)

基于DAMA體系“數(shù)據(jù)生命周期”、“數(shù)據(jù)管理職能”兩大關(guān)鍵點，結(jié)合省級運營商數(shù)據(jù)管理實際初步構(gòu)建了可落地實施的數(shù)據(jù)資產(chǎn)管理體系，包括組織、流程和IT能力，在過程中舍棄了標(biāo)準(zhǔn)“數(shù)據(jù)生命周期”以及“數(shù)據(jù)管理職能”中的一些環(huán)節(jié)以確保“從0到1”的過程的快速、可落地、可實際操作。

5　結(jié)束語

對數(shù)據(jù)的認識和使用將成為大數(shù)據(jù)時代電信運營商轉(zhuǎn)型成敗的關(guān)鍵。雖然為了確?！皬?到1”的快速落地，對DAMA體系做了相應(yīng)的裁剪。在“從1到5”乃至“從5到10”的過程中，仍然需要根據(jù)企業(yè)目標(biāo)和管理的精細化程度對DAMA體系進行合理揚棄，比如運營商具備一定程度自主研發(fā)能力后，對數(shù)據(jù)資產(chǎn)的管控會涉及開發(fā)。對數(shù)據(jù)的認識和使用永遠是企業(yè)最核心的競爭力，需要培養(yǎng)專業(yè)的數(shù)據(jù)挖掘團隊，管好、用好數(shù)據(jù)。

［1］DAMA International.DAMA數(shù)據(jù)管理知識體系指南［M］.馬歡，劉晨，譯.北京：清華大學(xué)出版社，2014.

［2］Bill Franks.駕馭大數(shù)據(jù)［M］.黃海，譯.北京：人民郵電出版社，2013.

The research and practice of the data asset management for telecom operator based DAMA

LIU Nanhai

In the age of Big Data，data has become a key asset to achieve corporate goals.Based the DAMA，with the actual situation of provincial operators，we analyzed the data life cycle，build the data assets structure，made a adjustment in the organization，process and IT.At last，we gave a the implementation of data assets management system for provincial operators.

Big Data；data asset management；DAMA

2016-08-26）