【摘要】本文簡(jiǎn)要介紹了當(dāng)前電信運(yùn)營商在OSS域數(shù)據(jù)整合面臨的主要問題,從IT基礎(chǔ)設(shè)施規(guī)劃角度討論了建設(shè)OSS域數(shù)據(jù)共享中心的建設(shè)方式,并對(duì)建設(shè)效果進(jìn)行了分析,供通信行業(yè)相關(guān)技術(shù)人員在IT規(guī)劃及實(shí)施過程中參考。
【關(guān)鍵詞】電信運(yùn)營商IT支撐系統(tǒng)數(shù)據(jù)共享中心
在全業(yè)務(wù)競(jìng)爭(zhēng)場(chǎng)景下,電信運(yùn)營商更加迫切的期望通過對(duì)海量的網(wǎng)絡(luò)、業(yè)務(wù)數(shù)據(jù)的分析挖掘來提高建設(shè)、運(yùn)營和維護(hù)效率,并最終為用戶提供更好的客戶體驗(yàn)。這就對(duì)IT技術(shù)架構(gòu)整合與數(shù)據(jù)集中共享提出了較高要求。
一、現(xiàn)狀分析
目前運(yùn)營商煙囪式的網(wǎng)管系統(tǒng)架構(gòu)均以專業(yè)網(wǎng)管為主,基于ETOM模型,實(shí)現(xiàn)對(duì)通信網(wǎng)絡(luò)和業(yè)務(wù)的線條化支撐,面向配置管理、故障管理、性能管理、計(jì)費(fèi)管理、安全管理,輔以運(yùn)維流程及業(yè)務(wù)質(zhì)量管理。這種建設(shè)模式無法實(shí)現(xiàn)端到端的業(yè)務(wù)質(zhì)量管理和集中化的性能管理,難以支撐跨專業(yè)、集中化的故障快速定位。同時(shí),由于網(wǎng)絡(luò)性能數(shù)據(jù)在多個(gè)系統(tǒng)中分散存儲(chǔ),難以進(jìn)行有效整合、共享、關(guān)聯(lián)和深入挖掘,原有的數(shù)據(jù)結(jié)構(gòu)也難以支撐大數(shù)據(jù)場(chǎng)景下的快速應(yīng)用開發(fā)。
在數(shù)據(jù)生產(chǎn)和維護(hù)層面,同類型數(shù)據(jù)分散在不同系統(tǒng),特別是性能、告警、工單、資源、測(cè)試類數(shù)據(jù)分散程度較大,導(dǎo)致各應(yīng)用系統(tǒng)需要重復(fù)建設(shè)數(shù)據(jù)轉(zhuǎn)換的相關(guān)功能,重復(fù)構(gòu)建數(shù)據(jù)模型、關(guān)聯(lián)數(shù)據(jù),并進(jìn)行同類數(shù)據(jù)的重復(fù)計(jì)算。數(shù)據(jù)處理與存儲(chǔ)功能的重復(fù)建設(shè)也導(dǎo)致數(shù)據(jù)存儲(chǔ)冗余度高,處理能力浪費(fèi),備份難度大,安全性不高等問題。
二、數(shù)據(jù)共享中心建設(shè)方案
2.1數(shù)據(jù)共享中心技術(shù)架構(gòu)
現(xiàn)階段應(yīng)適時(shí)引入大數(shù)據(jù)技術(shù),構(gòu)建OSS域綜合性的數(shù)據(jù)共享中心:1、Hadoop平臺(tái)承擔(dān)原始海量數(shù)據(jù)抽取、轉(zhuǎn)換、加載和輕度匯總等計(jì)算任務(wù)(大量庫外計(jì)算任務(wù)),同時(shí)滿足基于鍵值的詳單查詢需求。Hadoop平臺(tái)如果要支撐復(fù)雜詳單關(guān)聯(lián)查詢,需要對(duì)其進(jìn)行深度定制、改造。否則需要將詳單數(shù)據(jù)加載到MPP RDB集群的數(shù)據(jù)倉庫中支撐查詢。2、MPP RDB集群的深度分析庫,承擔(dān)適合基于庫內(nèi)計(jì)算的匯總計(jì)算任務(wù),同時(shí)支撐查詢模型復(fù)雜、多變的自助分析應(yīng)用和面向創(chuàng)新的相關(guān)探索類的分析需求,數(shù)據(jù)相對(duì)而言是變化的。3、MPP/SMP RDB主庫,支撐數(shù)據(jù)模型、分析模型已經(jīng)固化的,相對(duì)規(guī)范、標(biāo)準(zhǔn)的報(bào)表和報(bào)告類應(yīng)用,此類數(shù)據(jù)相對(duì)穩(wěn)定。同時(shí),隨著深度分析庫中探索類的分析應(yīng)用的逐漸成熟,也可以遷移到主庫。 4、數(shù)據(jù)立方體(OLAP),滿足典型的多維分析需求(上鉆、下探、旋轉(zhuǎn)、切片分析等等)。5、實(shí)時(shí)處理平臺(tái),基于內(nèi)存數(shù)據(jù)庫或消息服務(wù)器提供實(shí)時(shí)數(shù)據(jù)處理,滿足面向?qū)崟r(shí)信令和實(shí)時(shí)決策的分析需求,比如用戶級(jí)別的實(shí)時(shí)消息推送和流量控制策略。
2.2數(shù)據(jù)共享中心覆蓋的數(shù)據(jù)范圍
OSS域數(shù)據(jù)共享中心覆蓋的數(shù)據(jù)范圍應(yīng)包含如下三個(gè)方面:1、整合設(shè)備采集數(shù)據(jù),實(shí)現(xiàn)長(zhǎng)期保存及數(shù)據(jù)共享,減少接口解析及數(shù)據(jù)建模等重復(fù)工作。同時(shí)面向LTE等新業(yè)務(wù)接入,實(shí)現(xiàn)提前規(guī)劃、統(tǒng)一采集和集中存儲(chǔ)。2、全面接入傳統(tǒng)話音及互聯(lián)網(wǎng)業(yè)務(wù)涉及的各類信令監(jiān)測(cè)、業(yè)務(wù)撥測(cè)數(shù)據(jù),通過數(shù)據(jù)共享中心構(gòu)建開放環(huán)境,便于實(shí)現(xiàn)橫向關(guān)聯(lián)分析與綜合應(yīng)用開發(fā)。3、應(yīng)對(duì)日益增加的跨域數(shù)據(jù)關(guān)聯(lián)分析需求,作為OSS域數(shù)據(jù)對(duì)外開放的統(tǒng)一接口,同時(shí)也負(fù)責(zé)完成BSS及MSS域數(shù)據(jù)的引入整合,減少跨域系統(tǒng)間接口復(fù)雜性。
三、建設(shè)效果分析
OSS域數(shù)據(jù)共享中心預(yù)期的建設(shè)效果主要有如下三個(gè)方面:1.提供開放式的數(shù)據(jù)分層架構(gòu),在保存海量原始數(shù)據(jù)的基礎(chǔ)上,既能保證成熟分析專題的數(shù)據(jù)一致性,又能保證探索類數(shù)據(jù)分析的靈活性。2.構(gòu)建規(guī)范化的IT數(shù)據(jù)架構(gòu),有利于減少域內(nèi)與跨域系統(tǒng)間接口的復(fù)雜性,同時(shí)也為基于數(shù)據(jù)共享中心重新定義標(biāo)準(zhǔn)化的企業(yè)數(shù)據(jù)管理規(guī)范提供了技術(shù)層面的可行性保證。3.大數(shù)據(jù)開放架構(gòu)可靈活選擇合適技術(shù)與存儲(chǔ)方式應(yīng)對(duì)不同類別、不同來源的網(wǎng)絡(luò)與業(yè)務(wù)數(shù)據(jù),集中式的存儲(chǔ)與災(zāi)備設(shè)計(jì)也有利于降低海量數(shù)據(jù)存儲(chǔ)與應(yīng)用帶來的建設(shè)、維護(hù)費(fèi)用。
四、結(jié)語
采用大數(shù)據(jù)技術(shù)構(gòu)建統(tǒng)一的數(shù)據(jù)共享中心,其價(jià)值體現(xiàn)在能夠規(guī)范IT系統(tǒng)的基礎(chǔ)數(shù)據(jù)架構(gòu),提升數(shù)據(jù)質(zhì)量,支撐快速開發(fā);同時(shí),數(shù)據(jù)共享中心提高了數(shù)據(jù)透明度,能夠幫助電信運(yùn)營商在全業(yè)務(wù)競(jìng)爭(zhēng)場(chǎng)景下實(shí)現(xiàn)快速?zèng)Q策并獲得效果反饋。但我們也應(yīng)看到,大數(shù)據(jù)架構(gòu)應(yīng)用多種開源技術(shù),可能給數(shù)據(jù)共享中心的架構(gòu)穩(wěn)定性帶來一定影響,現(xiàn)階段應(yīng)注意選擇主流技術(shù)和產(chǎn)品、構(gòu)建開放平臺(tái),以適應(yīng)相關(guān)技術(shù)的不斷更新。
參考文獻(xiàn)
[1]文艾,王磊.高可用性的HDFS-Hadoop分布式文件系統(tǒng)深度實(shí)踐.清華大學(xué)出版社,2012年.
[2]張敏,陳云海,林立宇.電信運(yùn)營商云計(jì)算數(shù)據(jù)中心的構(gòu)建分析.電信技術(shù),2009年