張 丁
(中國聯(lián)合網(wǎng)絡(luò)通信有限公司 廣東省分公司,廣東 廣州 510000)
電信運(yùn)營商大數(shù)據(jù)變現(xiàn)關(guān)鍵技術(shù)環(huán)節(jié)研究
張丁
(中國聯(lián)合網(wǎng)絡(luò)通信有限公司 廣東省分公司,廣東 廣州 510000)
目前,數(shù)據(jù)資產(chǎn)對(duì)各個(gè)行業(yè)的商業(yè)價(jià)值愈發(fā)重要,引發(fā)了社會(huì)各產(chǎn)業(yè)的產(chǎn)業(yè)改革。然而,我國的電信運(yùn)營商在大數(shù)據(jù)資源上具有較好的發(fā)展優(yōu)勢(shì),若關(guān)鍵技術(shù)變革得當(dāng),將成為國內(nèi)首個(gè)通過大數(shù)據(jù)應(yīng)用改革成功的產(chǎn)業(yè)。文章對(duì)電信運(yùn)營商在進(jìn)行大數(shù)據(jù)變現(xiàn)的關(guān)鍵技術(shù)環(huán)節(jié)進(jìn)行了分析。
電信運(yùn)營商;大數(shù)據(jù)變現(xiàn);關(guān)鍵技術(shù)環(huán)節(jié)
在大數(shù)據(jù)時(shí)代的環(huán)境下,全球的各行各業(yè)均在向大數(shù)據(jù)應(yīng)用的方向發(fā)展,而作為擁有無數(shù)用戶資料和通信的龐大數(shù)據(jù)資源庫為依托的電信運(yùn)營商,在這一方面已經(jīng)具有得天獨(dú)厚的優(yōu)勢(shì)。合理應(yīng)用并做好關(guān)鍵技術(shù)的處理工作,會(huì)在很大程度上提高電信運(yùn)營商在市場(chǎng)上的影響力。電信運(yùn)營商若能夠?qū)⒆陨砭哂械凝嫶髷?shù)據(jù)充分發(fā)揮作用,一定能夠?qū)﹄娦胚\(yùn)營商帶來不可估量的商業(yè)價(jià)值。
1.1 特征和含義
大數(shù)據(jù)指的是從眾多渠道所收集起來的龐大數(shù)據(jù)信息,其具有極強(qiáng)的時(shí)效性。大數(shù)據(jù)所包含的數(shù)據(jù)量非常龐大,計(jì)量單位最低從PB開始(1PB=1 000TB),同時(shí)具有較高的多樣性,其內(nèi)容可包含音頻、圖片等各種用戶信息,這也給相關(guān)行業(yè)對(duì)大數(shù)據(jù)的變現(xiàn)增加了難度,往往大數(shù)據(jù)所包含的內(nèi)容非常多,在有效數(shù)據(jù)的收集方面極為困難。把如此龐大的信息資源進(jìn)行整合,將其中有效的資料提取出來,是行業(yè)最大程度發(fā)揮大數(shù)據(jù)資源作用的關(guān)鍵所在。
1.2 分析方法
大數(shù)據(jù)的分析方法對(duì)于該方面的應(yīng)用價(jià)值起到非常重要的影響,往往起到了決定數(shù)據(jù)是否存在利用價(jià)值的作用。常見的分析方法有4種,第一種是可視化分析法,這種方法能夠非常顯著地突出大數(shù)據(jù)的實(shí)用價(jià)值,是最能夠讓客戶接受相關(guān)資料的方法;第二種是數(shù)據(jù)探討法,這種方法的主要分析原理就是通過對(duì)數(shù)據(jù)整合,是該方面理論核心的最佳方法;第三種是預(yù)測(cè)法,在所有大數(shù)據(jù)分析方法中這種方法是整個(gè)應(yīng)用領(lǐng)域中最為有效的分析方法,通過搭建分析系統(tǒng),在把數(shù)據(jù)整合到系統(tǒng)中,從而達(dá)到對(duì)數(shù)據(jù)的預(yù)測(cè)作用。第四種是語義引擎法,由于大數(shù)據(jù)的多樣在運(yùn)用中需要通過這種方法來達(dá)到提料數(shù)據(jù)、進(jìn)行系統(tǒng)整合的目的。然而這一方法需要較為先進(jìn)的人工智能技術(shù)才能得以實(shí)現(xiàn)??偠灾?,若要實(shí)現(xiàn)大數(shù)據(jù)的應(yīng)用就必須通過各種方法來保證數(shù)據(jù)的質(zhì)量與價(jià)值,具體運(yùn)營情況如圖1所示。
圖1 大數(shù)據(jù)運(yùn)營圖
2.1 收集與整合
通常情況下的電信經(jīng)營模式都是以處理用戶的費(fèi)用清單、業(yè)務(wù)訂購等為主要經(jīng)營方面。然后把大批與客戶相關(guān)文件數(shù)據(jù)集中載入到數(shù)據(jù)抽取、轉(zhuǎn)換、裝載(Extract-Transform-Load,ETL)數(shù)據(jù)倉庫,這種方法完全不符合整合接入毫秒級(jí)的網(wǎng)絡(luò)側(cè)海量信令與位置數(shù)據(jù)的要求。因此,必須采用更為先進(jìn)的技術(shù),即以Hadoop為核心搭建兩個(gè)端口間互相傳輸數(shù)據(jù)的管理平臺(tái)。可以采用X 86平臺(tái),兩個(gè)端口間互相傳輸數(shù)據(jù)從而達(dá)到支撐ETL和主庫外匯總計(jì)算的目的,另外應(yīng)對(duì)搭建的Hadoop平臺(tái)進(jìn)行整合優(yōu)化,從而使數(shù)據(jù)能夠快速增長。
在以往BSS,CRM和ERP等采集數(shù)據(jù)平臺(tái)的基礎(chǔ)上,實(shí)現(xiàn)對(duì)OMC/設(shè)備、參數(shù)等數(shù)據(jù)進(jìn)行集中采集與管理,利用Gn口收集數(shù)據(jù)相關(guān)整合成xDR,另外對(duì)音頻、位置采用A口或MC口信令得以實(shí)現(xiàn)。
2.2 存儲(chǔ)與處理
在以往使用的電信架構(gòu)中,業(yè)務(wù)管理點(diǎn)(Service Management Point,SMP)數(shù)據(jù)庫與大規(guī)模并行處理系統(tǒng)(Massively Parallel Processing,MPP)數(shù)據(jù)庫等電信構(gòu)架具有時(shí)效高、成本低、使用性能高等許多優(yōu)點(diǎn),其能夠滿足多數(shù)業(yè)務(wù)的需求。然而與數(shù)據(jù)模型相關(guān)業(yè)務(wù)不可直接應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)的問題導(dǎo)致這些構(gòu)架不適合在大數(shù)據(jù)環(huán)境使用。另外,SMP數(shù)據(jù)庫需要較高的成本與內(nèi)有良好的線性擴(kuò)展能力等原因已經(jīng)很少使用數(shù)據(jù)倉庫中。MPP數(shù)據(jù)庫則可與Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS)混搭組合使用,通過非關(guān)系數(shù)據(jù)編程使用靈活與具有較強(qiáng)的分布式系統(tǒng)擴(kuò)展的特點(diǎn)來掩蓋成本造價(jià)高的不足,進(jìn)行混合組合搭建。而NoSQL數(shù)據(jù)庫則直接放棄了與數(shù)據(jù)庫中一些繁瑣的關(guān)聯(lián)步驟、事務(wù)處理等類似的功能,只保留了簡(jiǎn)便的鍵值來進(jìn)行對(duì)數(shù)據(jù)的存儲(chǔ)工作,從而達(dá)到擴(kuò)展與高數(shù)據(jù)處理的性能。通過加入NoSQL技術(shù),將所有文字類數(shù)據(jù)全部收集在RDBS里,用于閱讀的數(shù)據(jù)統(tǒng)一歸類到NoSQL數(shù)據(jù)庫內(nèi),而總數(shù)據(jù)庫主要工作室寫操作,其他數(shù)據(jù)庫用于讀操作,采用寫讀分開管理的方式能夠有效地提高大數(shù)據(jù)處理能力。
2.3 實(shí)時(shí)數(shù)據(jù)處理
在進(jìn)行實(shí)時(shí)數(shù)據(jù)處理過程中所采用的互聯(lián)網(wǎng)營銷特別強(qiáng)調(diào)因先進(jìn)行分析用戶的網(wǎng)絡(luò)行為數(shù)據(jù)而后進(jìn)行相關(guān)營銷。相關(guān)部門首先在收集、保存和處理環(huán)節(jié)上通過采用分布式技術(shù)降低時(shí)延外,另外還引入相關(guān)網(wǎng)絡(luò)技術(shù)與大容量數(shù)據(jù)庫,從而達(dá)到加快處理速度與緩存速度的目的。S to RM是一種簡(jiǎn)單、高效、可靠的開源分布式實(shí)時(shí)計(jì)算系統(tǒng),能夠進(jìn)行大量數(shù)據(jù)的出料。Spark Streaming是在Spark的基礎(chǔ)上研發(fā)的開源流處理器,通過采用批量管理的方式進(jìn)行一部分?jǐn)?shù)據(jù)的處理。以上兩種計(jì)算處理技術(shù)能用在營銷、推廣、服務(wù)以及其他相關(guān)管理方面。內(nèi)存數(shù)據(jù)庫主要工作原理是通過把數(shù)據(jù)載入到RAM中完成計(jì)算與查詢,全面發(fā)揮數(shù)據(jù)庫的CPU性能,讓客戶使用起來更方便。
目前,我國使用手機(jī)的人數(shù)已超過12億,另外有3億的人在使用不可移動(dòng)電話,2億人在使用寬帶。科學(xué)技術(shù)的不斷進(jìn)步,進(jìn)一步推進(jìn)了互聯(lián)網(wǎng)的發(fā)展,這也使得電信運(yùn)營商網(wǎng)絡(luò)數(shù)據(jù)的不斷增加。并且經(jīng)過多年的累積,其信息、資料的價(jià)值得到提高,比移動(dòng)互聯(lián)網(wǎng)的數(shù)據(jù)、信息更具有存在意義。在信息化發(fā)達(dá)的今天,大量的網(wǎng)絡(luò)信息、資料是運(yùn)營商的巨大財(cái)富。與其他網(wǎng)絡(luò)相比,電信運(yùn)營商大數(shù)據(jù)運(yùn)用的優(yōu)勢(shì)較大。例如:人們?cè)谵k理電信網(wǎng)絡(luò)時(shí),需保留其身份信息,而人們?cè)谑褂秒娦啪W(wǎng)絡(luò)時(shí),其虛擬信息會(huì)通過智能化管道得以保存下來。這就使得運(yùn)營商在獲取人們真實(shí)的信息、資料的同時(shí),還獲有其虛擬資料。運(yùn)營商通過這些數(shù)據(jù)資料,能充分了解人們的網(wǎng)絡(luò)需求,從而設(shè)置出人們需要的電信互聯(lián)網(wǎng)功能。
電信運(yùn)營商的大數(shù)據(jù)運(yùn)用優(yōu)點(diǎn)主要體現(xiàn)在以下幾個(gè)方面:(1)獲取的資料全面具體。使用電信網(wǎng)絡(luò)的人非常多,這就確保了數(shù)據(jù)、資料的廣闊與多樣。電信運(yùn)營商不僅擁有人們的真實(shí)資料、信息、數(shù)據(jù),并且能掌握人們的使用情況、使用地點(diǎn)等信息。其數(shù)據(jù)十分龐大。(2)獲取的資料、數(shù)據(jù)可多次使用。網(wǎng)絡(luò)通信的好處是能長久地保存數(shù)據(jù),并在以后需要的時(shí)候再拿出來使用。(3)運(yùn)營商對(duì)數(shù)據(jù)的運(yùn)用準(zhǔn)確到位。運(yùn)營商通過這些數(shù)據(jù)資料,能充分了解人們的網(wǎng)絡(luò)需求,從而設(shè)置出人們需要的電信互聯(lián)網(wǎng)功能。
隨著時(shí)代的不斷發(fā)展,大數(shù)據(jù)應(yīng)用必將成為時(shí)代發(fā)展的主流,電信運(yùn)營商對(duì)于大數(shù)據(jù)運(yùn)用具有先天優(yōu)勢(shì),對(duì)于電信運(yùn)營商而言,這必將是一個(gè)無比重要的機(jī)會(huì),能夠掀起電信行業(yè)發(fā)展的又一波高潮。若電信運(yùn)營商能夠首先把握機(jī)會(huì),完成對(duì)大數(shù)據(jù)的相關(guān)改革,就有可能在市場(chǎng)競(jìng)爭(zhēng)中起到主導(dǎo)作用。通過大數(shù)據(jù)來對(duì)電信運(yùn)營商進(jìn)行相關(guān)改革建設(shè)已經(jīng)成為未來其發(fā)展創(chuàng)新的主要手段。另外,對(duì)于大數(shù)據(jù)的相關(guān)處理是完成大數(shù)據(jù)變現(xiàn)的重中之重,在進(jìn)行資產(chǎn)變現(xiàn)過程之中仍有許多問題需要解決。比如保障數(shù)據(jù)安全、用戶資料加密識(shí)別等問題。當(dāng)前仍然沒有一項(xiàng)單獨(dú)的技術(shù)能夠滿足電信運(yùn)營商完成所有數(shù)據(jù)的整合、處理與存儲(chǔ)等相關(guān)需求。然而將Hadoop,MPP,流計(jì)算,NoSQL和內(nèi)存數(shù)據(jù)庫等許多先進(jìn)技術(shù)在大數(shù)據(jù)環(huán)境下相結(jié)合從而達(dá)到對(duì)大數(shù)據(jù)的整理是當(dāng)前主要的應(yīng)用手段,文章針對(duì)這些方面作出了合理介紹,以提供參考。
[1]黃勇軍,馮明,丁圣勇,等,電信運(yùn)營商大數(shù)據(jù)發(fā)展策略探討[J].電信科學(xué),2013(23):6-11.
[2]王珊,王會(huì)舉,覃雄派,等.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào),2011(10):46-48.
[3]沈拓.電信運(yùn)營商的互聯(lián)網(wǎng)戰(zhàn)略[J]中國新通信,2011(16):35-40.
Study on the key technology segment of telecom operators' big data realization
Zhang Ding
(Guangdong Branch of China United Network Communications Corporation, Guangzhou 510000, China)
At present, the commercial value of data assets is becoming increasingly important to various industries, which has led to the industrial reform of various social industries. However, China's telecom operators have better development advantage in large data resources, if the key technology changes properly, it will be the frst sucessful domestic industry through reforming big data application. The key technology segment of big data realization of telecom operators is analyzed in this paper.
telecom operators; big data realization; key technology segment
張丁(1977— ),男,山東菏澤,碩士,中級(jí)工程師;研究方向:通信,大數(shù)據(jù)。