楊明川　中國電信股份有限公司北京研究院高級工程師賈元昕　中國電信股份有限公司北京研究院高級工程師劉　楊　中國電信股份有限公司北京研究院高級工程師

?

“互聯(lián)網(wǎng)+”的大數(shù)據(jù)挑戰(zhàn)

楊明川中國電信股份有限公司北京研究院高級工程師
賈元昕中國電信股份有限公司北京研究院高級工程師
劉楊中國電信股份有限公司北京研究院高級工程師

摘要：隨著“互聯(lián)網(wǎng)+”的提出與發(fā)展，大數(shù)據(jù)分析作為傳統(tǒng)行業(yè)分析、利用數(shù)據(jù)的技術(shù)手段，迎來了新的發(fā)展。電信運營商具有得天獨厚的數(shù)據(jù)優(yōu)勢，但數(shù)據(jù)質(zhì)量、分析能力及隱私安全等問題對運營商發(fā)展大數(shù)據(jù)提出了更高的要求。本文結(jié)合“互聯(lián)網(wǎng)+”背景下大數(shù)據(jù)的機遇與挑戰(zhàn)，詳細(xì)地分析了運營商大數(shù)據(jù)發(fā)展的困惑與探索，探討了中國電信運營商在大數(shù)據(jù)領(lǐng)域的技術(shù)創(chuàng)新與研究成果。

關(guān)鍵詞：大數(shù)據(jù)；互聯(lián)網(wǎng)+；中國電信

1　引言

大數(shù)據(jù)產(chǎn)業(yè)的出現(xiàn)和發(fā)展是現(xiàn)代信息技術(shù)與互聯(lián)網(wǎng)時代海量信息發(fā)展到一定階段的必然產(chǎn)物；大數(shù)據(jù)應(yīng)用是海量數(shù)據(jù)、現(xiàn)代信息技術(shù)與各種社會應(yīng)用的一次化學(xué)反應(yīng)，必將對當(dāng)今社會的信息技術(shù)、商業(yè)模式和相關(guān)產(chǎn)業(yè)產(chǎn)生深刻的變革。

在大數(shù)據(jù)浪潮中，電信運營商是率先開展大數(shù)據(jù)研究和應(yīng)用的行業(yè)之一。通過利用運營商海量的網(wǎng)絡(luò)大數(shù)據(jù)資源，各個運營商都構(gòu)建大數(shù)據(jù)平臺并開展大數(shù)據(jù)創(chuàng)新。本文結(jié)合在研發(fā)中國電信“燈塔大數(shù)據(jù)行業(yè)應(yīng)用平臺”過程中的一些經(jīng)驗，對面向互聯(lián)網(wǎng)+的大數(shù)據(jù)挑戰(zhàn)進(jìn)行分析。

2　“互聯(lián)網(wǎng)+”是大數(shù)據(jù)發(fā)展的機遇也是挑戰(zhàn)

“互聯(lián)網(wǎng)+”是一種新型經(jīng)濟形態(tài)，利用膨脹增長的信息資源推動互聯(lián)網(wǎng)與傳統(tǒng)行業(yè)相融合，促進(jìn)各行業(yè)的全面發(fā)展?！盎ヂ?lián)網(wǎng)+”的核心不在于“互聯(lián)網(wǎng)”而在于“+”，關(guān)鍵是融合。將傳統(tǒng)行業(yè)與互聯(lián)網(wǎng)建立有效的連接，打破信息的不對稱，結(jié)合各自的優(yōu)勢，迸發(fā)出新的業(yè)態(tài)和新的創(chuàng)新點，從而實現(xiàn)真正的融合發(fā)展。

大數(shù)據(jù)在“互聯(lián)網(wǎng)+”的發(fā)展中扮演著重要的角色，大數(shù)據(jù)服務(wù)、大數(shù)據(jù)營銷、大數(shù)據(jù)金融等都將共同推進(jìn)“互聯(lián)網(wǎng)+”的進(jìn)程，促進(jìn)互聯(lián)網(wǎng)與各行各業(yè)的融合發(fā)展。然而，在大數(shù)據(jù)應(yīng)用到“互聯(lián)網(wǎng)+”的過程中，發(fā)現(xiàn)還有大量的問題需要解決（見圖1），主要包括3個方面：

（1）數(shù)據(jù)質(zhì)量不高是常態(tài)，如何建立更加有效的分析方法？

（2）數(shù)據(jù)的價值密度是關(guān)鍵，如何尋找價值高地？

（3）用戶的隱私保護日益重要，如何找到平衡點？

3　面向“互聯(lián)網(wǎng)+”的大數(shù)據(jù)關(guān)鍵技術(shù)

為了有效地服務(wù)于“互聯(lián)網(wǎng)+”，大數(shù)據(jù)需要在如下幾個方面進(jìn)行技術(shù)突破：

●數(shù)據(jù)拼接技術(shù)。

●高階深度標(biāo)簽技術(shù)。

●行業(yè)知識建模技術(shù)。

●基于場景的智能推薦技術(shù)。

●海量模糊數(shù)據(jù)降維和關(guān)聯(lián)分析技術(shù)。

●大規(guī)模交互式數(shù)據(jù)可視化技術(shù)。

●數(shù)據(jù)安全和隱私保護。

本文將對其中幾個關(guān)鍵技術(shù)進(jìn)行介紹。

（1）數(shù)據(jù)拼接技術(shù)

大數(shù)據(jù)的一個特征是異構(gòu)多維，只有將來自不同來源的異構(gòu)數(shù)據(jù)進(jìn)行有效的整合，才能真正發(fā)揮大數(shù)據(jù)的價值。猶如瞎子摸象，每個單一來源都只涉及一個單一的側(cè)面，只有把不同的側(cè)面重新組合并且關(guān)聯(lián)起來，才能完整地拼出一只“大象”。但是這個工作遠(yuǎn)比想像的要難，原因有幾個方面：

●數(shù)據(jù)格式不同。

●數(shù)據(jù)標(biāo)識（ID）不同。

●數(shù)據(jù)覆蓋不同。

●數(shù)據(jù)計量標(biāo)準(zhǔn)不同（特別是經(jīng)過一定處理后數(shù)據(jù)）。

●大量的數(shù)據(jù)噪聲（重復(fù)數(shù)據(jù)、錯誤數(shù)據(jù)）。

這些因素導(dǎo)致將不同數(shù)據(jù)拼接成一個完整的立體數(shù)據(jù)具有非常大的挑戰(zhàn)。然而，在這方面運營商有較大的資源優(yōu)勢。結(jié)合運營商數(shù)據(jù)廣度覆蓋的特點，有可能作為所有數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)而實現(xiàn)數(shù)據(jù)拼接功能。在技術(shù)上，開發(fā)了基于圖的數(shù)據(jù)模型，進(jìn)行數(shù)據(jù)拼接，具體參見圖2。

圖1　大數(shù)據(jù)遇到的障礙

（2）高階深度標(biāo)簽技術(shù)

用戶畫像一直是大數(shù)據(jù)研究的重點方向。在DMP中，系統(tǒng)根據(jù)用戶訪問軌跡來打標(biāo)簽，但是DMP通常僅僅通過關(guān)鍵詞提取來打標(biāo)簽。為了進(jìn)一步滿足行業(yè)大數(shù)據(jù)的應(yīng)用需求，需要補充兩類標(biāo)簽，一類是模糊標(biāo)簽；另一類是抽象標(biāo)簽。模糊標(biāo)簽是因為數(shù)據(jù)缺失而需要通過算法來補全的標(biāo)簽，例如用戶的性別屬性，如果基礎(chǔ)數(shù)據(jù)里面沒有這個屬性，就需要通過機器學(xué)習(xí)算法去預(yù)測這個值，而且這個值往往是一個概率；抽象標(biāo)簽是針對一類高階的屬性，例如用戶購買力、用戶購物模式、用戶口味偏好等，去建立標(biāo)簽?zāi)Ｐ?。在燈塔平臺中，建立了一套相對比較完整的深度標(biāo)簽體系。

圖3是分別用TAN和NBC算法進(jìn)行標(biāo)簽計算的效果。

圖2　基于ID關(guān)聯(lián)圖實現(xiàn)數(shù)據(jù)拼接

圖3　分別用TAN和NBC算法進(jìn)行標(biāo)簽計算的效果

（3）行業(yè)知識建模技術(shù)

在“互聯(lián)網(wǎng)+”結(jié)合行業(yè)大數(shù)據(jù)的過程中，行業(yè)知識的獲取和利用是關(guān)鍵的一環(huán)。只有將行業(yè)知識通過建模數(shù)據(jù)化，才能將行業(yè)知識和其他數(shù)據(jù)進(jìn)行混合和關(guān)聯(lián)處理。行業(yè)知識建?？梢苑譃閮蓚€層次：第一個層次是行業(yè)字典，通過大規(guī)模爬蟲，可以將行業(yè)信息轉(zhuǎn)化為行業(yè)字典。目前，燈塔平臺已經(jīng)積累了超過3億條行業(yè)字典，包括1億條電商字典，5000萬條視頻字典；第二個層次是知識圖譜，字典的缺點是信息之間缺乏關(guān)聯(lián)性，通過構(gòu)建知識圖譜，建立語義級的行業(yè)知識，具體參見圖4。

（4）基于場景的智能推薦技術(shù)

推薦系統(tǒng)是非常成熟的大數(shù)據(jù)精準(zhǔn)營銷技術(shù)，目前已經(jīng)在廣告、電商、視頻、閱讀等領(lǐng)域得到了廣泛的應(yīng)用。但是，通常的推薦系統(tǒng)往往存在推薦效率不高、重復(fù)推薦、過度推薦等問題。在大數(shù)據(jù)的場景下，結(jié)合地理位置分析和場景識別技術(shù)，對推薦系統(tǒng)進(jìn)行了優(yōu)化。圖5是通過用戶行為進(jìn)行場景識別的結(jié)果。

（5）大數(shù)據(jù)交互式可視化技術(shù)

數(shù)據(jù)可視化不僅僅是大數(shù)據(jù)分析結(jié)果的直觀展現(xiàn)，更重要的是一種分析數(shù)據(jù)關(guān)聯(lián)性的方法和手段。通過交互式數(shù)據(jù)可視化的方法，可以從不同的角度去分析數(shù)據(jù)，并直接得到結(jié)果。交互式可視化在技術(shù)上最大的難點在于針對大規(guī)模數(shù)據(jù)進(jìn)行可視化操作時候的性能優(yōu)化。例如，基于地理的可視化數(shù)據(jù)分析，需要在不同的放大尺度下對數(shù)據(jù)進(jìn)行實時的歸并和關(guān)聯(lián)性計算。圖6是通過地理位置和人群信息模型進(jìn)行交互式可視化，實現(xiàn)人口遷徙分析的案例。

圖4　基于知識圖譜的行業(yè)知識

圖5　基于密度圖進(jìn)行場景識別

4　燈塔大數(shù)據(jù)實踐

通過在“互聯(lián)網(wǎng)+”的大數(shù)據(jù)關(guān)鍵技術(shù)突破，燈塔大數(shù)據(jù)團隊構(gòu)建了面向“互聯(lián)網(wǎng)+”的行業(yè)大數(shù)據(jù)平臺（見圖7）。

在燈塔平臺的基礎(chǔ)之上，打造了一套完整的5+1+1大數(shù)據(jù)產(chǎn)品體系，即5個直客產(chǎn)品方向、1個流量入口、1個能力平臺。中國電信面向行業(yè)垂直領(lǐng)域直接客戶，結(jié)合燈塔平臺的能力，開發(fā)5類細(xì)分產(chǎn)品并逐步商用，并且根據(jù)融合數(shù)據(jù)、整合深度標(biāo)簽、ID圖譜、GIS、爬蟲、行業(yè)字典等平臺能力，面向行業(yè)和政府提供技術(shù)解決方案。

圖6　人口遷徒分析

圖7　面向“互聯(lián)網(wǎng)+”的行業(yè)大數(shù)據(jù)平臺

5　結(jié)束語

“互聯(lián)網(wǎng)+”的提出與發(fā)展為作為基礎(chǔ)設(shè)施的大數(shù)據(jù)帶來了新的發(fā)展契機，是傳統(tǒng)行業(yè)與互聯(lián)網(wǎng)融合的一種有效的手段；運營商發(fā)展大數(shù)據(jù)應(yīng)用已經(jīng)成為一種趨勢，然而數(shù)據(jù)處理的障礙使得尋求技術(shù)創(chuàng)新與轉(zhuǎn)型成為必然；中國電信“燈塔”大數(shù)據(jù)行業(yè)應(yīng)用平臺致力于打造大數(shù)據(jù)行業(yè)應(yīng)用生態(tài)圈，加速產(chǎn)業(yè)升級和商業(yè)模式創(chuàng)新，提供零售研究、消費者研究、店鋪選址、精準(zhǔn)營銷、泛義征信，背景調(diào)查等服務(wù)，助力企業(yè)在大數(shù)據(jù)時代揚帆遠(yuǎn)航；電信運營商通過技術(shù)創(chuàng)新和應(yīng)用創(chuàng)新共同驅(qū)動，分析利用互聯(lián)網(wǎng)中的大數(shù)據(jù)，使世界更加扁平化，帶動經(jīng)濟持續(xù)發(fā)展的同時，提高了人們的生活質(zhì)量，運營商大數(shù)據(jù)在困難中走出了一條創(chuàng)新之路。

參考文獻(xiàn)

［1］徐贇.“互聯(lián)網(wǎng)+”：新融合，新機遇，新引擎［J］.電信技術(shù)，2015（4）：6-9.

［2］賈元昕，楊明川，孫靜博.大數(shù)據(jù)在“互聯(lián)網(wǎng)+”進(jìn)程中的應(yīng)用［J］.電信技術(shù)，2015（6）：14-15.

［3］肖飛，齊立磊.大數(shù)據(jù)處理技術(shù)與探索［J］.計算機與現(xiàn)代化，2013（9）：75-77.

［4］王暉，唐向京.共享開放的運營商大數(shù)據(jù)平臺架構(gòu)研究［J］.信息通信技術(shù)，2014，6：012.

［5］郭云峰，韓龍，皮立華，等.知識圖譜在大數(shù)據(jù)中的應(yīng)用［J］.電信技術(shù)，2015（6）：25-29.

［6］孟祥武，紀(jì)威宇，張玉潔.大數(shù)據(jù)環(huán)境下的推薦系統(tǒng)［J］.北京郵電大學(xué)學(xué)報，2015，38（2）：1-15.

［7］賀群，楊明川.基于WebGS的大數(shù)據(jù)可視化研究與優(yōu)化［J］.電信技術(shù)，2015（6）：37-40.

Big data of telecomoperators： progress in difficulties

YANGMingchuan， JIAYuanxin，LIUYang

Abstract:With the advance and development of“Internet +”， big data analysis in the new development，as the technology of data analysis and utilization for traditional industry. Telecom operators have a unique data advantage， however， data quality，analysis capabilities and privacy issues put forward higher requirements. In this paper， combined with the opportunities and challenges of big data in the era of“Internet + ”， confusion and exploration of the development of telecom operators was analyzed in detail， and technological innovation and research results of ChinaTelecom in the field of big datawasdiscussed.

Keywords:big data； internet plus； ChinaTelecom

收稿日期：（2016-03-20）