趙彥杰

(中國電信股份有限公司上海分公司，上海 200120)

基于信息匯聚平臺的快數(shù)據(jù)應用設(shè)計與實現(xiàn)

趙彥杰

(中國電信股份有限公司上海分公司，上海 200120)

用戶行為信息中蘊含著巨大的價值，如何采集并加工用戶行為信息，使之成為新的業(yè)務增長點，是運營商面臨的重要課題。通過對信息匯聚、采集、加工等關(guān)鍵技術(shù)的研究，給出了基于信息匯聚平臺的快數(shù)據(jù)應用的實現(xiàn)方案，能夠通過用戶開關(guān)機、位置變化、語音通話等行為觸發(fā)用戶關(guān)懷、企業(yè)名片、信息推送等業(yè)務，該方案已經(jīng)廣泛用于電信運營商的新興業(yè)務領(lǐng)域，取得了顯著的經(jīng)濟效益。

移動通信;大數(shù)據(jù);快數(shù)據(jù)

1 引言

工業(yè)和信息化部發(fā)布的通信運營業(yè)統(tǒng)計公報顯示，2014年中國手機用戶數(shù)已經(jīng)達到13億戶，并且仍在不斷高速增長。隨著移動通信行業(yè)的巨大發(fā)展，運營商越來越意識到，用戶行為中蘊含著巨大的價值，除了對用戶信息進行大數(shù)據(jù)挖掘，分析用戶特點、偏好之外，如何圍繞移動用戶特有的實時行為數(shù)據(jù)，提供對廣大用戶具有吸引力的快數(shù)據(jù)業(yè)務來提升服務體驗，是一個需要深入研究的課題。

快數(shù)據(jù)是基于用戶行為的近實時數(shù)據(jù)流，與普通大數(shù)據(jù)處理動輒數(shù)十分鐘至數(shù)小時的跨度不同，其從產(chǎn)生、采集、加工到業(yè)務提供，往往在數(shù)百毫秒至數(shù)秒之間，需要在事件發(fā)生的同時立即做出反應與操作，運營商目前的信息采集及分析系統(tǒng)并不具備這種實時事件的反應能力。此外，運營商目前信令系統(tǒng)原始數(shù)據(jù)的來源主要是類A口信令，因此針對移動用戶信息分析局限于用戶的開關(guān)機及忙閑狀態(tài)，存在信息源單一、數(shù)據(jù)挖掘不充分、接口不靈活等問題，不能充分滿足上層業(yè)務的需求。比如本地用戶國際漫游回歸歡迎詞業(yè)務，由于早期系統(tǒng)無法采集用戶的漫游狀態(tài)，導致該業(yè)務需求不能快速實現(xiàn)。

為了更好地發(fā)揮信息提供閥門作用，必須設(shè)計一套新的信息匯聚系統(tǒng)，對更多的移動通信網(wǎng)絡用戶行為原始數(shù)據(jù)進行匯聚和采集，同時對采集的數(shù)據(jù)進行分析、過濾、加工和封裝，最后通過標準的接口將數(shù)據(jù)傳送至業(yè)務平臺，為業(yè)務平臺執(zhí)行上層業(yè)務邏輯為用戶提供個性化快數(shù)據(jù)服務打下堅實的基礎(chǔ)，滿足不斷發(fā)展的業(yè)務需求。

2 信息匯聚平臺功能架構(gòu)設(shè)計

信息匯聚平臺是通信網(wǎng)絡用戶行為消息匯聚、采集和加工的核心網(wǎng)元，其系統(tǒng)架構(gòu)設(shè)計自下而上可分為3層:數(shù)據(jù)采集層、數(shù)據(jù)處理層和應用接口層。信息匯聚平臺的系統(tǒng)架構(gòu)如圖1所示。

數(shù)據(jù)采集層負責從各類網(wǎng)元收集并匯聚如類A口事件(基站到移動交換機的信令)、深度分組檢測信息、MAP(mobile application part，移動應用部分)消息等源數(shù)據(jù)，并將所得到的數(shù)據(jù)存入原始數(shù)據(jù)庫。消息解碼內(nèi)容包括開關(guān)機、主被叫、收發(fā)短信、周期性位置更新等。數(shù)據(jù)處理層負責對原始數(shù)據(jù)進行預處理、加工和關(guān)聯(lián)，將所有信息梳理成用戶維度的實時與非實時狀態(tài)表，并將用戶行為細節(jié)信息存入用戶數(shù)據(jù)庫。應用接口層負責按照信息匯聚平臺定義的標準接口對外提供數(shù)據(jù)，包括Web services接口、socket接口、FTP接口以及其他因為特定用戶的特殊要求而實現(xiàn)的專用接口。接口層同時還具備各種數(shù)據(jù)訪問邏輯以及安全控制，通過內(nèi)部中間件向數(shù)據(jù)處理層發(fā)起業(yè)務請求，提供上層業(yè)務平臺所需的信息查詢、定制或主動推送服務，如單個用戶實時狀態(tài)查詢、基于用戶的實時狀態(tài)變化通知、批量的基站維度查詢以及支持號碼、位置和狀態(tài)3個維度的用戶歷史軌跡查詢等。信息匯聚平臺的對外接口見表1。

3 業(yè)務網(wǎng)絡數(shù)據(jù)采集及過濾

在傳統(tǒng)電信網(wǎng)絡中，信令監(jiān)測只是一種故障定位和運維保障的手段，而信息匯聚平臺的出現(xiàn)使得這些包含用戶信息的信令可以為各種上層業(yè)務需求提供原始數(shù)據(jù)，因此，信令的采集和過濾技術(shù)顯得格外重要。

類A口信令是信息匯聚平臺采集的重要數(shù)據(jù)，包含用戶的開關(guān)機事件、起呼事件、短信事件、登記事件以及呼叫詳細記錄，其采集的原理是在基站到移動交換機的數(shù)據(jù)鏈路上跨接探頭，以獲取相關(guān)數(shù)據(jù)流量，跨接點一般選擇在匯聚基站的數(shù)據(jù)設(shè)備上。

圖1 信息匯聚平臺功能模塊設(shè)計

表1 信息匯聚平臺應用接口

隨著業(yè)務需求的擴充，信息匯聚平臺還需要采集移動用戶登記消息，用于配合上層消息推送平臺進行漫游用戶的歡迎詞服務，此類消息一般可以從運營商已有的移動網(wǎng)信令監(jiān)測系統(tǒng)獲得。移動網(wǎng)信令監(jiān)測系統(tǒng)從原始信令中過濾出登記通知消息，進行解碼、分析、合成，根據(jù)一定的規(guī)則生成相關(guān)的記錄(包括移動用戶識別碼、用戶號碼、時間等信息)，通過北向socket接口實時發(fā)送給信令匯聚平臺。信息匯聚平臺通過采集層收到移動網(wǎng)信令監(jiān)測系統(tǒng)的數(shù)據(jù)后，經(jīng)過統(tǒng)一封裝模塊，將數(shù)據(jù)發(fā)送給上層業(yè)務平臺。

數(shù)據(jù)過濾是數(shù)據(jù)采集技術(shù)中的重要環(huán)節(jié)，比如根據(jù)主被叫號碼或指定區(qū)域進行過濾，根據(jù)不同的需求，采用不同的處理模式。與其他信息采集系統(tǒng)采用先存儲后處理的方式不同，信息匯聚平臺采用基于實時事件的數(shù)據(jù)流處理方式，真正滿足了快數(shù)據(jù)業(yè)務實現(xiàn)的高速性。在信息匯聚平臺基于基站列表的過濾功能中，可以采用混合過濾模式，即各類業(yè)務統(tǒng)一對原始數(shù)據(jù)進行掃描，按照不同的過濾要求同時查找各類規(guī)則，最后生成針對不同業(yè)務的輸出。這種方式下，系統(tǒng)掃描數(shù)據(jù)時需要對全部規(guī)則進行匹配，實時性稍差，但適合以文件方式傳輸?shù)臏蕦崟r業(yè)務需求，如用戶關(guān)懷、信息推送等業(yè)務。混合過濾方案的實現(xiàn)模式如圖2所示。

圖2 混合過濾方案的實現(xiàn)模式

為了保證數(shù)據(jù)的實時輸出，企業(yè)名片、掛機短信等高實時性業(yè)務建議采用以業(yè)務為單位的鏈式過濾，對每個業(yè)務配置獨立的過濾器。這種面向業(yè)務的獨立處理方式針對各個業(yè)務獨立進行處理，實時性高，但是每次有新的業(yè)務需求時，都需要新建過濾器，適合于數(shù)據(jù)源單一、數(shù)據(jù)加工簡單的業(yè)務。

4 基于通話行為的快數(shù)據(jù)應用設(shè)計

通過信息匯聚平臺對外開放的信令數(shù)據(jù)，可以獲取用戶的實時通話行為，并以此設(shè)計掛機短信與來電名片業(yè)務，這也是電信運營商面向中小企業(yè)用戶推廣的重點新興業(yè)務。

掛機短信的場景是當移動用戶撥打簽約此項業(yè)務的企業(yè)號碼后，企業(yè)可識別撥打行為并向主叫發(fā)送預設(shè)的短信，作為企業(yè)維系客戶的手段。要實現(xiàn)此項業(yè)務，信息匯聚平臺必須采集移動網(wǎng)原始信令，對MAP消息進行分揀和合成，獲取所有移動用戶的呼叫情況，同時結(jié)合類A口的被叫側(cè)起呼和掛機事件，補充相關(guān)呼叫的狀態(tài)，最后根據(jù)企業(yè)清單過濾出主叫號碼發(fā)送給上層業(yè)務平臺進行預設(shè)短信的發(fā)送。對于用戶起呼、終呼在不同移動交換機的場景，則需要信息匯聚平臺將各個交換機的詳單及所有的切換消息進行全局的匹配與合成，從而形成正確的跨域掛機事件。

來電名片業(yè)務的申請者為固話用戶，當申請該業(yè)務的用戶撥打其他用戶時，將同時給被叫發(fā)送閃信/短信，短信內(nèi)容包含該用戶預設(shè)的名片信息。來電名片的數(shù)據(jù)來源主要是固網(wǎng)到關(guān)口局的IAM(initial address message，起始地址消息)，對于已完成軟交換改造的電信網(wǎng)絡，需調(diào)整為采集SIP(session initiation protocol，會話初始協(xié)議)消息。信息匯聚平臺根據(jù)IP地址實時采集各個軟交換匯接局到關(guān)口局的起呼消息，根據(jù)主被叫進行解碼，獲取簽約號碼的呼叫行為清單后發(fā)送給業(yè)務平臺。掛機短信及來電名片業(yè)務的實現(xiàn)流程如圖3所示。

其具體實現(xiàn)流程如下:

(1)主叫號碼A呼叫被叫號碼B;

(2)信息匯聚平臺通過數(shù)據(jù)采集層的探針獲取呼叫發(fā)起和振鈴消息事件;

(3)信息匯聚平臺數(shù)據(jù)處理層對采集到的原始消息事件進行預處理;

(4)數(shù)據(jù)處理層將消息關(guān)聯(lián)成用戶號碼維度的實時狀態(tài)表，根據(jù)消息內(nèi)容補充被叫狀態(tài);

(5)數(shù)據(jù)處理層根據(jù)主被叫號碼的業(yè)務定購關(guān)系過濾相關(guān)事件;

(6)信息匯聚平臺應用接口層根據(jù)事先定義的標準接口將數(shù)據(jù)發(fā)送至上層業(yè)務平臺;

(7)來電名片平臺將主叫事先定義的名片信息通過閃信發(fā)送給被叫號碼;

(8)B應答后，A、B雙方通話，通話結(jié)束后雙方掛機;

(9)信息匯聚平臺通過數(shù)據(jù)采集層的探針獲取呼叫應答和掛機消息事件;

(10)信息匯聚平臺數(shù)據(jù)處理層對原始數(shù)據(jù)進行加工、關(guān)聯(lián)和過濾;

(11)信息匯聚平臺應用接口層通過標準接口將數(shù)據(jù)發(fā)送至上層業(yè)務平臺;

圖3 通話快數(shù)據(jù)業(yè)務實現(xiàn)流程

(12)掛機短信平臺將被叫事先定義的推廣信息通過短信發(fā)送給主叫號碼。

為了維護用戶行為隱私，對外提供的數(shù)據(jù)都需要按照實際申請業(yè)務的用戶進行發(fā)送。用戶清單的獲取方式有兩種:一是上層掛機短信或來電名片平臺定期(每天)提供全量或新增的用戶清單，信息匯聚平臺根據(jù)新的用戶清單對數(shù)據(jù)進行過濾;二是信息匯聚平臺通過客戶關(guān)系管理系統(tǒng)獲取新開通業(yè)務的用戶清單定時更新。信息匯聚平臺與上層業(yè)務平臺采用socket方式進行通信，在正常情況(網(wǎng)絡帶寬充足、數(shù)據(jù)接收服務器未堵塞數(shù)據(jù)等)下，信息匯聚系統(tǒng)解碼過濾分析處理后向業(yè)務平臺標準接口發(fā)送數(shù)據(jù)的時延可以控制在收到起呼或終呼消息后的2 s之內(nèi)，相當于用戶呼叫或掛機后馬上就能收到消息推送，完全可以滿足快數(shù)據(jù)應用的需要。

5 基于位置信息的快數(shù)據(jù)應用設(shè)計

位置信息是移動互聯(lián)網(wǎng)應用的核心要素，通過信息匯聚平臺類A口信令中包含的基站和扇區(qū)信息，能夠準確地獲取用戶所在的小區(qū)位置。一般在城市市區(qū)或郊區(qū)城鎮(zhèn)區(qū)域，一個基站覆蓋的范圍為半徑500 m的區(qū)域，而在比較空曠的農(nóng)村區(qū)域，一個基站的覆蓋范圍在1.5～3 km。類A口信令可以給出用戶所在小區(qū)對應基站的IP地址，通過查詢基站數(shù)據(jù)庫的映射關(guān)系，就可以找到對應的基站名稱、地址及經(jīng)緯度信息。

除了對單個用戶進行定位外，信息匯聚平臺還可以結(jié)合時間軸給出用戶的動態(tài)軌跡，或者過濾出處于某個基站或某片區(qū)域的用戶集，開展信息推送類的快數(shù)據(jù)應用。運營商可以根據(jù)合作方提供的簽約用戶號碼，查詢用戶所在的商圈，同時從大數(shù)據(jù)系統(tǒng)獲取用戶的各類標簽，結(jié)合用戶位置和標簽進一步篩選和分類用戶，針對不同用戶推送其感興趣的信息?；谖恢眯畔⒌膶崟r信息推送應用過程設(shè)計如下:

(1)業(yè)務發(fā)布人員在上層管理平臺創(chuàng)建任務、定制業(yè)務觸發(fā)規(guī)則;

(2)管理平臺批量導入指定區(qū)域的基站列表，自動同步到信息匯聚平臺;

(3)信息匯聚平臺生成指定區(qū)域采集自動機，采集區(qū)域內(nèi)的用戶位置變化信息;

(4)用戶進入指定區(qū)域，向移動交換機發(fā)起位置登記及狀態(tài)更新消息;

(5)信息匯聚平臺通過數(shù)據(jù)采集層的探針獲取到用戶登記消息;

(6)信息匯聚平臺數(shù)據(jù)處理層對采集到的原始消息事件進行預處理;

(7)數(shù)據(jù)處理層根據(jù)預設(shè)的業(yè)務觸發(fā)規(guī)則及基站列表過濾相關(guān)用戶事件;

(8)信息匯聚平臺通過大數(shù)據(jù)平臺進行特征匹配，打上用戶喜好標簽;

(9)信息匯聚平臺應用接口層通過標準接口將號碼集發(fā)送至小區(qū)短信或信息推送平臺;

(10)上層業(yè)務平臺根據(jù)信息匯聚平臺上報的號碼集進行信息推送。

對于指定區(qū)域信息推送的業(yè)務，要特別注意對該區(qū)域的常駐用戶進行過濾，以免對用戶形成騷擾。常駐用戶一般有兩種類型:該區(qū)域居住用戶(駐留時間為夜晚)和該區(qū)域上班用戶(駐留時間為白天)。信息匯聚平臺需要對常駐用戶進行定義，如連續(xù)N天A時刻-B時刻出現(xiàn)在指定基站或者扇區(qū)下的用戶，N、A、B是可配置參數(shù)，一般居住用戶設(shè)置成連續(xù)5天凌晨0:00-6:00、上班用戶設(shè)置成連續(xù)5天9:00-16:00。數(shù)據(jù)挖掘模塊定期分析指定區(qū)域的常駐用戶，生成文件放在指定目錄下，服務提供層根據(jù)業(yè)務需求，對需要過濾常駐用戶的數(shù)據(jù)推送，會自動獲取對應的用戶清單，實現(xiàn)常駐用戶過濾的功能。

6 結(jié)束語

隨著移動網(wǎng)絡建設(shè)的不斷完善，通信網(wǎng)絡覆蓋和用戶數(shù)都在大幅增長。在這種形勢下，電信運營商除了提供用戶基礎(chǔ)的語音、短信、上網(wǎng)業(yè)務之外，還需要進一步提供更加豐富和全面的增值服務來吸引用戶，提高自身的競爭力，創(chuàng)造新的價值增長點。信息匯聚平臺具有強大的網(wǎng)絡數(shù)據(jù)采集能力和豐富的對外接口，通過信息采集和匯聚可以實現(xiàn)小區(qū)短信、漫游用戶歡迎詞、公益信息發(fā)布、企業(yè)來電名片、掛機短信等多種實時的快數(shù)據(jù)應用，為運營商有效利用用戶行為數(shù)據(jù)開展快數(shù)據(jù)業(yè)務起到了示范作用，取得了良好的經(jīng)濟效益和社會效益。如何對采集的信息進一步分析挖掘，實現(xiàn)移動通信網(wǎng)絡行為的大數(shù)據(jù)分析，與快數(shù)據(jù)應用結(jié)合開展業(yè)務，是下一步研究的重點課題。

［1］鄭鳳.移動互聯(lián)網(wǎng)技術(shù)架構(gòu)及其發(fā)展 ［M］.北京:人民郵電出版社，2013.ZHENG F.Mobile Internet Technical Architecture ［M］.Beijing:Posts&Telecom Press，2013.

［2］尹立強，張海燕.移動通信［M］.西安:西北工業(yè)大學出版社，2013.YIN L Q，ZHANG H Y.Mobile Telecommunication ［M］.Xi'an:Northwestern Polytechnical University Press，2013.

［3］張傳福.移動互聯(lián)網(wǎng)技術(shù)及業(yè)務［M］.北京:電子工業(yè)出版社，2012.ZHANG C F.Mobile Internet Technology and Business ［M］.Beijing:Publishing House of Electronics Industry，2012.

［4］涂子沛.數(shù)據(jù)之巔:大數(shù)據(jù)革命，歷史、現(xiàn)實與未來［M］.北京:中信出版社，2014.TU Z P.Big Data History，Reality and Future ［M］.Beijing:China Citic Press，2014.

Design and implementation of fast data application based on information aggregation platform

ZHAO Yanjie
Shanghai Branch of China Telecom Co.，Ltd.，Shanghai 200120，China

User behavior information contains great value.Telecom operators must collect and deal with this information to create new business growth point.Through the research of information collection and processing，the implementation scheme of fast data application was given.Services such as user care and information push were provided based on the behavior of position change and voice calls.The application was used in the new business field of China Telecom and achieved remarkable results.

mobile communication，big data，fast data

TN929.5

A

10.11959/j.issn.1000-0801.2016027

2015-04-02;

2015-10-26

趙彥杰(1982-)，男，中國電信股份有限公司上海分公司工程師、交換網(wǎng)絡處副處長，主要研究方向為業(yè)務平臺的維護管理及產(chǎn)品支撐。