田海暉

（山西信息規(guī)劃設(shè)計(jì)院有限公司，山西太原，030012）

移動用戶上網(wǎng)記錄查詢及IP溯源系統(tǒng)建設(shè)方案淺析

田海暉

（山西信息規(guī)劃設(shè)計(jì)院有限公司，山西太原，030012）

在當(dāng)前移動數(shù)據(jù)流量呈現(xiàn)爆炸性增長的情況下，運(yùn)營商如何對該部分大數(shù)據(jù)進(jìn)行挖掘和整理進(jìn)而促進(jìn)網(wǎng)絡(luò)建設(shè)和市場運(yùn)營，監(jiān)管部門如何對該部分大數(shù)據(jù)進(jìn)行查詢和追溯進(jìn)而保證網(wǎng)絡(luò)安全和信息安全，有必要盡快和大力建設(shè)上網(wǎng)記錄查詢及IP溯源系統(tǒng)。

移動數(shù)據(jù)業(yè)務(wù)；記錄查詢；IP溯源；網(wǎng)絡(luò)安全

1 建設(shè)背景分析

隨著各大運(yùn)營商4G無線網(wǎng)的部署和運(yùn)營，移動數(shù)據(jù)業(yè)務(wù)呈現(xiàn)出爆炸式發(fā)展的態(tài)勢(Gn流量從10G級躍升為100G級)，而在數(shù)據(jù)業(yè)務(wù)迅猛發(fā)展的同時，用戶移動業(yè)務(wù)上網(wǎng)記錄查詢的建設(shè)也日益迫切，用戶對上網(wǎng)服務(wù)查詢內(nèi)容不僅僅限于簡單的上網(wǎng)流量計(jì)費(fèi)信息，還要求提供詳細(xì)的上網(wǎng)記錄，如訪問的網(wǎng)站地址，訪問時長等。同時安全監(jiān)管部門為了保證信息安全和網(wǎng)絡(luò)安全，也迫切需要對移動上網(wǎng)流量進(jìn)行查詢和追溯。

集中化上網(wǎng)記錄查詢及分析系統(tǒng)建設(shè)目標(biāo)一般分兩階段實(shí)現(xiàn)。

第一階段，實(shí)現(xiàn)上網(wǎng)記錄查詢，通過對Gn接口進(jìn)行數(shù)據(jù)采集、信令和業(yè)務(wù)解析、合成，提供全網(wǎng)移動用戶數(shù)據(jù)業(yè)務(wù)上網(wǎng)記錄查詢，為一線客戶服務(wù)人員提供客戶上網(wǎng)記錄快速查詢服務(wù)，解決流量投訴問題。同時，為用戶提供準(zhǔn)實(shí)時的異常大流量上網(wǎng)記錄自助查詢服務(wù)，在運(yùn)營商中體現(xiàn)差異化。

第二階段，通過對用戶上網(wǎng)記錄數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，一方面，為運(yùn)營商市場營銷提供數(shù)據(jù)支撐；對用戶行為精準(zhǔn)分析，實(shí)現(xiàn)感知業(yè)務(wù)態(tài)勢，制定市場策略，指導(dǎo)業(yè)務(wù)產(chǎn)品開發(fā)，另一方面，為監(jiān)管部門提供基礎(chǔ)數(shù)據(jù)進(jìn)行分析整理從而保證信息安全。

2 建設(shè)原則及思路

(1)該系統(tǒng)的建設(shè)主要采集S-GW、P-GW側(cè)接口的信令，進(jìn)行GTP及IP數(shù)據(jù)包的識別和預(yù)處理工作，形成相應(yīng)的上網(wǎng)記錄文件；同時，采集防火墻的日志文件，實(shí)現(xiàn)上網(wǎng)記錄數(shù)據(jù)及防火墻日志信息的匹配及關(guān)聯(lián)，形成相關(guān)IP地址溯源數(shù)據(jù)及用戶上網(wǎng)日志數(shù)據(jù)。

(2)合理預(yù)測移動用戶數(shù)據(jù)流量，精準(zhǔn)配置各類采集、合成服務(wù)器的能力和規(guī)模。

(3)采集機(jī)、分流器、服務(wù)器等設(shè)備，在配置時應(yīng)統(tǒng)籌考慮省內(nèi)未來業(yè)務(wù)發(fā)展，以及所設(shè)置局點(diǎn)近期和遠(yuǎn)期的流量規(guī)模，選擇合適的硬件設(shè)備，避免未來擴(kuò)容時的投資浪費(fèi)。

(4)接入采集設(shè)備的建設(shè)，應(yīng)提前規(guī)劃，統(tǒng)籌考慮大數(shù)據(jù)采集與交換平臺的建設(shè)，同時充分考慮其他系統(tǒng)的采集需求，進(jìn)行端口預(yù)留。

(5)在滿足技術(shù)和服務(wù)指標(biāo)的前提下，優(yōu)先選用集成度高、能耗低、能效比高的產(chǎn)品。

3 網(wǎng)絡(luò)架構(gòu)及建設(shè)方案

3.1 移動用戶上網(wǎng)記錄查詢系統(tǒng)架構(gòu)

3.1.1 功能架構(gòu)

集中化移動用戶上網(wǎng)記錄查詢和分析系統(tǒng)一般分為四大子系統(tǒng)：數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)入庫子系統(tǒng)、數(shù)據(jù)存儲子系統(tǒng)、數(shù)據(jù)查詢子系統(tǒng)；各子系統(tǒng)實(shí)現(xiàn)的主要功能如圖1所示。

（1）數(shù)據(jù)采集子系統(tǒng)

在SGSN和GGSN之間部署分光設(shè)備，將流經(jīng)SGSN和GGSN的所有數(shù)據(jù)流分光至分流器，將數(shù)據(jù)流分流至采集處理設(shè)備。采集處理設(shè)備根據(jù)預(yù)定的策略，進(jìn)行GTP及IP數(shù)據(jù)包的識別和處理工作。

（2）數(shù)據(jù)入庫子系統(tǒng)

數(shù)據(jù)入庫系統(tǒng)包含一個FTP服務(wù)，接收采集處理系統(tǒng)上載的上網(wǎng)記錄文件；入庫程序讀取文件中的每條上網(wǎng)記錄，并入庫至“數(shù)據(jù)存儲系統(tǒng)”中。

（3）數(shù)據(jù)存儲子系統(tǒng)

存儲上網(wǎng)記錄數(shù)據(jù)，并根據(jù)查詢和數(shù)據(jù)處理要求進(jìn)行優(yōu)化。

圖1 集中化移動用戶上網(wǎng)記錄查詢和分析系統(tǒng)架構(gòu)圖

圖2 上網(wǎng)記錄查詢及分析系統(tǒng)設(shè)備部署方案圖

（4）數(shù)據(jù)查詢子系統(tǒng)

接收用戶的查詢請求，向數(shù)據(jù)存儲系統(tǒng)查詢數(shù)據(jù)；數(shù)據(jù)查詢系統(tǒng)將數(shù)據(jù)進(jìn)行格式處理后，返回到人機(jī)界面。

3.1.2 具體部署架構(gòu)

在實(shí)際建設(shè)中移動用戶上網(wǎng)記錄集中查詢和分析支撐系統(tǒng)分成兩個部分，省分采集部分和總部詳單平臺。省分采集系統(tǒng)實(shí)現(xiàn)對Gn口數(shù)據(jù)的采集和處理，并將數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)娇偛吭攩纹脚_。

總部詳單平臺采用Hadoop技術(shù)架構(gòu)實(shí)現(xiàn)海量數(shù)據(jù)的存儲和查詢功能，整個平臺包含基于Hadoop架構(gòu)的數(shù)據(jù)存儲系統(tǒng)、查詢接口系統(tǒng)、FTP入庫系統(tǒng)組成，具體部署方案如圖2所示。

3.2 IP溯源系統(tǒng)

IP溯源系統(tǒng)包括數(shù)據(jù)采集、省分日志合成及上傳和總部日志留存三個部分，具體功能如下所示。

3.2.1 數(shù)據(jù)采集部分

與上網(wǎng)記錄查詢及分析系統(tǒng)共用采集，實(shí)現(xiàn)GGSN的Gn口的數(shù)據(jù)采集，具體功能要求如下。

（1）負(fù)責(zé)從采集對象上獲取所需的數(shù)據(jù)，經(jīng)解析、處理后生成標(biāo)準(zhǔn)格式的數(shù)據(jù)。

（2）負(fù)責(zé)向本系統(tǒng)應(yīng)用層提供其所需的數(shù)據(jù)。

（3）支持用戶帳號實(shí)時監(jiān)測。

3.2.2 省分日志合成及上傳部分

在省分新建日志合成及上傳系統(tǒng)，具體功能要求如下。

（1）采集并分析防火墻syslog日志，與用戶上網(wǎng)記錄數(shù)據(jù)進(jìn)行關(guān)聯(lián)，生成移動上網(wǎng)日志留存數(shù)據(jù)及IP地址溯源數(shù)據(jù)。

（2）向本省相關(guān)系統(tǒng)上報(bào)IP地址溯源信息、企業(yè)業(yè)務(wù)監(jiān)測信息以及用戶賬號監(jiān)測信息。

（3）向相關(guān)部門提供移動用戶上網(wǎng)日志查詢功能。

（4）通過部省接口，上報(bào)總部日志留存節(jié)點(diǎn)所需的數(shù)據(jù)。

（5）對生成的溯源及日志留存信息至少保存3天。

3.2.3 總部日志留存部分

總部日志留存節(jié)點(diǎn)負(fù)責(zé)按照國家相關(guān)部門要求實(shí)現(xiàn)以下功能。

（1）從省分系統(tǒng)收集日志留存數(shù)據(jù)，并加以保存，至少保存60天。

（2）對相關(guān)部門提供查詢功能。

（3）實(shí)現(xiàn)企業(yè)業(yè)務(wù)監(jiān)控功能。

圖3 移動用戶上網(wǎng)日志查詢及IP溯源系統(tǒng)建設(shè)組網(wǎng)結(jié)構(gòu)圖

3.3 實(shí)際網(wǎng)絡(luò)建設(shè)拓?fù)?/p>

移動用戶上網(wǎng)日志查詢及IP溯源系統(tǒng)建設(shè)組網(wǎng)結(jié)構(gòu)上分為省分和總部節(jié)點(diǎn)兩部分，具體結(jié)構(gòu)見圖3。

省分機(jī)房存在多個局點(diǎn)時，根據(jù)省分具體情況部署日志關(guān)聯(lián)合成服務(wù)器，建議與上網(wǎng)記錄查詢及分析系統(tǒng)部的采集機(jī)部署在相同的機(jī)房。

上網(wǎng)日志上傳服務(wù)器、溯源信息上報(bào)服務(wù)器盡量選在上網(wǎng)記錄查詢系統(tǒng)的FTP上傳服務(wù)器所在機(jī)房，負(fù)責(zé)完成與省分相關(guān)系統(tǒng)、總部節(jié)點(diǎn)的對接及數(shù)據(jù)上傳。

[1]工信部?！?010】548號《移動上網(wǎng)日志留存規(guī)范》.

[2]董黛,房雨寧.大數(shù)據(jù)在移動用戶上網(wǎng)記錄查詢中的應(yīng)用研究[J].科學(xué)與財(cái)富.2015.11.

[3]《中國移動日志留存系統(tǒng)、用戶上網(wǎng)日志查詢系統(tǒng)接口規(guī)范》V1.0.5版本.

Analysis of mobile users online record query and IP traceability system construction scheme

Tian Haihui
（Shanxi information planning & Design Institute Co., Ltd.,Taiyuan Shanxi,030012）

In the current mobile data traffic to show explosive growth, how operators on the part of big data mining and organize and promote the network construction and operation of the market, regulators how to query and traceability and ensure network security and information security on the part of big data, it is necessary as soon as possible and to build Internet records query IP and traceability system.

mobile data service; record query; IP traceability; network security

田海暉(1977年9月14日)，男，漢族，籍貫山東陽信，本科，通信工程師，研究方向通信工程設(shè)計(jì)。