郭 軍

（61932 部隊(duì)，北京 100071）

大數(shù)據(jù)時(shí)代的到來，改變了人類生活的方方面面，人們的生活在因?yàn)榇髷?shù)據(jù)的到來而受益良多，比如人們的生活中支付的方式從現(xiàn)金支付逐漸轉(zhuǎn)變成手機(jī)支付，人們的生活物品的超市購買也逐漸實(shí)現(xiàn)網(wǎng)絡(luò)購買、送貨上門等，這些改變給人們的日常工作和生活帶來了更多的便利。但同時(shí)值得指出的是，大數(shù)據(jù)時(shí)代的到來同樣也帶來了一定的影響，因此需要對大數(shù)據(jù)的采集和存儲投入更多的關(guān)注，以便更好的利用通信運(yùn)營信息大數(shù)據(jù)。

1 通信運(yùn)營下的大數(shù)據(jù)平臺

在通信運(yùn)營信息下的大數(shù)據(jù)主要是為了進(jìn)行數(shù)據(jù)的采集、處理以及存儲，將這些大數(shù)據(jù)進(jìn)行處理可以更好的對這個(gè)時(shí)代的大數(shù)據(jù)的變化動向予以及時(shí)的把握，從而制定更好的發(fā)展方向和前景。而大數(shù)據(jù)對信息的收集主要把包括三個(gè)方面，對用戶信息的收集、對網(wǎng)絡(luò)信息的收集、對管理系統(tǒng)與用戶的關(guān)系進(jìn)行收集。

數(shù)據(jù)源層：在我國有三大通信運(yùn)營商，他們各自都有著大量的數(shù)據(jù)量，而數(shù)據(jù)的寬度和廣度都很大，這也以此為通信運(yùn)營的大數(shù)據(jù)網(wǎng)絡(luò)提供了豐富的數(shù)據(jù)，而通信運(yùn)營大數(shù)據(jù)平臺主要由數(shù)據(jù)源層、數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)分析層、數(shù)據(jù)匯聚層、數(shù)據(jù)服務(wù)層、用戶應(yīng)用層、平臺管理系統(tǒng)構(gòu)成。

數(shù)據(jù)采集層：ETL 利用第三方數(shù)據(jù)和業(yè)務(wù)系統(tǒng)數(shù)據(jù)，結(jié)合業(yè)務(wù)數(shù)據(jù)庫終端接口、移動DPI 信息、FTP 文件傳輸協(xié)議等對數(shù)據(jù)進(jìn)行處理，并通過提取、轉(zhuǎn)換、加載等方式傳輸?shù)綌?shù)據(jù)平臺存儲層。數(shù)據(jù)收集使用多種格式的數(shù)據(jù)源來完全覆蓋結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)信息。該方法能夠周期性的進(jìn)行數(shù)據(jù)收集，實(shí)現(xiàn)數(shù)據(jù)的穩(wěn)定來源。

數(shù)據(jù)存儲層：在數(shù)據(jù)的存儲之中主要采用的是分布式的方式，將各種數(shù)據(jù)進(jìn)行有條理性的存儲在服務(wù)平臺中，而數(shù)據(jù)存儲對數(shù)據(jù)會進(jìn)行更加科學(xué)的分析，在分析之后在進(jìn)行更加合理的分配和存儲。

數(shù)據(jù)分析處理層：對于大數(shù)據(jù)處理，為了提高海量信息處理的效率，平臺對信息流的實(shí)時(shí)處理和計(jì)算主要通過離線和分布式處理方式來完成。MapReduce 因?yàn)榫邆漭^強(qiáng)的靈活性而被用來來完成離線處理的工作，Srorm 則主要來進(jìn)行分布式的處理工作。在當(dāng)今時(shí)代中，數(shù)據(jù)的基礎(chǔ)含量也隨著社會的不斷進(jìn)步而逐漸增加，這就對數(shù)據(jù)分析處理提出了更高的要求，所以在在數(shù)據(jù)的分析和處理的過程中更需要對相關(guān)的數(shù)據(jù)進(jìn)行更加全面的分析和處理，從而有效的保障數(shù)據(jù)的有效利用率。

數(shù)據(jù)匯聚層：在數(shù)據(jù)的匯聚層中，主要通過Hbase 來對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行存儲和查詢，這種方式能夠使數(shù)據(jù)的查詢更加的方便快捷，同時(shí)也能夠減少數(shù)據(jù)的數(shù)據(jù)查詢的繁瑣性。

數(shù)據(jù)服務(wù)層：數(shù)據(jù)服務(wù)層主要是為第三方提供數(shù)據(jù)查詢、分析、可視化的服務(wù)，讓第三方能夠及時(shí)的從信息數(shù)據(jù)服務(wù)平臺及時(shí)的獲得相關(guān)的數(shù)據(jù)，以為第三方的發(fā)展提供服務(wù)。

用戶應(yīng)用層：主要是指為用戶提供短信推送、日志推送以及服務(wù)項(xiàng)目退漿等功能，讓用戶能夠及時(shí)的對相關(guān)產(chǎn)品進(jìn)行了解和使用。

平臺管理系統(tǒng)：平臺管理系統(tǒng)主要是指對通信運(yùn)營胸大數(shù)據(jù)平臺進(jìn)行管理的系統(tǒng)，包括安全系統(tǒng)、維護(hù)系統(tǒng)以及數(shù)據(jù)采集系統(tǒng)等。

2 通信運(yùn)營大數(shù)據(jù)收集及存儲的方法

2.1 大數(shù)據(jù)信息收集的方法

在通信運(yùn)營大數(shù)據(jù)平臺中，大數(shù)據(jù)數(shù)據(jù)采集的方法主要有三種，分別是系統(tǒng)日志采集方法、網(wǎng)絡(luò)數(shù)據(jù)采集方法、其他數(shù)據(jù)采集方法。而系統(tǒng)日志采集方法主要有三，分別是Facebook 的Scribe、Hadhoop 的Chukwa 以及Cloudra 的Flume，這三種是最常用的系統(tǒng)日志數(shù)據(jù)采集方法，而且基本上每一個(gè)通信運(yùn)營商都有著屬于自己獨(dú)特的系統(tǒng)日志數(shù)據(jù)采集方式。而網(wǎng)絡(luò)數(shù)據(jù)采集方式則是通過網(wǎng)絡(luò)的方式來完成數(shù)據(jù)的采集，首先需要將需要在某些網(wǎng)站上采集信息的網(wǎng)站數(shù)據(jù)列入到數(shù)據(jù)采集的行列中，這樣才能將訪問該網(wǎng)頁的用戶的信息進(jìn)行收集，然后相關(guān)的爬蟲會將所收集到的數(shù)據(jù)寫入到數(shù)據(jù)庫中。而其他的一些數(shù)據(jù)采集方法則是通過與企業(yè)活研究機(jī)構(gòu)進(jìn)行合作，使用一些特定的數(shù)據(jù)采集方式進(jìn)行數(shù)據(jù)的采集。

2.2 大數(shù)據(jù)信息存儲的方法

在通信運(yùn)營大數(shù)據(jù)的存儲之中，通常采用虛擬存儲技術(shù)、高性能的I/O 技術(shù)以及網(wǎng)格存儲技術(shù)，這三種技術(shù)能夠很好的實(shí)現(xiàn)大數(shù)據(jù)的存儲，能夠很好的保障數(shù)據(jù)的安全性，同時(shí)也能夠更好的方便數(shù)據(jù)的搜索和查找。虛擬存儲技術(shù)主要是能夠提供虛擬磁盤等，可以很好的實(shí)現(xiàn)數(shù)據(jù)的合理應(yīng)用，而且還能夠很好的降低成本，優(yōu)化存儲方式。而網(wǎng)格式的存儲方式也能夠?qū)?shù)據(jù)進(jìn)行很好的存儲，同時(shí)也更加的富有條理性。

3 結(jié)束語

當(dāng)今時(shí)代是一個(gè)大數(shù)據(jù)時(shí)代，大數(shù)據(jù)對人類的生活、工作和學(xué)習(xí)產(chǎn)生很大的影響，因此需要對大數(shù)據(jù)的收集和存儲投入更多的注意力以保證收集到大量的數(shù)據(jù)，同時(shí)也需要保證數(shù)據(jù)存儲的安全性和有效性，提升數(shù)據(jù)的有效利用率。