汪曉東

【摘 要】通過大數(shù)據(jù)的研究處理將獲得的有用信息服務于企業(yè)或機構，使其在競爭中取得優(yōu)勢，來為企業(yè)提供更好的處理大數(shù)據(jù)的方法，幫助企業(yè)更深刻的理解客戶對其的需求和體驗，以利于業(yè)務的發(fā)展，用戶也可以更好地體驗移動互聯(lián)網(wǎng)各種資源。本文首先對移動互聯(lián)網(wǎng)大數(shù)據(jù)做了概述，然后分析了移動互聯(lián)網(wǎng)大數(shù)據(jù)處理中存在的問題，最后詳細闡述了移動互聯(lián)網(wǎng)的大數(shù)據(jù)處理關鍵技術。

【關鍵詞】移動互聯(lián)網(wǎng)；大數(shù)據(jù)；處理；排重；整合

一、移動互聯(lián)網(wǎng)大數(shù)據(jù)概述

移動互聯(lián)網(wǎng)大數(shù)據(jù)是指用戶使用智能終端在移動網(wǎng)絡中產生的數(shù)據(jù)，主要包括：與網(wǎng)絡信令、協(xié)議、流量等相關的網(wǎng)絡信息數(shù)據(jù)；與用戶信息相關的用戶數(shù)據(jù)；與業(yè)務相關的數(shù)據(jù)。

大數(shù)據(jù)提供客戶經歷的各種體驗的完整信息，可以詳盡到在任何時間、地點，結合移動客戶體驗方案來分析相關數(shù)據(jù)，從而幫助運營商更詳細掌握客戶體驗情況，提前預知網(wǎng)絡上可能發(fā)生的問題，及時做出合理響應，這些信息對運營商的服務提供很大的幫助。大數(shù)據(jù)分析為整個電信產業(yè)帶來了前所未有的機遇與挑戰(zhàn)，如何高效地發(fā)揮這些數(shù)據(jù)資源的作用，是擺在為運營商面前的關鍵問題。

二、移動互聯(lián)網(wǎng)大數(shù)據(jù)處理中存在的問題

（一）多源數(shù)據(jù)采集問題

大數(shù)據(jù)時代的數(shù)據(jù)存在如下幾個特點：多源異構、分布廣泛、動態(tài)增長、先有數(shù)據(jù)后有模式。舉例來說，一個用戶的一條位置信息的價值是很小的，但是很多這樣的低價值數(shù)據(jù)可以完整刻畫出用戶的運動軌跡，獲得本質上的價值提升。然而，在已有的數(shù)據(jù)采集系統(tǒng)中，數(shù)據(jù)收集不全面是一個普遍的問題，如何處理來自多源的數(shù)據(jù)是移動互聯(lián)網(wǎng)大數(shù)據(jù)時代面臨的新挑戰(zhàn)。其中，迫切需要解決如下幾個問題：

1.無線移動網(wǎng)絡結構復雜，需要在網(wǎng)絡中高效地采集數(shù)據(jù)。

2.多源數(shù)據(jù)集成和多類型數(shù)據(jù)集成的技術。

3.兼顧用戶的隱私和數(shù)據(jù)的所有權和使用權等。

（二）移動互聯(lián)網(wǎng)海量異構數(shù)據(jù)管理問題

據(jù)統(tǒng)計，2003年前人類共創(chuàng)造了5艾字節(jié)（Exabytes）的數(shù)據(jù)，而今天兩天的時間就可以創(chuàng)造如此大量的數(shù)據(jù)。這些數(shù)據(jù)大部分是異構數(shù)據(jù)，有些具有用戶標注、有些沒有；有些是結構化的（比如數(shù)值、符號）、有些是非結構化話的（比如圖片、聲音）；有些時效性強、有些時效性弱；有些價值度高、有些價值度低。移動互聯(lián)網(wǎng)海量異構數(shù)據(jù)管理平臺包含以下關鍵研究和技術：海量異構大數(shù)據(jù)傳輸控制、大數(shù)據(jù)存儲、大數(shù)據(jù)質量管理。

（三）移動互聯(lián)網(wǎng)大數(shù)據(jù)實時數(shù)據(jù)挖掘問題

傳統(tǒng)意義上的數(shù)據(jù)分析（Analysis）主要針對結構化數(shù)據(jù)展開，且已經形成了一整套行之有效的分析體系。首先，利用數(shù)據(jù)庫來存儲結構化數(shù)據(jù)，在此基礎上構建數(shù)據(jù)倉庫，根據(jù)需要構建數(shù)據(jù)立方體進行聯(lián)機分析處理（OLAP，Online Analytical Processing），可以進行多個維度的下鉆（Drill-down）或上卷（Roll-up）操作。對于從數(shù)據(jù)中提煉更深層次的知識的需求促使了數(shù)據(jù)挖掘技術的產生，并發(fā)明了聚類、關聯(lián)分析等一系列在實踐中行之有效的方法。這一整套處理流程在處理相對較少的結構化數(shù)據(jù)時極為高效。但是，對于移動互聯(lián)網(wǎng)來說，涉及更多的是多模態(tài)數(shù)據(jù)挖掘，這些數(shù)據(jù)包括手機上的傳感器，包括加速度計、陀螺儀、指南針、GPS、麥克風、攝像頭、以及各種無線信號（如GSM、WiFi）和藍牙等。這些原始數(shù)據(jù)在不同維度上刻畫被感知的對象，需要經過不同層次的加工和提煉才能形成從數(shù)據(jù)到信息再到知識的飛躍。移動互聯(lián)網(wǎng)半結構化和非結構化數(shù)據(jù)量的迅猛增長，給傳統(tǒng)的分析技術帶來了巨大的沖擊和挑戰(zhàn)。

三、移動互聯(lián)網(wǎng)的大數(shù)據(jù)處理關鍵技術

（一）數(shù)據(jù)處理的整體框架

數(shù)據(jù)處理的整個過程如圖1所示，主要包括四個模塊：分詞（WordsAnalyze）、排重（ContentDeduplicate）、整合（Integrate）和數(shù)據(jù)。

這四個模塊的主要功能如下。

分詞：對抓取到的網(wǎng)頁內容進行切詞處理。

排重：對眾多的網(wǎng)頁內容進行排重。

整合：對不同來源的數(shù)據(jù)內容進行格式上的整合。

數(shù)據(jù)：包含兩方面的數(shù)據(jù)，Spider Data（爬蟲從網(wǎng)頁中抽取出來的數(shù)據(jù)）和 Dp Data（在整個數(shù)據(jù)處理過程中產生的的數(shù)據(jù)）。

（二）數(shù)據(jù)處理的基本流程

整個數(shù)據(jù)處理過程的基本步驟如下：

1.對抓取來的網(wǎng)頁內容進行分詞。

2.將分詞處理的結果寫入數(shù)據(jù)庫。

3.對抓取來的網(wǎng)頁內容進行排重。

4.將排重處理后的數(shù)據(jù)寫入數(shù)據(jù)庫。

5.根據(jù)之前的處理結果，對數(shù)據(jù)進行整合。

6.將整合后的結果寫入數(shù)據(jù)庫。

（三）數(shù)據(jù)處理的關鍵技術

1.排重。

排重就是排除掉與主題相重復項的過程，網(wǎng)頁排重就是通過兩個網(wǎng)頁之間的相似度來排除重復項。Simhash算法是一種高效的海量文本排重算法，相比于余弦角、歐式距離、Jaccard相似系數(shù)等算法，Simhash避免了對文本兩兩進行相似度比較的復雜方式，從而大大提高了效率。

采用Simhash算法來進行抓取網(wǎng)頁內容的排重，可以容納更大的數(shù)據(jù)量，提供更快的數(shù)據(jù)處理速度，實現(xiàn)大數(shù)據(jù)的快速處理。

Simhash算法的基本思想描述如下：輸入為一個N維向量V，比如文本的特征向量，每個特征具有一定權重。輸出是一個C位的二進制簽名S。

（1）初始化一個C維向量Q為0，C位的二進制簽名S為0。

（2）對向量V中的每一個特征，使用傳統(tǒng)的Hash算法計算出一個C位的散列值H。對1<=i<=C，如果H的第i位為1，則Q的第i個元素加上該特征的權重；否則，Q的第i個元素減去該特征的權重。

（3）如果Q的第i個元素大于0，則S的第i位為1；否則為0。

（4）返回簽名S。

對每篇文檔根據(jù)SimHash算出簽名后，再計算兩個簽名的海明距離（兩個二進制異或后1的個數(shù)）即可。根據(jù)經驗值，對64位的SimHash，海明距離在3以內的可以認為相似度比較高。

2.整合。

整合就是把抓取來的網(wǎng)頁內容與各個公司之間建立對應關系。對于每一個公司來說，可以用一組關鍵詞來對該公司進行描述，同樣的，經過dp處理之后的網(wǎng)頁內容，也可以用一組關鍵詞來進行描述。因此，整合就變成了兩組關鍵詞（公司關鍵詞，內容關鍵詞）之間的匹配。

對于網(wǎng)頁內容的分詞結果來說，存在著兩個特點：（1）分詞結果的數(shù)量很大；（2）大多數(shù)的分詞對描述該網(wǎng)頁內容來說是沒有貢獻的。因此，對網(wǎng)頁的分詞結果進行一下簡化，使用詞頻最高的若干個詞匯來描述該網(wǎng)頁內容。

3.流處理系統(tǒng)。

移動互聯(lián)網(wǎng)的多源異構數(shù)據(jù)每時每刻都在大量產生著。數(shù)據(jù)探測模塊根據(jù)這些數(shù)據(jù)處理的不同要求，將數(shù)據(jù)分別送給實時處理系統(tǒng)和批處理系統(tǒng)。很多互聯(lián)網(wǎng)公司將根據(jù)業(yè)務的需求和處理的時間將劃分為在線、近線和離線三種方式來處理業(yè)務消耗的時間。這其中，在線處理的處理時間通常在毫秒級，一般采用流處理方式；離線處理的處理時間通常以天為單位，一般采用批處理方式。這樣會最大程度地利用好輸入/輸出系統(tǒng)。近線處理對其處理模式沒有特別的要求，處理的時間一般在分鐘級或小時級，在實際情況中多采用此處理方式，可根據(jù)需求靈活選擇。

四、結語

綜上，隨著移動互聯(lián)網(wǎng)的迅猛發(fā)展，客戶處理的業(yè)務越來越復雜，與其相關的大數(shù)據(jù)正逐漸增長，大數(shù)據(jù)分析技術已經成為各方關注的焦點。合理使用大數(shù)據(jù)將有效的發(fā)揮移動互聯(lián)網(wǎng)大數(shù)據(jù)的資源作用，使大數(shù)據(jù)為用戶獲得前所未有的體驗，為企業(yè)發(fā)展提供完整清晰的指引。

參考文獻：

[1]張錚. 淺析網(wǎng)絡大數(shù)據(jù)的采集和處理方法[J]. 信息系統(tǒng)工程，2015（10）.

[2]劉智慧，張泉靈. 大數(shù)據(jù)技術研究綜述[J]. 浙江大學學報（工學版），2014（06）.

[3]王秀磊，劉鵬. 大數(shù)據(jù)關鍵技術[J]. 中興通訊技術，2013（04）.