鄭正廣，閆 宇，蔡潤昌，袁 鵬，林立言，蔡惠坤（.中移互聯(lián)網(wǎng)有限公司，廣東 廣州 50640；.中訊郵電咨詢設(shè)計院有限公司廣東分公司，廣東廣州 5067）

0 引言

近十年移動互聯(lián)網(wǎng)高速發(fā)展，智能終端已趨于飽和，增量市場已逐漸轉(zhuǎn)變?yōu)榇媪渴袌霾┺?。在“提速降費”政策力度不減以及“攜號轉(zhuǎn)網(wǎng)”全面開啟的新形勢下，以語音和流量為代表的傳統(tǒng)通信業(yè)務(wù)收入增長乏力，甚至出現(xiàn)負(fù)增長。因此如何高效融合現(xiàn)有數(shù)據(jù)資產(chǎn)，驅(qū)動增值業(yè)務(wù)發(fā)展成為電信運營商需要迫切解決的問題。

相較于眾多APP 應(yīng)用提供商，電信運營商不僅擁有用戶的基礎(chǔ)信息，如性別、年齡、歸屬地、終端型號等靜態(tài)屬性標(biāo)簽，同時能夠獲取用戶上網(wǎng)行為數(shù)據(jù)，從而解析出用戶行為數(shù)據(jù)，如興趣偏好等動態(tài)屬性標(biāo)簽［1］。借助大數(shù)據(jù)用戶級標(biāo)簽系統(tǒng)，對用戶進(jìn)行精準(zhǔn)的個性化推薦服務(wù)，不僅可以提高用戶感知體驗，形成差異化競爭力，還可以為運營商實現(xiàn)流量變現(xiàn)，對于電信運營商具有重大意義和價值。

本文選取某電信運營商網(wǎng)絡(luò)行為數(shù)據(jù)進(jìn)行挖掘，側(cè)重分析網(wǎng)絡(luò)DPI（Deep Packet Inspection）數(shù)據(jù)、計費訂購數(shù)據(jù)和移動認(rèn)證數(shù)據(jù)。本文對不同來源行為數(shù)據(jù)進(jìn)行整合，構(gòu)建統(tǒng)一的規(guī)范化標(biāo)簽體系，進(jìn)而對用戶興趣偏好標(biāo)簽進(jìn)行刻畫，然后進(jìn)行個性化權(quán)益營銷推薦服務(wù)，為運營商增值業(yè)務(wù)收入拓展提供參考。

1 電信網(wǎng)絡(luò)行為數(shù)據(jù)概覽

電信運營商擁有云、網(wǎng)、數(shù)三位一體的經(jīng)營優(yōu)勢，掌握著海量的業(yè)務(wù)運營數(shù)據(jù)和網(wǎng)絡(luò)行為數(shù)據(jù)，資源稟賦明顯。這些數(shù)據(jù)包含了用戶開卡資料、從智能終端到接入網(wǎng)、傳輸網(wǎng)到核心網(wǎng)等各環(huán)節(jié)數(shù)據(jù)，本文側(cè)重分析網(wǎng)絡(luò)行為數(shù)據(jù)。

隨著互聯(lián)網(wǎng)技術(shù)不斷發(fā)展和完善，以微信、支付寶等為代表的應(yīng)用軟件正深刻地改變著人們的生活，同時也催生出一大批新的應(yīng)用和業(yè)態(tài)。據(jù)工信部信息通信發(fā)展司統(tǒng)計，截至2018 年底，我國移動APP 應(yīng)用規(guī)模排名全球第一，接近499 萬。用戶對于APP 的依賴程度越來越高，眾多的行為習(xí)慣和興趣正通過各種終端設(shè)備在網(wǎng)絡(luò)數(shù)據(jù)中體現(xiàn)。大數(shù)據(jù)技術(shù)的發(fā)展也在改變著運營思路，從單純的數(shù)據(jù)采集逐漸過渡到高質(zhì)量運營和業(yè)務(wù)創(chuàng)新。

手機話費除了可以用于語音、流量等套餐消費外，還可以用于訂購APP 會員權(quán)益和游戲道具等增值業(yè)務(wù)，形成計費數(shù)據(jù)。部分APP 應(yīng)用接入了移動認(rèn)證服務(wù)，可以獲取到用戶在什么時候通過手機號一鍵登錄了什么APP。當(dāng)用戶中斷操作APP，再次打開APP時一般不會觸發(fā)一鍵登錄，因此單純依靠統(tǒng)一認(rèn)證并不能完全掌握用戶使用行為，且統(tǒng)一認(rèn)證覆蓋的APP數(shù)量相對有限。由于大多數(shù)網(wǎng)站和APP 在網(wǎng)絡(luò)傳輸過程中并非完全加密，可以對上網(wǎng)流量IP 數(shù)據(jù)包進(jìn)行DPI深度檢測，根據(jù)網(wǎng)址、端口等特征識別出對應(yīng)的業(yè)務(wù)和APP，從而獲取用戶瀏覽記錄［2］。本文根據(jù)用戶網(wǎng)絡(luò)行為數(shù)據(jù)，可以刻畫出用戶興趣偏好標(biāo)簽，從而為用戶提供個性化營銷推薦服務(wù)，具體如圖1所示。

圖1 精準(zhǔn)營銷構(gòu)建框架

2 用戶興趣偏好標(biāo)簽構(gòu)建

電信運營商通信網(wǎng)的用戶網(wǎng)絡(luò)行為面向的是所有APP，而DPI數(shù)據(jù)、計費數(shù)據(jù)和移動認(rèn)證數(shù)據(jù)管理系統(tǒng)各不相同，對于APP 業(yè)務(wù)的分類也有差異。此外各家軟件應(yīng)用商店對APP 的分類和標(biāo)簽同樣有著自己的設(shè)定規(guī)則，如表1 所示，且覆蓋度也不同。因此，電信運營商需要對采集的APP 數(shù)據(jù)進(jìn)行業(yè)務(wù)融合，并形成一套統(tǒng)一的規(guī)范化分類和標(biāo)簽體系，從而更加高效準(zhǔn)確地依據(jù)APP 使用行為來描繪用戶興趣偏好，為后期精準(zhǔn)推薦服務(wù)奠定良好的數(shù)據(jù)基礎(chǔ)。

表1 “趕集網(wǎng)”在不同渠道上的分類標(biāo)簽

2.1 應(yīng)用業(yè)務(wù)分類

針對各渠道來源數(shù)據(jù)不一致問題，本文首先對不同渠道來源的APP 進(jìn)行爬蟲采集，獲取應(yīng)用名稱、分類、標(biāo)簽和描述等信息，然后以某個渠道標(biāo)準(zhǔn)作為參考，進(jìn)行APP 關(guān)聯(lián)匹配。對于無法匹配的應(yīng)用，則采用機器學(xué)習(xí)的方法對分類進(jìn)行預(yù)測，并提取關(guān)鍵詞作為應(yīng)用標(biāo)簽。

2.1.1 應(yīng)用采集

為了建立完備的APP 基礎(chǔ)信息庫，本文針對主流應(yīng)用商店設(shè)計了多線程數(shù)據(jù)采集系統(tǒng)，流程框架如圖2所示。

圖2 爬蟲數(shù)據(jù)采集流程框架

由于采集數(shù)量較大，該采集系統(tǒng)需要在內(nèi)存中使用布隆過濾器以高效識別重復(fù)網(wǎng)址，避免對數(shù)據(jù)進(jìn)行重復(fù)采集。此外，配置IP 代理池和User－Agent 池可以突破基本的反爬策略，以確保系統(tǒng)穩(wěn)定運轉(zhuǎn)。

2.1.2 應(yīng)用分類

本文將采集得到的應(yīng)用數(shù)據(jù)進(jìn)行關(guān)聯(lián)匹配，提取已識別的應(yīng)用名稱和描述作為訓(xùn)練數(shù)據(jù)，對無法匹配的應(yīng)用進(jìn)行機器學(xué)習(xí)分類預(yù)測。傳統(tǒng)的文本分類方法主要有基于規(guī)則的關(guān)聯(lián)模型和基于向量空間模型2種［3］?；谝?guī)則的文本分類需要依據(jù)專家知識人工標(biāo)注關(guān)鍵詞詞典，但隨著應(yīng)用規(guī)模的擴充和新業(yè)態(tài)的不斷涌現(xiàn)，需要耗費大量的人力對詞典頻繁更新，且效率低下，難以適應(yīng)運營發(fā)展。向量空間模型則把文檔的語義看成諸多詞語的表達(dá)，通過深度學(xué)習(xí)的方法進(jìn)行向量化表示，且在長文本分類中取得了較好的效果［4］。

2.1.2.1 Word2Vec模型

Word2Vec 基于神經(jīng)網(wǎng)絡(luò)對大量文本語料的詞匯和上下文關(guān)系進(jìn)行訓(xùn)練，將其中的詞匯映射到一個較低維度的向量空間。常用的訓(xùn)練模型有CBOW 和Skip－Gram 2 種，在CBOW 模型中，需依據(jù)上下文信息Swt=(wt－k,…,wt－1,wt+1,…,wt+k)對當(dāng)前詞匯wt進(jìn)行預(yù)測，包含輸入層、隱藏層和輸出層，其目標(biāo)優(yōu)化函數(shù)如下。

其中C為語料庫中所有詞匯的集合，k為上下文信息窗口長度。

與CBOW 相反，Skip－Gram 模型則是依據(jù)當(dāng)前詞匯對上下文信息進(jìn)行預(yù)測，優(yōu)化目標(biāo)函數(shù)如下。

在Word2Vec 模型輸入層，每個單詞均進(jìn)行onehot 編碼，而隱藏層神經(jīng)元的數(shù)量通常設(shè)置為100～300，訓(xùn)練后得到隱藏層的訓(xùn)練參數(shù)矩陣，以此構(gòu)建詞向量。

2.1.2.2 TF－IDF算法

TF－IDF 是一種在文本信息檢索領(lǐng)域常用的加權(quán)技術(shù)，其結(jié)合了文檔中單詞出現(xiàn)的頻次TF和逆文檔頻率IDF綜合計算，公式如下。

其中TFi,j表示單詞wi在文檔j中的出現(xiàn)頻率，Ni,j為單詞wi在文檔j中的出現(xiàn)次數(shù)，Nd表示語料庫中總文檔數(shù)目，Di為包含單詞wi的文檔總數(shù)，分母加1是為了防止測試集中出現(xiàn)新詞，導(dǎo)致逆文檔頻率無法計算。

在TF－IDF 算法中，單詞在文檔中出現(xiàn)的頻率越高，說明其權(quán)重越大，同時，若該單詞出現(xiàn)的文檔數(shù)目越多，則權(quán)重也將隨之降低。比如，中文漢字“的”盡管詞頻較高，但由于逆文檔頻率很低，其綜合權(quán)重反而較小。

2.1.2.3 神經(jīng)網(wǎng)絡(luò)分類模型

本文通過對短文本進(jìn)行處理得到APP 應(yīng)用的向量化表達(dá)，相比傳統(tǒng)基于規(guī)則的關(guān)聯(lián)方法，采用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練預(yù)測，具備較高的可擴展性和推廣性。

在文本分類任務(wù)中，神經(jīng)網(wǎng)絡(luò)模型可視為輸入層、隱藏層和輸出層的組合，相鄰層的神經(jīng)元進(jìn)行連接，且具有對應(yīng)的權(quán)重［5］。輸入神經(jīng)元的數(shù)量等于文本特征數(shù)量，而輸出層神經(jīng)元數(shù)量與應(yīng)用分類數(shù)量相等。在初始訓(xùn)練階段，可通過正向傳播算法和反向修正算法進(jìn)行多次迭代，以獲取神經(jīng)元之間的連接權(quán)重。

本文依據(jù)APP 應(yīng)用描述簡介等短文本數(shù)據(jù)，首先進(jìn)行分詞操作等預(yù)處理，然后借助Word2Vec 訓(xùn)練詞向量，通過TF－IDF 算法加權(quán)得到短文本向量化表達(dá)，并作為神經(jīng)網(wǎng)絡(luò)分類器的輸入信號，如圖3 所示。分類完成后，針對單個應(yīng)用，本文匯聚主流應(yīng)用商店的標(biāo)簽，并選擇TF－IDF權(quán)重較高的進(jìn)行表征。

圖3 APP應(yīng)用分類框架

2.1.2.4 分類效果評估

本文的試驗選擇影音、學(xué)習(xí)、旅游等11個類別共6萬個APP 數(shù)據(jù)進(jìn)行訓(xùn)練預(yù)測。文本分詞后，設(shè)定上下文窗口長度為10，詞向量維度為100，采用CBOW 模型進(jìn)行訓(xùn)練得到詞向量庫。數(shù)據(jù)按照80%訓(xùn)練、20%測試的原則進(jìn)行分割。

本文通過對測試集進(jìn)行APP 分類預(yù)測可得不同類別的準(zhǔn)確率，結(jié)果如圖4所示，總體準(zhǔn)確率為76.3%，其中旅游類別的準(zhǔn)確率最高，達(dá)到84.7%。

圖4 應(yīng)用分類準(zhǔn)確率測試結(jié)果

2.2 用戶興趣偏好計算

當(dāng)用戶對某類應(yīng)用持續(xù)產(chǎn)生使用行為，如登錄記錄、瀏覽記錄和訂購記錄等，使用行為次數(shù)越多，則說明該用戶對這類APP 的興趣熱度越高，且該熱度一般只與近期內(nèi)行為相關(guān)性較高。根據(jù)艾賓浩斯遺忘曲線可知，用戶使用APP 的時間與興趣偏好的相關(guān)性為［2］:

其中t為使用時間，T(T≥t)為當(dāng)前時間，α和β為興趣熱度衰減參數(shù)。

由于不同的APP 所體現(xiàn)的可信度不同，不同網(wǎng)絡(luò)行為其權(quán)重亦不同，因此在對用戶興趣偏好進(jìn)行定量化表達(dá)時應(yīng)盡量體現(xiàn)如下原則。

a）用戶在同一APP 上的使用行為次數(shù)越多，代表興趣越濃厚。

b）用戶行為記錄發(fā)生時間（以天為顆粒度）越近，其興趣偏好分值越高。

c）同一APP 內(nèi)部，經(jīng)濟或時間成本越高的行為，所代表的分值越高，如訂購行為權(quán)重大于登錄，而登錄則大于瀏覽。

d）為體現(xiàn)不同APP 之間的差異，可對APP 賦予不同的權(quán)重。

用戶興趣偏好計算公式如下

其中u,v,p,t分別表示用戶、行為（瀏覽、登錄、訂購）、APP 應(yīng)用和時間，ρ()t表示時間興趣衰減程度，w(p)表示APP 應(yīng)用p的權(quán)重，可根據(jù)運營需要靈活設(shè)置，γ(v,p)表示應(yīng)用p中行為v的權(quán)重，f(u,v,p,t)表示時間t內(nèi)用戶u在應(yīng)用p中產(chǎn)生行為v的頻次。

同一APP 內(nèi)不同網(wǎng)絡(luò)行為的權(quán)重可借鑒文本IDF思想進(jìn)行計算，例如某應(yīng)用當(dāng)月產(chǎn)生行為記錄的總?cè)藬?shù)為1 萬人，而涉及訂購行為的有100 人，登錄行為有8 000 人，那么訂購行為的權(quán)重則為log(10 000/100)=4.61，同理登錄行為權(quán)重為0.22。

將相同類別的所有APP 興趣偏好值進(jìn)行累加，即可得到用戶所在類別的興趣偏好標(biāo)簽值，表2 為某運營商某用戶排名前10的興趣偏好標(biāo)簽。

表2 某用戶Top 10興趣標(biāo)簽偏好（采用10分制）

3 權(quán)益計費業(yè)務(wù)營銷推薦

為了持續(xù)改善計費業(yè)務(wù)收入結(jié)構(gòu)，促進(jìn)包月業(yè)務(wù)快速發(fā)展，選取愛奇藝25元包月視頻會員權(quán)益等優(yōu)質(zhì)業(yè)務(wù)進(jìn)行精準(zhǔn)營銷。依托大數(shù)據(jù)技術(shù)，分析用戶網(wǎng)絡(luò)行為數(shù)據(jù)，挖掘視頻興趣偏好較高且歷史訂購過愛奇藝的用戶進(jìn)行營銷推送。為了驗證本文興趣偏好標(biāo)簽的有效性，同時選擇通信消費高ARPU 高增值費業(yè)務(wù)人群，以及歷史訂購過且視頻記錄頻次較高的用戶人群作為測試組，同時剔除近1 個月有訂購愛奇藝會員的用戶，每組包含約30萬用戶。在相同時間進(jìn)行同樣的廣告投放，并在3天后評估訂購轉(zhuǎn)化率效果，結(jié)果如圖5所示。

圖5 不同投放人群歸一化訂購轉(zhuǎn)化率提升效果對比

從圖5 可以看出，以通信消費高人群的訂購轉(zhuǎn)化率作為基準(zhǔn)值，視頻頻次較高的測試組轉(zhuǎn)化率提升了9.8倍，而本文提出的興趣標(biāo)簽偏好值較高的用戶則效果顯著，提升到18.9 倍，充分說明該標(biāo)簽體系的有效性。

在廣告投放過程中所采用的文案并沒有體現(xiàn)用戶之間的差異性，即所有用戶看到的訂購頁海報內(nèi)容均一致，難以滿足用戶個性化需求。后續(xù)筆者將進(jìn)一步細(xì)化用戶內(nèi)容偏好標(biāo)簽，并進(jìn)行客戶分群，同時制定不同的廣告文案，以便進(jìn)行更為精準(zhǔn)的營銷推送，拉動收入增長。

4 結(jié)束語

本文通過對某電信運營商的權(quán)益計費訂購數(shù)據(jù)、移動認(rèn)證登錄數(shù)據(jù)和上網(wǎng)流量DPI解析數(shù)據(jù)等數(shù)據(jù)源進(jìn)行融合，按照統(tǒng)一的標(biāo)準(zhǔn)規(guī)范建立業(yè)務(wù)分類標(biāo)簽體系，并定量化表達(dá)用戶級興趣偏好，輔助權(quán)益計費業(yè)務(wù)精準(zhǔn)營銷推薦。該方法不但可以提升數(shù)據(jù)運營能力，還可以實現(xiàn)運營商流量的有效變現(xiàn)，具有較大的意義和價值。