王雅靜，郭 強(qiáng)，鄧春燕 ，林青軒 ，劉建國(guó)

(1.上海理工大學(xué)復(fù)雜系統(tǒng)科學(xué)研究中心,上海 200093；2.上海財(cái)經(jīng)大學(xué)會(huì)計(jì)與財(cái)務(wù)研究院,上海 200433；3.新浪微熱點(diǎn)大數(shù)據(jù)研究院,上海 210204)

0 引言

用戶特征是分析網(wǎng)絡(luò)用戶的重要途徑，它可以基于用戶行為以及建立模型實(shí)現(xiàn)預(yù)測(cè)[1]，在了解用戶個(gè)體的同時(shí)也能夠提高社交平臺(tái)的信息服務(wù)質(zhì)量，近年來通過用戶各種行為推斷用戶特征、實(shí)現(xiàn)應(yīng)用的相關(guān)研究[2-4]也逐漸增多。而點(diǎn)贊行為相較其他用戶行為更簡(jiǎn)單直接，它能直接體現(xiàn)用戶對(duì)某事件是否持有贊同態(tài)度，并且同樣能夠?qū)崿F(xiàn)用戶特征的預(yù)測(cè)[5-6]。文獻(xiàn)[7]曾通過Facebook上在線用戶的點(diǎn)贊標(biāo)簽進(jìn)行奇異值分解(SVD)和Logistic回歸，預(yù)測(cè)用戶特征和屬性。SVD優(yōu)點(diǎn)在于可以忽略用戶的主題偏好，直接利用點(diǎn)贊行為進(jìn)行特征預(yù)測(cè)。但由于無法保證SVD的魯棒性，預(yù)測(cè)新數(shù)據(jù)時(shí)需要重新構(gòu)建矩陣進(jìn)行計(jì)算，然而實(shí)際問題中通常面臨百萬級(jí)別以上的數(shù)據(jù)，此時(shí)再通過SVD計(jì)算的代價(jià)很大，因此難以實(shí)現(xiàn)新數(shù)據(jù)的預(yù)測(cè)。該場(chǎng)景下考慮用戶點(diǎn)贊的主題特征更有效。

微博作為當(dāng)今流行的社交平臺(tái)，成為了各領(lǐng)域的研究熱點(diǎn)。由于用戶發(fā)表的短文本標(biāo)簽一般由微博平臺(tái)提供，用戶在微博上發(fā)生的點(diǎn)贊行為可以視作用戶個(gè)人偏好的具體體現(xiàn)，但并非所有已有標(biāo)簽均能夠準(zhǔn)確地體現(xiàn)用戶真實(shí)偏好[8]。若能將主題模型與用戶點(diǎn)贊行為相結(jié)合，利用主題模型挖掘用戶點(diǎn)贊信息的隱含主題，不僅能夠更好地表達(dá)用戶真實(shí)偏好，當(dāng)新數(shù)據(jù)加入時(shí)，新數(shù)據(jù)中用戶點(diǎn)贊信息的主題分布還能夠由訓(xùn)練好的主題模型判斷得到，進(jìn)而實(shí)現(xiàn)新用戶的特征預(yù)測(cè)。主題模型是挖掘文本主題的重要工具。

主題模型常用于自然語(yǔ)言處理與機(jī)器學(xué)習(xí)中，通過發(fā)現(xiàn)文檔中核心主題，可以有效避免忽略文檔的詞背后隱藏的語(yǔ)義信息[9]。由于微博短文本的特性，為了降低在主題提取過程中微博信息的稀疏性和多維性造成的影響，可以選擇基于語(yǔ)義分析的模型挖掘微博主題[10]，常見語(yǔ)義分析文本挖掘模型有LSA(Latent Semantic Analysis)、PLSA(Probabilistic Latent Semantic Analysis)和LDA，其中LSA需要大量文檔以及詞匯提升結(jié)果，PLAS存在過擬合問題[11]，而LDA主題模型雖屬于無監(jiān)督模型，但模型能根據(jù)已有語(yǔ)料庫(kù)訓(xùn)練進(jìn)而劃分新文本主題，并且能夠克服標(biāo)簽局限性以及語(yǔ)義模糊性、緩解數(shù)據(jù)多維性和稀疏性等問題[12]，因此在微博主題提取中，LDA主題模型被廣泛應(yīng)用。文獻(xiàn)[13]通過LDA模型提取隱含主題特征；文獻(xiàn)[14]使用LDA模型挖掘用戶潛在興趣主題。

本文的主要貢獻(xiàn)為：1)實(shí)驗(yàn)中通過LDA主題模型對(duì)用戶點(diǎn)贊文本集合進(jìn)行主題挖掘，用一致性系數(shù)判斷最佳主題數(shù)，實(shí)現(xiàn)主題劃分，實(shí)驗(yàn)結(jié)果顯示，基于主題預(yù)測(cè)用戶特征相較基于微博標(biāo)簽SVD的F1值最高提升0.15，一定程度上反映了主題挖掘更能體現(xiàn)用戶的真實(shí)偏好，幫助平臺(tái)更加了解用戶群體；2)提出了一種預(yù)測(cè)新用戶特征的研究方法。利用已訓(xùn)練好的主題模型直接對(duì)新加入的數(shù)據(jù)進(jìn)行用戶特征預(yù)測(cè)，避免了SVD預(yù)測(cè)過程中仍需重新計(jì)算的弊端，為用戶特征分析提供了另一條可行途徑。

1 基于SVD分解的用戶特征預(yù)測(cè)模型

1.1 SVD分解

本文實(shí)驗(yàn)中，以基于SVD分解的傳統(tǒng)預(yù)測(cè)模型作為對(duì)比方法。SVD算法是一種矩陣分解算法，假設(shè)矩陣A∈R是一個(gè)a×b的矩陣，則定義矩陣A的SVD分解為：

(1)

其中，U∈R是a×a的正交矩陣，U的列向量稱為左奇異值向量；Σr=diag(λ1,λ2,…,λr)，對(duì)角線的值為矩陣A的非零奇異值，r=rank(A)；V∈R是b×b的正交矩陣，VT是V的轉(zhuǎn)置，V的列向量稱為右奇異向量。一般可用最大的k個(gè)奇異值和相應(yīng)的左右奇異值向量近似描述矩陣，即：

(2)

2.2 Logistic回歸模型

Logistic回歸是經(jīng)典的二分類模型，其主要思想是：利用現(xiàn)有數(shù)據(jù)，在分類邊界線上構(gòu)建回歸公式，進(jìn)而實(shí)現(xiàn)分類和預(yù)測(cè)[16]。Logistic回歸由條件概率P(Y|X)表示，隨機(jī)變量X取值為實(shí)數(shù)，隨機(jī)變量Y取值為0或1。參數(shù)一般通過訓(xùn)練數(shù)據(jù)確定模型，進(jìn)而實(shí)現(xiàn)預(yù)測(cè)。二項(xiàng)Logistic的條件概率分布如式(3)所示。

(3)

(4)

SVD分解后的矩陣以及對(duì)應(yīng)的用戶特征作為訓(xùn)練集輸入Logistic回歸模型，進(jìn)而實(shí)現(xiàn)對(duì)新數(shù)據(jù)的預(yù)測(cè)。當(dāng)訓(xùn)練集出現(xiàn)類別數(shù)據(jù)不平衡的問題時(shí)，可以利用smote算法平衡數(shù)據(jù)。類別不平衡，即訓(xùn)練集中某類數(shù)據(jù)樣本數(shù)量和其他類樣本數(shù)量差值過大，使得部分機(jī)器學(xué)習(xí)模型失效的問題。實(shí)驗(yàn)中Logistic回歸算法便不適合處理類別不平衡問題，因?yàn)楫?dāng)絕大多數(shù)樣本都為正常樣本而其他類樣本很少，Logistic模型傾向于把待預(yù)測(cè)的大部分樣本判定為正常，這樣雖然準(zhǔn)確率(P)很高，卻達(dá)不到較高的召回率(R)[17]。因此針對(duì)這種問題，需要使用smote算法平衡訓(xùn)練集中的類別數(shù)據(jù)后再進(jìn)行預(yù)測(cè)，才能保證預(yù)測(cè)結(jié)果具有參考性。

基于SVD分解的預(yù)測(cè)模型可以忽略用戶的偏好主題，直接利用用戶的點(diǎn)贊行為實(shí)現(xiàn)用戶特征預(yù)測(cè)，但缺陷在于運(yùn)算復(fù)雜度較高，假設(shè)對(duì)矩陣Aa×b做分解，則時(shí)間復(fù)雜度為O(b2a+ba2)≈O(b3)，而預(yù)測(cè)新數(shù)據(jù)集時(shí)需要重構(gòu)矩陣，加大了運(yùn)算復(fù)雜度，因此難以預(yù)測(cè)新數(shù)據(jù)集。

2 基于LDA的用戶特征預(yù)測(cè)模型

本文基于用戶信息以及其點(diǎn)贊微博文本，建立主題模型，進(jìn)而預(yù)測(cè)新用戶的特征。首先利用預(yù)處理后的用戶點(diǎn)贊微博數(shù)據(jù)訓(xùn)練LDA主題模型、確定合適主題數(shù)并劃分主題；然后基于“用戶—主題”的關(guān)聯(lián)規(guī)則建立對(duì)應(yīng)稀疏矩陣，并訓(xùn)練預(yù)測(cè)模型；最后加入新數(shù)據(jù)集，得到預(yù)測(cè)結(jié)果。本文提出的基于LDA的用戶特征預(yù)測(cè)模型具體流程如圖1所示。

圖1 基于LDA主題提取的用戶特征預(yù)測(cè)模型流程圖

2.1 LDA主題模型

通過LDA主題模型可以對(duì)用戶相應(yīng)的點(diǎn)贊微博文本進(jìn)行主題劃分。LDA模型是一個(gè)基于“文檔—主題—詞”的三層貝葉斯文檔主題生成模型,即認(rèn)為一篇文檔中每個(gè)詞都是通過“某個(gè)概率確定主題，并從該主題中概率確定某個(gè)詞語(yǔ)”過程得到的，文檔到主題以及主題到詞均服從多項(xiàng)式分布。當(dāng)利用LDA主題模型獲取微博平臺(tái)上用戶點(diǎn)贊微博的主題時(shí)，LDA主題模型的文檔對(duì)應(yīng)為點(diǎn)贊微博集合，詞對(duì)應(yīng)為用戶點(diǎn)贊微博文本，LDA根據(jù)文檔中的詞不斷訓(xùn)練得出文檔的主題以及主題分布，便能得到點(diǎn)贊微博文本-主題概率多項(xiàng)分布。假設(shè)D={d1,d2,…,dM}為微博文本集合，M為訓(xùn)練的微博文本數(shù)量，每個(gè)文本有N個(gè)詞，n代表主題數(shù)，θi為微博di的主題分布，φti,j為主題ti,j的詞分布，其中Dirichlet(α)是參數(shù)為α的先驗(yàn)分布，是LDA通過訓(xùn)練生成文本對(duì)應(yīng)的主題分布；Dirichlet(β)是參數(shù)為β的先驗(yàn)分布，模型中訓(xùn)練生成主題對(duì)應(yīng)的詞分布，則模型中各種變量關(guān)系可表示為

(5)

其中，式(5)中隱含變量的條件分布可以通過聯(lián)合概率分布計(jì)算為[18]:

(6)

本文以用戶的點(diǎn)贊微博文本集合為輸入，訓(xùn)練LDA模型，進(jìn)而獲得每條微博的主題分布。

2.2 最佳主題數(shù)確定

在構(gòu)建主題模型前，需要基于“用戶—點(diǎn)贊微博”的二元關(guān)系，使用Python語(yǔ)言提供的機(jī)器學(xué)習(xí)包Gensim對(duì)用戶的點(diǎn)贊微博文本進(jìn)行LDA主題劃分，而合適的主題數(shù)量n是重要參數(shù)。主題數(shù)n是由LDA模型根據(jù)文本集合劃分的主題個(gè)數(shù)，每一個(gè)主題均由詞的概率分布組成，主題數(shù)過大或者過小均會(huì)影響到預(yù)測(cè)模型的結(jié)果。Gensim提供了一個(gè)數(shù)值定量評(píng)估方法“主題相干性”判定主題模型質(zhì)量的好壞，它表明人們對(duì)主題模型的理解更傾向于屬于同一主題的單詞在語(yǔ)料庫(kù)中共同出現(xiàn)的頻率，該方法得到的數(shù)值稱為“一致性系數(shù)”，可用于評(píng)估LDA在不同主題數(shù)下的分類效果，取值范圍∈[-1.0,1.0]，通常數(shù)值越高，該主題數(shù)下的主題模型效果越好[19]。常見的一致性系數(shù)有CV、CP、CUMass等，其中CV組合了間接余弦度量、標(biāo)準(zhǔn)化點(diǎn)互信息和布爾滑動(dòng)窗口，綜合性能更強(qiáng)[20]，因此本文使用CV的數(shù)值度量主題模型輸出的一致性。通過對(duì)LDA主題的一致性系數(shù)計(jì)算，可以為用戶點(diǎn)贊信息集合提供適當(dāng)?shù)闹黝}數(shù)量，并將每條點(diǎn)贊微博分配到相應(yīng)主題中。

確定最佳主題數(shù)n后便得到“點(diǎn)贊微博—主題”的概率分布，即點(diǎn)贊微博di在每個(gè)主題tn下的主題分布概率pin，其中主題集合Topic={t1,t2,…,tn}，微博di的主題分布θi={(t1,pi1),(t2,pi2),…,(tn,pin)}，LDA主題模型完成訓(xùn)練。

2.3 用戶—主題稀疏矩陣

選取點(diǎn)贊微博di中最高概率值所對(duì)應(yīng)的主題t，作為該微博所屬主題。假設(shè)User={user1,user2,…,userm}為用戶集合，以主題集合和用戶集合分別作行標(biāo)簽與列標(biāo)簽，建立“用戶—主題”稀疏矩陣，該稀疏矩陣建立規(guī)則為：若用戶點(diǎn)贊過主題tj下的微博，記為1；若該用戶未點(diǎn)贊過主題tj下的微博，則記為0。因此構(gòu)建的“用戶—主題”稀疏矩陣Cm×n示例如式7所示。將該稀疏矩陣以及用戶對(duì)應(yīng)的特征作為輸入，訓(xùn)練預(yù)測(cè)模型。本次實(shí)驗(yàn)中選用的預(yù)測(cè)模型同樣是Logistic回歸模型。

(7)

2.4 用戶特征預(yù)測(cè)

新數(shù)據(jù)集加入時(shí)，新用戶點(diǎn)贊信息的主題分布可由訓(xùn)練好的主題模型推斷得到，進(jìn)而實(shí)現(xiàn)新用戶的特征預(yù)測(cè)。清洗數(shù)據(jù)后，首先將新數(shù)據(jù)集中用戶點(diǎn)贊微博文本集合輸入到已訓(xùn)練的LDA主題模型中，實(shí)現(xiàn)主題劃分；其次仍構(gòu)建相應(yīng)的“用戶—主題”稀疏矩陣；最后使用已訓(xùn)練Logistic回歸模型，預(yù)測(cè)新數(shù)據(jù)中用戶特征，完成預(yù)測(cè)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)描述

微博作為當(dāng)今人們交流和共享信息的熱門平臺(tái)，能夠提供用戶行為等各方面豐富的公開數(shù)據(jù)，為學(xué)術(shù)研究奠定了充足的數(shù)據(jù)基礎(chǔ)。因此，本文以微博平臺(tái)數(shù)據(jù)為例，提取某熱點(diǎn)事件下參與討論的所有用戶近1年內(nèi)的點(diǎn)贊微博，并剔除點(diǎn)贊次數(shù)低于5次的用戶以及被點(diǎn)贊次數(shù)低于10次的微博文本，最終篩選出64 598位用戶及這些用戶的點(diǎn)贊微博共計(jì)1 854 548條，并劃分訓(xùn)練集和測(cè)試集，分別作為訓(xùn)練模型的數(shù)據(jù)以及待預(yù)測(cè)的新數(shù)據(jù)集。測(cè)試集為總數(shù)據(jù)集中隨機(jī)選取的約20%用戶以及對(duì)應(yīng)的點(diǎn)贊微博。最終得到表1所列數(shù)據(jù)集合：

表1 數(shù)據(jù)清洗后有效用戶數(shù)以及相應(yīng)的點(diǎn)贊微博數(shù)

待預(yù)測(cè)特征有性別、認(rèn)證類型、是否本科學(xué)歷、年齡階段。表2為訓(xùn)練集中有特征信息的用戶數(shù)量分布。

表2 訓(xùn)練集中用戶特征分布情況

表2顯示訓(xùn)練集中僅性別中男女類別比例相近，而其他特征均出現(xiàn)一個(gè)類別遠(yuǎn)高于另一類別的數(shù)據(jù)不平衡特點(diǎn)。為保證預(yù)測(cè)模型預(yù)測(cè)結(jié)果準(zhǔn)確，對(duì)于類別不平衡的數(shù)據(jù)需要利用smote算法做類別平衡后再訓(xùn)練預(yù)測(cè)模型。

3.2 確定合適主題數(shù)

一致性系數(shù)計(jì)算通過Gensim包中的ConherenceModel實(shí)現(xiàn)。實(shí)驗(yàn)中以10為間隔，可以得到不同主題數(shù)對(duì)應(yīng)的一致性系數(shù)變化趨勢(shì)，具體如圖2所示。

圖2 不同主題數(shù)下的一致性系數(shù)

圖2可知當(dāng)主題數(shù)n=110時(shí)，一致性系數(shù)均高于其他主題數(shù)下的相應(yīng)值，主題模型在該主題數(shù)下的表現(xiàn)更佳，因此設(shè)置實(shí)驗(yàn)中LDA主題模型的主題數(shù)n為110。

3.3 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)中模型的評(píng)價(jià)指標(biāo)主要依據(jù)F1值。二分類問題通常將樣例以真實(shí)的類別和預(yù)測(cè)后的類別為基礎(chǔ)，組合為真正例(True Positive)、假正例(False Positive)、真反例(True Negative)以及假反例(False Negative)4種情形，在該組合基礎(chǔ)上可得到學(xué)習(xí)器評(píng)價(jià)指標(biāo)：準(zhǔn)確率(Precision)與召回率(Recall)，定義為：

(8)

(9)

通常準(zhǔn)確率與召回率呈反比關(guān)系。為了能夠兼顧準(zhǔn)確率和召回率，Pazzani[21]等在同時(shí)考慮兩者的基礎(chǔ)上提出了F-Measure指標(biāo)。F-Measure指標(biāo)即F1值，可看作準(zhǔn)確率與召回率的一種調(diào)和平均。F1取值范圍為[0,1]，通常值越高說明預(yù)測(cè)效果越好，定義為：

(10)

3.4 結(jié)果分析

利用Logistic回歸模型完成測(cè)試集的預(yù)測(cè)?；贚DA的預(yù)測(cè)模型(當(dāng)主題數(shù)n=110時(shí))與基于SVD的預(yù)測(cè)模型(當(dāng)降維數(shù)k=110時(shí))對(duì)測(cè)試集用戶特征預(yù)測(cè)結(jié)果評(píng)估具體如圖3所示。

圖3a表明，兩種模型僅預(yù)測(cè)性別特征時(shí)F1值相近，其他特征預(yù)測(cè)中LDA預(yù)測(cè)模型F1值均高于SVD預(yù)測(cè)模型，并在預(yù)測(cè)本科學(xué)歷特征時(shí)有最明顯的差異，差值高達(dá)約0.15。進(jìn)一步比較在測(cè)試集中，基于LDA的預(yù)測(cè)模型與基于SVD的預(yù)測(cè)模型對(duì)用戶特征預(yù)測(cè)運(yùn)算時(shí)間，結(jié)果如圖3b所示。圖3b可見，兩種模型預(yù)測(cè)測(cè)試集中各類用戶特征時(shí)，基于LDA的預(yù)測(cè)模型運(yùn)算時(shí)間均低于基于SVD的預(yù)測(cè)模型運(yùn)算時(shí)間，其中在性別預(yù)測(cè)中時(shí)間減少68.19%，本科學(xué)歷預(yù)測(cè)中時(shí)間減少66.45%，認(rèn)證類型預(yù)測(cè)中時(shí)間減少74.34%，年齡階段預(yù)測(cè)中時(shí)間減少67.40%，運(yùn)算時(shí)間平均減少69.09%。

圖3 兩種預(yù)測(cè)模型的F1值比較

綜合分析，基于LDA的預(yù)測(cè)模型在F1值以及運(yùn)算時(shí)間均優(yōu)于基于SVD的預(yù)測(cè)模型，說明LDA主題模型較SVD模型能夠更好的實(shí)現(xiàn)對(duì)新數(shù)據(jù)集用戶特征的預(yù)測(cè)。

4 結(jié)論

本文的研究基于用戶基本特征信息以及用戶相應(yīng)的點(diǎn)贊微博文本數(shù)據(jù)，對(duì)新數(shù)據(jù)的用戶特征進(jìn)行預(yù)測(cè)。首先對(duì)已有數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，篩選出符合條件的用戶以及相應(yīng)的點(diǎn)贊微博文本，利用LDA主題模型劃分用戶點(diǎn)贊微博文本的主題，并選用“一致性系數(shù)”作為確定最佳主題數(shù)的指標(biāo)后，完成LDA主題模型的訓(xùn)練；其次基于“用戶-主題”關(guān)聯(lián)規(guī)則建立對(duì)應(yīng)的稀疏矩陣，作為訓(xùn)練Logistic預(yù)測(cè)模型的輸入；最后通過加入新數(shù)據(jù)集，根據(jù)已有模型判斷新數(shù)據(jù)集中用戶點(diǎn)贊文本的主題分布，從而實(shí)現(xiàn)對(duì)新數(shù)據(jù)集用戶的特征預(yù)測(cè)，并將預(yù)測(cè)結(jié)果與傳統(tǒng)的SVD方法得到的結(jié)果進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，基于LDA的預(yù)測(cè)模型在預(yù)測(cè)用戶特征時(shí)，各特征相應(yīng)的F1值以及運(yùn)算時(shí)間均優(yōu)于基于SVD的傳統(tǒng)預(yù)測(cè)模型，并且由于LDA模型在預(yù)測(cè)新數(shù)據(jù)集時(shí)，僅需根據(jù)已訓(xùn)練的LDA主題模型便能夠得到新數(shù)據(jù)集的主題分布，很大程度上降低運(yùn)算的復(fù)雜度，同時(shí)也提高了運(yùn)算速度，相較SVD模型需重構(gòu)矩陣計(jì)算，更具有預(yù)測(cè)效率。

本文工作中提出的基于LDA的預(yù)測(cè)模型不僅彌補(bǔ)了現(xiàn)有標(biāo)簽不能有效反映用戶真實(shí)偏好的缺陷，并且為快速預(yù)測(cè)在線用戶特征提供了另一條便捷途徑。本文的研究也存在以下不足：實(shí)驗(yàn)數(shù)據(jù)僅基于微博平臺(tái)上某個(gè)特定事件，存在局限性，若選取多個(gè)熱點(diǎn)事件下的用戶及其點(diǎn)贊信息集合作為訓(xùn)練集，提升訓(xùn)練集的數(shù)據(jù)質(zhì)量，在預(yù)測(cè)新數(shù)據(jù)的用戶特征時(shí)是否能夠提升預(yù)測(cè)效果；此外由于用戶的每一條點(diǎn)贊微博服從主題的概率分布，若構(gòu)建用戶-點(diǎn)贊微博主題概率分布矩陣而非建立用戶-主題稀疏矩陣，以該矩陣訓(xùn)練模型用于預(yù)測(cè)用戶特征，預(yù)測(cè)結(jié)果有何變化。本文中未討論這些情況，后續(xù)可以對(duì)該預(yù)測(cè)模型拓展相關(guān)工作，進(jìn)一步提高模型性能。