方 冰 尚義博 劉笑影

（上海大學(xué)管理學(xué)院 上海 200444）

1 引言

在當(dāng)今時(shí)代，社交平臺(tái)已成為用戶獲取信息和表達(dá)觀點(diǎn)的主要渠道。龐大的社交媒體用戶量以及頻繁的社交活動(dòng)形成了大量的以博文形式存在的用戶生成內(nèi)容［1］。因此，基于用戶生成內(nèi)容的意見挖掘［2］已成為熱門的研究領(lǐng)域。用戶立場(chǎng)檢測(cè)作為其中一個(gè)重要的新興研究課題，指的是檢測(cè)用戶對(duì)某一特定事件是否持有立場(chǎng)或立場(chǎng)是支持還是反對(duì)［3］。

現(xiàn)有的用戶立場(chǎng)檢測(cè)工作可以分為兩類：一類是基于特征工程的機(jī)器學(xué)習(xí)立場(chǎng)檢測(cè)方法，通過(guò)挖掘豐富的文本語(yǔ)義特征結(jié)合特征融合的方法研究立場(chǎng)檢測(cè)問(wèn)題；另一類是基于深度學(xué)習(xí)，借助CNN、RNN、LSTM等神經(jīng)網(wǎng)絡(luò)模型來(lái)開展立場(chǎng)檢測(cè)工作。兩類方法均以文本作為唯一研究對(duì)象通過(guò)機(jī)器學(xué)習(xí)算法來(lái)研究立場(chǎng)檢測(cè)問(wèn)題。忽略了除博文信息外其他對(duì)于用戶立場(chǎng)檢測(cè)的影響因素。為了克服這一局限性，本文提出了一種新的基于文本和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的立場(chǎng)檢測(cè)算法。該算法基于認(rèn)知理論，認(rèn)為用戶的立場(chǎng)是由其先驗(yàn)立場(chǎng)和外界環(huán)境共同作用形成的，通過(guò)分析用戶文本語(yǔ)義特征提取先驗(yàn)立場(chǎng)，通過(guò)分析用戶所處的社交網(wǎng)絡(luò)結(jié)構(gòu)特征提取外界影響力強(qiáng)度，最后由兩者共同作用確定用戶最終立場(chǎng)。

2 相關(guān)工作

現(xiàn)有的社交網(wǎng)絡(luò)用戶立場(chǎng)檢測(cè)算法研究主要分為以下兩類：基于特征工程的立場(chǎng)檢測(cè)方法和基于深度學(xué)習(xí)的立場(chǎng)檢測(cè)方法。兩類方法均通過(guò)機(jī)器學(xué)習(xí)算法來(lái)研究立場(chǎng)檢測(cè)問(wèn)題。

2.1 基于特征工程的立場(chǎng)檢測(cè)方法

最初的立場(chǎng)檢測(cè)通過(guò)盡可能地挖掘文本特征來(lái)開展研究工作。Pang等［4］將文本n-gram、詞性特征置于立場(chǎng)檢測(cè)工作中，表明一元文法特征在立場(chǎng)檢測(cè)中效果更佳。Xu等［5］采用了更廣泛的文本語(yǔ)義特征，如Para2vec，LDA，LSA，LE，LPI等研究立場(chǎng)檢測(cè)中特征適用度與話題相關(guān)性問(wèn)題。Liu等［6］則是在探究不同特征的基礎(chǔ)上將特征進(jìn)行了融合。Dian等［3］將主題詞和立場(chǎng)標(biāo)簽共現(xiàn)關(guān)系這一特征放入立場(chǎng)檢測(cè)研究中，探究微博文本隱含語(yǔ)義問(wèn)題。

2.2 基于深度學(xué)習(xí)的立場(chǎng)檢測(cè)方法

一般基于深度學(xué)習(xí)的立場(chǎng)檢測(cè)方法大多借助CNN、RNN、LSTM等神經(jīng)網(wǎng)絡(luò)模型來(lái)開展立場(chǎng)檢測(cè)工作。

Lecun等［7］利用CNN構(gòu)建了一個(gè)多層次的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。Wei等［8］則通過(guò)谷歌新聞?dòng)?xùn)練文本詞向量，利用CNN進(jìn)行特征提取并實(shí)現(xiàn)分類。CNN在輸入輸出方面表現(xiàn)優(yōu)異，但在處理連續(xù)序列的樣本時(shí)，卻很難將其劃分成獨(dú)立的單元進(jìn)行訓(xùn)練，所以在自然語(yǔ)言處理領(lǐng)域?qū)嶋H應(yīng)用比較廣泛的是基于RNN模型的一個(gè)特例LSTM［9］。MITRE［10］基于深度學(xué)習(xí)使用了一種基于RNN的兩層方法進(jìn)行立場(chǎng)檢測(cè)研究。Augenstein等［11］采用了LSTM對(duì)文本以及描述文本的主體進(jìn)行綜合建模。Yu等［12］使用雙層神經(jīng)網(wǎng)絡(luò)，在CNN下嵌套LSTM開展立場(chǎng)檢測(cè)工作取得不錯(cuò)的分類效果。

綜上所述，基于特征工程的方法需要從復(fù)雜多變的大量信息中尋找更豐富的文本特征來(lái)提升整個(gè)實(shí)驗(yàn)的表現(xiàn)；基于深度學(xué)習(xí)的方法通過(guò)計(jì)算機(jī)自動(dòng)習(xí)得模式特征并將特征融入到模型構(gòu)建中。這兩類研究都僅僅將微博文本作為唯一的研究對(duì)象，忽略了除博文信息外其他信息對(duì)于用戶立場(chǎng)檢測(cè)的影響。針對(duì)這個(gè)缺陷，本文提出一種基于文本分析技術(shù)和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)分析技術(shù)的立場(chǎng)檢測(cè)算法。該算法以認(rèn)知理論為出發(fā)點(diǎn)，在基于特征工程的立場(chǎng)檢測(cè)方法的基礎(chǔ)上加入?yún)^(qū)別于微博文本信息的新特征。這既彌補(bǔ)了基于特征工程方法對(duì)于特征的豐富性要求，也為深度學(xué)習(xí)的特征輸入提供了新的補(bǔ)充，更為重要的是為立場(chǎng)檢測(cè)研究提供了一個(gè)新的研究方向。

3 研究框架

人類認(rèn)知理論認(rèn)為［13～14］人類在生活的過(guò)程中首先會(huì)形成對(duì)于不同事物的先驗(yàn)認(rèn)知，繼而通過(guò)先驗(yàn)認(rèn)知來(lái)處理事物，當(dāng)事物攜帶信息與其先驗(yàn)認(rèn)知產(chǎn)生差異時(shí)便會(huì)出現(xiàn)認(rèn)知失衡現(xiàn)象，接著人類通過(guò)判斷學(xué)習(xí)形成對(duì)于該事物的新認(rèn)知，如圖1所示。

圖1 人類認(rèn)知過(guò)程

根據(jù)人類認(rèn)知理論，本文認(rèn)為用戶最終立場(chǎng)的形成過(guò)程為首先用戶所處的社會(huì)經(jīng)濟(jì)地位決定其先驗(yàn)立場(chǎng)，接著用戶所處的環(huán)境影響用戶的先驗(yàn)立場(chǎng)，最后在這兩方面因素的共同作用下生成最終立場(chǎng)。如圖2所示。

圖2 用戶立場(chǎng)形成過(guò)程

因此用戶立場(chǎng)檢測(cè)的核心包含以下兩點(diǎn)：一個(gè)是確定用戶所處的社會(huì)經(jīng)濟(jì)地位，二是如何有效地選取和評(píng)估外界因素?；诖耍疚奶岢隽诵碌牧?chǎng)檢測(cè)算法，如圖3所示。

圖3 研究框架

3.1 社區(qū)劃分

為了更好地研究基于社交網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)影響的立場(chǎng)檢測(cè)，我們將大型的社會(huì)網(wǎng)絡(luò)劃分成多個(gè)獨(dú)立的社區(qū)。本文采用最大化整個(gè)數(shù)據(jù)模塊度的社區(qū)發(fā)現(xiàn)算法——Louvain算法［15］。

3.2 特征提取

本文從用戶發(fā)布內(nèi)容數(shù)據(jù)中提取了文本特征、從用戶社交網(wǎng)絡(luò)數(shù)據(jù)中提取了網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特征。

3.2.1 基于用戶社交網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特征

本文將社區(qū)結(jié)構(gòu)特征以及用戶結(jié)構(gòu)特征作為立場(chǎng)檢測(cè)外界影響的具體反映。

1）度中心性：一個(gè)節(jié)點(diǎn)的度中心性越高，其在網(wǎng)絡(luò)中就越重要。其計(jì)算如下：

CD(Ei)表示節(jié)點(diǎn)的度中心性，cij表示用戶i與用戶j的聯(lián)系。

2）中介中心性：通過(guò)一個(gè)結(jié)點(diǎn)與其他節(jié)點(diǎn)相連的最短路徑橋梁的次數(shù)來(lái)反映一個(gè)節(jié)點(diǎn)的重要性。其計(jì)算如下：

其中CB(Ei)表示節(jié)點(diǎn)的中介中心性，bij(Ei)表示用戶i與用戶j連接的最短路徑長(zhǎng)度。

3）緊密中心性：通過(guò)計(jì)算該節(jié)點(diǎn)到其他節(jié)點(diǎn)的最短路徑和的倒數(shù)來(lái)衡量一個(gè)節(jié)點(diǎn)與網(wǎng)絡(luò)中其他節(jié)點(diǎn)的接近程度。其計(jì)算如下：

其中CC(Ei)表示節(jié)點(diǎn)的緊密中心性，p(Ei，Ej)表示節(jié)點(diǎn)i到節(jié)點(diǎn)j的最短路徑。

4）特征向量中心性：根據(jù)相鄰節(jié)點(diǎn)的中心性來(lái)計(jì)算該節(jié)點(diǎn)的中心性。其計(jì)算如下：

其中Ce(Ei)表示節(jié)點(diǎn)的特征向量中心性。

5）聚類分?jǐn)?shù)：聚類分?jǐn)?shù)越高的節(jié)點(diǎn)，節(jié)點(diǎn)間的聯(lián)系越緊密。其計(jì)算如下：

其中CC-S表示聚類分?jǐn)?shù)，S UM(F)表示與該節(jié)點(diǎn)有聯(lián)系的所有節(jié)點(diǎn)數(shù)。

6）社區(qū)特征集：本文將基于社區(qū)特征的度中心勢(shì)、中介中心勢(shì)、緊密中心勢(shì)、聚類分?jǐn)?shù)進(jìn)行集合。其計(jì)算如下：

Cmix表示特征聚合，Cmax表示網(wǎng)絡(luò)的最大中心性。

7）社區(qū)歸屬指標(biāo)：本文通過(guò)用戶互動(dòng)數(shù)據(jù)來(lái)研究社區(qū)環(huán)境對(duì)用戶立場(chǎng)的影響。其表示如下：

3.2.2 基于微博語(yǔ)義特征

本文在先前研究的基礎(chǔ)上提取文本的兩類特征：

1）基于詞頻統(tǒng)計(jì)特征

本文選取基于Unigram的詞袋特征對(duì)微博進(jìn)行詞袋化。同時(shí)采用最常見的TF-IDF算法［16］對(duì)詞袋化的向量進(jìn)行加權(quán)。

2）文本潛在語(yǔ)義特征

（1）段落向量（para2vec）

本文利用Gensim以及原始數(shù)據(jù)集，訓(xùn)練了一個(gè)100維的word2vec模型。

（2）文檔主題生成模型（LDA）

本文將主題數(shù)量設(shè)置為50，將每一篇文檔轉(zhuǎn)化成易于建模的詞頻向量。

（3）潛在語(yǔ)義分析（LSA）

本文首先建立Term-Document矩陣，接著對(duì)矩陣進(jìn)行奇異值分解并構(gòu)建潛在語(yǔ)義空間。

（4）文本相似性（sim）

本文將篩選后的博文分為11個(gè)主題，本文將文本相似性計(jì)算放在不同話題下。

3.2.3 分類器選擇

結(jié)合先前基于特征工程的立場(chǎng)檢測(cè)研究，本文采用支持向量機(jī)（SVM），邏輯回歸（LR），樸素貝葉斯（NB），Adaboost（ADA）以及隨機(jī)森林（RF）五種機(jī)器學(xué)習(xí)方法進(jìn)行立場(chǎng)檢測(cè)實(shí)驗(yàn)。

4 實(shí)驗(yàn)過(guò)程與結(jié)果討論

4.1 數(shù)據(jù)收集

本文基于新浪微博的真實(shí)數(shù)據(jù)集，將社區(qū)劃分為548個(gè)社區(qū)。數(shù)據(jù)包含40個(gè)社區(qū)共20730個(gè)原創(chuàng)用戶，116538條原創(chuàng)博文以及213450個(gè)轉(zhuǎn)發(fā)用戶?；贚DA對(duì)微博原始數(shù)據(jù)集進(jìn)行主題詞提取分析，一共得到11個(gè)主題共8900條微博并完成數(shù)據(jù)標(biāo)注工作。

4.2 立場(chǎng)檢測(cè)實(shí)驗(yàn)

針對(duì)立場(chǎng)檢測(cè)研究，本文進(jìn)行了三組實(shí)驗(yàn)。

實(shí)驗(yàn)1：探究不同主題單體特征下文本特征與用戶社交網(wǎng)絡(luò)特征的優(yōu)劣性。其中所有單體特征相互對(duì)照。

實(shí)驗(yàn)2：在實(shí)驗(yàn)1的基礎(chǔ)上探究文本所提出的特征的有效性。實(shí)驗(yàn)2將實(shí)驗(yàn)所需特征重新劃分為三部分，其中文本特征（TFIDF、Para2vec、LDA、LSA、SIM）、拓?fù)浣Y(jié)構(gòu)特征（度中心性、中介中心性、緊密中心性、特征向量中心性、聚類分?jǐn)?shù)、社區(qū)特征集、社區(qū)歸屬）分別作為對(duì)照組，（文本＋拓?fù)浣Y(jié)構(gòu)特征）作為實(shí)驗(yàn)組。

實(shí)驗(yàn)3：在實(shí)驗(yàn)1，實(shí)驗(yàn)2的基礎(chǔ)上探究本文所提出的特征的話題適應(yīng)度。實(shí)驗(yàn)3將特征劃分為兩部分，其中對(duì)照組包括（TFIDF、Para2vec、LDA、LSA），實(shí)驗(yàn)組則包括所有的十二個(gè)特征。本文對(duì)以上所有特征依據(jù)如下公式進(jìn)行特征歸一化。

4.3 分類器選擇

對(duì)于數(shù)據(jù)不均衡問(wèn)題，本文采用欠采樣的方式進(jìn)行處理。訓(xùn)練集與測(cè)試集按4：1進(jìn)行劃分。其中實(shí)驗(yàn)1，實(shí)驗(yàn)2采用支持向量機(jī)（SVM），樸素貝葉斯（NB），Adaboost（ADA）以及隨機(jī)森林（RF）四種機(jī)器學(xué)習(xí)方法進(jìn)行分類實(shí)驗(yàn)。實(shí)驗(yàn)3在此基礎(chǔ)上增加了邏輯回歸（LR），使用五種機(jī)器學(xué)習(xí)方法進(jìn)行實(shí)驗(yàn)。所有實(shí)驗(yàn)均采用5折交叉驗(yàn)證。

4.4 評(píng)價(jià)指標(biāo)

本文采用最常用的準(zhǔn)確率、召回率和F1值作為評(píng)價(jià)標(biāo)準(zhǔn)。由于立場(chǎng)檢測(cè)更在乎有立場(chǎng)的信息。因此本文增加了支持和反對(duì)類的F1均值Favg作為綜合評(píng)價(jià)指標(biāo)。

4.5 結(jié)果分析

4.5.1 探究不同主題單體特征下文本特征與用戶社交網(wǎng)絡(luò)特征的優(yōu)劣性

本文首先研究不同主題下單一特征的分類情況。以“春晚”主題為例。基于Para2vec的分類結(jié)果更好，均值達(dá)到72.8%，分別高于TFIDF、LDA、LSA、sim，10.5%、17.2%、11.9%、8.7%。這表明基于word2vec計(jì)算的Para2vec能更好地捕捉文本語(yǔ)義信息。反觀拓?fù)浣Y(jié)構(gòu)特征在單一特征中表現(xiàn)不佳。這是因?yàn)樵谖⒉┝?chǎng)檢測(cè)中，用戶的信息特征更稀疏，在結(jié)果預(yù)測(cè)上圖4反映了基于“春晚”主題單一特征的整體情況。

圖4“春晚”主題特征的情況

4.5.2 探究拓?fù)浣Y(jié)構(gòu)特征的有效性

考慮到本文探究包含基于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)部分，因此判斷社區(qū)指標(biāo)在加入立場(chǎng)檢測(cè)實(shí)驗(yàn)后的分類表現(xiàn)就變得至關(guān)重要。本文將實(shí)驗(yàn)1單一特征調(diào)整為三部分特征集：文本特征集（TFIDF、LDA、LSA、Para2vec、sim）、拓?fù)浣Y(jié)構(gòu)特征集（度中心性、中介中心性、緊密中心性、特征向量中心性、聚類分?jǐn)?shù)、社區(qū)特征集、社區(qū)歸屬）、（文本特征+拓?fù)浣Y(jié)構(gòu)）特征集。并將新特征組合放在十一個(gè)主題下進(jìn)行立場(chǎng)檢測(cè)。樸素貝葉斯（NB）分類器下，十一個(gè)主題基于三個(gè)特征組的平均分別為60.45%、49.05%、70.27%。隨機(jī)森林（RF）下為62.80%、55.60%、70.00%。支持向量機(jī)（SVM）下為67.54%、62.89%、73.81%。Adaboost（ADA）下為61.40%、55.31%、71.34%。從圖5也可以看出不同主題下，基于文本+社區(qū)特征的表現(xiàn)最好。這表明本文加入的特征指標(biāo)的有效性。圖6表明針對(duì)本文不同主題的分類實(shí)驗(yàn)中支持向量機(jī)（SVM）表現(xiàn)更優(yōu)。

圖5 多主題多分類器下特征分類情況

圖6 十一個(gè)主題下分類器表現(xiàn)

4.5.3 探究基于社交網(wǎng)絡(luò)拓?fù)涮卣髁?chǎng)檢測(cè)方法的話題適應(yīng)度

實(shí)驗(yàn)3用來(lái)探究忽略主題下的立場(chǎng)檢測(cè)。本文將采用上文所提出的對(duì)照組特征進(jìn)行對(duì)比實(shí)驗(yàn)。圖7～9呈現(xiàn)了實(shí)驗(yàn)的實(shí)驗(yàn)的準(zhǔn)確率、召回率以及F1。數(shù)據(jù)結(jié)果表明基于五個(gè)機(jī)器學(xué)習(xí)方法的實(shí)驗(yàn)組結(jié)果均優(yōu)于對(duì)照組。這表明不考慮特定主題，本文指標(biāo)仍能夠有效地提高立場(chǎng)檢測(cè)結(jié)果。

圖7 實(shí)驗(yàn)3準(zhǔn)確率

圖8 實(shí)驗(yàn)3召回率

圖9 實(shí)驗(yàn)3 F1

5 結(jié)語(yǔ)

本文基于先前立場(chǎng)檢測(cè)研究以及人類認(rèn)知理論提出了基于文本和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的用戶立場(chǎng)檢測(cè)算法。首先采用Louvain算法，將用戶社交網(wǎng)絡(luò)劃分成獨(dú)立社區(qū)。接著本文根據(jù)真實(shí)數(shù)據(jù)集，采用LDA方法進(jìn)行主題詞提取分析，確定十一個(gè)實(shí)驗(yàn)主題并完成數(shù)據(jù)標(biāo)注，之后本文通過(guò)三個(gè)實(shí)驗(yàn)開展立場(chǎng)檢測(cè)研究。實(shí)驗(yàn)1研究在不同主題下單一特征的分類情況，結(jié)果表明基于文本的特征優(yōu)于基于拓?fù)浣Y(jié)構(gòu)的特征。實(shí)驗(yàn)2將原始特征集分為三部分：文本特征、拓?fù)浣Y(jié)構(gòu)特征、（文本特征+拓?fù)浣Y(jié)構(gòu)）特征。結(jié)果表明基于（文本特征+拓?fù)浣Y(jié)構(gòu)）特征的立場(chǎng)分類表現(xiàn)最優(yōu)，這表明本文所提出指標(biāo)的有效性。實(shí)驗(yàn)3選取基于詞頻統(tǒng)計(jì)的特征以及文本的潛在語(yǔ)義特征作為對(duì)照組特征。選取基于文本相似性指標(biāo)以及基于基于用戶社交網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)的特征作為實(shí)驗(yàn)組結(jié)果表明本文提出的特征能有效提升立場(chǎng)分類結(jié)果。

本文開展的基于新浪微博的立場(chǎng)檢測(cè)研究，還需要借助其他數(shù)據(jù)來(lái)驗(yàn)證模型的性能。此外本文采用人工標(biāo)注的方法存在標(biāo)注誤差。在未來(lái)的研究中，將繼續(xù)探索其他外界因素對(duì)于用戶立場(chǎng)的影響并挖掘更豐富的文本特征以及用戶畫像信息確定用戶先驗(yàn)立場(chǎng)。