劉 勇,王 振

(青島科技大學(xué) 信息科學(xué)與技術(shù)學(xué)院,青島 266100)

恐懼、焦慮、內(nèi)疚、壓抑、憤怒、沮喪······每個人的身體里,都有一張關(guān)于情緒的地圖.研究指出,70%以上的人會不同程度的遭受到情緒對身體器官的“攻擊”,如“癌癥”的產(chǎn)生與長時間的怨恨情緒有關(guān)[1],經(jīng)常受到批評的人容易患關(guān)節(jié)炎[2]等.據(jù)統(tǒng)計,目前與情緒有關(guān)的病已達(dá)到200 多種,在所有患病人群中,70%以上都和情緒有關(guān).因此,我們可以通過跟蹤目標(biāo)人物的情緒變化,及時的將結(jié)果反饋給相關(guān)專家進(jìn)行分析,在分析值到達(dá)某臨界狀態(tài)時,進(jìn)行預(yù)警處理.故通過分析情緒波動狀況來及時發(fā)現(xiàn)、處理情緒變化的影響,可以更好的輔助疾病預(yù)防工作.

目前,越來越多的人喜歡通過微信、QQ 等實時在線工具進(jìn)行溝通交流.為更好的發(fā)現(xiàn)和關(guān)注目標(biāo)人物的情緒波動狀況,我們結(jié)合深度學(xué)習(xí)相關(guān)技術(shù),研究了基于深度學(xué)習(xí)對目標(biāo)人物情緒預(yù)測.

針對情感預(yù)測方面的研究已受到國內(nèi)外學(xué)者的廣泛關(guān)注.從Hearst 等[3]開始表示情感傾向分析預(yù)測在文本處理中的重要意義.此后Brown 等[4]發(fā)現(xiàn)情緒指標(biāo)與投資者的關(guān)系.在最近幾年,Pagolu 等[5]使用Word2Vec對情緒進(jìn)行了預(yù)測分析,將情感預(yù)測的準(zhǔn)確率提升到一個新層次.李瀟瀟等[6]依據(jù)DHS 模型對情感的影響及走勢建立了模型.朱小微[7]通過使用TS-BP 模型,實現(xiàn)了對中文影評情感傾向的研究.

以往關(guān)于情感傾向預(yù)測研究中大部分使用統(tǒng)計和機器學(xué)習(xí)的方法,而統(tǒng)計方法會帶來準(zhǔn)確率低等問題.使用機器學(xué)習(xí)的方式可以帶來準(zhǔn)確率的提高,但其分類效果僅停留在二分類方面.深度學(xué)習(xí)的出現(xiàn)解決了這兩種方法的局限性,在提高準(zhǔn)確率的同時,保證分類結(jié)果不再局限于兩類

本文提出了一種基于深度學(xué)習(xí)的目標(biāo)人物的情緒預(yù)測模型.首先調(diào)用BERT 預(yù)訓(xùn)練集,訓(xùn)練好情感識別模型,然后調(diào)用情緒定量算法,判定一個人的情感常態(tài),最后將模型與定量算法結(jié)合對目標(biāo)人物的情感進(jìn)行預(yù)測.

1 情緒預(yù)測概述

在情緒預(yù)測算法中,最重要的是情緒定量相關(guān)的算法.只有將情緒進(jìn)行量化處理,才能進(jìn)行數(shù)值的預(yù)測與分析.因此,在情緒預(yù)測前必然要邁過的一道門檻兒就是情緒定量問題.在目前情緒定量的算法中,人們更多的是通過特征詞對情緒進(jìn)行定量.Hu 等[8]利用規(guī)則提取出高詞頻的名詞和名詞性短語作為高頻屬性,但該方法的問題是屬性詞過于分散,且沒有進(jìn)行歸類篩選,從而導(dǎo)致實驗的準(zhǔn)確度較低.周清清等[9]利用高頻名詞構(gòu)建候選屬性詞,通過深度學(xué)習(xí)來構(gòu)建候選屬性詞向量,根據(jù)屬性詞向量完成候選屬性詞聚類,得到目標(biāo)候選屬性詞集.這種方法可以更全面發(fā)現(xiàn)評論對象細(xì)粒度屬性,但在噪音過濾方面仍需加強,并且對于冷門屬性的效果較差.此外,也有好多的實驗更偏向于心理學(xué)和理學(xué)方面,而沒有站在計算機角度去分析研究.在未來的發(fā)展中,只有不同學(xué)科領(lǐng)域進(jìn)行交叉融合,才能更好的應(yīng)用于現(xiàn)實生活.因此,本文提出了一種基于數(shù)據(jù)集的定量方法,通過研究目標(biāo)人物的日常整體對話,來對其整體情緒進(jìn)行定量.

目前,在情緒預(yù)測方面有很多的學(xué)者都以網(wǎng)絡(luò)文本來做相關(guān)研究,但最終更多的是應(yīng)用在經(jīng)濟領(lǐng)域上.Oliveeira 等[10]使用從微博中提取的情感和注意力指標(biāo)(采用大型Twitter 數(shù)據(jù)集)以及調(diào)查指數(shù)來預(yù)測股市的行為.Si 等[11]提出一種基于Twitter 情感主題的技術(shù)來預(yù)測股票市場.Ding 等[12]發(fā)現(xiàn)Facebook 的“l(fā)ike”數(shù)量會影響票房表現(xiàn).張帥等[13]通過識別分析投資者的情緒來預(yù)測研究市場的成交量.

本文提出情緒定量和擬合算法,結(jié)合情緒定量化與算法進(jìn)行預(yù)測.首先通過訓(xùn)練改進(jìn)對話識別模型,執(zhí)行參數(shù)傳遞來啟動情感預(yù)測算法.通過情緒預(yù)測的定量算法確定用戶的情緒程度系數(shù),用BERT 神經(jīng)網(wǎng)絡(luò)進(jìn)行情緒分類.將得到的分類情緒與程度系數(shù)相結(jié)合,得到一天的整體情緒,放到情緒擬合算法中,預(yù)測目標(biāo)人物第二天的情緒.具體架構(gòu)如圖1所示.其中,數(shù)據(jù)集有兩大作用,一是通過定量算法的調(diào)用確定情緒程度系數(shù),二是為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練提供訓(xùn)練集.

圖1 情緒預(yù)測算法架構(gòu)

2 情緒定量和擬合算法

在情感定量和擬合算法中,數(shù)據(jù)集是其基礎(chǔ)的數(shù)據(jù).因此算法中為了使識別到的情緒更加準(zhǔn)確,添加了多種標(biāo)簽.分別為氣憤,厭煩,中立,開心,興奮5 種情緒標(biāo)簽,并分別使用1,2,3,4,5 來進(jìn)行代替.同時,我們也對數(shù)據(jù)集加上了具體的時間特征,來為最終結(jié)果的定量分析與時間引用提供幫助.

2.1 情緒定量算法

目標(biāo)人物在某個具體時間的情緒很好判斷,但是其一天內(nèi)的情緒卻無法判斷,因此在本節(jié)提出一種情緒定量算法來判斷一天內(nèi)的主流情緒.

由于每個人的情緒狀況也不是均衡分布的,比如有的人生性易怒,有的人天生和善.情緒定量算法應(yīng)用了歸一化算法Z-score 標(biāo)準(zhǔn)化(0-1 標(biāo)準(zhǔn)化方法).將每個人的脾氣進(jìn)行分類,根據(jù)數(shù)據(jù)集給每種情緒來確定其情緒程度系數(shù)進(jìn)行定量.具體公式如下:

其中,x表示5 種情緒中一種情緒的標(biāo)簽待定數(shù)值,μ表示所有數(shù)據(jù)集平均值,σ表示所有數(shù)據(jù)集的標(biāo)準(zhǔn)差也稱為標(biāo)準(zhǔn)偏差.

σ標(biāo)準(zhǔn)差公式如下:

其中,N為數(shù)據(jù)集的數(shù)量大小,xi是 數(shù)據(jù)集中第i個數(shù)據(jù)的情緒待定值.

除去8 小時晚上休息的時間,我們按照一天的16 個小時對識別結(jié)果進(jìn)行處理.根據(jù)數(shù)據(jù)集的標(biāo)注,將其中1 代表生氣,2 代表厭煩,3 代表中立,4 代表開心,5 代表興奮,通過如下公式進(jìn)行處理,對一天內(nèi)所代表的情緒進(jìn)行總結(jié):

其中,E代表一天內(nèi)的主流情緒,α,β,χ,δ,ε分別代表生氣,厭煩,中立,開心的情緒程度系數(shù)[14],是由式(1)所求出的 |X*|,N代表的是識別到的一天內(nèi)情緒個數(shù),最終得到的E值就代表了該目標(biāo)人物某一天的主流情緒.

2.2 情緒擬合算法

為解決根據(jù)已知數(shù)值來預(yù)測未來數(shù)值的難題,我們將數(shù)學(xué)領(lǐng)域中的最小二乘法公式與情緒識別領(lǐng)域相結(jié)合,提出了一種新的情緒擬合算法.在識別出情緒,完成定量后,下一步需要對未來的情緒進(jìn)行預(yù)測,情緒擬合算法使用最小二乘法的思想來對已知結(jié)果進(jìn)行擬合曲線,來預(yù)測未來可能產(chǎn)生的情緒.

最小二乘法(又稱最小平方法)是一種數(shù)學(xué)優(yōu)化技術(shù).該技術(shù)通過最小化誤差的平方和來尋找數(shù)據(jù)的最佳函數(shù)匹配.利用最小二乘法可以簡便地求得未知的數(shù)據(jù),并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和為最小.下面我們以一元的公式為例,最小二乘法公式推導(dǎo)如下:

給定如下成對的數(shù)據(jù){(x1,y1),(x2,y2),···,(xm,ym)},設(shè)待擬合的公式為:

誤差結(jié)果為:

當(dāng)擬合直線的誤差最小時,直線參數(shù)a0,a1滿足:

即:

整理上式結(jié)果可得:

求解方程組可得:

最終將得到的a0,a1帶入式(1)中,得到0 最終求解,然后再使用y=a0+a1x公式,結(jié)合后面BERT 做好的情緒分類與定量算法相結(jié)合所得到的數(shù)值,去預(yù)測目標(biāo)人物情緒的變化.

3 目標(biāo)情緒識別

目標(biāo)情緒識別是將目標(biāo)人物的情緒識別出來,并且進(jìn)行定量分析和對目標(biāo)人物的情緒進(jìn)行匯總,再進(jìn)行預(yù)測.

如圖2所示,首先對數(shù)據(jù)集進(jìn)行預(yù)處理,然后對數(shù)據(jù)集中的語句進(jìn)行分詞處理,處理完畢將其放到BERT[15]的預(yù)訓(xùn)練模型中轉(zhuǎn)換成向量后,再將其放入到BERT神經(jīng)網(wǎng)絡(luò)中對其進(jìn)行訓(xùn)練,之后利用訓(xùn)練好的模型對目標(biāo)人物的簡單對話進(jìn)行識別,對識別的情緒進(jìn)行匯總預(yù)測與分析,得到最終結(jié)果.

圖2 系統(tǒng)總體架構(gòu)

BERT 作為Transformer 結(jié)構(gòu)的網(wǎng)絡(luò)一經(jīng)推出,便刷新了很多NLP 任務(wù)的最好性能,其結(jié)構(gòu)如圖3所示.在SQuADv1.1 上將BERT 與其他先進(jìn)的NLP 系統(tǒng)進(jìn)行了對比,獲得了93.2%的F1 分?jǐn)?shù)(一種準(zhǔn)確度的衡量指標(biāo)),超過了之前最高水準(zhǔn)分?jǐn)?shù)91.6%合人類分?jǐn)?shù)91.2%.并且BERT 具有廣泛的通用性,可以很簡單的移植到情感分類方面.

BERT 作為Transform 特征抽取器,與傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)相比,可以獲取更長的上下文信息.同時,傳統(tǒng)的LSTM 模型只學(xué)習(xí)到了單向的信息,而BERT 改進(jìn)了常見的語言雙向模型,轉(zhuǎn)而使用上下文融合語言模型.其不同于Word2Vec 需要對輸入模型的所有詞序列進(jìn)行預(yù)測,BERT 語言模型不再是簡單地將從左到右和從右到左的句子編碼簡單拼接起來,而是隨機遮擋部分字符,訓(xùn)練中損失函數(shù)只計算被遮擋的token[16],避免了上下文中對當(dāng)前詞類的影響,在真正意義上實現(xiàn)雙向.

圖3 BERT 預(yù)訓(xùn)練語言模型

預(yù)訓(xùn)練是BERT 的重要部分,但預(yù)訓(xùn)練需要巨大的運算資源.按照論文里描述的參數(shù),其Base 的設(shè)定在消費級的顯卡Titan x 或Titan 1080ti (12 GB RAM)上,甚至需要近幾個月的時間進(jìn)行預(yù)訓(xùn)練,同時還會面臨顯存不足的問題.

谷歌公布的預(yù)訓(xùn)練集為兩部分,分別為Base 版本和Large 版本,Base 版本大小在400 MB 左右,Large版本大小在1.2 GB 左右.谷歌針對大部分的語言都公布了BERT 的預(yù)訓(xùn)練模型,滿足了各國研究者的需求.因此可以更方便地在自己的數(shù)據(jù)集上進(jìn)行微調(diào).

4 實驗及其結(jié)果

4.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集為subtitle 電視劇對話數(shù)據(jù)集,經(jīng)過整理篩選出17 500 句日常的簡單對話,對其進(jìn)行校準(zhǔn)標(biāo)注.其含有包含 5 種情感,其中喜悅、興奮、憤怒、生氣各有3300 條,平常的感情狀態(tài)有4300 條.數(shù)據(jù)結(jié)構(gòu)如圖4所示.對話數(shù)據(jù)集包含3 部分:時間,內(nèi)容和情緒標(biāo)簽.我們可以根據(jù)時間去推算情緒隨著時間的變化,根據(jù)內(nèi)容和情感標(biāo)簽,去訓(xùn)練神經(jīng)網(wǎng)絡(luò),以及情感系數(shù)的確定.

4.2 數(shù)據(jù)集處理

在進(jìn)行訓(xùn)練時,BERT 開始前會給每個輸入文本開頭和結(jié)尾分別加上[CLS]和[SEP].在中文BERT 模型中,中文分詞是基于字而非詞的分詞.BERT 會為標(biāo)識真實字符/補全字符標(biāo)識符,其中真實文本的每個字對應(yīng)1,補全符號對應(yīng)0,[CLS]和[SEP]也為1.轉(zhuǎn)換完成后的特征值就可以作為輸入,用于模型的訓(xùn)練和測試.

完成讀取數(shù)據(jù)、特征轉(zhuǎn)換之后,將特征送入模型進(jìn)行訓(xùn)練,訓(xùn)練算法為BERT 專用的Adam 算法,其中的訓(xùn)練集、測試集、驗證集比例為3:1:1.

圖4 對話數(shù)據(jù)集

在保存訓(xùn)練集時回保存為TFRecord 類型的文件減小,程序運行時零散的數(shù)據(jù)集對其的影響.我們進(jìn)行訓(xùn)練調(diào)用,與驗證時同樣直接調(diào)用TFRecord 文件.

4.3 實驗環(huán)境及參數(shù)設(shè)置

實驗中涉及神經(jīng)網(wǎng)絡(luò)參數(shù)的設(shè)置,具體設(shè)置如表1所示.使用谷歌開放的中文預(yù)訓(xùn)練模型參與訓(xùn)練,Base版本Chinese_L-12_H-768_A-12,使用的訓(xùn)練機器為雙顯卡1080ti,顯存為12 GB.使用的編程語言為Python,使用到的主要庫為Tensorflow1.9.0.

表1 模型參數(shù)設(shè)置

4.4 實驗結(jié)果與分析

為了驗證本文提出的基于深度學(xué)習(xí)在情感預(yù)測上面的有效性,分別使用過BERT 和正在廣泛應(yīng)用Bi-LSTM,LSTM 進(jìn)行對比.實驗中沒有使用SVM 等機器學(xué)習(xí)方法是由于機器學(xué)習(xí)方法僅能做到兩分類狀況,無法做到多分類.

圖5為不同深度模型中運行結(jié)果的對比圖,在第一行中分別使LSTM,Bi-LSTM,BERT 對同一天的數(shù)據(jù)對其預(yù)測的結(jié)果圖,其中橫軸為時間縱軸為情緒,其中每一個點為經(jīng)過訓(xùn)練模型識別得到結(jié)果.從圖中可以看出,主要為早上8 點到晚上24 點之間的情緒變化.第二行為同一數(shù)據(jù)對半個月內(nèi)的情緒變化,其中虛線為對情緒變化的擬合.可以看出LSTM 對下一步的情感預(yù)測將是往平淡方向發(fā)展,而Bi-LSTM 和BERT 的趨勢將是往興奮方面發(fā)展.

圖5 運行結(jié)果對比

得益于BERT 在特征提取方面的優(yōu)勢和雙向性的結(jié)合他的F1 值高于LSTM 和BI-LSTM,足以展現(xiàn)其在深度學(xué)習(xí)當(dāng)中的優(yōu)勢.

在用BERT 進(jìn)行訓(xùn)練時,其驗證集的準(zhǔn)確率可以達(dá)到90%,其中驗證集的誤差是0.3.其中結(jié)合情感定量算法所得到的情感系數(shù)從生氣到興奮之間的系數(shù)分別為0.89、1.27、0.89、1.74、0.89.從系數(shù)可以看出,其偏向于樂觀的性格.虛線表示為經(jīng)過情緒量化算法后得到的結(jié)果,藍(lán)色曲線的變化為目標(biāo)人物從9.17 到10.3 這段時間內(nèi)的情緒變化,虛線為擬合算法擬合出來的預(yù)測曲線最高次冪為10 次,其結(jié)果如表2所示.

表2 實驗結(jié)果

再將x值相當(dāng)于日期輸入到公式中即可預(yù)測其目標(biāo)人物的未來情緒狀況.

實驗結(jié)果如圖6所示,隨著預(yù)測需要預(yù)測時間的增加,其準(zhǔn)確率也在不斷地變化,從第2 天的90%準(zhǔn)確率逐步降低,當(dāng)預(yù)測到第10 天時,準(zhǔn)確率下降速率最快,但是隨著時間的推移預(yù)測的準(zhǔn)確率也在不斷的降低,最終的結(jié)果在20%上下浮動.

5 總結(jié)與展望

本文主要使用基于深度學(xué)習(xí)的方法進(jìn)行情感預(yù)測,使用BERT 來訓(xùn)練情感識別模型,然后通過情緒定量算法,判定一個人的情感常態(tài).最后將模型與定量算法相結(jié)合有效預(yù)測目標(biāo)人物的情感走向變化.

本文提出的情感預(yù)測模型有廣闊的發(fā)展應(yīng)用前景.在醫(yī)學(xué)領(lǐng)域,可以通過對目標(biāo)人物的情緒變化信息進(jìn)行收集,為目標(biāo)人物的疾病進(jìn)行預(yù)警.在市場經(jīng)濟領(lǐng)域,也可以利用情感預(yù)測模型大體判斷出目標(biāo)投資人的意愿走向.

為進(jìn)一步提高精確度,可以增加數(shù)據(jù)集內(nèi)容.在后續(xù)工作中,可以從細(xì)化,完善數(shù)據(jù)集中的標(biāo)記規(guī)則進(jìn)行著手,同時擴展語料的規(guī)模.單純使用實體權(quán)重相同的損失函數(shù)進(jìn)行訓(xùn)練效果并不是太理想,可以對各類設(shè)置加權(quán)損失函數(shù),進(jìn)一步提升情緒的識別效率.

圖6 準(zhǔn)確率與時間推移的關(guān)系