亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于LSTM深度神經網(wǎng)絡的情感分析方法

        2019-01-03 00:42:28
        上饒師范學院學報 2018年6期
        關鍵詞:神經網(wǎng)絡分類深度

        (上饒師范學院 數(shù)學與計算機科學學院,江西 上饒 334001)

        近年來,隨著博客、微信、維基等社交網(wǎng)絡的不斷增長,基于社交網(wǎng)絡等媒介的情感分析[1]正成為工業(yè)界與學術界的研究熱點。情感分析也稱觀點挖掘[2-3],屬于自然語言處理與計算語言學的范疇,其主要目標是將文本進行分類即正面情感或負面情感,有時還可劃分為中性情感[4]。對于情感分析,已經涌現(xiàn)出大量相關情感分類方法,如PD Turney[5]與Taboada[6]等人分別先后于2002年、2011年提出基于字典的切分類方法。Pang與Lee[7-8]把機器學習的傳統(tǒng)算法應用到情感分析中,并利 用 詞 袋 模 型[2]對 文 本 進 行 情 感 分析。近年來,隨著人工神經網(wǎng)絡與深度學習研究的不斷進展,如Kim于2014年提出CNN(Convolutional Neural Network,卷積神經網(wǎng)絡)模型[9],利用詞向量對文本進行分類,并取得了不錯的效果。Mikolov[10]等人在2010年提出通過RNN(Recurrent Neural Network,循環(huán)神經網(wǎng)絡)來進行建模,此模型可以充分地利用上下文信息構建語言模型,效果比較顯著。Socher[11]等人通過改進的遞歸神經網(wǎng)絡模型(Recursive Neural Network)來獲取句子語義特征,提高了情感分類的準確率。

        在傳統(tǒng)的循環(huán)神經網(wǎng)絡中,在梯度反向傳播階段,狀態(tài)轉移矩陣權重的大小將會對學習過程產生強烈影響。具體說來,如果狀態(tài)轉移矩陣中的權重較小,這將導致梯度信號變得太小以致于學習非常緩慢甚至停止從而帶來梯度消失問題。反之,如果矩陣中的權重較大,將導致梯度信號過大使得學習偏離而造成所謂的梯度爆炸問題[12]。

        本研究在RNN循環(huán)神經網(wǎng)絡的基礎上,建立LSTM深度神經網(wǎng)絡模型,對文本情感進行分析,通過在公開數(shù)據(jù)集上的相關實驗,證明LSTM模型情感分析方法的有效性。

        1 LSTM模型

        1.1 LSTM模型結構

        為了解決RNN模型中的上述問題,這里采用LSTM(Long Short-Term Memory,長短記憶網(wǎng)絡)模型[13],其是一種時間遞歸的深度神經網(wǎng)絡。LSTM引入一種稱之為記憶單元 (memory cell)的新型結構,具體如圖1所示,記憶單元主要由輸入門、自循環(huán)連接的神經元、遺忘門和輸出門四個部分組成。

        圖1 LSTM記憶單元示意圖

        1.2 LSTM模型算法流程

        為了理解LSTM網(wǎng)絡模型的工作原理,這里通過一系列算法方程進行說明,假設每個時間步t,記憶單元層將進行更新,進一步假設如下:

        (1)xt是記憶單元層在時間t的輸入。

        (2)Wi,Wf,Wc,Wo,Ui,Uf,Uc,Uo與Vo是權重矩陣。

        (3)bi,bf,bc,bo是偏差向量。

        具體算法流程如下:

        第1步:在每一個時間步t,將計算it。具體將輸入門輸入信息與權值相乘,再加上偏置量,然后將記憶單元狀態(tài)從Ct-1更新到Ct,具體方程如下:

        it=σ(Wixt+Uiht-1+bi)

        (1)

        (2)

        ft=σ(Wfxt+Ufht-1+bf)

        (3)

        (4)

        第3步:在上述更新后記憶單元狀態(tài)后,就可以不斷計算輸出門的值,具體方程如下。

        ot=σ(Woxt+Uoht-1+VoCt+bo)

        (5)

        ht=ot* tanh(Ct)

        (6)

        2 實驗過程

        為了比較LSTM與RNN深度神經網(wǎng)絡在情感分析方面的性能,這里設計了對比實驗,實驗數(shù)據(jù)來自Kaggle 的情感分類比賽UMICH SI650[14],分別用LSTM與RNN網(wǎng)絡模型進行訓練學習與預測,以分析對比這兩個模型的優(yōu)劣。

        2.1 實驗環(huán)境介紹

        本研究實驗硬件環(huán)境為中高性能PC;軟件環(huán)境主要基于Keras與Tensorflow的深度學習平臺,具體配置如表1所示。

        表1 實驗環(huán)境具體配置

        2.2 數(shù)據(jù)集準備

        本研究采用公開本情感分類數(shù)據(jù)集UMICH SI650,UMICH SI650數(shù)據(jù)集中的數(shù)據(jù)是從相關博客中抽取,每一行構成一個句子。本實驗的目標通過構建模型進行訓練,然后進行相應測試,將測試集中每一個句子進行情感分析分類即“positive(正面)”和“negative(負面)”。UMICH SI650訓練數(shù)據(jù)中有7 086個句子,已經分別用“positive(正面)”和“negative(負面)”標注,這里將其中80%數(shù)據(jù)作為訓練集(共5 668條),20%數(shù)據(jù)作為測試集(共1 418條)。

        2.3 LSTM網(wǎng)絡模型的構建

        這里選用基于Python的深度學習庫Keras,因為Keras 提供現(xiàn)成的 LSTM 層構造。模型經過多次調優(yōu),具體模型超參數(shù)如下。

        (1)優(yōu)化器選擇

        鑒于Adam優(yōu)化器能夠自動調整學習速率,收斂速度更快,因而一般在復雜網(wǎng)絡中優(yōu)化性能更好,這里選擇Adam優(yōu)化器。

        (2)Epoch數(shù)量的選擇

        如果epoch數(shù)量太少,網(wǎng)絡就沒有足夠的時間訓練去尋找合適的參數(shù),從而造成欠擬合;而epoch數(shù)量太多,則有可能導致網(wǎng)絡過擬合。通過多次實驗后,經過了 10 個epoch 后,在測試集上的精度已經趨向收斂,因此,這里選擇epoch為10。

        (3)batch_size選擇

        在實驗中,采用逐步增大batch_size方案,最后選擇模型達到收斂,并且訓練時間最為合適的batch_size,因此,這里選擇batch_size為20。

        2.4 LSTM網(wǎng)絡模型的情感分析訓練與預測

        LSTM網(wǎng)絡模型先以上述數(shù)據(jù)集的詞為單位進行分詞,并統(tǒng)計詞頻,然后將訓練集中的句子描述為“詞-詞向量(embedding)”矩陣,再輸入到LSTM模型中進行訓練,最后將模型在測試數(shù)據(jù)中進行情感分類預測。具體流程如圖2所示。

        圖2 LSTM網(wǎng)絡模型的情感分析流程

        通過上述模型構建與超參數(shù)調優(yōu)后,此模型在UMICH SI650數(shù)據(jù)集上情感分析分類實驗,最終預測準確率為99.0%,具體如圖3所示。

        圖3 LSTM網(wǎng)絡模型情感分析預測精度

        2.5 RNN網(wǎng)絡模型的情感分析訓練與預測

        為了進一步對比分析本研究LSTM模型的精度,這里再利用RNN模型在同一數(shù)據(jù)集即UMICH SI650數(shù)據(jù)集上也進行情感分析分類實驗,最終預測準確率為98.8%,且模型訓練時間比LSTM網(wǎng)絡更長,具體如圖4所示。

        圖4 RNN網(wǎng)絡模型情感分析預測精度

        3 結論

        經上述實驗驗證分析,LSTM深度神經網(wǎng)絡比RNN網(wǎng)絡模型情感分析分類預測準確率更高,且訓練速度更快。證明基于LSTM深度神經網(wǎng)絡的情感分析方法能更準確地完成情感分析任務。

        4 展望

        基于LSTM深度神經網(wǎng)絡的情感分析方法在單語言文本(如英文或中文)處理上有較好性能,但隨著互聯(lián)網(wǎng)上的信息資源逐漸呈現(xiàn)出多語言化的特點,如何利用LSTM深度神經網(wǎng)絡相關模型解決跨語言的情感分析,這是下一步工作的研究重點。

        猜你喜歡
        神經網(wǎng)絡分類深度
        分類算一算
        深度理解一元一次方程
        神經網(wǎng)絡抑制無線通信干擾探究
        電子制作(2019年19期)2019-11-23 08:42:00
        分類討論求坐標
        深度觀察
        深度觀察
        深度觀察
        數(shù)據(jù)分析中的分類討論
        教你一招:數(shù)的分類
        基于神經網(wǎng)絡的拉矯機控制模型建立
        重型機械(2016年1期)2016-03-01 03:42:04
        爱v天堂在线观看| 无遮挡边摸边吃奶边做视频免费| 精品人妻av一区二区三区| 色综合天天综合网国产成人网| 午夜dy888国产精品影院| 奇米影视第四色首页| 国产精品免费观看久久| av人摸人人人澡人人超碰小说| 日韩www视频| 久青草国产视频| 亚洲成a人片77777kkkkk| 久久亚洲宅男天堂网址| av影片手机在线观看免费网址| 黄污在线观看一区二区三区三州| 久久不见久久见免费视频6 | 国产精品亚洲专区无码不卡| 中文字幕日本五十路熟女| 精品中文字幕在线不卡| 中国老太婆bb无套内射| 朝鲜女人大白屁股ass| 亚洲国产综合精品 在线 一区| 欧美在线不卡视频| 日韩亚洲欧美精品| 国产一区二区三区涩涩| 久久亚洲春色中文字幕久久| 欧美黑人巨大videos精品| 337p人体粉嫩胞高清视频| 日本不卡一区二区三区在线| 亚洲av无码av在线播放| 亚洲欧美日韩国产精品网| 人妻少妇久久精品一区二区| 亚洲av资源网站手机在线| 中文字幕本久久精品一区| 女人喷潮完整视频| 久久国产热精品波多野结衣av | 国产精品自在线拍国产| 999精品免费视频观看| 人妻少妇无乱码中文字幕| 91久久精品一区二区| 亚洲精品久久国产精品| 中文字幕一区二区三区精彩视频|