孔繁鈺，陳 綱

(1.重慶工商大學 管理科學與工程學院，重慶 400067；2.重慶大學 建筑城規(guī)學院，重慶 400045)

0 引 言

課堂教學評價是促進教學活動開展的重要形式，對各個階段的教學效果都有正向激勵作用[1]。教學評價的形式一般歸納為兩種，一種最為常見的是定量評價，即通過直觀的數(shù)據(jù)分析體現(xiàn)出教學效果，另外一種是定性評價，即通過較為感性的分析進行相應的評價，比如學生的主觀評價、聽課效果等等[2,3]。對于定量評價的量化處理相對簡單，然而定性的教學評價的數(shù)據(jù)處理少有研究，且傳統(tǒng)的評教文本情感分析方式已不能滿足現(xiàn)有需求[4]。

目前的情緒分析主要基于兩種方法分別是詞典規(guī)則方法以及統(tǒng)計機器學習方法[5,6]。基于詞典的規(guī)則方法，充分利用預先設定的情感詞匯表構成的情感詞典作為量化的基礎，從而更好的對情感傾向因素進行定量分析?；跈C器學習的淺層學習方法，通過將情感分析轉化為模式分類問題。因為最終獲得的特征無法進行有效區(qū)分，使得最終的分類效果不盡如人意[7]。除此之外，傳統(tǒng)方法的另外一個弊端是不同特征同樣具有一些可能的關聯(lián)，需要將其考慮在內。

本文通過定性評價數(shù)據(jù)情感分析實現(xiàn)質性數(shù)據(jù)處理，其主要創(chuàng)新點在于：①在Bi-LSTM網絡中使用恒等映射殘差理論，使神經網絡隨深度增加而退化的問題得到有效解決；②所提方法使用正則約束將評價文本的語法添加到改進Bi-LSTM網絡所有隱藏層中，實現(xiàn)對文本情感的魯棒準確分析。

1 相關工作

根據(jù)不同的監(jiān)督形式，可以將文本情感劃分成以下4種類型：①有監(jiān)督式；②無監(jiān)督式；③半監(jiān)督式；④深度學習分類[8]。有監(jiān)督式和無監(jiān)督式的不同之處在于使用的數(shù)據(jù)集是否帶有標注。一般情況下，很難獲取有標注的數(shù)據(jù)集，因此無監(jiān)督學習的準確率通常較低。半監(jiān)督式含有少量標注文本，準確率和適用性較好。深度學習分類通過神經網絡進行情感分類。

1.1 傳統(tǒng)的情緒分類方法

機器學習是監(jiān)督式方法的基礎。文獻[9]提出了一種利用結構化支持向量機(SVM)編碼的情感分類方法。結果表明，SVM比其它方法具有更高的準確性，但對于一些復雜特征的文本，其識別效率還有待提高[10]。文獻[11]利用SVM解決情感分析的模式分類問題。通過從Twitter的流API收集數(shù)據(jù)，在源自希臘銀行業(yè)的基準數(shù)據(jù)集上，將上述分類器與一組最新的機器學習分類器進行了測試。結果表明每個分類器都具有較好的分類準確性，但執(zhí)行效率還有待優(yōu)化。

無監(jiān)督學習方法根據(jù)先驗知識將情緒進行分類，該類方法效率雖低于有監(jiān)督的同類方法，但由于它們不需要大量標記語料庫而引起了研究者的廣泛關注[12]。文獻[13]提出了一種基于多級模糊計算和多準則融合的無監(jiān)督情感分類方法。采用多層次的計算模型來計算評論的情感強度，利用基于情感類別可信度和領域類別代表性的多準則融合策略進一步降低情感極性的歧義，但在實際分類環(huán)境下受外界干擾較大，穩(wěn)定性較差。文獻[14]提出了一種針對大數(shù)據(jù)的多模式情感和情感建模的新架構。針對該體系結構中的多峰數(shù)據(jù)特征提取模塊，提出了稱為分治主成分分析和分治線性判別分析的新穎特征提取技術，獲得了較好的分類效果，但其準確率仍有較大的提升空間。

在標記數(shù)據(jù)集較少的情況下，半監(jiān)督學習方法是一種合適的選擇。與有監(jiān)督學習方法相比，該方法消耗的時間和人力更少，分類效果也優(yōu)于無監(jiān)督學習方法[15]。因此，半監(jiān)督學習方法表現(xiàn)出了優(yōu)于其它兩種類型的方法。文獻[16]在情感分類問題中使用了半監(jiān)督學習中的聚類核算法，同時闡述了一種利用聚類核的半監(jiān)督形勢下的算法。通過構建加權無向圖進而得出聚類核，但是該圖需要包括所有樣本，得到的核函數(shù)在輸入到情感分類器中進行強化練習，最終就完成了情感分類。文獻[17]通過半監(jiān)督學習減少多模態(tài)情感分類的注釋工作。利用半監(jiān)督變分自動編碼器從未標記的數(shù)據(jù)中挖掘更多信息，以進行多模式情感分析。但難以消除語義之間分布差異的負面影響。

1.2 基于深度學習的情緒分類

近年來，深度學習模型在計算機視覺和語音識別取得了顯著的效果。它也被應用于自然語言處理任務，包括單詞嵌入和文本訓練的研究。卷積神經網絡(convolutional neural network，CNN)首先應用于計算機視覺，然后應用于自然語言處理，在語義分析、搜索查詢檢索、句子建模等傳統(tǒng)自然語言處理任務中取得了良好的效果[18]。因此，在文本分類中的應用越來越受到人們的關注。文獻[19]提出了一種基于LSTM-CNN的情感分類模型。通過卷積和池化操作再次過濾LSTM提取的特征以找到重要的局部特征，結果表明所提模型可以獲得較高的情感分類準確性，但對訓練數(shù)據(jù)集高度依賴，從而影響分類的魯棒性。文獻[20]提出了一種結合CNN、詞性和注意力機制的目標情感分類方法。該方案基于輸入序列的LSTM建模。

大多數(shù)的學習連續(xù)詞表示的算法通常只對詞的句法上下文建模，而忽略了文本的情感。因此，本研究采用對定性評價數(shù)據(jù)情感分析實現(xiàn)質性數(shù)據(jù)處理，提出了利用改進Bi-LSTM結合Word2Vec詞向量的文本情感分析方法。

2 改進的Bi-LSTM

2.1 LSTM與Bi-LSTM

LSTM對遞歸神經網絡(RNN)進行了創(chuàng)造性的改進，采用了“三門限設計”，具體定義可以參見文獻[21]等相關資料。LSTM的局限性在于其僅按順序序列對數(shù)據(jù)進行處理，無法對信息進行從后往前的編碼。然而，在文本中的詞匯通常與上下文存在關聯(lián)，有著雙向的語義依賴。由此可知，逆序處理對于文本信息的處理具有很大意義。Bi-LSTM能夠使正逆LSTM完成融合，再基于兩個隱層從正向與反向兩個角度分別對數(shù)據(jù)展開分析，將分析后所得的數(shù)據(jù)再次融合進而成為新的輸入數(shù)據(jù)。

2.2 改進的Bi-LSTM

與LSTM相比，Bi-LSTM的優(yōu)勢在于其不僅能使用輸入中的歷史數(shù)據(jù)，還能使用輸入的未來數(shù)據(jù)，具體原理結構展示如圖1所示。

圖1 Bi-LSTM的網絡模型

若使用α表示圖1中的向前傳播序列，用β表示反向傳播序列，給定特征圖的輸入用 (x1,…,xn) 表示，則Bi-LSTM的計算如下

(1)

深度殘差網絡使用恒等映射的殘差塊，使神經網絡的退化問題得到有效解決，在提高準確率的基礎上使網絡訓練更簡易。鑒于此，使用深度殘差改進Bi-LSTM網絡對深層梯度消失問題進行處理，改進的Bi-LSTM結構如圖2所示。

圖2 改進Bi-LSTM的網絡模型

由圖2可知，信息在水平方向(時間維度)以及垂直方向(空間維度)上流動，不僅有輸入和輸出層，還有兩個殘差塊作為隱藏層。每一個殘差塊都由2個Bi-LSTM組成，共計8個LSTM單元，所提方法采用的是ReLU激活函數(shù)。改進Bi-LSTM優(yōu)勢在于能融合累積相鄰幀間的特征，對整個文本的疊加信息進行獲取，最后使用softmax分類層實現(xiàn)對文本的情感分析。

3 評教文本情感分析方法

本次研究的創(chuàng)新之處主要在于深入探究了評教文本的情感分析，這類題材的分析不同于短小的微博情感分析，需要處理的語句信息量較大，冗余信息較多，一般評教的中文語句更加復雜。這就要求在情感分析中更多地關注模型約束，為此將正則化約束添加到Bi-LSTM的隱藏層中，且在改進Bi-LSTM網絡的所有隱藏層中都加入語法。

3.1 基于Word2Vec詞向量的表示學習

Word2Vec是一種詞向量的機器學習工具，由Google公司開發(fā)，是文本分析的重要工具之一。Word2Vec的模型結構如圖3所示。更多定義和相關介紹請參見文獻[22]。

圖3 Word2Vec模型結構

3.1.1 輸入層

為了充分利用詞的特性，在預處理過程中，將數(shù)據(jù)集中的每個文本分成多個用空格隔開的詞，并針對每個單詞訓練一個嵌入詞，在訓練每個單詞嵌入時使用Word2Vec。具體單詞的嵌入是通過指定相應的參數(shù)來獲得的，這些參數(shù)包括嵌入單詞的尺寸、迭代次數(shù)以及上下文窗口的大小(即每個窗口中的字符數(shù))。每一個出現(xiàn)多次的單詞都被添加到一個包含m×k維數(shù)的字典中，其中m為字典中的單詞數(shù)，k為訓練時指定的嵌入單詞的維數(shù)。

文本x包含n個字符的輸入，表示為

(2)

式中：⊕為聯(lián)合算子。xi∈k表示文本x中對應i個單詞的k維嵌入詞，因此x可以表示為n×k的特征矩陣，其中n為文本長度，即漢字數(shù)量；k為之前訓練中指定的嵌入詞的維數(shù)，即每個漢字表示為一個k維的嵌入詞。在此基礎上，需要對x的特征矩陣進行計算，從而求出其特征值，這里使用的是Word2Vec。

3.1.2 卷積層

所提方法使用具有多個不同尺寸卷積核的并行卷積層來學習文本特征，最終得到了文本中的特征，這樣可以有效避免偶然性的發(fā)生。對于卷積核，特征κi表示為

κi=φ(w·xi～(i+h-1)+b)

(3)

式中：w是共享權重，xi～(i+h-1)代表了連接詞的嵌入，從文本x上i字到 (i+h-1) 字，b是一個偏移項，φ是一個非線性函數(shù)，選取整流線性單元(ReLU)。則

κi=max(0,w·xi～(i+h-1)+b)

(4)

對于這個卷積核，依次進行h個單詞的卷積，文本長度為n。因此，n-h+1執(zhí)行運算，導致以下特征圖為

κ=[κ1,κ2,…,κn-h+1]

(5)

因此，n-h+1特征圖用于每個卷積核獲得特征向量t的尺寸是1×(n-h+1)。 如果卷積核的數(shù)量是p，那么p特征向量可以通過特征映射獲得。

如果q并行卷積核的不同類型使用的數(shù)量和每種類型的卷積核是p，那么在特征映射之后就可以獲得特征向量(p×q)。

3.1.3 池化層

以上論述了從卷積核中提取特征的過程，該模型使用多個不同尺寸的卷積核來獲得多個特征。如果在卷積層中使用不同大小的q并行卷積核，且每個卷積核的個數(shù)為p，則通過卷積和池化運算可以得到p×q一維特征值。最后，將所有融合的特征進行組合，得到一個維數(shù)為1×p×q的特征向量V，從而得到文本的特征向量V并傳至輸出層。

3.1.4 輸出層

池化層向量的輸出通過全連接層連接到softmax層。因此，最后一層是用于分類的全連接softmax層，其輸出是最終類別的概率分布。在最終實現(xiàn)中，在全連接層上使用了dropout技術，以防止隱藏層神經元自我適應并減少過度擬合，并且對全連接層的權重參數(shù)提供了L2正則化極限。因此

z=w·mfm(V,r)+b

(6)

式中：函數(shù)mfm(,) 表示乘以相應的矩陣元素，r∈p×q是伯努利方差。若采用softmax輸出概率分布，則j神經元的激活值ζj為

(7)

并且輸出激活值加起來為1，即

(8)

基于已經搜集到的評教文本，采用正或負的二進制分類作為分類結果，分類計算如下

(9)

式中：μ為超參數(shù)。

綜上，所提方法將每個文本轉換為輸入層中特征空間的句子表達，通過Word2Vec詞向量進行特征提取和泛化，并在輸出層中實現(xiàn)評教文本的情感分析。

本文使用Python在TensorBoard上實現(xiàn)和可視化Word2Vec模型，如圖4所示。在網絡中，嵌入層代表輸入層，conv-maxpool代表卷積和池化層，一共有3個并行的卷積層，每個都緊隨其后并與池化層相連。通過3層卷積和池化合并獲得的特征值由連接層連接起來并傳遞到輸出層。輸出層是采用dropout技術的全連接的softmax層，輸出分析準確率和模型損失。

圖4 TensorBoard的可視化網絡

3.2 評教文本情感分析步驟

評教文本情感分析模型的構建流程如圖5所示。

圖5 評教文本情感分析模型的分析流程

第一步，在得到輸入后使用Word2Vec對輸入數(shù)據(jù)進行轉換并表示詞向量，再將詞向量輸入模型；第二步，采用正則約束，在改進Bi-LSTM網絡的所有隱藏層中都加入語法。第三步，采用語法規(guī)則調節(jié)器對輸入的詞向量詞性進行判斷，再對句子相鄰位置的輸出進行規(guī)范，從而模擬句子層次中非情感詞、情感詞、否定詞和程度詞的語言作用。不同分類的詞語采用不同的解決方式。

若相鄰位置均為非情感詞，則表明相鄰位置的情感基本一致。若當前詞為情感詞詞典中的詞語，則當前位置的情感分布應與周圍位置的情感分布會有著明顯區(qū)別，該問題可用情感遷移進行處理。若當前詞為否定詞詞典中的詞語，則表明當前位置的情感極性會發(fā)生反轉，程序會通過特定的轉換矩陣對此類語言現(xiàn)象進行模擬。如果該詞是詞典中所列出的詞，比如“很”、“非?！钡?，那么這種詞就表達了感情的強弱，這種效果可采用特定的轉換矩陣來實現(xiàn)。

4 實驗結果與分析

實驗在PC機上進行，其操作系統(tǒng)為Linux操作系統(tǒng)，Ubuntu 14.04，主頻為3.2 GHz，內存大小為16 GB，硬盤為512 G，采用Python 3.5編程。

4.1 數(shù)據(jù)集

實驗采集2017學年到2020學年的學生評教數(shù)據(jù)，將其作為本次實驗的數(shù)據(jù)。具體見表1。隨機從數(shù)據(jù)集中挑選45 000條數(shù)據(jù)作為訓練集，將56 000條文本數(shù)據(jù)作為測試集。一些文本數(shù)據(jù)列舉如下，其中前兩個為正面評教，后兩個為負面評教。

表1 實驗數(shù)據(jù)統(tǒng)計

李老師講課幽默有耐心，分享很多實際案例，容易給人以啟發(fā)和教育；

宋老師動作準確規(guī)范，跟同學互動的多，令人嘆服；

張老師講課很枯燥，總是“照本宣科”，面無表情；

胡老師講課講得天花亂墜，卻不管同學能不能聽懂。

4.2 評價指標

本文使用了4個指標對所提方法進行評價，分別是準確率acc、精度pre、召回率rec和F1值，對應的公式如下

(10)

(11)

(12)

(13)

其中，TP表示實際為正例且被正確地劃分為正例的個數(shù)；FP表示實際為負例但被錯誤劃分為正例的個數(shù)；TN表示實際為負例且被正確地劃分為負例的個數(shù)；FN表示實際為正例但被錯誤劃分為負例的個數(shù)。

4.3 結果分析

對比不同方法(所提方法與文獻[11]、文獻[16]、文獻[20])的準確率、精度、召回率和F1值，實驗結果如圖6所示。

圖6 不同方法的情感分析性能對比

其中，文獻[11]利用SVM解決情感分析的模式分類問題，將SVM分類器與一組深度機器學習分類器進行測試訓練。文獻[16]中探討了基于半監(jiān)督的聚類核算法，同時利用該方法進行了實例計算，構建了加權無向圖來求解聚類核，然后將該核函數(shù)用于SVM并完成情感分類任務。文獻[20]提出了一種結合CNN、詞性和注意力機制的目標情感分類方法，該方案基于輸入序列的LSTM網絡建模，建立針對給定目標的注意力機制，改進了文本情感分類方法，提高了其準確率。

由圖6中可以看出，所提方法的準確率為93%，F(xiàn)1值為92%，精度為89%，召回率為97%，均優(yōu)于其它對比方法。文獻[11]利用SVM實現(xiàn)情感分析，但未充分考慮情感類型，因此整體分析性能不佳。文獻[16]將半監(jiān)督學習中的聚類核算法應用到情感分類問題中，雖然能夠實現(xiàn)情感分析，但情感信息易丟失，因此召回率較低，僅為86%。文獻[20]結合CNN、詞性和注意力機制進行情感分類，取得了較好的分析效果，但是忽略了文本的字的信息，因此精度上有所欠缺。

為了進一步驗證所提方法的有效性，隨機從文本集中挑選5000條數(shù)據(jù)作為已標注數(shù)據(jù)集L，其余為測試集Test，將未標記的評教數(shù)據(jù)分類到未標注數(shù)據(jù)集。實驗分4次隨機挑選一些數(shù)據(jù)作為初始訓練集，這些訓練集分別有500條、1000條、2000條和5000條。最后的準確率結果如圖7所示。

圖7 準確率的對比

由圖7結果可知，文獻[16]的準確率優(yōu)于文獻[11]，這是因為文獻[11]利用SVM解決情感分析的模式分類問題，沒有將較高置信度的預測結果加入到訓練集中。文獻[16]使用了半監(jiān)督學習中的聚類核算法，將半監(jiān)督學習與集成學習相結合，使得準確率較大提高。同樣地，不難發(fā)現(xiàn)文獻[20]結合CNN、詞性和注意力機制，準確率較高，但相比于所提方法仍有所遜色。所提方法在Bi-LSTM網絡的基礎上，利用正則化約束，將語法加入到改進Bi-LSTM網絡的每個隱藏層中，同時基于語法規(guī)則調節(jié)器對詞向量進行準確、快速判斷，其優(yōu)點是能夠更加客觀全面的對詞向量的特征加以描述。再利用對句中鄰近位置輸出得到非情感詞、情感詞以及程度詞等，這樣保證了評教文本情感分析的準確率，因此當L/U為5000/50000時，準確率可達到97%。

為了評估各方法的魯棒性，對數(shù)據(jù)集L和U嵌入一定數(shù)量的無關的中文字符后(這些中文字符隨機添加到一些教評文本中，以對訓練產生擾亂和噪聲效果)，再比較各方法在多少步訓練后達到穩(wěn)定的準確度。最終結果如圖8所示。從圖8中可以看出，當加入擾亂中文字符后，所提方法基本上在2000個訓練步驟后趨于穩(wěn)定，準確率達到97%。由于所提方法采用Word2Vec詞向量方式對文本特性進行表示，使用正則約束將文本語法的評價添加到改進Bi-LSTM網絡所有隱藏層中，使得改進后的Bi-LSTM網絡對擾亂特征具有一定的過濾作用，實現(xiàn)了對文本情感的魯棒準確分析。文獻[11]和文獻[16]進行情感分析時，考慮的因素不夠全面，對干擾的抵抗力較弱，因此整體準確率不佳。文獻[20]結合CNN、詞性和注意力機制進行情感分類，準確率達到96.5%，但由于缺乏文本特征的分析，因此情感分析的準確性受擾亂中文字符的干擾的較大。

圖8 加入擾亂中文字符后的整體精度變化

此外，對于不同方法中，不同語義單元的情感分析準確率見表2。

表2 情感分類準確率的不同語義單元

從表2中可以看出，不論何種模型，詞向量模型的整體準確性低于字符模型的整體準確性，所提方法與SVM、RNN、LSTM兩種模型的準確率分別降低了0.9%，1.5%、1.6%和1.2%。由于使用字符嵌入模型時，關鍵組成元素更通用，可以減少過度擬合，與使用單詞作為特征元素時相比，特征粒度更小，并且可以學習更多的特定特征。通過對比4種方法，以字符為特征元素的性能要優(yōu)于使用單詞的特征模型，并且所提方法由于采用Word2Vec模型訓練詞向量，通過求詞向量相似度對短文本進行特征擴展，其性能優(yōu)于其它方法，由此也論證了所提方法的有效性。

此外，若已標注數(shù)據(jù)集較小，則分析的準確率會變低；反之，準確率則會變高。由此可知，所有方法對于初始訓練集的大小都會存在一定的依賴性，這也是以后需要深入研究的方面。

4.4 自采集數(shù)據(jù)的結果分析

為了保證研究的科學性、全面性，作者選擇的語料包含了重慶工商大學2019級所有師生的評價數(shù)據(jù)，然后將它們分成了兩種類型，一種用于訓練，一種則用于測試，數(shù)據(jù)數(shù)量達到了9854條，這些數(shù)據(jù)中不僅包含了一些量化評分，還包含了主觀評價。語料庫中的Data(數(shù)據(jù)屬性)是質性評語的集合，語料庫中的Label(目標屬性)值是由量化評分采用規(guī)則所組成，規(guī)則見表3。

表3 量化評分和質性評語的規(guī)則

由于文獻[20]的分析性能與所提方法最為接近，因此進一步比較所提方法與文獻[20]方法。從全體學生評價數(shù)據(jù)中選取不同數(shù)量組成大小不等的數(shù)據(jù)集，分別是1000條數(shù)據(jù)量組成的測試集，2000條數(shù)據(jù)量組成的測試集、3000條數(shù)據(jù)量組成的測試集以及4000條數(shù)據(jù)量組成的測試集，剩余則組成了訓練集主要功能是作為對比用，結果見表4。

表4 情感分析性能的對比

從表4中可以看出，所提方法的分析效果有了一定的提高。所提方法通過Word2Vec轉換和表示詞向量，對于優(yōu)化后的Bi-LSTM網絡中全部的隱藏層均增加一些語法，然后再將其利用語法規(guī)則調節(jié)器做出相應的判斷。最后，利用規(guī)范句子鄰近處進行輸出，對句中的非情感詞、情感詞、否定詞和程度詞的語言作用進行模擬。因此所提方法在4種語料情況下均高于文獻[20]方法，以語料(4000)為例，其準確率、召回率和F1值分別為95.4%、96.9%和95.1%。

5 結束語

目前評教信息大多是人工標記，未被完全利用以發(fā)揮它們的價值，為此，提出了一種利用改進Bi-LSTM結合Word2Vec詞向量的評教文本情感分析方法，通過機器學習相關方法提高評教信息的使用價值。該方法采用Word2Vec學習詞向量的空間表示，利用恒等映射殘差理論改進Bi-LSTM網絡，將改進后的Bi-LSTM網絡結合語法規(guī)則用于分析評教文本的情感。最后，基于Python開發(fā)環(huán)境對所提方法進行實驗分析，結果表明，所提方法的準確率、精度、召回率和F1值分別達到93%、89%、97%和92%，分析性能均優(yōu)于其它對比方法，并且已標注數(shù)據(jù)集的比例越大，情感分析準確率越高。因此所提方法是有效的，也為以后評教系統(tǒng)的構建奠定基礎。

未來，本文將得到的評教情感結果與其它數(shù)據(jù)進行結合，使評教體系更為客觀。能夠更好幫助教師對教學活動進行優(yōu)化、改善，從而保證教學質量，為社會培養(yǎng)更多高層次人才。