王保華 熊余 姚玉 儲(chǔ)雯 呂翊
[摘? ?要] 隨著教育信息化建設(shè)的深入推進(jìn),教學(xué)系統(tǒng)中積累了海量的學(xué)生教學(xué)評(píng)價(jià)數(shù)據(jù),這些數(shù)據(jù)蘊(yùn)含了豐富的信息,亟待挖掘利用。為了挖掘?qū)W生教學(xué)評(píng)價(jià)中的情感傾向,為提高教學(xué)質(zhì)量提供科學(xué)依據(jù),文章提出了一種基于雙通道深度記憶網(wǎng)絡(luò)的深度學(xué)習(xí)模型,用于學(xué)生教學(xué)評(píng)價(jià)的方面級(jí)情感分析。在該模型中,設(shè)計(jì)了雙通道策略以充分提取評(píng)語(yǔ)中隱含的局部特征和上下文依賴(lài)信息,并使用循環(huán)注意力機(jī)制提取與特定教學(xué)方面相關(guān)的情感信息以實(shí)現(xiàn)細(xì)粒度的方面級(jí)情感分析。通過(guò)在真實(shí)的教學(xué)評(píng)價(jià)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),結(jié)果表明,所提出的方法能有效挖掘?qū)W生評(píng)價(jià)中關(guān)于不同教學(xué)方面的情感傾向,為教師和教學(xué)管理者了解并改進(jìn)教學(xué)提供依據(jù)。
[關(guān)鍵詞] 學(xué)生教學(xué)評(píng)價(jià); 情感分析; 深度學(xué)習(xí); 深度記憶網(wǎng)絡(luò); 卷積神經(jīng)網(wǎng)絡(luò)
一、引? ?言
提高教學(xué)質(zhì)量是當(dāng)前教育的核心任務(wù),也是建設(shè)教育強(qiáng)國(guó)的基本要求。提高教學(xué)質(zhì)量,首先要能對(duì)教學(xué)質(zhì)量進(jìn)行客觀科學(xué)的評(píng)判或評(píng)價(jià)。由于教學(xué)服務(wù)的直接受眾是學(xué)生,故學(xué)生對(duì)教學(xué)的反饋信息在教學(xué)質(zhì)量評(píng)價(jià)中至關(guān)重要[1-2]。學(xué)生教學(xué)評(píng)價(jià)(Student Evaluations of? Teaching,SET)是各類(lèi)學(xué)校廣泛使用的收集課程教學(xué)質(zhì)量反饋信息的方法,能較好地反映學(xué)生對(duì)教學(xué)的滿意度,可以作為教學(xué)管理部門(mén)衡量教學(xué)效果的重要手段,也可以用于幫助任課教師有針對(duì)性地改進(jìn)教學(xué)。此外,SET還常常用于輔助行政決策,如作為教師職稱(chēng)晉升和崗位聘用的依據(jù)或參考[3]。可見(jiàn),SET已經(jīng)成為一種普遍采用的教學(xué)評(píng)價(jià)與管理制度,是教學(xué)體系內(nèi)涵建設(shè)的重要內(nèi)容[4]。
隨著教育信息化的深入推進(jìn),SET已經(jīng)逐步電子化[5],然而,由于其龐大的數(shù)據(jù)量,通過(guò)人工獲取學(xué)生的反饋信息仍然十分繁瑣。文本情感分析(Sentiment Analysis,SA)主要是基于文本數(shù)據(jù)研究人們對(duì)于商品、服務(wù)、事件等對(duì)象的情感、意見(jiàn)或態(tài)度,可以實(shí)現(xiàn)文本數(shù)據(jù)的自動(dòng)化處理。因此,如何利用情感分析技術(shù)從大量的SET數(shù)據(jù)中挖掘?qū)W生的情感傾向,是充分實(shí)現(xiàn)SET教學(xué)功能的關(guān)鍵,也是目前教育領(lǐng)域亟待解決的重要問(wèn)題之一[6]。
現(xiàn)有的SA方法主要有基于詞典的方法、基于機(jī)器學(xué)習(xí)(Machine Learning,ML)的方法和基于深度學(xué)習(xí)(Deep Learning,DL)的方法[7]。其中,基于詞典的方法主要利用情感詞典將語(yǔ)料庫(kù)中表達(dá)情感的關(guān)鍵詞提取出來(lái),進(jìn)而對(duì)目標(biāo)語(yǔ)句進(jìn)行情感分析[8]?;谠~典的方法能體現(xiàn)文本的非結(jié)構(gòu)化特征,在情感詞典覆蓋率和標(biāo)注準(zhǔn)確率較高的情況下分類(lèi)效果較理想[9],然而,此類(lèi)方法依賴(lài)語(yǔ)料庫(kù)的領(lǐng)域、語(yǔ)言等背景知識(shí),在實(shí)踐中難以構(gòu)建高質(zhì)量的情感詞典。基于ML的方法可以通過(guò)語(yǔ)句中詞語(yǔ)級(jí)別的情感特征準(zhǔn)確捕獲文本中有用的情感信息,這種詞級(jí)特征可以將語(yǔ)義信息表示成向量形式,方便衡量?jī)蓚€(gè)詞之間的相似度,因而在情感分析任務(wù)中表現(xiàn)良好[10]。據(jù)此,F(xiàn)rancis F. Balahadia等人開(kāi)發(fā)了一個(gè)基于意見(jiàn)挖掘和情感分析的教師績(jī)效評(píng)價(jià)系統(tǒng),將學(xué)生教學(xué)評(píng)價(jià)中的情感信息作為教師績(jī)效的評(píng)價(jià)標(biāo)準(zhǔn)之一[11]。Qika Lin等人分別使用樸素貝葉斯(Naive Bayesian,NB)、邏輯回歸等機(jī)器學(xué)習(xí)方法,自動(dòng)從學(xué)生教學(xué)評(píng)價(jià)中分析學(xué)生的情感傾向,并比較了這些方法的性能表現(xiàn),進(jìn)而實(shí)際應(yīng)用于學(xué)校教學(xué)管理系統(tǒng)的學(xué)生評(píng)教環(huán)節(jié)[12]?;贛L的方法簡(jiǎn)單易用,但是這種詞級(jí)特征過(guò)于依賴(lài)特征提取,對(duì)復(fù)雜句式的建模并不理想。近年來(lái),隨著基于DL的情感分析研究取得重大的進(jìn)展,各種DL模型被用來(lái)分析產(chǎn)品評(píng)論、社交媒體評(píng)論的情感傾向,并取得了良好的效果[13],因而研究者開(kāi)始將其應(yīng)用于教育領(lǐng)域[14-17]。Chiu-Wang Tseng等人設(shè)計(jì)了一個(gè)決策支持系統(tǒng),使用了NB、深度神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)等多種方法對(duì)學(xué)生教學(xué)評(píng)價(jià)問(wèn)卷的評(píng)語(yǔ)進(jìn)行情感分析,并將結(jié)果作為學(xué)校評(píng)選優(yōu)秀教師的參考依據(jù)[18]。
然而,上述研究多是對(duì)教學(xué)評(píng)價(jià)進(jìn)行句子或篇章級(jí)的情感分析,忽略了學(xué)生教學(xué)評(píng)價(jià)中細(xì)粒度的情感,即未考慮教學(xué)評(píng)價(jià)中學(xué)生對(duì)教學(xué)態(tài)度、教學(xué)方法等某個(gè)特定方面的情感傾向,難以讓教師有針對(duì)性地改進(jìn)教學(xué)。為此,本文設(shè)計(jì)了一種基于雙向門(mén)控循環(huán)單元(Bidirectional-Gated Recurrent Unit, Bi-GRU)和CNN的雙通道深度記憶網(wǎng)絡(luò)(Dual-Channel Deep Memory Network,DDMN),以用于學(xué)生教學(xué)評(píng)價(jià)的方面級(jí)情感分析(Aspect Based Sentiment Analysis,ABSA)。左通道中基于CNN的深度記憶網(wǎng)絡(luò)(Deep Memory Network,DMN)提取評(píng)語(yǔ)中的局部特征,右通道中基于Bi-GRU的DMN提取上下文依賴(lài)信息,將兩個(gè)通道得到的情感特征加以融合并通過(guò)Softmax分類(lèi)器得到評(píng)語(yǔ)關(guān)于特定方面的情感傾向。
二、問(wèn)題描述
SET的評(píng)語(yǔ)作為最直觀的學(xué)生反饋,包含豐富的信息。觀察評(píng)語(yǔ)可以發(fā)現(xiàn),很多評(píng)語(yǔ)不僅表達(dá)了對(duì)教學(xué)整體的積極或者消極的情感,還表達(dá)了對(duì)教學(xué)的某個(gè)具體方面的情感。例如:評(píng)語(yǔ)“非常棒的教授、非常好的教學(xué)技巧、謝謝老師給我們上這門(mén)課”中,表達(dá)了學(xué)生對(duì)教師“教學(xué)方法”方面的認(rèn)同,即表達(dá)了對(duì)該方面的積極情感。并且,通過(guò)對(duì)各個(gè)教學(xué)方面的挖掘分析,能深入了解學(xué)生對(duì)不同教學(xué)方面的關(guān)注程度。SET中這種細(xì)粒度的情感,表達(dá)了學(xué)生更加真實(shí)的感受,可以幫助教師和管理者更加了解教學(xué)效果,進(jìn)而為教學(xué)反思和針對(duì)性的教學(xué)改進(jìn)提供科學(xué)依據(jù)。
與電商產(chǎn)品評(píng)論相比,SET評(píng)語(yǔ)中的情感更加隱晦,情感特征提取更困難。如電商產(chǎn)品評(píng)論表達(dá)對(duì)某產(chǎn)品消極的情感可能很直接:“這個(gè)相機(jī)的畫(huà)質(zhì)很差”,對(duì)于這種直接性的評(píng)語(yǔ)采用CNN提取局部特征效果良好。而學(xué)生對(duì)某教師教學(xué)效果持負(fù)面評(píng)論時(shí),可能表述更為委婉,例如:比較性評(píng)語(yǔ)“李老師的課相比張老師的課還有提升空間”,或者“希望老師能配備一個(gè)好的助教”,這使得傳統(tǒng)的機(jī)器學(xué)習(xí)和CNN難以捕獲其中的情感特征。這時(shí)需要通過(guò)評(píng)語(yǔ)的語(yǔ)境,即上下文的依賴(lài)信息來(lái)綜合判斷評(píng)語(yǔ)的情感傾向,而RNN能很好地提取這種上下文的依賴(lài)信息,進(jìn)而得到更準(zhǔn)確的情感特征。
三、雙通道深度記憶網(wǎng)絡(luò)模型
DDMN模型用于SET方面級(jí)情感分析的流程如圖1所示。其中,SET數(shù)據(jù)收集和預(yù)處理部分是為了從教學(xué)評(píng)價(jià)網(wǎng)站獲取真實(shí)的學(xué)生評(píng)價(jià)數(shù)據(jù),經(jīng)預(yù)處理后將其作為情感分析所需的SET數(shù)據(jù)集。情感分析部分則是利用DDMN模型來(lái)提取評(píng)語(yǔ)的情感特征,進(jìn)而得到其情感標(biāo)簽。其中,左右兩個(gè)通道分別是兩個(gè)深度記憶網(wǎng)絡(luò),均包括記憶模塊、循環(huán)注意模塊兩個(gè)部分,不同之處在于,左通道由CNN構(gòu)建記憶模塊,右通道由Bi-GRU構(gòu)建記憶模塊。給定一條來(lái)自評(píng)語(yǔ)數(shù)據(jù)集的評(píng)語(yǔ),首先通過(guò)詞嵌入模塊得到評(píng)語(yǔ)的上下文表示,并將其分別輸入左、右通道中的記憶模塊。然后,左、右通道分別通過(guò)循環(huán)注意模塊從各自的記憶模塊中多次關(guān)注并提取特定方面的相關(guān)信息,以得到更準(zhǔn)確的情感特征。最后,將兩個(gè)通道得到的情感特征相融合以獲取最終的情感特征f,并輸入分類(lèi)器得到該評(píng)語(yǔ)的情感標(biāo)簽。
(一)數(shù)據(jù)收集與預(yù)處理
隨著在線學(xué)習(xí)平臺(tái)、學(xué)評(píng)教信息系統(tǒng)、教學(xué)質(zhì)量監(jiān)控系統(tǒng)的應(yīng)用,逐漸積累了大量SET數(shù)據(jù)。盡管不同系統(tǒng)的SET有著不同的評(píng)價(jià)指標(biāo)和方式,但主要都包括定量的評(píng)分和定性的評(píng)語(yǔ)兩種。在獲取上述數(shù)據(jù)后,可先根據(jù)數(shù)據(jù)的實(shí)際情況進(jìn)行數(shù)據(jù)清洗,去除空白評(píng)語(yǔ)和包含無(wú)法識(shí)別的特殊字符的評(píng)語(yǔ),然后進(jìn)行評(píng)語(yǔ)情感標(biāo)簽和方面標(biāo)簽的標(biāo)注。進(jìn)行情感標(biāo)注時(shí),由于評(píng)分定量地表達(dá)了學(xué)生的情感,因此,可以作為評(píng)語(yǔ)情感標(biāo)簽的依據(jù),而方面標(biāo)注的依據(jù)是評(píng)語(yǔ)中是否出現(xiàn)方面詞。
(二)詞嵌入模塊
在處理定性的評(píng)語(yǔ)文本時(shí),為了將非結(jié)構(gòu)化的文本語(yǔ)句表示為計(jì)算機(jī)程序可識(shí)別的數(shù)據(jù),需要將每個(gè)詞映射成一個(gè)低維、連續(xù)、實(shí)值的向量,即評(píng)語(yǔ)的詞嵌入。設(shè)L∈Rd×|V|是由GloVe生成的嵌入查找表,其中,d代表詞嵌入的維度,|V|代表查找表的大小,所有的詞向量都堆疊在該嵌入矩陣中[20]。給定由n個(gè)詞語(yǔ)組成的評(píng)語(yǔ)S={w1,w2,...,wi,...,wn},其中,第i個(gè)詞wi為方面詞,輸入模塊從L檢索詞向量,將評(píng)語(yǔ)和對(duì)應(yīng)的方面i映射到低維向量,得到評(píng)語(yǔ)的向量表示X={x1,x2,...,xi,...,xn}。將其中的方面詞的向量xi抽取出來(lái),作為后續(xù)循環(huán)注意模塊的輸入,其余的評(píng)語(yǔ)上下文表示x1,...,xi-1,xi+1,...,xn作為左、右通道的記憶模塊的輸入。
(三)記憶模塊
1. 左通道:CNN構(gòu)建記憶模塊
由于CNN能夠快速訓(xùn)練模型并從語(yǔ)句序列中獲取上下文的局部特征,因此,其被廣泛用于情感分析任務(wù)。CNN構(gòu)建記憶模塊主要由輸入層、卷積層、池化層組成,當(dāng)輸入為評(píng)語(yǔ)s={w1,w2,...,wi,...,wn}時(shí),通過(guò)詞嵌入后,CNN的輸入即為去除方面詞的評(píng)語(yǔ)上下文:
2. 右通道:Bi-GRU構(gòu)建記憶模塊
評(píng)語(yǔ)中的情感特征不僅包括單個(gè)單詞和局部特征,而且還包括上下文依賴(lài)性強(qiáng)的短語(yǔ)類(lèi)特征。如在評(píng)語(yǔ)“李老師上課很有特點(diǎn),不過(guò)我有點(diǎn)難以接受”中,“很有特點(diǎn)”和“難以接受”表達(dá)的情感信息完全不同。對(duì)于這種委婉表達(dá)的評(píng)語(yǔ),為了能更加準(zhǔn)確地對(duì)學(xué)生評(píng)價(jià)進(jìn)行情感分類(lèi),需要盡可能地利用評(píng)語(yǔ)的上下文依賴(lài)信息來(lái)提取出更準(zhǔn)確的情感特征。
RNN是一種能夠?qū)勺冮L(zhǎng)語(yǔ)句序列進(jìn)行建模,并捕獲語(yǔ)句中單詞間長(zhǎng)期依賴(lài)信息的模型,其被廣泛應(yīng)用于自然語(yǔ)言處理領(lǐng)域的文本語(yǔ)義信息建模,因此,使用RNN可以有效捕獲評(píng)語(yǔ)中的上下文依賴(lài)信息。然而,委婉表達(dá)的評(píng)語(yǔ)一般是較長(zhǎng)的復(fù)雜句,而RNN的記憶周期相對(duì)較短且容易發(fā)生梯度爆炸或梯度消失問(wèn)題。GRU作為RNN的一種改進(jìn)模型,其參數(shù)數(shù)量相對(duì)較少,訓(xùn)練更加容易,因而能夠在情感分析、圖像分類(lèi)等任務(wù)中取得更優(yōu)異的性能表現(xiàn)。GRU單元包括更新門(mén)和復(fù)位門(mén),對(duì)應(yīng)兩個(gè)Sigmoid非線性激活函數(shù)。更新門(mén)和復(fù)位門(mén)都能夠獨(dú)立地控制上一個(gè)時(shí)刻隱藏狀態(tài)信息的輸入,更新門(mén)用來(lái)控制當(dāng)前狀態(tài)需要遺忘的歷史信息量和接收的新信息量,復(fù)位門(mén)用來(lái)控制候選狀態(tài)中的歷史信息量,其模型結(jié)構(gòu)如圖2所示??梢詫RU模型簡(jiǎn)化為:
然而,由于評(píng)語(yǔ)上下文存在依賴(lài)性,即每個(gè)詞的語(yǔ)義同時(shí)與前面的詞和后面的詞相關(guān),而GRU內(nèi)部的隱藏狀態(tài)只保留了評(píng)語(yǔ)前面的詞的語(yǔ)義信息,忽略了后面的詞的語(yǔ)義信息。因此,這里可使用同時(shí)組合前向GRU和后向GRU的雙向GRU網(wǎng)絡(luò)。該網(wǎng)絡(luò)將每個(gè)GRU單元輸出拼接成最終輸出,使每個(gè)單元的輸出都包含了輸入評(píng)語(yǔ)中各個(gè)詞的完整上下文信息。雙向GRU在 t時(shí)刻輸出隱藏層狀態(tài)ht為:
(四)循環(huán)注意模塊
由于評(píng)語(yǔ)中每個(gè)詞對(duì)于情感分析的重要程度不同,通過(guò)Bi-GRU和CNN得到的各個(gè)記憶片對(duì)情感的貢獻(xiàn)也各不相同。例如:評(píng)語(yǔ)“上課比較拖拉,喜歡布置作業(yè),學(xué)生很累但成績(jī)有保障”的語(yǔ)境較為豐富,這里“但成績(jī)有保障”比上文的“拖拉”“很累”更重要。為了能關(guān)注到評(píng)語(yǔ)中的重要信息,可使用深度記憶網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)對(duì)記憶的循環(huán)注意,以充分利用記憶中的有用信息,從而獲取更準(zhǔn)確的情感特征。循環(huán)注意模塊由多個(gè)計(jì)算層(hop)組成,每個(gè)計(jì)算層都包含一個(gè)注意力層和線性層,其結(jié)構(gòu)如圖3所示。在第一個(gè)計(jì)算層(hop1)中,方面的向量表示xi作為輸入,通過(guò)注意力層對(duì)記憶片進(jìn)行加權(quán)后自適應(yīng)地從記憶M中提取出情感信息,再將此信息與輸入的線性變換相加作為輸出,并將結(jié)果作為下一層(hop2)的輸入;通過(guò)疊加hop,使得記憶中的有用信息被多次提取,最后一層中的輸出向量被認(rèn)為是該語(yǔ)句的情感表示,將其用作方面情感分類(lèi)的特征進(jìn)行分類(lèi)。
在每個(gè)計(jì)算層里,首先需要構(gòu)建注意力機(jī)制以提取記憶中的信息,假設(shè)共有K個(gè)計(jì)算層,則對(duì)于每一個(gè)記憶片mj,使用前饋神經(jīng)網(wǎng)絡(luò)來(lái)計(jì)算它與輸入的相關(guān)性,計(jì)算公式為:
(五)情感分類(lèi)器模塊
對(duì)記憶進(jìn)行多次關(guān)注、提取信息后,最后一個(gè)計(jì)算層的輸出向量xik即為該通道中評(píng)語(yǔ)的情感特征,將兩個(gè)通道得到的情感特征進(jìn)行拼接得到最終的情感特征f,將其輸入到一個(gè)Softmax分類(lèi)器中進(jìn)行情感分類(lèi):
、實(shí)驗(yàn)與結(jié)果分析
(一)實(shí)驗(yàn)數(shù)據(jù)集描述
為了收集一個(gè)關(guān)于SET的文本語(yǔ)料庫(kù),我們利用爬蟲(chóng)技術(shù)從美國(guó)著名的教師評(píng)價(jià)網(wǎng)站www. ratemyprofessors.com收集了4.49萬(wàn)條學(xué)生對(duì)教師的評(píng)論。在這個(gè)網(wǎng)站上,學(xué)生可以編輯文本發(fā)表對(duì)各個(gè)教師的定性評(píng)語(yǔ),并用5分制對(duì)教師進(jìn)行整體性的定量評(píng)分。經(jīng)數(shù)據(jù)清洗后,按照上述方法對(duì)原始評(píng)語(yǔ)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,步驟如圖4所示。
首先,對(duì)每條評(píng)語(yǔ)進(jìn)行情感標(biāo)注,將整體分?jǐn)?shù)小于或等于2.0的評(píng)語(yǔ)標(biāo)記為“消極”,大于或等于4.0的評(píng)語(yǔ)標(biāo)記為“積極”,其他的評(píng)語(yǔ)標(biāo)記為“中性”;然后,對(duì)描述過(guò)長(zhǎng)的評(píng)語(yǔ)進(jìn)行評(píng)語(yǔ)分割,將其劃分為多個(gè)簡(jiǎn)單句,其中,每個(gè)簡(jiǎn)單句表達(dá)獨(dú)立含義的評(píng)語(yǔ),情感標(biāo)簽為原評(píng)語(yǔ)的標(biāo)簽;最后,對(duì)每條評(píng)語(yǔ)進(jìn)行方面標(biāo)注,先根據(jù)語(yǔ)義人工構(gòu)建方面的詞典,如“教學(xué)態(tài)度”的詞典包含“態(tài)度”“認(rèn)真負(fù)責(zé)”等詞語(yǔ),如果評(píng)語(yǔ)中出現(xiàn)這些詞,則將其標(biāo)注為“教學(xué)態(tài)度”。其他評(píng)語(yǔ)同理,對(duì)于沒(méi)有出現(xiàn)此類(lèi)詞的評(píng)語(yǔ)標(biāo)注為“others”。
通過(guò)上述方法得到經(jīng)預(yù)處理的由44382條SET評(píng)語(yǔ)組成的數(shù)據(jù)集,每條評(píng)語(yǔ)都有方面標(biāo)簽和情感標(biāo)簽,該數(shù)據(jù)集的統(tǒng)計(jì)信息見(jiàn)表1。
(二)實(shí)驗(yàn)結(jié)果與分析
為了驗(yàn)證所提深度學(xué)習(xí)模型對(duì)學(xué)生教學(xué)評(píng)教情感分析的有效性,將SET數(shù)據(jù)集中約10%的關(guān)于同一教師的評(píng)語(yǔ)作為驗(yàn)證集,其余數(shù)據(jù)作為訓(xùn)練集進(jìn)行實(shí)驗(yàn)。首先,與單通道模型進(jìn)行對(duì)比實(shí)驗(yàn),詞向量維度設(shè)為300維,其準(zhǔn)確率、宏F1均值如圖5所示??梢钥闯?,雙通道的DDMN模型性能最佳,單通道的Bi-GRU模型次之。其中,在計(jì)算層數(shù)為4層時(shí),雙通道DDMN模型準(zhǔn)確率分別較單通道Bi-GRU和CNN提高了3.26%、4.98%,宏F1均值分別提高了4.13%、5.89%。這是由于CNN提取局部特征的特性難以有效地對(duì)學(xué)生評(píng)語(yǔ)中委婉的情感表達(dá)進(jìn)行建模,而B(niǎo)i-GRU網(wǎng)絡(luò)能有效地提取學(xué)生評(píng)語(yǔ)中的上下文依賴(lài)信息,因而能更好地捕獲學(xué)生評(píng)語(yǔ)中的隱晦的情感特征,取得優(yōu)于CNN網(wǎng)絡(luò)的效果。DDMN模型結(jié)合了CNN、Bi-GRU提取的情感特征,故能有效地提取委婉的學(xué)生評(píng)語(yǔ)中的情感特征,得到最優(yōu)的情感分類(lèi)效果。
然后,與現(xiàn)有研究中常用的五種效果較好的方法進(jìn)行分類(lèi)準(zhǔn)確率的對(duì)比,包括樸素貝葉斯(NB)[12]、支持向量機(jī)(SVM)[9]、注意力機(jī)制的長(zhǎng)短期記憶網(wǎng)絡(luò)(AT-LSTM)[18]、卷積神經(jīng)網(wǎng)絡(luò)(CNN)[16]和基于ELMo的情感分類(lèi)方法(ELMo-ACSA)[19],結(jié)果見(jiàn)表2??梢?jiàn),DDMN模型獲得了比現(xiàn)有方法更好的分類(lèi)效果,其中,CNN和AT-LSTM分別取得了72.59%和74.11%的準(zhǔn)確率,這是由于AT-LSTM能有效提取評(píng)語(yǔ)中的上下文依賴(lài)信息,并且利用注意力機(jī)制給特定詞語(yǔ)賦予權(quán)重,而CNN不擅長(zhǎng)處理長(zhǎng)語(yǔ)句,容易忽略評(píng)語(yǔ)的上下文依賴(lài)信息。DDMN模型不僅結(jié)合了AT-LSTM和CNN的優(yōu)勢(shì),還使用了循環(huán)注意力機(jī)制,因而準(zhǔn)確率達(dá)到了79.61%。
通過(guò)挖掘?qū)W生教學(xué)評(píng)價(jià)中的情感傾向,可以了解更加真實(shí)的教學(xué)情況。例如:由驗(yàn)證集的情感分析結(jié)果(見(jiàn)表3)可知,該教師在“教學(xué)方法”“教學(xué)效果”兩個(gè)方面的“積極率”分別為40.83%、34.99%,顯著高于表1中教師群體在這兩個(gè)方面的36.28%和32.91%的“積極率”,但是“教學(xué)效果”方面的“積極率”略低于該教師自身總體“積極率”的35.99%。因此,可以認(rèn)為該教師在“教學(xué)方法”方面表現(xiàn)較好,而“教學(xué)效果”方面表現(xiàn)一般且大部分教師在“教學(xué)效果”方面都表現(xiàn)一般。類(lèi)似地,通過(guò)對(duì)特定教師或者特定方面以及總體的情感分析結(jié)果進(jìn)行對(duì)比分析和相關(guān)性分析,可以全面地了解真實(shí)的學(xué)生感受和教學(xué)情況,進(jìn)而幫助改善教學(xué)效果、提高教學(xué)質(zhì)量。此外,在實(shí)際教學(xué)實(shí)踐中還可以根據(jù)不同的教學(xué)場(chǎng)景和需求來(lái)確定不同的“方面”,如教師和教學(xué)管理者對(duì)教學(xué)的關(guān)注點(diǎn)可能不同,那么對(duì)學(xué)生教學(xué)評(píng)價(jià)進(jìn)行情感分析時(shí)的“方面”也就不同。
五、結(jié)? ?語(yǔ)
學(xué)生教學(xué)評(píng)價(jià)是了解教學(xué)情況、提高教學(xué)質(zhì)量的重要依據(jù),故挖掘其中的情感傾向進(jìn)而反饋于教學(xué)具有重要的研究意義。針對(duì)現(xiàn)有學(xué)生教學(xué)評(píng)價(jià)情感分析的有關(guān)研究沒(méi)有考慮特定教學(xué)方面的情感且在情感分析時(shí)容易忽略評(píng)語(yǔ)中的局部特征和上下文依賴(lài)信息的問(wèn)題,為了更精準(zhǔn)地挖掘?qū)W生教學(xué)評(píng)價(jià)中的情感傾向,本研究提出了一種基于雙通道深度記憶網(wǎng)絡(luò)的深度學(xué)習(xí)模型。通過(guò)在真實(shí)的評(píng)語(yǔ)數(shù)據(jù)中進(jìn)行實(shí)驗(yàn),表明所提出的模型能有效改善情感分析的效果,從而為教師和教學(xué)管理者了解教學(xué)情況、針對(duì)性地改進(jìn)教學(xué)提供科學(xué)依據(jù)。由于學(xué)生的情感是多因素相互作用產(chǎn)生的,學(xué)生評(píng)價(jià)中蘊(yùn)含的情感也與學(xué)生個(gè)人表現(xiàn)有潛在的聯(lián)系,因此,下一步工作可結(jié)合學(xué)生個(gè)人特質(zhì)和學(xué)習(xí)情況來(lái)對(duì)學(xué)生評(píng)語(yǔ)進(jìn)行情感挖掘分析。
[參考文獻(xiàn)]
[1] 盛津芳,董科,李龍,等.基于Web的學(xué)生反饋系統(tǒng)的構(gòu)建及在高校教學(xué)中的實(shí)踐分析[J].電化教育研究,2015,36(1):48-54.
[2] PARDO A, HAN F, ELLIS R A. Combining university student self-regulated learning indicators and engagement with online learning events to predict academic performance[J]. IEEE transactions on learning technologies, 2017, 10(1):82-92.
[3] 孫眾,蘧征,楊現(xiàn)民,等.有意義的大數(shù)據(jù)與教學(xué)優(yōu)化改革[J].電化教育研究,2018,39(3):43-48.
[4] 杜江,程建鋼.數(shù)據(jù)驅(qū)動(dòng)的高校學(xué)生評(píng)教實(shí)施策略研究[J].中國(guó)電化教育,2019(9):112-120.
[5] 熊余,儲(chǔ)雯,蔡婷,於隆甲,田航.高校教育大數(shù)據(jù)應(yīng)用支撐體系的設(shè)計(jì)與實(shí)踐[J].現(xiàn)代教育技術(shù),2020,30(11):91-97.
[6] ROMERO C, VENTURA S.? Educational data mining and learning analytics: an updated survey[J]. Wiley interdisciplinary reviews: data mining and knowledge discovery, 2020, 10(3): 1-21.
[7] 李然,林政,林海倫,等.文本情緒分析綜述[J].計(jì)算機(jī)研究與發(fā)展,2018,55(1):30-52.
[8] SIVAKUMAR M, REDDY U S. Aspect based sentiment analysis of students opinion using machine learning techniques[C]//2017 International Conference on Inventive Computing and Informatics (ICICI).Coimbatore: IEEE Press,2017:726-731.
[9] RANI S, KUMAR P. A Sentiment analysis system to improve teaching and learning[J]. Computer, 2017, 50(5):36-43.
[10] GUTIERREZ G, CANUL-REICH J, ZEZZATTI A O, MARGAIN L, Ponce J. Mining: students comments about teacher performance assessment using machine learning algorithms[J]. International journal of combinatorial optimization problems and informatics, 2018:9(3), 26-40.
[11] BALAHADIA F F, FERNANDO M C G, JUANATAS I C. Teacher's performance evaluation tool using opinion mining with sentiment analysis[C]// 2016 IEEE Region 10 Symposium (TENSYMP). Bali: IEEE Press,2016:95-98.
[12] LIN Q, ZHU Y, ZHANG S, et al. Lexical based automated teaching evaluation via students' short reviews[J]. Computer applications in engineering education, 2019, 27(1):194-205.
[13] WADAWADAGI R, PAGI V. Sentiment analysis with deep neural networks: comparative study and performance assessment[J]. Artificial intelligence review, 2020(5):1-41.
[14] 陳德鑫,占袁圓,楊兵.深度學(xué)習(xí)技術(shù)在教育大數(shù)據(jù)挖掘領(lǐng)域的應(yīng)用分析[J].電化教育研究,2019,40(2):68-76.
[15] 徐振國(guó),張冠文,孟祥增,等.基于深度學(xué)習(xí)的學(xué)習(xí)者情感識(shí)別與應(yīng)用[J].電化教育研究,2019,40(2):87-94.
[16] ONAN A. Mining opinions from instructor evaluation reviews: a deep learning approach[J]. Computer applications in engineering education, 2020, 28(1) :117-138.
[17] CABADA R Z, ESTRADA M L B, BUSTILLOS R O. Mining of educational opinions with deep learning[J]. Journal of universal computer ence, 2018, 24(11):1604-1626.
[18] TSENG C W, CHOU J J, TSAI Y C. Text mining analysis of teaching evaluation questionnaires for the selection of outstanding teaching faculty [J]. IEEE access, 2018, (6): 72870-72879.
[19] WANG Y, YANG Z, TIAN F, et al. ELMo-ACSA based multi-aspect view mining of students' reviews on teaching[C]// 2019 5th International Conference on Big Data and Information Analytics (BigDIA). Kunming: IEEE Press,2019:78-83.
[20] PENNINGTON J, SOCHER R, MANNING C D. Glove: global vectors for word representation[C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Stroudsburg:ACL Press, 2014:1532-1543.