劉毓 趙云閣

關鍵詞： 教學評價; 詞典; word2vec; 支持向量機; 核函數(shù); 情感分析

中圖分類號： TN911?34; TP391 ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）06?0030?04

Abstract： A sentiment analysis method of Chinese short text based on teaching evaluation is proposed to improve the teaching quality of higher education in all aspects and the effectiveness of teaching evaluation from the perspective of supervising experts. In allusion to the strong professionality and feature sparseness for the teaching evaluation data of Chinese short text， a professional dictionary based on teaching evaluation is established. The word2vec language model is combined to train word vectors， so as to conduct dimension reduction for attribute features of teaching estimation data. The support vector machine （SVM） algorithm based on three kernels of the linear kernel， polynomial kernel and radial basis kernel is adopted to conduct sentiment classification for Chinese short text data of teaching evaluation， so as to judge the sentiment tendency of the evaluation. The experimental results show that the SVM based on the radial basis kernel function has the best sentiment classification performance， and can contribute to the improvement of teaching quality.

Keywords： teaching evaluation; dictionary; word2vec; support vector machine; kernel function; sentiment analysis

0 ?引 ?言

教學評價是依據(jù)教學目標對教學過程及結(jié)果進行價值判斷，并對教學方案提供決策服務的活動，是對教學活動現(xiàn)實的或者潛在的價值做出判斷的過程[1]。教學評價是各個學校中最復雜的工作之一，它需要將各方面因素和各種標準結(jié)合起來，以便為專業(yè)人士提供最終的評估結(jié)果?，F(xiàn)有的教學評價方法主要是基于客觀評價的打分機制[2]，而主觀評價中的文本信息作為教學評價的重要內(nèi)容，卻沒有得到有效利用。評價文本信息是教學評價中十分重要的一部分，這些文本信息是以半結(jié)構(gòu)化甚至非結(jié)構(gòu)化的形式呈現(xiàn)的，而現(xiàn)有的決策方法大多仍停留在人工統(tǒng)計和分析上，這無疑增加了分析的難度，無法高效地得到全面的教學分析結(jié)果。目前，解決此類問題較為理想的處理方法是文本挖掘中的情感分析[3?4]技術，其能夠有效地歸納總結(jié)教學評價文本信息，使教育工作者可以準確獲得對教學各個評價指標特征的評價意見，以輔助教學決策，全面提高高等教育教學質(zhì)量。情感分析（Sentiment Analysis）是文本挖掘和計算語言學的應用，從文本中識別信息，對帶有情感色彩的主觀性文本進行分析、處理、歸納和推理的過程[5]。目前，已有一些研究工作將情感分析方法用于教學評價文本信息。文獻[6]對來自在線課程的學生反饋英文文本意見進行情感分析，確定情感與輟學率之間存在聯(lián)系。文獻[7]基于從Moodle上收集的學生英文評教信息，提出一種可以檢測學生在某些話題上的情感傾向的方法，為教師改進教學方法提供支持。文獻[8]從大約1 000個西班牙語評論中，應用基于詞典的方法、機器學習方法和混合方法，開發(fā)了一個稱為SentBuk的應用程序，以檢索情感極性和情感變化。這些研究方法都是從學生的角度考慮，并且以英文文本分析為主，沒有從督導專家的角度對中文短文本教學評價信息進行情感分析。督導專家的意見是評估教師教學水平和教學能力的主要因素，具有更強的專業(yè)性、準確性和權威性，對其挖掘分析，以提高教學評價的有效性，從而提高高等教育教學質(zhì)量。本文提出中文短文本教學評價情感分析方法，從督導專家的角度考慮分析對教師的文本評價，建立教學評價專業(yè)詞典，并使用word2vec語言模型[9]，結(jié)合支持向量機[10]算法對中文教學評價短文本信息進行情感分類，以提高情感分類性能，并為教學管理提供決策支持。

1 ?基于中文短文本教學評價的情感分析方法

為了實現(xiàn)中文短文本教學評價信息的有效挖掘和表達，本文提出基于中文短文本教學評價的情感分析方法。該方法首先建立教學評價專業(yè)詞典，對評價數(shù)據(jù)進行預處理，隨后使用SVM對評價數(shù)據(jù)進行情感極性分析。

1.1 ?建立教學評價專業(yè)詞典

詞典是文本情感分析的重要工具和基礎任務，詞典質(zhì)量的好壞直接影響情感分析的結(jié)果[11]。迄今為止，在中文文本情感分析中，尚未有完整的詞典能夠涵蓋所有詞匯[12]。在中文教學評價中，常會出現(xiàn)評價者使用的很多教學評價專業(yè)詞匯并不能被檢索到的現(xiàn)象，造成教學評估不全;同時，也常出現(xiàn)不同評價者使用不同的詞語來描述同一屬性特征的現(xiàn)象，造成語義混淆。這兩種現(xiàn)象既增加了專業(yè)人士的分析難度，又增加了教師得出相反性教學決策的風險。由于中文教學評價的專業(yè)特殊性，不能直接應用廣泛中文情感分析的詞典。所以，本文使用HowNet詞典和哈爾濱工業(yè)大學信息檢索研究中心同義詞詞林擴展版作為基礎詞典，應用Bi?Gram，Tri?Gram語言模型以及人工標注方法建立教學評價專業(yè)詞典，以提高詞匯檢索準確率和全面性。

本文建立的教學評價專業(yè)詞典包含兩部分：第一部分針對在基礎詞典中檢索不到的教學評價專業(yè)詞匯，建立了教學評價特征詞詞典，特征詞包括教態(tài)、前排率、抬頭率、課堂設計、案例式教學;第二部分針對同義詞，建立了教學評價同義詞詞典，示例見表1。

1.2 ?提取屬性特征

本文分析督導專家對教師的中文文本評價數(shù)據(jù)，字數(shù)大多在10～150字之間，內(nèi)容稀疏、特征維度高。因此，結(jié)合word2vec語言模型，提取評價數(shù)據(jù)屬性特征，并進行特征降維處理。

實驗步驟如下：

1） 輸入教學評價文本數(shù)據(jù)。提取督導專家對教師的中文短文本評價數(shù)據(jù)，對文本進行篩選，剔除無關文本（比如“今天調(diào)課”等），以產(chǎn)生評論語料庫。

2） 預處理。用結(jié)巴分詞對短文本進行分詞，詞典方面選用HowNet詞典和哈爾濱工業(yè)大學信息檢索研究中心同義詞詞林擴展版以及本文建立的教學評價專業(yè)詞典，去除停用詞，進行詞性標注（個別特殊詞語詞性進行人工標注）。

3） 屬性特征提取。使用第2.2節(jié)方法提取屬性特征詞，并定義特征權重。

4） 文本向量空間模型表示。將教學評價數(shù)據(jù)表示成高維空間中的向量，一個向量對應一篇評價，向量的每一維對應評價的一個屬性特征。

5） 分類器分類。分別應用線性核、多項式核和徑向基核的SVM算法訓練情感分類器，并對測試數(shù)據(jù)進行分類。

6） 性能評估。輸出分類結(jié)果并進行分析。

2.4 ?結(jié)果與分析

核函數(shù)分別應用線性核、多項式核和徑向基核的SVM作為分類器，應用K折交叉驗證法選取最優(yōu)參數(shù)，對測試數(shù)據(jù)進行情感分類，以比較它們的分類性能。得到的實驗結(jié)果如表3所示。

由表3可以看出，在選取SVM分類器最優(yōu)參數(shù)的情況下，多項式核和徑向基核的宏平均分類準確率相對持平，線性核的宏平均分類準確率較差;線性核和徑向基核的宏平均識別召回率較高，多項式核宏平均識別召回率較差;而徑向基核在宏平均準確率和宏平均召回率都相對較高的情況下，宏平均綜合分類率最高，性能達到最佳。在這三種核函數(shù)中，徑向基核對中文短文本教學評價數(shù)據(jù)的分類表現(xiàn)效果最好，而且相對穩(wěn)定。因此，在運用SVM對非結(jié)構(gòu)化文本數(shù)據(jù)進行分類時，核函數(shù)可優(yōu)先考慮徑向基核。

3 ?結(jié) ?語

教學評價文本數(shù)據(jù)是教學評價中的重要內(nèi)容，本文提出基于中文短文本教學評價的情感分析方法，建立了教學評價專業(yè)詞典，為情感分析提供分類依據(jù);評估了督導專家所提供的非結(jié)構(gòu)化文本評價數(shù)據(jù)，和在線性核、多項式核和徑向基核下的支持向量機的情感分類性能，有效解決了教學評價中存在的非線性文本分類問題。本文通過挖掘分析對屬性特征進行降維，以提取與教師評價最相關的特征，進行情感分析，可以使教師準確獲得評價的反饋信息，從而能及時調(diào)整自己的教學工作，以輔助教學決策，提高教學質(zhì)量。由于教學評價中短文本數(shù)據(jù)的特征稀疏性以及評價數(shù)據(jù)的質(zhì)量將直接影響情感分類的性能，因此，如何更好地提取出教學評價短文本數(shù)據(jù)中的隱含特征、降低分類性能對評價數(shù)據(jù)的依賴性，優(yōu)化分類算法，更好地提高教學質(zhì)量等是今后研究工作的重點。

參考文獻

[1] 劉佳.第四代評價理論視閾下高校教學評價制度的反思與重建[J].教育發(fā)展研究，2015，35（17）：56?61.

LIU Jia. On higher education assessment system in the perspective of the fourth assessment theory [J]. Research in educational development， 2015， 35（17）： 56?61.

[2] 龐國楹，劉俊，魏杰.高校教師教學評價系統(tǒng)指標及其權重取值[J].軍事交通學院學報，2015，17（5）：83?86.

PANG Guoying， LIU Jun， WEI Jie. Index of teaching evaluation system and its weights in college [J]. Journal of Academy of Military Transportation， 2015， 17（5）： 83?86.

[3] CAMBRIA E， SCHULLER B， XIA Y， et al. New avenues in opinion mining and sentiment analysis [J]. IEEE intelligent systems， 2013， 28（2）： 15?21.

[4] LIU B. Sentiment analysis and opinion mining [M]. San Francisco： Morgan & Claypool， 2012.

[5] 楊立公，朱儉，湯世平.文本情感分析綜述[J].計算機應用，2013，33（6）：1574?1578.

YANG Ligong， ZHU Jian， TANG Shiping. Survey of text sentiment analysis [J]. Journal of computer applications， 2013， 33（6）： 1574?1578.

[6] WEN M， YANG D， ROS? C P. Sentiment analysis in MOOC discussion forums： what does it tell us？ [C]// Proceedings of 7th International Conference on Educational Data Mining. [S.l.： s.n.]， 2014： 130?137.

[7] COLACE F， SANTO M D， GRECO L. SAFE： a sentiment analysis framework for e?learning [J]. International journal of emerging technologies in learning， 2014， 9（6）： 37?41.

[8] ORTIGOSA A， MARTIN J M， CARRO R M. Sentiment analysis in Facebook and its application to e?learning [M]. Computers in human behavior， 2014， 31： 527?541.

[9] SU Z， XU H， ZHANG D， et al. Chinese sentiment classification using a neural network tool： word2vec [C]// Proceedings of International Conference on Multi?sensor Fusion and Information Integration for Intelligent Systems. Beijing： IEEE， 2014： 1?6.

[10] PENG S， HU Q， CHEN Y， et al. Improved support vector machine algorithm for heterogeneous data [J]. Pattern recognition， 2015， 48（6）： 2072?2083.

[11] 王科，夏睿.情感詞典自動構(gòu)建方法綜述[J].自動化學報，2016，42（4）：495?511.

WANG Ke， XIA Rui. A survey on automatical construction methods of sentiment lexicons [J]. Acta Automatica Sinica， 2016， 42（4）： 495?511.

[12] 牛耘，張黎，王世泓，等.基于多層次語言特征的弱監(jiān)督評論傾向性分析[J].中文信息學報，2015，29（4）：80?88.

NIU Yun， ZHANG Li， WANG Shihong， et al. Weakly supervised sentiment analysis based on multi?level linguistic features [J]. Journal of Chinese information processing， 2015， 29（4）： 80?88.

[13] 魏晶晶，吳曉吟.電子商務產(chǎn)品評論多級情感分析的研究與實現(xiàn)[J].軟件，2013，34（9）：65?67.

WEI Jingjing， WU Xiaoyin. Research on multi?level sentiment analysis system of e?commerce product review and implementation [J]. Computer engineering & software， 2013， 34（9）： 65?67.

[14] TIAN Y J， SHI Y， LIU X H. Recent advances on support vector machines research [J]. Technological & economic development of economy， 2012， 18（1）： 5?33.

[15] LEE L H， WAN C H， RAJKUMAR R， et al. An enhanced support vector machine classification framework by using Euclidean distance function for text document categorization [J]. Applied intelligence， 2012， 37（1）： 80?99.

[16] CORANI G， BENAVOLI A. A Bayesian approach for comparing cross?validated algorithms on multiple data sets [J]. Machine learning， 2015， 100（2）： 285?304.