鄭安琪 王宇琪 郝川艷

摘? 要： 通過分析在線學(xué)習(xí)平臺中的教育文本，能挖掘其所蘊(yùn)含的情感、認(rèn)知等信息進(jìn)行學(xué)業(yè)預(yù)測。然而目前在線學(xué)習(xí)成績預(yù)測大多基于結(jié)構(gòu)化數(shù)據(jù)，難以深入、精準(zhǔn)地挖掘?qū)W習(xí)者的狀態(tài)、情感等信息，影響到預(yù)測的準(zhǔn)確性。采用深度學(xué)習(xí)技術(shù)，其中CNN模型能夠有效提取局部特征，而LSTM模型能夠考慮全局文本順序的優(yōu)勢，能對教育短文本數(shù)據(jù)進(jìn)行分類和細(xì)粒度情感傾向分析，挖掘其包含的影響學(xué)習(xí)成績的因素，實現(xiàn)對在線學(xué)習(xí)成績的有效預(yù)測。

關(guān)鍵詞： 深度學(xué)習(xí); 成績預(yù)測; 文本分析; 教育數(shù)據(jù)挖掘; 情感分析

中圖分類號：TP391? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2021）12-69-04

Abstract： By analyzing the educational texts in the online learning platform， the emotional and cognitive information contained in them can be mined to make academic achievement prediction. However， at present， online academic performance prediction is mostly based on structured data， which makes it difficult to excavate learners' state， emotion and other information deeply and accurately， thus affecting the accuracy of the prediction. Adopting deep learning technology， in which CNN model can effectively extract local features and LSTM model has the advantage of considering global text order， can classify educational short text data and analyze fine-grained emotional tendency， mining the factors that influence academic performance to achieve effective prediction of online learning performance.

Key words： deep learning; performance prediction; text analysis; educational data mining; sentiment analysis

0 引言

在線學(xué)習(xí)中蘊(yùn)含的教育大數(shù)據(jù)資源與人工智能等新興技術(shù)的融合，提升了教育大數(shù)據(jù)研究的深度與廣度;深度探索教育過程中各因素之間的內(nèi)在關(guān)系，為教育發(fā)展及策略改進(jìn)提供了有力的支持，將成為教育發(fā)展的重要方向[1]。同時，在教育大數(shù)據(jù)支持下，學(xué)習(xí)預(yù)測已經(jīng)成為教育數(shù)據(jù)挖掘的重點內(nèi)容，通過揭示學(xué)習(xí)過程各因素與成績之間的關(guān)系，形成預(yù)測模型，能夠預(yù)判學(xué)習(xí)者的最終表現(xiàn)及成績類別，從而為學(xué)業(yè)預(yù)警、調(diào)整教學(xué)策略及學(xué)習(xí)計劃制定等提供重要依據(jù)[2]。

當(dāng)前有關(guān)學(xué)習(xí)情況預(yù)測的研究中，所選用的數(shù)據(jù)類型單一，大多局限于較為整齊的結(jié)構(gòu)化數(shù)據(jù)，使用學(xué)習(xí)過程的文本數(shù)據(jù)進(jìn)行預(yù)測的工作仍較少;而文本數(shù)據(jù)中蘊(yùn)含著大量的情感信息和學(xué)習(xí)狀態(tài)信息，有效捕捉其中的情感傾向，診斷當(dāng)前的學(xué)習(xí)狀態(tài)，能夠為學(xué)習(xí)成績預(yù)測提供重要的依據(jù)。近十年來，機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展最快的一個分支，深度學(xué)習(xí)技術(shù)，在文本數(shù)據(jù)分析等方面表現(xiàn)出了優(yōu)越的能力。它能夠?qū)W習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，對數(shù)據(jù)解釋進(jìn)行強(qiáng)有力的支持。因此，本文提出使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）與長短期記憶網(wǎng)絡(luò)（Long ShortTerm Memory，LSTM）相結(jié)合的方法進(jìn)行在線學(xué)習(xí)成績預(yù)測。CNN 模型的卷積結(jié)構(gòu)能夠有效提取大量數(shù)據(jù)中的局部特征，準(zhǔn)確抓取到文本數(shù)據(jù)中的關(guān)鍵信息，同時，LSTM 模型具有能考慮到全局文本順序的優(yōu)勢，可以綜合課程學(xué)習(xí)全過程分析語義及情感傾向，結(jié)合二者的特點，能夠更精準(zhǔn)地挖掘?qū)W習(xí)成績的影響因素，實現(xiàn)有效預(yù)測。

1 相關(guān)工作

對教育數(shù)據(jù)篩選與整理，借助分析統(tǒng)計工具建立關(guān)系模型，可以挖掘?qū)W習(xí)者學(xué)習(xí)行為和學(xué)習(xí)效果之間的潛在聯(lián)系，從而對學(xué)習(xí)者后續(xù)的表現(xiàn)進(jìn)行預(yù)測。已有的研究內(nèi)容：一是基于日常表現(xiàn)數(shù)據(jù)對學(xué)習(xí)者能力及后續(xù)發(fā)展進(jìn)行預(yù)測，該類方法基于學(xué)習(xí)者自身情況[3]、環(huán)境及學(xué)習(xí)過程中各因素[4]，分析學(xué)習(xí)趨勢，進(jìn)而為未來發(fā)展提供指向性建議;二是對學(xué)習(xí)者的課程成績進(jìn)行預(yù)測，利用從學(xué)習(xí)平臺收集的客觀、結(jié)構(gòu)化的基本信息數(shù)據(jù)、學(xué)習(xí)行為數(shù)據(jù)及階段性的學(xué)習(xí)成績來進(jìn)行預(yù)測[5]，同時，通過參考以往學(xué)生的課程成績，能分析各門課程間、前導(dǎo)課程與后續(xù)課程的相互聯(lián)系，為教學(xué)計劃制定提供重要依據(jù)[6]。

在成績預(yù)測的技術(shù)實現(xiàn)方面，在探究各因素之間的關(guān)系時，以往研究較多采用線性回歸、決策樹及神經(jīng)網(wǎng)絡(luò)等算法，但由于與學(xué)習(xí)成績或效果相關(guān)聯(lián)的因素是多種類且復(fù)雜的，使用這類算法計算得到的關(guān)系預(yù)測模型，仍沒有達(dá)到理想的效果。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)算法重要的分支與發(fā)展成果之一，最早由多倫多大學(xué)的 Hinton 教授于2006年提出[7]。它的基本機(jī)制是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，對樣本數(shù)據(jù)或訓(xùn)練集進(jìn)行學(xué)習(xí)，分析其內(nèi)在規(guī)律，從而能夠有力地解釋識別諸如文本、圖像和聲音等數(shù)據(jù)，達(dá)到遠(yuǎn)超過先前相關(guān)技術(shù)的目標(biāo)，目前已經(jīng)在諸多領(lǐng)域取得了優(yōu)秀成果[8]，教育領(lǐng)域也不例外。就深度學(xué)習(xí)在學(xué)習(xí)預(yù)測中的研究而言，其對教育數(shù)據(jù)具有良好的分析效果，使用復(fù)雜神經(jīng)網(wǎng)絡(luò)對文本數(shù)據(jù)處理的分析及預(yù)測，能夠更有效地刻畫教育數(shù)據(jù)中豐富的內(nèi)在信息。

2 深度學(xué)習(xí)技術(shù)對成績預(yù)測的支持

2.1 細(xì)粒度文本情感傾向分析

在線教育中，師生通過交流、評價和反饋等互動來深化和完善課程學(xué)習(xí)，平臺記錄下大量文本數(shù)據(jù)，其中蘊(yùn)含了豐富的觀點、想法、態(tài)度及主觀情感等;當(dāng)前文本情感傾向分析，可以分為篇章級、句子級的粗粒度文本情感分析以及短語級的細(xì)粒度文本分析[9]，粗粒度分析方法適合判斷整體的情感，可以處理一些寫作作業(yè)的文本分析任務(wù)，但在線平臺產(chǎn)生的大多是簡短、隨意性較強(qiáng)的短文本，使用粗粒度分析難以得到細(xì)致、精準(zhǔn)的處理結(jié)果。使用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型能對多類型數(shù)據(jù)進(jìn)行處理與變量轉(zhuǎn)換，模擬人類的神經(jīng)系統(tǒng)對文本逐步分析、進(jìn)行特征的提取，自動學(xué)習(xí)優(yōu)化模型輸出，能有效地提高文本分類的有效性[10]，實現(xiàn)細(xì)粒度情感分析，為成績預(yù)測提供支撐。

另一方面，影響學(xué)習(xí)結(jié)果的因素十分復(fù)雜，涉及的特征提取過程是一個巨大的需要專業(yè)領(lǐng)域知識的工程，人工特征提取存在著難以聯(lián)系上下文、特征稀疏等困難，很難精準(zhǔn)高效地識別并歸納出特征，影響預(yù)測結(jié)果的有效性和準(zhǔn)確性。而深度學(xué)習(xí)技術(shù)可以利用任何可向量化的數(shù)據(jù)作為輸入且不需要特別的注解和標(biāo)記，從而減少了大量的人工特征提取工作。這對于學(xué)生成績建模極具優(yōu)勢，可以提升預(yù)測結(jié)果的效度和信度[11]。

2.2 復(fù)雜函數(shù)關(guān)系的擬合

在線學(xué)習(xí)中各影響因素與學(xué)習(xí)成績之間的關(guān)系并不是簡單的線性關(guān)系，因素與因素之間，因素與成績之間的關(guān)系都是復(fù)雜多變的，各變量之間的函數(shù)關(guān)系通過簡單的分類回歸難以擬合。對于結(jié)構(gòu)化數(shù)據(jù)，指定輸入（影響學(xué)習(xí)成績的各類數(shù)據(jù)）和輸出（最終學(xué)習(xí)成績）以后，提供足夠量的數(shù)據(jù)，通過訓(xùn)練可以輕松地得出兩者之間的關(guān)系，從而在輸入新的數(shù)據(jù)時得到成績預(yù)測結(jié)果。但當(dāng)輸入變?yōu)榇罅康?、多類型的非結(jié)構(gòu)化數(shù)據(jù)時，蘊(yùn)含的影響因子復(fù)雜，很難得出輸入與輸出之間的映射關(guān)系，而神經(jīng)網(wǎng)絡(luò)則能夠解決這個問題。典型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)由輸入層、隱藏層、輸出層構(gòu)成。隱藏層的神經(jīng)網(wǎng)絡(luò)模擬了人類大腦皮層神經(jīng)網(wǎng)絡(luò)，由多個神經(jīng)元組成。底層神經(jīng)元的輸出是高層神經(jīng)元的輸入，可以擬合任意復(fù)雜度的函數(shù)。深層神經(jīng)網(wǎng)絡(luò)則是增加了網(wǎng)絡(luò)層數(shù)來模擬人腦復(fù)雜的層次化認(rèn)知規(guī)律，以使機(jī)器獲得“抽象概念”的能力，在特征學(xué)習(xí)方面表現(xiàn)出了更為優(yōu)越的性能[12]。因此使用深度學(xué)習(xí)技術(shù)可以有效的對非結(jié)構(gòu)化數(shù)據(jù)實現(xiàn)特征學(xué)習(xí)，精準(zhǔn)得出影響因素與成績之間的關(guān)系，實現(xiàn)預(yù)測任務(wù)。

3 基于深度學(xué)習(xí)的成績預(yù)測設(shè)計

在線學(xué)習(xí)平臺中，所留下的本文都具有簡短、隨意性強(qiáng)的特點，CNN的卷積層能有效提取此類短文本數(shù)據(jù)的特征，相比較傳統(tǒng)方法能夠更準(zhǔn)確地捕捉文本中的特征，找到與學(xué)習(xí)效果有關(guān)聯(lián)的因素。而LSTM網(wǎng)絡(luò)則考慮了文本的前后順序關(guān)系，從學(xué)習(xí)者個體發(fā)展脈絡(luò)和時間序列出發(fā)，有效地提高了對文本的解釋能力。將CNN與LSTM相結(jié)合，能夠精準(zhǔn)擬合各影響因素與成績之間的關(guān)系，提高預(yù)測的精準(zhǔn)度。

3.1 基于CNN的短語特征提取

CNN是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，基本結(jié)構(gòu)由輸入層、卷積層、池化層（也稱為取樣層）、全連接層及輸出層構(gòu)成，卷積層和池化層通常以多個交替排列的方式存在。正是由于這種結(jié)構(gòu)，CNN擅于從大量的數(shù)據(jù)中提取局部特征，并且能夠很好地將結(jié)果泛化到同類型的數(shù)據(jù)集上。CNN顯現(xiàn)出的巨大的優(yōu)勢在自然語言處理上同樣受到廣泛關(guān)注，能有效地提取文本特征并應(yīng)用于文本分類問題中[13]。

3.1.1 文本嵌入

在線平臺中師生產(chǎn)生的短文本作為一種自然語言，需要對其進(jìn)行向量化處理轉(zhuǎn)化為機(jī)器能夠理解的語言，也就是將文本數(shù)值化之后才可作為CNN模型的輸入數(shù)據(jù)，這一步驟稱為詞向量表示詞語。首先需要對文本數(shù)據(jù)進(jìn)行分詞，然后轉(zhuǎn)化為詞向量。假設(shè)句子的最大長度為[l]，每個詞最終轉(zhuǎn)化為[m]維的詞向量，詞向量[wi]表示為[wi=[xi1，…，xij，…，xim]]，最后每個短文本句子都將表示為[m×l]的二維矩陣[Z=[w1，…wi…wl]]。

3.1.2 特征提取

將短文本變?yōu)榭捎嬎愕脑~向量以后，將其輸入CNN模型中進(jìn)行特征提取;這一步工作主要由網(wǎng)絡(luò)模型中的卷積層來完成，經(jīng)過卷積層處理后的特征矩陣表示為：

[b]為偏置量，[W]為濾波器，用于實現(xiàn)卷積操作。[f]為激活函數(shù)，可以為給神經(jīng)元引入非線性因素，使得神經(jīng)網(wǎng)絡(luò)可以達(dá)到能模擬非線性函數(shù)的效果，在此采用ReLU反向激活函數(shù)進(jìn)行非線性映射：

3.1.3 池化

池化層的目的是保留主要的特征，去掉一些不必要的參數(shù)，從而降低信息冗余。在這一步驟中，將提取到的文本特征進(jìn)行處理，實現(xiàn)了特征降維和特征不變性。我們采用最大值池化（Max pooling）方法來處理。池化后的特征表示為：

3.2 基于LSTM的短文本情感特征分類

經(jīng)過CNN模型處理計算后，能準(zhǔn)確有效地提取到師生互動話語短文本的特征。但在線學(xué)習(xí)平臺的教育文本記錄了課程全過程中學(xué)習(xí)者狀態(tài)的變化，與時間序列有著密不可分的聯(lián)系，CNN能夠提取到短文本的特征，但是卻沒有考慮到這一問題;而LSTM是一種時間循環(huán)網(wǎng)絡(luò)，對于有著時間特征的序列數(shù)據(jù)能夠有效地利用上下文的特征信息，將文本的順序信息考慮進(jìn)去。因此，采用兩種模型結(jié)合的方式，能夠?qū)NN提取局部特征和LSTM考慮全局上下文信息的特點相結(jié)合，有效地對在線教育平臺中的短文本進(jìn)行文本分類，從而分析情感傾向。

LSTM的功能主要由輸入門、遺忘門、記憶單元和輸出門等結(jié)構(gòu)來完成，記憶門、遺忘門和輸出門的門控狀態(tài)以及當(dāng)前輸入單元狀態(tài)分別表示為[zi]，[zf]，[zo]，[z]，通過前一個記憶單元的輸入信息[ht-1]和當(dāng)前輸入信息[xt]計算得到，公式如下：

遺忘門的功能是選擇性地忘記上一個門的狀態(tài)[ct-1]在下一步中所不需要的信息，由[zf]進(jìn)行控制;記憶門由[zi]控制，功能是決定輸入[xt]哪些信息將存儲在當(dāng)前記憶單元中，其中包括sigmoid層（決定更新值）和tanh層（建立新的候選向量），該層可以補(bǔ)充遺忘門所遺忘的信息，得到當(dāng)前傳輸給下一個記憶單元[ct]的輸入[z];最后為輸出門，由[zo]控制，經(jīng)過Sigmoid和tanh兩函數(shù)的處理，兩者相乘即為輸出信息[ht]。公式如下：

3.3 學(xué)習(xí)成績預(yù)測

在線學(xué)習(xí)成績的預(yù)測，需要分析自變量及因變量之間的關(guān)系，即對各影響因素及成績之間的關(guān)系進(jìn)行建模。得出相關(guān)模型后，輸入學(xué)習(xí)者現(xiàn)階段的數(shù)據(jù)預(yù)測出未來學(xué)習(xí)趨勢，同時根據(jù)不同維度并以時間為序列可視化呈現(xiàn)出學(xué)生的學(xué)習(xí)情況，為學(xué)習(xí)者及時調(diào)整學(xué)習(xí)策略或?qū)W習(xí)狀態(tài)提供依據(jù)。

如圖1所示，深度神經(jīng)網(wǎng)絡(luò)模型（DNN）包含輸入層、隱藏層、輸出層，中間隱藏層的層數(shù)視情況而變化，每一層的全部神經(jīng)元與下一層全部神經(jīng)元以全連接的方式相連，多層隱藏層增加了模型的表達(dá)能力，能夠更精確的擬合變量間的關(guān)系。

在本研究的成績預(yù)測中，設(shè)學(xué)生在線短文本數(shù)據(jù)中包含的影響因素變量為[x]，學(xué)生的最終成績?yōu)閇z]，以局部模型為例，基于深度神經(jīng)網(wǎng)絡(luò)得出學(xué)生成績影響因素變量[x]與學(xué)生成績變量[z]之間的關(guān)系需通過線性關(guān)系：

及激活函數(shù)[σz]來表達(dá)。其中[i]為所在隱藏層的層數(shù)，[m]為共有隱藏層的層數(shù)，線性關(guān)系系數(shù)[w]及偏倚值[b]則為表達(dá)出影響因素變量與成績變量之間關(guān)系的重要參數(shù)，也是得出關(guān)系模型的所求參數(shù)。從局部模型來看，神經(jīng)網(wǎng)絡(luò)仍是線性關(guān)系和激活函數(shù)的組合，但由于隱藏層數(shù)量和神經(jīng)元數(shù)量的增加，使其能夠更精確的擬合變量之間的關(guān)系。同時，為提高模型表達(dá)力，使模型更有區(qū)分度，引用的激活函數(shù)為ReLU：

然后通過反向傳播算法（Back Propagation，BP）可求得系數(shù)[w]及偏倚值[b]，由前向傳播過程隨機(jī)為系數(shù)[w]及偏倚值[b]賦值，最后輸入成績影響變量[x]，層數(shù)[m]，及激勵函數(shù)等，生成輸出變量[zt]。接下來，需判斷[zt]與收集到的真實的學(xué)習(xí)數(shù)據(jù)中的值，也就是期望值[z]的相符情況;若不相符，則重復(fù)反向傳播過程。輸出量[zt]與[z]之間的差異程度則由損失函數(shù)表達(dá)，在這里采用均方誤差來表示，公式為：

系數(shù)[w]及偏倚值[b]的計算過程為：先初始化系數(shù)[w]及偏倚值[b]的值為隨機(jī)值，通過前向傳播算法與反向傳播算法計算輸出各隱藏層與輸出層的線性系數(shù)[w]及偏倚值[b]，得出影響因素與學(xué)習(xí)成績之間的關(guān)系模型。之后將新的學(xué)生數(shù)據(jù)代入到預(yù)測模型中，經(jīng)過計算預(yù)測出學(xué)習(xí)者的最終成績，實現(xiàn)學(xué)習(xí)預(yù)警及干預(yù)功能。

4 總結(jié)

本文提出使用CNN模型和LSTM模型相結(jié)合的方式對學(xué)習(xí)過程的短文本數(shù)據(jù)進(jìn)行文本分類和情感傾向處理，CNN的卷積層能有效提取短文本數(shù)據(jù)的特征，LSTM網(wǎng)絡(luò)則考慮了文本的前后順序關(guān)系。通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行成績預(yù)測，能夠基于多個隱藏層和神經(jīng)元精準(zhǔn)擬合各影響因素與成績之間的關(guān)系，提高預(yù)測的精準(zhǔn)度。

本研究方法還存在著一些不足之處。一方面，LSTM的計算被限制為是順序進(jìn)行的，時間片的計算依賴時刻的計算結(jié)果，但在線學(xué)習(xí)行為在每個時間階段上不一定能提供完整的特征信息;同時順序計算的過程中信息會丟失，盡管LSTM等門機(jī)制的結(jié)構(gòu)在一定程度上緩解了長期依賴的問題，但是對于特別長期的依賴現(xiàn)象，LSTM依舊無能為力。另一方面，基于深度學(xué)習(xí)對學(xué)生成績進(jìn)行預(yù)測，對在線學(xué)習(xí)數(shù)據(jù)收集具有較高的要求?；谏疃葘W(xué)習(xí)的預(yù)測需建立在數(shù)據(jù)量龐大的學(xué)習(xí)數(shù)據(jù)的基礎(chǔ)上，數(shù)據(jù)的內(nèi)容也決定著預(yù)測的有效性。因此，當(dāng)前在線學(xué)習(xí)平臺的功能設(shè)計、數(shù)據(jù)收集與記錄能力與范圍是影響學(xué)生成績預(yù)測的重要因素，仍是今后值得深入探究的重要方向。

參考文獻(xiàn)（References）：

[1] 胡水星.教育數(shù)據(jù)挖掘及其教學(xué)應(yīng)用實證分析[J].現(xiàn)代遠(yuǎn)距離教育，2017.4：29-37

[2] 陳子健，朱曉亮.基于教育數(shù)據(jù)挖掘的在線學(xué)習(xí)者學(xué)業(yè)成績預(yù)測建模研究[J].中國電化教育，2017.12：75-81，89

[3] 舒忠梅，屈瓊斐.基于教育數(shù)據(jù)挖掘的大學(xué)生學(xué)習(xí)成果分析[J].東北大學(xué)學(xué)報（社會科學(xué)版），2014.16（3）：309-314

[4] 錢增瑾，孫東平.數(shù)據(jù)挖掘在研究生教育管理信息系統(tǒng)中的應(yīng)用[J].學(xué)位與研究生教育，2013.5：46-49

[5] 尤佳鑫，孫眾.云學(xué)習(xí)平臺大學(xué)生學(xué)業(yè)成績預(yù)測與干預(yù)研究[J].中國遠(yuǎn)程教育，2016.9：14-20，79

[6] 黃建明.貝葉斯網(wǎng)絡(luò)在學(xué)生成績預(yù)測中的應(yīng)用[J].計算機(jī)科學(xué)，2012.39（S3）：280-282

[7] Geoffrey E. Hinton，Simon Osindero，Yee-Whye Teh. A Fast Learning Algorithm for Deep Belief Nets[J].Neural Computation，2006.18（7）.

[8] 陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究[D].浙江工商大學(xué)，2014.

[9] 宋嚴(yán).社交媒體文本信息多層次細(xì)粒度屬性挖掘方法研究[J].情報科學(xué)，2020.38（11）：98-103

[10] 王婷，楊文忠.文本情感分析方法研究綜述[J].計算機(jī)工程與應(yīng)用，2021.57（12）：11-24

[11] Steven Tang，Joshua C. Peterson，Zachary A. Pardos.Deep Neural Networks and How They Apply to Sequential Education Data[P]. Learning @ Scale，2016.

[12] 焦李成，楊淑媛，劉芳，王士剛，馮志璽.神經(jīng)網(wǎng)絡(luò)七十年：回顧與展望[J].計算機(jī)學(xué)報，2016.39（8）：1697-1716

[13] ATTARDI G，SARTIANO D.Unipi at semeval-2016 task?4：convolutional neural networks for sentiment classification[C] //Proceedings of the 10th International Workshop on Semantic Evaluation （SemEval-2016）.San Diego： Association for Computational Linguistics，2016：220224.