于明誠(chéng)，黨亞固，吳奇林，吉旭，畢可鑫

（四川大學(xué)化學(xué)工程學(xué)院，四川 成都 610041）

0 引言

目前學(xué)生英文作文評(píng)分主要依靠人工方式，打分過(guò)程耗時(shí)耗力，且結(jié)果具有明顯主觀性［1］。隨著自然語(yǔ)言處理技術(shù)的發(fā)展，作文自動(dòng)評(píng)分（AES）系統(tǒng)的出現(xiàn)能夠減輕評(píng)分員的工作負(fù)擔(dān)，同時(shí)避免主觀因素影響評(píng)分結(jié)果［2-3］。

AES 屬于文本多分類(lèi)任務(wù)，研究方式主要有基于傳統(tǒng)機(jī)器學(xué)習(xí)方法和基于深度神經(jīng)網(wǎng)絡(luò)模型方法。傳統(tǒng)機(jī)器學(xué)習(xí)方法［4-5］需要手動(dòng)構(gòu)建特征工程，過(guò)程需要耗費(fèi)大量人力物力，且泛化能力較弱，無(wú)法應(yīng)用于大規(guī)模英文文本數(shù)據(jù)集?；谏疃壬窠?jīng)網(wǎng)絡(luò)模型憑借強(qiáng)大的自動(dòng)特征提取能力，深層次提取作文的高維潛在語(yǔ)義特征。文獻(xiàn)［6］提出增強(qiáng)型混合神經(jīng)網(wǎng)絡(luò)的作文自動(dòng)評(píng)分模型，通過(guò)融合文章的語(yǔ)言、語(yǔ)義和結(jié)構(gòu)屬性，更客觀和全面地實(shí)現(xiàn)評(píng)分，較實(shí)驗(yàn)對(duì)比最佳模型的Kappa 系數(shù)平均提高1.4%。文獻(xiàn)［7］通過(guò)EssayGAN 網(wǎng)絡(luò)對(duì)英文作文數(shù)據(jù)集ASAP進(jìn)行樣本擴(kuò)充，采用BERT-CLS 模型進(jìn)行作文自動(dòng)評(píng)分，EssayGAN-BERT-CLS 在8 個(gè)子集上的平均二次加權(quán)Kappa 系數(shù)（QWK）為78.8%，優(yōu)于實(shí)驗(yàn)對(duì)比的其他預(yù)訓(xùn)練模型BERT［8］輸入長(zhǎng)度限制為512，對(duì)長(zhǎng)文本進(jìn)行截?cái)嗖僮饔绊懮舷挛恼Z(yǔ)義嵌入。文獻(xiàn)［9］提出基于多層次語(yǔ)義特征的英文作文自動(dòng)評(píng)分方法，通過(guò)將卷積神經(jīng)網(wǎng)絡(luò)（CNN）和長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)模塊相結(jié)合提取深層特征，并手動(dòng)構(gòu)建淺層語(yǔ)義特征，在ASAP 公開(kāi)數(shù)據(jù)集上的平均二次加權(quán)的Kappa 值 為79.17%，CNN 和LSTM 模塊無(wú) 法關(guān)注到對(duì)作文評(píng)分結(jié)果影響較大的關(guān)鍵特征，且未能提取句子級(jí)別的上下文連貫性語(yǔ)義。文獻(xiàn)［10］提出結(jié)合雙層LSTM 與Attention 作文自動(dòng)評(píng)分，通過(guò)雙層LSTM 提取作文上下文語(yǔ)義信息，Attention 模塊識(shí)別出關(guān)鍵文本信息，在ASAP 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果優(yōu)于實(shí)驗(yàn)對(duì)比模型，LSTM 循環(huán)網(wǎng)絡(luò)訓(xùn)練效率較低，特征提取能力不足，僅能捕捉單詞級(jí)別的上下文語(yǔ)義特征。文獻(xiàn)［11］提出融合回歸和排序損失微調(diào)BERT（R2BERT）模型，采用BERT 輸出的［CLS］向量作為作文語(yǔ)義表征，綜合考慮回歸和排序信息，取得較優(yōu)的評(píng)分性能。文獻(xiàn)［12］提出基于BERT 的作文多尺度特征聯(lián)合學(xué)習(xí)，利用2 個(gè)BERT 模型來(lái)顯式地建模作文的多尺度信息，包括提取文檔和詞匯級(jí)特征，缺乏對(duì)文章短語(yǔ)級(jí)別上下文語(yǔ)義特征的學(xué)習(xí)。文獻(xiàn)［13］將BERT 和XLNet 模型應(yīng)用于英文作文自動(dòng)評(píng)分任務(wù)中，在ASAP 數(shù)據(jù)集上取得了優(yōu)良的表現(xiàn)。文獻(xiàn)［14］考慮句子之間的連貫性特征并將其與深度學(xué)習(xí)模型相融合，進(jìn)一步增強(qiáng)神經(jīng)網(wǎng)絡(luò)模型作文評(píng)分的性能，但模型缺乏對(duì)作文主題層次相關(guān)特征的捕捉。

本文提出基于多尺度上下文的英文作文自動(dòng)評(píng)分模型MSC。采用XLNet 提取作文單詞和句子級(jí)別的語(yǔ)義嵌入，并在單詞嵌入基礎(chǔ)上提取短語(yǔ)級(jí)別嵌入，避免因輸入長(zhǎng)度序列限制導(dǎo)致無(wú)法準(zhǔn)確捕捉嵌入向量的語(yǔ)義表示。多尺度上下文網(wǎng)絡(luò)通過(guò)內(nèi)置自注意力簡(jiǎn)單循環(huán)單元（BSASRU）分別捕捉單詞、短語(yǔ)和句子級(jí)別的上下文語(yǔ)義特征，挖掘深層次的作文潛在特征，全局注意力機(jī)制識(shí)別出對(duì)作文評(píng)分結(jié)果影響大的關(guān)鍵特征，避免無(wú)關(guān)信息的干擾，并引入句子級(jí)別的主題層次相關(guān)特征，以評(píng)價(jià)文章的扣題程度，最后通過(guò)特征融合層和線性層得到作文預(yù)測(cè)分?jǐn)?shù)。

1 英文作文自動(dòng)評(píng)分模型

1.1 模型整體架構(gòu)

基于多尺度上下文的英文作文自動(dòng)評(píng)分模型整體架構(gòu)如圖1 所示，GA 表示全局注意力模塊。MSC模型主要從多個(gè)層次提取作文的特征用于自動(dòng)評(píng)分。首先，構(gòu)建多尺度上下文語(yǔ)義網(wǎng)絡(luò)，使用XLNet預(yù)訓(xùn)練模型分別獲取作文單詞和句子向量表示，而短語(yǔ)向量表示則通過(guò)一維卷積網(wǎng)絡(luò)在單詞向量的基礎(chǔ)上提取，通過(guò)相應(yīng)的雙向內(nèi)置自注意力簡(jiǎn)單循環(huán)單元（BiBSASRU）網(wǎng)絡(luò)對(duì)不同尺度的上下文語(yǔ)義進(jìn)行序列建模，深層次獲取作文的潛在語(yǔ)義特征；其次，將目標(biāo)作文中每個(gè)句子的向量表示和作文提示語(yǔ)信息進(jìn)行映射，得到低維的嵌入式表示，通過(guò)計(jì)算提示語(yǔ)和句子之間的余弦相似度以獲取主題相關(guān)性，從主題層次提取目標(biāo)作文的扣題程度特征。將多尺度上下文語(yǔ)義特征和主題層次相關(guān)性特征融合得到作文的最終表示并進(jìn)行作文自動(dòng)評(píng)分。

圖1 MSC 模型整體結(jié)構(gòu)Fig.1 Overall structure of the MSC model

1.2 XLNet 語(yǔ)義嵌入過(guò)程

Transformer 編碼器框架輸入的序列長(zhǎng)度有限，導(dǎo)致作文文本序列信息丟失，影響整體上下文語(yǔ)義的準(zhǔn)確率。而基于Transformer-XL 的預(yù)訓(xùn)練模型XLNet［15］通過(guò)引入片段循環(huán)機(jī)制和雙流自注意力機(jī)制能夠在長(zhǎng)文本語(yǔ)義編碼中取得更佳效果。因此，本文采用XLNet 模型提取英語(yǔ)作文單詞和句子級(jí)別的嵌入表示，具體過(guò)程如圖2 和圖3 所示。

圖2 單詞嵌入過(guò)程Fig.2 Word embedding process

圖3 句子嵌入過(guò)程Fig.3 Sentence embedding process

圖2 中單詞編碼層的輸入由字符向量和分句向量組成。在單詞嵌入中，根據(jù)預(yù)訓(xùn)練模型字典表查找每個(gè)單詞的對(duì)應(yīng)序號(hào)，并將其作為靜態(tài)單詞編碼信息，并設(shè)置截?cái)嚅L(zhǎng)度將作文文本進(jìn)行統(tǒng)一化操作。在文本首位插入標(biāo)志位［CLS］，在句末插入分句標(biāo)志［SEP］作為單詞編碼層的輸入之一。由于編碼器無(wú)法預(yù)知文本句間的順序關(guān)系，因此通過(guò)分句向量編碼使模型獲得子句在文本中的先后關(guān)系。文本中在不同位置的相同字或詞所帶來(lái)的信息存在明顯差異，為了提取單詞之間的上下文信息，在注意力計(jì)算過(guò)程中加入位置編碼以感知詞與詞之間的位置特征。

經(jīng)XLNet 模型訓(xùn)練后得到詞嵌入矩陣Ew=為文本輸入的截?cái)嚅L(zhǎng)度，針對(duì)單詞嵌入情況須去除首位［CLS］編碼向量，僅采用后續(xù)的單詞嵌入向量。

圖3 中輸入為原始作文文本，通過(guò)對(duì)原始作文文本進(jìn)行切分操作，以問(wèn)號(hào)、感嘆號(hào)和句號(hào)作為標(biāo)識(shí)，批量獲取句子集合。為提取每個(gè)句子在原文中的上下文句向量表示，在每個(gè)單獨(dú)句子的前后加上句首標(biāo)記［CLS］和結(jié)束標(biāo)記［SEP］，并整體串聯(lián)起來(lái)。由于每個(gè)英語(yǔ)作文中句子數(shù)量不一致，因此對(duì)不定長(zhǎng)的句向量集合加入Padding 操作，以符合后續(xù)循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入形式。為后續(xù)獲取句向量特征表示，用于句子級(jí)別的上下文語(yǔ)義建模，須記錄每個(gè)［CLS］位置，方便后續(xù)提取每個(gè)句子對(duì)應(yīng)的語(yǔ)義向量。

經(jīng)過(guò)預(yù)訓(xùn)練模型XLNet 進(jìn)行上下文語(yǔ)境特征學(xué)習(xí)后，通過(guò)事先記錄的每個(gè)［CLS］位置在單詞向量矩陣中 提取對(duì) 應(yīng)的句 子特征向量

1.3 多尺度上下文

語(yǔ)義的連貫性及上下文的整體表達(dá)效果是影響作文質(zhì)量的重要因素，通過(guò)多尺度上下文網(wǎng)絡(luò)更好地提取作文的上下文信息及關(guān)聯(lián)信息，有助于提高作文的評(píng)分性能。多尺度上下文網(wǎng)絡(luò)主要由短語(yǔ)級(jí)別語(yǔ)義嵌入提取模塊、內(nèi)置自注意力簡(jiǎn)單循環(huán)單元模塊和全局注意力機(jī)制構(gòu)成。

1.3.1 短語(yǔ)級(jí)別語(yǔ)義嵌入提取模塊

為了對(duì)英文作文短語(yǔ)級(jí)別特征的上下文語(yǔ)義進(jìn)行建模，本文通過(guò)一維卷積模塊對(duì)原始單詞語(yǔ)義嵌入向量進(jìn)行卷積操作，為不損失整體語(yǔ)義，不使用池化技術(shù)進(jìn)行顯著特征選取，再通過(guò)雙向內(nèi)置自注意力簡(jiǎn)單循環(huán)單元模塊對(duì)局部短語(yǔ)特征進(jìn)行上下文建模，提取不同層次的上下文信息。本文使用卷積模塊對(duì)單詞嵌入向量特征輸出Ew進(jìn)行卷積操作得到短語(yǔ)級(jí)別特征，具體計(jì)算過(guò)程如式（1）和式（2）所示：

其中：w代表卷積核，本文設(shè)置卷積核尺寸為2 和3；b表示偏置值；m為卷積過(guò)程中滑動(dòng)窗口大??；?代表卷積操 作；Ti：i+m-1表示T中第i～i+m-1 行作文單詞向量表示；f為非線性函數(shù)，增強(qiáng)模型對(duì)數(shù)據(jù)集的擬合能力［16］，通過(guò)滑動(dòng)窗口進(jìn)行卷積得到短語(yǔ)級(jí)別特征向量Ep2和Ep3。

1.3.2 內(nèi)置自注意力簡(jiǎn)單循環(huán)單元模塊

內(nèi)置自注意力簡(jiǎn)單循環(huán)單元模型在簡(jiǎn)單循環(huán)單元［17］的基礎(chǔ)上，引入自注意力機(jī)制，有利于模型學(xué)習(xí)到英語(yǔ)作文中當(dāng)前詞對(duì)其他詞的重要程度，捕獲句子內(nèi)部語(yǔ)法結(jié)構(gòu)信息［18］。BSASRU 模型結(jié)構(gòu)如圖4所示。

圖4 內(nèi)置自注意力簡(jiǎn)單循環(huán)單元模型結(jié)構(gòu)Fig.4 Structure of built-in self-attention simple recurrence units model

圖4 中768 為輸入向量維度，512 為注意力維度大??；X代表XLNet 預(yù)訓(xùn)練模型最后一層輸出的隱狀態(tài)，分別表示單詞、短語(yǔ)和句子級(jí)別向量特征Ew、Ep2、Ep3和Es；Elementwise Recurrence 代表元 素循環(huán)迭代計(jì)算。Elementwise Recurrence 的計(jì)算式如式（3）～式（6）所示：

其中：Wf、W、Wr、vf和vr為可訓(xùn)練權(quán)重參數(shù)矩陣，是模型學(xué)習(xí)優(yōu)化的主要目標(biāo)之一；bf、br為偏置值。由式（6）可知，簡(jiǎn)單循環(huán)單元在序列元素循環(huán)迭代計(jì)算中當(dāng)前時(shí)刻ht不再依賴(lài)上1 個(gè)時(shí)刻的輸出ht-1，可實(shí)現(xiàn)大部分運(yùn)算并行化處理，訓(xùn)練效率優(yōu)于傳統(tǒng)循環(huán)網(wǎng)絡(luò)LSTM［19］和門(mén)控循環(huán)單元（GRU）［20］。

為提升簡(jiǎn)單循環(huán)單元的特征學(xué)習(xí)能力，BSASRU［21］在簡(jiǎn)單循環(huán)單元的基礎(chǔ)上內(nèi)置自注意力機(jī)制。自注意力計(jì)算過(guò)程如式（7）～式（11）所示：

其中：當(dāng)BSASRU 處理單詞和短語(yǔ)級(jí)別上下文語(yǔ)義建模時(shí)，X?RL×d為詞和 短語(yǔ)向 量矩陣，此處為XLNet 輸出詞向量，針對(duì)句子級(jí)別上下文建模，X則表示句向量矩陣，L代表句子數(shù)量，d為詞向量維度；為可學(xué) 習(xí)權(quán)重 矩陣為注意力得分矩陣；α?R 是自適應(yīng)訓(xùn)練參數(shù)為實(shí)現(xiàn)殘差連接時(shí)的參數(shù)矩陣；UT?RL×3×d為輸出張量。

為全面提取詞、短語(yǔ)和句子在特定英語(yǔ)作文文本具體語(yǔ)境中的含義，本文構(gòu)建BiBSASRU，其計(jì)算過(guò)程如式（12）所示：

1.3.3 全局注意力機(jī)制

為突出對(duì)評(píng)分結(jié)果較為關(guān)鍵上下文語(yǔ)義特征，避免無(wú)關(guān)信息對(duì)結(jié)果造成干擾［22］，全局注意力機(jī)制分別計(jì)算單詞、短語(yǔ)和句子級(jí)別上下文語(yǔ)義特征提取模塊BiBSASRUw、BiBSASRUp2、BiBSASRUp3和BiBSASRUs，每個(gè)時(shí)間狀態(tài)輸出Ht對(duì)作文評(píng)分結(jié)果影響的權(quán)重大小αt，加權(quán)求和后分別得到單詞、短語(yǔ)和句子級(jí)別的多尺度整體注意力輸出Aw,Ap2,Ap3,As，具體計(jì) 算過(guò)程如式（13）～式（15）所示：

其中：tanh 為非線性激活函數(shù)；exp 表示指數(shù)計(jì)算；W為可訓(xùn)練權(quán)重參數(shù)矩陣，為主要的優(yōu)化目標(biāo)；b為偏置值。

1.4 句子主題層次特征

主題作文是一種根據(jù)材料和提示語(yǔ)所提供的思考范圍和方向，提取作文的主題特征以及更好地衡量作文主題與作文提示語(yǔ)之間的語(yǔ)義相關(guān)性，將會(huì)直接影響作文自動(dòng)評(píng)分的性能表現(xiàn)。通過(guò)XLNet 模型對(duì)每個(gè)子集合的提示語(yǔ)進(jìn)行編碼，嵌入過(guò)程形式與單詞嵌入原理一致，但不利用提示語(yǔ)中單個(gè)詞的語(yǔ)義表示，而是通過(guò)［CLS］標(biāo)簽獲取整體語(yǔ)義特征Topic。

本文采用余弦相似度來(lái)衡量英語(yǔ)作文與主題提示語(yǔ)的語(yǔ)義相關(guān)度，余弦相似度計(jì)算原理如式（16）所示：

其中：Si表示英語(yǔ)作文中第i個(gè)句子符合上下文語(yǔ)境的整體語(yǔ)義表示；T表示當(dāng)前子集合對(duì)應(yīng)的提示語(yǔ)嵌入表示Topic；SSimilarityi表示第i個(gè)句子與主題提示語(yǔ)的語(yǔ)義相關(guān)度。

為全面評(píng)價(jià)作文文本與主題提示語(yǔ)的語(yǔ)義相似度，本文采用每個(gè)句子向量與主題提示語(yǔ)進(jìn)行余弦相似度計(jì)算，得出每個(gè)句子對(duì)提示語(yǔ)的關(guān)聯(lián)度得分，將全部句子的得分拼接得到主題語(yǔ)義相關(guān)特征表示，如式（17）所示：

其中：l表示作文中的句子數(shù)量。為解決作文句子數(shù)量不定長(zhǎng)的問(wèn)題，本文設(shè)置固定長(zhǎng)度為L(zhǎng)的0 向量矩陣ZeroL,L大于等于所有文章中切分出的最大句子數(shù)，確保其能夠接受Similarity 的輸入。通過(guò)將主題語(yǔ)義相關(guān)特征Similarity 輸入到ZeroL，得到定長(zhǎng)的句子級(jí)別與主題相關(guān)聯(lián)的語(yǔ)義特征SL，將作文的切題度融入到評(píng)分特征。

1.5 特征融合層

本文將單詞、短語(yǔ)和句子級(jí)別的多尺度整體注意力輸出Aw,Ap2,Ap3,As與定長(zhǎng)的句子級(jí)別與主題相關(guān)聯(lián)的語(yǔ)義特征SL進(jìn)行拼接，得到融合后的作文評(píng)分特征Fusion，具體計(jì)算過(guò)程如式（18）所示：

其中：Concat 表示向量拼接函數(shù)。

1.6 線性層輸出的評(píng)分結(jié)果

本文將融合后的評(píng)分特征Fusion 輸入到線性層進(jìn)行向量維度降低，將結(jié)果映射到具體作文評(píng)分空間，由Softmax 函數(shù)對(duì)概率進(jìn)行歸一化操作得到概率Pred,TopMax 函數(shù)取數(shù)值最大值對(duì)應(yīng)的作文評(píng)分作為最終結(jié)果Result，相關(guān)計(jì)算過(guò)程如式（19）和式（20）所示：

1.7 多分類(lèi)交叉熵?fù)p失函數(shù)

為訓(xùn)練英語(yǔ)作文自動(dòng)評(píng)分模型，本文采用前饋和反向傳播數(shù)據(jù)更新迭代算法。在反向傳播過(guò)程的每次迭代中，通過(guò)損失值計(jì)算梯度值從而更新模型參數(shù)。其關(guān)鍵目的是減少所有真實(shí)類(lèi)標(biāo)簽和網(wǎng)絡(luò)輸出的平均損失Loss。其中，Loss 采用多分類(lèi)交叉熵?fù)p失函數(shù)［23］計(jì)算，相關(guān)計(jì)算原理如式（21）所示：

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集與性能評(píng)價(jià)指標(biāo)

為驗(yàn)證MSC 英文作為自動(dòng)評(píng)分模型的性能表現(xiàn)，本文分別在公開(kāi)標(biāo)準(zhǔn)的英文作文數(shù)據(jù)集ASAP中的8 個(gè)子集進(jìn)行實(shí)驗(yàn)，將數(shù)據(jù)集按照6∶2∶2 劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。ASAP 數(shù)據(jù)集描述如表1所示。

表1 ASAP 數(shù)據(jù)集描述Table 1 Description of ASAP dataset

ASAP 數(shù)據(jù)集 均使用 二次加 權(quán)Kappa［24］系數(shù)對(duì)作文評(píng)分模型在每個(gè)子集的性能表現(xiàn)進(jìn)行評(píng)估。QWK 評(píng)價(jià)指標(biāo)具體計(jì)算過(guò)程如式（22）和式（23）所示：

其中：i和j分別表示不同的分?jǐn)?shù)大?。籒為整體評(píng)分等級(jí)數(shù)；Oi,j表示被評(píng)分為i且被評(píng)分為j的作文篇數(shù)，{Oi,j}表示維度大小為N×N的參數(shù)矩陣。QWK是評(píng)估不同評(píng)分之間一致性的關(guān)鍵系數(shù)，取值范圍為［-1，1］。

2.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)定

深度學(xué)習(xí)模型參數(shù)量較大，優(yōu)化過(guò)程需要耗費(fèi)大量的計(jì)算機(jī)資源，實(shí)驗(yàn)環(huán)境軟硬件配置如表2所示。

表2 軟硬件環(huán)境Table 2 Hardware and software environment

參數(shù)設(shè)置對(duì)模型訓(xùn)練精度影響較大，經(jīng)多次實(shí)驗(yàn)調(diào)整參數(shù)后，最優(yōu)參數(shù)設(shè)置：采用基礎(chǔ)版本英文訓(xùn)練模型XLNet，隱藏層維度大小為768，自注意力頭數(shù)為8。雙向內(nèi)置自注意力簡(jiǎn)單循環(huán)單元隱藏層大小為312，層數(shù)為2，投影層維度大小為512；卷積核組合大小設(shè)置為（2，3），特征圖數(shù)量大小均為128；全局注意力機(jī)制維度大小為256。

本文采用優(yōu)化器Ranger［25-26］自適應(yīng)調(diào)整學(xué)習(xí)率大小以適應(yīng)訓(xùn)練過(guò)程，加速模型收斂和提升英語(yǔ)作文自動(dòng)分類(lèi)的性能效果。損失函數(shù)為多分類(lèi)交叉熵?fù)p失函數(shù)。部分訓(xùn)練參數(shù)設(shè)置如表3 所示。

表3 訓(xùn)練參數(shù)設(shè)置Table 3 Setting of training parameters

2.3 實(shí)驗(yàn)結(jié)果分析

為全面驗(yàn)證本文所提模型MSC 在自動(dòng)英文作文評(píng)分任務(wù)上的有效性，本文主要從XLNet 詞向量模型應(yīng)用效果、與近期優(yōu)秀深度學(xué)習(xí)模型性能對(duì)比和消融實(shí)驗(yàn)3 個(gè)方面開(kāi)展實(shí)驗(yàn)。為確保實(shí)驗(yàn)過(guò)程的客觀公平，固定隨機(jī)數(shù)種子以避免實(shí)驗(yàn)結(jié)果受到隨機(jī)誤差的影響，在每個(gè)子數(shù)據(jù)集上分別取5 次實(shí)驗(yàn)結(jié)果的平均值作為最終結(jié)果。不同模型的性能指標(biāo)如表4 所示，實(shí)驗(yàn)對(duì)比模型的結(jié)果均引用原論文，加粗表示最優(yōu)數(shù)據(jù)。

表4 不同模型的二次加權(quán)Kappa 系數(shù)值Table 4 Quadratic weighted Kappa coefficient values among different models %

從表4 可以看出，本文模型MSC 在ASAP 數(shù)據(jù)集上取得了最高平均QWK，達(dá)到了80.50%，優(yōu)于實(shí)驗(yàn)對(duì)比表現(xiàn)優(yōu)良的深度學(xué)習(xí)模型，較HNN-AES、EssayGAN-BERT-CLS、GAT-LSTM、MLSN、R2BERT和BERT-XLNet 分別提高了0.10、1.70、2.29、1.33、1.10 和4.74 個(gè)百分點(diǎn)，同時(shí)在子集4、子集5、子集6和子集8 中取得最佳效果，證明MSC 模型通過(guò)XLNet 能準(zhǔn)確獲取單詞和句子語(yǔ)義嵌入。多尺度上下文網(wǎng)絡(luò)進(jìn)行不同層次的語(yǔ)義特征學(xué)習(xí)，以及通過(guò)句向量與提示語(yǔ)計(jì)算文章的扣題程度，能夠有效提高英文作文自動(dòng)評(píng)分性能。

BERT-XLNet 僅取得了75.76%的平均QWK 值，說(shuō)明通過(guò)簡(jiǎn)單的語(yǔ)義特征融合方式得到的評(píng)分特征無(wú)法很好地捕捉英文作文的高維潛在語(yǔ)義，影響自動(dòng)評(píng)分的準(zhǔn)確性。而R2BERT 綜合考慮回歸和排序信息，英文作文評(píng)分效果有顯著提升，平均QWK 值達(dá)到了79.40%。HNN-AES 采用混合神經(jīng)網(wǎng)絡(luò)捕捉作文文章語(yǔ)言、語(yǔ)義和結(jié)構(gòu)屬性特征，取得了80.40%的平均QWK 值，在子集1、子集2 和子集3 評(píng)分效果最佳，證明整體文章語(yǔ)義連貫和篇章結(jié)構(gòu)特征對(duì)英文作文自動(dòng)評(píng)分任務(wù)的重要性。

MLSN 通過(guò)CNN 和LSTM 模塊捕捉局部和上下文語(yǔ)義特征，并加入淺層特征和文章與提示語(yǔ)相似度得分，融合多種特征對(duì)作文進(jìn)行評(píng)分，性能表現(xiàn)良好，但淺層特征需要人為手動(dòng)進(jìn)行提取，過(guò)程費(fèi)時(shí)費(fèi)力。

2.3.1 模塊消融實(shí)驗(yàn)

為驗(yàn)證MSC 模型中各個(gè)模塊對(duì)整體性能的貢獻(xiàn)程度，本文設(shè)置相應(yīng)模塊消融實(shí)驗(yàn)，試驗(yàn)軟硬件環(huán)境均保持一致。消融實(shí)驗(yàn)結(jié)果如表5 所示。

表5 消融實(shí)驗(yàn)結(jié)果Table 5 Results of ablation experiment %

MSC（w/o GAp+GAs+GAw）表示在MSC 的基礎(chǔ)上去除各個(gè)尺度下的全局注意力模塊。MSC（w/o主題層次特征）表示不加入句子與提示語(yǔ)的主題層次特征。MSC（w/o BiBSASRUw+GAw）、MSC（w/o BiBSASRUp+GAp）和MSC（w/o BiBSASRUs+GAs）分別表示去除單個(gè)尺度下的BiBSASRU+GA 特征提取模塊。其中，GAp包含GAp2和GAp3。

從表5 可以看出，加入句向量與主題提示語(yǔ)向量計(jì)算語(yǔ)義相似度得到的主題層次特征，MSC 的平均QWK 系數(shù)提高了0.95 個(gè)百分點(diǎn)，說(shuō)明本文提取的句子級(jí)別主題層次特征對(duì)提高作文評(píng)分準(zhǔn)確性幫助較大，也更符合人為打分過(guò)程需要考慮作文扣題度的行為。

模型MSC（w/o BiBSASRUw+GAw）在加入單詞級(jí)別上下文語(yǔ)義特征后，平均QWK 值提高1.44 個(gè)百分點(diǎn)，MSC（w/o BiBSASRUp+GAp）加入短語(yǔ)級(jí)別上下文語(yǔ)義特征后，平均QWK 值提高1.29 個(gè)百分點(diǎn)，說(shuō)明單詞和短語(yǔ)尺度下的整體語(yǔ)義特征能夠促進(jìn)模型對(duì)英文作文的表征能力，提高作文評(píng)分的性能。

MSC（w/o BiBSASRUs+GAs）加入句子上下文語(yǔ)義連貫特征后，平均QWK 值提高0.74 個(gè)百分點(diǎn)，表明在句級(jí)別上的全文連貫性特征對(duì)作文評(píng)分有著明顯影響，能夠在更高的維度上提取文章上下文關(guān)聯(lián)，增強(qiáng)模型的語(yǔ)義表征能力。

模型MSC（w/o GAp+GAs+GAw）在加入各個(gè)尺度下的全局注意力模塊后，平均QWK 值提高0.41 個(gè)百分點(diǎn)，表明全局注意力機(jī)制能夠更好捕捉不同尺度下的關(guān)鍵評(píng)分特征，減小噪聲對(duì)評(píng)分結(jié)果的干擾，有效地提升作文評(píng)分準(zhǔn)確率。

2.3.2 循環(huán)網(wǎng)絡(luò)評(píng)分性能和訓(xùn)練效率對(duì)比分析

為驗(yàn)證本文提出的雙向內(nèi)置自注意力簡(jiǎn)單循環(huán)單元（BiBSASRU）較其他循環(huán)網(wǎng)絡(luò)在評(píng)分性能和訓(xùn)練效率上的優(yōu)勢(shì)，本文采用目前性能較佳的循環(huán)網(wǎng)絡(luò)BiLSTM、BiGRU 和BiSRU 作為對(duì)比，實(shí)驗(yàn)過(guò)程中僅循環(huán)網(wǎng)絡(luò)類(lèi)型不同，其他模塊和軟硬件環(huán)境均保持相同。采用不同循環(huán)網(wǎng)絡(luò)在8 個(gè)子集上的平均QWK 值如表6 所示，在子集上的平均輪次訓(xùn)練時(shí)長(zhǎng)曲線如圖5 所示。

表6 不同循環(huán)網(wǎng)絡(luò)模型性能Table 6 Performance among different recurrent network models %

圖5 不同循環(huán)網(wǎng)絡(luò)在子集上的平均訓(xùn)練時(shí)間Fig.5 The average training time among different recurrent networks on subsets

由表6 結(jié)果可知，MSC（w/o BiBSASRU）模型在8 個(gè)子集上的平均QWK 值高于MSC（w/o BiSRU）、MSC（w/o BiGRU）和MSC（w/o BiLSTM），表 明BiBSASRU 通過(guò)內(nèi)置自注意力機(jī)制，能夠有效捕捉不同語(yǔ)義特征之間的依賴(lài)關(guān)系，增強(qiáng)模型的特征表示能力，從而有效地提高作文評(píng)分的性能。

從圖5 可以看出，模型MSC（w/o BiBSASRU）、MSC（w/o BiSRU）、MSC（w/o BiGRU）和MSC（w/o BiLSTM）的整體平均訓(xùn)練時(shí)長(zhǎng)分別為159.3 s、157.1 s、163.4 s 和167.1 s。本文模型MSC（w/o BiBSASRU）整體平均訓(xùn)練時(shí)間較MSC（w/o BiGRU）和MSC（w/o BiLSTM）分別縮短了4.1 s 和7.8 s，證明BiBSASRU模塊訓(xùn)練速度優(yōu)于傳統(tǒng)循環(huán)網(wǎng)絡(luò)BiGRU 和BiLSTM。而B(niǎo)iGRU 在BiLSTM 的基礎(chǔ)上簡(jiǎn)化門(mén)控循環(huán)單元，同時(shí)參數(shù)量有所下降，因此BiGRU 模塊訓(xùn)練效率優(yōu)于BiLSTM。模型MSC（w/o BiBSASRU）整體平均訓(xùn)練時(shí)長(zhǎng)較MSC（w/o BiSRU）增加2.2 s，由于BiBSASRU 在BiSRU 模塊的基礎(chǔ)上內(nèi)置自注意力機(jī)制，因此會(huì)引入額外的運(yùn)算量，導(dǎo)致訓(xùn)練時(shí)長(zhǎng)方面也有所增加，但幅度較小。

3 結(jié)束語(yǔ)

針對(duì)英文作文自動(dòng)評(píng)分任務(wù)，本文提出基于多尺度上下文的英文作文自動(dòng)評(píng)分模型MSC。XLNet提取原始作文的符合上下文語(yǔ)境的單詞和句嵌入，由多尺度上下文網(wǎng)絡(luò)通過(guò)結(jié)合內(nèi)置自注意力簡(jiǎn)單循環(huán)單元與全局注意力機(jī)制，全面捕捉單詞、短語(yǔ)和句子級(jí)別的高維作文潛在語(yǔ)義，計(jì)算每個(gè)句子與提示語(yǔ)得到主題層次特征，更好地表征作文扣題度。實(shí)驗(yàn)結(jié)果表明，該方法在公開(kāi)英文作文數(shù)據(jù)集ASAP上得到了80.50%的平均QWK 值，高于實(shí)驗(yàn)對(duì)比的優(yōu)秀深度學(xué)習(xí)模型，能夠有效捕獲不同層次的上下文語(yǔ)義關(guān)聯(lián)特征，并通過(guò)消融實(shí)驗(yàn)驗(yàn)證各個(gè)模塊的有效性。后續(xù)將考慮高效地引入淺層特征，進(jìn)一步提升作文評(píng)分性能。此外，由于本文數(shù)據(jù)集為英文，因此開(kāi)展針對(duì)中文作文進(jìn)行自動(dòng)評(píng)分研究也是本文重點(diǎn)研究方向。