夏林中，羅德安，張春曉，張衛(wèi)豐

（深圳信息職業(yè)技術學院電子與通信學院，廣東 深圳 518172）

引言

中國社會的發(fā)展已深度融入世界發(fā)展的潮流中，其國際化程度越來越高。為此，中國英語學習的普及率也隨之變得越來越廣泛，從中國的小學開設了英語課程就可見一斑。目前，有關英語的測試非常之多，主要測試的是聽、說、讀和寫四個方面，其中寫的測試尤為重要。從統(tǒng)計的數據中觀察發(fā)現(xiàn)學生的寫作分數普遍偏低[1]。寫作能夠使英語知識不斷得到鞏固并內在化，有利于英語技能的全面發(fā)展。但是，英語寫作又是學習者最感頭痛的問題，究其原因，主要表現(xiàn)在兩個方面：一方面，學生需要堅持由簡到繁、主題多樣、形式各異等原則進行大量的英語寫作練習，這樣會給每個指導教師帶來巨大的批改工作量，從而很容易導致指導老師無法及時甚至無法給出批改反饋；另一方面，學生在練習寫作時，若無法得到及時的反饋，其繼續(xù)鍛煉寫作的動力就會不足。因此，開發(fā)英語作文自動批改系統(tǒng)就顯得尤為重要。

從國家層面看，近年來中國每年中考和高考人數都達到千萬量級，大學英語四、六級每年考試人次也達到了千萬量級。對于這樣大規(guī)模的考試，國家需要抽調大量的英語教師參加閱卷，這將耗費大量的人力、物力和財力。同時，由于閱卷的規(guī)模大，每個閱卷人需要超負荷閱卷，這會造成閱卷人身心俱疲，從而使得評分結果存在較大的差異。另外，每個閱卷人的主觀喜好、水平、評判標準等方面都存在著差異，這會使得評分結果具有較大主觀性[2-4]。英語自動作文評分系統(tǒng)則可以很好的解決以上所述人工閱卷的弊端。

英語自動作文評分（Automated Essay Scoring，AES）系統(tǒng)是指通過計算機軟件對學生的作文進行自動評分，評分過程中沒有人的干預[5]。AES的研究涉及到統(tǒng)計學、自然語言處理等技術。實現(xiàn)AES的路徑有很多種，包括：（1）基于非文本相關特征的AES系統(tǒng)；（2）基于文本相關特征的AES系統(tǒng)；（3）基于統(tǒng)計分類方法的AES系統(tǒng)；（4）基于深度神經網絡的AES系統(tǒng)。

1 基于非文本相關特征的AES系統(tǒng)

基于非文本相關特征的AES系統(tǒng)是依靠文章淺層語言學特征來給文章評分的，并未涉及到對文章內容的分析。早期的AES系統(tǒng)設計依據的就是非文本相關特征的分析，如Ellis Page開發(fā)的PEG（Project Essay Grader）系統(tǒng)[6,7]。由于文章的流暢性、文章的措辭、語句復雜度、用詞準確性等特征無法用計算機直接評價，因此，該類系統(tǒng)使用間接度量指標來評價，該種方法可以稱之為代理量度標準[8]。比如，文章的長度、句子數、用詞準確性等特征就可以反映文章的流暢性；單詞的長短變化、單詞豐富度等特征就可以反映文章的措辭水平；句子的長短、介詞和關系代詞的運用等特征就可以反映文章的語句復雜度；拼寫錯誤、時態(tài)準確性等特征就可以反映文章用詞的準確性。

利用基于非文本相關特征的AES系統(tǒng)進行評分可分為兩個階段：第一階段先由人工評分員對訓練集中的作文進行打分，再確定非文本相關特征變量，特征變量的值由計算機通過分析得出，再將特征變量與人工評分一起用標準多元回歸進行計算，最后得出預測回歸方程中每個特征變量的系數；第二階段通過計算機計算需要評分的作文的各個特征變量值，再將特征變量值代入預測回歸方程計算出作文的最終得分。非文本相關特征主要可分為詞法特征和句法特征，具體情況如表1所示。

表1 非文本相關特征Tab.1 Non text related features

基于非文本相關特征的AES系統(tǒng)在試驗中取得了較好的成績，如Page最新的實驗結果與人工評分在多元回歸相關性上達到了0.87[9]。但是因該系統(tǒng)無法對作文內容本身進行評價招致了諸多指責。同時，該系統(tǒng)無法反饋與寫作內容相關的指導性建議，從而限制了其應用范圍。再就是該系統(tǒng)的評分方式很容易被考試者利用，如寫出文理不通的長文、主題不相關的內容、用很多與寫作內容不相關的長單詞等方式來獲取好的成績。

2 基于文本相關特征的AES系統(tǒng)

所謂文本內容相關特征指的是文本的詞性標注、文法結構、蘊含主題、淺層語義等特征，基于文本相關特征的AES系統(tǒng)就是針對上述特征來分析文本，從而得出分數。

在對文本內容相關特征進行分析之前，首先要對文本進行詞性標注（part-of-speech tagging, POS tagging）。所謂詞性標注就是將文本中每個詞的詞性進行標記，為隨后的各項文本內容分析打好基礎。文本的詞性統(tǒng)計結果本身也是對文本進行評分的一個重要特征集（如：動詞、形容詞、連詞、介詞等詞的數量和使用頻率就能很好的反應文本內容的質量）。具體標注方式如圖1所示，圖中CC代表并列連詞，RB代表副詞，IN代表介詞，NN代表名詞，JJ代表形容詞。

圖1 文本詞性標注示例Fig.1 Examples of text tagging

計算機并不能像人類一樣處理自然文本信息，因此需要將自然文本信息轉換成計算機能夠理解和處理的形式。為此，需要找到合適的表達形式來將自然文本信息表達成計算機能夠進行文法分析的形式。這是一個極具挑戰(zhàn)性的研究領域，因為要用形式化語法來描述無限句子集合的結構。經過多年的發(fā)展，目前主要用依存句法來分析句子的結構，用語義依存分析來分析句子的內在語義。在作文評分過程中，句子語法是否正確和句子結構是否合理是兩個重要的評分特征量；同樣，基于語義依存分析的句子語義也將作為自動評分的重要特征量。

在作文評分過程中，是否對題是一個很重要的特征，上述基于非文本相關特征的AES系統(tǒng)最大的缺陷就是無法判斷作文蘊含的主題是否對題。為此，建立一種能夠挖掘作文“隱含”主題的主題模型就非常重要。隱含狄利克雷分布（Latent Dirichlet Allocation, LDA）主題模型是由Blei等人提出，他是一種概率生成模型[10]。該模型認為一篇文章的每個詞都是通過“以一定概率選擇了某個主題，并從這個主題中以一定概率選擇某個詞語”這樣一個過程得到。在這個過程中，目標是求解服從多項式分布的“文檔－主題（參數X）”和“主題－詞項（參數Y）”兩個參數。LDA是一種非監(jiān)督機器學習技術，可以用來識別大規(guī)模文檔集或語料庫中潛藏的主題信息。

淺層語義分析（Latent Semantic Analysis, LSA）是一種自然語言處理中用到的方法，LSA也叫做潛在語義索引（ Latent Semantic Indexing, LSI），顧名思義，是通過分析文章來挖掘文章的潛在語義。LSA的基本假設是，如果在同一篇文章中，有幾個詞同時出現(xiàn)，則可以推想這幾個詞在語義上具有一定的相似性。LSA利用大量語料來構建一個矩陣，矩陣中的每一列代表一篇作文，每一行代表一個詞，而矩陣交叉處的值是該詞在該文檔中出現(xiàn)的頻次，然后在此矩陣上使用奇異值分解來保留列信息的情況下減少矩陣行數，在此之后，通過使用矩陣行向量來計算每兩個詞語的相似性，計算值越接近于1則說明兩個詞語越相似，越接近于0則說明越不相似。

基于文本相關特征的AES系統(tǒng)有很多，如智能作文評審器（Intelligent Essay Assessor， IEA）[11-12]、E-rater[13]、IntelliMetric[14]等。IEA是由Pearson集團研制而成的，它主要的理論基礎就是LSA，同時該系統(tǒng)也包含了對作文寫作技巧等評價。E-rater系統(tǒng)已經商用，使用的部門是美國教育考試中心，該系統(tǒng)由三個模塊組成：文法模塊、論述模塊和主題模塊。IntelliMetric是由Vantage Learning公司研制而成的AES系統(tǒng)，該系統(tǒng)要分析超過300種特征變量，主要包括五大類：作文的整體性、文章的組織結構、主題相關性、句子結構、技巧和約定（如拼寫、語法、大小寫、標點符號等是否符合標準）。

3 基于概率統(tǒng)計分類方法的AES系統(tǒng)

最早將概率統(tǒng)計分類方法用于AES系統(tǒng)的是Larkey和Croft[15]，在他們的系統(tǒng)中使用了貝葉斯獨立分類方法和最近鄰分類方法，并提取11個文本復雜度特征用于線性回歸的計算，取得了一定成果。后來由美國教育部投資開發(fā)了貝葉斯作文測試評分系統(tǒng)（Bayesian Essay Test Scoring System，BETSY），該系統(tǒng)的開發(fā)者是美國馬里蘭大學的Lawrence Rudner[16]。BETSY系統(tǒng)在分類文本前會依據訓練集的內容、形式等多方面抽取一個大型特征集，再以多元伯努利模型和多項式模型根據特征集對文本進行分類（在分類過程中：事先將不同分數段確定為不同的類，比如分為優(yōu)、良、合格、不合格四類）。

2002年，Ruder&Liang采用了462篇作文作為訓練集來訓練BETSY，選取了80篇作文作為測試集，最終獲得了80%的準確率[16]。BETSY不但整合了PEG、E-rater、IEA等系統(tǒng)的優(yōu)點，同時還具有自己的特點。因此，該系統(tǒng)不僅用在作文分類上，還用在其它不同領域。值得一提的是該系統(tǒng)是目前唯一可免費下載使用的自動作文評分系統(tǒng)。

4 基于深度神經網絡的AES系統(tǒng)

近些年，深度神經網絡在自然語言處理領域得到了廣泛的應用，如詞性標注、組塊/命名實體識別、語義角色標注、信息檢索、知識庫修復、語言生成、語言理解、文本分類、單關系問答、機器翻譯等。2016年，Kaveh等構建了一個基于CNN-RNN-LSTM（Convolutional Neural Network,CNN; Recurrent Neural Network, RNN; Long short-term Memory, LSTM）的深度神經網絡自動作文評分系統(tǒng)，取得了非常好的結果[17]。同年，Dimitrios等使用深度神經網絡構建了自動作文評分系統(tǒng)，且取得了不錯的成果[18]。2017年，王耀華等構建了基于文本語義離散度的神經網絡自動作文評分系統(tǒng)，并分析了多元線性回歸、CNN和RNN-LSTM三種方式的優(yōu)缺點[19]。深度神經網絡自動作文評分系統(tǒng)構建框架如圖2所示。

圖2 深度神經網絡自動作文評分系統(tǒng)構建框架Fig.2 Framework for AES based on deep neural network

作文是由單詞構成，單詞之間并不是獨立同分布的關系，而是相互依存的關系。一篇作文可以看成是由單詞或句子序列組成的，而RNN是最善于處理序列數據的。但在實踐中，一篇作文的句子較多，因此在時間軸上網絡層次會很深，而RNN會因為時間軸層次深而導致梯度消失現(xiàn)象，為了克服RNN的不足，人們引入了LSTM單元，他可以很好的克服梯度消失現(xiàn)象。同樣，為了能更好的刻畫作文的局部特征，人們引入了CNN，CNN能夠根據窗口的合理設置來捕捉難以靠人類感官發(fā)現(xiàn)的局部特征。一個基于CNN+RNN+LSTM自動作文評分系統(tǒng)的構建框架如圖3所示。

圖3 基于CNN+RNN+LSTM自動作文評分系統(tǒng)框架Fig.3 Framework for AES based on CNN+RNN+LSTM

從圖3中可以看出，從文本輸入到最后得出分數共經過了向量表示層、卷積層、循環(huán)層、平均值層和帶Sigmoid激活函數的線性輸出層。下面將從這幾個層的工作細節(jié)做一個簡要的介紹。

（1）向量表示層。計算機無法像人類一樣處理自然語言，所以我們需要將自然語言轉換成計算機能處理的數字形式。一種簡單的方式是用one-hot詞向量來表示單詞，在圖3中，分別由一個 dLT維向量表示，因此向量表示層輸出可以表示為式(1)的形式。

式(1)中的 E 是詞嵌入矩陣，開始訓練時會人為設置一個初始值，在訓練過程中會不斷被修正。其中。

式(2)中的 W 和 b 分別是神經網絡的權值參數和偏置參數。

（3）循環(huán)層。循環(huán)層可以是RNN結構，也可以是LSTM結構。雖然LSTM結構要比RNN結構復雜，但其效果卻要好很多，因此循環(huán)層采用LSTM結構。在圖3中沒有標出LSTM結構的細節(jié)，實際上LSTM單元內部分別由輸入門、遺忘門、輸出門、狀態(tài)器等組成，通過這種方式就可以對信息進行保持和遺忘。具體描述LSTM細節(jié)的公式如式(3)、(4)、(5)、(6)、(7)、(8)所示。

在式(3)、(4)、(5)、(6)、(7)、(8)中，xt和 ht分別代表時刻輸入和輸出向量；Wi、Wf、Wc、Wo、Ui、Uf、Uc和 Uo代表權重矩陣；bi、bf、bc和 bo代表偏置向量；符號代表元素依次相乘；代表Sigmoid函數。

（4）平均值層。循環(huán)層的輸出結果可以表示為，H=（h1，h2,……h(huán)M）這些結果將會當作輸入值傳輸給平均值層，再做平均，可得如式(9)的結果。

帶Sigmoid激活函數的線性輸出層。平均值層的輸出結果將會傳輸到線性輸出層，并經過如式(10)的運算，從而將結果映射到作文得分空間。Sigmoid激活函數的作用是將線性輸出層的值線性轉換到0～1之間。

式(10)中的 x 代表MoT(H)，W代表權重參數，b是偏置參數。

上文介紹了基于CNN+RNN+LSTM自動作文評分系統(tǒng)的工作過程，但在使用該系統(tǒng)進行自動作文評分之前還有非常重要的一個步驟，就是準備好作文訓練集對系統(tǒng)進行訓練，只有在訓練過程中才能逐漸的確定系統(tǒng)的所有未知參數。為此，只有訓練好的系統(tǒng)才能執(zhí)行自動作文評分任務。

5 AES系統(tǒng)存在的問題及發(fā)展方向

本文梳理并簡要介紹了目前使用效果較好的幾種基于不同路徑的AES系統(tǒng)，他們都有一個共同的特點：必須準備一個作文訓練集（包含至少100篇以上已評分的作文），每個系統(tǒng)都需要通過訓練集的訓練來建立評分模型。因此，不同AES系統(tǒng)的共同實質就是：計算機依據一定數量已評分作文的某些數據特征建立數據特征與得分之間的映射關系，再抽取未評分作文的數據特征通過之前建立的映射關系獲得評分。通過實踐表明，不同的AES系統(tǒng)的評分結果與人工評分結果都達到了很高的相關度。

由于AES系統(tǒng)并不能像人類一樣鑒賞作文，因此也招致了很多批評。尤其是基于深度神經網絡的AES系統(tǒng)招致的批評最多，因為該系統(tǒng)是通過神經網絡抽取數據特征，他無法像其他系統(tǒng)那樣可以對抽取的數據特征進行合理的解釋。還有就是AES系統(tǒng)無法對已評分作文進行有建設性的意見反饋，而對于語言學習者來說，具體而富有建設性的反饋意見是促進其作文寫作水平的重要參考。當然，AES系統(tǒng)在大規(guī)?？荚囍幸寻l(fā)揮著重要的作用，在一些重要的英語考試中，可以被接受的方式是采用一個人工評分員和一個機器評分員各自獨立工作的模式。

未來AES系統(tǒng)發(fā)展的方向是：首先，基于傳統(tǒng)統(tǒng)計學的AES系統(tǒng)優(yōu)勢的情況下，結合基于深度神經網絡的特點構建融合各自優(yōu)點的AES系統(tǒng)，在達到增強系統(tǒng)評分準確度的同時，還要提高系統(tǒng)評分機理的可解釋性；其次，優(yōu)化不同緯度的數據特征，找到能夠合理解釋且與作文優(yōu)劣強相關的數據特征；再次，AES系統(tǒng)不僅是一個評分系統(tǒng)，還是一個對英語教學有巨大幫助的英語作文寫作練習系統(tǒng)。