楊正祥 劉 杰* 袁克柔 周建設(shè)

1(首都師范大學(xué)信息工程學(xué)院 北京 100048)2(首都師范大學(xué)成像技術(shù)高精尖創(chuàng)新中心 北京 100048)

0 引 言

作文寫作可以考察學(xué)生的邏輯思維與語言運(yùn)用的能力和水平，是漢語考試中必考科目。國內(nèi)每年學(xué)生寫作的作文數(shù)目十分巨大，人工批改的成本極高。中文作文的自動(dòng)評(píng)測(cè)研究逐漸興起，對(duì)于提高作文評(píng)測(cè)效率、控制評(píng)分誤差具有十分重要的意義。

由于中文語言邏輯的復(fù)雜程度高，現(xiàn)有的研究對(duì)作文評(píng)測(cè)大多從詞匯使用[1]、語法表達(dá)、作文長度、關(guān)聯(lián)詞使用、修辭手法的運(yùn)用[2]、文章主題一致性等角度而進(jìn)行評(píng)測(cè)，并未涉及作文句間邏輯合理性的評(píng)測(cè)。而且，在作文評(píng)測(cè)中句間邏輯合理性同樣是評(píng)價(jià)語言運(yùn)用能力的一項(xiàng)重要指標(biāo)。本文認(rèn)為文本句間邏輯合理表現(xiàn)在句子組織順序合理，這樣的文本具有很好的可讀性。因此，本文考慮使用句子自動(dòng)排序的方法，通過判定句子集合的自動(dòng)排序是否與人工排序一致，驗(yàn)證句間邏輯是否合理。

1 相關(guān)研究

本文以段落為基礎(chǔ)，研究中文作文段落中句間邏輯合理性的等級(jí)判別模型。語篇連貫性的研究可以從關(guān)聯(lián)詞及語法信息的方面進(jìn)行分析判斷[3],另外根據(jù)句子組織順序合理性也可以有效判斷段落邏輯合理性。

句子排序的研究出現(xiàn)在文本自動(dòng)摘要研究領(lǐng)域，其他領(lǐng)域并無相關(guān)研究。這是因?yàn)槿斯懽鞯恼Y(jié)構(gòu)單一且內(nèi)容精煉，涉及的詞匯多為某領(lǐng)域內(nèi)的專業(yè)詞匯。文本自動(dòng)摘要領(lǐng)域內(nèi)的句子排序任務(wù)，主要是將人工已寫好的、打亂順序的文檔摘要句集或機(jī)器選擇的摘要候選句集組織為合理并且可讀的文摘[4]。無論是單文檔還是多文檔自動(dòng)摘要，都不可避免地要面臨以下三個(gè)問題：文檔冗余信息的識(shí)別與處理，重要信息的辨認(rèn)，生成文摘的連貫性[5-9]。其中，文摘的連貫性與本文所要研究的段落內(nèi)部句子之間的連貫性是非常有關(guān)聯(lián)的，因此本文借鑒文本自動(dòng)摘要中關(guān)于連貫性的處理方法，將其遷移應(yīng)用到中小學(xué)作文的段落句間連貫性的研究上。

現(xiàn)有的研究大致可分為以下幾類：① 利用句中時(shí)間信息確定句子順序。以句子在語料中出現(xiàn)的時(shí)間為依據(jù)進(jìn)行排序，例如新聞?wù)Z料中，抽取句子內(nèi)部的時(shí)間信息，再輔助排序算法對(duì)句子進(jìn)行排序[10-11]。② 從大型的語料中挖掘內(nèi)部句子的自然順序。該方法在語料詞匯的基礎(chǔ)上，計(jì)算相鄰句子間的鄰近度，估計(jì)句子構(gòu)成前后句對(duì)的條件概率，得到排序結(jié)果[12-14]。③ 從文檔集合中句間的蘊(yùn)含關(guān)系確定邏輯關(guān)系。該方法從句子內(nèi)部實(shí)體在句間的轉(zhuǎn)移、事件標(biāo)簽的延續(xù)狀態(tài)、主題轉(zhuǎn)移等方面挖掘句間所蘊(yùn)含的邏輯關(guān)系[14]。文獻(xiàn)[16]采用注意力機(jī)制的方法捕捉句子間的語義邏輯關(guān)系。

利用句子所包含的順序信息、句間的繼承關(guān)系、句子主題等方法，局限性較大，且對(duì)時(shí)間詞以及隱含的時(shí)間的識(shí)別、主題識(shí)別、顯示及隱式關(guān)聯(lián)詞挖掘等成為需要克服的技術(shù)難題。

考慮到現(xiàn)有語料數(shù)量巨大，人工標(biāo)記不足，本文擬采用非監(jiān)督方法，在不依賴時(shí)間、事件等標(biāo)簽，保證方法通用的前提下，挖掘段落內(nèi)部句間的邏輯關(guān)系，獲得較優(yōu)的通用性。該方法在現(xiàn)有條件熵計(jì)算相鄰句子間關(guān)系的基礎(chǔ)上，提出詞向量以及哈工大同義詞詞林(cilin)與其結(jié)合的方法，共同計(jì)算句子的鄰近度；在排序算法上，則選取馬爾科夫隨機(jī)游走模型[17]，完成中小學(xué)作文段落內(nèi)部的句子排序任務(wù)，并通過ROUGE-L[18]對(duì)排序結(jié)果打分，從而實(shí)現(xiàn)對(duì)段落邏輯合理性的等級(jí)評(píng)測(cè)，構(gòu)建段落邏輯合理性等級(jí)評(píng)測(cè)模型(Logic Rationality Rating of Paragraph Model, RPM)。

2 段落句間邏輯合理性等級(jí)評(píng)測(cè)

中文作文句間合理性評(píng)測(cè)模型以條件熵為基礎(chǔ)來計(jì)算句對(duì)關(guān)聯(lián)程度，融合word2vec以及哈工大同義詞詞林，從語義相似的角度計(jì)算句子的鄰近度，再依據(jù)馬爾科夫隨機(jī)游走模型，完成中小學(xué)作文的句子排序。為了評(píng)價(jià)排序結(jié)果與真實(shí)排序是否一致，選擇使用ROUGE-L作為評(píng)價(jià)指標(biāo)，模型排序結(jié)果與待評(píng)語料的真實(shí)排序順序比較，若評(píng)價(jià)指標(biāo)值大于等于0.6，則認(rèn)為模型排序結(jié)果較接近語料的真實(shí)排序，排序是一致且可接受的，否則排序結(jié)果不可接受。通過在測(cè)試集上統(tǒng)計(jì)經(jīng)模型得到的可接受排序比例，驗(yàn)證文中提出的句子排序方法是否能與真實(shí)排序一致，從而輔助評(píng)測(cè)作文句間邏輯是否合理。具體模型如圖2 所示。

圖1 段落邏輯合理性等級(jí)評(píng)測(cè)模型

2.1 條件熵算法

信息熵描述信源的不確定度，信息越有序熵越低，而信息越混亂熵較高，包含的不確定信息更多。從句子排序的角度來說，兩個(gè)句子之間的連接越緊密，關(guān)聯(lián)程度越強(qiáng)，而熵值就越小，依此為依據(jù)，依靠條件熵衡量不同句子間的連貫性強(qiáng)度。在本文中，條件熵作為評(píng)價(jià)兩個(gè)變量，即兩個(gè)句子之間信息關(guān)聯(lián)程度的評(píng)價(jià)基礎(chǔ)，其計(jì)算公式如下：

(1)

式中：X、Y是兩個(gè)變量的集合，xi∈X，yj∈Y，p(xiyj)是xi、yj共同出現(xiàn)的概率，p(yj|xi)是條件概率，表示在xi出現(xiàn)的情況下，yj出現(xiàn)的概率。

在句子排序的研究中，句子作為單獨(dú)的語義單元，出現(xiàn)相同表達(dá)的可能性幾乎為零，詞作為構(gòu)成句子語義的最小單元，可重復(fù)出現(xiàn)在不同的句子中。因此，本文選擇以句對(duì)間的單詞搭配信息，來計(jì)算句間連貫性，對(duì)應(yīng)的計(jì)算公式如下：

(2)

式中：Sm與Sm-1為相鄰的兩句話，wi為Sm-1中出現(xiàn)的詞，wj為Sm中出現(xiàn)的詞?？紤]到語料詞性中名詞、動(dòng)詞、形容詞在中文中表達(dá)意義比較豐富，因此在研究過程中，同樣僅考慮了以上三種詞性。p(wiwj)以及p(wj|wi)均可從語料中統(tǒng)計(jì)得出，計(jì)算公式如下：

(3)

(4)

式中：wi為前導(dǎo)句中出現(xiàn)的單詞，wx為其后面句子中出現(xiàn)的單詞，frequency(wxwy)計(jì)算兩個(gè)單詞共同出現(xiàn)的頻次，frequency(wywi)計(jì)算wi與其他任意詞搭配的頻次。

2.2 word2vec以及同義詞詞林

由于統(tǒng)計(jì)語料中句對(duì)之間的詞語搭配，參數(shù)空間大，且容易出現(xiàn)數(shù)據(jù)稀疏的問題，本文將借助語義詞典，如詞向量、《哈工大信息檢索研究室同義詞詞林?jǐn)U展版》，在語義上對(duì)詞語進(jìn)行劃分與聚類，以降低不良影響[19]。

Google在2013年開源了一款用于詞向量計(jì)算的工具word2vec[20], 該工具能夠在上億的數(shù)據(jù)集上進(jìn)行高效訓(xùn)練，并且得到詞向量可以度量詞與詞的相似度。本文根據(jù)十萬篇不同類型的中小學(xué)作文語料，得到詞向量字典，并將其按照相似程度聚類，每類下的單詞可以認(rèn)為其語義是相似的。

梅家駒等編輯完成的《同義詞詞林》為創(chuàng)作和翻譯工作提供了較多的同義詞語?！锻x詞詞林》著作時(shí)間為1983年，較為久遠(yuǎn)，內(nèi)容對(duì)當(dāng)今所處的時(shí)代差距較遠(yuǎn)，因此《哈工大信息檢索研究室同義詞詞林?jǐn)U展版》應(yīng)運(yùn)而生，其中包含了更加豐富和符合當(dāng)代背景的語義信息。但是能夠共享的僅僅是其中的詞典文件，其完整版并沒有共享。詞典內(nèi)容的缺失必然會(huì)導(dǎo)致作文中未出現(xiàn)在詞林中的不相干詞匯劃分為同一類別。因此，本文在同義詞林(cilin)的基礎(chǔ)上，加入word2vec對(duì)詞典文件缺失的詞匯進(jìn)行近義詞、同義詞自動(dòng)聚類，以降低因cilin內(nèi)容缺失而帶來的不良影響。

2.3 馬爾科夫游走模型

在確定句間的鄰近關(guān)系后，本文在眾多排序算法中，選擇馬爾科夫隨機(jī)游走模型(Markov Random Walk)對(duì)句子進(jìn)行最終排序。隨機(jī)游走(Random Walk)矩陣對(duì)應(yīng)一個(gè)遍歷的馬爾科夫鏈，任意兩個(gè)狀態(tài)之間通過不斷轉(zhuǎn)移可以互相到達(dá)。如圖2所示，每個(gè)狀態(tài)節(jié)點(diǎn)之間可以以一定的概率p連接轉(zhuǎn)移。

圖2 馬爾科夫隨機(jī)游走模型

排序模型定義了圖G=(V,E)，V是頂點(diǎn)集，即待排序句子集合，E是邊集，即待排序句子集合中兩個(gè)句子的鄰近度，其值即為通過條件熵公式計(jì)算得到的句子vi→vj的概率。m個(gè)待排序句子可得到游走矩陣模型M=Mi,j|m×m，其中：

(5)

基于矩陣模型M，某個(gè)句子在排序中的分值可通過與其他句子得到，其計(jì)算公式如下：

(6)

圖G=(V,E) 按照以上計(jì)算直至收斂，選取其中分值最高的句子優(yōu)先排序，將剩余句子重新組成新圖G′ 重新執(zhí)行操作，直至待排序句子V為空。句子的排序順序即為最終的排序結(jié)果。

2.4 評(píng)估算法與標(biāo)準(zhǔn)

因?yàn)楸疚乃褂玫恼Z料數(shù)據(jù)量較大，人工評(píng)價(jià)模型不適合評(píng)估排序結(jié)果的合理性。因此，考慮自動(dòng)的句間合理性評(píng)測(cè)方法，由于自動(dòng)文摘的連貫性與作文段落句間連貫性評(píng)估標(biāo)準(zhǔn)非常相似，在自動(dòng)文摘中使用ROUGE系統(tǒng)對(duì)自動(dòng)生成的摘要與參考摘要進(jìn)行比較計(jì)算得到相應(yīng)分值，通過衡量二者相似度來分析文摘的連貫性。在本文中考慮模型排序結(jié)果與真實(shí)排序結(jié)果的相似度來分析段落句間的連貫性，所以采用ROUGE系統(tǒng)進(jìn)行句間邏輯合理性評(píng)估。ROUGE系統(tǒng)中的ROUGE-L從兩個(gè)序列的最長公共子串的角度考慮，進(jìn)行相似度的打分。計(jì)算公式如下：

LSC=lsc(stand_order,sorted_order)

(7)

(8)

(9)

(10)

(11)

式中：stand_order是段落中句子集合真實(shí)的排序結(jié)果，sorted_order是排序模型生成的結(jié)果，LSC為兩個(gè)排序的最長公共子串的長度，R、P分別指的是召回率和準(zhǔn)確率，標(biāo)準(zhǔn)排序和模型排序結(jié)果的長度是一致的，公式經(jīng)過化簡(jiǎn)，最終ROUGE-L的評(píng)分由公共子串在序列長度中的比例決定。本文通過實(shí)驗(yàn)將閾值設(shè)置為0.6，真實(shí)排序序列同模型排序序列比較，若評(píng)價(jià)分?jǐn)?shù)大于或等于閾值，則兩者排序結(jié)果是相似的，將模型排序的排序結(jié)果是可接受的，否則不接受模型排序。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文從互聯(lián)網(wǎng)上優(yōu)秀的作文網(wǎng)站中使用爬蟲工具獲取中小學(xué)漢語作文語料16 329篇，其中，訓(xùn)練數(shù)據(jù)11 766篇，測(cè)試數(shù)據(jù)為4 563篇。并且將上述所有作文語料作為word2vec的訓(xùn)練語料，獲得最終的詞向量字典，共計(jì)79 770個(gè)詞。

3.2 條件熵與詞向量、cilin效果對(duì)比

本文使用條件熵預(yù)測(cè)句子排序結(jié)果。由于句中語義信息缺失，本文在此基礎(chǔ)上，提出的應(yīng)用word2vec，從數(shù)據(jù)集中訓(xùn)練得到的詞向量字典，將所有單詞聚類為500類與1 500類效果較優(yōu)。此外，考慮到單詞自動(dòng)聚類不如人工聚類準(zhǔn)確，本文考慮并加入了《哈工大信息檢索研究室同義詞詞林?jǐn)U展版》涉及的11 769類同義詞，融合基礎(chǔ)模型條件熵，通過馬爾科夫隨機(jī)游走模型預(yù)測(cè)句子排序。實(shí)驗(yàn)結(jié)果如圖3 所示。

圖3 ROUGE-L評(píng)測(cè)結(jié)果

由實(shí)驗(yàn)結(jié)果可知，針對(duì)句子數(shù)量相同的段落：采用原始詞語的字典編號(hào)取得的效果很差；詞向量能夠優(yōu)化條件熵的排序結(jié)果，且單詞分類越多，各個(gè)類別下單詞的語義相似，模型排序與原始排序通過ROUGE評(píng)分，可接受部分越多，最高能達(dá)89%左右，且實(shí)驗(yàn)中無論段落內(nèi)部句子的數(shù)量，通過評(píng)價(jià)，可接受比例均在50%以上；cilin的使用能夠在一定程度上優(yōu)化排序結(jié)果，雖然效果優(yōu)于采用聚類為500類的詞向量模型，但遠(yuǎn)遠(yuǎn)不如將單詞聚為1 500類的模型。然而，隨著段落內(nèi)句子數(shù)量的增多，模型越難以對(duì)段落的邏輯做出合理排序。

3.3 cilin、詞向量融合效果對(duì)比

在上述實(shí)驗(yàn)中，cilin與word2vec聚類均能提升條件熵的排序效果，且word2vec聚類1 500類之后取得了最優(yōu)的效果，遠(yuǎn)遠(yuǎn)高于應(yīng)用cilin的模型。本部分將cilin與word2vec聚類1 500類的方法融合，在此基礎(chǔ)上加入條件熵，通過馬爾科夫隨機(jī)游走模型預(yù)測(cè)句子排序。結(jié)果如圖4所示。

圖4 ROUGE-L評(píng)測(cè)結(jié)果

由實(shí)驗(yàn)結(jié)果可知，cilin與word2vec聚類相結(jié)合的方式與單獨(dú)cilin模型排序的效果相比，總體上稍有提升。但是仍不及單獨(dú)用word2vec聚類1 500類的模型排序效果。分析其具體原因，word2vec用高維特征表示單詞語義，詞向量不僅能夠包含單詞的語義，還包含更多諸如語法結(jié)構(gòu)等方面的信息，對(duì)其表征的詞語進(jìn)行聚類，相比cilin中詞語僅依靠相近的語義聚類在一起，前者能從多角度多維度考慮詞語的類別，更為合理。而兩者融合，cilin對(duì)w2v_1500造成了不良影響，由ROUGE評(píng)分后，排序結(jié)果的可接受比例出現(xiàn)了明顯下降；w2v_1500則一定程度上彌補(bǔ)了cilin不完整的缺陷，排序結(jié)果可接受比例稍有提高。

3.4 評(píng)測(cè)結(jié)果分析

從實(shí)驗(yàn)結(jié)果可知，隨著段落長度的增加，模型排序結(jié)果經(jīng)ROUGE系統(tǒng)評(píng)分，可接受的排序在所有排序中的比例越來越低，這主要是由模型算法自身缺陷導(dǎo)致的。RPM模型在對(duì)句子數(shù)量為2或3的段落排序，可接受的排序結(jié)果占的比例較高，取得了不錯(cuò)的效果，但是即使假設(shè)2句話的排序可接受占比達(dá)到0.9，隨著句子數(shù)量越來越多， 在段落內(nèi)句子數(shù)量為n的情況下，可接受的排序結(jié)果占比最高僅能達(dá)到0.9n，呈指數(shù)級(jí)別下降。

4 評(píng)測(cè)模型的優(yōu)化

4.1 帶優(yōu)化策略的段落邏輯合理性評(píng)測(cè)模型

即使算法能夠具有一定的通用性，在句子數(shù)量較少的段落情況下，RPM模型排序結(jié)果取得了不錯(cuò)的效果，但是隨著段落內(nèi)部句子數(shù)量的增多，排序結(jié)果的可接受比例指數(shù)下降，在實(shí)際評(píng)測(cè)中存在缺陷，因此本節(jié)對(duì)以上提出的條件熵模型進(jìn)行改進(jìn)。

經(jīng)實(shí)驗(yàn)分析可知，段落內(nèi)句子數(shù)量為2或3的情況下，RPM模型排序的結(jié)果比較令人滿意。因此，本節(jié)擬通過對(duì)句子數(shù)量較多的段落首先進(jìn)行拆分分塊，以保證RPM模型僅處理句子數(shù)量為2或3的句子塊。若段落內(nèi)句子數(shù)量較多，段落可以被認(rèn)為是包含很多葉子(段落內(nèi)的句子)的樹，段落整體作文根節(jié)點(diǎn)，對(duì)段落的每次劃分，相當(dāng)于對(duì)子節(jié)點(diǎn)的生成。在保證RPM僅處理句子數(shù)量為2或3的句子塊的前提下，每個(gè)節(jié)點(diǎn)下的子節(jié)點(diǎn)數(shù)量應(yīng)在2～3范圍內(nèi)。但是，本文實(shí)驗(yàn)僅考慮了句子數(shù)量為2～7的段落，可以通過簡(jiǎn)單的拆分表，對(duì)段落進(jìn)行劃分。表1為拆分表，圖5展示了拆分過程。

表1 段落拆分表

圖5 拆分排序過程

圖5 展示了句子數(shù)量為5的段落的拆分排序過程。首先對(duì)段落內(nèi)句子按照拆分表進(jìn)行分塊劃分，每種不同的拆分情況內(nèi)，每塊段落片段代表不同的類別，將相同塊內(nèi)的句子當(dāng)作一個(gè)整體，從而能夠應(yīng)用RPM模型進(jìn)行評(píng)分，完成塊之間的排序。之后比較每種拆分的取得的ROUGE分值，取最高得分的塊排序結(jié)果作為第一次的排序。然后每塊內(nèi)部再進(jìn)行拆分或排序，同樣取分值最高的排序結(jié)果作為當(dāng)前排序結(jié)果。如此層次拆分，最終得到段落句子的最終排序。

4.2 優(yōu)化策略模型實(shí)驗(yàn)結(jié)果

分析上一節(jié)中的實(shí)驗(yàn)結(jié)果，RPM融入經(jīng)詞向量聚類1 500類的語義相似詞，在段落內(nèi)句子數(shù)量為2～3的情況下，取得了不錯(cuò)的效果。本次實(shí)驗(yàn)以此為基礎(chǔ)，建立OPT_RPM評(píng)測(cè)模型，驗(yàn)證優(yōu)化策略的可行性。

由圖6可以看出，優(yōu)化策略能夠減緩RPM隨著段落內(nèi)句子數(shù)量增多而存在的可接受排序結(jié)果占比指數(shù)下降的情況，對(duì)長度為4～5的段落句子排序結(jié)果的可接受比例有了較大的提高，從而驗(yàn)證本文提出的帶優(yōu)化策略的RPM，即OPT_RPM是可行的。

圖6 OPT_RPM的ROUGE-L評(píng)測(cè)結(jié)果

5 邏輯等級(jí)與ROUGE分值對(duì)應(yīng)關(guān)系

本文擴(kuò)展可接受與不可接受兩種評(píng)測(cè)結(jié)果，擬將段落的邏輯劃分為4個(gè)等級(jí)：優(yōu)秀、良好、及格以及不及格。為了能夠在實(shí)踐中應(yīng)用，本節(jié)通過一系列的統(tǒng)計(jì)分析建立段落邏輯等級(jí)與ROUGE分值的對(duì)應(yīng)關(guān)系。

本文選取1 000條段落，每個(gè)等級(jí)的段落均為250條，其評(píng)判等級(jí)均有專家參與，保證語料的準(zhǔn)確性。使用OPT_RPM對(duì)句集排序得到機(jī)器排序結(jié)果，ROUGE-L對(duì)其進(jìn)行評(píng)分。通過分析每個(gè)邏輯等級(jí)內(nèi)ROUGE分?jǐn)?shù)的范圍，從而確定模型在實(shí)際應(yīng)用中所使用的閾值。

OPT_RPM對(duì)每條段落進(jìn)行句子排序，而ROUGE-L對(duì)排序結(jié)果進(jìn)行了評(píng)分，本文將評(píng)分與人工真實(shí)評(píng)價(jià)等級(jí)對(duì)應(yīng)起來，除去離散點(diǎn)，取分布最集中的分值作為ROUGE-L對(duì)段落邏輯等級(jí)劃分的邊界。其中，相鄰等級(jí)之間存在交叉，本文考慮到劃分邊界模糊，為了激勵(lì)使用者，將交叉沖突部分取等級(jí)較高的一方，最終得到表2 關(guān)于段落邏輯等級(jí)對(duì)應(yīng)的ROUGE-L分值區(qū)域。由該表可知，1 000條段落通過ROUGE-L評(píng)分，判斷分值散落在的區(qū)間對(duì)應(yīng)得到段落評(píng)測(cè)等級(jí)，各個(gè)等級(jí)的評(píng)測(cè)準(zhǔn)確率均在72%以上。

表2 段落邏輯等級(jí)與ROUGE-L評(píng)分對(duì)應(yīng)關(guān)系

6 結(jié) 語

本文從句子排序角度提出評(píng)測(cè)句間邏輯合理性，對(duì)其進(jìn)行定量分析。通過判定句子集合的排序與人工排序的相近程度，驗(yàn)證排序模型的有效性。在研究的排序方法中，應(yīng)用word2vec、cilin以及兩者相結(jié)合的條件熵句子排序方法均優(yōu)于僅僅使用條件熵進(jìn)行排序的方法。其中，詞向量詞典用高維特征表示單詞語義，不僅能夠包含單詞的語義，還包含更多諸如語法結(jié)構(gòu)等方面的信息，對(duì)其表征的詞語進(jìn)行聚類，相比cilin中詞語僅依靠相近的語義聚類在一起，前者能從多角度多維度考慮詞語的類別，在聚類為1 500類時(shí)，表現(xiàn)最佳；另外，本文提出了帶優(yōu)化的句間邏輯合理性評(píng)測(cè)模型OPT_RPM，經(jīng)過實(shí)驗(yàn)證明，OPT_RPM對(duì)相同的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了排序，由同一評(píng)測(cè)標(biāo)準(zhǔn)評(píng)測(cè)，取得了最優(yōu)的效果；本文還對(duì)OPT_RPM在實(shí)際中的使用做了探究工作，通過統(tǒng)計(jì)分析了OPT_RPM對(duì)段落排序結(jié)果的ROUGE-L分值與由專家評(píng)判的段落邏輯合理性等級(jí)的對(duì)應(yīng)關(guān)系，確定了ROUGE-L與邏輯合理性等級(jí)判定的分類邊界，取得了不錯(cuò)的效果，為輔助中文作文智能評(píng)測(cè)提供了新思路。在未來的研究工作中，將計(jì)劃進(jìn)一步優(yōu)化條件熵算法以及馬爾科夫游走模型，從模型結(jié)構(gòu)上改進(jìn)提高算法評(píng)測(cè)效果,探索更多評(píng)估作文段落邏輯合理性的方法，努力推進(jìn)中文作文智能評(píng)測(cè)研究的發(fā)展。