文 治，李 旸，王素格,2，廖 健，陳 鑫

(1. 山西大學 計算機與信息技術學院，山西 太原 030006；2. 山西大學 計算智能與中文信息處理教育部重點實驗室，山西 太原 030006)

0 引言

文本情感分析是指通過對文本的主觀性分析發(fā)現(xiàn)作者所表達的情感傾向。依據文本中是否包含有顯性情感詞，將其又分為顯示情感分析和隱式情感分析[1]。隨著情感分析的研究不斷深入，人們開始更多的關注隱式情感分析。我們通過對真實微博語料的標注，發(fā)現(xiàn)反問句在隱式情感句中占有12.31%，可見對反問句的研究也是隱式情感分析的一個不可或缺的問題。反問句作為一種間接言語行為[2]，所表達的真實意圖是不同于其字面含義的。如果無法正確地識別反問句就可能對情感分析任務造成一定的偏差，甚至錯誤。因此，有效地對反問句進行識別，具有較大的應用價值，它可以幫助企業(yè)正確理解用戶對其產品和服務的態(tài)度，并做出正確的決策。例如，“售后服務工作人員來電質問我們半天，要知道哪里壞了，知道怎么弄的話，還要你們干嘛呢？”，這條評論表達了用戶對售后服務強烈的不滿，如果公司能夠正確地了解用戶態(tài)度并及時做出補救策略，可以有效地避免公司客戶的流失。

1 相關研究

目前，對于漢語反問句的研究大都集中在語言學領域，包括反問句、疑問句與陳述句的區(qū)別、反問句句式結構、反問句的語用價值以及反問句的標記等[3]，并且取得了豐碩的研究成果。呂叔湘[4]先生就反問句和疑問句曾指出“反問和詢問是作用的不同，在句子形式上并無差別?！?，即反問句與疑問句就表面句式結構而言是非常相似的，僅從句式結構對反問句識別會造成混淆。劉欽榮[5]認為反問句有其特有的表達形式，這為我們進行自動反問識別研究提供了一定的理論支持。他認為反問與疑問句的不同是在語義不發(fā)生變化的情況下，反問句的特指問和是非問是可以互相變換的，甚至特指問內部有的也可以互換。而疑問句則沒有這樣的特性。從反問句本身出發(fā)，黃伯榮等人[6]認為反問是無疑而問；明知故問即作者在已經知道了答案的情況下發(fā)出詢問，但并不需要從他人那里獲取答案。殷樹林[7]則結合反問的性質特征得出了反問的定義，即指反問句是對其形式有所否定的無疑而問的問句。從語用學的角度，許皓光[8]認為反問中的反問語氣是至關重要的，他在大量反問句的研究基礎上，對反問句語義語用功能進行了概述,并且提出了構成5種反問語氣的主要因素有語言環(huán)境的作用、副詞的使用、語句重音轉移、語序變化和詞語意義的虛化。另外，徐思益[9]、蘇英霞[10]、史金生[11]和柴森[12]等從探討反問句的結構特點入手，與一般疑問句的結構相比較，總結了一些反問句特有的表達式，并分析了它們的語義語用特點。此外，有些研究者從反問句標記[13-14]的角度對反問句進行研究，結合反問句特有的句式結構對反問句進行標記，并且總結了四類反問句的標記，分別是副詞類、疑問代詞類、雙音化詞和固定短語類。上述語言學家的大量研究成果雖不能直接運用到計算機自動識別反問句，但對反問句識別的任務提供了語言學基礎，使得句式結構可以作為自動識別反問句重要特征之一。

反問句的自動識別任務要求計算機能夠通過文本判別其是否為反問句。傳統(tǒng)的詞袋模型(bag of words，BOW)在對句子表示時，僅僅把句子看作是詞的集合，并不考慮句中詞序和句法等要素，使得抽象詞語的語義表示特征不夠充分，且存在表示向量高維和稀疏等問題。而Mikolov在2013年提出了Word2Vec[15]，該方法是通過對大量文本學習，利用上下文信息有效的提取詞的語義特征，并將其映射到n維特征空間，再利用空間向量的距離，用于度量詞語之間的語義相似度。這種方法能夠對詞語的語義信息進行有效表示，并將這種表示應用于多種自然語言處理任務。例如，分類、聚類、同義詞獲取和機器翻譯等。卷積神經網絡[16-17](convolutional neural network，CNN)具有捕獲局部特征的能力，Yoon[18]曾在2014年首次將CNN應用于句子分類中，它通過利用CNN中的卷積層、池化層和全連接層抽取句子特征，獲得句子表示，最后通過一個分類器對句子進行分類。隨后，在此基礎上，Kalchbrenner等[19]提出了一種動態(tài)卷積神經網絡(dynamic convolutional neural network，DCNN)，采用Dynamick-Max Pooling返回K個最大值的子序列，在一定程度上保留了詞序信息。與CNN不同，循環(huán)神經網絡RNN[20-22](recurrent neuron network)的優(yōu)勢是對序列化數據進行建模，且能夠捕獲數據的長期依賴，但是由于它不能夠并行運行，因此，RNN的訓練時間往往要比CNN花費得多。

因此，本文將反問句中特定的句式結構特征和Word2Vec詞的分布式向量的語義信息進行聯(lián)合表示，再結合卷積神經網絡捕獲特征的能力，建立了融合反問句特征的卷積神經網絡模型，用于對中文反問句的自動識別。

2 反問句識別任務分析

反問句識別就是判斷一個句子是反問句還是非反問句，我們將其看作二分類問題，其關鍵是考察反問句與非反問句存在哪些不同的特征。由文獻[3]可知，反問句在句式結構和語義上有鮮明的特點。在句式結構上，反問句有其特定的句式結構；在語義上，反問句是對語義前提的判斷，且反問句表達的真實意圖與字面意思相反。因此，我們從結構和語義兩個方面對反問句識別任務開展研究。

2.1 反問句的結構分析

本文從兩方面對反問句的結構進行分析，即顯式詞語角度(反問句中包含的關鍵詞)和特定句式結構。

2.1.1 反問包含的顯式詞語與符號特征

反問句中的顯式詞語與符號特征是指那些能夠表明句子類型或對反問句識別起到一定作用的句子成分，如“難道、怎么”等詞語。語言學家曾從反問句標記的角度對反問的顯式特征開展研究[9，15]，并取得了一定的成果。我們搜集、歸納并整理了常用的反問句顯式特征，如表1所示。

表1 反問的顯式詞語與符號特征表

2.1.2 反問的句式結構

反問句中存在一些特定的句式結構，語言學上也稱之為反問句特有的句式結構。殷樹林等人[23]曾通過對大量語料整理得出17種特定的反問句式結構，然而他們的語料主要是來源于文學作品，本文結合對新浪微博中的語料中反問句的標注結果，又搜集整理出一些反問特有的句式結構，共得到28種特定句式結構。我們選取部分句式結構及對應的例句在表2中列出。

表2 反問句特有的句式結構及其例句(部分)

續(xù)表

我們對搜集得到的28種反問句特定的句式結構，在標注語料上進行置信度和支持度的計算。每條句式結構的置信度和支持度的計算方式如式(1)和(2)所示，其中yt表示滿足句式結構且是反問句；nt表示不滿足句式結構但卻是反問句；yf表示滿足句式結構但不是反問句；nf表示不滿足句式結構也不是反問句。

本文對上文提及的28種特定句式結構進行了置信度和支持度計算，選取其中置信度大于70%的特定句式結構，如表3所示。

表3 特定句式結構的置信度和支持度

從表3中可以看出，反問句的特定句式結構具有置信度較高且支持度較低的特點。如果我們利用這些句式結構進行反問句的識別任務，雖然能夠保證識別句子的正確率，但是由于句式結構的低支持度，可能出現(xiàn)僅識別少部分的固定句式結構的反問句。

2.2 反問句的語義分析

反問句是通過問句的形式進行確定性的陳述。根據文獻[6]，反問句的特點是無疑而問、表示否定，即反問句并不表示真實的疑問，且反問句想要表達的真實意圖是與其字面意思恰好相反。例如，下面的例句。

例1這樣缺斤少兩的怎么讓消費者去信任你的商品質量呢？

例2難道在確保已出線時，就不能保留體力休養(yǎng)傷體嗎？

上述例1中，旨在說明由于“缺斤少兩”使消費者無法信任產品質量，但句中并沒有出現(xiàn)任何對信任的否定修飾，而是通過“缺斤少兩”作為語義前提推斷出對產品質量的不信任。整個句子通過肯定的字面含義表達其否定的真實意圖。例2中，作者想要表達在“確保出線”的前提下，應該“保留體力休養(yǎng)”，但他沒有直接說明而言通過一種否定的形式來表達。通過上述兩個例句，能夠看出反問句存在語義前提，且反問句包含有字面意義和隱含意義，而隱含意義與字面意義又恰好相反。

3 融合反問特征的卷積神經網絡模型

CNN已經被廣泛地應用在自然語言的句子建模中。首先將詞通過上下，分布表示為固定維度的詞向量。然后利用不同大小的卷積核對句子的矩陣進行卷積，獲取能代表句子語義的局部特征，再通過池化層選取包含信息最豐富的特征來完成句子的建模。為了高效識別反問句，根據第2節(jié)介紹的反問句的特征，本文將反問特征融合到卷積神經網絡結構中，用于識別反問句。該方法是通過卷積核對句子包含的反問詞進行卷積操作，引入反問的特征，然后再通過詞向量卷積生成的語義特征共同作用生成句子的表示，最后通過softmax分類器對句子分類。下面將詳細介紹融合反問特征的卷積神經網絡模型。網絡結構如圖1所示。

圖1 融合反問特征的卷積神經網絡結構

設S=(w1,w2,…，wn)為由n個詞組成，其中wi表示第i個詞。利用每個wi(i=1,2,…,n)生成k維向量，將wi的向量進行拼接得到句子的向量矩陣S，其表現(xiàn)形式如式(3)所示。

(3)

利用式(3)，句子可以得到的結構化表示的句子向量矩陣S，將其作為卷積神經網絡模型的輸入。

(1) 卷積層：基于卷積核的反問句語義特征提取。

利用不同大小的卷積核對反問句的句子向量矩陣S進行卷積，將句子的局部語義信息進行融合。設卷積核為c，大小為l×k。利用卷積核c對句子S進行卷積，卷積過程見式(4)。利用g表示一個卷積核卷積生成新的語義融合向量。

其中，式(4)中n表示句子的長度，·表示向量對應元素的乘積，bi表示卷積核的偏置。式(5)中g∈Rn-l+1表示n-l+1的列向量。f表示激活函數，這里我們采用ReLU函數，使用t個卷積窗口對句子進行卷積，生成t個新的語義向量，將其拼接得到矩陣G(n-l+1)×t=(g1,g2,…,gt)，矩陣G的轉置變換GT的展現(xiàn)形式見式(6)。

(6)

(2) 池化層：反問句中有效語義信息特征提取。

該層通過池化操作選取最具代表性的反問句的全部語義信息作為有效特征。這里采用最大池化操作，即從生成的語義向量中選取出最大值，認為它所包含的語義信息最為豐富，最能夠代表反問句S的特征。用M表示池化操作后產生的語義特征向量，具體操作如式(7)所示。

(7)

(3) 連接層：融合語義特征向量提取。

連接層是將不同大小卷積窗口卷積和池化后得到的反問的語義特征向量進行融合，共同作用得到反問句S的表示向量。于是將上一步池化后得到的所有反問特征向量進行全連接操作，最終得到句子表示向量，此處用S表示，表現(xiàn)形式如式(8)所示。

(8)

其中，Mi表示第i個卷積窗口卷積池化操作后產生的向量，Wi表示m×d的系數矩陣。

(4) 反問句特征的卷積與池化：反問句中顯示特征提取。

對反問句中存在特定的句式結構、標記及符號等特征。在對反問句的識別過程中，如果能夠有效正確地識別這些特征，將有助于準確地判斷句子的類別。于是本文利用2.1.1節(jié)提及的反問顯式詞語與標記，抽取出句子中的反問標記，對抽取出的特征詞進行卷積、池化和全連接操作，得到新的特征向量，將其融入到句子表示中，以加強這些特征詞對句子表示影響。對反問句的特征進行如上述卷積操作、池化操作和連接操作，最后得到特征表示f。

(5) 融合層：語義特征與反問特征進行融合表示。

該層是將上述經過操作(3)得到句子表示S以及經過操作(4)得到的反問特征表示f進行拼接，得到基于特征融合的句子表示Sf，如式(9)所示，⊕表示向量的拼接。

Sf=S⊕f

(9)

(6) softmax層：對句子表示進行反問句識別。

該層經過操作(5)步驟，獲取基于特征融合的句子表示Sf，并將其輸入到softmax層判斷句子是否為反問句，其判斷依據如式(10)所示。

y=softmax (WSf+b)

(10)

4 實驗設置

(1) 數據集及評價指標

實驗過程中，我們隨機將數據集的80%作為訓練集，10%作為驗證集，10%作為測試集，反復實驗10次，求取各個衡量指標的平均值。實驗結果采用的評價指標為精確率(precision)、召回率(recall)和F1值。

(2) 模型參數設置

本文利用的是卷積神經網絡(CNN)，其參數是在驗證集上進行了大量實驗，并進行參數調整。實驗過程中的參數更新采用Kingma[24]提出的Adam Optimzation進行梯度下降更新模型參數。通過多次實驗，選取最優(yōu)的模型參數：詞向量維度為300；過濾器的滑動窗口大小為3，4，5；過濾器數量為128；批處理大小(batch size)為100；迭代次數為50；學習率為0.001。在CNN[W]、CNN[F]、CNN[W+F]_1、CNN[W+F]_2實驗中，模型都采用了相同的參數。

5 實驗比較與結果分析

5.1 偽數據對反問句判別影響實驗

參考文獻[25-26]利用表情符對情感語料自動標注建立偽數據，我們也利用2.1.2節(jié)的句式結構，選擇具有高置信度反問句的特定句式結構，對未標注的語料進行自動標注，用于獲取大量的偽數據。為了驗證偽數據對實驗的影響，本文在原有手工標注的數據集中分別嘗試添加了500、1 000、1 500、2 000條偽反問數據。另外，為了保證數據的平衡，又添加了與之相應的非反問句。將這些真實數據和偽數據共同輸入到本文提出的模型訓練中，實驗結果如表4所示。

表4 不同偽數據的數量對比實驗結果

從表4可以看出，若添加了偽數據，能夠得到較高的召回率，其主要原因是偽數據具有特定的結構，然而，精確率卻較低，其原因是將真實數據和偽數據共同用于模型訓練，使得隨著偽數據的增多引入錯誤信息的可能也會增多。因此，為了關注反問句識別的精確率，后續(xù)實驗中并沒有使用偽數據。

5.2 八種方法對比實驗

為了驗證本文提出方法的有效性，選取如下的不同方法進行比較實驗。

(1) 基于規(guī)則的方法(RB)。該方法是利用2.1.2節(jié)中所提及的28種反問句的特定句式結構，首先將這些句式結構改寫成正則表達式，然后利用正則表達式對大量文本進行匹配，若句子能夠與任何一條正則表達式相匹配，則認為該句子是反問句，否則不是反問句。

(2) 基于SVM文本分類方法(SVM)。該方法主要是通過文本特征提取、文本特征表示、特征歸一化處理將文本轉化為特征向量，最后實現(xiàn)句子的反問句識別。即首先對文本進行分詞、去停用詞等預處理，所有的詞看作是特征集。然后從這些特征集中選取具有代表性的詞。本文采用卡方檢驗進行特征選取。對選取的特征進行歸一化處理，計算得到特征權重。對于給定文本按照選取的特征轉化成向量，再使用SVM進行分類。SVM是通過結構風險最小化來找到一個最優(yōu)超平面，使其達到最優(yōu)分類效果。本方法的特征利用卡方檢驗選取1 000個詞作為特征集，利用tf-idf對選取的特征進行權重計算，實驗采用的是由臺灣大學開發(fā)的LIBSVM[注]https://www.csie.ntu.edu.tw/～cjlin/libsvm/工具包，選用的SVM核函數是RBF核函數。

(3) 基于CRF的反問句的識別。該方法將反問句的自動識別問題轉化為序列標注問題，采用IOB2的標注集合來標記功能塊。每個標記由兩部分組成，第一部分表示功能塊的位置，第二部分表示功能塊的類型標記，兩部分之間通過“-”連接。實驗中采用的是CRF++[注]https://sourceforge.net/projects/crfpp/。

(4) 基于詞語的雙向循環(huán)神經網絡(BiLSTM)[27]。該方法中模型超參數按文獻[28]設置，設置詞向量的維度為300，隱藏狀態(tài)的維度為1 000，batch size為64，dropout算法的比率設置為0.5，模型的學習率設置為0.001。

(5) 基于詞語的卷積神經網絡(CNN[W])[18]。該方法利用預訓練的Word2Vec將句子轉化成連續(xù)的詞向量，將其作為傳統(tǒng)的CNN模型的輸入。

(6) 基于反問句的顯示特征詞、符號作為卷積神經網絡(CNN[F])輸入特征。該方法利用第2.1.1節(jié)中提及的反問顯式詞語與標記，作為特征對句子的表示。即將每個句子表示成基于特征詞的詞向量，然后輸入到傳統(tǒng)的CNN模型中。

(7) 拼接反問特征的卷積神經網絡(CNN[W+F]_1)。該方法利用預訓練的Word2Vec轉化成連續(xù)的詞向量，再利用2.1.1節(jié)中的反問的顯式詞語和標記作為抽取反問句的特征，將詞向量和特征在表示層進行拼接，得到融合反問句特征的詞向量，然后將拼接后的向量作為CNN模型的輸入，再進行卷積、池化和全連接操作。最后通過softmax分類器對句子進行分類預測。

(8) 融合反問特征的卷積神經網絡(CNN[W+F]_2)。該方法是利用本文3.2.2節(jié)提出的融合反問特征的卷積神經網絡的反問句識別。首先將句子利用預訓練的Word2Vec轉化成連續(xù)的詞向量，然后依據2.1.1節(jié)的反問顯式詞語與標記抽取出句子中反問句的特征，分別利用卷積核對詞向量和特指特征的詞向量進行卷積，將卷積生成的新的特征向量進行拼接，最后將拼接后的向量輸入到softmax分類器中對句子進行分類預測。

利用上述設置的8個方法的實驗，獲得的實驗結果見表5。

表5 8種方法識別反問句的實驗結果

從表5中，我們可以得出：

① SVM、BiLSTM、CRF和CNN[W]都是利用句子中的詞語特征進行反問句識別，CNN[W]的實驗效果明顯優(yōu)于SVM、BiLSTM和CRF，這是因為基于SVM的反問句識別僅僅考慮了特征是否存在，并沒有考慮句子的語義信息，BiLSTM中雖然也考慮了句子語義信息，但由于微博語料中反問常常存在于一個分句中，若句子較長時，一些詞語會隨句子長度的增長對句子表示的影響較小，這樣就會對句子的識別造成錯誤，而CNN[W]是對含有語義信息的詞向量進行操作，在卷積過程中將每個子句的語義信息充分融入到句子表示中。因此，實驗效果明顯優(yōu)于SVM、BiLSTM和CRF。

② RB和CNN[F]都利用了反問句的特征，但RB的實驗效果較差，主要原因是RB是基于正則表達式的匹配，僅考慮了句式結構且比較苛刻、不夠靈活，造成了反問句識別的召回率較低。通過比較RB和CNN[F]可以看出，在對反問句進行識別時，使用語義信息可以提升反問句識別的效率。

③ 從CNN算法來看，四個CNN的對比實驗結果在F1值指標下由優(yōu)到劣的順序為CNN[W+F]_2>CNN[W+F]_1>CNN[F]>CNN[W]。對于同時考慮反問特征和詞向量，CNN[W+F]_1的精確率和召回率分別達到85.7%、84.7%。CNN[W+F]_2的精確率高達89.5%，而召回率與CNN[W+F]_1基本持平，達到84.2%。CNN[W+F]_2算法的召回率低于CNN[F]算法的召回率，這種結果可能是因為CNN[W+F]_2是先通過卷積抽取出詞特征和反問特征共同用于句子表示，當較長句子包含的反問特征較少時，反問特征對句子表示作用較小，使得模型可能造成分類錯誤。

由此可知，在反問句識別時中，分別考慮句子的語義和反問的特征，可以對反問句進行有效的表示，從而提升反問句的識別效果。

5.3 錯誤分析

為了對模型分類性能進行分析，從模型分類錯誤的結果中隨機選取了50個句子。根據造成模型分類錯誤原因的不同將其分為兩類，分別是包含顯式特征和顯式特征缺失。結合例句對其進行說明。

例3現(xiàn)在這點錢，我選車基本上沒怎么猶豫，直接選了速騰！

例4尊稱路上頭等艙的w12，前臉很霸氣有木有！

例3中存在2.1.1節(jié)提及的反問的顯式詞語符號特征“怎么”，這些詞語特征對句子的表示會產生一定的誤導，使得模型將其都分類為反問句。造成這種錯誤的原因應是模型僅考慮了顯式詞語特征是否存在，沒有考慮這些特征在句子中充當的成分。如果能夠在模型中考慮到反問句的句法結構的成分特征可能會對分類性能有所提升。

另一個明顯的錯誤是對包含在例4中“有木有”和“是不是”等這一類詞的反問句模型不能對其進行識別。造成這一錯誤的原因是這些特征缺失，而模型在一定程度上要依賴搜集的反問的顯式特征。因此，今后可以通過擴充反問的特征來解決這一類問題。

6 結束語

本文針對社交媒體中反問句，依據其特有的句式結構、上下文語義相關的特點，設計了融合反問特征的卷積神經網絡的方法進行中文反問句的識別。對于反問句語料較少的情況，可以利用反問句特有的特征搜集語料對模型進行訓練。既能解決模型訓練中語料不足的問題，又能緩解語料標注過程中大量時間和人力的浪費。將本文所提方法應用到社會媒體語料中進行反問句的識別，取得了不錯的效果，進一步證明了本文所提出的方法的有效性。但本文仍有不足，在模型中僅僅使用了包含顯式詞語和符號特征的反問的句式結構，并沒有考慮到反問句的句法結構特征。在今后研究中可以考慮將反問的句法結構特征和句子語義特征共同作用于句子的表示，并充分利用偽數據進行模型的訓練，以提高反問句的識別性能。