趙 明 董翠翠 董喬雪 陳 瑛

(中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院， 北京 100083)

0 引言

隨著人工智能技術(shù)的迅猛發(fā)展，智能問(wèn)答系統(tǒng)因能為人們提供準(zhǔn)確的答案和智能化、個(gè)性化的信息服務(wù)而得到廣泛研究。番茄是一種常見(jiàn)的日常蔬菜作物，有著廣泛的市場(chǎng)需求。但是，番茄病蟲害卻是影響番茄品質(zhì)和產(chǎn)量的重要原因。因此，在農(nóng)業(yè)生產(chǎn)中需要能夠快速準(zhǔn)確地獲取番茄病蟲害信息的智能服務(wù)和搜索技術(shù)，以實(shí)現(xiàn)番茄病蟲害的有效防治和及時(shí)治理。番茄病蟲害智能問(wèn)答系統(tǒng)的構(gòu)建和應(yīng)用是實(shí)現(xiàn)這一目標(biāo)的基礎(chǔ)，同時(shí)也是人工智能和智慧農(nóng)業(yè)[1]發(fā)展的必然要求。

問(wèn)答系統(tǒng)一般包括用戶問(wèn)句分類[2]、問(wèn)句語(yǔ)義理解[3]和答案抽取[4]3個(gè)主要部分。問(wèn)句分類作為問(wèn)答系統(tǒng)的關(guān)鍵模塊，對(duì)系統(tǒng)檢索效率具有決定性作用。

目前，國(guó)內(nèi)外對(duì)問(wèn)答系統(tǒng)中問(wèn)句分類的研究十分關(guān)注。大多問(wèn)句分類方法是基于規(guī)則[5]和統(tǒng)計(jì)學(xué)習(xí)的方法，較少利用問(wèn)句語(yǔ)義信息。

針對(duì)番茄病蟲害問(wèn)答系統(tǒng)的特點(diǎn)，問(wèn)句分類分為病害和蟲害兩大類，本文利用KNN[6-7]、BIGRU[8]和CNN[9]神經(jīng)網(wǎng)絡(luò)方法分別進(jìn)行番茄病蟲害問(wèn)句分類實(shí)驗(yàn)，以選取效果最優(yōu)的分類模型作為問(wèn)答系統(tǒng)最終采用的問(wèn)句分類方法。

1 材料與方法原理

1.1 獲取語(yǔ)料

通過(guò)Scrapy[10]爬蟲框架，抓取番茄病蟲害的各種百度百科、互動(dòng)百科、中文維基百科和農(nóng)業(yè)種植類網(wǎng)站等關(guān)于番茄病蟲害信息的中文文本語(yǔ)料。參考《中國(guó)蔬菜栽培學(xué)》書中番茄部分的信息，對(duì)網(wǎng)絡(luò)爬取的語(yǔ)料進(jìn)行校正和完善。

1.1.1語(yǔ)料預(yù)處理

中文分詞是中文問(wèn)句信息處理的基礎(chǔ)與關(guān)鍵。本研究采用條件隨機(jī)場(chǎng)(Conditional random fields, CRF)[11]分詞系統(tǒng)進(jìn)行中文分詞。CRF代表了新一代的機(jī)器學(xué)習(xí)分詞技術(shù)，其基本思路是對(duì)漢字進(jìn)行標(biāo)注即由字構(gòu)詞，不僅考慮了文字詞語(yǔ)出現(xiàn)的頻率信息，同時(shí)考慮上下文語(yǔ)境，具備較好的學(xué)習(xí)能力，因此其對(duì)歧義詞和未登錄詞的識(shí)別都具有良好的效果。條件隨機(jī)場(chǎng)并不在每一個(gè)節(jié)點(diǎn)進(jìn)行歸一化，而是所有特征進(jìn)行全局歸一化，因此可以求得全局的最優(yōu)值[12]。

番茄病蟲害語(yǔ)料復(fù)雜多樣，有許多農(nóng)業(yè)專用術(shù)語(yǔ)和術(shù)語(yǔ)別名。綜合考慮番茄病蟲害語(yǔ)料的特點(diǎn)，結(jié)合問(wèn)句分類的需求，本文構(gòu)建了一個(gè)專門的番茄語(yǔ)料同義詞庫(kù)，可以進(jìn)行番茄領(lǐng)域病蟲害關(guān)鍵詞的擴(kuò)展。幾種典型的番茄專業(yè)名詞和對(duì)應(yīng)的別名信息如表1所示。

表1 典型番茄別名信息Tab.1 Typical tomato alias information

1.1.2問(wèn)句向量化

自然語(yǔ)言處理任務(wù)一般為文本的分布式表示，如矩陣或向量。對(duì)問(wèn)句分類來(lái)說(shuō)，先對(duì)用戶問(wèn)句進(jìn)行分詞、去除停用詞。由word2vec[13]訓(xùn)練得到問(wèn)句中每個(gè)詞的詞向量，將詞向量對(duì)應(yīng)相加并作平均處理，得到用戶問(wèn)句的空間向量表示。這些向量含有詞本身的語(yǔ)法、語(yǔ)義信息。

本研究使用word2vec中的Skip- Gram[14]模型，詞向量維度設(shè)置為100。以問(wèn)句“番茄早疫病的原因?”為例，進(jìn)行分詞，然后去除停用詞“的”，得到問(wèn)句為“番茄 早疫病 原因”，經(jīng)word2vec訓(xùn)練得到問(wèn)句中各個(gè)詞的詞向量，例如“番茄”的詞向量表示如圖1所示。

圖1 問(wèn)句詞向量示例Fig.1 Examples of question word vectors

1.2 KNN問(wèn)句分類

KNN算法又稱為K最近鄰分類(K-nearest neighbor classification)算法。該方法的思路是：如果一個(gè)樣本在特征空間中的k個(gè)最相似即特征空間中最鄰近的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別[15]。KNN 算法中，所選擇的鄰近樣本都是已經(jīng)正確分類的對(duì)象。該方法在分類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別來(lái)決定待分類樣本所屬的類別。

KNN算法的優(yōu)點(diǎn)是應(yīng)用簡(jiǎn)單，易于理解，易于實(shí)現(xiàn)，無(wú)需估計(jì)算法參數(shù)，無(wú)需訓(xùn)練，可以快速進(jìn)行問(wèn)句分類。算法復(fù)雜度低，容易實(shí)現(xiàn)。

KNN通過(guò)測(cè)量不同問(wèn)句之間的距離進(jìn)行分類。算法具體步驟如下：

(1)文本預(yù)處理。番茄病害問(wèn)句標(biāo)簽設(shè)置為0，番茄蟲害問(wèn)句標(biāo)簽設(shè)置為1。

(2)利用word2vec算法表示所有訓(xùn)練問(wèn)句語(yǔ)料的空間向量和待分類問(wèn)句的空間向量。

(3)遍歷計(jì)算待分類問(wèn)句與訓(xùn)練語(yǔ)料中各個(gè)問(wèn)句的余弦距離。

向量A與向量B之間余弦距離計(jì)算公式為

(1)

余弦距離越大，說(shuō)明問(wèn)句屬于同一類的可能性越大。

(4)對(duì)所有余弦距離排序，選出余弦距離最大的k個(gè)問(wèn)句，此處k=6,k值是多次試驗(yàn)選出的最佳取值。

(5)分別統(tǒng)計(jì)此k個(gè)問(wèn)句中0和1標(biāo)簽個(gè)數(shù)。哪個(gè)類別標(biāo)簽個(gè)數(shù)最多，待分類問(wèn)句即為哪個(gè)類別。

1.3 BIGRU問(wèn)句分類

GRU[16]模型是LSTM[17]模型的簡(jiǎn)化版，GRU使用“門”結(jié)構(gòu)與LSTM的不同，將LSTM中的輸入門和遺忘門合并成了更新門，它只包含2個(gè)門結(jié)構(gòu)，重置門和更新門。并且線性自更新不用建立在額外的記憶狀態(tài)上，而是直接線性累積建立在隱藏狀態(tài)上，并依靠門結(jié)構(gòu)來(lái)調(diào)控。重置門決定先前的信息如何結(jié)合當(dāng)前的輸入，更新門決定保留多少先前的信息。GRU的“門”結(jié)構(gòu)如圖2所示。

圖2 GRU門結(jié)構(gòu)Fig.2 GRU gate architecture

圖2中x是輸入數(shù)據(jù)，h為GRU單元的輸出,r是重置門，z是更新門，r和z共同控制了如何從之前的隱藏狀態(tài)(ht-1)計(jì)算獲得新的隱藏狀態(tài)(ht)。

更新門同時(shí)控制當(dāng)前輸入數(shù)據(jù)xt和先前記憶信息ht-1，輸出一個(gè)在0到1之間的數(shù)值z(mì)t,計(jì)算公式為

zt=σ(Wz[ht-1,xt]+bz)

(2)

zt決定要以多大程度將ht-1向下一個(gè)狀態(tài)傳遞，0代表完全舍棄，1代表完全保留,由式(2)可得。式中σ為sigmoid函數(shù)，Wz為更新門權(quán)重，bz為偏置。

此外，共情的因素也發(fā)生一定作用。轉(zhuǎn)移性羞恥的特點(diǎn)是羞恥的行為主體與情緒的體驗(yàn)主體不一致，母親是羞恥事件的當(dāng)事人，但自我是實(shí)際的羞恥體驗(yàn)者。如果自我需要獲得與母親相似的羞恥體驗(yàn)，親子間的共情將是必要的橋梁。共情研究發(fā)現(xiàn)，共情主體與對(duì)象之間的關(guān)系是共情發(fā)生的重要影響因素(顏志強(qiáng)，蘇金龍，蘇彥捷，2017)。母親與子女之間具有天然的血緣關(guān)系，并且在重要的價(jià)值觀上一致。因此，當(dāng)羞恥體驗(yàn)發(fā)生后，對(duì)親社會(huì)行為的影響呈現(xiàn)一致性。

rt=σ(Wr[ht-1,xt]+br)

(3)

(4)

當(dāng)前時(shí)刻的輸出為ht,即

(5)

BIGRU模型的基本單元由一個(gè)前向傳播的GRU單元和一個(gè)后向傳播的GRU單元組合而成。本研究利用基于word2vec得到的問(wèn)句詞向量訓(xùn)練集來(lái)訓(xùn)練2層的BIGRU模型，采用2個(gè)BIGRU層和全連接softmax層，對(duì)測(cè)試問(wèn)句進(jìn)行分類。采用2層的模型，可以增加模型的參數(shù)，提高模型的學(xué)習(xí)能力。其中，每層的隱藏狀態(tài)有2個(gè)信息流向，1傳輸給下一時(shí)刻，2要作為當(dāng)前時(shí)刻下一層的輸入。圖3為2層的BIGRU模型。

圖3 2層的BIGRU模型Fig.3 Two layers BIGRU model

BIGRU模型能夠在輸入和輸出序列之間的映射過(guò)程中充分利用問(wèn)句過(guò)去和未來(lái)的相關(guān)信息，其顯著的優(yōu)點(diǎn)是問(wèn)句分類精度高，對(duì)詞向量的依賴性小，復(fù)雜度低，響應(yīng)時(shí)間比較快。

1.4 CNN模型問(wèn)句分類

本研究采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNN)模型從語(yǔ)義層面識(shí)別用戶問(wèn)題意圖，對(duì)用戶問(wèn)句進(jìn)行分類。自然語(yǔ)言處理任務(wù)在利用卷積神經(jīng)網(wǎng)絡(luò)時(shí)輸入的不是像素點(diǎn)，一般為文本的分布式表示，如矩陣或者向量。對(duì)于番茄問(wèn)句來(lái)說(shuō)，先對(duì)句子進(jìn)行分詞，而表示句子的矩陣中的每一行代表句子中的一個(gè)詞，即每行表示的是一個(gè)詞的向量。可以利用word2vec學(xué)習(xí)到這些詞的空間向量，這些向量含有詞本身的語(yǔ)法、語(yǔ)義信息。利用100維的詞向量表示一句含有8個(gè)詞的句子時(shí)，則會(huì)得到一個(gè)8×100維的矩陣，將此矩陣作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，相當(dāng)于一幅圖像的像素矩陣輸入。

本文所用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，利用該網(wǎng)絡(luò)模型將用戶所提出的問(wèn)題分類，本研究分為兩類，即番茄病害問(wèn)題和番茄蟲害問(wèn)題。采用的卷積神經(jīng)網(wǎng)絡(luò)模型包括5層：輸入層、卷積層、下采樣層、隱含層、輸出層。首先利用word2vec將句子表示為具有語(yǔ)法和語(yǔ)義信息的向量矩陣，作為卷積神經(jīng)網(wǎng)絡(luò)的初始輸入[18]，為了盡可能提取問(wèn)句特征，本文設(shè)定兩種卷積核，卷積層濾波器采用2種大小不同的滑動(dòng)窗口4×100和5×100，每種窗口有128個(gè)卷積核，一共有256個(gè)。在圖像處理領(lǐng)域，濾波器與圖像的局部區(qū)域進(jìn)行感知，而處理自然語(yǔ)言時(shí)濾波器覆蓋句子中的幾行，所以濾波器和輸入的向量矩陣寬度相等，即濾波器的寬度也是100。

圖4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of convolutional neural network

f(x)=max(0,x)

(6)

采用max-pooling找到特征圖中最大的影響因素作為該局部的特征。下采樣層有減少模型參數(shù)數(shù)量和減小模型訓(xùn)練參數(shù)的復(fù)雜度的作用。經(jīng)過(guò)max-pooling操作提取的局部特征輸入下一層隱藏層，最后經(jīng)過(guò)softmax全連接層，進(jìn)行分類。文本要進(jìn)行的二分類問(wèn)題，則輸出層僅有一個(gè)神經(jīng)元。利用softmax函數(shù)計(jì)算每個(gè)類別的概率公式為

(7)

CNN神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)是共享卷積核，對(duì)高維數(shù)據(jù)處理無(wú)壓力，無(wú)需手動(dòng)選取特征。訓(xùn)練好權(quán)重，即得特征，分類效果好，但是CNN網(wǎng)絡(luò)需要調(diào)節(jié)參數(shù)，對(duì)處理大樣本的數(shù)據(jù)分類效果較好。

2 問(wèn)句分類實(shí)驗(yàn)

2.1 問(wèn)句分類實(shí)驗(yàn)設(shè)計(jì)

本研究爬取收集番茄問(wèn)句同時(shí)進(jìn)行問(wèn)句擴(kuò)展，將番茄病害問(wèn)句標(biāo)注標(biāo)簽為0，番茄蟲害問(wèn)句標(biāo)簽標(biāo)注為1，一共得到有2 000條樣本。利用梯度下降算法[19]訓(xùn)練優(yōu)化雙向GRU模型和卷積神經(jīng)網(wǎng)絡(luò)模型，本文采用mini-batch梯度下降算法[20]，每次選擇n個(gè)小批量樣本參與訓(xùn)練，n小于總的訓(xùn)練集樣本數(shù)量，進(jìn)行n次迭代，每次只使用一個(gè)樣本，最終對(duì)n次迭代得到的梯度加權(quán)平均再求和，作為本次mini-bath的下降度。mini-batch梯度下降法一方面保證盡可能得到最優(yōu)解，另一方面能夠加快收斂速度。

本研究采用的batch大小為50。為了防止神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合現(xiàn)象，本文定dropout參數(shù)[21]大小為0.5。為了增強(qiáng)模型的魯棒性，使2種神經(jīng)網(wǎng)絡(luò)模型從語(yǔ)料中學(xué)習(xí)更多的信息，學(xué)習(xí)更準(zhǔn)確的網(wǎng)絡(luò)參數(shù)，并避免陷入局部最小值，本研究采用交叉驗(yàn)證[22]的方法，將數(shù)據(jù)集隨機(jī)分成10份，其中9份作為訓(xùn)練集，另外1份作為測(cè)試集。

實(shí)驗(yàn)中利用word2vec表示句子中詞的向量，而句子被表示為包含多個(gè)向量的矩陣，作為神經(jīng)網(wǎng)絡(luò)模型的初始輸入，詞向量在模型訓(xùn)練過(guò)程中不斷學(xué)習(xí)更新。神經(jīng)網(wǎng)絡(luò)模型連接一個(gè)softmax全連接層，將該問(wèn)句分為番茄病害類或者番茄蟲害類。

采用準(zhǔn)確率、召回率以及F1值[23]作為問(wèn)句分類算法模型的測(cè)評(píng)指標(biāo)。準(zhǔn)確率和召回率經(jīng)常用來(lái)度量信息搜索效率和統(tǒng)計(jì)學(xué)分類效果。此處問(wèn)句分類準(zhǔn)確率是指被正確分為某一類的樣本數(shù)與全部被分為該類別的樣本數(shù)量之比；召回率是指被正確分為某一類的樣本數(shù)量與樣本中全部屬于該類別的數(shù)量之比。準(zhǔn)確率與召回率在0和1之間，其值越接近1，表示準(zhǔn)確率或者召回率越大。

準(zhǔn)確率和召回率在某些情況下是矛盾的，當(dāng)要求準(zhǔn)確率非常高時(shí)，系統(tǒng)的召回率可能就會(huì)降低，當(dāng)要求召回率非常高時(shí)，準(zhǔn)確率有可能會(huì)降低，則需要一個(gè)綜合評(píng)測(cè)指標(biāo)，常用的方法是F1值。F1值是準(zhǔn)確率和召回率的調(diào)和平均值，其公式為

(8)

式中P——準(zhǔn)確率R——召回率

2.2 問(wèn)句分類實(shí)驗(yàn)結(jié)果及分析

番茄病蟲害問(wèn)答系統(tǒng)問(wèn)句分類采用word2vec表示句子向量，并利用KNN算法、BIGRU模型和卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分類，其分類結(jié)果如表2所示。

表2 基于不同分類算法的問(wèn)句分類結(jié)果Tab.2 Question classification results based on differentclassification algorithms %

由表2可知，BIGRU模型在番茄病害類和番茄蟲害類的分類準(zhǔn)確率、召回率都比基于CNN神經(jīng)網(wǎng)絡(luò)和基于KNN算法的結(jié)果高幾個(gè)百分點(diǎn)。從綜合評(píng)價(jià)指標(biāo)來(lái)講，在番茄病害類方面，采用BIGRU神經(jīng)網(wǎng)絡(luò)模型進(jìn)行問(wèn)句分類，其F1為91.82%，比利用CNN神經(jīng)網(wǎng)絡(luò)高2.25個(gè)百分點(diǎn)，比KNN算法高5.22個(gè)百分點(diǎn)；在番茄蟲害類，采用BIGRU神經(jīng)網(wǎng)絡(luò)模型進(jìn)行問(wèn)句分類，其F1為92.48%，比利用CNN神經(jīng)網(wǎng)絡(luò)模型高2.57個(gè)百分點(diǎn)，比利用KNN高5.57個(gè)百分點(diǎn)。

基于BIGRU模型的問(wèn)句分類效果最優(yōu)，CNN模型居中，KNN算法結(jié)果稍差。相對(duì)于KNN算法模型，BIGRU模型和CNN神經(jīng)網(wǎng)絡(luò)不需要手動(dòng)提取特征，自動(dòng)學(xué)習(xí)復(fù)雜特征的能力強(qiáng)大，并且效率較高。BIGRU模型的優(yōu)勢(shì)在于，從左到右推進(jìn)模型做一次GRU,然后從右向左推進(jìn)模型做一次GRU, 充分利用了句子分詞后的前后位置信息。而且，BIRRU模型結(jié)構(gòu)簡(jiǎn)單，模型訓(xùn)練參數(shù)較少，模型訓(xùn)練速度快，符合問(wèn)答系統(tǒng)對(duì)響應(yīng)時(shí)間的要求。

應(yīng)用BIGRU模型進(jìn)行番茄病蟲害問(wèn)句分類，正確預(yù)測(cè)的幾種典型問(wèn)句及對(duì)應(yīng)的分類標(biāo)簽和結(jié)果如表3所示，其中標(biāo)簽0代表番茄病害，標(biāo)簽1代表番茄蟲害。

表3 番茄問(wèn)句分類舉例Tab.3 Examples of tomato question classification

其次，是針對(duì)番茄智能問(wèn)答系統(tǒng)問(wèn)句分類效果最優(yōu)的BIGRU神經(jīng)網(wǎng)絡(luò)模型，對(duì)影響問(wèn)句分類的數(shù)據(jù)樣本大小也進(jìn)行了測(cè)試，將數(shù)據(jù)樣本分別設(shè)置為500、1 000、1 500再進(jìn)行測(cè)試，測(cè)試結(jié)果如表4所示。

表4 不同數(shù)據(jù)集的BIGRU模型Tab.4 BIGRU model with different datasets

由表4可得，訓(xùn)練數(shù)據(jù)的大小對(duì)模型的效果有較大影響，番茄智能問(wèn)答系統(tǒng)作為一個(gè)實(shí)用性系統(tǒng)，對(duì)準(zhǔn)確率有較高的系統(tǒng)需求。而問(wèn)句分類作為其關(guān)鍵環(huán)節(jié)，在對(duì)選定的模型進(jìn)行訓(xùn)練時(shí)，要求訓(xùn)練數(shù)據(jù)盡可能的覆蓋全面，從而可以提高整個(gè)系統(tǒng)的準(zhǔn)確率。

最后，繪制了不同數(shù)據(jù)集下3種模型的F1實(shí)驗(yàn)結(jié)果，如圖5所示。

圖5 不同數(shù)據(jù)集測(cè)試結(jié)果Fig.5 Test results for different datasets

由圖5可得，當(dāng)數(shù)據(jù)集較小時(shí)，KNN算法模型的效果比其他2種神經(jīng)網(wǎng)絡(luò)模型的F1高，隨著數(shù)據(jù)集的增大，BIGRU模型和CNN模型的F1明顯升高。神經(jīng)網(wǎng)絡(luò)模型參數(shù)的迭代學(xué)習(xí)需要較大數(shù)據(jù)集的支持，神經(jīng)網(wǎng)絡(luò)不需要手動(dòng)提取特征，自動(dòng)學(xué)習(xí)復(fù)雜特征的能力強(qiáng)大，并且效率較高。驗(yàn)證了BIGRU模型作為番茄病蟲害智能問(wèn)答系統(tǒng)問(wèn)句分類模型的有效性。

3 結(jié)論

(1)針對(duì)番茄智能問(wèn)答系統(tǒng)的特點(diǎn)，利用word2vec表示用戶問(wèn)句向量，有效地提取用戶問(wèn)句中語(yǔ)義信息，構(gòu)建了基于BIGRU神經(jīng)網(wǎng)絡(luò)的番茄智能問(wèn)答系統(tǒng)問(wèn)句分類模型，有利于提高問(wèn)答系統(tǒng)準(zhǔn)確度，且此模型響應(yīng)時(shí)間最快，符合問(wèn)答系統(tǒng)對(duì)響應(yīng)時(shí)間的要求。

(2)對(duì)比了CNN神經(jīng)網(wǎng)絡(luò)和KNN算法，結(jié)果表明BIGRU模型的準(zhǔn)確率、召回率、F1優(yōu)于其他兩種問(wèn)句分類算法。

(3)利用不同大小數(shù)據(jù)集對(duì)3種模型進(jìn)行測(cè)試，結(jié)果表明隨著數(shù)據(jù)集增大，BIGRU神經(jīng)網(wǎng)絡(luò)模型F1明顯上升。番茄病蟲害問(wèn)答系統(tǒng)問(wèn)句分類的效果不僅取決于問(wèn)句分類算法的選擇，模型訓(xùn)練數(shù)據(jù)集的大小也有較大影響。

1 李道亮,楊昊.農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)研究進(jìn)展與發(fā)展趨勢(shì)分析[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào),2018,49(1):1-20.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20180101&journal_id=jcsam. DOI:10.6041/j.issn.1000-1298.2018.01.001.

LI Daoliang, YANG Hao. State-of-the-art review for internet of things in agriculture[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(1):1-20. (in Chinese)

2 郭海紅, 李姣, 代濤. 中文健康問(wèn)句分類與語(yǔ)料構(gòu)建[J]. 情報(bào)工程, 2016, 2(6):39-49.

GUO Haihong, LI Jiao, DAI Tao. Classification of Chinese health question and construction of corpus[J]. Technology Intelligence Engineering, 2016, 2(6):39-49.(in Chinese)

3 范士喜, 韓喜雙, 相洋,等. 基于HM- SVMs的問(wèn)句語(yǔ)義分析模型[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2016, 33(5):84-86.

FAN Shixi, HAN Xishuang, XIANG Yang, et al. A question semantic analysis model based on HM- SVMs[J]. Computer Applications and Software, 2016, 33(5):84-86.(in Chinese)

4 AHMED W, ANTO B. Answer extraction techniquefor question answering systems[J]. International Journal of Innovative Research in Computer and Communication Engineering,2016, 4(11):20352-20357.

5 TIAN W D, GAO Y Y, ZU Yongliang. Question classification based on self-learning rules and modified bayes[J]. Application Research of Computers, 2010, 27(8):2869-2871.

6 ZHANG S, LI X, ZONG M, et al. Learning k for kNN classification[J]. ACM Transactions on Intelligent Systems & Technology, 2017, 8(3):43-1-43-19.

7 魏芳芳, 段青玲, 肖曉琰,等. 基于支持向量機(jī)的中文農(nóng)業(yè)文本分類技術(shù)研究[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2015,46(增刊):174-179. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=2015S029&journal_id=jcsam. DOI:10.6041/j.issn.1000-1298.2015.S0.029.

WEI Fangfang, DUAN Qingling, XIAO Xiaoyan, et al. Classification technique of Chinese agricultural text information based on SVM[J/OL]. Transations of the Chinese Society for Agricultural Machinery, 2015, 46(Supp.):174-179.(in Chinese)

8 JABREEL M, MORENO A. Target-dependent sentiment analysis of tweets using a bi-directional gated recurrent unit[C]∥International Conference on Web Information Systems and Technologies, 2017.

9 高震宇, 王安, 劉勇,等. 基于卷積神經(jīng)網(wǎng)絡(luò)的鮮茶葉智能分選系統(tǒng)研究[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2017, 48(7):53-58.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20170707&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2017.07.007.

GAO Zhenyu,WANG An,LIU Yong, et al.Intelligent fresh-tea-leaves sorting system research based on convolution neural network[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2017,48(7):53-58.(in Chinese)

10 WANG J, GUO Y. Scrapy-based crawling and user-behavior characteristics analysis on taobao[C]∥International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery. IEEE Computer Society, 2012:44-52.

11 方艷, 周國(guó)棟. 基于層疊CRF模型的詞結(jié)構(gòu)分析[J]. 中文信息學(xué)報(bào), 2015, 29(4):1-7.

FANG Yan, ZHOU Guodong. Analysis of word structure based on cascaded CRF model[J]. Journal of Chinese Information Processing, 2015, 29(4):1-7.(in Chinese)

12 陳飛, 劉奕群, 魏超,等. 基于條件隨機(jī)場(chǎng)方法的開(kāi)放領(lǐng)域新詞發(fā)現(xiàn)[J]. 軟件學(xué)報(bào), 2013, 24(5):1051-1060.

CHEN Fei, LIU Yiqun, WEI Chao, et al. New word discovery in open domain based on conditional random field method[J]. Journal of Software, 2013, 24 (5):1051-1060.(in Chinese)

13 GOLDBERG Y, LEVY O. word2vec explained: deriving Mikolov et al. ’s negative-sampling word-embedding method[J/OL]. Eprint ArXiv, 2014.ArXiv: 1402.3722.

14 KILLIAN J, MORCHID M, DUFOUR R, et al. A log-linear weighting approach in the word2vec space for spoken language understanding[C]∥Spoken Language Technology Workshop. IEEE, 2017:356-361.

15 劉雨康, 張正陽(yáng), 陳琳琳,等. 基于KNN算法的改進(jìn)的一對(duì)多SVM多分類器[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(24):126-131.

LIU Yukang, ZHANG Zhengyang, CHEN Linlin, et al. Improved one to many SVM multi classifiers based on KNN algorithm[J]. Computer Engineering and Application,2015, 51(24):126-131.(in Chinese)

16 TANG Y, HUANG Y, WU Z, et al. Question detection from acoustic features using recurrent neural network with gated recurrent unit[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2016:6125-6129.

17 WEN T H, GASIC M, MRKSIC N, et al. Semantically conditioned LSTM-based natural language generation for spoken dialogue systems[J]. Computer Science, 2015:1-13.

18 GORDEEV D. Detecting state of aggression in sentences using CNN[M]. Speech and Computer, Springer International Publishing, 2016.

19 毛勇華, 桂小林, 李前,等. 深度學(xué)習(xí)應(yīng)用技術(shù)研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2016, 33(11):3201-3205.

MAO Yonghua, GUI Xiaolin, LI Qian, et al. Deep learning application technology[J].Application Research of Computers, 2016, 33(11):3201-3205.(in Chinese)

20 ARAB A, ALFI A. An adaptive gradient descent-based local search in memetic algorithm applied to optimal controller design[J]. Information Sciences, 2015, 299:117-142.

21 SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1):1929-1958.

22 邊耐政, 李碩, 陳楚才. 加權(quán)交叉驗(yàn)證神經(jīng)網(wǎng)絡(luò)在水質(zhì)預(yù)測(cè)中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(21):255-258.

BIAN Naizheng, LI Shuo, CHEN Chucai. Application of weighted cross validation neural network in water quality prediction[J]. Computer Engineering and Applications, 2015, 51(21):255-258.(in Chinese)

23 POWERS D M W. Evaluation: from precision, recall and f-factor to ROC, informedness, markedness & correlation[J]. Journal of Machine Learning Technologies, 2011, 2:2229-3981.