來純曉,李艷翠,金松林,韓博,閆思堯,劉明久

（1.河南科技學(xué)院信息工程學(xué)院,河南新鄉(xiāng)453003；2.河南科技學(xué)院生命科技學(xué)院,河南新鄉(xiāng)453003）

小麥作為世界上種植面積最大的糧食作物,也是我國重要的糧食作物和儲備糧之一,占據(jù)國家儲備糧的半數(shù)以上.小麥產(chǎn)量的穩(wěn)定,對確保國家糧食安全,滿足市場需求有重要的意義.我國作為全球最大的小麥生產(chǎn)國和消費(fèi)國,約占全球年總產(chǎn)量的17%[1].其中,黃淮小麥產(chǎn)區(qū)作為中國小麥主產(chǎn)區(qū),種植面積和總產(chǎn)量約占全國小麥種植總面積和總產(chǎn)量的58%和67%[2-3].全球氣候變暖背景下,極端天氣頻發(fā),北方小麥種植區(qū)在冬春時節(jié)的倒春寒、寒潮等極端低溫天氣發(fā)生的頻率愈高,周期愈短.據(jù)統(tǒng)計,2004—2005年度,黃淮麥區(qū)和長江中下游麥區(qū)發(fā)生嚴(yán)重倒春寒,受災(zāi)面積達(dá)到4.07×106hm2,僅河南已經(jīng)超過1.33×106hm2,絕收面積約達(dá)2.67×105hm2左右[4-5]；2009 年黃淮麥區(qū)再次發(fā)生大規(guī)模倒春寒災(zāi)害,小麥嚴(yán)重減產(chǎn)；2013 年3—4 月,黃淮麥區(qū)氣溫的劇烈變化,導(dǎo)致正處于孕穗期的小麥又遭受了大范圍的低溫凍害.因此,黃淮麥區(qū)發(fā)生倒春寒的概率較大,在河北省南部、山東省中部和河南省西部等地區(qū)的發(fā)生頻率可達(dá)30%,山東省中部泰山地區(qū)的發(fā)生頻率甚至高達(dá)70%.

小麥的抗寒性能直接影響到小麥的產(chǎn)量,國內(nèi)外專家從不同角度對小麥的抗寒性進(jìn)行研究.趙瑞玲[6]研究了室內(nèi)小麥抗寒性鑒定的最適低溫脅迫溫度,比較和分析不同低溫脅迫條件下各指標(biāo)的變化規(guī)律,結(jié)合田間抗寒性指標(biāo)數(shù)據(jù),找出一套重復(fù)性好、可操作性強(qiáng)、準(zhǔn)確性高的室內(nèi)小麥抗寒性鑒定評價方法.Chen[7]通過田間自然試驗,探討生物刺激劑對低溫條件下抗凍性的影響,以及對冬油菜和冬小麥生長發(fā)育、越冬及產(chǎn)量的影響.歐行奇等[8]分析了黃淮南片麥區(qū)與小麥品種耐倒春寒能力強(qiáng)弱密切關(guān)聯(lián)的冬春性、抽穗期等6 類性狀,擬定了小麥耐倒春寒育種的基本方法.來純曉等[9]利用獲取小麥特征信息數(shù)據(jù)集,構(gòu)建BP 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了小麥抗寒性分類結(jié)果預(yù)測.

現(xiàn)有的抗寒性識別通常在特定的低溫環(huán)境下測試,需要耗費(fèi)大量人力、物力和財力.本文從自然語言處理的角度,利用Python 爬蟲[10-11]爬取小麥文本數(shù)據(jù),再使用Jieba 進(jìn)行分詞[12-13],并使用Word2vec 工具訓(xùn)練詞向量.最后,利用深度學(xué)習(xí)的技術(shù)[14],構(gòu)建小麥抗寒性識別模型,利用訓(xùn)練的模型對小麥的抗寒性進(jìn)行識別,可以有效降低小麥抗寒性識別的時間消耗和工作復(fù)雜度.

1 系統(tǒng)需求分析

1.1 可行性分析

1.1.1 技術(shù)可行性 系統(tǒng)設(shè)計是基于Python 語言和Qt 開發(fā)框架結(jié)合深度學(xué)習(xí)相關(guān)知識實(shí)現(xiàn)的,相關(guān)技術(shù)已經(jīng)在圖像處理、自然語言處理以及數(shù)據(jù)分析等領(lǐng)域成功應(yīng)用.系統(tǒng)設(shè)計采用Python 爬蟲爬取中國種業(yè)大數(shù)據(jù)平臺上的國審小麥品種信息；使用自然語言處理研究中的Jieba 和Word2vec 工具,對預(yù)處理后的特征信息分詞和詞向量訓(xùn)練；使用CNN、Bi_LSTM 以及Attention 機(jī)制等深度學(xué)習(xí)方法,構(gòu)建小麥抗寒性識別模型；系統(tǒng)設(shè)計使用Qt 開發(fā)工具進(jìn)行系統(tǒng)界面設(shè)計,實(shí)現(xiàn)人機(jī)交互操作.

1.1.2 操作可行性 系統(tǒng)設(shè)計的數(shù)據(jù)爬取、預(yù)處理以及模型訓(xùn)練等模塊均被封,用戶通過預(yù)測分析界面,按照特征名稱鍵入具體的特征信息,經(jīng)過系統(tǒng)分析會給為戶反饋小麥抗寒性預(yù)測的結(jié)果.系統(tǒng)設(shè)計操作簡單、可視化程度高.

1.1.3 經(jīng)濟(jì)可行性 降低成本、提高質(zhì)量是所有項目設(shè)計永恒不變的主題之一.本研究系統(tǒng)設(shè)計主要通過Python 程序編寫方式實(shí)現(xiàn),研究所用數(shù)據(jù)為3 513 個小麥特征信息,不需要配置較高的軟硬件設(shè)備.相對以往小麥抗寒性識別方式,系統(tǒng)設(shè)計不僅降低了抗寒性識別的人力、財力和物力消耗,也可以有效地提升識別的工作效率.

1.2 功能分析

系統(tǒng)設(shè)計主要由數(shù)據(jù)爬取、數(shù)據(jù)預(yù)處理、詞向量訓(xùn)練、模型訓(xùn)練以及預(yù)測分析等5 部分組成.

（1）數(shù)據(jù)爬取模塊：通過使用Python 網(wǎng)絡(luò)爬蟲,爬取小麥的文本特征信息.

（2）數(shù)據(jù)預(yù)處理模塊：通過數(shù)據(jù)清洗將數(shù)據(jù)規(guī)整化并使用Jieba 分詞,得到每個文本特征的分詞信息.

（3）詞向量訓(xùn)練模塊：將預(yù)處理得到的分詞結(jié)果,采用Word2vec 訓(xùn)練詞向量,獲得特征詞的高維向量表示.

（4）模型訓(xùn)練模塊：通過深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)和雙向長短期記憶網(wǎng)絡(luò)訓(xùn)練小麥抗寒性鑒定的模型.

（5）預(yù)測分析模塊：通過交互式的界面設(shè)計,讓用戶通過輸入小麥文本特性信息,對輸入小麥的抗寒性做鑒定.

2 系統(tǒng)設(shè)計

系統(tǒng)設(shè)計的整體結(jié)構(gòu)由數(shù)據(jù)爬取、數(shù)據(jù)預(yù)處理、詞向量訓(xùn)練、模型訓(xùn)練以及預(yù)測等5 部分組成,如圖1 所示.

圖1 系統(tǒng)設(shè)計總圖Fig. 1 General drawing of system design

2.1 數(shù)據(jù)爬取模塊

Python 網(wǎng)絡(luò)爬蟲具有強(qiáng)大的Scrapy 框架,能夠在數(shù)據(jù)挖掘、存儲歷史數(shù)據(jù)以及信息處理方面體現(xiàn)出重要的作用.數(shù)據(jù)爬取模塊由數(shù)據(jù)采集、處理、儲存3 個部分組成.在采集過程中,網(wǎng)絡(luò)爬蟲向中國種業(yè)大數(shù)據(jù)平臺發(fā)出請求,生成待爬取網(wǎng)頁的種子URL,然后將生成的種子URL 放入待抓取URL 任務(wù)隊列.在處理過程中,通過首先讀取URL 和解析DNS,完成網(wǎng)頁下載；再通過網(wǎng)頁解析提取小麥特征特性中包含的信息.在儲存部分,將解析出來的小麥特征文本信息,采用UTF-8 格式編碼以文本形式儲存.Python 網(wǎng)絡(luò)爬蟲的工作過程如圖2 所示.

利用Python 網(wǎng)絡(luò)爬蟲,爬取1978—2018 年間農(nóng)業(yè)農(nóng)村部種業(yè)管理司的中國種業(yè)大數(shù)據(jù)平臺的國審小麥品種信息,共得到3 513 個小麥品種的熟性、生育期、苗性和容質(zhì)量等37 個特征.爬取后數(shù)據(jù)如圖3 所示.

圖3 爬取數(shù)據(jù)Fig. 3 Graph of crawling data

2.2 數(shù)據(jù)預(yù)處理模塊

該模塊實(shí)現(xiàn)對爬取數(shù)據(jù)的預(yù)處理,本研究系統(tǒng)設(shè)計的數(shù)據(jù)預(yù)處理主要分為數(shù)據(jù)清洗和分詞2 個部分.

2.2.1 數(shù)據(jù)清洗 通過相關(guān)小麥資料的查詢,結(jié)合小麥育種專家的建議[15-16],采用人工結(jié)合自動的方式清洗數(shù)據(jù),剔除空值屬性較多的無效記錄,共保留3 049 條特征較為完整的小麥數(shù)據(jù).為了構(gòu)建抗寒性識別系統(tǒng),選擇出小麥的抗寒性作為數(shù)據(jù)標(biāo)簽,將數(shù)據(jù)標(biāo)簽標(biāo)記為抗寒和不抗寒2 種類型.

由于網(wǎng)絡(luò)文本數(shù)據(jù)的不規(guī)整,爬取到的小麥特征信息中會存在著指代信息不明、錯別字、數(shù)據(jù)特征稀疏等不規(guī)整現(xiàn)象,需要對不規(guī)整數(shù)據(jù)進(jìn)行處理,不規(guī)整數(shù)據(jù)處理如表1 所示.

表1 不規(guī)整數(shù)據(jù)處理Tab. 1 Irregular data processing

2.2.2 特征文本分詞 分詞是自然語言處理（NLP）中最基本的問題,它將連續(xù)的字序列,按照一定的規(guī)范重新組合成新得詞序列.中文分詞是指將漢字序列切分為多個漢語詞語,Jieba 分詞是從事漢語計算語言學(xué)研究常用的中文分詞工具,可用于中文分詞、詞性標(biāo)注和關(guān)鍵詞抽取等任務(wù).Jieba 分詞的工作原理是將待分詞的內(nèi)容與已經(jīng)存在的中文分詞詞庫進(jìn)行比對,通過圖結(jié)構(gòu)和動態(tài)規(guī)劃方法,找到最大概率的詞組.Jieba 分詞工具采用“最大匹配”規(guī)則,返回挑選基于詞典的候選詞和最終結(jié)果.基于詞典的模型[17]可以用式（1）表示.式（1）中：GEN（X）表示利用詞典搜索到的被測試文本產(chǎn)生的候選詞的結(jié)果集合.

Jieba 分詞工具不僅可以通過添加自定義詞表,實(shí)現(xiàn)未登錄詞的識別,而且還提供了精確模式、全模式和搜索引擎模式等3 種模式的分詞.

（1）精確模式.把輸入的漢語句子做最精確切分,適用于文本分析任務(wù).

＞＞＞jieba.lcut（" 小麥的抗寒性能直接影響到小麥的產(chǎn)量"）

[' 小麥',的',抗寒性',能',直接',影響',到',小麥',的',產(chǎn)量']

（2）全模式.把輸入的漢語句子中所有可切分成詞的詞語都切分出來,但會存在冗余詞,不能解決歧義.

＞＞＞jieba.lcut（" 小麥的抗寒性能直接影響到小麥的產(chǎn)量", cut_all=True）

[' 小麥',' 的',' 抗寒',' 抗寒性',' 性能',' 直接',' 影響',' 到',' 小麥',' 的',' 產(chǎn)量']

（3）搜索引擎模式.在精確模式的基礎(chǔ)上,對較長詞再次切分,提高召回率,用于搜索引擎分詞.

＞＞＞jieba.cut_for_search（" 小麥的抗寒性能直接影響到小麥的產(chǎn)量"）

[' 小麥',' 的',' 抗寒',' 抗寒性',' 能',' 直接',' 影響',' 到',' 小麥',' 的',' 產(chǎn)量']

本文采用Jieba 分詞中的精準(zhǔn)模式進(jìn)行分詞,把輸入的漢語句子做最精確切分,詞與詞之間用“/”分割.分詞示例如表2 所示.

表2 分詞示例Tab. 2 Examples of participle

2.3 詞向量訓(xùn)練模塊

詞向量是一組語言建模和特征學(xué)習(xí)技術(shù)的統(tǒng)稱,他可以將生成詞匯表的單詞或短語映射為實(shí)數(shù)值的向量.Mikolov 等[18]在2013 年公布了詞向量的計算工具Word2vec,經(jīng)過Word2vec 工具訓(xùn)練得到的詞向量能夠表示詞匯在空間上的意義,空間中的每個點(diǎn)代表一個單詞,在空間中的詞向量之間的距離能夠表示兩個詞在語義和語法上的相似性.Word2vec 輸出的詞向量常用于近義詞識別、詞性分析等研究領(lǐng)域.

Word2vec 由連續(xù)詞袋模型（Continuous Bag-of-Words Model,CBOW）和Skip-gram 模型兩個部分組成.CBOW 模型通過上下文來預(yù)測當(dāng)前詞語的概率,Skip-Gram 模型通過當(dāng)前詞語來預(yù)測上下文的概率.兩者共同依據(jù)上下文語境來預(yù)測當(dāng)前詞語發(fā)生的概率.Word2vec 模型結(jié)構(gòu)如圖4 所示.

圖4 Word2vec 模型結(jié)構(gòu)Fig. 4 Word2vec model structure

對分詞后的詞表采用Word2vec 訓(xùn)練詞向量,分詞后的數(shù)據(jù)集中,單個樣本的特征詞個數(shù)分布主要集中在（135～155）之間,本研究設(shè)定樣本特征長度為150,用0 補(bǔ)齊特征詞個數(shù)不足的樣本,截斷特征詞個數(shù)超出的樣本,確保樣本輸入長度的一致.設(shè)定詞向量的維度為100.例如“半冬性”經(jīng)過訓(xùn)練后,詞向量表示如圖5 所示.

圖5 詞向量表示Fig. 5 Word vector diagram

2.4 模型訓(xùn)練模塊

模型訓(xùn)練采用深度學(xué)習(xí)的方式,是本研究系統(tǒng)設(shè)計的核心模塊.深度學(xué)習(xí)可以自動地對數(shù)據(jù)進(jìn)行篩選,自動地提取數(shù)據(jù)高維特征,通過組合低層特征,抽象出更加高層表示屬性類別的信息,從而提升分類或預(yù)測的準(zhǔn)確性.深度學(xué)習(xí)的發(fā)展,特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）[19]、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN）、以及改進(jìn)的雙向長短期記憶網(wǎng)絡(luò)（Bidirectional Long Short-Term Memory,Bi_LSTM）的發(fā)展,深度學(xué)習(xí)在農(nóng)業(yè)圖像處理和農(nóng)業(yè)文本分類等領(lǐng)域得到了廣泛的應(yīng)用[20-25].

2.4.1 卷積神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)可以從原始數(shù)據(jù)中自動提取特征,通過多層網(wǎng)絡(luò)結(jié)構(gòu)自動學(xué)習(xí)到輸入數(shù)據(jù)的局部特征信息.卷積神經(jīng)網(wǎng)絡(luò)由卷積和池化兩種特殊的神經(jīng)元層組成,卷積層輸入的每個神經(jīng)元與前一層經(jīng)過局部相連,實(shí)現(xiàn)對局部特征進(jìn)行提取,獲取更能代表輸入的深層信息；池化層通過下采樣操作進(jìn)行二次特征提取,獲取最能表達(dá)輸入數(shù)據(jù)的特征信息.卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不僅減少網(wǎng)絡(luò)參數(shù)數(shù)量,而且降低了訓(xùn)練的時間復(fù)雜度.卷積神經(jīng)網(wǎng)絡(luò)工作如圖6 所示.

圖6 卷積神經(jīng)網(wǎng)絡(luò)工作圖Fig. 6 Working graph of convolutional neural network

從 圖6 可 知, 卷 積 層 輸 入 文 本 序 列“ 春 性、生 育 期、82.8、…、容 質(zhì) 量、814、g/L”表 示 為：,向量的每行代表一個特征維度d=100 為的特征詞向量；卷積操作所采用的卷積核向量為,卷積核的窗口大小為3,卷積步長為1,卷積后f1表示特征詞序列“春性、生育期、82.5”中捕獲的局部特征信息,表示進(jìn)行卷積計算；池化層采用最大池化操作進(jìn)行二次特征提取,此時表示最大池化.

2.4.2 雙向長短期記憶網(wǎng)絡(luò) 長短期記憶網(wǎng)絡(luò)（LSTM）模型最早由Hochreiter 等[26]提出,是對循環(huán)神經(jīng)網(wǎng)絡(luò)的改進(jìn).LSTM 不僅能捕獲到輸入信息中的長時序依賴關(guān)系,而且可以從整體上把握輸入信息的關(guān)系.Bi_LSTM 包含兩個方向相反的LSTM,可以同時得到前向和后向的語義特征信息,從而充分的捕獲特征詞文本的上下文信息.Bi_LSTM 工作如圖7 所示.

圖7 Bi_LSTM 工作圖Fig. 7 Work graph of Bi_LSTM

在圖7 中,在任意一個時刻t 會同時有兩個方向相反的LSTM 控制機(jī)制.xt為模型在t 時刻的輸入,表示t 時刻LSTM 在正方向上的輸出,計算見式（2）,表示t 時刻LSTM 在反方向上的輸出,見式（3）,整個網(wǎng)絡(luò)的輸出計算見式（4）

式（4）中：Wt和Vt分別表示前向方向和后向方向上輸出的權(quán)重矩陣；bt表示的是偏置值.經(jīng)過Bi_LSTM 編碼提取的特征信息,同時考慮當(dāng)前輸入小麥特征詞前后兩個方向上的序列語義信息.

2.4.3 Attention 機(jī)制Attention 機(jī)制用于對CNN 和Bi_LSTM 捕獲的信息進(jìn)行特征重要性計算,利用計算得到的權(quán)重矩陣,依據(jù)特征重要性程度為網(wǎng)絡(luò)模型的特征進(jìn)行權(quán)重再分配,提高模型對重要特性信息的關(guān)注程度.引入注意力機(jī)制后,模型會為重要的特征分配較高的權(quán)重值,不重要的特征會分配較小的權(quán)重甚至被忽略.

2.4.4 訓(xùn)練模型性能 構(gòu)建的基于深度學(xué)習(xí)的小麥抗寒性識別模型,首先通過卷積池化捕獲最能代表小麥文本向量的局部特征信息,然后將捕獲的局部信息由Bi_LSTM 處理,進(jìn)一步挖掘特征在前后兩個方向語義的序列信息,最后通過引入Attention 機(jī)制,提高模型對重要特性信息的關(guān)注程度,提升模型的抗寒性識別能力.實(shí)驗結(jié)果表明：在預(yù)測性能上要高于樸素貝葉斯（Bays）、支持向量機(jī)（SVM）、BP 神經(jīng)網(wǎng)絡(luò)（BP）[7]、卷積神經(jīng)網(wǎng)絡(luò)（CNN）和雙向長短期記憶網(wǎng)絡(luò)（Bi_LSTM）的方法,與其他模型對比的結(jié)果如表3 所示.

表3 模型性能對比Tab. 3 Comparison of model performance

從表3 可知,本文構(gòu)建的模型利用小麥的輸入特征信息,對小麥的抗寒性識別準(zhǔn)確率為0.904 8,對小麥育種工作者判斷小麥的抗寒性具有一定的指導(dǎo)作用.

2.5 預(yù)測分析模塊

預(yù)測分析模塊主要通過人機(jī)交互界面實(shí)現(xiàn),采用Qt開發(fā)工具設(shè)計系統(tǒng)界面.小麥抗寒性識別系統(tǒng)預(yù)測工作界面如圖8 所示.

圖8 小麥抗寒性識別系統(tǒng)Fig. 8 Wheat cold resistance recognition system

由圖8 可知,系統(tǒng)設(shè)計可以實(shí)現(xiàn)對小麥抗寒性的識別,用戶輸入的特征信息為“半冬性品種/ 平均226.2 d/ 幼苗半匍匐/ 葉色淺綠/ 分蘗力強(qiáng)/ 株型適中/ 株高70～75 cm 左右/ 紡錘型穗/ 長芒/ 白殼/白粒/ 籽粒飽滿/ 畝穗數(shù)40～45 萬/ 穗粒數(shù)35 粒上下/ 千粒質(zhì)量48～52 g/ 抗旱性一般/ 濕面筋含量31.4%/’吸水量61.7 mL/100 g’/ 穩(wěn)定時間2.5 min/ 延伸性136 mm/ 拉伸面積34.8 m2/ 最大拉伸阻力180 U.E/’容質(zhì)量842 g/L’”時,然后點(diǎn)擊“點(diǎn)此預(yù)測”按鈕,系統(tǒng)會將輸入信息自動提交到后臺,在經(jīng)過預(yù)處理、訓(xùn)練詞向量后,特征信息由卷積神經(jīng)網(wǎng)絡(luò)與雙向長短記憶網(wǎng)絡(luò)混合的網(wǎng)絡(luò)模型預(yù)測,結(jié)果顯示輸入品種抗寒性為中等.使用該系統(tǒng),用戶只需按照特征名輸入特征信息,系統(tǒng)會自動進(jìn)行抗寒性識別.

3 小結(jié)

從自然語言處理的角度出發(fā),結(jié)合深度學(xué)習(xí)中的方法,挖掘小麥文本數(shù)據(jù)的深層特征信息,構(gòu)建小麥抗寒性識別系統(tǒng),可以實(shí)現(xiàn)對小麥抗寒性的識別.該系統(tǒng)可以減少育種工作者的田間和營造室內(nèi)低溫環(huán)境的試驗,從而節(jié)省大量人力、物力和財力.小麥抗寒性識別是實(shí)踐性較強(qiáng)的學(xué)科,抗寒性識別系統(tǒng)必須與育種實(shí)踐結(jié)果結(jié)合,在實(shí)踐結(jié)果中逐步完善,才能更好地滿足育種工作者的實(shí)際需要.此外,深度學(xué)習(xí)在處理海量數(shù)據(jù)上優(yōu)勢更明顯,后續(xù)的工作需要不斷的擴(kuò)充小麥數(shù)據(jù),進(jìn)一步提高系統(tǒng)的識別能力.