岳 媛 趙 剛

（北京信息科技大學信息管理學院，北京100192）

“農(nóng)以種為先”，種子是農(nóng)業(yè)產(chǎn)業(yè)發(fā)展的首要環(huán)節(jié)和重要載體，是國內(nèi)外農(nóng)業(yè)產(chǎn)業(yè)競爭的源頭和焦點。據(jù)聯(lián)合國糧農(nóng)組織統(tǒng)計，今后全球糧食總產(chǎn)量增長80%貢獻率需依賴提高單產(chǎn)，而單產(chǎn)提高60%～80%貢獻率依賴良種，因此，加快育種進程勢在必行。

現(xiàn)代育種技術（尤其是生物技術的應用）的發(fā)展，使得作物育種數(shù)據(jù)呈現(xiàn)出信息爆炸的狀態(tài)。育種數(shù)據(jù)不局限于單一的田間性狀調(diào)查結果，同時還存在土壤、氣候、水分等動態(tài)環(huán)境，影響數(shù)據(jù)、基因表達及分子標記等基因型數(shù)據(jù)，代謝物動態(tài)數(shù)據(jù)以及生產(chǎn)管理數(shù)據(jù)[1]。整合和最大化利用這些生物學數(shù)據(jù)，無疑對現(xiàn)代育種研究具有不可估量的重要意義。

然而，調(diào)查研究發(fā)現(xiàn)，育種數(shù)據(jù)采集方式單一、育種數(shù)據(jù)處理手段落后、各育種單位自身條件受限，以致于無法滿足育種工作的創(chuàng)新和新型育種活動的需要。因此，充分利用現(xiàn)有的信息通信技術，結合大數(shù)據(jù)、人工智能等新方法，改良育種數(shù)據(jù)管理方式，加強互聯(lián)網(wǎng)+農(nóng)業(yè)信息化的發(fā)展，成為首要任務。

2016年1月由國家農(nóng)業(yè)信息化工程技術研究中心研發(fā)的金種子育種云平臺（作物育種信息管理平臺）在北京上線[2]。該平臺自發(fā)布以來，有效解決了育種材料數(shù)量多、規(guī)模龐大、試驗基地分布區(qū)域廣等帶來的工作繁重、效率不高等問題。推動我國由傳統(tǒng)育種向商業(yè)育種、經(jīng)驗育種向精確育種轉變，為北京建設“種業(yè)硅谷”夯實基礎[3]。

傳統(tǒng)的育種管理平臺升級為云平臺，不難發(fā)現(xiàn)，我國育種行業(yè)的發(fā)展已經(jīng)有所進步，但在更深層面上，育種行業(yè)仍然只是行業(yè)而并未形成產(chǎn)業(yè)，與世界的差距依然存在。對比我國頂尖種業(yè)公司登海種業(yè)及跨國種業(yè)孟山都，分析二者經(jīng)營規(guī)模的差異得知，孟山都種業(yè)銷售收入總趨勢是逐年遞增，而我國登海種業(yè)以及大部分種業(yè)的銷售收入情況增長仍然不穩(wěn)定[4]。造成這種差距的主要原因是我國種業(yè)員工文化程度低、品種審定制度門檻過高、海量數(shù)據(jù)處理較慢、缺乏統(tǒng)一的數(shù)據(jù)分析平臺等?？梢?，國內(nèi)育種缺少的不只是強大的育種技術，更是一種解決傳統(tǒng)問題的創(chuàng)新思想。

基于此，本文密切迎合育種行業(yè)需求，結合物聯(lián)網(wǎng)、大數(shù)據(jù)技術、人工智能及機器學習方法，提出并構建基于云技術新型架構的育種數(shù)據(jù)服務平臺，研究新型、高效的育種數(shù)據(jù)管理和數(shù)據(jù)分析方法，一方面可以提高育種工作人員的效率，研究出更加優(yōu)質的作物品種；另一方面主動革新育種手段可以提高育種企業(yè)的競爭力，打響國內(nèi)種業(yè)品牌。此外，將人工智能領域的機器學習算法應用在育種數(shù)據(jù)管理中，響應了國家所倡導的“三農(nóng)政策”，將互聯(lián)網(wǎng)與傳統(tǒng)農(nóng)業(yè)深入結合，締造出新的農(nóng)業(yè)發(fā)展態(tài)勢。

1 構建基于云技術新型架構的育種數(shù)據(jù)服務平臺

本文結合云技術進行具體研討，將新型架構部署至私有云中，從而實現(xiàn)依照相應的付費標準為更多的企業(yè)提供服務，實現(xiàn)育種資源共享。圖1為云技術下育種數(shù)據(jù)服務平臺總框圖。在此過程中，數(shù)據(jù)的存儲及分析服務成為設計焦點。

圖1 云技術下育種數(shù)據(jù)服務平臺

1.1 平臺需求分析概況育種數(shù)據(jù)服務平臺的用戶主要為育種工作人員、育種科研機構和平臺管理人員等，提供的主要服務是對育種數(shù)據(jù)進行管理，涉及到育種數(shù)據(jù)的采集、數(shù)據(jù)分析和模型應用等一系列過程。用戶在獲得平臺登錄許可后，可以根據(jù)需求對其操作，如獲取實時育種性狀數(shù)據(jù)、天氣以及地理屬性數(shù)據(jù)；根據(jù)需求對數(shù)據(jù)進行圖形化展示，方便用戶重點分析數(shù)據(jù)潛在規(guī)律；平臺采用機器學習算法和大數(shù)據(jù)技術，對數(shù)據(jù)進行客觀分析，以便為用戶提供合理的決策意見。此外，該平臺搭建在云技術上，方便不同區(qū)域的用戶能夠隨時獲取育種數(shù)據(jù)，還可更好地實現(xiàn)育種數(shù)據(jù)的共享，為育種科研工作提供支持。

隨著現(xiàn)有育種數(shù)據(jù)的增長，目前育種軟件不能很好地處理這些數(shù)據(jù)，因此需要該平臺的新型架構作為底層框架，支撐數(shù)據(jù)分析及建模的運行。

1.2 新型架構的組成及優(yōu)勢美國孟山都公司采用傳統(tǒng)的SQL Server+IIS+EX為用戶提供服務。本文提出的架構以Django為Web框架，Python為后端操作建模語言，MongoDB為數(shù)據(jù)庫，從而提供快速存儲服務及數(shù)據(jù)分析服務。

1.2.1 Django框架為更好地提供育種數(shù)據(jù)分析服務，選取機器學習算法，Python語言類庫多、調(diào)用方便的優(yōu)點更能適用于育種數(shù)據(jù)服務平臺的開發(fā)。Django作為Python的一個開源框架，應用開發(fā)遵循MVC模式。其中C是應用程序中處理用戶交互的部分，而Django更關注的是模型（Model）、模板（Template）和視圖（Views），因此 Django也被稱為MTV框架。該框架分工明確，層次分明，代碼相互不交叉，只需解決連接問題。同時基于Django框架的育種部署系統(tǒng)具有實用、開源、輕量級等多個優(yōu)點，可方便地移植于Windows、Linux等多種操作系統(tǒng)平臺，在云平臺上充分發(fā)揮作用，為育種專家提供有效的數(shù)據(jù)分析服務。

1.2.2 MongoDB數(shù)據(jù)庫近年來伴隨高通量測序技術的發(fā)展，產(chǎn)生了海量作物育種相關基因及其表達數(shù)據(jù)，形成了育種大數(shù)據(jù)。為滿足數(shù)據(jù)的存儲效率及育種數(shù)據(jù)服務的相關要求，研究了MongoDB數(shù)據(jù)庫與育種數(shù)據(jù)之間的相關性，運用其面向文檔的數(shù)據(jù)存儲模式和可擴展的表結構，實現(xiàn)提高育種數(shù)據(jù)讀取和存儲的速度，為育種數(shù)據(jù)分析提供操作便利性和可解讀的數(shù)據(jù)存儲結構，并且大大降低數(shù)據(jù)的復雜度和關聯(lián)度，使其更加適用于育種。與孟山都公司采用傳統(tǒng)的數(shù)據(jù)庫相比，本架構充分利用MongoDB的NoSQL數(shù)據(jù)庫特性，在安全上有效防范傳統(tǒng)SQL注入，解決相關育種數(shù)據(jù)平臺的數(shù)據(jù)安全問題。

同時，把MongoDB部署在云端，企業(yè)可以在世界范圍內(nèi)存儲更多的數(shù)據(jù)，吸引更多的育種機構，關聯(lián)更多的信息，創(chuàng)造更高的價值。在云技術環(huán)境下的MongoDB發(fā)揮其原生的可擴展框架，保持育種數(shù)據(jù)的可用性和完整性的自動管理，還有可啟用的分片和水平擴展技術，提供了云存儲所需的技術。設計實現(xiàn)中，利用MongoDB對MapReduce的支持及其Hadoop接口，設計便于開發(fā)及擴展的育種數(shù)據(jù)服務平臺。

1.2.3 云存儲對于育種數(shù)據(jù)的分析，單單幾次用戶操作軌跡的跟蹤并不能準確地推算出用戶的行為習慣，幾天的系統(tǒng)日志分析結果并不能讓觀察人員做出最合理的決策，只有通過大樣本隨機對照雙盲測試才能斷定某種商品的價值[5]。因此對于采集到的海量數(shù)據(jù)，MongoDB成了存儲的最佳選擇。此外，為保證全國地域的數(shù)據(jù)采集及數(shù)據(jù)的時效性，還需構建一個快捷且穩(wěn)定的網(wǎng)絡數(shù)據(jù)集的存儲基地——云端存儲中心。無論何時何地，研究者都可以通過云服務把最新數(shù)據(jù)存儲在云端，也可以獲取其他地域的最新數(shù)據(jù)，MongoDB沒有給出存儲上限，隨著數(shù)據(jù)采集周期性的加長可得到更多數(shù)據(jù)，在使用諸如育種決策系統(tǒng)等分析系統(tǒng)對大數(shù)據(jù)進行處理時，能帶來可靠的分析結果，便于做出正確的決策。

1.3 系統(tǒng)設計邏輯育種數(shù)據(jù)服務平臺采用Django框架和MongoDB相結合的新型Web架構。既確保各功能模塊之間互不影響又提高了育種數(shù)據(jù)讀取和存儲的速度。在此架構之上，平臺提供從數(shù)據(jù)采集到數(shù)據(jù)分析、數(shù)據(jù)處理等一系列功能。其中數(shù)據(jù)存儲服務使用新型流數(shù)據(jù)技術并由云技術的MongoDB提供，從而解決存儲速度慢、容量小等問題。

1.3.1 系統(tǒng)功能模塊平臺將搭建于云服務器上，利用云存儲的可擴展性和高訪問特性，實現(xiàn)育種數(shù)據(jù)的海量管理和共享機制。其育種平臺總體結構圖如圖2所示。

圖2 育種平臺總體結構圖

數(shù)據(jù)采集過程，分為在線數(shù)據(jù)分析和離線數(shù)據(jù)分析；在線數(shù)據(jù)為實時接收移動終端傳送的數(shù)據(jù)；離線數(shù)據(jù)包括.xls和.txt格式的數(shù)據(jù)。

數(shù)據(jù)分析過程，主要采用機器學習和大數(shù)據(jù)技術對獲取的數(shù)據(jù)進行分析；機器學習算法主要包括支持向量機、樸素貝葉斯的分類算法和K-means聚類算法等；大數(shù)據(jù)技術采用的是Spark技術對數(shù)據(jù)進行運算。

模型構建與應用過程，主要是通過機器學習算法分析數(shù)據(jù)后，構建合理的數(shù)據(jù)分析模型。用戶可以通過構建的模型對新的數(shù)據(jù)進行分類或者預測等。

行業(yè)論壇，這一模塊主要為育種人員提供交流的窗口，分享育種經(jīng)驗。

1.3.2 系統(tǒng)核心技術及實現(xiàn)利用Python提供的pickle類將代碼中建立好的模型，從字節(jié)流轉成字符流文件，并將其存在文件系統(tǒng)中。其優(yōu)勢在于無需重復建模，只需調(diào)用即可。

1.4 運行效果數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析、結果展示分別如圖3、圖4、圖5所示。

2 面向企業(yè)的育種數(shù)據(jù)服務

2.1 面向用戶的多層次服務架構云存儲是面向用戶，以服務為中心的存儲管理，其特點為按需服務，自動化運維。本文設計的非結構化數(shù)據(jù)的云存儲架構建立在Hadoop之上。層次結構主要包括以下部分。

圖3 數(shù)據(jù)統(tǒng)計

圖4 數(shù)據(jù)分析

圖5 結果展示

存儲層：位于多層次服務結構的最底層，起存儲數(shù)據(jù)作用。對于育種企業(yè)，產(chǎn)生的育種數(shù)據(jù)越來越多且用戶量較大時，傳統(tǒng)的單節(jié)點存儲已不再滿足需求，采用多節(jié)點存儲方式對數(shù)據(jù)進行有效的管理，搭建分布式數(shù)據(jù)存儲中心，將數(shù)據(jù)分散存儲的同時對外提供了更專項化的服務。

對于存儲層的數(shù)據(jù)管理，各育種企業(yè)通過物聯(lián)網(wǎng)技術將采集的育種數(shù)據(jù)上傳至分布式數(shù)據(jù)存儲中心，育種專家或系統(tǒng)管理人員將相關數(shù)據(jù)進行收集，后臺數(shù)據(jù)庫MongoDB處理大量的流數(shù)據(jù)，也為大數(shù)據(jù)的分析提供了強有力的保障，并提供了Hadoop接口，能與第三方數(shù)據(jù)分析工具完美結合。

接口層：為上層（業(yè)務層）提供接口，調(diào)用最底層（存儲層）的數(shù)據(jù)和方法。其中數(shù)據(jù)采集接口服務[1]主要包括性狀數(shù)據(jù)采集設備、田間視頻監(jiān)控設備、生長環(huán)境信息采集設備。用于數(shù)據(jù)分析接口服務包括自動化考種系統(tǒng)、育種試驗分析軟件以及支付系統(tǒng)等。

業(yè)務層：即育種系統(tǒng)業(yè)務邏輯設計，為用戶提供數(shù)據(jù)操作，并完成用戶的請求。

應用服務層：用戶與云存儲數(shù)據(jù)中心的集群進行交互，發(fā)送相關請求，并與存儲層中的數(shù)據(jù)交換實現(xiàn)數(shù)據(jù)操作。

2.2 云存儲數(shù)據(jù)中心模型云存儲是云計算的延伸，它致力于解決云計算中海量數(shù)據(jù)存儲的問題。通過互聯(lián)網(wǎng)的連接，云存儲為用戶提供了訪問共享存儲池的能力。用戶可隨時隨地進入云平臺，享用該服務。面對采集到的農(nóng)作物數(shù)據(jù)，分散在各個科研單位的數(shù)據(jù)集，為了更好地融合這些數(shù)據(jù)集，要求數(shù)據(jù)存儲系統(tǒng)的設計需滿足：可擴展性，支持海量數(shù)據(jù)處理，實現(xiàn)資源的按需擴展；可靠與可恢復性，在進行種子培養(yǎng)、性狀采集時會產(chǎn)生相應的數(shù)據(jù)，部分原始數(shù)據(jù)甚至還具有不可重現(xiàn)性，這要求存儲系統(tǒng)必須具備較強的可恢復性，能夠實現(xiàn)數(shù)據(jù)災備和恢復；高訪問性，伴隨育種協(xié)作的不斷推進，不同科研單位對于數(shù)據(jù)的交互需求逐漸增加，數(shù)據(jù)量也隨之增長，這需要系統(tǒng)具有較高的訪問性能，能夠在很短的時間內(nèi)傳輸并反饋海量的數(shù)據(jù)。

云存儲數(shù)據(jù)中心是由多個物理機組成的集群系統(tǒng)[6]，如圖6所示，提供可擴展、高可靠性及高訪問性存儲空間。

該集群類似于亞馬遜簡單存儲服務（Amazon S3），由一個控制節(jié)點和多個數(shù)據(jù)節(jié)點構成，對育種用戶提供統(tǒng)一的管理和維護。其中，控制節(jié)點用來保存和管理種子性狀的元數(shù)據(jù)信息；而數(shù)據(jù)節(jié)點則用來存放真實的數(shù)據(jù)，如PDF文件、Word文檔、視頻文件等。數(shù)據(jù)存儲中心向育種用戶提供統(tǒng)一的服務接口，用戶通過標準化服務接口操作育種信息的存儲、刪除、移動、計算處理等任務。該集群系統(tǒng)存在于基礎設施層，具有可靠性和魯棒性，各個節(jié)點相互獨立，一個節(jié)點的損壞不會影響其他節(jié)點。當控制節(jié)點出現(xiàn)問題時，整個系統(tǒng)會停住工作，此時系統(tǒng)中的備份控制節(jié)點發(fā)揮作用，迅速完成數(shù)據(jù)恢復。待恢復完畢，系統(tǒng)繼續(xù)服務。

圖6 云存儲數(shù)據(jù)中心模型

3 云技術平臺的應用

3.1 育種類數(shù)據(jù)需要“云架構”的支撐綜上，云技術除解決了育種類數(shù)據(jù)“大規(guī)模、非結構化、數(shù)據(jù)處理慢”這3個傳統(tǒng)特點外，還有數(shù)據(jù)分析中算法需要“云架構”的支撐[7]。云計算具有低成本、易擴展、計算能力強等優(yōu)勢，將育種數(shù)據(jù)上傳后選擇云中相應算法得出性狀對應的結論。對比國內(nèi)先鋒“金種子云平臺”提供的種質資源管理、試驗規(guī)劃、性狀采集APP、品種選育、品種區(qū)試、系譜管理、數(shù)據(jù)分析、基于電子標簽的育種全程可追溯等服務。其中，本平臺數(shù)據(jù)分析模塊采用機器學習和大數(shù)據(jù)技術，包括支持向量機、樸素貝葉斯的分類算法和聚類算法等；同時也采用了Spark技術對數(shù)據(jù)進行運算。方法諸多，便于使用。

3.2 除育種行業(yè)外其他行業(yè)的遷移該平臺存在于云上，主要為育種行業(yè)提供服務[8]，相關數(shù)據(jù)存儲、數(shù)據(jù)分析、模型應用等模塊加強傳統(tǒng)育種信息化建設，向互聯(lián)網(wǎng)+農(nóng)業(yè)邁進。當然，其他行業(yè)的云平臺也可遷移至此。例如零售業(yè)，商家對賣場物品的擺放可運用數(shù)據(jù)分析手段對商品間進行相關性分析；投資方對賣場的選址可用聚類算法；利用NLP挖掘潛在客戶，從而刺激銷量；運輸行業(yè)的運輸路線等?？梢?，該平臺亦推進了其他行業(yè)的發(fā)展進程。

4 總結與展望

因現(xiàn)有育種數(shù)據(jù)管理工具的落后，育種數(shù)據(jù)分析平臺的匱乏，提出并構建了以Django為Web框架、Python為后端操作建模語言、MongoDB為數(shù)據(jù)庫的新型架構，論述了其在育種平臺下的應用優(yōu)勢。隨后，研究該架構下的育種服務與云技術模式的契合點，在云技術下重點開發(fā)了數(shù)據(jù)統(tǒng)計、分析、模型應用等服務，育種家可根據(jù)種子特征因素繪制種子性狀統(tǒng)計圖，進行數(shù)據(jù)分析，還可對種子材料的優(yōu)劣進行評價并利用機器學習算法對其性狀聚類，挖掘潛在規(guī)律。此外，還重點建設云存儲數(shù)據(jù)中心及對外分析服務，解決了海量數(shù)據(jù)存儲的問題，其特色在于便利了育種數(shù)據(jù)的管理，減少了育種數(shù)據(jù)存儲的成本，實現(xiàn)了育種數(shù)據(jù)的資源共享。具有廣闊的應用前景。

目前，網(wǎng)絡安全漏洞、數(shù)據(jù)泄露、存儲故障等問題日益加重，安全性成為制約云存儲發(fā)展的首要問題，如何改善安全性也迫在眉睫。云存儲中數(shù)據(jù)的安全性尚待進一步研究。