陳佳云 徐向英，2* 章永龍 周 燁 汪紅江 譚昌偉

（1.揚(yáng)州大學(xué)信息工程學(xué)院，揚(yáng)州 225127；2.教育部農(nóng)業(yè)與農(nóng)產(chǎn)品安全國(guó)際合作聯(lián)合實(shí)驗(yàn)室，揚(yáng)州 225127；3.揚(yáng)州大學(xué)農(nóng)學(xué)院，揚(yáng)州 227127）

1 引言

中國(guó)是農(nóng)業(yè)大國(guó)，“十四五”規(guī)劃明確指出，發(fā)展農(nóng)業(yè)是我國(guó)農(nóng)業(yè)產(chǎn)業(yè)鏈優(yōu)化升級(jí)的重要途徑，是農(nóng)業(yè)供給側(cè)改革和鄉(xiāng)村振興戰(zhàn)略的重要抓手。隨著我國(guó)農(nóng)業(yè)信息化的持續(xù)推進(jìn)，智慧農(nóng)業(yè)的發(fā)展已成為農(nóng)業(yè)現(xiàn)代化發(fā)展的重要組成成分。智慧農(nóng)業(yè)是指利用傳感器、物聯(lián)網(wǎng)、大數(shù)據(jù)分析、云計(jì)算等信息技術(shù)，實(shí)現(xiàn)以農(nóng)業(yè)信息感知、定量決策等個(gè)性化服務(wù)為技術(shù)特征的現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)形態(tài)[1]。然而，目前的農(nóng)業(yè)信息化面臨著基礎(chǔ)設(shè)施不夠完善，信息化人才匱乏，農(nóng)業(yè)信息資源管理不規(guī)范等問題[2]。受限于知識(shí)傳播途徑以及農(nóng)業(yè)生產(chǎn)的復(fù)雜性、區(qū)域化特點(diǎn)，我國(guó)的農(nóng)業(yè)領(lǐng)域尚未形成一個(gè)完整的、易于應(yīng)用的知識(shí)庫系統(tǒng)，知識(shí)圖譜的出現(xiàn)使這一問題得到改善，離散的數(shù)據(jù)能夠被串聯(lián)成農(nóng)業(yè)知識(shí)的語義網(wǎng)絡(luò)，便于實(shí)現(xiàn)農(nóng)業(yè)知識(shí)的問答、農(nóng)產(chǎn)品的推薦等下游應(yīng)用。同時(shí)將知識(shí)圖譜應(yīng)用到農(nóng)業(yè)領(lǐng)域能夠充分發(fā)揮農(nóng)業(yè)數(shù)據(jù)的多樣性，周期性等特征，能融合專家知識(shí)和實(shí)踐經(jīng)驗(yàn)，形成豐富的農(nóng)業(yè)知識(shí)庫，有利于農(nóng)業(yè)大數(shù)據(jù)分析和“互聯(lián)網(wǎng)+農(nóng)業(yè)”的發(fā)展。傳統(tǒng)農(nóng)業(yè)知識(shí)圖譜大多包含文本信息，知識(shí)表現(xiàn)形式比較單一，知識(shí)庫的信息量有限，知識(shí)圖譜的應(yīng)用效果有待提升。將多模態(tài)信息加入傳統(tǒng)知識(shí)圖譜是當(dāng)前知識(shí)圖譜領(lǐng)域的最新趨勢(shì)，能夠在知識(shí)庫中融入大量的視覺、聲音等信息，豐富圖譜的知識(shí)內(nèi)涵、增加圖譜的適用性。因此，多模態(tài)知識(shí)圖譜是農(nóng)業(yè)知識(shí)庫未來發(fā)展的重要方向[3]。

2 單模態(tài)知識(shí)圖譜

早期的知識(shí)圖譜構(gòu)建主要基于文本處理，特別是利用結(jié)構(gòu)化數(shù)據(jù)可以快速構(gòu)建三元組，很大程度上減少了知識(shí)圖譜的構(gòu)建工作量。知識(shí)圖譜可分為通用知識(shí)圖譜和領(lǐng)域知識(shí)圖譜，通用知識(shí)圖譜中包含現(xiàn)實(shí)世界中大量的常識(shí)信息，覆蓋面極廣，如Freebase[7]，YAGO[8]等。領(lǐng)域知識(shí)圖譜主要面向某一特定領(lǐng)域，例如醫(yī)學(xué)知識(shí)圖譜SIDER[9]，電影知識(shí)圖譜IMDb[10]等。領(lǐng)域知識(shí)圖譜正在以其強(qiáng)大的專業(yè)性和專業(yè)知識(shí)的聚合性逐漸引起各個(gè)領(lǐng)域的關(guān)注。

隨著知識(shí)圖譜在垂直領(lǐng)域中的應(yīng)用效果逐步凸顯，農(nóng)業(yè)研究人員意識(shí)到可以將知識(shí)圖譜技術(shù)應(yīng)用到農(nóng)業(yè)領(lǐng)域，推動(dòng)農(nóng)業(yè)信息化的發(fā)展。例如，Cheng[11]等人提出基于半結(jié)構(gòu)化數(shù)據(jù)的中國(guó)氣象與農(nóng)業(yè)知識(shí)圖譜的構(gòu)建方法，為農(nóng)作物氣象報(bào)告的自動(dòng)生成提供相關(guān)農(nóng)業(yè)知識(shí)。Chen[12]等人構(gòu)建了名為AgriKG 的農(nóng)業(yè)知識(shí)圖譜，能夠從原始文本中識(shí)別農(nóng)業(yè)實(shí)體和關(guān)系，并將傳入的知識(shí)添加到知識(shí)庫中，實(shí)現(xiàn)了基于該知識(shí)圖譜的農(nóng)業(yè)知識(shí)檢索和問答。張海瑜[13]等人通過構(gòu)建農(nóng)業(yè)語義領(lǐng)域知識(shí)圖譜和智能檢索系統(tǒng)，不僅成功擴(kuò)展了知識(shí)圖譜在農(nóng)業(yè)中的應(yīng)用范圍，還成功解決了農(nóng)業(yè)信息檢索不準(zhǔn)確以及不匹配問題。

知識(shí)圖譜是一個(gè)具有有向圖結(jié)構(gòu)的語義網(wǎng)絡(luò)和知識(shí)庫，以三元組（實(shí)體—關(guān)系—實(shí)體）的形式描述了實(shí)體與實(shí)體之間在客觀世界中的關(guān)系，其中節(jié)點(diǎn)表示實(shí)體，邊表示實(shí)體之間的關(guān)系，再通過結(jié)構(gòu)化技術(shù)對(duì)知識(shí)進(jìn)行建模，實(shí)體之間通過關(guān)系相互聯(lián)系，構(gòu)成網(wǎng)狀的知識(shí)結(jié)構(gòu)。如圖1 所示，將相關(guān)水稻病蟲害知識(shí)通過知識(shí)抽取技術(shù)整理成相關(guān)三元組，利用py2neo庫技術(shù)將其存儲(chǔ)進(jìn)圖數(shù)據(jù)庫中形成相應(yīng)知識(shí)圖譜。知識(shí)圖譜在自然語言處理領(lǐng)域應(yīng)用廣泛，如智能問答[4]，語義抽取[5]，推薦[6]等各個(gè)方面，已成為人工智能發(fā)展的重要?jiǎng)恿Α?/p>

3 多模態(tài)知識(shí)圖譜

隨著大量知識(shí)以非結(jié)構(gòu)化和半結(jié)構(gòu)化的形式不斷涌現(xiàn)，圖像、視頻、音頻等多模態(tài)數(shù)據(jù)開始受到研究人員的廣泛關(guān)注[14]。多模態(tài)數(shù)據(jù)使跨模態(tài)語義理解與知識(shí)表示需求變得更加迫切，作為承載底層海量知識(shí)并支持上層智能應(yīng)用的重要載體，知識(shí)圖譜也急需多模態(tài)化[15]。2019 年，多模態(tài)知識(shí)圖譜被正式提出，Richpedia[16]作為首個(gè)多模態(tài)知識(shí)圖譜，通過向維基百科中的文本實(shí)體分發(fā)足夠多的圖像來構(gòu)建多模態(tài)知識(shí)圖譜。當(dāng)前多模態(tài)知識(shí)圖譜主要研究圖像和文本兩種模態(tài)，Liu[17]等人從鏈接預(yù)測(cè)和實(shí)體匹配出發(fā)，研究跨實(shí)體和圖像的關(guān)系推理。Wilcke[18]等人提出一種多模態(tài)信息傳遞網(wǎng)絡(luò)，不僅可以從圖結(jié)構(gòu)中進(jìn)行端到端學(xué)習(xí)，還可以從圖像的多模態(tài)節(jié)點(diǎn)特征集中進(jìn)行端到端學(xué)習(xí)，其中異構(gòu)多模態(tài)數(shù)據(jù)以知識(shí)圖譜的形式表示，能夠從每個(gè)模態(tài)中提取相關(guān)信息。Sun[19]等人分別介紹了基于特征的方法和基于實(shí)體的方法來對(duì)多模態(tài)知識(shí)圖譜進(jìn)行表示學(xué)習(xí)?；谔卣鞯姆椒╗20]將多模態(tài)信息作為實(shí)體的輔助特征，根據(jù)圖結(jié)構(gòu)以及實(shí)體的視覺信息來定義三元組，同時(shí)每個(gè)實(shí)體都包含圖像或文本屬性?；趯?shí)體的方法[21]將不同的模態(tài)信息視作結(jié)構(gòu)化知識(shí)的關(guān)系三元組，而非特征。

當(dāng)前，雖然多模態(tài)技術(shù)在農(nóng)業(yè)知識(shí)圖譜中尚未見應(yīng)用，但借鑒開放領(lǐng)域和其他領(lǐng)域知識(shí)圖譜的多模態(tài)實(shí)現(xiàn)，通過遷移學(xué)習(xí)能夠?qū)⒍嗄B(tài)信息融入已有的農(nóng)業(yè)知識(shí)圖譜中。圖2 是一個(gè)多模態(tài)農(nóng)業(yè)知識(shí)圖譜的示例，它包含圖像、文本兩種模態(tài)信息，圖中“水稻”實(shí)體（entity），既包含了圖像屬性（has image），又包含文本屬性（has description），同時(shí)“水稻”（entity）和“分布地區(qū)”（entity）之間用located in（relation）連接起來，最后利用基于特征的方式將圖像、文本兩種模態(tài)信息作為水稻實(shí)體的屬性來構(gòu)建多模態(tài)農(nóng)業(yè)知識(shí)圖譜。通過這個(gè)農(nóng)業(yè)多模態(tài)知識(shí)圖譜，能夠清晰地獲取水稻圖像以及病蟲害圖像等知識(shí)，為下游應(yīng)用提供更加豐富的領(lǐng)域知識(shí)。

圖2 多模態(tài)農(nóng)業(yè)知識(shí)圖譜示例Fig.2 Example of Agricultural Multimodal Knowledge Graph

3.1 多模態(tài)知識(shí)圖譜的構(gòu)建及其關(guān)鍵技術(shù)

知識(shí)圖譜的構(gòu)建方法從早期的人工搭建逐漸過渡到目前利用機(jī)器學(xué)習(xí)、信息抽取和信息處理等技術(shù)半自動(dòng)或自動(dòng)化地構(gòu)建，其內(nèi)容也從單模態(tài)延伸到了多模態(tài)領(lǐng)域。傳統(tǒng)知識(shí)圖譜的構(gòu)建主要采用自底向上的模式，包含3 個(gè)步驟：信息抽取、知識(shí)獲取、知識(shí)融合。多模態(tài)知識(shí)圖譜的構(gòu)建則需要考慮多模態(tài)數(shù)據(jù)的加入，構(gòu)建流程如圖3 所示。同時(shí)多模態(tài)知識(shí)圖譜的構(gòu)建涉及多種關(guān)鍵技術(shù)，包括多模態(tài)信息抽取、多模態(tài)表示學(xué)習(xí)、多模態(tài)實(shí)體鏈接技術(shù)等。

圖3 知識(shí)圖譜的技術(shù)架構(gòu)Fig.3 The technical architecture of knowledge graph

3.2 模態(tài)表示

多模態(tài)知識(shí)圖譜中，模態(tài)表示是構(gòu)建圖譜的重要環(huán)節(jié)，其含義是提取模態(tài)數(shù)據(jù)的語義信息，即學(xué)習(xí)模態(tài)的表示，這一直是個(gè)充滿挑戰(zhàn)的問題[22]。模態(tài)表示可分為單模態(tài)表示和多模態(tài)表示，多模態(tài)表示既可以從多個(gè)模態(tài)融合獲取，也可以從多種模態(tài)中同時(shí)學(xué)習(xí)得到。

單模態(tài)表示可以對(duì)單個(gè)模態(tài)信息進(jìn)行線性或者非線性映射，從而產(chǎn)生單模態(tài)的語義特征表示。單模態(tài)表示主要處理對(duì)象有文本，圖像，視頻，音頻等信息，不同類型的信息適用不同的機(jī)器學(xué)習(xí)模型。多模態(tài)表示學(xué)習(xí)利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像、視頻等多模態(tài)數(shù)據(jù)在相應(yīng)特征空間的特征向量表示[22-23]，并映射到與實(shí)體結(jié)構(gòu)特征向量相同維度的空間中，將各個(gè)模態(tài)的特征向量表示進(jìn)行拼接，從而能夠得到在共同表示空間中各模態(tài)的高層語義表示。多模態(tài)表示學(xué)習(xí)通過利用多模態(tài)之間的互補(bǔ)性，去除模態(tài)之間信息的冗雜性，從而學(xué)習(xí)到更好的特征表示。多模態(tài)表示學(xué)習(xí)按實(shí)現(xiàn)方法可分為聯(lián)合表示學(xué)習(xí)和協(xié)同表示學(xué)習(xí)，聯(lián)合表示學(xué)習(xí)[24]將多個(gè)模態(tài)信息一起映射到一個(gè)統(tǒng)一的多模態(tài)向量空間。協(xié)同表示學(xué)習(xí)[25]則是將多模態(tài)中的每個(gè)模態(tài)分別映射到各自的表示空間，與此同時(shí)映射后的向量之間要滿足一定的相關(guān)性約束。

3.2.1 文本表示學(xué)習(xí)

文本表示學(xué)習(xí)是對(duì)文本進(jìn)行向量化表示，再利用機(jī)器學(xué)習(xí)模型對(duì)其進(jìn)行文本特征提取，最后用模型的輸出向量作為文本表示。文本特征主要使用神經(jīng)網(wǎng)絡(luò)提取，常用的方法包含循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN[26]），長(zhǎng)短期記憶網(wǎng)絡(luò)（long short term memory network，LSTM[27]）等。近年來，隨著Bert[28]和Attention[29]模型的迅速發(fā)展及其本身強(qiáng)大的功能，此類模型及其變體展現(xiàn)了比RNN，LSTM 更好的特征提取效果，并逐漸呈現(xiàn)取代之勢(shì)。

3.2.2 圖像表示學(xué)習(xí)

在圖像模態(tài)處理方面，通常使用卷積神經(jīng)網(wǎng)絡(luò)，通過一系列的卷積和池化操作對(duì)輸入圖像進(jìn)行特征提取，然后將提取的特征進(jìn)行全連接，產(chǎn)生圖像的特征向量。典型的卷積神經(jīng)網(wǎng)絡(luò)模型有AlexNet[30]、VGG[31]、ResNet[32]等，AlexNet 通過增加神經(jīng)網(wǎng)絡(luò)的深度來獲取圖像的特征表示，利用ReLU 作為激活函數(shù)，解決了Sigmoid 函數(shù)在網(wǎng)絡(luò)深度較深時(shí)的梯度彌散等問題，另外在訓(xùn)練時(shí)使用Dropout 來避免模型過擬合。VGG 的結(jié)構(gòu)相較于AlexNet 能夠深入提取圖像中的語義特征，獲得更好的圖像表示。當(dāng)網(wǎng)絡(luò)深度增加時(shí)，網(wǎng)絡(luò)的準(zhǔn)確度出現(xiàn)飽和，甚至出現(xiàn)下降趨勢(shì)。ResNet 在VGG 的基礎(chǔ)上，通過短路機(jī)制加入殘差單元解決了這個(gè)問題。ResNet 模型結(jié)構(gòu)精簡(jiǎn)，即使卷積層和池化層深度不斷增加，通過ResNet 生成的矩陣表示所包含的語義信息也不會(huì)減少。

3.2.3 聲音表示學(xué)習(xí)

與文本，圖像一樣，聲音模態(tài)表示學(xué)習(xí)的主要目的是提取聲音信號(hào)中的語義特征表示向量。聲音模態(tài)數(shù)據(jù)在計(jì)算機(jī)中以模擬信號(hào)形式存在，需要將聲音的時(shí)域波形轉(zhuǎn)換為聲音數(shù)字信號(hào)，進(jìn)行數(shù)字化處理獲取離散數(shù)字信號(hào)序列，然后再對(duì)數(shù)字信號(hào)序列進(jìn)行聲音特征向量的提取[15]。當(dāng)前聲音特征提取的研究方法有：梅爾頻率倒譜系數(shù)MFCC[33]、線性預(yù)測(cè)倒譜系數(shù)LPCC[34]、多媒體內(nèi)容描述接口MPEG7[35]等，最常用的梅爾頻率倒譜系數(shù)先將線性頻譜映射到基于聽覺感知的Mel 非線性頻譜中，然后轉(zhuǎn)換到倒譜（cepstrum）上，這樣最符合人的聽覺特征，故梅爾頻率倒譜系數(shù)是當(dāng)前比較普遍有效的聲音特征提取算法。

4 農(nóng)業(yè)多模態(tài)知識(shí)圖譜的應(yīng)用研究

知識(shí)圖譜作為知識(shí)與語義網(wǎng)絡(luò)的融合，具有優(yōu)秀的語義處理能力。在農(nóng)業(yè)領(lǐng)域，可以通過各種農(nóng)業(yè)網(wǎng)站、文獻(xiàn)資料、實(shí)驗(yàn)數(shù)據(jù)或者實(shí)地調(diào)研來獲取農(nóng)業(yè)數(shù)據(jù)，農(nóng)業(yè)多模態(tài)知識(shí)圖譜的研究可以推動(dòng)農(nóng)業(yè)數(shù)據(jù)的研究并在農(nóng)業(yè)智能問答、病蟲害識(shí)別、作物生長(zhǎng)監(jiān)測(cè)、農(nóng)產(chǎn)品推薦等方面起到極大的推動(dòng)作用。

4.1 農(nóng)業(yè)智能問答

隨著我國(guó)農(nóng)業(yè)現(xiàn)代化的不斷推進(jìn)，農(nóng)業(yè)服務(wù)網(wǎng)站、農(nóng)業(yè)大數(shù)據(jù)平臺(tái)快速發(fā)展，廣大從業(yè)人員能夠利用網(wǎng)絡(luò)方便地查詢所需信息。但隨著網(wǎng)絡(luò)數(shù)據(jù)量的增加，如何從海量信息中篩選出準(zhǔn)確、可靠的信息，如何便捷高效地利用這些信息，成為充分發(fā)揮農(nóng)業(yè)信息資源作用、助力農(nóng)業(yè)生產(chǎn)大計(jì)所需亟待解決的問題[36-37]。

視覺問答是由Antol[38]等人最先提出的，其任務(wù)是給出：一張圖像以及一個(gè)關(guān)于圖像的問題，問答系統(tǒng)要能夠通過查詢知識(shí)庫回答這個(gè)問題。農(nóng)業(yè)視覺問答是農(nóng)業(yè)智能問答領(lǐng)域頗具挑戰(zhàn)性的工作，不僅要對(duì)農(nóng)業(yè)問題進(jìn)行語義分析，還需要考慮到農(nóng)業(yè)圖像中不同因素的影響，將視覺信息和問題文本進(jìn)行多模態(tài)融合來應(yīng)對(duì)這項(xiàng)挑戰(zhàn)。

有別于傳統(tǒng)的專家咨詢系統(tǒng)，基于知識(shí)圖譜的農(nóng)業(yè)問答系統(tǒng)能夠?qū)崿F(xiàn)自動(dòng)化的農(nóng)業(yè)知識(shí)問答服務(wù)，減輕專家指導(dǎo)負(fù)擔(dān)，幫助農(nóng)民更好地進(jìn)行農(nóng)業(yè)生產(chǎn)。李巖[37]等人針對(duì)搜索引擎檢索和人工查詢方法的不足，提出了基于知識(shí)圖譜構(gòu)建農(nóng)業(yè)智能問答系統(tǒng)的架構(gòu)，通過提取關(guān)鍵字、對(duì)問題分類等方法實(shí)現(xiàn)對(duì)問題的理解，之后通過查詢知識(shí)圖譜、匹配最佳關(guān)系，獲取查詢結(jié)果并反饋答案。周子豪[39]構(gòu)建了基于知識(shí)圖譜的茶葉知識(shí)問答系統(tǒng)，同時(shí)針對(duì)現(xiàn)有的知識(shí)圖譜存在大量隱含關(guān)系沒有被挖掘，限制了知識(shí)圖譜的規(guī)模等問題，以TransE[40]模型作為基礎(chǔ)提出了融合三元組名稱信息的知識(shí)表示學(xué)習(xí)模型。該模型在CBOW 模型訓(xùn)練的詞向量基礎(chǔ)上，通過嵌入層為實(shí)體向量和關(guān)系向量進(jìn)行初始化，使實(shí)體和關(guān)系擁有了豐富的語義信息，能夠提供對(duì)茶葉病害、蟲害、管理方式、種植方式等問題更有說服力的問答結(jié)果。張穎[41]等人利用可視化技術(shù)對(duì)土壤肥力問題進(jìn)行可視化挖掘與分析，構(gòu)建了土壤肥力知識(shí)圖譜。

目前已有的農(nóng)業(yè)知識(shí)圖譜中，圖像、音頻、視頻等多模態(tài)數(shù)據(jù)的使用仍然極少。隨著圖像識(shí)別等技術(shù)的發(fā)展，生產(chǎn)場(chǎng)景中的圖像或視頻數(shù)據(jù)將發(fā)揮更大的作用，將此類多模態(tài)數(shù)據(jù)融合入知識(shí)圖譜，能夠利用多模態(tài)數(shù)據(jù)描述實(shí)體角度的互補(bǔ)性緩解文本描述的歧義性。例如將不同品種的作物圖像融入知識(shí)圖譜能夠更好地彌補(bǔ)文字描述的抽象性，使表型性狀類似的不同作物品種更易區(qū)分。同樣，如將害蟲或禽鳥的聲音信息加入圖譜，能夠更好地定位相關(guān)實(shí)體。在用戶提出問題時(shí)，能夠通過圖像或聲音追問的方式更好地理解問題；在給出回答時(shí)，能夠利用圖像或視頻信息提供更明確的答案。同時(shí)，基于視覺識(shí)別的問答系統(tǒng)能夠進(jìn)一步結(jié)合圖像識(shí)別技術(shù)，對(duì)用戶提出的基于圖像的問題進(jìn)行回答。如用戶在田間拍攝相關(guān)作物圖像后將問題和圖像一起提交給問答系統(tǒng)，系統(tǒng)能夠在知識(shí)圖譜中進(jìn)行文本和圖像的聯(lián)合搜索與匹配，從而實(shí)現(xiàn)視覺問答。這類智能問答系統(tǒng)，能夠更廣泛地為廣大農(nóng)戶提供面向田間地頭的種植技術(shù)支持，緩解專家指導(dǎo)壓力，通過圖文一體化的多模態(tài)數(shù)據(jù)融合構(gòu)建模型，更好地實(shí)現(xiàn)知識(shí)推理。相較于傳統(tǒng)問答系統(tǒng)，其在更好地識(shí)別問題意圖，更準(zhǔn)確地查找答案，更明確地回答問題，增強(qiáng)問答系統(tǒng)的可信度等方面均具有極大的優(yōu)勢(shì)。

4.2 病蟲害識(shí)別

農(nóng)作物病蟲害是我國(guó)農(nóng)業(yè)生產(chǎn)的主要災(zāi)害之一，它具有種類多，易暴發(fā)成災(zāi)等特點(diǎn)，已經(jīng)嚴(yán)重影響到農(nóng)作物的產(chǎn)量和質(zhì)量。所以，在農(nóng)作物病蟲害預(yù)防與治理工作中，首要問題是如何快速、有效、精準(zhǔn)地識(shí)別農(nóng)作物病蟲害種類，并確定病蟲害發(fā)生的位置和范圍，評(píng)估病蟲害的嚴(yán)重程度，從而采取相關(guān)防治措施及時(shí)止損[42]。傳統(tǒng)方式中，農(nóng)作物病蟲害的識(shí)別依靠專家在現(xiàn)場(chǎng)進(jìn)行診斷，時(shí)效性和效率均偏低?；谟?jì)算機(jī)視覺的農(nóng)作物病蟲害識(shí)別研究可以提高病蟲害識(shí)別的精度和水平，實(shí)時(shí)、準(zhǔn)確、快速地識(shí)別病蟲害，進(jìn)而及時(shí)地采取相應(yīng)的補(bǔ)救措施，可以大大提高經(jīng)濟(jì)效益[43]。于合龍[44]等人利用知識(shí)圖譜對(duì)水稻病蟲害的異構(gòu)數(shù)據(jù)信息進(jìn)行結(jié)構(gòu)化存儲(chǔ)，建立病蟲害之間的語義關(guān)系，并提出面向水稻病蟲害的知識(shí)圖譜構(gòu)建方法和基于圖的水稻病蟲害檢索算法，通過引入節(jié)氣實(shí)體實(shí)現(xiàn)水稻病蟲害的預(yù)警。在此基礎(chǔ)上，應(yīng)用確定性因子(Certainty factor，CF)模型和知識(shí)圖譜的知識(shí)推理方法，實(shí)現(xiàn)了水稻病蟲害的診斷。Guan[45]等人以果樹病蟲害為例，構(gòu)造農(nóng)業(yè)領(lǐng)域的知識(shí)圖譜，通過知識(shí)表示模型對(duì)農(nóng)業(yè)領(lǐng)域的知識(shí)進(jìn)行編碼，結(jié)合用戶提供的描述文本，得到果樹病蟲害特征實(shí)體的表示向量，然后將表示向量和害蟲圖像表示向量通過CNN-DNN-BiLSTM 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而識(shí)別果樹病蟲害。

目前病蟲害識(shí)別系統(tǒng)主要基于視覺識(shí)別技術(shù)，針對(duì)特定的作物，能夠識(shí)別的病蟲害種類和精度完全取決于已有數(shù)據(jù)集中的數(shù)據(jù)完整性，即對(duì)于數(shù)據(jù)量足夠的病蟲害類別能夠進(jìn)行較好地診斷，而對(duì)于缺少數(shù)據(jù)的病蟲害無法清晰識(shí)別[46]。多模態(tài)病蟲害知識(shí)圖譜能夠?qū)⒆魑镆赘械乃胁∠x害信息集成于圖譜中，結(jié)合圖像、聲音等數(shù)據(jù)形式，提高相似癥狀病蟲害的區(qū)分度，特別是對(duì)于罕見發(fā)生的病蟲害，能夠不受已有數(shù)據(jù)稀少的影響，實(shí)現(xiàn)推理與診斷。隨著氣候變化的加劇，病蟲害的發(fā)生、繁殖、擴(kuò)散方式均出現(xiàn)新的特點(diǎn)，而通過多模態(tài)病蟲害知識(shí)圖譜能夠?qū)⒆钚卵芯拷Y(jié)果融入知識(shí)庫，從而在病蟲害發(fā)生之初能夠及時(shí)進(jìn)行診斷，進(jìn)一步提升作物病蟲害診斷的效果。對(duì)于未知或罕見的病蟲害，用戶通過提供相關(guān)病蟲害的名稱、圖像甚至聲音，都可以在知識(shí)圖譜進(jìn)行檢索，并以文字、圖像、視頻等用戶所需要的方式給出及時(shí)反饋，大大提高了病蟲害識(shí)別的準(zhǔn)確度，并能夠及時(shí)指導(dǎo)農(nóng)戶做出病蟲害防治的應(yīng)對(duì)措施。

4.3 作物生長(zhǎng)監(jiān)測(cè)

通過收集農(nóng)作物不同階段的圖像信息與生長(zhǎng)信息構(gòu)建作物多模態(tài)知識(shí)圖譜，與各類作物模型結(jié)合，可以進(jìn)行農(nóng)作物生長(zhǎng)的模擬和農(nóng)作物產(chǎn)量的預(yù)測(cè)，幫助種植戶進(jìn)行栽培決策和規(guī)劃。

利用作物生長(zhǎng)圖像與作物生長(zhǎng)參數(shù)進(jìn)行匹配，不僅可以對(duì)作物生長(zhǎng)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，還可以對(duì)作物產(chǎn)量進(jìn)行預(yù)測(cè)?；诙嗄B(tài)知識(shí)圖譜的監(jiān)測(cè)或預(yù)測(cè)系統(tǒng)，能夠擴(kuò)展圖像中的視覺上下文，推理作物生長(zhǎng)參數(shù)間的相關(guān)性，并與圖譜中豐富的語義相關(guān)聯(lián)，在場(chǎng)景圖的構(gòu)建上可以引入視覺概念之間的關(guān)聯(lián)知識(shí)，有效增強(qiáng)多模態(tài)數(shù)據(jù)的推理能力，使監(jiān)測(cè)或預(yù)測(cè)模型具有更高的可解釋性。例如，Choudhary[47]等人將收集到的農(nóng)作物生長(zhǎng)數(shù)據(jù)和智能農(nóng)場(chǎng)本體連接起來，填充知識(shí)圖譜，利用生成的知識(shí)圖譜提供結(jié)構(gòu)性信息，并通過使用SPARQL查詢來聚合數(shù)據(jù)，利用深度學(xué)習(xí)模型預(yù)測(cè)作物產(chǎn)量，減少了種植成本，控制了人工成本。Chukkapalli[48]等人認(rèn)為個(gè)體農(nóng)場(chǎng)所有者應(yīng)聯(lián)合起來組成農(nóng)業(yè)合作社，共享資源、數(shù)據(jù)以及領(lǐng)域知識(shí)，團(tuán)隊(duì)將智能農(nóng)場(chǎng)的轉(zhuǎn)換數(shù)據(jù)添加到合作生態(tài)系統(tǒng)中的合作農(nóng)業(yè)本體中來填充知識(shí)圖譜。該知識(shí)圖譜能夠檢索智能農(nóng)場(chǎng)中的農(nóng)作物數(shù)據(jù)，并利用該數(shù)據(jù)訓(xùn)練異常檢測(cè)模型，用以進(jìn)一步檢測(cè)和識(shí)別種植過程中的植株生長(zhǎng)異常、病蟲害感染等異常事件。

現(xiàn)有的作物生長(zhǎng)預(yù)測(cè)模型，能夠根據(jù)已有機(jī)理或統(tǒng)計(jì)模型進(jìn)行生長(zhǎng)預(yù)測(cè)，但推理和搜索能力還較為薄弱[49]，將多模態(tài)知識(shí)圖譜與作物生長(zhǎng)預(yù)測(cè)模型融合，能夠加強(qiáng)模型的知識(shí)推理和搜索能力，對(duì)異常天氣、延遲播種、延遲采收等非常規(guī)條件下的作物生長(zhǎng)具有更好的預(yù)測(cè)能力。另一方面，結(jié)合圖譜中的相關(guān)栽培知識(shí)，作物監(jiān)測(cè)模型能夠在預(yù)測(cè)相關(guān)長(zhǎng)勢(shì)信息的同時(shí)獲得對(duì)應(yīng)的栽培措施，從而實(shí)現(xiàn)作物長(zhǎng)勢(shì)預(yù)測(cè)與栽培指導(dǎo)的結(jié)合，既能夠幫助研究者們對(duì)作物生長(zhǎng)規(guī)律進(jìn)行研究分析，又能夠服務(wù)于種植戶，進(jìn)行作物栽培指導(dǎo)。

4.4 農(nóng)產(chǎn)品推薦

推薦系統(tǒng)旨在預(yù)測(cè)用戶對(duì)尚未考慮的物品或社會(huì)元素的“偏好”，根據(jù)物品特征或者用戶的社會(huì)環(huán)境來構(gòu)建模型[50-51]。把圖像和文本等多模態(tài)數(shù)據(jù)引入知識(shí)圖譜可以解決推薦系統(tǒng)中存在的數(shù)據(jù)稀疏等問題，增強(qiáng)推薦系統(tǒng)的準(zhǔn)確性。

隨著“互聯(lián)網(wǎng)+農(nóng)業(yè)”的發(fā)展，農(nóng)產(chǎn)品的銷售渠道逐步拓展到網(wǎng)絡(luò)平臺(tái)，電子商務(wù)與農(nóng)產(chǎn)品的結(jié)合有利于推動(dòng)農(nóng)村經(jīng)濟(jì)發(fā)展，促進(jìn)農(nóng)產(chǎn)品交易的規(guī)范化和產(chǎn)業(yè)化。結(jié)合知識(shí)圖譜的農(nóng)業(yè)電子商務(wù)能夠?qū)⒑线m的農(nóng)產(chǎn)品進(jìn)行網(wǎng)絡(luò)推薦，通過對(duì)外觀、產(chǎn)地、品種等信息的設(shè)置，推薦系統(tǒng)將對(duì)知識(shí)圖譜中的實(shí)體特征進(jìn)行匹配，最終將符合需求客戶的農(nóng)產(chǎn)品以文本描述、圖像或視頻介紹的方式推薦給用戶。Tejaswini[52]等人提出了水產(chǎn)養(yǎng)殖領(lǐng)域的推薦系統(tǒng)，基于魚類的知識(shí)圖譜，實(shí)現(xiàn)了適合漁民的最佳魚苗類型和最佳養(yǎng)殖環(huán)境推薦，給漁民提供了巨大幫助。

多模態(tài)知識(shí)圖譜能夠通過語義豐富的圖結(jié)構(gòu)產(chǎn)生解釋性更強(qiáng)、更準(zhǔn)確的推薦方案，對(duì)農(nóng)產(chǎn)品推薦系統(tǒng)的實(shí)施效果具有極大的促進(jìn)作用。隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，物聯(lián)網(wǎng)實(shí)時(shí)視頻監(jiān)控信息被用于農(nóng)產(chǎn)品溯源等領(lǐng)域，在多模態(tài)知識(shí)圖譜中融入相關(guān)溯源視頻，實(shí)現(xiàn)種植或養(yǎng)殖過程的溯源追蹤，將在農(nóng)產(chǎn)品的推薦系統(tǒng)中提供更安全可靠的產(chǎn)品，大大推動(dòng)了農(nóng)產(chǎn)品銷售的透明化發(fā)展，能夠在保障餐桌食品安全的同時(shí)增加農(nóng)民收益。另一方面，將物聯(lián)網(wǎng)的傳感器數(shù)據(jù)、文本或圖像數(shù)據(jù)等融合構(gòu)建的多模態(tài)知識(shí)圖譜應(yīng)用于蔬果銷售、糧食批發(fā)等農(nóng)業(yè)推薦領(lǐng)域，為用戶推薦具有特定品質(zhì)、外觀的農(nóng)產(chǎn)品，能夠保障農(nóng)產(chǎn)品的質(zhì)量，促進(jìn)定制農(nóng)業(yè)產(chǎn)業(yè)鏈的發(fā)展。

5 總結(jié)與展望

知識(shí)圖譜本質(zhì)上是實(shí)體之間關(guān)系的語義網(wǎng)絡(luò)，多模態(tài)數(shù)據(jù)的加入，為傳統(tǒng)知識(shí)圖譜提供了重要的視覺和聲學(xué)知識(shí)，能夠?qū)崿F(xiàn)更加準(zhǔn)確的對(duì)象級(jí)搜索。但是，目前農(nóng)業(yè)知識(shí)圖譜的發(fā)展還存在以下不足：（1）開放領(lǐng)域知識(shí)圖譜中關(guān)于農(nóng)業(yè)部分的內(nèi)容相對(duì)偏少，尚不足以支撐農(nóng)業(yè)領(lǐng)域應(yīng)用的需求。（2）現(xiàn)有的垂直領(lǐng)域知識(shí)圖譜表現(xiàn)形式還顯單一，農(nóng)業(yè)實(shí)體和屬性大多以文本數(shù)據(jù)形式呈現(xiàn)。隨著數(shù)字農(nóng)業(yè)和智慧農(nóng)業(yè)的發(fā)展，農(nóng)業(yè)數(shù)據(jù)中的圖像，音頻，視頻等多模態(tài)數(shù)據(jù)不斷累積，這些多模態(tài)數(shù)據(jù)的價(jià)值有待得到充分挖掘。（3）現(xiàn)有農(nóng)業(yè)知識(shí)圖譜的規(guī)模較小，針對(duì)不同應(yīng)用需求的適應(yīng)性有待改進(jìn)。因此構(gòu)建大規(guī)模的多模態(tài)農(nóng)業(yè)知識(shí)圖譜或?qū)⒊蔀檗r(nóng)業(yè)知識(shí)圖譜研究的新方向，新趨勢(shì)。

近幾年，研究者們運(yùn)用知識(shí)圖譜在農(nóng)業(yè)智能問答、農(nóng)業(yè)知識(shí)檢索、輔助病蟲害防治等方面進(jìn)行了積極的探索與嘗試，取得了良好的效果。今后，針對(duì)農(nóng)業(yè)知識(shí)圖譜發(fā)展的不足，應(yīng)積極探索多模態(tài)知識(shí)圖譜技術(shù)，使其在智慧農(nóng)業(yè)領(lǐng)域發(fā)揮更好的作用。