魏博識(shí)，陳希彤

（1.智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室；2.武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北武漢 430205）

0 引言

傳統(tǒng)農(nóng)業(yè)種植很多方面依靠感覺(jué)和經(jīng)驗(yàn)，缺少量化的數(shù)據(jù)平臺(tái)，依據(jù)經(jīng)驗(yàn)進(jìn)行種植決策，難以綜合考量多個(gè)領(lǐng)域、復(fù)雜種植場(chǎng)景、大量數(shù)據(jù)基礎(chǔ)等因素。隨著信息時(shí)代的發(fā)展，傳統(tǒng)的農(nóng)業(yè)模式弊端日益顯現(xiàn)，制約了我國(guó)農(nóng)業(yè)的發(fā)展。

中共中央印發(fā)的《數(shù)字鄉(xiāng)村發(fā)展戰(zhàn)略綱要》，結(jié)合國(guó)家農(nóng)業(yè)現(xiàn)代化和農(nóng)業(yè)信息化發(fā)展戰(zhàn)略，提出搶占大數(shù)據(jù)技術(shù)制高點(diǎn)戰(zhàn)略，推動(dòng)智慧農(nóng)業(yè)不斷發(fā)展。農(nóng)業(yè)大數(shù)據(jù)運(yùn)用大數(shù)據(jù)理念、技術(shù)和方法，解決農(nóng)業(yè)或涉農(nóng)領(lǐng)域數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算與應(yīng)用等一系列問(wèn)題，是大數(shù)據(jù)理論和技術(shù)在農(nóng)業(yè)上的應(yīng)用和實(shí)踐。近年深度學(xué)習(xí)方法在農(nóng)業(yè)領(lǐng)域的應(yīng)用取得巨大成就，廣泛應(yīng)用于科學(xué)施肥、產(chǎn)量預(yù)測(cè)和經(jīng)濟(jì)效益預(yù)估。根據(jù)土壤信息進(jìn)行數(shù)據(jù)挖掘并在此基礎(chǔ)上提出區(qū)域性作物種植建議，不僅可以促進(jìn)農(nóng)作物生長(zhǎng)，還可改善土壤肥力，促進(jìn)可持續(xù)發(fā)展。

以土壤數(shù)據(jù)中土壤種類（Soil type）、土地類型（Land type）以及土壤養(yǎng)分元素的氮（N）、磷（P）、鉀（K）、有機(jī)質(zhì)（OM）的含量為變量建立模型，分析并且給出精準(zhǔn)預(yù)測(cè)，可以優(yōu)化傳統(tǒng)經(jīng)驗(yàn)意識(shí)的生產(chǎn)決策，實(shí)行科學(xué)種植。研究表明，氮、磷、鉀在植物根莖的重吸收率分別占63.6%，56.8%，50.7%，現(xiàn)有作物推薦算法大多依據(jù)土壤養(yǎng)分元素中氮、磷、鉀、有機(jī)質(zhì)等數(shù)值域數(shù)據(jù)進(jìn)行推薦。但是土壤類型如黃綿土、潮土、水稻土，地塊類型如坡地、平地、梯田等是土壤的文本域數(shù)據(jù)，反應(yīng)土壤中不同大小直徑成土顆粒組成狀況，不同質(zhì)地土壤間養(yǎng)分含量、蓄水導(dǎo)水、保肥供肥、保溫導(dǎo)熱、耕性、微生物種類及其活動(dòng)等性能差異則對(duì)作物生長(zhǎng)產(chǎn)生影響。

1 相關(guān)工作

近年傳統(tǒng)推薦算法與深度學(xué)習(xí)推薦算法逐步在土壤數(shù)據(jù)推薦中應(yīng)用，取到了一定效果，但仍存在忽略土壤文本域特征、不同特征交叉對(duì)結(jié)果影響程度不同等問(wèn)題。

互聯(lián)網(wǎng)發(fā)展迅速，帶動(dòng)推薦算法快速發(fā)展。協(xié)同過(guò)濾（Collaborative Fiter，CF）利用相似性推薦思想取得了巨大成功；邏輯回歸（Logistic Regression，LR）因?yàn)楹?jiǎn)單、可擴(kuò)展和易解釋優(yōu)點(diǎn)，在推薦和排序算法中廣泛應(yīng)用，但其不具有特征組合能力，表達(dá)能力較差；2010年因子分解機(jī)（Factorization Machine，F(xiàn)M）被提出，特征交叉概念引入推薦模型，解決了邏輯回歸不具有特征組合的能力；2012年提出的AlexNet引爆了深度學(xué)習(xí)浪潮，將深度學(xué)習(xí)快速的從圖像擴(kuò)展到語(yǔ)音，再到自然語(yǔ)言處理和推薦系統(tǒng)；為了解決構(gòu)建重建函數(shù)問(wèn)題，2015年Sedhain等提出AutoRec，將自編碼器思想與協(xié)同過(guò)濾結(jié)合為一種單隱層網(wǎng)絡(luò)推薦模型；針對(duì)AutoRec等過(guò)于簡(jiǎn)單的網(wǎng)絡(luò)帶來(lái)模型表達(dá)能力不足問(wèn)題，2016年微軟推出Deep Crossing模型，完整解決了特征工程、稀疏向量稠密化、多層神經(jīng)網(wǎng)絡(luò)優(yōu)化目標(biāo)擬合等一系列深度學(xué)習(xí)在推薦算法中的應(yīng)用問(wèn)題，但其全連接隱層的特征交叉針對(duì)性不強(qiáng)；Google提出了Wide&Deep模型，使用廣度與深度聯(lián)合訓(xùn)練的方法解決了推薦算法中難以同時(shí)保留模型記憶能力與泛化能力問(wèn)題，但該模型仍然沒(méi)有解決人工特征組合工作量大效果差的缺點(diǎn)；2017年微軟和斯坦福提出的Deep&Cross Network（DCN），用Cross Net代 替Wide&Deep模型 的Wide部分，增加了特征之間的交互力度，解決了人工組合特征問(wèn)題。

注意力機(jī)制最早在視覺(jué)圖像領(lǐng)域提出，2014年，Google mind團(tuán)隊(duì)在RNN模型上使用注意力機(jī)制進(jìn)行圖像分類；Bahdanau等使用注意力機(jī)制在機(jī)器翻譯任務(wù)上將翻譯和對(duì)齊同時(shí)進(jìn)行，第一個(gè)將注意力機(jī)制應(yīng)用到自然語(yǔ)言處理領(lǐng)域。之后注意力模型逐漸在圖像處理、自然語(yǔ)言處理、推薦領(lǐng)域等方面廣泛應(yīng)用；2017年，Xiao等將注意力機(jī)制引入因子分解機(jī)，在二階隱向量交叉的基礎(chǔ)上對(duì)每個(gè)交叉結(jié)果進(jìn)行注意力加分；2017年，Zhou等在傳統(tǒng)深度學(xué)習(xí)推薦模型基礎(chǔ)上引入注意力機(jī)制，根據(jù)不同目標(biāo)進(jìn)行更有針對(duì)性的推薦。

上述方法都在各自數(shù)據(jù)集上有良好表現(xiàn)，但是在本文數(shù)據(jù)集上表現(xiàn)并不理想。本文土壤數(shù)據(jù)包含數(shù)值域與文本域信息，土壤數(shù)據(jù)中包含了氮、磷、鉀等養(yǎng)分信息以及土壤有機(jī)質(zhì)、類型和地塊等信息，因而具有不同的維度和稀疏性。傳統(tǒng)推薦算法LR可以融合土壤的文本域數(shù)據(jù)特征和數(shù)值域數(shù)據(jù)特征，但不具備特征組合能力；Wide&Deep模型可以進(jìn)行特征組合，但是十分依賴人工特征工程；Deep&Cross Network由多個(gè)交叉層組成Cross網(wǎng)絡(luò)，在Wide&Deep模型中Wide基礎(chǔ)上進(jìn)行特征自動(dòng)化交叉，避免了更多基于業(yè)務(wù)理解的人工特征組合。但是，它相當(dāng)于“一視同仁”地對(duì)待所有交叉特征，未考慮不同特征對(duì)結(jié)果的影響程度，事實(shí)上消解了大量有價(jià)值的信息。在梯田下推薦小麥種植場(chǎng)景，“地塊類型=梯田且歷史種植稻麥輪作”這一交叉特征，很可能比“地塊類型=梯田且歷史種植黃豆”這一交叉特征更為重要。

針對(duì)以上問(wèn)題，本文提出一種基于土壤數(shù)據(jù)注意力機(jī)制深度交叉網(wǎng)絡(luò)（Attention Deep Cross Network，ADCN）的作物推薦模型。首先將高維稀疏的文本域土壤數(shù)據(jù)特征通過(guò)嵌入向量的方式轉(zhuǎn)化為低維稠密特征，并且作為提取交互特征的前置；其次將土壤類型、地塊類型與歷史種植作物種類進(jìn)行關(guān)聯(lián)，通過(guò)注意力機(jī)制訓(xùn)練土壤類型、地塊類型與歷史種植作物交互特征的權(quán)重，并且級(jí)聯(lián)數(shù)值域土壤數(shù)據(jù)作為深度交互網(wǎng)絡(luò)層輸入；最后通過(guò)深度交叉特征網(wǎng)絡(luò)層輸出精準(zhǔn)的推薦作物。實(shí)驗(yàn)證明本文模型在性能上優(yōu)于目前常用的推薦模型。

2 融合注意力機(jī)制的深度交叉網(wǎng)絡(luò)

本文融合注意力機(jī)制的深度交叉網(wǎng)絡(luò)作物推薦模型主要包含數(shù)據(jù)編碼層、注意力機(jī)制層、深度網(wǎng)絡(luò)層、Cross網(wǎng)絡(luò)層和合并輸出層5層，如圖1所示。

Fig.1 Network structure圖1 網(wǎng)絡(luò)結(jié)構(gòu)

圖1中，N、P、K、OM分別表示土壤養(yǎng)分中氮、磷、鉀、有機(jī)質(zhì)的含量等數(shù)值域特征。數(shù)值域特征是連續(xù)的，為了使連續(xù)特征更容易被模型學(xué)習(xí)，在數(shù)據(jù)編碼階段采用分布損失函數(shù)（Cumulative Distribution Function，CDF）映射到（0，1），然后進(jìn)行分桶離散化；LT、ST、PT分別表示土地類型、土壤類型以及歷史種植作物類型，稱為文本域信息，這類信息在編碼時(shí)大量使用獨(dú)熱編碼，導(dǎo)致樣本特征向量極度稀疏，這類文本域特征也稱為稀疏特征。深度學(xué)習(xí)的結(jié)構(gòu)特點(diǎn)不利于稀疏特征向量的處理，在數(shù)據(jù)編碼層需采用向量嵌入的方法將數(shù)值域特征和文本域特征轉(zhuǎn)化成稠密向量。注意力機(jī)制層主要為不同程度的交叉特征賦予不同的學(xué)習(xí)權(quán)重，也就是注意力得分。將融合注意力機(jī)制的文本域特征和稠密特征輸入深度交叉網(wǎng)絡(luò)全連接層。深度網(wǎng)絡(luò)層中h表示深度為L(zhǎng)2的全連接層，Cross網(wǎng)絡(luò)層中

X

表示Cross網(wǎng)絡(luò)的層數(shù)。經(jīng)過(guò)Cross層進(jìn)行特征自動(dòng)化交叉，深度網(wǎng)絡(luò)層學(xué)習(xí)高維非線性特征交叉組合。合并輸出層中主要拼接Cross網(wǎng)絡(luò)層和深度網(wǎng)絡(luò)層輸出，經(jīng)過(guò)加權(quán)求和后得到logits，經(jīng)過(guò)softmax函數(shù)得到最終的預(yù)測(cè)概率。

2.1 問(wèn)題描述

作物模型的輸入為土壤養(yǎng)分中氮、磷、鉀、有機(jī)質(zhì)含量，為數(shù)值域數(shù)據(jù)；土壤中的土壤類型、地塊類型、歷史種植作物，為文本域數(shù)據(jù)。以當(dāng)前作物標(biāo)簽作為目標(biāo)推薦作物，輸出為推薦當(dāng)前作物的準(zhǔn)確率，對(duì)模型預(yù)測(cè)推薦的作物與目標(biāo)作物標(biāo)簽進(jìn)行準(zhǔn)確率計(jì)算，在模型輸出時(shí)首先經(jīng)過(guò)Softmax激活函數(shù)進(jìn)行作物樣本多分類分片，然后使用邏輯回歸在分片中進(jìn)行準(zhǔn)確率預(yù)測(cè)。

2.2 注意力機(jī)制層

注意力機(jī)制層設(shè)計(jì)是為了挖掘土壤類型與地塊類型（統(tǒng)稱為土質(zhì)組特征）和作物種植之間的關(guān)系，提取土質(zhì)組—作物組之間的關(guān)聯(lián)信息，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

Fig.2 Attention Net圖2 注意力網(wǎng)絡(luò)

在圖2中，Activation Unit表示激活單元，其作用是將作物與土質(zhì)組之間交叉，并且連接作物與土質(zhì)組，一起輸入全連接層FCs，學(xué)習(xí)其交叉特征的權(quán)重，最后通過(guò)預(yù)測(cè)作物（Candidate plant）激活，獲取相應(yīng)的注意力得分，也就是

ω

。然后通過(guò)與土壤特征組Embedding加權(quán)求和作為深度網(wǎng)絡(luò)與Cross網(wǎng)絡(luò)的全連接層輸入。

每塊土質(zhì)與作物各個(gè)特性之間的關(guān)聯(lián)程度都可使用一個(gè)權(quán)重表示，如公式（1）所示：

該權(quán)重公式作為土質(zhì)組特征與作物組特征之間的關(guān)聯(lián)程度計(jì)算，將計(jì)算結(jié)果作為DCN模型的特征作為訓(xùn)練輸入，其關(guān)聯(lián)程度的權(quán)重矩陣如下：

式（5）表示特征交叉的輸出，將得出的嵌入特征向量組作為全連接層輸入，如式（6）所示：

在全連接層采用RELU作為激活函數(shù)，輸出層選用Softmax函數(shù)，最后輸出土質(zhì)組與作物組的激活權(quán)重并且與向量嵌入的土壤數(shù)據(jù)進(jìn)行加權(quán)求和，作為深度網(wǎng)絡(luò)與Cross網(wǎng)絡(luò)的全連接層輸入。

2.3 DCN網(wǎng)絡(luò)層

DCN網(wǎng)絡(luò)層是一個(gè)可以同時(shí)高效學(xué)習(xí)低維特征交叉和高維非線性特征的深度模型，在避免人工業(yè)務(wù)理解特征組合的同時(shí)又可自動(dòng)交叉特征，其分為4個(gè)部分：

（1）輸入層。輸入為帶有權(quán)重的土壤特征與交叉特征的級(jí)聯(lián)，如式（7）所示：

（2）Cross層。Cross層可以用一種高效可控的方式增加特征之間的交互力度，使用多層交叉層對(duì)輸入向量進(jìn)行特征交叉，如式（8）所示：

Cross層類似外積操作，并且增加了外積操作的權(quán)重向量

w

以及原輸入向量

x

和偏置向量

b

，但是在參數(shù)方面每一層僅增加了n維權(quán)重向量

ω

。輸入向量在每一層都保留，因而輸入與輸出之間的變化不會(huì)特別明顯。同時(shí)，Cross層具有參數(shù)共享特點(diǎn)，該特點(diǎn)使得注意力機(jī)制可以間接地動(dòng)態(tài)更新高階交叉特征的權(quán)重。假設(shè)Cross有兩層，初始特征

x

=[

x

，

x

]，

b

=0，則：

x

=

x

x

w

+

x

，

x

=

x

x

w

+

x

，最終Cross層的輸出為

y

=

x

*

w

?？梢钥闯觯?p>x

包含了原始特征

x

，

x

從一階到二階所有可能叉乘，而

x

包含了其從一階到三階的所有可能叉乘，同時(shí)Cross層不同的高階交叉特征的權(quán)重

w

不同。但并非每個(gè)交叉特征對(duì)應(yīng)獨(dú)立的權(quán)重，因?yàn)楹笠粚覥ross交叉特征的權(quán)重取決于前一層交叉特征權(quán)重的更新，所以本文并沒(méi)有將注意力機(jī)制層加入到Cross網(wǎng)絡(luò)層中，而是放在第一層Crosss網(wǎng)絡(luò)前，這樣就可動(dòng)態(tài)更新所有高階交叉特征權(quán)重。如果放在Cross網(wǎng)絡(luò)層中某一層前面，則會(huì)導(dǎo)致注意力機(jī)制層之前的Cross網(wǎng)絡(luò)層無(wú)法動(dòng)態(tài)更新交叉特征的權(quán)重。

（3）深度網(wǎng)絡(luò)層。即傳統(tǒng)的全連接前饋神經(jīng)網(wǎng)絡(luò)，用來(lái)學(xué)習(xí)高維非線性特征交叉組合，如式（9）所示：

（4）合并輸出層。將Cross與Deep網(wǎng)絡(luò)的輸出拼接，經(jīng)過(guò)sigmoid函數(shù)得到最終的預(yù)測(cè)概率，其形式如下：

其中，

p

是推薦的作物；x是d維的，表示Cross Network的最終輸出；

h

是m維的，表示Deep Network的最終輸出；logits是Combination Layer的權(quán)重；最后經(jīng)過(guò)sigmoid函數(shù)得到預(yù)測(cè)概率。損失函數(shù)使用Logloss：

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法在網(wǎng)絡(luò)結(jié)構(gòu)、特征結(jié)合、權(quán)重訓(xùn)練上的優(yōu)勢(shì)，本文在中華土壤數(shù)據(jù)集上采集數(shù)據(jù)進(jìn)行模型測(cè)試，并設(shè)計(jì)比較實(shí)驗(yàn)來(lái)驗(yàn)證本文方法性能。

3.1 數(shù)據(jù)集與測(cè)試標(biāo)準(zhǔn)

實(shí)驗(yàn)數(shù)據(jù)來(lái)源于中國(guó)主要農(nóng)田生態(tài)系統(tǒng)養(yǎng)分循環(huán)試驗(yàn)數(shù)據(jù)庫(kù)，源于中國(guó)科學(xué)院的中國(guó)生態(tài)系統(tǒng)規(guī)律研究，該研究對(duì)農(nóng)田生態(tài)系統(tǒng)進(jìn)行長(zhǎng)期養(yǎng)分循環(huán)實(shí)驗(yàn)收集并整理出土壤信息數(shù)據(jù)庫(kù)，包括2 512條土壤數(shù)據(jù)，8種中國(guó)中部地區(qū)以及東部常見(jiàn)耕地作物小麥、水稻、玉米、稻麥輪作、黃豆、花生、蕎麥、谷子，每種作物有314條。每條土壤數(shù)據(jù)包含數(shù)值域數(shù)據(jù)有液態(tài)氮、速效磷、速效鉀、有機(jī)質(zhì)含量等；文本域數(shù)據(jù)有土壤類型如黃綿土、潮土、水稻土等，地塊類型如坡地、平地、梯田等。因?yàn)橥寥罃?shù)據(jù)具有收集難度大、信息易丟失、重復(fù)、數(shù)據(jù)分布不均等特點(diǎn)，因此本文采用smote方法對(duì)土壤數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，增強(qiáng)后的數(shù)據(jù)包括10 400條，其中每種作物的數(shù)據(jù)為1 300條，按照6：2：2的比例將數(shù)據(jù)集隨機(jī)分為7 800：2 600：2 600，分別作為訓(xùn)練集、驗(yàn)證集以及測(cè)試集。批量大?。╞atch Size）設(shè)置為32，最初學(xué)習(xí)率為0.1。

本文推薦算法的評(píng)價(jià)指標(biāo)有精確率

P

、召回率

R

和

F

值。其中

T

為準(zhǔn)確預(yù)測(cè)的土壤數(shù)據(jù)個(gè)數(shù)，

F

為模型識(shí)別到的不相關(guān)土壤數(shù)據(jù)個(gè)數(shù)，

F

為模型沒(méi)有檢測(cè)到的土壤數(shù)據(jù)個(gè)數(shù)，如式（12）所示：

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)采用NVIDIA 1080Ti GPU訓(xùn)練網(wǎng)絡(luò)，操作系統(tǒng)為Ubuntu16.04，內(nèi)存為32GB，CUP型號(hào)為Intel（R）Core（TM）i7-7700。Python 3.6版本，Tensorflow深度學(xué)習(xí)框架。

比較模型選用目前常見(jiàn)的LR、DNN、FM、PNN、Wide&Deep、DCN，與本文算法進(jìn)行對(duì)比并且驗(yàn)證模型性能。下面分別將比較算法進(jìn)行簡(jiǎn)要介紹。

（1）LR模型。邏輯回歸算法，其回歸模型由線性回歸模型與Sigmoid函數(shù)共同組成，為推薦三大基礎(chǔ)模型之一，優(yōu)點(diǎn)是簡(jiǎn)單可解釋。

（2）DNN模型。DNN是深度神經(jīng)網(wǎng)絡(luò)，是基于感知機(jī)的擴(kuò)展內(nèi)部神經(jīng)網(wǎng)絡(luò)層，分為輸入層、隱藏層、輸出層。

（3）FM模型。通過(guò)引入交叉特征項(xiàng)進(jìn)行特征之間的組合，增強(qiáng)特征之間的聯(lián)系，并且引入隱向量，解決高維稀疏數(shù)據(jù)情況下的大量計(jì)算問(wèn)題。

（4）PNN模型。針對(duì)不同特征域之間的交叉操作，定義“內(nèi)積”“外積”等操作，使模型更好地提取交叉特征之間的關(guān)聯(lián)。

（5）RFSVM模型?，F(xiàn)有數(shù)值型作物推薦算法采用隨機(jī)森林和支持向量機(jī)結(jié)合方法，根據(jù)土壤數(shù)據(jù)進(jìn)行作物推薦，具有良好性能。

（6）Wide&Deep模型。Wide部分讓模型具有較強(qiáng)的“記憶能力”，將推薦的特征與特征之間的交叉提取權(quán)重，并且采用邏輯函數(shù)進(jìn)行分類；Deep部分讓模型具有“泛化能力”，將高維稀疏的文本域數(shù)據(jù)通過(guò)嵌入的方式轉(zhuǎn)化成低維稠密向量，與數(shù)值域數(shù)據(jù)串聯(lián)輸入全連接層。Wide&Deep將兩部分模型融合。

（7）DCN模型。用Cross網(wǎng)絡(luò)代替Wide&Deep模型中的Wide部分，對(duì)特征進(jìn)行自動(dòng)交叉，增加了特征交互力度。

（8）ADCN模型（本文算法）。在DCN基礎(chǔ)上引入注意力機(jī)制，解決了不同特征對(duì)結(jié)果的影響程度不同而消解了大量有價(jià)值信息的問(wèn)題。

為驗(yàn)證本文算法性能，主要設(shè)計(jì)了兩組實(shí)驗(yàn)：①為驗(yàn)證融合土壤文本域特征與數(shù)值域特征方法的有效性，將現(xiàn)有數(shù)值型作物推薦算法（RFSVM）與LR、DNN模型以及本文方法分別以融合土壤文本域特征與數(shù)值域特征的數(shù)據(jù)集1（Sdata1）和未加入文本域特征的數(shù)據(jù)集2（Sdata2）進(jìn)行對(duì)比實(shí)驗(yàn)；②為驗(yàn)證本文引入注意力機(jī)制的深度交叉網(wǎng)絡(luò)作物推薦模型性能，在中華土壤數(shù)據(jù)集上對(duì)目前常見(jiàn)的經(jīng)典推薦模型FM、PNN、Wide&Deep、DCN、ADCN進(jìn)行對(duì)比實(shí)驗(yàn)。

3.3 融合土壤多域數(shù)據(jù)特征對(duì)比實(shí)驗(yàn)

使用中華土壤數(shù)據(jù)集采集的2 512條土壤數(shù)據(jù)，經(jīng)過(guò)Smote算法增強(qiáng)的10 400條土壤數(shù)據(jù)（Sdata1），在此基礎(chǔ)上提出數(shù)值域數(shù)據(jù)，設(shè)計(jì)10 400條土壤數(shù)值域數(shù)據(jù)集（Sdata2），將這2個(gè)數(shù)據(jù)集分別進(jìn)行實(shí)驗(yàn)。在Sdata2上對(duì)單一數(shù)值域推薦算法LR、RFSVM、DNN進(jìn)行的實(shí)驗(yàn)結(jié)果如表1所示，在Sdata1上對(duì)多域土壤數(shù)據(jù)進(jìn)行LR、DNN、ADCN處理的比較實(shí)驗(yàn)結(jié)果如表2所示。

Table 1 Comparison of soil numerical domain characteristics experiment表1 土壤數(shù)值域特征實(shí)驗(yàn)比較 （%）

Table2 Comparison of fusion soil multi-domain data characteristics experimental表2 土壤多域數(shù)據(jù)特征實(shí)驗(yàn)比較 （%）

從表1和表2可以看出，LR和DNN相較于融合文本域數(shù)據(jù)前提升了3.0%和4.2%，說(shuō)明融合土壤多域數(shù)據(jù)特征模型的效果優(yōu)于單一數(shù)值數(shù)據(jù)特征模型。另外，本文方法與現(xiàn)有數(shù)值型作物推薦算法（RFSVM）相比，F(xiàn)值提升了6.7%，原因是ADCN不僅在數(shù)值域數(shù)據(jù)的基礎(chǔ)上引入了文本域數(shù)據(jù)進(jìn)行推薦，并且在經(jīng)典推薦模型上引入了注意力機(jī)制來(lái)學(xué)習(xí)不同土壤文本數(shù)據(jù)之間的內(nèi)在權(quán)重關(guān)聯(lián)，使模型精度得到提升。因此，文本特征的引入和特征交叉的工程使得本文模型的精確度高于現(xiàn)有數(shù)值型作物推薦算法。

3.4 引入注意力機(jī)制的深度交叉網(wǎng)絡(luò)比較實(shí)驗(yàn)

使用中華土壤數(shù)據(jù)集采集的2 512條土壤數(shù)據(jù)，與經(jīng)過(guò)Smote算法增強(qiáng)的10 400條土壤數(shù)據(jù)（Sdata1）進(jìn)行比較實(shí)驗(yàn)，并與目前常見(jiàn)的推薦模型FM、PNN、Wide&Deep、DCN和ADCN進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表3所示。

從實(shí)驗(yàn)結(jié)果可以看出，本文方法在效果上優(yōu)于目前常用的推薦模型。對(duì)比DCN和Wide&Deep模型可以看出，DCN比Wide&Deep的F值提高了0.9%，說(shuō)明用Cross代替Wide可以加強(qiáng)交叉特征的學(xué)習(xí)能力。對(duì)比ADCN和DCN模型，ADCN模型的F值比DCN模型提高了1.3%。加入了Attention機(jī)制，不僅可以根據(jù)地塊類型、土壤類型與歷史種植作物的關(guān)聯(lián)程度進(jìn)行交叉特征提取，還可以對(duì)得到的交互特征的學(xué)習(xí)權(quán)重、對(duì)不同關(guān)聯(lián)的交互特征設(shè)置不同權(quán)重，從而增強(qiáng)模型性能。為了比較各個(gè)模型的收斂速度，本文對(duì)各個(gè)模型的Loss進(jìn)行比較，結(jié)果如圖3所示（彩圖掃OSID可見(jiàn)，下同）。

Table 3 Comparison experimen of introducing the attention mechanism to deep crossnetwork表3 引入注意力機(jī)制深度交叉網(wǎng)絡(luò)比較實(shí)驗(yàn) （%）

Fig 3 Loss curves of five models圖3 5種模型的Loss曲線

從圖3可以看出，5個(gè)模型的損失變化整體呈下降趨勢(shì)，但是在100次迭代次數(shù)之后趨于穩(wěn)定。在DCN中加入注意力機(jī)制之后的模型Logloss進(jìn)一步下降，并且F值提高，表明改進(jìn)后的模型性能優(yōu)于原有基礎(chǔ)模型。在引入注意力機(jī)制思想提取了作物與地塊類型、土壤類型交叉特征的權(quán)重后，較原有模型性能提高了1.3%。表明改進(jìn)后的模型性能優(yōu)于原有基礎(chǔ)模型。

4 結(jié)語(yǔ)

本文提出了一種土壤數(shù)據(jù)融合注意力機(jī)制深度交叉網(wǎng)絡(luò)結(jié)構(gòu)的作物推薦模型。通過(guò)引入文本域信息和注意力機(jī)制，解決了一般推薦模型忽略土壤文本域信息和其特征交叉時(shí)沒(méi)有挖掘土壤類型、地塊類型與種植作物之間不同的相關(guān)性以及無(wú)差別對(duì)待所有特征的問(wèn)題。在中華土壤數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，本文方法融合了文本域土壤數(shù)據(jù)和采用注意力機(jī)制訓(xùn)練文本域特征交叉的權(quán)重方法，比目前常用的推薦模型性能有較大提升。但是土壤數(shù)據(jù)存在殘缺和重復(fù)，而且交叉網(wǎng)絡(luò)層復(fù)雜度較高，后續(xù)將對(duì)土壤數(shù)據(jù)的預(yù)處理和深度交叉網(wǎng)絡(luò)的優(yōu)化進(jìn)行深入研究。