劉會丹，萬雪芬，崔 劍，蔡婷婷，楊 義

(1 東華大學 信息科學與技術學院, 上海 201620； 2 河北省物聯(lián)網(wǎng)監(jiān)控工程技術研究中心, 河北 廊坊 065201；3 華北科技學院 計算機學院, 河北 廊坊 065201； 4 北京航空航天大學 網(wǎng)絡空間安全學院, 北京 100083)

中國是一個農(nóng)業(yè)大國，農(nóng)業(yè)人口超過7億人，耕地面積達到121億hm2，在全球耕地總面積中占8%左右。在農(nóng)作物耕作培育過程中，土壤是不可忽視的環(huán)境因素之一[1]。土壤耕作層作為農(nóng)作物根系生存的重要介質(zhì)，包含著農(nóng)作物生長所需要的養(yǎng)分與水分。農(nóng)作物根系土壤環(huán)境是否適宜其生長，對農(nóng)作物優(yōu)質(zhì)、高效栽培具有重要意義[2]。農(nóng)業(yè)土壤由淺入深一般由耕作層、犁底層、心土層和底土層等層位組成[3]。耕作層指經(jīng)長期耕種已經(jīng)熟化的表土層，深度為15～20 cm，耕作層易受周圍環(huán)境氣候條件的影響，該層往往有機質(zhì)含量高，養(yǎng)分豐富，土體疏松，農(nóng)作物的根系主要分布在耕作層中[4]。在農(nóng)業(yè)種植中，農(nóng)作物的根系主要依賴耕作層的土壤環(huán)境而很少分布在其他層位，因此需要對土壤耕作層進行更多地關注與研究。在土壤的眾多參數(shù)中，土壤溫度與水分這2個參數(shù)具有重要作用[5]。土壤水分和溫度是保證植物生長的關鍵，不適宜的土壤水分、溫度不利于田間耕作和播種，保持適宜的土壤水分、溫度對農(nóng)作物優(yōu)質(zhì)栽培具有重要意義[6]。因此對耕作層土壤水分及溫度進行的高質(zhì)量時序預測對科學研究和農(nóng)業(yè)生產(chǎn)實際都有重要意義。有研究表明，0～20 cm土層的地溫與空氣溫度呈線性關系，同時，土壤深度越深，土壤溫度與周圍環(huán)境空氣溫度的相關性就越滯后[7-8]。Han等[9]研究發(fā)現(xiàn)，土壤淺層溫度與周圍環(huán)境溫度的關系對應一種正弦曲線。近年來隨著計算機運算能力的提升，國內(nèi)外許多學者開始采用機器學習方法對土壤水分、溫度預測進行研究。薛曉萍等[10]利用支持向量機方法建立土壤水分預測模型，構建的模型預測精度較高，但利用傳統(tǒng)方法預測的數(shù)據(jù)具有滯后性且較難找到最優(yōu)參數(shù)。Wu等[11]采用人工神經(jīng)網(wǎng)絡(Artificial neural network，ANN)較為精確地估算了在10 cm深度下的月平均土壤溫度數(shù)據(jù)，但該方法僅能預測月維度的土壤溫度，難以適用于日常的農(nóng)業(yè)生產(chǎn)中。Jung等[12]基于3種深度學習的神經(jīng)網(wǎng)絡模型，預測了溫室中溫度、濕度和CO2的環(huán)境變化，3種深度學習的神經(jīng)網(wǎng)絡模型依次為ANN、具有外源輸入的非線性自回歸網(wǎng)絡(Nonlinear autoregressive network with exogenous inputs，NARX)以及長短期記憶 (Long short-term memory，LSTM)，試驗發(fā)現(xiàn)LSTM的總體精度最高。

傳統(tǒng)的機器學習模型通常對樣本的質(zhì)量和數(shù)量有更多的限制，需要在數(shù)據(jù)預處理和特征提取方面付出更多的努力。另外，由于不同地區(qū)的土壤差異很大，需要更具普適性的土壤預測方法[13]。近年來，物聯(lián)網(wǎng)技術為智慧農(nóng)業(yè)的發(fā)展提供了重要的推動力，如何利用物聯(lián)網(wǎng)獲得的數(shù)據(jù)進行數(shù)據(jù)分析是智慧農(nóng)業(yè)領域需要解決的重要問題之一。土壤水分、溫度具有明顯的時空特征，土壤耕作層深度較淺，易受到地表氣溫影響導致水分蒸騰。當氣溫較高時，其水分蒸發(fā)速率較快導致土壤水分下降；當氣溫較低時，水分不易蒸騰就容易保留下來。土壤耕作層距離地表較近，空氣溫度也會對土壤耕作層溫度產(chǎn)生影響。因此可以利用環(huán)境空氣溫、濕度與土壤水分、溫度之間的關系構建預測模型，預測未來一段時間的土壤水分、溫度。基于該預測方法決策者可以依靠低成本的數(shù)據(jù)更好地了解土壤耕作層水分與溫度動態(tài)，以指導實踐。

1 材料與方法

對土壤耕作層水分、溫度進行預測，需要先了解前段時間的土壤水分、溫度數(shù)據(jù)，然后通過土壤近表面環(huán)境空氣溫、濕度和土壤水分、溫度的歷史相互關系來預測未來時間的土壤水分溫度。使用基于長短期記憶結構的數(shù)據(jù)分析與預測策略來實現(xiàn)由土壤近表面環(huán)境空氣溫、濕度到土壤水分、溫度的分析預測。

1.1 用于組合預測的深度學習基模型

LSTM從循環(huán)神經(jīng)網(wǎng)絡(Recurrent neural network，RNN)改進而來[14]。LSTM由輸入門、輸出門、遺忘門組成循環(huán)模塊，提高網(wǎng)絡保留長期信息的能力并有效解決梯度爆炸與消失問題[15]。LSTM中引入3個門限來提升長時信息記憶能力，并過濾掉不重要的信息[16]。

門限循環(huán)單元 (Gated recurrent unit, GRU)由Cho等[17]提出，由LSTM改進而來。LSTM神經(jīng)網(wǎng)絡模型較為復雜，參數(shù)較多，存在訓練時間較長的問題。為了簡化結構，GRU將遺忘門和輸入門合并為更新門，同時對細胞狀態(tài)進行融合[18]。

雙向長短期記憶網(wǎng)絡(Bi-directional long short-term memory，Bi-LSTM)包含了前向與后向LSTM。輸入層數(shù)據(jù)經(jīng)過兩個方向計算，最后結合隱藏狀態(tài)作為下一層輸入。Bi-LSTM同時擁有前向傳播和反向傳播，能夠提取序列的雙向特征，在一定程度上增加抓取時序信息的能力。但是模型的參數(shù)也相應增加，導致模型訓練需要更多的時間[19-20]。

1.2 深度強化學習理論

強化學習是通過智能體與環(huán)境間的交互學習最優(yōu)策略的過程[21]，系統(tǒng)框圖如圖1所示，智能體做出動作后，由環(huán)境反饋獎勵，同時改變智能體與環(huán)境的狀態(tài)。在強化學習中，智能體以獲得最大回報為目標來執(zhí)行動作[22]。

圖1 強化學習系統(tǒng)框圖Fig. 1 Block diagram of reinforcement learning system

馬爾可夫決策過程可用于強化學習建模，通常用四元組＜S, A, P, R>表示。其中 S 為狀態(tài)空間，A為動作空間，P為狀態(tài)轉(zhuǎn)移函數(shù)，R為獎勵函數(shù)。策略用表示。智能體在執(zhí)行動作后的回報具有延遲性，只通過立即獎勵來評價動作優(yōu)劣并不準確。強化學習中用值函數(shù)進行評價，包括狀態(tài)值函數(shù)和動作-狀態(tài)值函數(shù)定義如式(1)所示，

狀態(tài)-動作值函數(shù)又稱Q值函數(shù)，定義如式(2)所示，

用貝爾曼方程表示狀態(tài)值函數(shù)如式(3)所示，

狀態(tài)值函數(shù)可由回報獎勵和未來時刻的狀態(tài)值函數(shù)計算得到。

在許多任務中強化學習算法的表現(xiàn)并不佳，主要因為強化學習算法存在2個缺點：

1)采用Q值表來記錄不同狀態(tài)下執(zhí)行各動作的回報，狀態(tài)動作空間維度較高時會產(chǎn)生維數(shù)災難，導致構建Q值表所需的內(nèi)存空間極大。

2)在首次執(zhí)行某狀態(tài)動作組合時得到的Q值可能并不準確，需要多次訪問，以完善相應Q值。在狀態(tài)空間或動作空間維度較高時，找到最優(yōu)策略需要較大的時間復雜度。

深度 Q 學習 (Deep Q network，DQN)針對強化學習存在的問題做出了改進，是深度強化學習中的經(jīng)典算法[23]。DQN在加入神經(jīng)網(wǎng)絡基礎上的改進主要包括以下2個方面：

1)采用經(jīng)驗回放機制，該機制構建了一個經(jīng)驗池。智能體每次執(zhí)行動作后，就將樣本數(shù)據(jù)存儲到經(jīng)驗池中。每次訓練時從經(jīng)驗池中進行隨機抽樣，清除觀測序列的相關性。

2) DQN中使用了當前值網(wǎng)絡與目標值網(wǎng)絡。目標值網(wǎng)絡用于輔助計算Q值，每隔一定步長更新當前值網(wǎng)絡到目標值網(wǎng)絡[24]。

2 基于深度強化學習的水分、溫度組合預測模型

2.1 DQN-L-G-B組合模型

圖2 組合預測模型結構圖Fig. 2 Structure diagram of combination forecasting model

為了提高LSTM、GRU與Bi-LSTM模型的組合預測結果，引入DQN深度強化學習算法進行加權求和，得到優(yōu)化后的預測值?；隈R爾科夫決策過程，對狀態(tài)空間S、動作空間A、獎勵函數(shù)R建模如下：

1)狀態(tài)空間S。狀態(tài)空間矩陣S包含各基模型的預測結果權重，如式(7)所示，

式中，w1,w2,w3分別表示LSTM、GRU與Bi-LSTM這3個模型的預測結果權重。初始的狀態(tài)s0設為 [1/3,1/3,1/3]；

2)動作空間A。動作空間矩陣A包含各基模型的預測結果權重增加與減少的動作，建立3行2列的動作矩陣，如式(8)所示，

3)獎勵函數(shù)R。獎勵函數(shù)的設置是深度強化學習中的重要問題，每次執(zhí)行完動作后獲得的即刻獎勵函數(shù)R設置如式(9)與式(10)所示。

DQN-L-G-B算法中采用探索策略為ε-greedy策略，算法步驟如下：

2)對于每一次權重優(yōu)化任務，初始化環(huán)境狀態(tài)s=s0，對于每一次組合模型的預測結果權重改變動作；

6)滿足任務訓練次數(shù)要求后。輸出最優(yōu)策略與優(yōu)化后的權重矩陣 [w1,w2,w3]。

3 試驗結果與分析

3.1 數(shù)據(jù)集獲取

為了獲取用于構建深度學習模型的數(shù)據(jù)集，在土壤耕作層水分、溫度預測的背景下，基于NBIoT與云平臺構建可以長周期等間隔采集數(shù)據(jù)的物聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)。系統(tǒng)由現(xiàn)場終端節(jié)點與云端數(shù)據(jù)管理平臺組成。現(xiàn)場終端節(jié)點獲得各項監(jiān)測參數(shù)的觀測值，并通過NB-IoT數(shù)據(jù)通道送往構建在阿里云上的云端數(shù)據(jù)管理平臺。云端數(shù)據(jù)管理平臺結合服務器MySQL數(shù)據(jù)庫實現(xiàn)NB-IoT數(shù)據(jù)接口、數(shù)據(jù)存儲、數(shù)據(jù)交互等管理功能?，F(xiàn)場終端節(jié)點主板和終端節(jié)點如圖3所示。試驗表明，在測試期間數(shù)據(jù)包傳輸成功率為99.95%，該數(shù)據(jù)采集系統(tǒng)具有高可用性與穩(wěn)定性，可以實現(xiàn)長周期等間隔地采集時間序列。

圖3 現(xiàn)場終端節(jié)點主板(a)和試驗中的現(xiàn)場終端節(jié)點(b)Fig. 3 Field terminal node main board (a) and field terminal node in the experiment (b)

數(shù)據(jù)采集系統(tǒng)搭建完畢后，將終端節(jié)點部署于試驗基地中，進行長周期的數(shù)據(jù)采集試驗。試驗基地分別位于江蘇省連云港市贛榆區(qū)和河南省開封市尉氏縣。贛榆區(qū)屬于暖溫帶海洋性季風氣候，靠近東部沿海，較為濕潤，年均降水量約為900 mL。開封市尉氏縣屬于溫帶季風氣候，地處中原地區(qū)，相較于贛榆區(qū)較為干燥，年均降水量約為600 mL。分別選取贛榆地區(qū)的壤土和尉氏縣的砂土作為兩地區(qū)的試驗土壤。

試驗中壤土種植箱中混種韭菜與矮株番茄，砂土種植箱中單種花生，如圖4所示，在試驗期間作物根系深度未超過20 cm?？諝鉁貪穸葌鞲衅鞅徊荚O于種植箱上方50 cm處(處于土壤水分蒸發(fā)的影響范圍內(nèi))；土壤傳感器探針插入土深15 cm處。種植箱被置于自然環(huán)境中(無大棚薄膜等遮蔽)，日照、降雨、環(huán)境空氣運動、灌溉等自然及人為活動都將對試驗環(huán)境中的土壤水分溫度等造成影響。

圖4 試驗中用到的2種土壤類型Fig. 4 Two soil types used in the experiment

集中管理數(shù)據(jù)的云端平臺部署于阿里云ECS服務器中。設置終端節(jié)點的數(shù)據(jù)采集周期為5 min/次，整個測試周期為2020年11月1日至2021年9月18日。在這一段時間的長周期測試過程中，終端節(jié)點向云服務器采集發(fā)送的數(shù)據(jù)包數(shù)目為92 448個，云端服務器共接收到有效數(shù)據(jù)包數(shù)目為92 402個，可以滿足日常采集需求。

3.2 模型訓練

使用數(shù)據(jù)采集系統(tǒng)在2020年11月1日0:00時至2021年9月18日24:00時采集的數(shù)據(jù)作為數(shù)據(jù)集，主要包括空氣溫度、空氣濕度、土壤溫度與土壤水分等農(nóng)作物栽培生態(tài)環(huán)境數(shù)據(jù)。其中90%作為訓練集，10%作為測試集。利用訓練集對LSTM、GRU、Bi-LSTM等基模型以及DQN-L-GB組合模型進行訓練，再利用測試集對各模型的預測結果進行比較與分析。

深度學習預測模型的輸入時間步長為5，輸入維度為4，維度分別是空氣溫度、空氣濕度、土壤溫度和土壤水分。每個時間步長的間隔為30 min。模型訓練試驗使用的操作系統(tǒng)為Windows 10 64位，處理器型號為 Intel Core i5-9400F CPU 2.90 GHz，內(nèi)存為16 GB，編程語言采用Python3.6，深度學習框架采用Tensorflow2.1。

試驗中構建的LSTM、GRU和Bi-LSTM模型都包括2個網(wǎng)絡層，分別有32和16個神經(jīng)元，均使用Tanh作為激活函數(shù)，Huber loss作為損失函數(shù)，Adam作為優(yōu)化算法，迭代次數(shù)均設置為100次。

DQN-L-G-B中的DQN神經(jīng)網(wǎng)絡模型采用2個全連接神經(jīng)網(wǎng)絡(Densely-connected neural network，DNN)，分別有128和64個神經(jīng)元，訓練超參數(shù)設置學習率為10-4，優(yōu)化器為Adam,獎勵折扣因子為0.9，激活函數(shù)為ReLU，權重變更步長為10-5，經(jīng)驗池容量為 3 200，最小更新批次為 32，目標值網(wǎng)絡更新步長為200，Huber loss超參數(shù)為1，訓練任務總次數(shù)為10 000，探索概率為0.1。

3.3 評價指標

用來表示預測精度的評價指標較多，為了從多個角度比較模型的預測效果。本文選取以下4個指標作為評價指標：

1) 均方根誤差 (Root mean square error，RMSE)。RMSE可以測量誤差的平均大小，對于預測值中的異常值較為敏感，RMSE越小表示預測結果越好。RMSE計算如式(11)所示，

2)平均絕對誤差 (Mean absolute error，MAE)。MAE是一般形式的誤差平均值，MAE越小表示預測結果越精準，MAE計算如式(12)所示：

3)平均百分比誤差 (Mean absolute percentage error，MAPE)。MAPE 計算如式 (13)所示，

相比MAE，MAPE增加了誤差值與真實值相比的步驟，MAPE越小表示誤差相對于真實值越小，模型預測結果越好。

4)決定系數(shù) (R-Square，R2)。R2計算如式(14)所示，

3.4 試驗結果分析

3.4.1 耕作層土壤溫度預測結果分析對部署在不同土壤類型的2個終端節(jié)點處的耕作層土壤水分、溫度進行比較分析，所使用的預測模型部署條件相同。DQN-L-G-B模型經(jīng)過訓練后得到優(yōu)化后壤土耕作層溫度預測權重w1、w2和w3分別為0.330 773、0.331 271和 0.332 472。砂土耕作層溫度預測權重分別為 0.332 062、0.331 443和 0.327 623。為了便于比較分析DQN-L-G-B模型優(yōu)化的有效性，在模型結果分析中引入了加權平均的L-G-B模型，其基模型權重 w1、w2、w3均為 1/3。

LSTM、GRU、Bi-LSTM、L-G-B以及DQN-LG-B模型在土壤耕作層溫度測試集上的RMSE、MAE、MAPE以及R2等評價指標的表現(xiàn)對比如表1所示。在壤土與砂土的土壤耕作層中，DQN-L-GB的各評價指標均優(yōu)于LSTM、GRU、Bi-LSTM等基模型以及未引入DQN算法的L-G-B模型。

表1 2種土壤類型的土壤耕作層溫度各模型的試驗結果Table 1 Experimental results of various models of soil tillage layer temperature in two soil types

在壤土耕作層溫度預測中，相較于Bi-LSTM模型，DQN-L-G-B的RMSE降低了6.3%，MAE降低了10.1%，MAPE降低了11.1%，R2提高了1.1%。可以看到，與最優(yōu)的基模型相比，DQN-L-G-B模型在RMSE、MAE以及MAPE等性能指標上均有較好的優(yōu)化結果，對于R2也有一定程度的提升。DQN-L-G-B模型與L-G-B模型相比，DQNL-G-B模型的RMSE降低了4%，MAE降低了7%，MAPE降低了7.7%，R2提升了0.7%。在砂土耕作層溫度預測中，相較于Bi-LSTM模型，DQNL-G-B的RMSE降低了5.9%，MAE降低了11.4%，MAPE降低了12.8%，R2提高了1.2%。DQN-L-G-B模型與L-G-B模型相比，在RMSE降低了6.9%，MAE降低了10.1%，MAPE降低了11.5%，R2提升了1.4%?？梢钥吹?，在2個不同位置耕作層土壤溫度預測中，DQN-L-G-B模型都有著不錯的表現(xiàn)。

在LSTM、GRU、Bi-LSTM這3種基模型中，Bi-LSTM表現(xiàn)最優(yōu)，在以下的試驗結果分析中，引入基模型中表現(xiàn)最好的Bi-LSTM與其他2種組合模型進行對比，選取測試集中的最后3 d (2021年9月16—18日)的樣本點進行擬合曲線繪制，結果如圖5所示。在圖5中，可以看到DQN-L-GB模型預測結果的擬合曲線更貼近于真實值曲線。

圖5 不同土壤類型上的3種預測模型耕作層土壤溫度的預測值與真實值Fig. 5 Predicted and true values of three prediction models for soil temperature of the cultivated layer in different soil types

3.4.2 耕作層土壤水分預測結果分析壤土耕作層水分預測權重w1、w2和w3分別為0.332 086、0.333 553和 0.333 367；砂土耕作層水分預測權重分別為 0.333 277、0.333 279和 0.330 464。LSTM、GRU、Bi-LSTM、L-G-B以及DQN-L-G-B模型在土壤耕作層水分測試集上的RMSE、MAE、MAPE以及R2等評價指標的表現(xiàn)對比如表2所示。

表2 土壤耕作層水分預測各模型試驗結果Table 2 Experimental results of various models for soil moisture prediction in cultivated layer

在壤土耕作層土壤水分預測中，相較于Bi-LSTM模型，DQN-L-G-B模型的RMSE降低了7.9%，MAE降低了21.0%，MAPE降低了12.8%，R2提高了0.1%?？梢钥吹?，與最優(yōu)的基模型相比，DQN-L-G-B模型在RMSE、MAE以及MAPE等性能指標上均有較好的優(yōu)化結果，R2也略微提升。DQN-L-G-B模型與L-G-B模型相比，其RMSE降低了6.1%，MAE降低了15.1%，MAPE降低了30.4%，R2保持一致。

在砂土耕作層水分預測中，相較于Bi-LSTM模型，DQN-L-G-B模型的RMSE降低了5.2%，MAE降低了23.6%，MAPE降低了12.9%，R2提高了0.1%。DQN-L-G-B模型與L-G-B模型相比，其RMSE降低了3.7%，MAE降低了16.0%，MAPE降低了30.4%，R2提升了0.1%。可以看到，在2種類型的耕作層土壤水分預測中，DQN-L-G-B模型預測精度都有不錯的表現(xiàn)。

選取測試集中的最后 3 d (2021年 9月16—18日)的樣本點進行擬合曲線繪制，選取基模型中表現(xiàn)最好的Bi-LSTM與其他2種組合模型進行對比，結果如圖6所示，可以看到，DQNL-G-B模型預測結果的擬合曲線更貼近于真實值曲線。

圖6 不同土壤類型3種預測模型耕作層土壤水分的預測值與真實值Fig. 6 Predicted and true values of three prediction models for soil moisture of the cultivated layer in different soil types

4 結論

本文基于NB-IoT與云平臺構建了物聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)，實現(xiàn)環(huán)境土壤數(shù)據(jù)的可靠收集以用于深度學習模型訓練。測試結果表明，通過該數(shù)據(jù)系統(tǒng)可以穩(wěn)定可靠地獲得用于日常預測及深度學習訓練的核心數(shù)據(jù)集。

本文針對土壤耕作層水分與溫度預測問題，基于深度強化學習方法研究了DQN-L-G-B組合模型。最后試驗結果表明，在土壤耕作層水分與溫度預測問題中，DQN-L-G-B組合模型可以更為精準地預測未來時刻的土壤水分與溫度。在未來的研究中，可以進一步考慮預測得到的未來時刻土壤水分溫度數(shù)據(jù)后的應用場景。如預測得到30 min后的耕作層土壤水分過低時，可以控制農(nóng)業(yè)物聯(lián)網(wǎng)設備進行澆水等操作。