摘要：針對(duì)土壤含水量預(yù)測(cè)模型存在難以解決非線性復(fù)雜特征、易陷入局部極小值等問(wèn)題，構(gòu)建融合Transformer和LSTM的土壤含水量深度學(xué)習(xí)預(yù)測(cè)模型（Transformer-LSTM）。采集山東省青島市黃島區(qū)丁家寨村藍(lán)莓（Vaccinium spp.）生產(chǎn)區(qū)冷棚與露天2個(gè)站點(diǎn)的藍(lán)莓根區(qū)土壤和氣象數(shù)據(jù)作為建模數(shù)據(jù)，根據(jù)皮爾遜相關(guān)性和偏自相關(guān)性分析選擇模型的數(shù)據(jù)輸入特征與輸入長(zhǎng)度，與單一的Transformer模型和LSTM模型進(jìn)行對(duì)比分析，評(píng)估模型對(duì)土壤含水量的預(yù)測(cè)性能。結(jié)果表明，Transformer-LSTM模型在預(yù)測(cè)精度上均優(yōu)于單一的Transformer模型和LSTM模型，Transformer-LSTM模型的平均絕對(duì)誤差（MAE）、均方根誤差（RMSE）、平均絕對(duì)百分比誤差（MAPE）、決定系數(shù)（R2）分別為0.245 9、0.572 0、0.012 1、0.960 6。Transformer-LSTM模型可以更全面地提取藍(lán)莓種植環(huán)境因子輸入序列中的特征信息，有效提升土壤含水量因子預(yù)測(cè)精度和水平。

關(guān)鍵詞：藍(lán)莓（Vaccinium spp.）；根區(qū)土壤；含水量； Transformer；LSTM；預(yù)測(cè)模型

中圖分類號(hào)：TP391" " " " "文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：0439-8114（2024）08-0078-07

DOI：10.14088/j.cnki.issn0439-8114.2024.08.014 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

A prediction model for soil moisture content in blueberry root zone by integrating transformer and LSTM

WANG Yi1， CAO Shan-shan2a，2b， SUN Wei2a，2b， HU Bo3， Gulimila Kizilbek1， KONG Fan-tao2c

（1. College of Computer and Information Engineering/Engineering Research Center of Intelligent Agriculture， Ministry of Education/Xinjiang Engineering Research Center for Agricultural Informatization，Xinjiang Agricultural University，" Urumqi" 830052， China；2a.Agricultural Information Institute； 2b.National Agriculture Science Data Center；2c. Institute of Agricultural Economics and Development， Chinese Academy of Agricultural Sciences， Beijing" 100081， China；3.Qingdao Wolin Blueberry Industry Co.， Ltd.， Qingdao" 266400， Shandong，China）

Abstract： A deep learning prediction model for soil moisture content （transformer LSTM） was constructed， which integrated transformer and LSTM， to address the difficulties in solving nonlinear and complex features， as well as the tendency to fall into local minima in the soil moisture prediction model. Soil and meteorological data from the blueberry（Vaccinium spp.） root zone of two stations， cold shed and outdoor， in the blueberry production area of Dingjiazhai Village， Huangdao District， Qingdao City， Shandong Province， were collected as modeling data，based on Pearson correlation and partial autocorrelation analysis， the data input characteristics and input length of the selected model were compared and analyzed with a single transformer model and LSTM model to evaluate the predictive performance of the model on soil moisture content. The results showed that the transformer LSTM model outperformed both the single transformer model and the LSTM model in prediction accuracy. The mean absolute error （MAE）， root mean square error （RMSE）， mean absolute percentage error （MAPE）， and coefficient of determination （R2） of the transformer LSTM model were 0.245 9， 0.572 0， 0.012 1， and 0.960 6， respectively. The transformer LSTM model could more comprehensively extract feature information from the input sequence of blueberry planting environmental factors， effectively improving the accuracy and level of soil moisture factor prediction.

Key words： blueberry（Vaccinium spp.）； root zone soil； moisture content； transformer；LSTM； prediction model

適當(dāng)?shù)耐寥篮繉?duì)植物的光合作用具有積極影響，對(duì)植物的生長(zhǎng)發(fā)育和水資源的節(jié)約發(fā)揮著關(guān)鍵作用［1］。土壤含水量是影響藍(lán)莓（Vaccinium spp.）果實(shí)產(chǎn)量及品質(zhì)的重要因素，過(guò)多或過(guò)少的土壤含水量都會(huì)降低果實(shí)品質(zhì)，適當(dāng)?shù)耐寥篮坑欣谒{(lán)莓植株和果實(shí)的生長(zhǎng)，可以實(shí)現(xiàn)藍(lán)莓的高效種植［2］。提前預(yù)測(cè)土壤含水量不僅能夠輔助農(nóng)場(chǎng)灌溉管理，提高水資源利用率，還可以減少極端天氣對(duì)作物產(chǎn)量的影響［3］。然而，土壤含水量的變化受多種因素影響，如氣象變化、植物生長(zhǎng)和人為灌溉等，這些因素之間存在復(fù)雜的非線性關(guān)系。為準(zhǔn)確地預(yù)測(cè)土壤含水量變化，需要采用有效的算法處理各因素之間的非線性關(guān)系，以提高土壤含水量預(yù)測(cè)的精度和可靠性［4］。

隨著傳感器技術(shù)的不斷進(jìn)步，通過(guò)傳感器實(shí)時(shí)獲取土壤和氣象數(shù)據(jù)并用于土壤含水量等關(guān)鍵種植因子的預(yù)測(cè)已成為智慧種植領(lǐng)域的研究熱點(diǎn)。通過(guò)積累大量傳感器數(shù)據(jù)，可以建立基于數(shù)據(jù)驅(qū)動(dòng)的高效土壤含水量預(yù)測(cè)模型，機(jī)器學(xué)習(xí)方法在含水量預(yù)測(cè)方向的研究較多。丁鐵山等［5］應(yīng)用支持向量機(jī)理論，采用土壤水分含量影響較大的特征，建立土壤水分預(yù)測(cè)模型。丁輝等［6］采用支持向量機(jī)和細(xì)菌覓食優(yōu)化算法建立了安徽省土壤含水量預(yù)測(cè)模型。付平凡等［7］利用集成學(xué)習(xí)Bagging中的隨機(jī)森林、Boosting中的梯度提升機(jī)，結(jié)合SHAP方法，實(shí)現(xiàn)了高精度可解釋的土壤水分預(yù)測(cè)。但是，傳統(tǒng)機(jī)器學(xué)習(xí)算法需要人工手動(dòng)完成特征工程，并且依賴一些超參數(shù)的選擇，需要通過(guò)反復(fù)試驗(yàn)確定最佳超參數(shù)，耗時(shí)費(fèi)力。與傳統(tǒng)機(jī)器學(xué)習(xí)模型相比，深度學(xué)習(xí)模型具有更好的數(shù)據(jù)擬合和泛化預(yù)測(cè)性能，能適應(yīng)復(fù)雜的非線性關(guān)系，對(duì)大規(guī)模數(shù)據(jù)更具優(yōu)勢(shì)［8］。近年來(lái)，深度學(xué)習(xí)算法應(yīng)用于土壤含水量預(yù)測(cè)的研究逐步深入。郭慶春等［9］構(gòu)建BP人工神經(jīng)網(wǎng)絡(luò)模型對(duì)河南省商丘市土壤含水量進(jìn)行預(yù)測(cè)研究。安小宇等［10］改進(jìn)樽海鞘方法并用于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)土壤墑情的預(yù)測(cè)。牛曼麗等［11］利用粒子群算法（PSO）優(yōu)化BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)北京市順義區(qū)趙全營(yíng)鎮(zhèn)的土壤含水量預(yù)測(cè)。然而，現(xiàn)有研究中用于預(yù)測(cè)土壤水分含量的深度學(xué)習(xí)模型大多是較為簡(jiǎn)單的BP神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)在面對(duì)線性平穩(wěn)數(shù)據(jù)時(shí)表現(xiàn)較好，但是在面對(duì)非線性復(fù)雜特征情況時(shí)存在較大不足，并且BP神經(jīng)網(wǎng)絡(luò)存在訓(xùn)練時(shí)間長(zhǎng)、易陷入局部極小值的問(wèn)題。

Vaswani等［12］于2017年提出Transformer，其核心思想是引入自注意力機(jī)制（Self-Attention），后改進(jìn)衍生出多頭注意力機(jī)制，最初用于自然語(yǔ)言處理任務(wù)，尤其是機(jī)器翻譯，而Transformer的設(shè)計(jì)原理決定了其在序列數(shù)據(jù)處理方面具有先天優(yōu)勢(shì)，可以應(yīng)用于各種序列學(xué)習(xí)任務(wù)，包括時(shí)間序列預(yù)測(cè)。此外，Connor等［13］于1994年提出的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）能夠更好地理解數(shù)據(jù)中的上下文關(guān)系，對(duì)于非線性模式的識(shí)別具有一定的優(yōu)勢(shì)，但是標(biāo)準(zhǔn)的RNN面臨梯度消失或梯度爆炸的問(wèn)題。Hochreiter等［14］在1997年提出了長(zhǎng)短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)，通過(guò)引入門控機(jī)制來(lái)改進(jìn)梯度傳播和捕捉長(zhǎng)期依賴性的能力，進(jìn)一步提高了RNN在面對(duì)非線性特征時(shí)的表現(xiàn)。因此，本研究將Transformer多頭注意力機(jī)制擅長(zhǎng)捕捉全局信息的優(yōu)勢(shì)與LSTM在某種程度上專注于序列長(zhǎng)期依賴關(guān)系的優(yōu)勢(shì)有機(jī)融合，構(gòu)建一種融合Transformer和LSTM的土壤含水量深度學(xué)習(xí)預(yù)測(cè)模型（Transformer-LSTM），基于采集的藍(lán)莓種植區(qū)根區(qū)土壤和氣象因子數(shù)據(jù)對(duì)模型進(jìn)行驗(yàn)證和分析，評(píng)估模型對(duì)土壤含水量預(yù)測(cè)的性能，旨在更全面提取藍(lán)莓種植環(huán)境因子輸入序列中的特征信息，從而提升土壤含水量因子預(yù)測(cè)精度和水平。

1 數(shù)據(jù)來(lái)源與方法

1.1 數(shù)據(jù)來(lái)源及處理

1.1.1 研究區(qū)和數(shù)據(jù)采集 研究區(qū)位于山東省青島市黃島區(qū)丁家寨村（35°46′39.22″N，119°52′39.75″E），該地區(qū)藍(lán)莓具有果實(shí)大、外觀美、口感佳等特點(diǎn)。

通過(guò)空氣溫度、空氣濕度、降雨量、光照輻射、風(fēng)速、土壤溫度、每小時(shí)蒸散量、土壤含水量8個(gè)傳感器采集氣象和土壤數(shù)據(jù)。由于藍(lán)莓根系分布較淺，一般分布在5～20 cm土層內(nèi)，因此選取15 cm土層深度的土壤含水量和土壤溫度進(jìn)行研究。因蒸散量傳感器為小時(shí)計(jì)數(shù)，數(shù)據(jù)采樣頻率設(shè)置為1小時(shí)1條。冷棚和露天站點(diǎn)數(shù)據(jù)采集時(shí)間分別為2018年10月29日至2020年7月14日、2018年10月11日至2020年7月14日。

1.1.2 數(shù)據(jù)處理與分析 由于每小時(shí)時(shí)間間隔土壤含水量的變化較小，因此將數(shù)據(jù)處理為每4小時(shí)1條，降雨量和蒸散量為4 h之和，其余特征計(jì)算4 h的平均值。各變量信息如表1所示。經(jīng)處理后該數(shù)據(jù)集包含7 602條每4小時(shí)的氣象和土壤特征數(shù)據(jù)。

以冷棚站點(diǎn)為例，展示部分?jǐn)?shù)據(jù)，圖1為冷棚站點(diǎn)15 cm深度的土壤含水量變化情況。土壤含水量隨藍(lán)莓生長(zhǎng)過(guò)程波動(dòng)。由于灌溉事件，數(shù)據(jù)在某些時(shí)間段變化規(guī)律是一致的，2018年12月至2019年3月、2019年12至2020年3月藍(lán)莓處于落葉休眠期，土壤含水量均呈緩慢下降趨勢(shì)，3月后土壤含水量受灌溉和氣象等其他因素影響隨時(shí)間變化上下波動(dòng)。

圖2顯示土壤、氣象、傳感器站點(diǎn)數(shù)據(jù)之間的皮爾遜相關(guān)性分析。這些特征與土壤含水量的相關(guān)性均較低，通過(guò)顯著性檢驗(yàn)可知，除空氣濕度外，其他特征均與土壤含水量顯著相關(guān)；通過(guò)特征之間相關(guān)性分析，土壤溫度與空氣溫度的線性相關(guān)系數(shù)為0.85，光照輻射與蒸散量的相關(guān)系數(shù)為0.97，相關(guān)性較高，剔除與土壤含水量相關(guān)性較小的特征，本研究選擇傳感器站點(diǎn)、降雨量、光照輻射、風(fēng)速、土壤溫度和土壤含水量6個(gè)指標(biāo)作為模型輸入變量。

在時(shí)間序列分析中，偏自相關(guān)分析能夠衡量當(dāng)前序列值和過(guò)去序列值之間的關(guān)聯(lián)性，同時(shí)排除中間的干擾因素，從而準(zhǔn)確得出預(yù)測(cè)時(shí)所需要的最佳過(guò)去序列值［15］。圖3為土壤含水量偏自相關(guān)分析結(jié)果，從第4階開(kāi)始，偏自相關(guān)系數(shù)接近于0，由此可得出過(guò)去的三階數(shù)據(jù)是預(yù)測(cè)的最佳序列值，故采用3條連續(xù)數(shù)據(jù)預(yù)測(cè)土壤含水量。

1.2 Transformer-LSTM模型

1.2.1 Transformer模型 由于輸入數(shù)據(jù)中包含多個(gè)氣象和土壤特征，因此模型需要關(guān)注輸入序列的多個(gè)特征變化對(duì)土壤含水量的影響，這里引入多頭注意力機(jī)制。針對(duì)多頭注意力機(jī)制易產(chǎn)生原始信息丟失的問(wèn)題，增加了殘差連接方法，殘差連接的優(yōu)勢(shì)在于使模型更容易學(xué)習(xí)到恒等映射，即在不引入額外信息的情況下保持輸入信息的傳遞，從而更好地保留原始輸入信息，同時(shí)殘差連接將輸入直接傳遞到輸出，為梯度提供了一條直接的路徑，從而緩解了梯度消失問(wèn)題。

將多頭注意力機(jī)制的輸出與原始輸入進(jìn)行殘差連接，在連接前，輸入通過(guò)層正則化（Layer normalization）進(jìn)行規(guī)范化，并通過(guò)失活層（Dropout）。多頭注意力機(jī)制的輸出經(jīng)過(guò)殘差連接后，通過(guò)2個(gè)一維卷積層構(gòu)成前饋神經(jīng)網(wǎng)絡(luò)，卷積層包含ReLU激活函數(shù)，在前饋神經(jīng)網(wǎng)絡(luò)前通過(guò)層正則化進(jìn)行規(guī)范化。這2個(gè)卷積層可以捕捉局部特征，增加了模型的非線性表達(dá)能力。在前饋神經(jīng)網(wǎng)絡(luò)的輸出與輸入之間引入多頭注意力機(jī)制的殘差連接，對(duì)經(jīng)過(guò)前饋神經(jīng)網(wǎng)絡(luò)處理后的輸出進(jìn)行全局平均池化。這有助于將變長(zhǎng)序列映射到固定長(zhǎng)度序列，提取整體特征。原始輸入通過(guò)平鋪（Flatten）操作后，與全局平均池化后的輸出進(jìn)行拼接，這樣可以保留原始輸入的一些全局信息。拼接后的數(shù)據(jù)通過(guò)1個(gè)包含32個(gè)神經(jīng)元的全連接層進(jìn)行處理，并使用ReLU激活函數(shù)，全連接層用于整合多個(gè)輸入來(lái)源的特征。圖4a為Transformer的模型結(jié)構(gòu)。Transformer也存在一定的缺陷，對(duì)于較長(zhǎng)的序列，面臨內(nèi)存和計(jì)算資源的限制。

1.2.2 LSTM模型 土壤含水量預(yù)測(cè)需要綜合考慮各變量對(duì)其變化趨勢(shì)的影響，并關(guān)注一定時(shí)間范圍內(nèi)土壤含水量對(duì)預(yù)測(cè)土壤含水量的影響。為解決這一問(wèn)題，本研究選用LSTM網(wǎng)絡(luò)結(jié)構(gòu)，如圖4b所示。模型使用2個(gè)并行的LSTM層來(lái)捕捉多個(gè)層次的抽象信息，提高模型對(duì)輸入數(shù)據(jù)的表達(dá)能力，從而為下一層提供更全面的特征信息。2個(gè)LSTM層經(jīng)過(guò)Dropout后與原始輸入數(shù)據(jù)平鋪進(jìn)行特征融合，最后將32個(gè)神經(jīng)元的全連接層與輸出連接。LSTM善于處理長(zhǎng)序列數(shù)據(jù)，在處理短序列數(shù)據(jù)時(shí)容易出現(xiàn)過(guò)擬合現(xiàn)象。

1.2.3 Transformer-LSTM模型構(gòu)建 將站點(diǎn)號(hào)、氣象和土壤數(shù)據(jù)轉(zhuǎn)換為以3個(gè)時(shí)間步為輸入、下一個(gè)時(shí)間步的土壤含水量為輸出的數(shù)據(jù)格式，如圖4c所示。分別構(gòu)建基于Transformer和LSTM的獨(dú)立模型，再將獨(dú)立模型的輸出特征結(jié)果拼接，作為融合Transformer-LSTM模型的輸入，Transformer-LSTM模型由全連接神經(jīng)網(wǎng)絡(luò)層組成。考慮到模型架構(gòu)的簡(jiǎn)單性、平衡性和非線性，在模型中構(gòu)建了3個(gè)全連接層，分別具有64、64和32個(gè)神經(jīng)元，Transformer-LSTM模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

1.3 模型過(guò)擬合停止方法

本研究采用提前停止的方法終止模型訓(xùn)練，以獲得最佳的模型權(quán)重，從而達(dá)到更好的泛化性能，避免過(guò)擬合。將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集，模型僅在訓(xùn)練集上進(jìn)行訓(xùn)練，每訓(xùn)練完一輪在驗(yàn)證集上對(duì)模型進(jìn)行預(yù)測(cè)評(píng)估，當(dāng)驗(yàn)證損失函數(shù)的值連續(xù)20輪增加時(shí)，則立即停止訓(xùn)練，使用多次迭代選取最優(yōu)模型，設(shè)置一個(gè)全局損失，當(dāng)驗(yàn)證損失小于全局損失時(shí)，更新全局損失并保留此次迭代模型的最優(yōu)參數(shù)。

1.4 模型評(píng)估方法

[MAE=1ni=1n|yi-yi|]" " " " " " "（1）

[RMSE=1ni=1n（yi-yi）2]" " " " " "（2）

[MAPE=1ni=1n|yi-yiyi|]" " " " " " " "（3）

[R2=1?i=1n（yi-yi）2i=1n（yi-y2）]" " " " " " "（4）

式中，MAE為平均絕對(duì)誤差，可以反映土壤含水量預(yù)測(cè)值誤差的實(shí)際情況；RMSE為均方根誤差，是預(yù)測(cè)值與觀測(cè)值之差平方期望值的算術(shù)平方根；MAPE是平均絕對(duì)百分比誤差，值越小表示該模型預(yù)測(cè)的準(zhǔn)確性越好；R2為決定系數(shù)，可以消除量綱對(duì)評(píng)價(jià)指標(biāo)的影響；[yi]為土壤含水量預(yù)測(cè)值；[yi]為土壤含水量觀測(cè)值；[y]為土壤含水量平均值；n為樣本個(gè)數(shù)。

2 結(jié)果與分析

每個(gè)模型都使用提前停止方法迭代訓(xùn)練3次，模型訓(xùn)練完成后，在測(cè)試集上對(duì)其進(jìn)行性能測(cè)試，分別計(jì)算MAE、RMSE、MAPE、R2，對(duì)每個(gè)模型進(jìn)行精度預(yù)測(cè)，從中選取最優(yōu)結(jié)果。

由表2可知，3個(gè)模型的MAE、RMSE、MAPE均表現(xiàn)為Transformer模型gt;LSTM模型gt;Transformer-LSTM模型，Transformer-LSTM模型的預(yù)測(cè)準(zhǔn)確性最好。

由圖5可知，當(dāng)土壤含水量較高時(shí)，模型均存在誤差，未預(yù)測(cè)出準(zhǔn)確結(jié)果，這可能是由于人工灌溉導(dǎo)致。由圖6可知，3個(gè)模型R2均大于0.940 0。Transformer-LSTM模型的R2最高，為0.960 6，LSTM模型次之，Transformer模型最低。

圖7展示了3個(gè)模型在測(cè)試集上預(yù)測(cè)值的殘差分析。3個(gè)模型對(duì)土壤含水量預(yù)測(cè)值殘差均正態(tài)隨機(jī)地分布在零值線周圍，且大部分殘差在［-2，+2］，Transformer-LSTM模型在應(yīng)對(duì)復(fù)雜情況下預(yù)測(cè)效果較好。3個(gè)模型均有部分殘差值大于2，因此分別計(jì)算Transformer模型、LSTM模型和Transformer-LSTM模型的殘差平均值，分別為-0.035 4、0.044 3、0.045 3，均接近于0，同時(shí)對(duì)3個(gè)模型的殘差值進(jìn)行ADF（Augmented dickey-fuller test）檢驗(yàn)，P均小于0.05，因此在0.05顯著性水平下，拒絕了單位根存在的原假設(shè)，可以認(rèn)為殘差數(shù)據(jù)是平穩(wěn)的。

3 討論

Transfomer-LSTM模型的預(yù)測(cè)精度優(yōu)于Transformer模型和LSTM模型。結(jié)合Transfomer的多頭注意力機(jī)制和LSTM的時(shí)間序列記憶能力，可以提高模型在復(fù)雜數(shù)據(jù)處理中的擬合能力。趙斯祺等［16］通過(guò)建立Transformer-LSTM模型來(lái)學(xué)習(xí)跨站腳本攻擊的抽象特征，相較于傳統(tǒng)機(jī)器學(xué)習(xí)和單一模型，該模型在準(zhǔn)確率、召回率上顯著提高，分別達(dá)99.8%、99.5%。李澤西［17］使用集成學(xué)習(xí)的方式融合Transformer與LSTM構(gòu)建礦壓預(yù)測(cè)模型，RMSE和MAE分別達(dá)1.512和0.742，該模型成功克服了單一預(yù)測(cè)模型的局限性，顯著提高了礦壓預(yù)測(cè)的精度。唐志偉等［18］構(gòu)建了基于Transformer-LSTM及誤差校正的太陽(yáng)輻照度預(yù)測(cè)模型，該模型在多個(gè)時(shí)間步長(zhǎng)中均達(dá)到最優(yōu)的預(yù)測(cè)性能，RMSE和MAE分別為0.044 0和0.028 8。這些研究結(jié)果證明了Transformer-LSTM模型在不同應(yīng)用領(lǐng)域取得了較好的效果，證明其合理性。

本研究Transfomer-LSTM模型的優(yōu)點(diǎn)在于將Transfomer提取數(shù)據(jù)全局特征能力和LSTM提取的時(shí)間序列特征能力融合，從而在預(yù)測(cè)土壤水分含量方面取得了較好的效果。然而，土壤受灌溉的影響，很難預(yù)測(cè)土壤含水量增加的全過(guò)程。此外，模型訓(xùn)練的數(shù)據(jù)集在數(shù)據(jù)量、站點(diǎn)分布方面存在局限性。未來(lái)可以進(jìn)行進(jìn)一步的研究：①增加模型訓(xùn)練的站點(diǎn)數(shù)量和數(shù)據(jù)量；②增加灌溉數(shù)據(jù)特征，提高模型的擬合精度和泛化能力；③優(yōu)化模型結(jié)構(gòu)和參數(shù)，提高擬合和泛化預(yù)測(cè)能力。

4 小結(jié)

本研究提出一種用于預(yù)測(cè)藍(lán)莓根部土壤含水量的Transfomer-LSTM模型，該模型采用山東省青島市黃島區(qū)丁家寨村藍(lán)莓生產(chǎn)區(qū)氣象和土壤數(shù)據(jù)作為模型數(shù)據(jù)，其中90%用于模型訓(xùn)練，10%用于模型驗(yàn)證。根據(jù)各特征變量的皮爾遜相關(guān)性分析和土壤含水量數(shù)據(jù)的偏自相關(guān)性分析，選取傳感器站點(diǎn)、降雨量、光照輻射、風(fēng)速、土壤溫度、土壤含水量6個(gè)指數(shù)作為模型輸入變量，通過(guò)偏自相關(guān)性分析，將連續(xù)3條歷史數(shù)據(jù)作為模型輸入。結(jié)果表明，3個(gè)模型的MAE、RMSE、MAPE均表現(xiàn)為Transformer模型gt;LSTM模型gt;Transformer-LSTM模型，Transformer-LSTM模型的預(yù)測(cè)準(zhǔn)確性最好。Transformer-LSTM模型的平均絕對(duì)誤差（MAE）、均方根誤差（RMSE）、平均絕對(duì)百分比誤差（MAPE）分別為0.245 9、0.572 0、0.012 1。Transformer-LSTM模型可以更全面地提取藍(lán)莓種植環(huán)境因子輸入序列中的特征信息，有效提升土壤含水量因子預(yù)測(cè)精度和水平。通過(guò)對(duì)測(cè)試集760條土壤含水量數(shù)據(jù)預(yù)測(cè)，證明該模型有助于決策制定，提高了農(nóng)業(yè)生產(chǎn)的管理效率。

參考文獻(xiàn)：

［1］ 楊佳鶴，何進(jìn)宇，劉飛楊，等. 不同土壤水分對(duì)植物光合作用的影響研究進(jìn)展［J］. 節(jié)水灌溉， 2023（11）： 39-46.

［2］ 宋澤君，李培培，袁斕方，等. 土壤含水率對(duì)藍(lán)莓葉片生理及果實(shí)品質(zhì)的影響［J］. 南京林業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，47（3）： 147-156.

［3］ ADEYEMI O， GROVE I， PEETS S， et al. Dynamic neural network modelling of soil moisture content for predictive irrigation scheduling［J］. Sensors， 2018， 18（10）： 3408.

［4］ YU J G， ZHANG X， XU L L， et al. A hybrid CNN-GRU model for predicting soil moisture in maize root zone［J］. Agricultural water management， 2021， 245： 106649.

［5］ 丁鐵山，董汝瑞，溫 季.基于支持向量機(jī)理論的土壤水分預(yù)測(cè)模型研究［J］. 人民黃河， 2011， 33（3）： 68-69.

［6］ 丁 輝，仲 躍，張 俊，等. 基于細(xì)菌覓食優(yōu)化算法的支持向量機(jī)在土壤墑情預(yù)測(cè)中的應(yīng)用［J］. 水土保持通報(bào)， 2016， 36（6）： 131-135.

［7］ 付平凡，楊曉靜，蘇志誠(chéng)，等. 基于集成學(xué)習(xí)的土壤含水量預(yù)測(cè)研究——以遼西地區(qū)為例［J］. 土壤， 2023， 55（3）： 671-681.

［8］ LE CUN Y， BENGIO Y， HINTION G. Deep learning［J］. Nature， 2015， 521（7553）： 436-444.

［9］ 郭慶春，王素娟，何振芳. 基于BP人工神經(jīng)網(wǎng)絡(luò)的土壤含水量預(yù)測(cè)模型的研究［J］. 山東農(nóng)業(yè)科學(xué)， 2012， 44（12）： 11-15.

［10］ 安小宇，魯奎豪，崔光照. 基于改進(jìn)樽海鞘優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的土壤墑情預(yù)測(cè)［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2019， 40（11）： 124-130.

［11］ 牛曼麗，李新旭，張彥軍，等. 基于粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的土壤含水量短期預(yù)測(cè)模型［J］. 蔬菜， 2020（8）： 24-30.

［12］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［J］. Advances in neural information processing systems， 2017，30：5998-6008.

［13］ CONNOR J T， MARTIN R D， ATLAS L E. Recurrent neural networks and robust time series prediction［J］. IEEE transactions on neural networks， 1994， 5（2）： 240-254.

［14］ HOCHREITER S，SCHMIDHUBER J. Long short-term memory［J］. Neural computation， 1997，9（8）： 1735-1780.

［15］ 蒲嫻怡，畢貴紅，王 凱，等. 基于FEEMD-PACF-BP_AdaBoost模型的風(fēng)電功率超短期預(yù)測(cè)［J］. 計(jì)算機(jī)應(yīng)用與軟件， 2021，" "38（11）： 91-97.

［16］ 趙斯祺，代 紅，王 偉. 基于Transformer-LSTM模型的跨站腳本檢測(cè)方法［J］. 計(jì)算機(jī)應(yīng)用與軟件， 2023， 40（9）： 327-333.

［17］ 李澤西. 基于可變時(shí)序移位Transformer-LSTM的集成學(xué)習(xí)礦壓預(yù)測(cè)方法［J］. 工礦自動(dòng)化， 2023，49（7）： 92-98.

［18］ 唐志偉，高慧敏. 基于Transformer-LSTM及誤差校正的太陽(yáng)輻照度預(yù)測(cè)［J］. 計(jì)算機(jī)時(shí)代，2023（7）： 123-126.

基金項(xiàng)目：新疆維吾爾自治區(qū)重點(diǎn)研發(fā)任務(wù)專項(xiàng)（2022B02049-1-3）；中國(guó)農(nóng)業(yè)科學(xué)院創(chuàng)新工程任務(wù)項(xiàng)目（HT20220570）

作者簡(jiǎn)介：王 億（1994-），男，四川南充人，在讀碩士研究生，研究方向?yàn)檗r(nóng)業(yè)信息化，（電話）18599010084（電子信箱）1781651575@qq.com；通信作者，古麗米拉·克孜爾別克（1970-），女（哈薩克族），新疆昌吉人，副教授，主要從事農(nóng)業(yè)信息化研究，（電話）13899939189（電子信箱）glml@xjau.edu.cn；共同通信作者，孔繁濤（1968-），男，山東滕州人，研究員，博士，主要從事農(nóng)業(yè)信息技術(shù)研究，（電話）13911667639（電子信箱）kongfantao@caas.cn。