李鴻儒 于唯楚 王振營

(1.東北大學(xué)信息科學(xué)與工程學(xué)院， 沈陽 110819； 2.沈陽巍圖農(nóng)業(yè)科技有限公司， 沈陽 110021)

0 引言

土壤含水率是土壤的重要參數(shù)，也是農(nóng)業(yè)灌溉決策、管理中的基礎(chǔ)數(shù)據(jù)[1-2]，準(zhǔn)確獲得可靠的土壤含水率在農(nóng)業(yè)生產(chǎn)中極為重要。近年來，隨著傳感器技術(shù)的發(fā)展，利用頻域反射技術(shù)(FDR)對土壤含水率進(jìn)行測量，獲得了業(yè)內(nèi)的普遍認(rèn)可，得到了廣泛應(yīng)用[3-5]。

土壤物理性質(zhì)多種多樣，不同地區(qū)以及同一地區(qū)的不同時間土壤性質(zhì)也會存在差異，使得FDR傳感器在不同土壤中的測量結(jié)果不同，因此FDR傳感器在某區(qū)域首次使用以及使用一段時間后均需重新標(biāo)定。對于傳感器的標(biāo)定方法已有許多學(xué)者進(jìn)行了研究。文獻(xiàn)[6]提出了土壤水分傳感器的三級標(biāo)定方法，即對土壤水分傳感器的安裝標(biāo)定、田間標(biāo)定以及測量數(shù)據(jù)標(biāo)定，提高了測量數(shù)據(jù)的準(zhǔn)確性，但標(biāo)定過程較為繁瑣。文獻(xiàn)[7]證明了FDR系統(tǒng)適用于檢測濕地土壤中的土壤含水率，但校準(zhǔn)程序受到土壤性質(zhì)的限制。文獻(xiàn)[8]分析得出，土壤水分站點數(shù)據(jù)可用性低，是因為田間標(biāo)定法在自然條件下幾乎無法得到覆蓋土壤各個濕度區(qū)間的均勻樣本數(shù)據(jù)，導(dǎo)致二次標(biāo)定參數(shù)不合理。綜合以上研究可發(fā)現(xiàn)，F(xiàn)DR傳感器標(biāo)定存在數(shù)據(jù)采集耗時、費力，可用于標(biāo)定的有效數(shù)據(jù)較少，人工操作與參數(shù)擬合存在一定誤差等問題。

隨著科技的發(fā)展，機器學(xué)習(xí)技術(shù)在土壤含水率建模方面得到了廣泛應(yīng)用。文獻(xiàn)[9]在室內(nèi)利用ASD FieldSpec 3型高光譜儀獲取土壤的原始光譜，在進(jìn)行數(shù)據(jù)預(yù)處理和不同數(shù)學(xué)變換后，通過最小二乘回歸法、逐步回歸法、嶺回歸法建立了土壤含水率高光譜模型；文獻(xiàn)[10]通過對數(shù)據(jù)進(jìn)行歸一化處理和數(shù)據(jù)融合，能夠根據(jù)不同區(qū)域進(jìn)行劃分和在不同作物灌水下限進(jìn)行相應(yīng)的運算，從而得到估計精度較高、區(qū)域大小可調(diào)的多尺度精準(zhǔn)灌溉決策信息；文獻(xiàn)[11]提出電容式土壤濕度傳感器大規(guī)模校準(zhǔn)的半自動化框架，但是不能完全消除數(shù)據(jù)不確定性帶來的影響。如果將不同地區(qū)數(shù)據(jù)進(jìn)行統(tǒng)計，使用機器學(xué)習(xí)方法進(jìn)行標(biāo)定，則可解決標(biāo)定的有效數(shù)據(jù)較少的問題，但不同地區(qū)數(shù)據(jù)特征存在差異。相關(guān)學(xué)者使用了遷移學(xué)習(xí)的解決方法，如文獻(xiàn)[12-13]采用遷移學(xué)習(xí)方法解決了小樣本下圖像識別準(zhǔn)確率低的問題；文獻(xiàn)[14]采用深度遷移學(xué)習(xí)對柑橘葉片鉀含量進(jìn)行了精準(zhǔn)預(yù)測。

針對當(dāng)前FDR傳感器標(biāo)定問題，本文以沈陽地區(qū)采集到的壤土為研究對象，考慮土壤性質(zhì)、溫度等因素對FDR傳感器測量結(jié)果的影響，利用其他地區(qū)已獲取的數(shù)據(jù)，采用機器學(xué)習(xí)方法訓(xùn)練模型，實現(xiàn)不同目標(biāo)域之間的樣本遷移和融合，建立基于遷移學(xué)習(xí)的FDR傳感器自動標(biāo)定模型。

1 數(shù)據(jù)來源

1.1 研究區(qū)概況

研究區(qū)位于遼寧省沈陽市(123.4°E，41.78°N，海拔5～441 m)，該地區(qū)為溫帶半濕潤大陸性氣候，年平均氣溫6.2～9.7℃。

沈陽巍圖農(nóng)業(yè)科技有限公司對FDR傳感器有長期的研究基礎(chǔ)，在全國范圍建有測試站點。為本文的研究提供了沈陽地區(qū)6個測試站點的數(shù)據(jù)，分別為站點11～16，其他地區(qū)10個站點數(shù)據(jù)分別為站點1～10(分別為北京、天津、西安、武漢、廣州、重慶、大連、哈爾濱、銀川、長春)。

本文將沈陽地區(qū)各站點作為FDR傳感器目標(biāo)使用地點，其他地區(qū)數(shù)據(jù)作為參考。沈陽地區(qū)供試土壤類型為壤土，土粒密度為2.70 g/cm3，容重為1.2 g/cm3，孔隙度55%，顆粒組成見表1。

表1 實驗土壤顆粒組成

1.2 干燥法土壤水分測量原理

干燥法也叫稱量法。利用恒溫箱，在溫度為105℃的條件下將土壤干燥至恒定質(zhì)量，干燥前后土壤質(zhì)量做差，再與干燥達(dá)恒定質(zhì)量時的干土質(zhì)量做比值，結(jié)果與土壤容重相乘即得到土壤體積含水率θ，采用百分?jǐn)?shù)的形式表示。

1.3 FDR土壤水分測量原理

圖1 傳感器等效電路圖

FDR型土壤水分測定傳感器是一種利用LC電路的電磁振蕩，根據(jù)電磁波在不同介質(zhì)中振蕩頻率的變化來測定介質(zhì)的介電常數(shù)ε，通過一定的對應(yīng)關(guān)系反演出真實土壤體積含水率θv的儀器。傳感器采用串聯(lián)LC諧振電路，其等效電路如圖1所示[7]。

根據(jù)電路原理，當(dāng)諧振發(fā)生的條件成立時，諧振頻率

(1)

式中L——電感，HC——電容，F(xiàn)

采用新型水鹽一體傳感器，傳感器標(biāo)定過程中，首先在室內(nèi)通過專用設(shè)備測試各層傳感器在空氣和純水中的頻率，以確定傳感器的基點和極大值，用于對傳感器測試結(jié)果歸一化，歸一化頻率定義為[8]

(2)

式中Fn——歸一化頻率

Fa——空氣中傳感器輸出頻率，Hz

Fw——純水中傳感器輸出頻率，Hz

Fs——土壤中傳感器輸出頻率,Hz

研究發(fā)現(xiàn)，土壤介電常數(shù)與溫度有關(guān)，使得FDR測得頻率存在誤差。針對該問題，文獻(xiàn)[15-18]建立了溫度對土壤體積含水率的補償模型，減小了溫度對傳感器測量精度的影響；文獻(xiàn)[19]通過實驗的方式選擇了75 MHz為最佳頻率，消除溫度對頻率的影響。本文考慮在傳感器設(shè)計時已加入了溫度補償模型，對此不做深入探究。

傳統(tǒng)人工標(biāo)定方法的FDR傳感器標(biāo)定經(jīng)驗公式為

(3)

式中a、b——標(biāo)定參數(shù)

使用多組真實體積含水率θv與歸一化頻率Fn即可擬合曲線得到參數(shù)a、b，從而得到FDR測量的頻率與土壤體積含水率的函數(shù)關(guān)系式。

1.4 數(shù)據(jù)采集

采用沈陽巍圖農(nóng)業(yè)科技有限公司研制的新型水鹽一體傳感器對全國16個站點進(jìn)行長時間數(shù)據(jù)采集，涵蓋了土壤水分穩(wěn)定期、緩慢消耗期、大量損耗期及恢復(fù)期的不同含水率的土樣。在每個站點分多個土層(土層深度為測試點距地表距離分別為10、20、40、60、80、100 cm)進(jìn)行測試，測試記錄數(shù)據(jù)包括站點、土層深度、傳感器輸出頻率(包括Fa、Fw、Fs)以及與輸出頻率對應(yīng)的真實體積含水率(干燥法測得)，測試土壤體積含水率為5%～50%，其中站點1數(shù)據(jù)如表2所示。

2 研究方法

新型FDR土壤水鹽一體傳感器輸出的原始信號是頻率，傳感器的標(biāo)定即是在頻率信號、土層深度和土壤含水率之間建立函數(shù)聯(lián)系。同時考慮到各個測量值與土壤體積含水率之間的相關(guān)性，計算其相關(guān)性矩陣如表3所示，矩陣中數(shù)據(jù)表示兩參數(shù)間相關(guān)性，相關(guān)系數(shù)取值范圍為[0,1]，0表示無相關(guān)，1表示強相關(guān)。

表2 站點1不同土層數(shù)據(jù)

由表3可知，體積含水率與其他參數(shù)均存在一定相關(guān)性，因此在建立模型時采用Fa、Fs、Fw、FDR歸一化頻率Fn、土層深度作為輸入，土壤體積含水率θv作為輸出。

FDR土壤水分傳感器標(biāo)定時需使用干燥法測體積含水率，代價很高，所以可用于傳感器標(biāo)定的有效數(shù)據(jù)較少。因此，本文考慮結(jié)合其他地區(qū)測量的大量相關(guān)數(shù)據(jù)，使用機器學(xué)習(xí)方法建模分析。傳統(tǒng)的機器學(xué)習(xí)方法訓(xùn)練和測試數(shù)據(jù)同分布，通過數(shù)據(jù)分析知，不同地區(qū)的數(shù)據(jù)分布不完全相同，故不能直接使用其他地區(qū)數(shù)據(jù)用于當(dāng)前地區(qū)的傳感器標(biāo)定模型訓(xùn)練。為此，本文引入遷移學(xué)習(xí)的方法，采用TrAdaBoost算法在當(dāng)前地區(qū)少量有效標(biāo)定數(shù)據(jù)的情況下結(jié)合其他地區(qū)數(shù)據(jù)作為輔助進(jìn)行模型建立。

表3 輸入輸出之間的相關(guān)系數(shù)

2.1 數(shù)據(jù)預(yù)處理與分析

2.1.1數(shù)據(jù)預(yù)處理

在數(shù)據(jù)建模前首先需進(jìn)行數(shù)據(jù)清洗，去除異常數(shù)據(jù)。箱型圖不受異常值的影響，能夠準(zhǔn)確穩(wěn)定地描繪出數(shù)據(jù)的離散分布情況，利于數(shù)據(jù)的清洗。本文采用箱型圖的方法，處理結(jié)果如圖2、表4所示。針對異常值識別結(jié)果，剔除不符合框圖要求的數(shù)據(jù)，剔除輸入數(shù)據(jù)Fa在85.07～88.64 Hz外、Fw在58.55～64.85 Hz外、Fs在63.73～76.58 Hz外的數(shù)據(jù)。

圖2 輸入輸出數(shù)據(jù)的箱形圖

表4 輸入輸出數(shù)據(jù)排序

2.1.2數(shù)據(jù)分布分析

為驗證訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)是否滿足同分布，以站點1～10數(shù)據(jù)為訓(xùn)練數(shù)據(jù)，站點11～16數(shù)據(jù)作為測試數(shù)據(jù)進(jìn)行分析，結(jié)果如圖3、4所示。由圖3、4可知，訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)不滿足數(shù)據(jù)同分布，不能使用傳統(tǒng)機器學(xué)習(xí)方法直接訓(xùn)練，故采用遷移學(xué)習(xí)方法。

圖3 站點1～10訓(xùn)練數(shù)據(jù)概率密度分布

2.2 基于遷移學(xué)習(xí)的自動標(biāo)定模型

圖4 沈陽地區(qū)站點11～16源域概率密度分布

采用集成學(xué)習(xí)算法——基于實例的TrAdaBoost遷移學(xué)習(xí)算法。TrAdaBoost[20-21]是戴文淵提出的一種基于實例的遷移學(xué)習(xí)算法，是一種從歷史數(shù)據(jù)中提取實例的方法，即將一部分能用的帶標(biāo)簽歷史數(shù)據(jù)，結(jié)合帶標(biāo)簽新數(shù)據(jù)(可能是少量)，構(gòu)建出比單獨使用帶標(biāo)簽新數(shù)據(jù)訓(xùn)練更精確的模型，適用于分類領(lǐng)域。本文模型的輸出為體積含水率，是連續(xù)型變量，應(yīng)采用回歸模型，為此對TrAdaBoost算法進(jìn)行改進(jìn)，將該算法原為面向分類問題的基學(xué)習(xí)器AdaBoost，改為面向回歸問題的XGBoost。該算法所涉及的數(shù)據(jù)集包括輔助訓(xùn)練數(shù)據(jù)、源域數(shù)據(jù)、目標(biāo)域數(shù)據(jù)，其中輔助訓(xùn)練數(shù)據(jù)是指大量相關(guān)數(shù)據(jù)；源域數(shù)據(jù)是指少量與測試數(shù)據(jù)同分布的數(shù)據(jù)；目標(biāo)域數(shù)據(jù)是指測試數(shù)據(jù)，即實際應(yīng)用時的無標(biāo)簽數(shù)據(jù)。

基于其他地區(qū)10個站點數(shù)據(jù)(站點1～10)，沈陽地區(qū)6個站點數(shù)據(jù)(站點11～16)為依據(jù)進(jìn)行數(shù)據(jù)分析，將站點1～10的數(shù)據(jù)作為輔助訓(xùn)練數(shù)據(jù)(Xb，共589條數(shù)據(jù)，其中站點1為棕壤土、站點2為潮土、站點3為紅粘土、站點4為黃棕壤土、站點5為紅壤土、站點6為黃壤土、站點7為潮土、站點8為黑土、站點9為灰鈣土、站點10為黑鈣土)，站點11～16分別作為FDR傳感器目標(biāo)使用地點，取其80%數(shù)據(jù)為源域數(shù)據(jù)(Xa)進(jìn)行遷移學(xué)習(xí)訓(xùn)練得到標(biāo)定模型，剩余20%數(shù)據(jù)作為目標(biāo)域數(shù)據(jù)驗證集測試模型誤差。在實際應(yīng)用時，源域數(shù)據(jù)的采集要求在不破壞土質(zhì)的情況下涉及10、20、40、60、80、100 cm土層，體積含水率在0%～20%、20%～30%、30%～50%均有數(shù)據(jù)，樣本量最多為輔助訓(xùn)練數(shù)據(jù)樣本的10%，樣本量最少為20個，否則遷移學(xué)習(xí)算法將退化為基學(xué)習(xí)器效果。

2.2.1基學(xué)習(xí)器算法——XGBoost模型

將輔助訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)處理后，以Fn、土層深度作為輸入，體積含水率作為輸出，利用XGBoost作為基學(xué)習(xí)器對其進(jìn)行訓(xùn)練。

XGBoost[22]是一種基于集成學(xué)習(xí)的用于處理稀疏數(shù)據(jù)的樹學(xué)習(xí)算法。它的優(yōu)點在于使用最少的集群資源擴展到更大的數(shù)據(jù)的端到端系統(tǒng)。

該算法的偽代碼為：

Fork=1 tom:

GL← 0,HL← 0

Forjin sort (I, byxjk) do

GL←GL+gj,HL←HL+hj

GR←G-Gj,HR←H-HL

end

end

輸出：分裂后的得分score

2.2.2目標(biāo)域——面向回歸的TrAdaBoost算法

TrAdaBoost算法是采用AdaBoost作為基學(xué)習(xí)器的分類算法，為適應(yīng)本文的回歸模型，將基學(xué)習(xí)器改為XGBoost。在TrAdaBoost算法中對權(quán)重進(jìn)行迭代更新時采用誤分類樣本誤差率

(4)

對于回歸模型，修改誤差率計算式為

(5)

式中ht(xi)——回歸器的預(yù)測值

c(xi)——真實值

max|ht(xi)-c(xi)|——訓(xùn)練集上樣本的最大誤差

改進(jìn)后的TrAdaBoost算法既保留了XGBoost可降低過擬合、自動學(xué)習(xí)缺失樣本的分裂方向等優(yōu)點，又彌補了XGBoost不能進(jìn)行知識遷移的缺陷。改進(jìn)后的算法偽代碼如下：

輸入：源域數(shù)據(jù)Xa，輔助訓(xùn)練數(shù)據(jù)Xb，合并的訓(xùn)練數(shù)據(jù)集T={Xa∪Xb}，基學(xué)習(xí)器(Learner)XGBoost，迭代次數(shù)N。

(1)初始化

①初始化權(quán)重向量

其中

(2)權(quán)重迭代更新

對于t=1,2,…,N：

②調(diào)用Learner，根據(jù)合并后的訓(xùn)練數(shù)據(jù)T以及T上的權(quán)重分布pt，得到一個回歸器ht

③根據(jù)式(5)計算ht在Xb上的誤差率

⑤重新調(diào)整權(quán)重

⑥得到最終的回歸器

(3)輸出最終的回歸器

對于輔助訓(xùn)練樣本來講，預(yù)測值和標(biāo)簽越接近，權(quán)重越大；而對于源域數(shù)據(jù)則相反，預(yù)測值和標(biāo)簽差異越大，權(quán)重越大。需要找到輔助樣本中和源域數(shù)據(jù)分布最接近的樣本，同時放大源域樣本loss影響(增加源訓(xùn)練數(shù)據(jù)中錯誤率大的樣本的權(quán)重，同時減小輔助訓(xùn)練數(shù)據(jù)中錯誤的權(quán)重)，那么源域樣本預(yù)測值與標(biāo)簽盡量匹配，輔助樣本在前面處理的基礎(chǔ)上篩選出最匹配(權(quán)重大的)的部分。

3 實驗結(jié)果與分析

將站點1～10數(shù)據(jù)作為輔助訓(xùn)練數(shù)據(jù)，站點11～16分別作為源域數(shù)據(jù)，進(jìn)行傳感器標(biāo)定模型訓(xùn)練與測試。對每個站點進(jìn)行標(biāo)定時，取該站點80%數(shù)據(jù)作為源域數(shù)據(jù)，共60條數(shù)據(jù)；剩余20%數(shù)據(jù)作為測試集，共15條數(shù)據(jù)。

根據(jù)傳感器標(biāo)定結(jié)果，由傳感器輸出頻率計算得土壤體積含水率為測試值，認(rèn)為干燥法得到的土壤體積含水率為真實值，使用平均百分比誤差(MAPE)評估模型輸出結(jié)果的準(zhǔn)確率。

為防止過擬合，在計算測試值時，在源域數(shù)據(jù)和測試集上采用k折交叉驗證。不重復(fù)地隨機將源域數(shù)據(jù)劃分為k個部分，k-1個部分用于訓(xùn)練，剩余部分用于測試，重復(fù)該過程k次，得到k個模型對模型性能的評價，基于評價結(jié)果可以計算平均性能，此方法對數(shù)據(jù)劃分方法敏感度相對較低，每次迭代過程中每個樣本點只有一次被劃入訓(xùn)練集或測試集的機會。本文使用k=5，即每個部分為站點數(shù)據(jù)的20%。

為驗證使用遷移學(xué)習(xí)進(jìn)行初步模型校準(zhǔn)的必要性，在站點11～16分別使用基學(xué)習(xí)器訓(xùn)練得到初步標(biāo)定模型，并用遷移學(xué)習(xí)得到最終的標(biāo)定模型，對比初步標(biāo)定模型與最終的標(biāo)定測試準(zhǔn)確率，結(jié)果如表5所示，基學(xué)習(xí)器模型列為初步標(biāo)定模型的準(zhǔn)確率，自動標(biāo)定模型列為使用遷移學(xué)習(xí)對初步標(biāo)定模型校準(zhǔn)后的準(zhǔn)確率。表5結(jié)果顯示，僅使用基學(xué)習(xí)器模型，準(zhǔn)確率僅為65%左右，不能滿足傳感器標(biāo)定要求；而使用遷移學(xué)習(xí)算法對模型進(jìn)行校準(zhǔn)后的準(zhǔn)確率提升到了99%左右，已可滿足傳感器標(biāo)定要求。故使用遷移學(xué)習(xí)的自動標(biāo)定模型是有效且必要的。

表5 標(biāo)定測試準(zhǔn)確率

針對每個站點每個土層80%數(shù)據(jù)使用人工標(biāo)定方法計算FDR傳感器標(biāo)定參數(shù)，使用剩余20%數(shù)據(jù)計算人工標(biāo)定傳感器測量準(zhǔn)確率，每個站點準(zhǔn)確率為該站點測試準(zhǔn)確率平均值，結(jié)果如表5所示。與本文方法進(jìn)行對比發(fā)現(xiàn)人工標(biāo)定方法準(zhǔn)確率為90%左右，而本文方法平均準(zhǔn)確率達(dá)到99.1%，充分說明本文算法的有效性。

4 結(jié)論

(1)針對FDR傳感器有效標(biāo)定數(shù)據(jù)量少的問題，提出了基于遷移學(xué)習(xí)的FDR土壤水分傳感器自動標(biāo)定模型，僅需少量數(shù)據(jù)對模型進(jìn)行校準(zhǔn)即可使得模型輸出結(jié)果滿足要求。該算法克服了傳統(tǒng)人工標(biāo)定數(shù)據(jù)采集費時、費力的問題，減少了對標(biāo)定數(shù)據(jù)的需求。

(2)改進(jìn)了TrAdaBoost算法，更新了訓(xùn)練模型回歸誤差率的計算方式，并采用k折交叉驗證有效防止了過擬合問題。

(3)將本文方法與基學(xué)習(xí)器方法的實驗效果進(jìn)行對比，結(jié)果顯示，在使用遷移學(xué)習(xí)進(jìn)行模型校準(zhǔn)后，大大提高了模型測試準(zhǔn)確率，說明了基于遷移學(xué)習(xí)的自動標(biāo)定模型的有效性。

(4)使用本文方法，傳感器在土壤體積含水率測試時，得到平均絕對誤差均小于2%，符合農(nóng)業(yè)測量土壤含水率小于±5%的規(guī)范要求。