汪明元,王振紅,陳松庭

(1.浙江華東建設(shè)工程有限公司,浙江 杭州 310014;2.中國電建集團華東勘測設(shè)計研究院有限公司,浙江 杭州 311122;3.浙江工業(yè)大學 土木工程學院,浙江 杭州 310023)

隨著施工技術(shù)的發(fā)展,各類海洋工程建設(shè)不斷推進。對海洋土體物理力學性質(zhì)的研究已經(jīng)成為海洋工程實踐中的重要問題。目前,土體的力學性質(zhì)和設(shè)計參數(shù)的數(shù)值幾乎完全依賴于原位土工試驗(如取樣、鉆孔與灌入測試)以及后續(xù)的室內(nèi)土工試驗(由固結(jié)試驗、三軸試驗直接得到的各試驗土樣的壓縮性和抗剪強度指標)。然而海洋巖土工程試驗成本高昂,針對特定工程展開數(shù)量多、密度大的現(xiàn)場試驗難度較大,難以獲得各位置的土體參數(shù),限制了海洋工程的開展。因此,構(gòu)建高效、可靠的土體參數(shù)預(yù)測模型對海洋巖土工程的發(fā)展具有重要意義[1]。機器學習算法[2]的興起與發(fā)展促進了計算機技術(shù)與傳統(tǒng)工程的交叉發(fā)展,許多機器學習方法在巖土工程領(lǐng)域已嶄露頭角[3-4],包括隨機森林[5-6]、神經(jīng)網(wǎng)絡(luò)[7-9]等,彌補了傳統(tǒng)算法表達能力不足、準確率低的缺陷。2017年,Ke等[10]提出的LightGBM作為一種運行速度快、內(nèi)存占用低的算法,目前已經(jīng)被廣泛應(yīng)用于電力電氣[11]、醫(yī)療衛(wèi)生[12]和軌道交通[13-14]等領(lǐng)域,并已被逐漸應(yīng)用于巖土工程領(lǐng)域。張凱等[15]建立了基于LightGBM算法的邊坡穩(wěn)定性預(yù)測模型,將一些重要的土體參數(shù)作為模型的輸入,將邊坡穩(wěn)定性作為模型的輸出;巫崇智[16]利用LightGBM算法構(gòu)建了黏性土的不排水抗剪強度預(yù)測模型,并分析了貝葉斯調(diào)參對預(yù)測結(jié)果的影響,一定程度上推動了LightGBM算法在巖土工程領(lǐng)域的發(fā)展。然而現(xiàn)有研究主要針對穩(wěn)定性和強度參數(shù),針對變形參數(shù)的研究仍比較缺乏。

筆者提出的基于LightGBM算法的海洋土變形參數(shù)預(yù)測模型可以通過較易獲得的土體力學參數(shù)來預(yù)測較難獲得的土體壓縮參數(shù)。通過貝葉斯調(diào)參及k折(k-fold)交叉分析方法對模型進行調(diào)整,使模型獲得更好的預(yù)測性能。該模型有利于降低海洋土體勘察成本,提高土體參數(shù)勘察效率。

1 算法原理及實施流程

1.1 LightGBM算法原理

LightGBM作為一種高效實現(xiàn)的基于梯度提升決策樹(Gradient boosting decision tree,GBDT)的算法,其工作原理與GBDT類似。該方法通過利用損失函數(shù)的負梯度來近似當前決策樹的殘差值,并將其用于擬合新的決策樹。在每次迭代中,模型保持不變,將新的函數(shù)添加到模型中以不斷減少預(yù)測值與實測值的差異[17]。

訓練的目標函數(shù)為

(1)

用gi記作第i個樣本損失函數(shù)的一階導(dǎo)數(shù),hi記作第i個樣本損失函數(shù)的二階導(dǎo)數(shù),目標函數(shù)二次泰勒展開的結(jié)果為

(2)

相較于大多數(shù)GBDT算法采用的按層生長的生長策略,LightGBM算法采用了按葉生長的生長策略,即從所有葉中找出信息增益最大的節(jié)點進行學習,同時采用max_depth超參數(shù)來限制樹的深度,防止出現(xiàn)過擬合。LightGBM算法還采用了單邊梯度和隨機抽樣的方法,保留梯度較大的實例,同時對梯度較小的實例進行隨機抽樣,這種做法可以使用更少的數(shù)據(jù)量獲得準確的估計。同時采用互斥特征合并技術(shù),將一定沖突比率內(nèi)互斥的特征進行合并,從減少特征的角度達到降維的效果,且不會造成信息丟失[17]。

1.2 模型實施流程

采用python語言建立基于LightGBM算法的海洋土壓縮參數(shù)預(yù)測模型,具體實施流程如下:1) 收集土體參數(shù)數(shù)據(jù),包括樣底深度、含水率、濕密度、土粒相對密度、液塑限、壓縮系數(shù)和壓縮模量等;2) 對數(shù)據(jù)進行預(yù)處理,主要是對缺失參數(shù)進行補充;3) 將數(shù)據(jù)劃分為訓練集和測試集,在訓練集上進行k折交叉驗證;4) 將處理好的數(shù)據(jù)輸入LightGBM預(yù)測模型中,為模型設(shè)置需要調(diào)試的超參,訓練模型并預(yù)測目標參數(shù);5) 通過貝葉斯優(yōu)化尋找令評價指標達到最優(yōu)的超參,通過模型準確率評價指標來評價預(yù)測結(jié)果是否滿足要求;6) 得出最終土體參數(shù)預(yù)測模型。

2 模型構(gòu)建與應(yīng)用

以某海上風電場項目獲取的共482組土工試驗數(shù)據(jù)作為研究對象,根據(jù)土體物理力學參數(shù),建立LightGBM預(yù)測模型,預(yù)測土體的變形相關(guān)參數(shù),即壓縮系數(shù)和壓縮模量,并與實測值進行對比驗證,通過貝葉斯調(diào)參獲得最優(yōu)超參數(shù),結(jié)合多個評價指標定量評估所構(gòu)建模型的實際預(yù)測效果。

2.1 數(shù)據(jù)準備

收集了共482組土體參數(shù)特征,包括樣底深度D、土分類名稱、含水率W0、濕密度ρ、干密度ρd、土粒相對密度Gs、孔隙比e、飽和度Sr、液限WL、塑限WP、液性指數(shù)IP、塑性指數(shù)IL、壓縮系數(shù)av和壓縮模量Es等。其中壓縮系數(shù)av、壓縮模量Es根據(jù)壓縮(固結(jié))試驗得到的100,200 kPa的固結(jié)壓力計算所得。現(xiàn)有液限有2種取值方式:以《土工試驗方法標準》(GB/T 50123—2019)規(guī)定的圓錐入土深度為17 mm處相應(yīng)含水率為液限;以《建筑地基基礎(chǔ)設(shè)計規(guī)范》規(guī)定的圓錐入土深度為10 m處相應(yīng)含水率為液限。由于試驗值用作基礎(chǔ)設(shè)計,在本研究中液限指圓錐入土深度為10 m處相應(yīng)含水率。由于土分類名稱是由液塑性指數(shù)得出的,而液塑性指數(shù)可以通過液限、塑限與含水率計算所得?？紫堵?、干密度和飽和度均能通過其他土體參數(shù)(含水率、濕密度、土粒相對密度)計算所得。因此在這個預(yù)測模型中選取的特征為樣底深度D、含水率W0、濕密度ρ、土粒相對密度Gs、液限WL、塑限WP、壓縮系數(shù)av和壓縮模量Es。具體參數(shù)特征如表1所示,參數(shù)分布如圖1所示。由圖1可以看出:壓縮系數(shù)av與壓縮模量Es在數(shù)值較小時頻率較高,數(shù)值較大時頻率較低。

圖1 各土體參數(shù)頻率直方圖Fig.1 Frequency histogram of soil parameters

表1 土體參數(shù)基本統(tǒng)計特征

采用Spearman相關(guān)性分析方法對土體參數(shù)數(shù)據(jù)進行分析。選用兩組土體參數(shù)為變量,相關(guān)系數(shù)為-1～1,其計算式為

(3)

式中:di為第i組兩種參數(shù)等級之差;n為樣本組數(shù)。

各個土體參數(shù)之間的相關(guān)系數(shù)熱力圖如圖2所示。從圖2可以直觀感受到各個土體參數(shù)之間的關(guān)系。Smith[18]提出了關(guān)于rs的以下標準:|rs|≥0.8代表兩組參數(shù)之間相關(guān)性很強;0.8>|rs|≥0.5代表兩組參數(shù)之間相關(guān)性一般;0.5>|rs|代表兩組參數(shù)之間相關(guān)性較弱。

圖2 各個土體參數(shù)的相關(guān)系數(shù)熱力圖Fig.2 Spearman correlation coefficient heat map of each soil parameter

由圖2可知:Es與Gs,av與W0,av與WL,av與WP,av與ρ的相關(guān)系數(shù)絕對值≥0.8,說明Gs對于目標變量Es有較強的相關(guān)性,壓縮系數(shù)av與多數(shù)變量有較強相關(guān)性,其中壓縮系數(shù)av與含水率W0的相關(guān)系數(shù)為0.94,其原因可能是對于飽和土來說,在100～200 kPa的固結(jié)壓力下,其壓縮主要是由于孔隙水的排出,故壓縮參數(shù)主要與含水率有關(guān)。Es與D,Es與W0,Es與ρ,Es與WL,Es與WP,Es與av,av與D,av與Gs的相關(guān)系數(shù)的絕對值為0.5～0.8,上述9組參數(shù)之間有一般強度的相關(guān)性。相關(guān)性分析為數(shù)據(jù)處理提供了部分參考依據(jù)。

各個土體參數(shù)的成分對比如圖3所示,當橫坐標與縱坐標為相同的特征時,顯示該變量自身的分布圖;當橫縱坐標為不同的特征時,顯示兩個特征的散點圖。從圖3中可以直觀地看到:av與D,ρ,Es有很明顯的負相關(guān)性,與W0有明顯的正相關(guān)性,與Gs、WL,WP有不太明顯的正相關(guān)性;Es與各土體參數(shù)相關(guān)性和av與各土體參數(shù)相關(guān)性相反。

2.2 數(shù)據(jù)預(yù)處理

根據(jù)2.1節(jié)所提到的參數(shù)形成統(tǒng)一的數(shù)據(jù)集。采用info函數(shù)對數(shù)據(jù)集進行檢查,一共有4 520個數(shù)據(jù)。其中ρ,Gs,av,Es均缺少兩組數(shù)據(jù),經(jīng)過觀察數(shù)據(jù)集發(fā)現(xiàn)缺少數(shù)據(jù)來源于同兩組土體,故直接刪除這兩組土體數(shù)據(jù)。而液限WL、塑限WP的缺失率均為22.3%,直接刪除對數(shù)據(jù)浪費較大。LightGBM算法能夠在有缺失值的情況下進行預(yù)測,通過對比不進行處理和采用以平均值39.96,24.08對數(shù)據(jù)進行填充的預(yù)測效果,發(fā)現(xiàn)兩種方式準確性差別不大,故決定不對液限WL、塑限WP進行處理。具體缺失值處理方式如表2所示。

表2 土體參數(shù)缺失值以及預(yù)處理方式

2.3 LightGBM算法及超參數(shù)確定

計算機處理器型號為IntelE5-2670、內(nèi)存為16 G、操作系統(tǒng)為Windows 10。將預(yù)處理后的數(shù)據(jù)集按照4∶1的比例隨機劃分為訓練集與測試集,其中訓練集用于構(gòu)建模型,測試集用來對模型的實際預(yù)測能力進行驗證。訓練集由384組樣本構(gòu)成,測試集由96組樣本構(gòu)成。

超參數(shù)取值對LightGBM的預(yù)測效果起到重要作用[19],筆者對max_depth,num_leaves,learning_rate,bagging_fraction,feature_fraction 5個超參數(shù)進行研究。其中:max_depth表示樹模型的最大深度,通過調(diào)整此參數(shù)控制樹自身深度,防止過擬合;num_leaves表示一顆樹上節(jié)點的個數(shù),與max_depth一起決定樹的形狀;learning_rate表示學習率,代表學習過程中的步長,學習率較小時模型性能雖然較穩(wěn)定,但運算量較大,處理時間長;bagging_fraction表示采用數(shù)在整個模型中的比例,當取值較低時可以防止過擬合;feature_fraction用于控制其他參數(shù)中的分裂點,防止過擬合。模型參數(shù)的選擇如表3所示,其余參數(shù)按照默認值取值。

表3 模型參數(shù)設(shè)置

2.4 k折交叉驗證

由于筆者所選用的數(shù)據(jù)量相對較少,如果僅僅將數(shù)據(jù)集分為訓練集和測試集,劃分的偶然性會影響訓練結(jié)果。k折交叉驗證就是將原數(shù)據(jù)集中的訓練集進一步劃分成大小一致的k個集合。選擇其中一個集合作為驗證集,其余k-1個集合作為訓練集進行訓練,將這個訓練步驟重復(fù)k次。選取令k次建模中的誤差平均值達到最小時的超參數(shù)作為最終超參數(shù),在原始的全體訓練集上進行訓練。在k折交叉驗證方法中,k一般取5～10。由于本研究的數(shù)據(jù)量較少,計算壓力小,為了得到較好的計算結(jié)果,決定采用10折交叉驗證對所建模型進行驗證。由于LightGBM可以直接調(diào)用cv函數(shù)對數(shù)據(jù)進行交叉分析,故將最大迭代次數(shù)設(shè)為500,早停輪數(shù)設(shè)為20,以保證整個數(shù)據(jù)集能夠進行充分訓練。

2.5 模型準確率評價指標

平均絕對誤差MAE是預(yù)測值和實測值差的絕對值的平均值,范圍為0～+∞,預(yù)測值越接近于真實值,模型越精確,MAE值越低,其計算式為

(4)

均方根誤差RMSE是預(yù)測值和實測值之間平方差的平均值,范圍為0～+∞,預(yù)測值越接近于真實值,模型越精確,RMSE值越低,其計算式為

(5)

平均絕對百分比誤差MAPE是可以反映預(yù)測值與實測值誤差占實測值的百分比的平均值,范圍為0～+∞,預(yù)測值越接近于真實值,模型越精確,MAPE值越低,其計算式為

(6)

決定系數(shù)R2的計算式為

(7)

2.6 貝葉斯優(yōu)化

在選用超參數(shù)的值時,雖然可以選擇不斷調(diào)參來獲得使評價指標最理想的超參數(shù)值,但評估每一個點的成本很高。而選用貝葉斯優(yōu)化不需要評估每個點,只需要為每個超參值提供一個區(qū)域,這種調(diào)參方式會搜索使目標函數(shù)達到最優(yōu)值時各個超參數(shù)的值。相較于窮舉搜索與隨機搜索等其他優(yōu)化方式,貝葉斯優(yōu)化重復(fù)次數(shù)少,可以同時為多個參數(shù)調(diào)參,運行速度快,內(nèi)存占用小。

為2.3節(jié)中選用的5個參數(shù)設(shè)置調(diào)參范圍,選擇RMSE作為評價指標,通過貝葉斯優(yōu)化調(diào)參不斷迭代得到更低的RMSE準確率評價值,用貝葉斯調(diào)參獲得的超參數(shù)來建立準確性最高的模型。由于數(shù)據(jù)量不多,選用調(diào)參參數(shù)量和范圍不大,為保證優(yōu)化全面性,盡量做到充分調(diào)參,將最大評估次數(shù)設(shè)置為200,總消耗時長分別為850,1 277 s,最終調(diào)參結(jié)果如表4,5所示。

表4 對于壓縮系數(shù)av的LightGBM貝葉斯超參數(shù)調(diào)參結(jié)果

表5 對于壓縮模量ES的LightGBM貝葉斯超參數(shù)調(diào)參結(jié)果

為了進一步對本研究中所給的基于LightGBM的土體參數(shù)預(yù)測模型的預(yù)測能力進行評估,將所建模型與未進行k折交叉驗證和貝葉斯調(diào)參的模型進行對比。在前文的參數(shù)選擇中剔除了干密度ρd、孔隙比e、飽和度Sr、液性指數(shù)IP和塑性指數(shù)IL這5個可以通過已選取的特征計算出來的人工特征。為了探究建模中人工特征對數(shù)據(jù)準確性的影響,同時將樣底深度D、含水率W0、濕密度ρ、干密度ρd、土粒相對密度Gs、孔隙比e、飽和度Sr、液限WL、塑限WP、液性指數(shù)IP、塑性指數(shù)IL和壓縮系數(shù)av、壓縮模量Es作為特征進行建模,不同模型的準確性評價指標如表6所示。

表6 不同模型的準確性評價指標

由表6可知:在采用不同模型對相同數(shù)據(jù)集進行處理時,筆者所建模型相較未進行k折交叉驗證和貝葉斯調(diào)參的模型有一定提升。相較加入人工特征后的模型,筆者模型的預(yù)測準確性差異不明顯,說明在建模中加入人工特征對最終預(yù)測結(jié)果的準確性并沒有提升。

在10折交叉驗證下所構(gòu)建的基于LightGBM算法的模型在MAE,R2,RMSE,MAPE 4種評價指標下的表現(xiàn)如圖4所示。針對av與Es的準確性評價指標,R2與RMSE的準確性排序是一樣的,兩者存在負相關(guān),而這兩種指標與MAE和MAPE指標的準確度排序不一樣,說明相同數(shù)據(jù)的不同評價指標準確度的排序并不相同。不同折數(shù)對av各個準確性指標的影響無明顯規(guī)律性;隨著折數(shù)的變多,對Es預(yù)測的準確性振蕩變優(yōu)。

圖4 模型在不同交叉驗證折數(shù)中4種評價指標的表現(xiàn)Fig.4 The model performance on four evaluation indicators in different cross-validation folds

模型預(yù)測值與實測值的對比如圖5所示。由圖5可知:在土體參數(shù)數(shù)值較小時,預(yù)測值與實測值差別較小;在數(shù)值較大時預(yù)測值和實測值差距逐漸變大。可能是由于較小的數(shù)據(jù)數(shù)量較多,模型能進行充分學習,從而提高模擬準確性,總體來說本模型對兩種土體壓縮參數(shù)預(yù)測準確性較高。通過比較圖2中的壓縮系數(shù)av、壓縮模量Es和其他各個土體參數(shù)間的相關(guān)系數(shù),可以發(fā)現(xiàn)av與D,W0,ρ,WL,WP的相關(guān)系數(shù)絕對值均大于Es與這些參數(shù)的相關(guān)系數(shù),僅與Gs的相關(guān)系數(shù)稍小。從圖5可以看出:av的預(yù)測準確性高于Es,說明土的力學參數(shù)與物理參數(shù)相關(guān)性越高,預(yù)測的準確性越高。

圖5 模型預(yù)測值與實測值對比圖Fig.5 Comparison of model predicted value and measured value

3 結(jié) 論

筆者提出了一種基于LightGBM算法的土體參數(shù)預(yù)測模型,該模型能夠通過一些便于獲得的土體物理性質(zhì)參數(shù)預(yù)測難以獲得的變形參數(shù),即壓縮系數(shù)av、壓縮模量Es。采用k折交叉驗證法和貝葉斯調(diào)參對模型超參數(shù)進行優(yōu)化。通過準確性評價指標判斷了該模型預(yù)測的準確性,并分析了k折次數(shù)、人工特征、數(shù)據(jù)集數(shù)量、預(yù)測量與輸入特征相關(guān)性等因素對模型準確性的影響。結(jié)果表明:貝葉斯調(diào)參一定程度上能夠提高預(yù)測準確性;k折次數(shù)的增加使Es預(yù)測的準確性振蕩變優(yōu);建模時加入人工特征對最終預(yù)測結(jié)果影響不明顯;數(shù)據(jù)集越大、預(yù)測指標與特征值相關(guān)性越高,模型預(yù)測準確性越高。該模型對壓縮模量Es的R2評價指標為0.803,對壓縮系數(shù)av的R2評價指標為0.906,預(yù)測準確性較高,研究結(jié)果可以為確定海洋土土體變形參數(shù)提供參考。