狄春鋒

(中鐵建設(shè)集團有限公司, 北京 100043)

0 引 言

鋼混結(jié)構(gòu)的剪切破壞可能會導(dǎo)致結(jié)構(gòu)突然失穩(wěn)并引發(fā)嚴(yán)重的安全事故,因此,提升鋼混結(jié)構(gòu)的抗剪承載力至關(guān)重要。鋼纖維混凝土(SFRC)是在普通混凝土中摻入適量、不規(guī)則分布的短鋼纖維(SF)所形成的一種多相多孔復(fù)合材料,這些不規(guī)則分布的SF能有效地阻止混凝土內(nèi)部宏觀裂縫的形成及微裂縫的擴展,顯著改善SFRC的抗拉、抗彎和延性性能等[1],進而提升結(jié)構(gòu)的物理、力學(xué)性能及耐久性[2]。

準(zhǔn)確地計算或預(yù)測SFRC結(jié)構(gòu)的極限抗剪性能有利于結(jié)構(gòu)設(shè)計研究[3]。但傳統(tǒng)方法具有不同的局限性,模擬試驗耗時耗力,且無法大量、快速地得到不同工況的極限抗剪性能[4];則統(tǒng)計公式則難以考慮所有的抗剪性能影響因素[5];而有限元法需要詳細(xì)的本構(gòu)信息才能計算,且一次只能計算一個結(jié)構(gòu)或構(gòu)件,耗時較長,有時有限元計算和熱力學(xué)的結(jié)果也會有所出入,這證明有限元模擬法也有所局限[6]。盡管SFRC結(jié)構(gòu)的抗剪性能已有過相關(guān)的研究,但在許多方面仍有改善的余地,且目前仍未得到普適性的預(yù)測方法。

近年來引入的機器學(xué)習(xí)算法可能為普適性抗剪性能預(yù)測提供新思路。機器學(xué)習(xí)主要研究計算機模擬或?qū)崿F(xiàn)人類的行為,通過學(xué)習(xí)獲取新的技能和知識,完善自身已有的知識結(jié)構(gòu),并不斷提高自身的性能。機器學(xué)習(xí)在土木工程領(lǐng)域已有諸多應(yīng)用,包括健康監(jiān)測、性能預(yù)測評估等[7-8]。性能預(yù)測的應(yīng)用包括抗剪性能的評估,如文獻(xiàn)[9-10]使用人工神經(jīng)網(wǎng)絡(luò)對鋼混構(gòu)件的抗剪性能進行預(yù)測,并與3種現(xiàn)行抗剪設(shè)計方法對比證明人工神經(jīng)網(wǎng)絡(luò)可以得到更優(yōu)的結(jié)果;Yaseen等結(jié)合粒子群優(yōu)化的人工神經(jīng)網(wǎng)絡(luò)算法對鋼混梁的抗剪性能進行預(yù)測[11],輸入?yún)?shù)為幾種材料性能和尺寸,并識別不同參數(shù)對抗剪性能的影響程度,最后用元啟發(fā)式優(yōu)化算法對其進行驗證;Zhao等用反向傳播神經(jīng)網(wǎng)絡(luò)成功預(yù)測鋼混梁結(jié)構(gòu)的撓度[12],采用了120種梁的幾何與力學(xué)性能數(shù)據(jù),劃分了7個數(shù)據(jù)集進行對比。

機器學(xué)習(xí)在土木工程領(lǐng)域應(yīng)用最多的算法依舊是人工神經(jīng)網(wǎng)絡(luò),而集成學(xué)習(xí)的引入,可以改善神經(jīng)網(wǎng)絡(luò)的可解釋性差、需要數(shù)據(jù)量較大、計算成本昂貴等缺陷。集成學(xué)習(xí)本身不算一種單獨的機器學(xué)習(xí)算法,而是通過構(gòu)建并結(jié)合多個機器學(xué)習(xí)器來完成學(xué)習(xí)任務(wù)。集成學(xué)習(xí)集百家之所長,能在機器學(xué)習(xí)算法中擁有較高的準(zhǔn)確率,目前在土木工程領(lǐng)域已有部分應(yīng)用。文獻(xiàn)[13-14]基于集成學(xué)習(xí)算法完成了混凝土的配合比設(shè)計的工作,并得到不同因素對配合比的影響程度及對應(yīng)的解決方案,成功地得到了抗凍性和成本優(yōu)化的配合比方案;Gong等用集成學(xué)習(xí)預(yù)測瀝青混凝土的彈性模量[15],與Witczak公式計算結(jié)果相比預(yù)測精度提升22.5%,計算時間僅略微有所增加[16];Huang等基于幾種集成學(xué)習(xí)算法研究了鋼混框架結(jié)構(gòu)平面內(nèi)失效模式[17],其中準(zhǔn)確度最高的達(dá)到了85.7%,且大部分都超過了80%。

為建立準(zhǔn)確高效的SFRC梁結(jié)構(gòu)的抗剪性能預(yù)測模型,提出了一種基于集成學(xué)習(xí)算法評估結(jié)構(gòu)抗剪性能的模型,只需輸入相應(yīng)的參數(shù),即可在幾秒內(nèi)得到SFRC梁結(jié)構(gòu)的抗剪強度。首先,用熱力圖分析方法直觀、線性地研究各參數(shù)之間的關(guān)系,判斷輸入?yún)?shù)之間是否有冗余度,并判斷輸入是否與輸出之間有強相關(guān)性;其次,基于弱學(xué)習(xí)器、Bagging(RandomForest)和Boosting(XGBoost、AdaBoost和GradientBoost)三類算法對抗剪性能進行預(yù)測,并對比測試集和訓(xùn)練集的計算過程,驗證模型的泛化性;最后,使用k近鄰算法(KNN)、核脊回歸(Rigde)、Lasso回歸(Lasso)與多元線性回歸(MLP)四種常用的回歸模型與集成學(xué)習(xí)計算的結(jié)果進行對比,驗證模型的高效性及可行性。

1 數(shù)據(jù)集

1.1 數(shù)據(jù)集的來源與預(yù)處理

機器學(xué)習(xí)通常需要的數(shù)據(jù)量較大,但鑒于工程領(lǐng)域的數(shù)據(jù)較少,且通過試驗或?qū)嶋H工程所得數(shù)據(jù)較為困難,而對抗剪性能的研究文獻(xiàn)中已積累了不少數(shù)據(jù),因此本研究的數(shù)據(jù)從文獻(xiàn)中收集。因研究的目的為建立有效的模型,為此數(shù)據(jù)并未窮盡所有相關(guān)文獻(xiàn),僅選取了代表性的330組數(shù)據(jù),數(shù)據(jù)量雖不大,但參數(shù)具有代表性,均為對抗剪性能產(chǎn)生影響的重要參數(shù)[1]。

本研究使用自助抽樣法劃分?jǐn)?shù)據(jù)集。具體數(shù)據(jù)的分析如表1所示。數(shù)據(jù)集包含8個參數(shù):梁有效高度d、梁有效寬度bw、縱向配筋率ρ、混凝土的抗壓強度fc、骨料尺寸da、剪跨比a/d、纖維抗拉強度ft、鋼纖維系數(shù)Fst、抗剪強度Vu作為輸出參數(shù)。表1分別展示了各參數(shù)的均值、方差以及最大值和最小值。

表1 數(shù)據(jù)集的統(tǒng)計分析

1.2 參數(shù)的相關(guān)性分析

利用熱力圖可以看出數(shù)據(jù)表里多個參數(shù)兩兩的相似度,從而可展示參數(shù)的相關(guān)系數(shù)矩陣,其相關(guān)系數(shù)計算公式見式(1)。

(1)

式中:ρ為相關(guān)系數(shù);X1和X2為任意兩個參數(shù);Cov為協(xié)方差;E為數(shù)學(xué)期望;D為方差。圖1展示了所有參數(shù)之間的熱力圖關(guān)系。熱力圖的顏色越深,表示線性相關(guān)程度越高;對于相關(guān)系數(shù)小的兩個參數(shù),只能說明二者的線性關(guān)系程度弱,但不能說明參數(shù)之間不存在其他的相關(guān)關(guān)系,如曲線關(guān)系等?？梢钥闯?

圖1 參數(shù)熱力圖分析

1)鋼纖維混凝土結(jié)構(gòu)的抗剪性能與梁的有效高度和寬度的線性關(guān)系程度最高,分別為0.83和0.73,這證明梁的尺寸對抗剪性能有直接相關(guān)的影響,在結(jié)構(gòu)設(shè)計中應(yīng)著重考慮。

2)其他參數(shù)對抗剪性能的線性影響較弱,應(yīng)進一步考慮是否有其他關(guān)系存在。

3)輸入?yún)?shù)之間的線性關(guān)系均較弱,這證明至少在線性關(guān)系程度層面,輸入?yún)?shù)的獨立性較強,均可同時作為輸入來建立模型,互相干涉影響的可能性較低,從側(cè)面可以印證模型的魯棒性較強,適用性也較強。

2 集成學(xué)習(xí)算法

集成學(xué)習(xí)的思想是組合許多的弱學(xué)習(xí)器以得到一個預(yù)測效果較好的強模型。集成學(xué)習(xí)對于不充分?jǐn)?shù)據(jù)有很好的效果,適用于鋼混結(jié)構(gòu)領(lǐng)域性能預(yù)測數(shù)量不夠充分的數(shù)據(jù)集[18]。常見的集成組合策略主要包括Bagging和Boosting兩類。其中,Bagging利用不同估計算法結(jié)果的平均值進行預(yù)測,Boosting算法通過一系列聚合的估計模型的加權(quán)平均值進行預(yù)測。圖2展示了集成學(xué)習(xí)通用的原理,從樣本集中依據(jù)兩類抽樣方法Bagging和Boosting抽取數(shù)據(jù),通過不同的集成學(xué)習(xí)算法組合弱學(xué)習(xí)器,將學(xué)習(xí)器和樣本分別加權(quán),得到強學(xué)習(xí)器,最后輸出結(jié)果。其中,同類的弱學(xué)習(xí)器稱之為同質(zhì)的基學(xué)習(xí)器,不同類的弱學(xué)習(xí)器稱之為異質(zhì)的組件學(xué)習(xí)器。常見的弱學(xué)習(xí)器包括支持向量機(SVM)、邏輯回歸、神經(jīng)網(wǎng)絡(luò)以及CART決策樹等。

圖2 集成學(xué)習(xí)原理

2.1 常用的弱學(xué)習(xí)器

2.1.1DecisionTree算法

DecisionTree算法是運用于分類的一種樹結(jié)構(gòu),其中的每個內(nèi)部節(jié)點代表對某一屬性的一次測試,每條邊代表一個測試結(jié)果,葉節(jié)點代表某個類或類的分布。其構(gòu)造分為生成和剪枝兩個步驟:由數(shù)據(jù)集生成,遞歸選擇最優(yōu)特征;剪枝檢驗生成的結(jié)果,可以將樹變得更簡單并使它具有更好的泛化能力。優(yōu)點包括分類精度高、生成的模式簡單、對噪聲數(shù)據(jù)有很好的健壯性等,是應(yīng)用最廣泛的弱學(xué)習(xí)器。

2.1.2ExtraTree算法

ExtraTree算法由許多DecisionTrees構(gòu)成,收集多個去相關(guān)樹的結(jié)構(gòu),聚集起來輸出分類結(jié)果,每棵樹都有一個隨機樣本,樣本有多個特征,每棵樹都必須從這些特征集中選擇最佳特征,然后根據(jù)一些數(shù)學(xué)指標(biāo)(本文用基尼指數(shù))拆分?jǐn)?shù)據(jù)。ExtraTree算法的隨機包括特征隨機、參數(shù)隨機、模型隨機和分裂隨機。

2.2 RandomForest算法

傳統(tǒng)的Bagging抽樣方法會從原始數(shù)據(jù)集中重復(fù)抽取子樣本,將多次采集到的樣本集作為訓(xùn)練集,而原始數(shù)據(jù)集中沒被抽取到的樣本作為測試集。圖3展示了RandomForest算法流程的一部分,首先,從樣本中隨機抽取子樣本建立子訓(xùn)練集,每個節(jié)點分裂之前隨機選擇特征生成特征子集,建立決策樹,對結(jié)果進行一票制投票。與Bagging方法相比,多了一次針對特征的隨機選擇過程。RandomForest算法與ExtraTree算法十分相似,都由許多DecisionTrees構(gòu)成,二者的主要區(qū)別包括:ExtraTree使用所有的樣本特征隨機選取,完全隨機地得到分叉值;RandomForest平均結(jié)果,在隨機子集內(nèi)得到最佳分叉屬性。

圖3 隨機森林算法示意

2.3 Boosting族算法

2.3.1XGBoost算法

XGBoost算法通過優(yōu)化結(jié)構(gòu)化損失函數(shù),加入正則項的損失函數(shù),起到降低過擬合的風(fēng)險程度,實現(xiàn)弱學(xué)習(xí)器的生成,并且沒有采用搜索方法,而是直接利用了損失函數(shù)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)值,并通過加權(quán)分位數(shù)、預(yù)排序等方法對性能進行提升。

2.3.2AdaBoost算法

AdaBoost算法通過不斷地模型迭代,更新樣本的權(quán)重,其每次用的數(shù)據(jù)點均相同,只是權(quán)重值不同。分類誤差越大,則對應(yīng)的弱學(xué)習(xí)器權(quán)重系數(shù)越小,即誤差率小的弱學(xué)習(xí)器權(quán)重系數(shù)越大。每一次生成的子模型,都是生成擬合結(jié)果更好的模型。采用加權(quán)平均方法進行融合,得到最終的強分類器。該算法具有原理簡單、分類精度高、能使用各種分類模型來構(gòu)建弱學(xué)習(xí)器、不容易過擬合等特點。

2.3.3GradientBoost算法

GradientBoost算法的思想是借鑒于梯度下降法,基本原理是根據(jù)當(dāng)前模型損失函數(shù)的負(fù)梯度信息來訓(xùn)練新加入的弱學(xué)習(xí)器,然后將訓(xùn)練好的弱分類器以累加的形式結(jié)合到現(xiàn)有模型中。實質(zhì)是基于Boosting集成思想的加法模型,訓(xùn)練時采用前向分布算法進行貪婪的學(xué)習(xí),每次迭代都學(xué)習(xí)一棵決策樹來擬合之前的樹的預(yù)測結(jié)果與訓(xùn)練樣本真實值的殘差。XGBoost實質(zhì)上是GradientBoost的極限狀態(tài)。

3 試驗與分析

3.1 試驗環(huán)境

本文的程序使用Anaconda Navigator軟件平臺中的Jupyter Notebook模塊進行搭建,基于Python 3.7編程語言及建立在Numpy、Pandas和Matplotlib之上的Scikit-Learn工具庫進行集成學(xué)習(xí)算法的編程計算?；诮徊骝炞C方法進行自動調(diào)參,在缺省參數(shù)的基礎(chǔ)上調(diào)整為合適的超參數(shù),使模型得到其能力的最優(yōu)結(jié)果及較優(yōu)的泛化性能,使用語法示例如下:

from sklearn.ensemble import RandomForestClassifier

clf=RandomForestClassifier(n_estimators=10,max_features=2)

clf=clf.fit(X, y)

scores=cross_val_score(clf, X, y)

3.2 試驗結(jié)果與分析

表2展示了各算法的決定系數(shù)(R2)、均方根誤差(RMSE)和平均絕對誤差(MAE),見式(2)。決定系數(shù)的值越大,自變量對因變量的解釋程度越高,自變量引起的變動占總變動的百分比越高;RMSE和MAE的值越低,誤差越小,預(yù)測的準(zhǔn)確度越高,但RMSE與MAE更多地表征模型的穩(wěn)定性,而非準(zhǔn)確度。

(2a)

表2 算法計算結(jié)果對比

(2b)

(2c)

圖4展示了各算法準(zhǔn)確度的計算過程,包括集成學(xué)習(xí)所需要的弱學(xué)習(xí)器(圖4a、b),典型的集成學(xué)習(xí)兩族算法(圖4c～f)。

a—DecisionTree; b—ExtraTree; c—RandomForest; d—XGBoost; e—AdaBoost; f—GradientBoost; g—KNN; h—Rigde; i—Lasso; j—MLP。

1)圖4a～j都展示了在測試集和訓(xùn)練集的計算結(jié)果對比,測試集的結(jié)果相較于訓(xùn)練集差一些,但測試集的準(zhǔn)確度也無限趨于訓(xùn)練集,證明模型均未過

擬合,可拓展性較強,即模型的泛化性較強。隨著數(shù)據(jù)的逐漸積累,測試集的結(jié)果可能會與訓(xùn)練集一樣好。

2)結(jié)果最優(yōu)的為Bagging族算法,其次是Boosting族算法,這證明集成學(xué)習(xí)預(yù)測SFRC結(jié)構(gòu)的抗剪性能的模型的準(zhǔn)確度較高,模型的預(yù)測能力相對穩(wěn)定,可以推廣應(yīng)用。

3)在集成學(xué)習(xí)諸多算法的結(jié)果中,又以RandomForest算法和GradientBoost算法最優(yōu),準(zhǔn)確度分別達(dá)到了0.931和0.950,且RMSE和MAE的值也顯示模型的穩(wěn)定性較好,證明這兩種算法最適用于抗剪性能的預(yù)測。另外,GradientBoost算法能靈活處理各種類型的數(shù)據(jù),包括連續(xù)和離散數(shù)據(jù),且易于特征組合和選擇,調(diào)參相對少,這使其更易于無機器學(xué)習(xí)算法基礎(chǔ)的工程設(shè)計從業(yè)者快速、高效的使用?？傊?這兩種算法都是集成學(xué)習(xí)中的代表性算法,也被證明具有高效、精準(zhǔn)的計算能力,二者的集成思路不同,GradientBoost是多棵樹累加之和且只能順序生成,而RandomForest是多棵樹進行多數(shù)表決且可以并行生成;前者是依據(jù)偏差優(yōu)化,后者是方差優(yōu)化;前者是全樣本訓(xùn)練,后者是有放回的抽樣訓(xùn)練。二者各有利弊,在計算時最好兩個算法都用,使結(jié)果互相印證。

4)弱學(xué)習(xí)器的準(zhǔn)確度不如集成學(xué)習(xí)算法,準(zhǔn)確度的均值只有0.886,證明集成了各弱學(xué)習(xí)器的模型更適用于本研究,可以更好地對鋼混結(jié)構(gòu)抗剪強度進行評估預(yù)測。需要注意的是,ExtraTree比RandomForest算法更具有隨機性,因該算法不需選擇最佳閾值,而是采用隨機閾值進行分枝;并且這種增加的隨機性有助于創(chuàng)建更多彼此獨立的決策樹,各個子決策樹越獨立,綜合的效果就越大于大數(shù)定律。這兩點也是ExtraTree的準(zhǔn)確度僅次于RandomForest算法結(jié)果的原因。

5)XGBoost算法雖然是基于GradientBoost的極致梯度提升算法,兩者思想基本相同,但做了一些優(yōu)化,包括二階導(dǎo)數(shù)使損失函數(shù)更精確、正則項避免樹過擬合以及Block存儲可以并行計算等。但XGBoost準(zhǔn)確度只有0.907,并不如GradientBoost的0.950,這說明優(yōu)化并不一定會使模型的準(zhǔn)確度提升,因此不可一味地使用最新的優(yōu)化算法,有時經(jīng)典算法可能更適用。

6)本研究還使用4種回歸算法對數(shù)據(jù)集進行計算,包含k近鄰算法(KNN)、核脊回歸(Rigde)、Lasso回歸(Lasso)與多元線性回歸(MLP),結(jié)果展示在圖4 g-j與表2中,可以看出,回歸算法的準(zhǔn)確度均未超過0.900,均值只有0.809,且穩(wěn)定性也較弱,比幾種集成學(xué)習(xí)算法的表現(xiàn)差,這證明了集成學(xué)習(xí)模型在計算強非線性系統(tǒng)的數(shù)據(jù)集時表現(xiàn)更好,而回歸算法的表現(xiàn)較差,并不適用。

4 結(jié)束語

本文建立了鋼纖維混凝土結(jié)構(gòu)抗剪性能的機器學(xué)習(xí)預(yù)測模型,采用了集成學(xué)習(xí)算法對文獻(xiàn)中的數(shù)據(jù)進行建模,得到了如下結(jié)論:

1)準(zhǔn)確度最優(yōu)的GradientBoost模型達(dá)到了0.950,充分證明了模型的有效性,可以準(zhǔn)確地預(yù)測SFRC結(jié)構(gòu)的抗剪性能。

2)測試集與訓(xùn)練集的計算過程對比證明了模型的泛化性較高,可拓展應(yīng)用。

3)集成學(xué)習(xí)中Bagging族算法比Boosting族算法的結(jié)果更優(yōu),其中的GradientBoost與RandomForest最優(yōu)。

4)集成學(xué)習(xí)的準(zhǔn)確度和穩(wěn)定性均高于傳統(tǒng)回歸算法,證明集成學(xué)習(xí)更適用于SFRC結(jié)構(gòu)抗剪強度預(yù)測問題。

未來的研究方向是選用集成學(xué)習(xí)模型中表現(xiàn)較優(yōu)的模型進行不斷優(yōu)化,并依據(jù)文獻(xiàn)、實體工程數(shù)據(jù)等來源不斷拓展數(shù)據(jù)集的參數(shù)及數(shù)量,分析不同參數(shù)對預(yù)測結(jié)果的影響程度及相關(guān)關(guān)系,以便得到結(jié)構(gòu)性能與各輸入?yún)?shù)的簡化數(shù)學(xué)關(guān)系式,最終使模型可實際應(yīng)用于工程設(shè)計與研究。