鄧新國 游緯豪 徐海威

①(福州大學(xué)數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院 福州 350108)

②(福建星云電子股份有限公司 福州 350000)

1 引言

動力電池組的電阻點焊是一個既有靜態(tài)變量疊加影響又有熱、力、電等動態(tài)變量相互耦合的高度非線性過程[1,2]。在達(dá)到合格的焊接效果之前，需要結(jié)合人工經(jīng)驗進(jìn)行大量的試樣，嘗試各種焊接參數(shù)組合，才能得到目標(biāo)值的最優(yōu)參數(shù)，從而造成時間、材料消耗多等問題。國外學(xué)者Pandey等人[3]利用田口法對低碳鋼進(jìn)行電阻點焊實驗，統(tǒng)計分析電流、時間、電極壓力對抗拉剪載荷的影響，得到較優(yōu)工藝參數(shù)。Arunchai等人[4]把焊接時間、電極壓力、電流作為神經(jīng)網(wǎng)絡(luò)的輸入，抗拉剪載荷作為輸出，得到了預(yù)測焊點強(qiáng)度的模型。Pashazadeh等人[5]利用神經(jīng)網(wǎng)絡(luò)與多目標(biāo)遺傳算法對標(biāo)準(zhǔn)鋼板進(jìn)行點焊工藝參數(shù)優(yōu)化，獲得了最佳工藝參數(shù)搭配。Wan等人[6]利用徑向基神經(jīng)網(wǎng)絡(luò)建立了微電阻焊接質(zhì)量的預(yù)測模型。國內(nèi)學(xué)者王先逵和趙杰[7]通過模式增強(qiáng)和函數(shù)連接網(wǎng)絡(luò)實現(xiàn)了焊接工藝過程的分類學(xué)習(xí)和自動識別。趙大偉等人[8]利用灰色關(guān)聯(lián)分析研究鈦合金微電阻焊接參數(shù)對焊接質(zhì)量的影響，得到了工藝參數(shù)的最優(yōu)組合。高星鵬等人[9]使用正交實驗極差分析研究焊接參數(shù)對焊接質(zhì)量的影響，通過遺傳算法和神經(jīng)網(wǎng)絡(luò)對點焊工藝參數(shù)進(jìn)行優(yōu)化，并把多目標(biāo)優(yōu)化問題轉(zhuǎn)為單一混合目標(biāo)優(yōu)化，得到良好的焊點力學(xué)性能預(yù)測模型。劉偉和郭猛[10]提出將Logistic映射微粒群優(yōu)化算法和BP神經(jīng)網(wǎng)絡(luò)結(jié)合的方法，對08AL鋼板點焊工藝參數(shù)建模優(yōu)化，得到三大主要工藝參數(shù)的最優(yōu)組合。舒服華和王志輝[11]提出將神經(jīng)網(wǎng)絡(luò)和蟻群算法結(jié)合的模型，對08AL鋼板電阻點焊工藝參數(shù)進(jìn)行優(yōu)化，通過仿真實驗顯示了該方法的有效性。

從上述文獻(xiàn)來看，正交實驗等統(tǒng)計法對于了解各參數(shù)對模型的影響具有良好的輔助作用，但無法全面考慮實際參數(shù)的取點問題。神經(jīng)網(wǎng)絡(luò)因其極強(qiáng)的非線性映射能力，在模擬點焊過程上有很好的表現(xiàn)，不過其缺陷是易在小數(shù)據(jù)集上陷入過擬合，導(dǎo)致實測中準(zhǔn)確率下降[12]。且大多數(shù)文獻(xiàn)僅對目標(biāo)值的最大值進(jìn)行優(yōu)化，未考慮到可變目標(biāo)值的問題。本文針對以上問題提出貝葉斯極限梯度提升機(jī)(Bayes eXtreme Gradient Boosting, Bayes-XGBoost)結(jié)合粒子群算法，在厚度為0.15 mm的鎳片和0.4 mm的不銹鋼電池正極帽上實驗，獲取實際工況中的電阻點焊數(shù)據(jù)。其特征包括焊接壓力、焊接電壓1、焊接電壓2、焊接時間1和焊接時間2，其中1, 2代表兩段焊接過程，該目標(biāo)值為抗拉剪載荷。利用極限梯度提升機(jī)(eXtreme Gradient Boosting,XGBoost)和粒子群算法進(jìn)行建模預(yù)測，通過XGBoost的非線性切分能力和防控過擬合機(jī)制構(gòu)建點焊工藝參數(shù)到目標(biāo)值的模型，然后通過粒子群算法在模型中為需求值尋找最優(yōu)的工藝參數(shù)[13,14]。將XGBoost正向訓(xùn)練與粒子群算法反向預(yù)測結(jié)合，獲得可變目標(biāo)值的工藝參數(shù)。XGBoost超參數(shù)眾多，故采用貝葉斯算法對參數(shù)進(jìn)行聯(lián)合優(yōu)化，選取全局最優(yōu)的超參數(shù)[15]。設(shè)定的目標(biāo)值不是最大抗拉剪載荷值，而是根據(jù)具體需求變化而定，對于不同的領(lǐng)域如汽車、列車和航空材料等，需要的目標(biāo)值均不同，該設(shè)計思路體現(xiàn)在粒子群算法的目標(biāo)函數(shù)設(shè)定。在測試集上對Bayes-XGBoost做正向訓(xùn)練的對比實驗，對Bayes-XGBoost+粒子群做整體預(yù)測的對比實驗，來檢驗該模型的有效性。

2 Bayes-XGBoost+粒子群算法

2.1 XGBoost算法

電阻點焊工藝參數(shù)相互干擾共同影響，對焊接質(zhì)量的影響呈非線性關(guān)系[16]。集成學(xué)習(xí)算法具有良好的擬合和泛化能力，其中XGBoost具有強(qiáng)大的非線性切分能力以及較好的防控過擬合機(jī)制，適合本問題的研究。

XGBoost由多個基分類器聯(lián)合決策，先訓(xùn)練前k-1棵 決策樹，再訓(xùn)練第k 棵決策樹，第k 棵樹的輸入與前面樹的殘差相關(guān)。樹的預(yù)測函數(shù)為

其中，xi為 樣本，為 結(jié)果，U 是樹集合。通過多個決策樹使預(yù)測值一步一步接近真實值，訓(xùn)練的目標(biāo)函數(shù)為

其中，L (θ)為 誤差，Ω (θ)為正則化項。學(xué)習(xí)過程中保持之前模型不變的基礎(chǔ)上加入新項fk，若目標(biāo)函數(shù)減小，就把fk加入模型。XGBoost利用目標(biāo)函數(shù)的2階導(dǎo)數(shù)進(jìn)一步增強(qiáng)了擬合能力。正則化項Ω(θ)即樹的復(fù)雜度，如式(3)

其中， w 為葉子權(quán)重，Q 為葉子個數(shù)，γ , λ用于增強(qiáng)模型防控過擬合能力。

XGBoost算法的學(xué)習(xí)過程是對枚舉的決策樹結(jié)構(gòu)做最優(yōu)決定，根據(jù)貪心策略不斷選擇增益最大的節(jié)點。最優(yōu)化分裂停止條件有3個，即引入的分裂增益小于設(shè)定閾值，樹深達(dá)到最大深度，樣本權(quán)重和 小于設(shè)定閾值[17]。

2.2 貝葉斯優(yōu)化算法

貝葉斯優(yōu)化算法是一種基于概率分布的算法，通過先驗函數(shù)表示分布假設(shè)，使用采集函數(shù)決定采樣位置。可以決定參數(shù)集合的下一步采樣，集成了不確定性[18]。針對XGBoost的參數(shù)選擇，先驗函數(shù)選擇高斯過程，表示優(yōu)化函數(shù)的分布假設(shè)；采集函數(shù)選擇提升概率(Probability Of Improvement,POI)函數(shù)，從后驗分布中選取下一組參數(shù)并評估。

高斯過程指XGBoost算法的參數(shù)組合，有限個數(shù)的組合都存在一個聯(lián)合高斯分布

其中e (x)=E(f(x))， 即期望，m (x,x′)是 x 的協(xié)方差，f(x)是 平均絕對誤差。對于組合X ={x1,x2,···,xj}，把{x1:j,f1:j}加入樣本后，聯(lián)合高斯分布變化，同時得出后驗概率。

采集函數(shù)的思路是選取一個能讓最大值以最大概率提高的點。目標(biāo)是在集合 S中尋找使函數(shù)f(x) 達(dá)到全局最優(yōu)的取值x，即

利用貝葉斯優(yōu)化選取XGBoost參數(shù)的流程：初始化參數(shù)集合，送入高斯模型中，將樣本送入預(yù)測模型，根據(jù)輸出對高斯模型修正。若加入的組合達(dá)到誤差要求就終止優(yōu)化過程，否則采集函數(shù)選取下一組參數(shù)，根據(jù)誤差修正高斯模型并進(jìn)行下一組參數(shù)評估[19]。

2.3 粒子群算法

粒子群算法是一種啟發(fā)式優(yōu)化算法，在狀態(tài)空間中對每一個位置進(jìn)行評估，得到最優(yōu)位置和最優(yōu)目標(biāo)值。每個粒子是多維空間中的搜索個體，個體位置為候選解，飛行過程即尋優(yōu)過程，速度和位置根據(jù)歷史最優(yōu)位置和群體最優(yōu)位置更新。速度、位置更新公式為

其中， Vid是個體速度，F(xiàn)id是個體位置。ω 是慣性因子，控制速度變化， ω取較大值時模型的全局尋優(yōu)能力強(qiáng)，局部尋優(yōu)能力弱；取較小值時模型的全局尋優(yōu)能力弱，局部尋優(yōu)能力強(qiáng)[20]。 c1和 c2是加速參數(shù)，rand (0, 1)是[0, 1]內(nèi)的隨機(jī)數(shù)， Pid是第i個變量的個體最優(yōu)值的第 d 維，Pwd是當(dāng)前全局最優(yōu)解w的第 d維。把位置信息送入目標(biāo)函數(shù)計算個體和群體的歷史最優(yōu)位置及最優(yōu)適應(yīng)度值，不斷迭代更新，直至達(dá)到終止條件[21]。

之前電阻點焊優(yōu)化的目標(biāo)是尋求抗拉剪載荷的最大值，值越大點焊質(zhì)量越好[22]。本文的目標(biāo)是大于需求值，且與需求值相差越小越好。故將p (抗拉剪載荷)與n (需求值)的差作為粒子群的目標(biāo)函數(shù)，如式(8)所示

3 電阻點焊參數(shù)預(yù)測方法

本文算法結(jié)合了貝葉斯優(yōu)化算法，XGBoost算法和粒子群算法，如表1所示，整體分為兩部分：XGBoost模型的訓(xùn)練過程和粒子群算法的尋優(yōu)過程，對應(yīng)表1中的步驟1和步驟2。第1部分的準(zhǔn)備工作包括對焊接數(shù)據(jù)進(jìn)行歸一化和切分，對算法的參數(shù)進(jìn)行初始化，對應(yīng)步驟1。然后是XGBoost的正向訓(xùn)練，同時利用貝葉斯優(yōu)化搜尋最佳參數(shù)，對應(yīng)步驟2。每次貝葉斯優(yōu)化選擇參數(shù)的過程即XGBoost的一次訓(xùn)練過程，XGBoost的訓(xùn)練是一個不斷迭代的過程，在未滿足停止條件之前不斷進(jìn)行最優(yōu)化分裂，對應(yīng)步驟2.2。貝葉斯優(yōu)化的停止條件是滿足誤差要求，否則迭代進(jìn)行步驟2.1～2.3。在XGBoost訓(xùn)練完成，形成虛擬的映射函數(shù)后，利用粒子群算法對映射函數(shù)進(jìn)行反向搜索求解，對應(yīng)步驟3。第2部分首先初始化粒子群，根據(jù)需求值按公式設(shè)定目標(biāo)函數(shù)。未滿足停止條件前不斷迭代，對應(yīng)步驟3.1～3.3。最終得到全局最優(yōu)預(yù)測結(jié)果。

算法復(fù)雜度分為3部分，XGBoost的時間復(fù)雜度主要消耗在學(xué)習(xí)樹，樹在搜索、分裂結(jié)點時需要對每個特征遍歷所有樣本，通過計算增益獲取可能的分裂結(jié)點，樣本數(shù)為 N ，特征數(shù)為W ，時間復(fù)雜度為O (N ×W)，因為做了列分塊優(yōu)化，特征維度并行訓(xùn)練，分塊數(shù)為B ， 故時間復(fù)雜度為O (N ×W/B)。訓(xùn)練數(shù)據(jù)可以當(dāng)作一個 N ×W的超大規(guī)模稀疏矩陣，空間復(fù)雜度為O (N ×W)。貝葉斯優(yōu)化主要是根據(jù)已有結(jié)果建模高斯過程，計算量消耗在計算協(xié)方差矩陣的逆，時間復(fù)雜度為O (N3)，但也優(yōu)于網(wǎng)格搜索和隨機(jī)搜索。空間消耗主要在樣本空間上，空間復(fù)雜度為 O (N)。粒子群算法的時間復(fù)雜度與粒子個數(shù) M 、維度數(shù)C 、循環(huán)次數(shù) T有關(guān)，時間復(fù)雜度為O (M ×C×T)， 空間復(fù)雜度為O (M ×C)。

整個算法的時間、空間復(fù)雜度占比主要在XGBoost，但實現(xiàn)過程對內(nèi)存、IO, CPU cache均做了優(yōu)化，所以其速度大大加快。而且XGBoost加入了正則項，限制樹的復(fù)雜度，既保證了泛化能力，又減小了空間復(fù)雜度。實驗結(jié)果5.3.2節(jié)中有具體 的時間對比。

表1 Bayes-XGBoost+粒子群算法

4 實驗樣本獲取及模型參數(shù)設(shè)置

4.1 實驗數(shù)據(jù)獲取

結(jié)合文獻(xiàn)[1,2,4,10,23]以及實際經(jīng)驗，選擇對焊接結(jié)果有重要影響的參數(shù)，即焊接壓力、焊接電壓1、焊接電壓2、焊接時間1、焊接時間2作為輸入?yún)?shù)；點焊工藝質(zhì)量以點焊接頭的力學(xué)性能參數(shù)抗拉剪載荷為指標(biāo)，抗拉剪載荷為抗拉強(qiáng)度和抗剪強(qiáng)度的綜合指標(biāo)[23]。為了保證實驗數(shù)據(jù)的均勻分布，盡可能全面模擬真實環(huán)境，結(jié)合實際點焊工程經(jīng)驗和設(shè)備可調(diào)范圍進(jìn)行取點，各個焊接參數(shù)的范圍見表2，焊接結(jié)果參數(shù)抗拉剪載荷值在90～180 N。共計1280個組合，舍去極限狀態(tài)下以及不符合工程要求的選點，剩余576個組合。因存在工藝不穩(wěn)定性，每個組合需進(jìn)行不少于5次的重復(fù)測量，對多次測量結(jié)果進(jìn)行取最小值，取最小值的原因是最終預(yù)測的結(jié)果是要大于需求值的，若最小值大于需求值，則普通情況均滿足需求值。

表2 參數(shù)范圍

使用厚度0.15 mm的鎳片和0.4 mm的不銹鋼電池正極帽在米亞基8000BMAD上焊接，該機(jī)器最大功率99.9 kW，最大電壓10 V，焊接時間可精確到0.1 ms。

4.2 模型參數(shù)設(shè)置

貝葉斯優(yōu)化XGBoost的參數(shù)集合主要包含3類參數(shù)：Booster參數(shù)、通用參數(shù)、目標(biāo)參數(shù)，如表3所示。

為平衡算法的搜索能力和計算量，粒子群算法的種群規(guī)模 S取50，迭代次數(shù)500，粒子維度5，控制加速的因子 C1=C2= 1.49，慣性權(quán)重W =0.729，粒 子解空間范圍是[0, 1]。

5 實驗結(jié)果

5.1 貝葉斯優(yōu)化結(jié)果

利用貝葉斯優(yōu)化搜尋XGBoost的參數(shù)，并與網(wǎng)格搜索法做對比，將迭代誤差繪制成圖1。其中，橫坐標(biāo)是迭代次數(shù)，縱坐標(biāo)是測試集的誤差均方(Mean Square Error, MAE)指標(biāo)，由式(9)得到

表3 XGBoost參數(shù)集合

其中， k為樣本個數(shù)，| yi-|為真實值與預(yù)測值的絕對誤差。網(wǎng)格搜索初始誤差較大，最終達(dá)到0.0314，貝葉斯優(yōu)化在經(jīng)過約80次迭代達(dá)到穩(wěn)定，誤差降至0.0151?？芍惾~斯優(yōu)化XGBoost的參數(shù)優(yōu)于網(wǎng)格搜索，使整體算法具有良好的預(yù)測能力。參數(shù)如表4.

5.2 XGBoost算法結(jié)果

利用表4參數(shù)訓(xùn)練XGBoost，得到電阻點焊模型。為了解哪些特征對于XGBoost模型最重要，繪制出每個樣本的每個特征的shap值，shap是一種博弈論方法，用于解釋機(jī)器學(xué)習(xí)模型的輸出，代表特征對模型輸出的貢獻(xiàn)。圖2是對特征進(jìn)行排序的結(jié)果，依據(jù)是所有樣本的shap值重要度，顯示出每個特征對模型輸出的影響，推高預(yù)測以紅色顯示，推低預(yù)測以藍(lán)色顯示。

圖1 兩種搜索方法的結(jié)果

表4 XGBoost參數(shù)

特征值0～4分別為焊接壓力、焊接電壓1、焊接電壓2、焊接時間1、焊接時間2。特征對輸出的影響程度從高到低為焊接電壓2、焊接電壓1、焊接壓力、焊接時間2、焊接時間1。可看出第2段電壓對結(jié)果的影響是最大的，超過臨界點后焊接效果會變差。隨著焊接壓力增大，在臨界點之前抗拉剪載荷逐漸增大，在臨界點之后，抗拉剪載荷逐漸減小。電極壓力過大導(dǎo)致接觸電阻減少，壓痕變大，故點焊強(qiáng)度變?nèi)鮗10]。

可視化訓(xùn)練過程用熱力圖表示，如圖3所示，橫坐標(biāo)為每個樣本，縱坐標(biāo)為基值變化。熱力圖根據(jù)博弈論得到，意義為每個樣本從基值到輸出的推入過程，紅色代表存在特征推高基值，藍(lán)色代表存在特征推低基值。

表5是預(yù)測結(jié)果的對比，TRAIN-MAE為訓(xùn)練集的MAE, TEST-MAE為測試集的MAE?？芍惾~斯優(yōu)化XGBoost優(yōu)于隨機(jī)森林 (Random Forest,RF)、后向傳播神經(jīng)網(wǎng)絡(luò) (Back Propagation,BP)、網(wǎng)格搜索極限梯度提升機(jī) (Grid search eXtreme Gradient Boosting, Grid-XGBoost)，且誤差滿足需求。

圖2 特征對模型輸出的影響

圖3 可視化訓(xùn)練熱力圖

5.3 粒子群結(jié)果

5.3.1 粒子尋優(yōu)過程

點焊出現(xiàn)頻率最高的需求值是130 N，以此為例觀察粒子群的變化，圖4為粒子在搜索空間的初始化和迭代結(jié)束的結(jié)果，圖中橫縱坐標(biāo)為解空間的兩個維度，單位已歸一化，范圍均在[0, 1]?？梢娏Ｗ幼罱K收斂效果較好。經(jīng)過約300次的迭代后，獲得穩(wěn)定的全局最優(yōu)目標(biāo)值，此時最優(yōu)值為130.02 N。

5.3.2 多種指標(biāo)結(jié)果對比

為了更加直觀地證明整體模型的工程實用性，直接計算Bayes-XGBoost+粒子群算法的整體誤差。使用粒子群預(yù)測得到的參數(shù)在實際環(huán)境中測試，此時實測結(jié)果從全局角度看相當(dāng)于整體模型的預(yù)測值，而需求值作為真實值，輸入誤差指標(biāo)中計算誤差。這樣做相當(dāng)于還原了問題的本質(zhì)，直接檢驗需求值與模型結(jié)果實測值的差異。

在真實環(huán)境下通過實測驗證最優(yōu)化預(yù)測結(jié)果的有效性。在抗拉剪載荷的取值范圍90～180 N內(nèi)取點，每隔5 N取1個采樣點作為焊接需求值，每個需求值用4種算法分別預(yù)測焊接參數(shù)，得到的最優(yōu)化預(yù)測參數(shù)在實際環(huán)境中做點焊測試，每組參數(shù)做5次實驗取平均，得到穩(wěn)定的最優(yōu)化預(yù)測結(jié)果。為了驗證模型的有效性，采用以下兩種誤差評價指標(biāo)：均方根誤差(Root Mean Square Error, RMSE)、希爾不等系數(shù)(Theil Inequality Coefficient, TIC)，它們的計算方式如式(10)和式(11)所示

表5 模型預(yù)測結(jié)果

圖4 粒子初始化及迭代結(jié)束的分布

其中，k為樣本個數(shù)，yi與是需求值以及最優(yōu)化預(yù)測的實測結(jié)果，誤差指標(biāo)均是越小越好，結(jié)果如表6所示。

Bayes-XGBoost+粒子群算法在兩種誤差指標(biāo)中均低于其余方法，并且誤差值減小至實際工藝要求范圍內(nèi)。

預(yù)測誤差不能完全證明算法的有效性，實際工藝要求是結(jié)果大于需求值，高于需求值5 N比低于需求值0.1 N更優(yōu)，準(zhǔn)確率也是衡量算法的重要標(biāo)準(zhǔn)，用實測合格個數(shù)除以總個數(shù)得到準(zhǔn)確率，表7是準(zhǔn)確率對比。

可以看出Bayes-XGBoost+粒子群準(zhǔn)確率最高，同時在處理大規(guī)模數(shù)據(jù)集時，算法效率也要考慮，表8是速度對比。

XGBoost在使用多核多線程的時候能夠發(fā)揮很強(qiáng)的性能，處理大數(shù)據(jù)時具有速度優(yōu)勢。經(jīng)過多種算法的誤差指標(biāo)、準(zhǔn)確率、執(zhí)行效率對比后，證明Bayes-XGBoost+粒子群算法的綜合性能較強(qiáng)，在對電阻點焊參數(shù)進(jìn)行預(yù)測的時候具有很好的效果，能對實際點焊工藝提供有效的輔助作用。

表6 算法的誤差

表7 算法的準(zhǔn)確率

表8 算法所用時間

6 結(jié)論

準(zhǔn)確預(yù)測可變需求值的工藝參數(shù)可以極大地減少時間和材料耗費(fèi)，但點焊工藝的不穩(wěn)定性以及數(shù)據(jù)規(guī)模都增加了預(yù)測的難度，提出一種能夠全面模擬點焊過程，且具有防控過擬合能力的方法是很有意義的。本文通過構(gòu)建576組點焊樣本，利用XGBoost算法對點焊過程進(jìn)行建模，引入貝葉斯優(yōu)化自動搜尋參數(shù)，通過與其他算法的對比實驗表明XGBoost對電阻點焊過程具有良好的擬合和泛化能力。然后利用粒子群算法對已形成的正向預(yù)測模型搜尋可變目標(biāo)值的工藝參數(shù)，反向預(yù)測最優(yōu)參數(shù)。在與其他算法對比后，驗證Bayes-XGBoost+粒子群算法對可變目標(biāo)值的工藝參數(shù)預(yù)測具有較高的可靠性，在誤差、準(zhǔn)確率、效率上均有優(yōu)秀表現(xiàn)。有助于工程師在新的需求值上快速選取合適的工藝參數(shù)，提升了效率。