莊曙東，史柏迪*,，陳天翔，陳威

最小二乘支持向量機在U71Mn高錳鋼表面粗糙度預測模型中的運用

莊曙東1,2，史柏迪*,1,2，陳天翔1，陳威1

（1.河海大學 機電工程學院，江蘇 常州 213022；2.南京航空航天大學 江蘇省精密與微細制造技術重點實驗室，江蘇 南京，213009）

獲取了U71Mn高錳鋼在特定主軸轉速、進給量、銑削深度a、銑削寬度a加工條件下的表面粗糙度的原始數(shù)據(jù)。基于留出法原則將原始數(shù)據(jù)依次隨機分為兩組，一組為訓練集用于訓練U71Mn高錳鋼的預測模型；另一組數(shù)據(jù)為驗證集用于驗證模型，并且通過機器學習性能評價指標來確定模型的最終預測精確率。通過實際建模對比發(fā)現(xiàn)最小二乘支持向量機預測模型其擬合以及預測精度明顯高于傳統(tǒng)多元線性回歸模型。最小二乘支持向量機（LSSVM）通過對原支持向量機算法（SVM）進行了算法改進，在算法中把原求解Lagrange乘子不等式約束的二次規(guī)劃（QP）問題，轉化為等式約束即求解線性方程組，顯著減少了計算機運算的時間復雜度。并且通過尋求結構化風險最小提高了學習機的泛化能力，在觀測樣本數(shù)量較小的情況下，容易實現(xiàn)經(jīng)驗風險和置信范圍的最小化，使模型對未知樣本有良好的魯棒性與預測精度。

U71Mn高錳鋼；最小二乘支持向量機；表面粗糙度預測模型

U71Mn高錳鋼因抗沖擊性良好在工程機械中運用廣泛。如高速鐵路的軌道、履帶車輛的主從動輪，甚至碎石機上的碎石板。但高錳鋼在切削加工過程中，由于塑性變形大，奧氏體組織逐步轉變?yōu)榧毦Я畹鸟R氏體組織[1]，在切削參數(shù)配置不合理的情況下極易導致加工硬化，使得刀具加速磨損的同時后續(xù)加工難以進行，最為嚴重的是加工后表面光整度難以保證，直接影響零件的裝配精度與使用壽命。

對于U71Mn高錳鋼材料性質(zhì)，國內(nèi)外學者已經(jīng)有了諸多研究[2-3]，但卻少有學者專門對U71Mn高錳鋼建立表面粗糙度預測模型。其切削參數(shù)的配置往往依靠試切法與經(jīng)驗選擇[4]，該方式不僅費時費力，而且加工后表面粗糙度難以保證。

論文首先對正交試驗獲取的原始數(shù)據(jù)基于交叉驗證原則進行了處理。將數(shù)據(jù)隨機分為兩類，一組作為訓練集用于建立預測模型并且回代模型來檢驗決定系數(shù)，第二組數(shù)據(jù)為測試集用于最終檢測模型精度。并且說明所選用模型評價指標。然后基于傳統(tǒng)多元線性回歸理論建立了經(jīng)驗公式[5]，由于自變量較多最終導致決定系數(shù)較低，在處理多元非線性問題時顯然無法進行有效預測。最后建立了最小二乘支持向量機（Least Squares Support Vector Machine，LSSVM）預測模型[6]。該模型可等效為兩層神經(jīng)網(wǎng)絡的數(shù)學優(yōu)化方法，作為一種典型的機器學習算法，在小樣本下基于10倍交叉驗證法來確定參數(shù)的預測模型可獲得非常好的精確度。

1 初始建模條件

1.1 初始數(shù)據(jù)的獲取

通常希望通過訓練集建立泛化性誤差小的預測模型。但對于新的待預測樣本而言，其規(guī)律無法把控，各變量之間的相互作用也無法考量，基于此情況只能盡可能使樣本具有所有潛在樣本的“普遍規(guī)律”，來提高模型預測精度。

為使訓練集樣本盡可能具有代表性，基于正交試驗原則，建立四因素五水平的正交表，選取主軸轉速、進給量、銑削深度a、銑削寬度a為變量。結合本實驗使用的M-V5CN組合機床參數(shù)作為硬性約束設置銑削參數(shù)，如表1所示。

以上數(shù)據(jù)作為模型的訓練集，目的在于訓練學習機使其發(fā)現(xiàn)自變量之間相互作用的關聯(lián)。并且基于交叉驗證的自助法原則，來檢驗模型的回歸擬合性，從而進一步調(diào)整模型各項超參數(shù)[8]。

表1 正交試驗表參數(shù)

注：ABCD為關于a與a的正交組合因子；f為每齒輪進給量。

表2 表面粗糙度數(shù)據(jù)

為使最終模型檢驗具有盡可能高的可參考性，需有效測試模型的預測精度。最終測試集為5組在MATLAB環(huán)境下各銑削參數(shù)區(qū)間內(nèi)隨機生成、通過實際加工后獲得的參數(shù)，如表3所示。該組數(shù)據(jù)作為測試集來測試預測模型的泛化性。

表3 測試集參數(shù)

1.2 評價指標的選取

在預測任務中，給定樣本集：

式中：y為事例x的真實標記。

要評估學習器，設模型的輸出函數(shù)為的性能，就要把學習機預測結果()與進行比較，在回歸任務中常選取以下指標：

模型的2范數(shù)損失為：

模型的1范數(shù)損失為：

模型的精度為：

模型的決定系數(shù)為：

式中：為決定因子；SSR、SST分別為回歸平方和與殘差平方和。

其中決定系數(shù)亦可直接理解為對整體預測值與觀測值擬合度的一個整體評價指標。越大表示模型效果越好，最大值為1，有如下取值：

＝1：表明預測十分準確，沒有任何錯誤；

＝0：表明模型的效果很差；

＜0：表明數(shù)據(jù)之間沒有任何線性關系。

對于每一個建立起來的模型的預測精度均使用以上指標來進行度量。

2 多元線性回歸模型的建立與分析

2.1 多元線性回歸模型的建立

基于多元線性回歸模型理論[9]，可知表面粗糙度與各銑削參數(shù)之間的關系是非線性的，得到指數(shù)關系式為：

式中：1、2、3、4為對應銑削參數(shù)的指數(shù)；為除銑削參數(shù)之外影響因素的相關系數(shù)。

對式（5）兩邊取對數(shù)可得：

表1的25組數(shù)據(jù)作為的自變量，表2作為對應的取值。式（7）作為一元五次方程只需五組正交數(shù)據(jù)便可解得，為充分利用上述數(shù)據(jù)，決定基于最小二乘法對其進行處理。以下改進支持向量機（Support Vector Machine，SVM）算法也是相同思路。

式（7）可化簡為：

式中：x與均為向量式；為系數(shù)列向量。

為了使預測模型的2范數(shù)損失盡可能小，可以得到如下優(yōu)化目標：

其幾何意義可理解為在歐幾里得距離最大時、的取值?；跇O值的充要條件求導可得：

式（9）的本質(zhì)為二次函數(shù)，凸函數(shù)一定可以獲得封閉最優(yōu)解：

將樣本數(shù)據(jù)代入式（12）、式（13）可以得到下列系數(shù)的數(shù)值解：

代入式（5）得到最終經(jīng)驗公式為：

2.2 多元線性回歸模型的擬合性分析

基于式（4）可以獲得其決定系數(shù)以及各預測樣本值與實際值的偏差，如圖1所示。

可以發(fā)現(xiàn)其預測樣本對于樣本僅僅只有26%的解釋度，誤差波動在[0, 0.4] μm。

圖1 模型決定系數(shù)（r2＝0.25943）

結合式（1）～式（3）可以獲得該模型的2與1范數(shù)損失以及各項樣本預測精度，并繪制出圖2。

由圖2（c）可知，預測精度在[0.3, 0.7]間波動，結合圖2（b）和圖2（c）可知樣本精度越低其對應的2與1范數(shù)損失也越大。

在本案例中傳統(tǒng)多元線性回歸預測模型對于訓練集樣本的擬合度未到50%，訓練集學習率較差，已沒有進行真實樣本預測的必要。

3 LSSVM模型的建立與分析

3.1 LSSVM回歸模型的建立

給定訓練集樣本

支持向量機最基本的目的是在訓練集中找到一個超平面劃分不同類型的樣本，如圖3所示。從圖3可知，面a、b、c均實現(xiàn)了對A和B樣本的劃分?？芍庇^看到平面a最佳，其具有最佳的抗擾動能力。一般情況下因為訓練集的局限性和實際測量誤差（噪度）的影響，實際的訓練樣本可能在一定范圍內(nèi)波動，在這種情況下顯然超平面a的魯棒性最佳[10]，可以將潛在的風險誤差最小化，從而實現(xiàn)最佳的泛化性，支持向量機[11]當在做回歸任務時也是相同的策略。此為理想情況，在更多情況下會遇到線性不可分問題，如圖4所示。

圖3 存在多個可行平面將樣本進行劃分

由圖4可知，在低維空間中，該問題線性不可分，但曲線卻可以進行劃分。通過特定的核函數(shù)可以將原樣本映射至高維空間中，基于最優(yōu)化原理，低維線性不可分問題在高維空間中一定有可行解。

為了找到最佳超平面，基于非線性規(guī)劃求解（KKT，Karush-Kuhn-Tucker conditions）[12]條件可將問題轉化為最大化訓練樣本的幾何距離。

圖4 映射高維空間劃分平面

假定有個訓練集樣本：

式（15）中函數(shù)間隔的取值不會影響最有問題的解，通過將距離設置為1可以簡化問題為：

原方程為不等式約束，QP（Quadratic Programming，二次規(guī)劃）問題求解較為復雜，但基于式（9）的策略。引入樣本誤差變量e，可得到最終優(yōu)化問題的lagrange函數(shù)為：

該函數(shù)為一個凸函數(shù)存在最優(yōu)解，通過求導可以得到其極值為：

代入求解可以得到LSSVM輸出形式的簡化標準型式為：

將表1和表2的訓練數(shù)據(jù)按照表4的特征參數(shù)在MATLAB中訓練向量機。

表4 模型特征參數(shù)

表4中代價函數(shù)是用來確定式（19）中各項參數(shù)，用交叉驗證中交叉熵驗證原則以及上文中最小二乘法思想可以將風險最小化，以此來保證對已知訓練集樣本的擬合性，且未知樣本也能具有良好的泛化性。式（19）中的即對應表4中的內(nèi)核函數(shù)。其中高斯內(nèi)核[13]用來實現(xiàn)圖4的功能，將數(shù)據(jù)映射至高維空間來尋求最優(yōu)超平面。對于內(nèi)核函數(shù)的選用尚且為一個未決問題。

訓練完成的最小二乘向量機及其正則系數(shù)、平方帶寬2設置如圖5所示。

圖5 模型訓練完成圖（γ＝54.5982，σ2＝5.6557）

在相同的策略以及參數(shù)設置下，模型擬合以及預測分析結果具有可復制性。

3.2 LSSVM回歸模型的擬合性分析

在擬合度測試中，最重要的是決定系數(shù)對訓練集樣本按照式（4）進行處理，可得圖6。

對于測試樣本的擬合度良好，最終解釋度為96.33，雖不及BP神經(jīng)網(wǎng)絡可以達到近似100%，但也正是因為如此可以有效避免過擬合現(xiàn)象[12]，因為輸入的訓練樣本不可能包含觀測變量的所有規(guī)律，一旦過擬合對于測試樣本便會失去泛化性。

圖6 擬合決定系數(shù)圖（r2＝0.96328）

按照式（3）可以獲取各項預測精度。圖7的精度測試可以更加直觀地反應其擬合情況。

圖7 擬合精度圖

由圖可知各項的精度均在91%以上，無較大的誤差項。通過式（1）、式（2）結合圖8來觀察各項產(chǎn)生的誤差以及累計誤差。

可以發(fā)現(xiàn)其誤差各項波動與精度關系呈現(xiàn)反比。相比于傳統(tǒng)多元線性回歸方程，LSSVM擬合精度、誤差波動、決定系數(shù)均有較大提升。

3.3 LSSVM預測模型的精度分析

將表3數(shù)據(jù)代入LSSVM預測模型，按照式（3）、式（4）進行處理可得到圖9、圖10。

基于以上結果可發(fā)現(xiàn)對于未知樣本其依舊具有良好的泛化性，可作為參考承擔預測任務。

圖8 模型性能

圖9 預測決定系數(shù)圖（r2＝0.88174）

4 結論

（1）傳統(tǒng)多元線性回歸理論，作為一種線性回歸模型廣義上因為利用訓練集來計算參數(shù)a和b可以理解為近似有監(jiān)督的機器學習模型。在簡單單變量函數(shù)中有著出色的表現(xiàn)，但線性解釋往往在多元離散變量中難以實行。在本案例中雖然其推導計算過程相對簡單，但是對于訓練集樣本無法進行有效擬合，低于臨界值50%乃至于沒有進行測試集預測的必要。在多元非線性擬合和預測任務中模型還是建議選用人工智能機器學習算法，可以有效進行數(shù)據(jù)挖掘發(fā)現(xiàn)其數(shù)據(jù)特征。

圖10 預測精度圖

（2）在本文U71Mn高錳鋼預測案例中最小二乘支持向量機預測模型有著相對出色的表現(xiàn)。該算法自20世紀90年代出現(xiàn)至今已經(jīng)有了十分完備的理論體系及驗證的數(shù)學證明[14]。目前主流各類神經(jīng)網(wǎng)絡算法雖[15]也有著較高的擬合度與泛化性，但是其隱藏層數(shù)以及結點數(shù)尚無定論，而且對于樣本數(shù)量需求大，效度信度要求高，較難實行。最小二乘支持向量機通過一種將誤差風險降至最低的策略，可以有效保證預測精度。但是其參數(shù)確定基于交叉驗證原理隨著樣本數(shù)量的增大，其計算時間復雜度也呈現(xiàn)(3)規(guī)律增長，在大樣本下難以實行。

（3）基于各類算法的預測模型并沒有絕對的優(yōu)劣之分，問題的難點主要是確定本案例最適合的模型。大多數(shù)人工智能模型在參數(shù)上還有較多的未決問題，往往需要多次調(diào)試建模。本論文的預測模型僅適用U71Mn高錳鋼，但是該方法可以嘗試運用于其他材料。

[1]王豫，斯松華. 高錳鋼加工硬化規(guī)律和機理研究[J]. 鋼鐵，2001（10）：54-56.

[2]鄭文虎，張明杰. 高錳鋼的切削加工[J]. 金屬加工（冷加工），2017（12）：45-46.

[3]徐營利，王展，胡曉兵，等. 基于徑向基神經(jīng)網(wǎng)絡的刀具壽命預測模型研究[J]. 機械，2019，46（2）：13-16，29.

[4]任小平. 難加工材料切削數(shù)據(jù)庫系統(tǒng)的研究與開發(fā)[D]. 山東：山東大學，2010.

[5]王惠文，孟潔. 多元線性回歸的預測建模方法[J]. 北京航空航天大學學報，2007（4）：500-504.

[6]Ahmed K. Abbas，Najim A. Al-haideri，Ali A. Bashikh. Implementing artificial neural networks and support vector machines to predict lost circulation[J]. Egyptian Journal of Petroleum，2019（13）：132-156.

[7]范永東. 模型選擇中的交叉驗證方法綜述[D]. 太原：山西大學，2013.

[8]奉國和. SVM分類核函數(shù)及參數(shù)選擇比較[J]. 計算機工程與應用，2011，47（03）：123-124，128.

[9]Nikolaos Pandis. Multiple linear regression analysis[J]. American Journal of Orthodontics & Dentofacial Orthopedics，2016，149（4）：45-52.

[10]張海，徐宗本. 學習算法的穩(wěn)定性與泛化：一種新的穩(wěn)定性框架[J]. 數(shù)學學報，2009，52（3）：417-428.

[9]丁世飛，齊丙娟，譚紅艷. 支持向量機理論與算法研究綜述[J].電子科技大學學報，2011，40（1）：2-10.

[10]馬小姝，李宇龍，嚴浪. 傳統(tǒng)多目標優(yōu)化方法和多目標遺傳算法的比較綜述[J]. 電氣傳動自動化，2010，32（3）：48-50，53.

[12]周偉達，張莉，焦李成. 支撐矢量機推廣能力分析[J]. 電子學報，2001（5）：590-594.

[13]張小云，劉允才. 高斯核支撐向量機的性能分析[J]. 計算機工程，2003（8）：22-25.

[14]Sun A.，Lim E.P.，Ng W.K. Web classification using support vector machine[C]. In Proceedings of the 4th international workshop on Web information and data management，ACM，2002：96-99.

[15]毛健，趙紅東，姚婧婧. 人工神經(jīng)網(wǎng)絡的發(fā)展及應用[J]. 電子設計工程，2011，19（24）：62-65.

Application of Least Squares Support Vector Machine to Prediction Models of Surface Roughness of U71Mn High Manganese Steel

ZHUANG Shudong1,2，SHI Baidi1,2，CHEN Tianxiang1，CHEN Wei1

( 1.School of Mechanical and Electrical Engineering, Hohai University, Changzhou 213022, China; 2.Jiangsu Key Laboratory of Precision instruments, Nanjing University of Aeronautics and Astronautics，Nanjing 213009, China)

The raw data of surface roughnessof U71Mn high manganese steel are obtained under the conditions of specific spindle speed, feed rate, milling depthaand milling widtha. Based on the cross validation principle, the raw data are randomly divided into two groups: one is the training set to train the prediction models of U71Mn high manganese steel; the other is the validation set to verify the model, and the final prediction accuracy of the model is defined by the evaluation index of machine learning performance. By comparing the models, the present work finds that the prediction accuracy of least squares support vector machine (LSSVM) is significantly higher than the traditional multiple linear regression model. LSSVM improves algorithm of the original support vector machine (SVM). The quadratic programming (QP), which solves the constraint of Lagrange multiplier α inequality, is transformed into the equation constraint, that is, solving the linear equations, which significantly reduces the time complexity of computer operation. The generalization ability of the learning machine is improved by seeking the minimum structural risk. With small number of observation samples, the empirical risk and confidence range is likely to be minimized, which makes the model have good robustness and prediction accuracy.

U71Mn high manganese steel；prediction models of surface roughness；least squares support vector machine

TG84

A

10.3969/j.issn.1006-0316.2020.06.003

1006－0316 (2020) 06－0017－08

2019－12－11

江蘇省高校實驗室研究會立項資助研究課題（GS2019YB18）；江蘇省精密與微細制造技術重點實驗室關于機械加工中精密制造的工藝、數(shù)學建模的研究課題；中央高?；究蒲袠I(yè)務費（2018B44614）；教育部產(chǎn)學合作協(xié)同育人項目（20180269005）

莊曙東（1970－）男，江蘇常州人，博士，高級工程師，碩士生導師，主要研究方向為智能制造。

史柏迪（1996－）男，江蘇常州人，碩士研究生，主要研究方向為表面粗糙度預測，E-mail：sbdhaha413@outlook.com。