汪建新 ，吳永剛 ，2，陳肖潔

（1.內(nèi)蒙古科技大學(xué)，機(jī)械工程學(xué)院，內(nèi)蒙古 包頭 014010；2.內(nèi)蒙古包鋼鋼聯(lián)股份有限公司煉鐵廠，內(nèi)蒙古 包頭 014010）

1 引言

支持向量機(jī)（support vector machine，SVM）是一種以結(jié)構(gòu)風(fēng)險(xiǎn)最小化為理論基礎(chǔ)的統(tǒng)計(jì)學(xué)習(xí)方法，較好地解決了維數(shù)災(zāi)難，具有全局最優(yōu)解等優(yōu)點(diǎn)[1]，目前得到了廣泛的應(yīng)用推廣，如混沌時(shí)間序列預(yù)測[2]、轉(zhuǎn)子故障診斷[3]等。SVM的求解采用凸二次規(guī)劃方法，運(yùn)算過程需耗費(fèi)大量的內(nèi)存和時(shí)間。為提高運(yùn)算速度和減少儲(chǔ)存內(nèi)存，文獻(xiàn)[4-5]提出了最小二乘支持向量機(jī)（least squares support vector machine，LSSVM），巧妙地，將SVM中的二次規(guī)劃問題轉(zhuǎn)化為線性方程組求解，降低了求解的復(fù)雜度，解決了多元建模的求解問題。由于種種原因，數(shù)據(jù)的樣本特征會(huì)含有一些無關(guān)特征。特征選擇[6]可以去除冗余特征、無關(guān)特征甚至噪聲特征，篩選出一個(gè)干凈的樣本集，以便提高數(shù)據(jù)的識(shí)別效率和增強(qiáng)實(shí)際問題的可理解性。換言之，特征選擇一般是指從輸入特征集中按照某種評(píng)估標(biāo)準(zhǔn)選擇出最優(yōu)的特征子集，以達(dá)到去除冗余特征、無關(guān)特征、甚至噪聲特征，提高學(xué)習(xí)精度的目的。特征選擇算法一般要與所采用的學(xué)習(xí)算法結(jié)合使用，結(jié)合LSSVM中的最小二乘回歸機(jī)（least squares support vector regression，LSSVR）和特征選擇，鑒于LSSVM的高效計(jì)算性，將其運(yùn)用于特征選擇是可行的，通過對(duì)燒結(jié)過程中的建模的仿真實(shí)驗(yàn)，驗(yàn)證所提算法的有效性。

2 LSSVM

LSSVM用如下函數(shù)對(duì)輸入的x進(jìn)行預(yù)測：

式中：φ（x）—非線性函數(shù)，可將輸入空間映射到一個(gè)更高維的特

征空間，以便在高維特征空間中以線性擬合的方式求解輸

入空間的非線性擬合問題。

給定一組訓(xùn)練集（xi，yi）｝，xi∈Rn為輸入向量，yi∈Rn為相應(yīng)于xi的輸出，在文獻(xiàn)[7]所提出的嶺回歸公式中，令α=1/r，回歸問題的約束優(yōu)化問題可表示如下[8]：

式中：ω—權(quán)向量；r—正則化參數(shù)；ek—誤差變量；b—常值偏差。

通過建立Lagrange函數(shù)來求解上述式（2）～式（3）的優(yōu)化問題：

式中：αk—Lagrange乘子，αk≠0的樣本點(diǎn)為支持向量。分別對(duì)ω，

b，e，α求偏微分，帶入化簡，得到如下方程組的形式：式中：Ωi，j=φ（xi）T（xj）T=k（xi，xj），其中 k=1，…，l，Y=（y1，…，yl）T1=（1，…，1）Tα=（α1，…，αl）TI=eye（1，…，1）T且 I為與 Ω同階的單位矩陣。

解方程（5）得到a，b后，同時(shí)，當(dāng)給定實(shí)際集合x，即新的輸入向量，其輸出y（x）可用如下公式計(jì)算：

LSSVM模型的非線性映射能力是由核函數(shù)決定的[2，9]。常見的核函數(shù)有線性核函數(shù)、多項(xiàng)式核函數(shù)和RBF核函數(shù)，其形式分別分別如下：k（x，xi）=＜x，xi＞，k（x，xi）=（＜x，xi＞+1）q，k（x，xi）=exp

不同的映射形式，不同的核函數(shù)類型在學(xué)習(xí)能力和泛化能力上存在很大的差異性。分別使用線性核、多項(xiàng)式核和RBF核訓(xùn)練和測試樣本。

3 LSSVM的特征選擇算法及其應(yīng)用

一個(gè)多特征的樣本中，其每個(gè)特征的重要性存在差異，即每個(gè)特征對(duì)數(shù)據(jù)正確預(yù)測的貢獻(xiàn)率有程度上的不同。為了檢驗(yàn)每個(gè)特征是否重要及重要性程度如何，利用LSSVM對(duì)樣本中的每一個(gè)特征進(jìn)行測試，記錄其預(yù)測均方誤差，并排序。具體的建模與排序算法步驟如下：

步驟1：初始化算法參數(shù)，如多形式核的參數(shù)q和RBF核的參數(shù)σ；步驟2：對(duì)于xi∈R中的n維特征，取t=1，即選出第一個(gè)特征x（iT）；步驟3：對(duì)選出的特征x（iT）進(jìn)行LSSVM學(xué)習(xí)訓(xùn)練和測試，并記錄其 mse（t）。

式中：l—預(yù)測樣本個(gè)數(shù)；yi—目標(biāo)值—預(yù)測值；mse—均方誤差，test accuracy=1-mse—預(yù)測準(zhǔn)確率。mse誤差越小，說明模型的預(yù)測精度越高，該特征對(duì)樣本越重要的重要性程度越高。

步驟4：選取下一個(gè)特征x（iT），t=2，3，…，n；步驟 5：轉(zhuǎn)步驟 3，或轉(zhuǎn)步驟 6；步驟 6：將所有的 mse=［mse（1），…mse（n）］按從小到大排序，記錄相對(duì)應(yīng)的特征重要性的順序，并按其順序?qū)颖緮?shù)據(jù)的特征重新排列；步驟7：依次選取排序后的樣本特征中的第一個(gè)，前2個(gè)，…，所有n個(gè)特征分別對(duì)樣本進(jìn)行學(xué)習(xí)和預(yù)測，并記錄相應(yīng)的均方誤差和預(yù)測準(zhǔn)確率。將LSSVM的特征選擇算法應(yīng)用于燒結(jié)過程建模中，其具體的應(yīng)用流程圖，如圖1所示。

圖1 燒結(jié)數(shù)據(jù)實(shí)驗(yàn)流程圖Fig．1 Experimental Flow Chat of Sintering Dataset

4 實(shí)驗(yàn)

選取包鋼鋼聯(lián)股份有限公司煉鐵廠燒結(jié)過程的實(shí)際生產(chǎn)數(shù)據(jù)為實(shí)驗(yàn)樣本，以驗(yàn)證所提出的LSSVM的特征選擇算法的有效性。該數(shù)據(jù)共有391個(gè)，以燒結(jié)礦的堿度為質(zhì)量指標(biāo)，建立輸入數(shù)據(jù)到輸出數(shù)據(jù)的預(yù)測模型。燒結(jié)過程是一個(gè)復(fù)雜的多變量、非線性、強(qiáng)耦合的物理和化學(xué)過程[10]，經(jīng)過現(xiàn)場實(shí)際分析發(fā)現(xiàn)，影響堿度的主要因素有：料量、高返料量、冷返料量、焦煤料量、干餾煤料量、蒙古礦配比、混勻礦配比、生石灰配比、白云石配比、FeO含量、CaO含量、SiO2含量、Fe含量、機(jī)組速度、點(diǎn)火溫度、主管負(fù)壓、主管溫度等27個(gè)。選取總樣本的30%為測試集和總樣本的70%為訓(xùn)練集，訓(xùn)練集中的30%為訓(xùn)練-訓(xùn)練集和70%為訓(xùn)練-測試集。

4.1 數(shù)據(jù)預(yù)處理

在建立預(yù)測模型之前，必須要對(duì)數(shù)據(jù)進(jìn)行歸一化處理，以消除各項(xiàng)輸入及輸出數(shù)據(jù)間量綱不一致對(duì)數(shù)據(jù)分析造成的影響。歸一化公式如下：

式中：i—樣本的某個(gè)輸入特征；x′（：，i）—?dú)w一化后的變量；x（：，i）—原始變量。

4.2 實(shí)驗(yàn)過程

為了驗(yàn)證上述所提LSSVM的特征選擇算法的有效性，設(shè)置初始參數(shù)σ=2，選用RBF核函數(shù)，按第3部分的算法和圖1的流程圖進(jìn)行實(shí)驗(yàn)：訓(xùn)練集，訓(xùn)練-訓(xùn)練集和訓(xùn)練-測試集對(duì)每一個(gè)特征重要性程度進(jìn)行測定，為了減少偶然因素對(duì)實(shí)驗(yàn)結(jié)果造成的影響，采用10次實(shí)驗(yàn)結(jié)果（均方誤差）的平均值作為排序依據(jù)；然后，按照排序后的樣本特征，對(duì)訓(xùn)練集和測試集進(jìn)行LSSVM訓(xùn)練學(xué)習(xí)和預(yù)測。實(shí)驗(yàn)中選用預(yù)測樣本的預(yù)測準(zhǔn)確率作為算法的評(píng)價(jià)指標(biāo)。圖2顯示了3次實(shí)驗(yàn)，按樣本特征重要性程度每添加一個(gè)特征的實(shí)驗(yàn)結(jié)果圖。運(yùn)用所有的樣本特征時(shí)，LSSVM分別使用線性核、多項(xiàng)式核和RBF核進(jìn)行實(shí)驗(yàn)，其參數(shù)為，為驗(yàn)證最小二乘支持向量機(jī)對(duì)樣本數(shù)據(jù)預(yù)測的有效性，參與比較的算法有：5折交叉驗(yàn)證（5-foldcrossvalidation）經(jīng)典SVM，最小二乘（leastsquare，LS），BP 神經(jīng)網(wǎng)絡(luò)。5 折交叉驗(yàn)證法：設(shè)置懲罰系數(shù) C=｛2-8，2-7．5，…，27．5，28｝和 1/σ2=｛2-8，2-7．5，…，27．5，28｝進(jìn)行 SVM 訓(xùn)練學(xué)習(xí)和預(yù)測；BP神經(jīng)網(wǎng)絡(luò)：設(shè)置兩層神經(jīng)網(wǎng)絡(luò)的向量模型，輸入層神經(jīng)元為5個(gè)，網(wǎng)絡(luò)層神經(jīng)元為1個(gè)。所有實(shí)驗(yàn)方法的實(shí)驗(yàn)結(jié)果如表1所示：預(yù)測結(jié)果的預(yù)測均方誤差及其相應(yīng)的運(yùn)行時(shí)間（采用10次實(shí)驗(yàn)結(jié)果的平均值和標(biāo)準(zhǔn)差）。所有實(shí)驗(yàn)的平臺(tái)為Intel（R）Core（TM）2 Duo CPU E8200@2．66GHz 2．00GB RAM 的個(gè)人計(jì)算機(jī)，Win7 32位操作系統(tǒng)。

圖2 不同的特征子集上的實(shí)驗(yàn)結(jié)果Fig．2 Experimental Results on Different Feature Subsets

表1 不同的實(shí)驗(yàn)方法的實(shí)驗(yàn)結(jié)果（單位：秒）Tab.1 Experimental Results of Different Experimental Methods（unit：s）

4.3 實(shí)驗(yàn)結(jié)果分析

表1的數(shù)據(jù)和圖2的圖像清楚地顯示：當(dāng)選擇第一個(gè)特征時(shí)，其預(yù)測準(zhǔn)確率已經(jīng)達(dá)到了0．96以上，隨著特征個(gè)數(shù)的增加，其預(yù)測準(zhǔn)確率緩慢增加或不增加（偶爾還會(huì)出現(xiàn)小小的減?。划?dāng)所有的特征均用上時(shí)，最高的預(yù)測準(zhǔn)確率為0．9840。燒結(jié)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明，用LSSVM的特征選擇算法對(duì)樣本數(shù)據(jù)的特征的重新排序，再選擇幾個(gè)重要特征進(jìn)行預(yù)測的方法是可行的，具有在保證預(yù)測準(zhǔn)確率的前提下，提高預(yù)測速度的優(yōu)勢，在實(shí)際生產(chǎn)中具有很高的應(yīng)用價(jià)值。觀察表1的實(shí)驗(yàn)結(jié)果可知：使用最小二乘支持向量機(jī)（LSSVM）對(duì)數(shù)據(jù)進(jìn)行擬合可以取得比最小二乘（LS）和神經(jīng)網(wǎng)絡(luò)（BP）方法更好的擬合效果，所用時(shí)間還是BP的（20～50）之一；LSSVM雖然在擬合效果上不如SVM好，但是LSSVM以犧牲一點(diǎn)點(diǎn)準(zhǔn)確率來換取大大的計(jì)算高效性還是很值得的。

5 總結(jié)

煉鋼廠的燒結(jié)過程是一個(gè)復(fù)雜的多變量、非線性、強(qiáng)耦合的物理和化學(xué)過程，結(jié)合最小二乘支持向量機(jī)和特征選擇對(duì)燒結(jié)過程進(jìn)行建模，提出了最小二乘支持向量機(jī)的特征選擇算法。燒結(jié)數(shù)據(jù)的仿真結(jié)果顯示，LSSVM的特征選擇算法具有高效計(jì)算性和高預(yù)測精度等優(yōu)點(diǎn)，驗(yàn)證了該算法的有效性。研究為快速預(yù)測燒結(jié)數(shù)據(jù)提供了一種快捷的新方法。

［1］Vapnik V．Statistical Learning Theory［M］．New York：John Wiley and Sons Inc，1998．

［2］田中大，高憲文，石彤．用于混沌時(shí)間序列預(yù)測的組合核函數(shù)最小二乘支持向量機(jī)［J］．物理學(xué)報(bào)，2014，63（16）：1-10．（Tian Zhong-da，Gao Xian-wen，Shi Tong．Combination kernel function least squares support vector machine for chaotic time series prediction［J］．Acta Physica Sinica，2014，63（16）：1-10．）

［3］張維強(qiáng)，趙榮珍，李坤杰．基于MSKPCA和SVM的轉(zhuǎn)子故障診斷模型及應(yīng)用［J］．機(jī)械設(shè)計(jì)與制造，2015（10）：4-8．（Zhang Wei-qiang，Zhao Rong-zhen，Li Kun-jie．Rotor fault diagnosis model and application based on multi-scale kernel principal component analysisandsupportvectormachine［J］．MachineryDesign&Manufacture，2015（10）：4-8．）

［4］Suykens J A K，Vandewalle J．Least squares support vector machine classifiers［J］．Neural Processing Letters，1999（9）：293-300．

［5］Suykens J A K，Van Gestel T，De Brabanter J．Least Squares Support Vector Machines［M］．Singapore：World Scientific press，2002．

［6］王文劍，門昌騫．支持向量機(jī)建模及應(yīng)用［M］．北京：科學(xué)出版社，2014．（Wang Wei-jian，Men Chang-qian．Model and Application of Support Vector Machine［M］．BeiJing：Science Press，2014．）

［7］Saunders C，Gammerman A，Vovk V．Ridge regression learning algorithm in dual variables［C］．In Proceedings of the 15th International Conference on Machine Learning ICML-98，Morgan Kaufmann，1998：515-521．

［8］楊曉偉，郝志峰．支持向量機(jī)的算法設(shè)計(jì)與分析［M］．北京：科學(xué)出版社，2013．（Yang Xiao-wei，Hao Zhi-feng．Design and Analysis of the Support Vector Machine［M］．Beijing：Science Press，2013．）

［9］韓曉霞，謝剛，韓曉明．基于相空間重構(gòu)和支持向量機(jī)的多相催化劑失活預(yù)測［J］．控制與決策，2012，27（6）：953-956．（Han Xiao-xia，Xie Gang，Han Xiao-ming．Application of phase space reconstruction and support vector regression for forecasting of catalyst deactivation［J］．Control and Decision，2012，27（6）：953-956．）

［10］宋強(qiáng)，程國彪，常衛(wèi)兵．燒結(jié)礦堿度的灰色神經(jīng)網(wǎng)絡(luò)預(yù)測模型及仿真［J］．燒結(jié)球團(tuán)，2007，32（3）：24-27．（Song Qiang，Cheng Guo-biao，Chang Wei-bing．Prediction model of the sinter basicity based on grey neural network algebra［J］．Sintering and Pelletizing，2007，32（3）：24-27．）