楊濟(jì)東，南新元，查 琴

(新疆大學(xué) 電氣工程學(xué)院，新疆 烏魯木齊 830017)

0 引言

生物氧化預(yù)處理工藝?yán)煤Y選過(guò)的浸礦菌群與難處理金礦石發(fā)生氧化反應(yīng)，將金和雜質(zhì)分離出來(lái).由于外界環(huán)境的復(fù)雜多變和化學(xué)反應(yīng)的不確定性，生物氧化預(yù)處理過(guò)程所需的進(jìn)氣量時(shí)刻變化且具有一定隨機(jī)性，難以準(zhǔn)確預(yù)測(cè).生產(chǎn)現(xiàn)場(chǎng)一般綜合考慮氧化還原電位（Oxidation-Reduction Potential,ORP）、溫度、黃金提取率和pH等因素，按照“寧多勿少”的原則確定進(jìn)氣量，導(dǎo)致氧氣利用率較低，因此準(zhǔn)確預(yù)測(cè)進(jìn)氣量對(duì)提金率的提高和生產(chǎn)成本的降低具有重要意義.

由于支持向量回歸（Support Vector Regression,SVR）模型具有學(xué)習(xí)時(shí)間短和避免局部極小點(diǎn)等優(yōu)勢(shì)，工業(yè)過(guò)程中常采用該模型作為預(yù)測(cè)控制模型[1-3].但是當(dāng)數(shù)據(jù)量較大時(shí)，SVR模型在求最優(yōu)解的過(guò)程中計(jì)算量較大，為解決這一問(wèn)題，Suykens等提出了最小二乘支持向量回歸機(jī)（Least Squares-Support Vector Regression,LS-SVR），LS-SVR模型不僅具有SVR模型的優(yōu)點(diǎn)，而且只需求解一組線(xiàn)性方程，大大減少了算法的復(fù)雜度.雖然LS-SVR模型的形式簡(jiǎn)單，但該模型對(duì)于噪聲和離群點(diǎn)比較敏感[4]，因此出現(xiàn)了許多改進(jìn)LS-SVR模型魯棒性的方法.文獻(xiàn)[5]提出了一種自適應(yīng)魯棒LS-SVR模型，通過(guò)減小誤差較大的數(shù)據(jù)在模型訓(xùn)練過(guò)程中的權(quán)重，提高模型的泛化性；文獻(xiàn)[6]提出了一種迭代加權(quán)LS-SVR模型，通過(guò)使用Myriad函數(shù)對(duì)誤差變量進(jìn)行加權(quán)，使得模型對(duì)離群數(shù)據(jù)具有一定的魯棒性；文獻(xiàn)[7]將最大相關(guān)熵引入遞歸LS-SVR 模型，減少異常數(shù)據(jù)對(duì)模型的影響；文獻(xiàn)[8]提出了一種基于誤差平方項(xiàng)加權(quán)的魯棒LS-SVR模型，在保持LS-SVR模型預(yù)測(cè)精度的前提下減小了計(jì)算量，取得了較為準(zhǔn)確的預(yù)測(cè)結(jié)果；文獻(xiàn)[9]為了降低LS-SVR模型對(duì)數(shù)據(jù)噪聲的敏感性，在目標(biāo)函數(shù)中加入LP范數(shù)，并且利用啟發(fā)式算法計(jì)算數(shù)據(jù)權(quán)重，降低噪聲對(duì)模型的影響；文獻(xiàn)[10] 提出了一種基于數(shù)據(jù)局部異常因子的直接加權(quán)LS-SVR模型，根據(jù)樣本偏離真實(shí)值的程度確定損失函數(shù)，避免樣本中的異常值對(duì)模型的影響；文獻(xiàn)[11]提出了魯棒固定LS-SVR，通過(guò)在固定LS-SVR中加入權(quán)重因子提高模型對(duì)離群值的魯棒性.上述方法都是通過(guò)刪除異常值或者直接減小離群數(shù)據(jù)權(quán)重的方法提高模型的泛化性，但是氧化槽現(xiàn)場(chǎng)數(shù)據(jù)的波動(dòng)對(duì)于生物氧化預(yù)處理的反應(yīng)進(jìn)程有重要影響，如果刪除波動(dòng)數(shù)據(jù)或者減小波動(dòng)數(shù)據(jù)的權(quán)重會(huì)導(dǎo)致預(yù)測(cè)結(jié)果與實(shí)際值偏差較大，因此對(duì)氧化槽的數(shù)據(jù)賦予特定的權(quán)重可以有效提高進(jìn)氣量預(yù)測(cè)模型的準(zhǔn)確性.

針對(duì)生物氧化預(yù)處理工藝中的進(jìn)氣量受復(fù)雜環(huán)境影響難以準(zhǔn)確預(yù)測(cè)的問(wèn)題，本文對(duì)現(xiàn)場(chǎng)數(shù)據(jù)進(jìn)行了相關(guān)性分析，其中ORP是影響進(jìn)氣量變化的主要因素，因此在LS-SVR模型中適當(dāng)增加ORP波動(dòng)數(shù)據(jù)的權(quán)重，提出了一種基于魯棒加權(quán)最小二乘支持向量回歸（Robust Weighted Least Squares-Support Vector Regression,RWLSSVR）的進(jìn)氣量預(yù)測(cè)模型.

1 背景知識(shí)

SVR將低維的輸入轉(zhuǎn)換為高維特征空間，以?xún)?yōu)化回歸的廣義邊界.首先，采用對(duì)ε不敏感的損失函數(shù)，該函數(shù)對(duì)廣義邊界外的點(diǎn)進(jìn)行懲罰，使其與邊界的距離成比例；然后，針對(duì)凸優(yōu)化問(wèn)題，通過(guò)SVR找到對(duì)回歸問(wèn)題的唯一解；最后，利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，平衡SVR模型復(fù)雜性和精度.

1.1 最小二乘支持向量回歸機(jī)

雖然SVR可以生成具有較好準(zhǔn)確性和魯棒性的模型，但求解凸二次規(guī)劃（QP）問(wèn)題比較困難.LS-SVR將不等式約束轉(zhuǎn)換為等式約束，采用平方和誤差函數(shù)，從而產(chǎn)生了一個(gè)可以迭代求解的KKT（Karush-Kuhn-Tucker）系統(tǒng)，在簡(jiǎn)化計(jì)算復(fù)雜性的同時(shí)也保證了預(yù)測(cè)結(jié)果的準(zhǔn)確性[1].

令訓(xùn)練數(shù)據(jù)集D={(xi,yi)|i=1,2,···,n}，其中xi∈Rd是輸入信號(hào)，yi∈R是輸出信號(hào).根據(jù)數(shù)據(jù)集建立以下回歸模型：

其中：ω=[ω1,ω2,···ωl]T∈Rd是權(quán)重的向量，b ∈R是閾值.該回歸模型將輸入向量x映射到高維特征空間φ(x)后，再進(jìn)行線(xiàn)性變換.在保留所有訓(xùn)練集的最大偏差ε的同時(shí)，結(jié)果應(yīng)盡可能平緩.其數(shù)學(xué)表達(dá)式如下：

為解決上述問(wèn)題，利用松弛變量ξi來(lái)放寬偏差不等式約束，松弛變量的選擇應(yīng)該采用最小化原則.式(2)加入松弛變量后如下所示：

1.2 加權(quán)最小二乘支持向量回歸機(jī)

盡管LS-SVR計(jì)算簡(jiǎn)單，但是具有稀疏性較差、無(wú)法處理離群值以及非高斯分布等弱點(diǎn)[12].為了解決這個(gè)問(wèn)題，Suykens提出了加權(quán)最小二乘支持向量回歸（WLS-SVR），通過(guò)計(jì)算LS-SVR的誤差變量，將基于誤差變量計(jì)算的權(quán)重應(yīng)用于優(yōu)化問(wèn)題[13].在式(4)中引入權(quán)重系數(shù)vi，得：

WLS-SVR的學(xué)習(xí)原則和LS-SVR類(lèi)似，均采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，但是WLS-SVR的經(jīng)驗(yàn)風(fēng)險(xiǎn)項(xiàng)并不是一個(gè)定值，而是與權(quán)重系數(shù)有關(guān)，確定權(quán)重系數(shù)的常用方法是根據(jù)噪聲偏離Gauss分布的程度計(jì)算[14]，但是這類(lèi)根據(jù)噪聲分布分配數(shù)據(jù)權(quán)重的方法與實(shí)際情況有一定的偏差，采用這類(lèi)加權(quán)方法的WLS-SVR模型無(wú)法對(duì)氧化槽進(jìn)氣量進(jìn)行準(zhǔn)確預(yù)測(cè).

2 魯棒加權(quán)最小二乘支持向量回歸模型

為提高WLS-SVR進(jìn)氣量預(yù)測(cè)模型的精度，本文提出了魯棒加權(quán)最小二乘支持向量回歸（RWLS-SVR）算法.該算法使用了兩組特定權(quán)重的交集，兩組權(quán)重分別由ε不敏感模型和數(shù)據(jù)比較產(chǎn)生.

第一組權(quán)重是由對(duì)ε不敏感模型產(chǎn)生的權(quán)重，ε不敏感權(quán)重放寬了權(quán)重的均勻分布[14].第二組權(quán)重通過(guò)數(shù)據(jù)比較產(chǎn)生，這組權(quán)重反映了在生產(chǎn)過(guò)程中各個(gè)數(shù)據(jù)的重要性不同[15].根據(jù)文獻(xiàn)[16]對(duì)氧化槽數(shù)據(jù)進(jìn)行相關(guān)性分析得知，ORP和進(jìn)氣量的相關(guān)性系數(shù)為0.468，是影響氧化槽進(jìn)氣量的最主要因素，ORP的變化更容易影響到進(jìn)氣量的預(yù)測(cè).因此ORP波動(dòng)比較劇烈的數(shù)據(jù)相比于其它ORP變化比較平緩的數(shù)據(jù)在模型訓(xùn)練中更加重要.各變量相關(guān)性系數(shù)見(jiàn)表1.

表1 氧化槽的檢測(cè)數(shù)據(jù)相關(guān)性系數(shù)表

本文使用兩組集合的交集作為RWLS-SVR的權(quán)重集合.上述兩組權(quán)重集合相互補(bǔ)償，從而使模型預(yù)測(cè)結(jié)果更為準(zhǔn)確.從計(jì)算的角度來(lái)看，這兩個(gè)權(quán)重集都是凸的，并且兩個(gè)凸集的交集也是一個(gè)由其極值點(diǎn)定義的凸集.下面將詳細(xì)介紹這兩組權(quán)重及其交集.

2.1 ε不敏感權(quán)重

對(duì)ε不敏感模型產(chǎn)生的是一組關(guān)于ε,v的權(quán)重集合P(ε,v)，v=v1,···,vn.P(ε,v)是數(shù)據(jù)的概率分布或者期望的真實(shí)概率分布，表達(dá)式如下：hi任意且h1+···+hn=1,0<ε<1.集合P(ε,p)是單位單形S(1,n)的子集.當(dāng)p=(n-1,···,n-1)時(shí)，P(ε,p)可以表示為P(ε)，此時(shí)：

2.2 由比較數(shù)據(jù)產(chǎn)生的權(quán)重

考慮以下比較信息：

由此得到權(quán)重集合M(v)，v=v1,···,vn，其中v1-vi-1≥0,v1≥0，當(dāng)i=n時(shí)，此權(quán)重集合為：

在這種極端形式下僅僅使用訓(xùn)練集中的幾個(gè)數(shù)據(jù)來(lái)構(gòu)建預(yù)測(cè)模型.在M(v)只有一個(gè)非零元素的極端情況下，模型的訓(xùn)練只由這一個(gè)非零元素完成.比較數(shù)據(jù)產(chǎn)生權(quán)重的方法為，根據(jù)每組數(shù)據(jù)中ORP和訓(xùn)練數(shù)據(jù)的ORP平均值的差值大小產(chǎn)生相應(yīng)的權(quán)重，即ORP與平均值的差值最大的數(shù)據(jù)獲得最大的權(quán)重，其他數(shù)據(jù)的權(quán)重依次減小.

2.3 混合權(quán)重

對(duì)于P(ε)，在ε比較大的情況下，模型訓(xùn)練時(shí)很可能只考慮測(cè)試數(shù)據(jù)的幾個(gè)元素而不是所有測(cè)試數(shù)據(jù).根據(jù)式v1≤v2≤···≤vn，v1+v2+···+vn=1，產(chǎn)生一種類(lèi)似式（16）的權(quán)重集合M(v)，只考慮M(v)可能會(huì)導(dǎo)致不符合邏輯的訓(xùn)練結(jié)果，因此單獨(dú)使用此類(lèi)加權(quán)方法很難構(gòu)造一個(gè)具有一定魯棒性的預(yù)測(cè)模型.權(quán)重集合P(ε)和M(v)的交集避免了這些問(wèn)題，并且保持了兩個(gè)集合的優(yōu)點(diǎn)，對(duì)于與進(jìn)氣量相關(guān)性系數(shù)最高的ORP因素，在ORP劇烈波動(dòng)時(shí)給予對(duì)應(yīng)數(shù)據(jù)更高的權(quán)重，預(yù)測(cè)模型在訓(xùn)練時(shí)更注重此類(lèi)數(shù)據(jù)的變化，但同時(shí)ORP波動(dòng)比較平緩的數(shù)據(jù)權(quán)重不會(huì)過(guò)分減小，使其可以對(duì)預(yù)測(cè)模型保持一定的影響.

這里有兩個(gè)需要額外考慮的特殊情況，如果ε=0，那么P(ε)∩M(v)=(n-1,···,n-1)，這種情況對(duì)應(yīng)于標(biāo)準(zhǔn)的LS-SVR，即不考慮權(quán)重的情況；如果ε=1，則P(ε)∩M(v)=M(v)，即只反應(yīng)比較數(shù)據(jù)產(chǎn)生的權(quán)重M(v).

令P表示不等式vi≥(1-ε)·n-1，M表示不等式v1≤v2≤···≤vn，排除P中vi≥0的情況，此情況中至少有一個(gè)i使得vi=0的所有點(diǎn)都不屬于P(ε)∩M(v) .由于P和M組成的交集包含2n-1個(gè)不等式，已知任一極值點(diǎn)都滿(mǎn)足n-1個(gè)等式，針對(duì)極值點(diǎn)所滿(mǎn)足的等式研究以下情況.

情況1所有的等式都符合P，此時(shí)顯然v1=v2=···=vn=n-1.

情況2n-2個(gè)等式符合P，1個(gè)約束符合M.這意味著存在一個(gè)嚴(yán)格不等式vi-1≤vi符合P，同時(shí)有一個(gè)等式vk=n-1-εn-1符合M，此時(shí)需要考慮兩個(gè)子情況.第1個(gè)子情況是k ≥i，此時(shí)：

但是vi=vi+1=···=vn，因此v1+v2+···+vn=1-ε<1，這種情況與P(ε)的約束出現(xiàn)矛盾，所以這種情況不會(huì)出現(xiàn)極值點(diǎn).

第2個(gè)子情況是k

當(dāng)i=1時(shí)，情況1得到的極值點(diǎn)可以看做是情況2的特例.

情況3n-3個(gè)等式符合P，2個(gè)約束符合M，這意味著存在兩個(gè)嚴(yán)格的不等式vi-1

可以看出，滿(mǎn)足上述條件的a和b是無(wú)窮多的，對(duì)于從P中取n-r個(gè)等式，從M中取r個(gè)等式也可以用類(lèi)似的方法得到相同的結(jié)果，因此，情況2完全定義了所有的極值點(diǎn).所以P(ε)∩M(v)的極值點(diǎn)集合由以下形式的n個(gè)元素組成：

3 仿真分析

將某地生物氧化-氰化提金廠作為研究對(duì)象，由于該地區(qū)具有特殊的地理環(huán)境和氣候，現(xiàn)場(chǎng)環(huán)境復(fù)雜多變.此外，生物氧化預(yù)處理過(guò)程中影響進(jìn)氣量的因素包括溫度、pH、ORP、進(jìn)氣量、礦漿濃度等，這些因素之間存在非線(xiàn)性耦合.采集氧化槽正常生產(chǎn)時(shí)間內(nèi)的數(shù)據(jù)樣本300組，選擇前200組數(shù)據(jù)作為訓(xùn)練樣本，后100組則作為測(cè)試樣本，以計(jì)算測(cè)試誤差.核函數(shù)選擇徑向基函數(shù)，懲罰系數(shù)γ=71.293 4，徑向基函數(shù)參數(shù)δ=0.250 6.

為評(píng)價(jià)RWLS-SVR模型的預(yù)測(cè)結(jié)果和性能，本文給出幾種誤差評(píng)價(jià)指標(biāo).

（1）平均絕對(duì)誤差

（2）平均相對(duì)誤差

（3）均方根誤差

（4）希爾不等系數(shù)

RWLS-SVR和LS-SVR模型的進(jìn)氣量預(yù)測(cè)結(jié)果和誤差如圖1和圖2所示.

圖1 RWLS-SVR和LS-SVR進(jìn)氣量預(yù)測(cè)結(jié)果對(duì)比

圖2 RWLS-SVR和LS-SVR進(jìn)氣量預(yù)測(cè)誤差對(duì)比

由圖1和圖2可以看出，RWLS-SVR模型預(yù)測(cè)精度更高，對(duì)于一些進(jìn)氣量波動(dòng)比較劇烈的預(yù)測(cè)點(diǎn)，RWLSSVR模型的預(yù)測(cè)結(jié)果與實(shí)際值擬合更好，而且RWLS-SVR模型的誤差情況比較穩(wěn)定，大部分預(yù)測(cè)值的誤差范圍可以保持在50 m3/h以下，但LS-SVR模型的個(gè)別預(yù)測(cè)值的誤差范圍超過(guò)150 m3/h，與實(shí)際值相差較大.

由圖3和圖4可知，RWLS-SVR預(yù)測(cè)模型預(yù)測(cè)準(zhǔn)確度明顯高于SVR預(yù)測(cè)模型，SVR模型的預(yù)測(cè)誤差范圍較大，雖然大部分預(yù)測(cè)誤差保持在100 m3/h以?xún)?nèi)，但對(duì)于1 450 m3/h以下和1 650 m3/h以上的進(jìn)氣量預(yù)測(cè)中，SVR模型的預(yù)測(cè)誤差達(dá)到150 m3/h，預(yù)測(cè)準(zhǔn)確度較差.進(jìn)氣量預(yù)測(cè)誤差如表2所示.

圖3 RWLS-SVR和SVR進(jìn)氣量預(yù)測(cè)結(jié)果對(duì)比

圖4 RWLS-SVR和SVR進(jìn)氣量預(yù)測(cè)誤差對(duì)比

表2 進(jìn)氣量預(yù)測(cè)誤差

從表2可以看出，本文提出的RWLS-SVR模型的誤差指標(biāo)最好，MAE為20.133 0，RMSE為29.402 1，誤差分布范圍較小，泛化性能更好；LS-SVR模型和SVR模型的誤差指標(biāo)比較接近，兩者中SVR模型的MAE和RMSE較小，SVR模型對(duì)波動(dòng)數(shù)據(jù)的魯棒性略?xún)?yōu)于LS-SVR模型.RWLS-SVR模型的MRE為0.013 4，TIC為0.009 5，RWLSSVR模型的預(yù)測(cè)值與實(shí)際值最為接近，誤差最小，而SVR模型的MRE為0.024 2，TIC為0.014 3，和RWLS-SVR模型相比有較大差距，但略?xún)?yōu)于LS-SVR模型.經(jīng)過(guò)仿真對(duì)比實(shí)驗(yàn)，說(shuō)明了RWLS-SVR進(jìn)氣量預(yù)測(cè)模型在預(yù)測(cè)精度上有顯著的提升，有較好的預(yù)測(cè)精度和穩(wěn)定性.

4 結(jié)束語(yǔ)

（1）復(fù)雜環(huán)境下影響氧化槽進(jìn)氣量的因素眾多，進(jìn)氣量受現(xiàn)場(chǎng)數(shù)據(jù)的波動(dòng)影響呈現(xiàn)出一定的隨機(jī)性.通過(guò)分析生物氧化提金預(yù)處理過(guò)程機(jī)制中的數(shù)據(jù)波動(dòng)對(duì)氧化槽進(jìn)氣量造成的影響，進(jìn)氣量的變化與ORP的波動(dòng)存在較大的相關(guān)性.

（2）根據(jù)數(shù)據(jù)的相關(guān)性分析，在WLS-SVR模型中使用了兩組特定權(quán)重的交集，提出了RWLS-SVR進(jìn)氣量預(yù)測(cè)模型，在此模型中適當(dāng)增加ORP波動(dòng)的數(shù)據(jù)在模型訓(xùn)練時(shí)的權(quán)重，提高模型對(duì)數(shù)據(jù)波動(dòng)的魯棒性.

（3）仿真實(shí)驗(yàn)表明，與傳統(tǒng)的LS-SVR模型和SVR模型相比，本文所提出的RWLS-SVR模型具有較高的預(yù)測(cè)準(zhǔn)確度和泛化性，能較好地解決生物氧化預(yù)處理復(fù)雜環(huán)境下的進(jìn)氣量預(yù)測(cè)問(wèn)題.