叢康林，岳建平，席廣永

（1.山東農(nóng)業(yè)大學(xué)測(cè)繪工程系，山東泰安 271018；2.河海大學(xué)測(cè)繪科學(xué)與工程系，江蘇南京 210098；3.鄭州輕工業(yè)學(xué)院計(jì)算機(jī)與通信工程學(xué)院，河南鄭州 450002）

一、引 言

近年來(lái)，支持向量機(jī)（support vector machine，SVM）以其最小化的結(jié)構(gòu)風(fēng)險(xiǎn)、較強(qiáng)的泛化能力等優(yōu)勢(shì)，越來(lái)越成為機(jī)器學(xué)習(xí)的熱點(diǎn)，并被應(yīng)用到模式識(shí)別、回歸預(yù)測(cè)等眾多的研究領(lǐng)域中。支持向量機(jī)性能的優(yōu)劣關(guān)鍵在于其參數(shù)選取的是否合理。本文將支持向量機(jī)回歸（support vector regression，SVR）算法應(yīng)用到壩體沉降監(jiān)測(cè)中，分析了各參數(shù)對(duì)回歸預(yù)測(cè)精度的影響規(guī)律，并分別采用基于交叉驗(yàn)證的格網(wǎng)優(yōu)化法和粒子群優(yōu)化法進(jìn)行參數(shù)尋優(yōu)，對(duì)比分析了兩種方法的效率、精度及可靠性。

二、ν-SVR參數(shù)的種類及作用

ν-SVR是在標(biāo)準(zhǔn)支持向量機(jī)ε-SVR的基礎(chǔ)上改進(jìn)而來(lái)的，用一個(gè)數(shù)量上有意義的參數(shù)ν來(lái)代替經(jīng)驗(yàn)誤差ε，建立能夠自動(dòng)計(jì)算ε的ν-支持向量回歸機(jī)，通過(guò)核函數(shù)進(jìn)行映射，構(gòu)造高維空間中的線性回歸函數(shù)f（x）=ωφ（x）+b，與ε-SVR不同的是，這里選定了另外一個(gè)參數(shù)ν，把最優(yōu)化問(wèn)題修改成［1］

與ε-SVR不同的是，這里的ε是作為二次規(guī)劃問(wèn)題的變量出現(xiàn)的，它的值將成為解的一部分，從而達(dá)到避免人為確定ε的值的目的。

將式（1）轉(zhuǎn)換為對(duì)偶形式為

選擇位于開(kāi)區(qū)間（0，C/l）中的兩個(gè)分量和以及它們所對(duì)應(yīng)的支持向量yj和yk，則可求出偏置b

其中，參數(shù)ε作為最優(yōu)化問(wèn)題的解也被隨之求出

根據(jù)ω、b確定的回歸決策函數(shù)為

眾所周知，SVR的推廣性能取決于一組好的參數(shù)，在ν-SVR中主要指的是懲罰參數(shù)C、核函數(shù)參數(shù)（簡(jiǎn)稱核參數(shù)）及參數(shù)ν。

1.懲罰參數(shù)C

懲罰參數(shù)C為某一指定的正常數(shù)，其作用是對(duì)錯(cuò)分樣本的懲罰程度進(jìn)行控制，以達(dá)到在錯(cuò)分樣本的比例和算法的復(fù)雜程度之間“折中”的目的，即調(diào)節(jié)學(xué)習(xí)機(jī)器置信范圍和經(jīng)驗(yàn)風(fēng)險(xiǎn)之間的比例［2］。

懲罰參數(shù)C越小，則對(duì)超出經(jīng)驗(yàn)誤差的樣本懲罰越小，使機(jī)器學(xué)習(xí)的復(fù)雜度越低，導(dǎo)致訓(xùn)練誤差變大，從而經(jīng)驗(yàn)風(fēng)險(xiǎn)也就越大，表現(xiàn)為欠學(xué)習(xí)；反之，C值越大，經(jīng)驗(yàn)風(fēng)險(xiǎn)越小，系統(tǒng)的泛化能力變差，表現(xiàn)為過(guò)學(xué)習(xí)。特別地，當(dāng)C超過(guò)一定值時(shí)，SVM的復(fù)雜程度達(dá)到了數(shù)據(jù)子空間所允許的最大值，此時(shí)經(jīng)驗(yàn)風(fēng)險(xiǎn)和推廣能力幾乎不再變化。

2.核函數(shù)參數(shù)

當(dāng)選定某一核函數(shù)后，核參數(shù)的值便決定了核函數(shù)的特征空間，即核函數(shù)、映射函數(shù)及特征空間三者是一一對(duì)應(yīng)的［3］。核參數(shù)的改變實(shí)際上是隱含地改變了映射函數(shù)，從而改變了樣本數(shù)據(jù)子空間分布的復(fù)雜程度，也就是改變了特征空間線性分類面的最大VC維，從而決定了特征空間中線性分類超平面所能達(dá)到的最小經(jīng)驗(yàn)誤差。

3.參數(shù)ν

參數(shù)ν是對(duì)不敏感誤差參數(shù)ε的改進(jìn)，用一個(gè)數(shù)量上有意義的參數(shù)ν（ν∈（0，1））代替ε（ε∈（0，+∞））。ν表達(dá)的是錯(cuò)分訓(xùn)練樣本數(shù)占總樣本數(shù)的上界和支持向量的個(gè)數(shù)占總訓(xùn)練樣本數(shù)的份額的下界［4］。原來(lái)的經(jīng)驗(yàn)誤差ε控制著不敏感帶的寬度，影響著支持向量的數(shù)目，ε值越大，回歸估計(jì)的精度越低，支持向量的數(shù)目越少，反之亦然。由于ν是從ε變換而來(lái)的，因此ν也間接影響著回歸的精度和支持向量的數(shù)目。

三、參數(shù)選擇的方法分析

目前，常用的評(píng)價(jià)SVM性能的方法為K折交叉驗(yàn)證法（K-cross validation，K-CV），其基本思想是:將原始數(shù)據(jù)均勻分成K組，即產(chǎn)生了K個(gè)子集，將每個(gè)子集分別作為一次驗(yàn)證集，余下的K-1個(gè)子集作為訓(xùn)練集，分別進(jìn)行訓(xùn)練驗(yàn)證，用這K次驗(yàn)證精度的平均值作為SVM的性能指標(biāo)。在某種意義下將原始數(shù)據(jù)進(jìn)行分組，一部分作為訓(xùn)練集，另一部分作為驗(yàn)證集，先用SVM對(duì)訓(xùn)練集進(jìn)行訓(xùn)練，再利用驗(yàn)證集來(lái)測(cè)試模型的優(yōu)劣，以此作為SVM性能的指標(biāo)。K-CV法可以有效地避免過(guò)學(xué)習(xí)和欠學(xué)習(xí)狀態(tài)的發(fā)生，是目前應(yīng)用較多的一種方法。

1.試湊法

在確定了SVM模型和核函數(shù)的情況下，首先對(duì)初始的懲罰參數(shù)C和核參數(shù)賦一任意的初始值，然后進(jìn)行SVM訓(xùn)練和測(cè)試，根據(jù)得到的測(cè)試精度優(yōu)劣對(duì)各參數(shù)進(jìn)行人工調(diào)整并重新賦值，重新訓(xùn)練測(cè)試，由于參數(shù)變化對(duì)測(cè)試精度的影響遵循一定的規(guī)律，試湊法的參數(shù)調(diào)整有一定的規(guī)律可循。這樣，經(jīng)過(guò)不斷重復(fù)驗(yàn)證，可尋求滿意的參數(shù)。

試湊法是SVM參數(shù)尋優(yōu)方法的基礎(chǔ)，也是目前較常用的一種方法，在精度要求不是很高的情況下可以達(dá)到要求，雖然參數(shù)選擇有一定的規(guī)律可循，但是主要依靠經(jīng)驗(yàn)調(diào)整參數(shù)，需要人工進(jìn)行大量試算，具有一定的盲目性，當(dāng)需要調(diào)整幅度較大時(shí)，調(diào)整次數(shù)較多，實(shí)驗(yàn)繁雜，效率低。

2.格網(wǎng)法

格網(wǎng)法（Grid法）依托于計(jì)算機(jī)的快速運(yùn)算性能，將各個(gè)參數(shù)在其取值范圍所構(gòu)成的格網(wǎng)中進(jìn)行遍歷，從中選取精度最好的節(jié)點(diǎn)所對(duì)應(yīng)的參數(shù)為最優(yōu)參數(shù)。為了提高遍歷區(qū)間通常以log2（）的步長(zhǎng)作為格網(wǎng)間隔［5］，參數(shù)選擇結(jié)果的優(yōu)劣與所劃分格網(wǎng)的密度密切相關(guān)，格網(wǎng)間隔越小，遍歷的參數(shù)就越精細(xì)，得到最優(yōu)參數(shù)的可能性就越大，反之亦然。但是，如果將格網(wǎng)間隔劃分得過(guò)小，計(jì)算機(jī)需要遍歷的點(diǎn)就很多，勢(shì)必影響計(jì)算速度，為此，通常把整個(gè)遍歷尋參的過(guò)程分成兩步或多步進(jìn)行，以提高運(yùn)行效率。具體操作過(guò)程如下:首先選取步長(zhǎng)較大的值作為格網(wǎng)間隔進(jìn)行參數(shù)尋優(yōu)，此過(guò)程為粗選，粗選能從較大的參數(shù)范圍尋找最優(yōu)的參數(shù)，此過(guò)程確定了參數(shù)所在大致的取值范圍；然后在粗選確定的范圍內(nèi)，以較小的步長(zhǎng)作為網(wǎng)格間隔，再次進(jìn)行訓(xùn)練測(cè)試，以選取更優(yōu)的參數(shù)，此過(guò)程稱為細(xì)選。這樣兩步下來(lái)就基本能夠確定優(yōu)化參數(shù)的值，若需要更加細(xì)致地進(jìn)行參數(shù)遍歷，可以再進(jìn)行多次的細(xì)化步長(zhǎng)，以篩選到理想的參數(shù)。

3.粒子群優(yōu)化算法

粒子群優(yōu)化算法（particle swarm optimization，PSO）是智能優(yōu)化算法中較為快速有效的一種算法，支持向量機(jī)的參數(shù)尋優(yōu)問(wèn)題可以看做是在由各個(gè)參數(shù)的值域組成的多維空間（本文中為三維空間）中求解一個(gè)全局最優(yōu)解問(wèn)題，最優(yōu)解條件就是上面交叉驗(yàn)證法中的精度指標(biāo)。

對(duì)于粒子群算法的支持向量機(jī)參數(shù)尋優(yōu)問(wèn)題，每個(gè)粒子個(gè)體對(duì)應(yīng)著支持向量機(jī)的各個(gè)參數(shù)，以各參數(shù)下的支持向量機(jī)模型的推廣預(yù)測(cè)能力作為個(gè)體的適應(yīng)值，通過(guò)粒子群算法可以同時(shí)快速獲取推廣預(yù)測(cè)能力最好的支持向量機(jī)各參數(shù)。

四、參數(shù)優(yōu)化選擇算例分析

西霞院反調(diào)節(jié)水庫(kù)是小浪底水利樞紐的配套工程，位于黃河中游距小浪底水利樞紐約16 km處。取其混凝土壩段為研究對(duì)象來(lái)分析SVR參數(shù)尋優(yōu)方法，根據(jù)壩體2005年4月至2006年3月的監(jiān)測(cè)資料，利用2005年4月至2005年9月共40期實(shí)際監(jiān)測(cè)的數(shù)據(jù)作為SVR模型的學(xué)習(xí)樣本進(jìn)行訓(xùn)練，構(gòu)建預(yù)測(cè)模型，對(duì)2005年10月至2006年3月共20期的壩體沉降量進(jìn)行預(yù)測(cè)，并與實(shí)際觀測(cè)的沉降量進(jìn)行分析比較。

由于參數(shù)尋優(yōu)的試湊方法在很大程度上具有一定的盲目性，不便于科學(xué)地分析研究，因此本文只對(duì)格網(wǎng)法和粒子群算法進(jìn)行比較研究。

1.基于Grid法的參數(shù)選擇模型

本文采用ν-SVR的方法進(jìn)行回歸預(yù)測(cè)，采用RBF核函數(shù)，故需要選擇的參數(shù)包括懲罰參數(shù)C、RBF核函數(shù)的寬度σ和參數(shù)ν。因此，以各參數(shù)為基準(zhǔn)構(gòu)造三維空間的格網(wǎng)，使3個(gè)參數(shù)在空間格網(wǎng)中遍歷，通過(guò)對(duì)訓(xùn)練集交叉驗(yàn)證的評(píng)價(jià)精度來(lái)獲得最好的參數(shù)值。由于參數(shù)C和σ的取值范圍是（0，+∞），為使所構(gòu)造的格網(wǎng)間隔較大，采用log2C和log2σ對(duì)數(shù)形式構(gòu)造格網(wǎng)，這樣如果log2C和log2σ取值在［-10，10］內(nèi)，C和σ取值便能夠達(dá)到［0.000 976，1024］的跨度，大大提高了遍歷的效率。

取壩體的溫度、時(shí)效、壓應(yīng)力、孔隙水壓力、孔隙水壓力水頭、上游水位和壩體澆注高度為特征，先以較大的步長(zhǎng)構(gòu)造格網(wǎng)進(jìn)行參數(shù)的粗選，得到參數(shù)所可能取值的大致區(qū)域，然后進(jìn)一步細(xì)化網(wǎng)格，進(jìn)行參數(shù)的細(xì)選，這樣經(jīng)過(guò)兩次或多次細(xì)化網(wǎng)格便確定了3個(gè)參數(shù)的值。

圖1分別為采用Grid法進(jìn)行參數(shù)尋優(yōu)的粗選和細(xì)選在log2C和log2σ面投影的等值線圖。

根據(jù)Grid法獲得的3個(gè)參數(shù)的值分別為:C=724，σ=0.08，ν=0.2。用獲得的3個(gè)參數(shù)對(duì)后面20期的壩體沉降量進(jìn)行預(yù)測(cè)，得到的結(jié)果如圖2所示。

2.基于PSO法的參數(shù)選擇模型

根據(jù)粒子群算法的基本思想，以3個(gè)參數(shù)C、σ、ν作為3個(gè)微粒，在三維解空間中進(jìn)行飛行，以訓(xùn)練樣本中交叉驗(yàn)證的最小均方誤差作為適應(yīng)度值，種群規(guī)模為20，終止迭代次數(shù)為200，得到適應(yīng)度變化過(guò)程線和各參數(shù)的最優(yōu)取值位置（如圖3所示）。其中，圓點(diǎn)表示微粒在種群中的局部最優(yōu)解的位置，十字表示最終確定全局最優(yōu)解的位置。

圖1 Grid法參數(shù)選擇等值線圖

圖2 Grid法參數(shù)尋優(yōu)的訓(xùn)練預(yù)測(cè)圖

圖3 PSO法適應(yīng)度及參數(shù)最優(yōu)位置示意圖

PSO法獲得的3個(gè)參數(shù)的值分別為:C=1000，σ=0.45，ν=0.45。根據(jù)獲得的參數(shù)建立模型，對(duì)后面20期的壩體沉降量進(jìn)行預(yù)測(cè)，如圖4所示。

3.兩種參數(shù)選擇方法精度的對(duì)比分析

在選擇了合適的各參數(shù)后，根據(jù)訓(xùn)練集建立ν-SVR回歸模型，并對(duì)將來(lái)的值進(jìn)行預(yù)測(cè)，為了檢驗(yàn)?zāi)Ｐ皖A(yù)測(cè)效果的準(zhǔn)確性，采用實(shí)測(cè)值來(lái)進(jìn)行檢驗(yàn)，根據(jù)以下評(píng)價(jià)指標(biāo)進(jìn)行精度的評(píng)定。

圖4 PSO法參數(shù)尋優(yōu)的訓(xùn)練預(yù)測(cè)圖

1）均方誤差

2）平均絕對(duì)百分百比誤差

式（7）、式（8）中，f（xi）表示模型預(yù)測(cè)值；yi表示實(shí)測(cè)值；n表示樣本的數(shù)量。

Grid法和PSO法進(jìn)行參數(shù)尋優(yōu)的結(jié)果及各項(xiàng)評(píng)價(jià)指標(biāo)見(jiàn)表1。

表1 Grid法和PSO法參數(shù)尋優(yōu)結(jié)果

五、結(jié) 論

從以上信息可以看出，Grid法經(jīng)過(guò)多次細(xì)化網(wǎng)格進(jìn)行參數(shù)選擇的結(jié)果雖能達(dá)到較好的精度，但是相比PSO法仍存在不足之處，經(jīng)比較得出以下結(jié)論:

1）Grid法中格網(wǎng)的范圍選取對(duì)參數(shù)尋優(yōu)影響較大。理論上在大的范圍內(nèi)能夠保證找到較優(yōu)參數(shù)，但是格網(wǎng)的范圍過(guò)大則需要消耗過(guò)多的時(shí)間，而范圍過(guò)小則不能保證找到較好的參數(shù)，因此通常需要根據(jù)經(jīng)驗(yàn)調(diào)整；相反，PSO法在算法設(shè)計(jì)時(shí)已經(jīng)確定了足夠大的初始參數(shù)范圍，并且通過(guò)自動(dòng)調(diào)整微粒的飛行速度和位置來(lái)進(jìn)行參數(shù)尋優(yōu)，保證了確定合適參數(shù)的可能性。

2）Grid法消耗的時(shí)間還與格網(wǎng)的密度有關(guān)，并且通過(guò)多步細(xì)化格網(wǎng)來(lái)進(jìn)行參數(shù)的尋優(yōu)，所消耗的時(shí)間具有不確定性；PSO算法每次消耗的時(shí)間是由種群數(shù)量和終止代數(shù)決定的，而這兩項(xiàng)在算法確定的情況下是固定不變的，因此對(duì)于任何樣本的訓(xùn)練所消耗的時(shí)間是基本相同的。

3）支持向量機(jī)的參數(shù)選擇實(shí)際上是一個(gè)最優(yōu)化的問(wèn)題，Grid法通過(guò)遍歷的方式來(lái)尋優(yōu)，考慮到遍歷效率的問(wèn)題而不可能把網(wǎng)格劃分得過(guò)于密集，因此最終尋到的參數(shù)是全局最優(yōu)的可能性較?。欢鳳SO法則是從隨機(jī)解出發(fā)，通過(guò)迭代追隨當(dāng)前搜索到的最優(yōu)值來(lái)尋找全局最優(yōu)解，避免了人為選擇參數(shù)的盲目性，提高了模型的訓(xùn)練速度和預(yù)測(cè)推廣能力。

［1］ 鄧乃揚(yáng)，田英杰.支持向量機(jī)——理論、算法與拓展［M］.北京:科學(xué)出版社，2009.

［2］ 鄧小文.支持向量機(jī)參數(shù)選擇方法分析［J］.福建電腦，2005（11）:30-31.

［3］ 王睿.關(guān)于支持向量機(jī)參數(shù)選擇方法分析［J］.重慶師范大學(xué)學(xué)報(bào):自然科學(xué)版，2007，24（2）:36-38，42.

［4］ VAPNIK V N，CHERVONENKIS A Y.The Theory of Pattern Recognition［M］.Moscow:［s.n.］，1974.

［5］ HSU C W，CHANG C C，LIN C J.A Practical Guide to Support Vector Classification［R］.Taiwan:National Taiwan University，2003.