吳程昊，莫路鋒

（浙江農(nóng)林大學(xué) 信息工程學(xué)院，浙江 杭州 311300）

0 引言

支持向量機(jī)（SVM）是一種有監(jiān)督的機(jī)器學(xué)習(xí)方法，它能有效解決小樣本學(xué)習(xí)、高維及非線(xiàn)性問(wèn)題，并表現(xiàn)出較強(qiáng)的泛化能力，在模式識(shí)別、分類(lèi)等領(lǐng)域有著廣泛的應(yīng)用。

支持向量機(jī)的參數(shù)選擇極大程度上決定了其學(xué)習(xí)精度和泛化能力，因此國(guó)內(nèi)外學(xué)者對(duì)SVM 的參數(shù)優(yōu)化問(wèn)題進(jìn)行了研究，并取得了較好的成效。文獻(xiàn)[2]引入了遺傳算法（GA）優(yōu)化SVM 參數(shù)，提出一種GA-SVM 算法。邱正等采用人工蜂群算法（ABC）對(duì)SVM 參數(shù)進(jìn)行優(yōu)化，構(gòu)建了ABC-SVM 模型。周頔建立一種基于混合擾動(dòng)算子的量子粒子群優(yōu)化改進(jìn)算法優(yōu)化SVM 參數(shù)，并取得了較好的優(yōu)化結(jié)果。韓祥等提出了一種基于改進(jìn)人工魚(yú)群的優(yōu)化SVM 參數(shù)方法，實(shí)現(xiàn)了變壓器繞組熱點(diǎn)溫度的預(yù)測(cè)。陳晉音等建立了基于粒子群算法改進(jìn)后的SVM 模型，降低算法復(fù)雜度的同時(shí)提高了精度。這些方法取得成效的同時(shí)，也仍存在一定的缺陷，如GA易于局部極值化，而粒子群優(yōu)化（PSO）收斂迅速，但也同樣易于陷入局部最優(yōu)。

獅群算法（LSO）是近年被提出的群體智能算法，收斂速度快，相較GA、PSO 等算法，具有良好的全局尋優(yōu)能力，但也存在陷入局部最優(yōu)解、欠缺局部搜索機(jī)制的問(wèn)題，導(dǎo)致尋優(yōu)結(jié)果精度并不高。

本文針對(duì)LSO 陷入局部最優(yōu)解的問(wèn)題，引入差分變異機(jī)制，提高了子代多樣性，避免陷入局部最優(yōu)。針對(duì)LSO 欠缺局部搜索機(jī)制，引入了覓食行為機(jī)制，提高了局部尋優(yōu)能力。最后，提出了一種改進(jìn)后的獅群算法DALSO，用于對(duì)SVM 的參數(shù)進(jìn)行優(yōu)化選擇，并利用UCI 數(shù)據(jù)集對(duì)DALSO 優(yōu)化SVM 模型進(jìn)行有效驗(yàn)證。

1 DALSO 算法

1.1 獅群算法

獅群算法是一種群體智能算法，通過(guò)模擬自然界獅群狩獵、繁衍等行為，建立一個(gè)搜索全局最優(yōu)解的模型。獅群在算法中被分成了3 類(lèi)：獅王、母獅、幼獅。獅王是該種群中最強(qiáng)壯的公獅，是整個(gè)獅群中優(yōu)勝劣汰的領(lǐng)導(dǎo)者。母獅主要負(fù)責(zé)撫育幼獅，教授捕獵技巧。幼獅小時(shí)靠近獅王進(jìn)食，長(zhǎng)大后跟隨母獅捕獵，成年后被逐出獅群。獅群算法的主要思想如下：在待尋優(yōu)空間里的某一位置，適應(yīng)度最高的被定義為獅王；母獅負(fù)責(zé)合作捕殺獵物，一旦發(fā)現(xiàn)有更優(yōu)質(zhì)的獵物，則通知獅王，該獵物的位置會(huì)被獅王占據(jù)；幼獅在獅王附近進(jìn)食或者跟隨母獅學(xué)習(xí)捕獵，成年后被趕出獅群。獅群不斷進(jìn)行合作交流，更新位置，最終求得目標(biāo)函數(shù)最優(yōu)解。

1.2 基于差分進(jìn)化的獅群算法改進(jìn)方法

LSO 是基于獅群捕獵行為所提出的，有較好的尋優(yōu)效果。本文針對(duì)幼獅更新機(jī)制存在的容易導(dǎo)致陷入局部極值的問(wèn)題，引入了差分進(jìn)化算法的變異機(jī)制，以增加子代生成的多樣性和提高全局搜索的效率。

假設(shè)對(duì)于維空間，獅群總數(shù)為，成年獅占獅群比例因子為∈(0，1)，最大迭代次數(shù)為，則有：

式中成年獅子的數(shù)量為，那么幼獅的數(shù)量則為-。在成年獅中，將初始群體最優(yōu)位置設(shè)置為獅王，其余均為母獅。

獅王的位置是當(dāng)前迭代的最優(yōu)值，由式（2）更新獅王的位置：

母獅通常負(fù)責(zé)協(xié)同捕獵，所以母獅會(huì)隨機(jī)挑選另一只母獅進(jìn)行合作。根據(jù)下式來(lái)更新母獅的位置：

但是由式（3）可以看出，原算法局部尋優(yōu)機(jī)制過(guò)度依賴(lài)母獅協(xié)作來(lái)完成，只有母獅兩兩之間存在信息交互，忽略了其他獅子的信息交互。為了提高子代的多樣性，本文引入差分變異機(jī)制，母獅將向第代中的最優(yōu)雌獅個(gè)體和全局最優(yōu)個(gè)體學(xué)習(xí)，因此將母獅的更新機(jī)制修改為：

式中：m代表第代中的最優(yōu)雌獅個(gè)體；為權(quán)重因子。國(guó)內(nèi)外學(xué)者對(duì)DE 的參數(shù)在不同領(lǐng)域的優(yōu)化問(wèn)題進(jìn)行了研究分析，并指出通常意義下推薦∈[0.4，0.95]，因此，和的表達(dá)式如下：

式中：代表當(dāng)前迭代次數(shù)；則隨著的增大呈線(xiàn)性遞減，最小值為0.4。

傳統(tǒng)幼獅的更新機(jī)制可以分為3 種情況：跟隨母獅狩獵、跟隨獅王進(jìn)食、精英反向?qū)W習(xí)。精英反向?qū)W習(xí)是為了跳出局部最優(yōu)解，但是當(dāng)可行域不關(guān)于零點(diǎn)對(duì)稱(chēng)的時(shí)候，則會(huì)引起無(wú)效迭代。因此，提出一種引入差分變異機(jī)制的更新方式來(lái)替代精英反向?qū)W習(xí)。在差分變異機(jī)制中，DE/rand/1 方式的變異注重于全局搜索能力，類(lèi)似于精英反向?qū)W習(xí)，易于跳出局部最優(yōu)解。DE/best/1 方式的變異則更注重于局部搜索能力，該更新方式可以在前期擁有全局搜索能力，不易陷入局部極值；而后期更專(zhuān)注于局部搜索能力。兩種變異方式結(jié)合后的更新機(jī)制如下：

針對(duì)LSO 陷入局部極值的問(wèn)題，本文引入了差分進(jìn)化算法的變異機(jī)制來(lái)增加子代多樣性，更易于跳出局部最優(yōu)解。改進(jìn)后的LSO 算法在結(jié)合兩種變異方式之后，在前期擁有更好的全局搜索能力，易于跳出局部極值；而在后期更專(zhuān)注于局部搜索能力，延展了搜索深度，在提高尋優(yōu)精度的同時(shí)效率也更高。

1.3 基于覓食行為機(jī)制的獅群算法的改進(jìn)方法

LSO 算法由于局部搜索機(jī)制的欠缺，尋優(yōu)結(jié)果精度并不高。針對(duì)LSO 算法局部尋優(yōu)能力不足的問(wèn)題，本文引入了人工魚(yú)群算法的覓食行為機(jī)制來(lái)增強(qiáng)局部尋優(yōu)能力。魚(yú)群的覓食行為主要是通過(guò)判斷食物濃度的高低進(jìn)而進(jìn)行選擇性移動(dòng)。

假設(shè)在獅群種群內(nèi)一個(gè)個(gè)體當(dāng)前狀態(tài)為x，適應(yīng)值為y，在其視野范圍Visual 內(nèi)隨機(jī)選擇一個(gè)狀態(tài)x，對(duì)應(yīng)的適應(yīng)值為y，若y＜y，則向狀態(tài)x方向移動(dòng)step 個(gè)單位；若在隨機(jī)try_number 次后仍不滿(mǎn)足前進(jìn)條件，它將在任意方向上隨機(jī)移動(dòng)一步。本文對(duì)覓食行為做了改動(dòng)，若是try_number 次后仍不滿(mǎn)足前進(jìn)條件，則保持x狀態(tài)，且為了保證搜索效率和精度，將try_number 設(shè)置為4 次。覓食行為表示為：

改進(jìn)后的算法在每次迭代完母獅和幼獅的位置之后，會(huì)運(yùn)行覓食機(jī)制重新更新種群，保留高適應(yīng)度優(yōu)質(zhì)個(gè)體，以延展數(shù)據(jù)挖掘的深度，進(jìn)而達(dá)到增強(qiáng)局部尋優(yōu)能力的效果。

1.4 DALSO 算法描述

本文針對(duì)LSO 算法欠缺局部搜索機(jī)制的問(wèn)題，引入覓食行為機(jī)制來(lái)增強(qiáng)局部搜索能力。針對(duì)陷入局部最優(yōu)解的問(wèn)題，引入了差分變異機(jī)制對(duì)獅群的更新機(jī)制進(jìn)行優(yōu)化，提高了子代多樣性，更易于跳出局部最優(yōu)解，最后提出了DALSO 算法，該算法具體流程如圖1 所示。

圖1 DALSO 算法流程圖

1.5 基于DALSO 的SVM 參數(shù)優(yōu)化方法

SVM 包含有多種常用的核函數(shù)，鑒于RBF 核函數(shù)具有收斂迅速、非線(xiàn)性映射、適應(yīng)性廣等優(yōu)點(diǎn)，本文選取徑向基核函數(shù)作為內(nèi)積核函數(shù)，其數(shù)學(xué)形式為：

式中為核函數(shù)參數(shù)。

懲罰系數(shù)和核函數(shù)參數(shù)很大程度上決定了SVM模型的分類(lèi)效果。

本文提出一種基于DALSO 的SVM 參數(shù)優(yōu)化方法，利用該方法進(jìn)行(，)參數(shù)的自動(dòng)尋優(yōu)可使分類(lèi)準(zhǔn)確率達(dá)到最高。

假設(shè)存在數(shù)據(jù)集=(，，…，x)，輸出分類(lèi)結(jié)果為=(，，…，y)，正確分類(lèi)樣本數(shù)為，則SVM 模型的分類(lèi)正確率為：

SVM 模型的優(yōu)劣可以由分類(lèi)準(zhǔn)確率進(jìn)行評(píng)估，因此本文將分類(lèi)準(zhǔn)確率作為適應(yīng)度函數(shù)：

基于DALSO 的SVM 參數(shù)優(yōu)化方法具體步驟如下：

Step1：初始化算法參數(shù)獅群總數(shù)、成年獅占比、最大迭代次數(shù)等。

Step3：計(jì)算適應(yīng)度，更新獅王位置。

Step4：根據(jù)式（4）更新母獅位置，根據(jù)式（7）更新幼獅位置。

Step5：根據(jù)式（8）運(yùn)行覓食機(jī)制更新種群。

Step6：種群內(nèi)根據(jù)適應(yīng)度重新排序，更新獅王、母獅、幼獅的位置。

Step7：令=+1，迭代執(zhí)行Step3～Step6，直到迭代終止。

Step8：輸出全局最優(yōu)解，代入SVM 模型最終獲得優(yōu)化SVM 模型。

2 實(shí)驗(yàn)與分析

2.1 DALSO 算法性能分析

針對(duì)DALSO 算法的性能分析，本文選取獅群算法LSO、粒子群算法PSO、遺傳算法GA 與DALSO 在相同實(shí)驗(yàn)環(huán)境下進(jìn)行對(duì)比。各算法參數(shù)如表1 所示。

表1 算法參數(shù)表

4 種算法參數(shù)設(shè)置：種群總數(shù)=50，最大迭代次數(shù)=50，測(cè)試函數(shù)維度為5 維。在實(shí)驗(yàn)對(duì)比中，采用了Sphere、Ackley、Griewank 三個(gè)標(biāo)準(zhǔn)測(cè)試函數(shù)對(duì)算法進(jìn)行評(píng)估，分別運(yùn)行50 次，測(cè)試數(shù)據(jù)結(jié)果如表2 所示。

表2 算法性能評(píng)估表

從表2 中可以看出，DALSO 算法的平均運(yùn)行時(shí)間比其他算法耗時(shí)稍長(zhǎng)，原因在于DALSO 算法中加入了局部搜索機(jī)制，加深了挖掘來(lái)提升尋優(yōu)精度，因此犧牲了一部分的執(zhí)行效率。但是DALSO 算法相對(duì)于其他3 種算法而言，有更高的尋優(yōu)精度，說(shuō)明DALSO 算法不易于陷入局部最優(yōu)解，尋優(yōu)性能得到了一定的提升。

圖2～圖4 分別顯示3 種測(cè)試函數(shù)中，LSO、PSO、GA、DALSO 四種算法的尋優(yōu)收斂曲線(xiàn)圖。圖中，橫坐標(biāo)為迭代次數(shù)，縱坐標(biāo)為適應(yīng)度值的對(duì)數(shù)lg(())。可以看出，DALSO 算法在3 種測(cè)試函數(shù)中收斂最快，并且所需迭代次數(shù)相對(duì)更少。因此，DALSO 算法在對(duì)測(cè)試函數(shù)尋優(yōu)的實(shí)驗(yàn)中以更少的迭代次數(shù)獲得了更高質(zhì)量的解，相比之下有著顯著的優(yōu)越性。

圖2 Ackley 函數(shù)收斂圖

圖3 Griewank 函數(shù)收斂圖

圖4 Sphere 函數(shù)收斂圖

2.2 基于DALSO 的支持向量機(jī)參數(shù)優(yōu)化實(shí)驗(yàn)

為了驗(yàn)證基于DALSO 的SVM 算法性能，本文采用UCI 數(shù)據(jù)集中的Wine、Seeds 和Iris 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。同時(shí)，本文選取了遺傳算法優(yōu)化SVM（GA-SVM）、粒子群算法優(yōu)化SVM（PSO-SVM）、獅群算法優(yōu)化SVM（LSOSVM）三種優(yōu)化模型，用于比較DALSO-SVM 的分類(lèi)性能，分類(lèi)結(jié)果如表3 所示。

表3 算法分類(lèi)正確率對(duì)比 %

從表3 中可以看出，DALSO-SVM 在對(duì)Wine、Seeds、Iris 數(shù)據(jù)集進(jìn)行分類(lèi)時(shí)，其平均分類(lèi)準(zhǔn)確率分別達(dá)到了91.23%，91.74% 以及98.33%，要高于GA-SVM、PSOSVM 和LSO-SVM，并且分類(lèi)精度較3 種對(duì)比算法可提升6%～11%，提升幅度較大。實(shí)驗(yàn)結(jié)果表明，本文提出的DALSO 算法具有較好的尋優(yōu)能力，DALSO-SVM 分類(lèi)器有著更高的分類(lèi)精度。

3 結(jié)語(yǔ)

本文針對(duì)LSO 算法欠缺局部搜索機(jī)制的問(wèn)題，引入覓食行為機(jī)制，提高局部尋優(yōu)能力。針對(duì)陷入局部極值的問(wèn)題，引入差分變異機(jī)制，提高子代多樣性，易于跳出局部極值，提高尋優(yōu)精度。最后提出一種改進(jìn)的獅群算法DALSO，并用于支持向量機(jī)的參數(shù)優(yōu)化。通過(guò)結(jié)合覓食行為機(jī)制以及差分變異機(jī)制提高了算法的性能，獲得了最優(yōu)的參數(shù)組合，進(jìn)而得到優(yōu)化SVM 模型。通過(guò)測(cè)試函數(shù)和UCI 數(shù)據(jù)集的驗(yàn)證，結(jié)果表明DALSO 算法擁有較好的全局尋優(yōu)能力，而DALSO-SVM 分類(lèi)模型有更高的分類(lèi)精度，SVM 模型的泛化能力得到了提高。