李素，袁志高，王聰，陳天恩，郭兆春

（1. 北京工商大學(xué) 食品安全大數(shù)據(jù)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100048; 2. 國(guó)家農(nóng)業(yè)信息化工程技術(shù)研究中心，北京 100097）

在20世紀(jì)70年代，由Vapnik等[1]提出的統(tǒng)計(jì)學(xué)習(xí)理論是研究有限樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論，而支持向量機(jī)的發(fā)展則是基于該理論的。隨著支持向量機(jī)發(fā)展得越來(lái)越成熟，其不完善的地方仍需要進(jìn)一步研究。參數(shù)的優(yōu)化選擇一直以來(lái)是支持向量機(jī)的一個(gè)研究熱點(diǎn)。群智能算法在參數(shù)優(yōu)化方面具有較強(qiáng)的并行處理能力，尋優(yōu)速度快，同時(shí)具有全局尋優(yōu)等特點(diǎn)。使用群智能算法是當(dāng)前支持向量機(jī)參數(shù)優(yōu)化方法的研究前沿。

1 支持向量機(jī)理論

基于數(shù)據(jù)的機(jī)器學(xué)習(xí)是現(xiàn)代智能技術(shù)的一個(gè)重要方面，機(jī)器學(xué)習(xí)本質(zhì)上就是一種問(wèn)題真實(shí)模型的逼近，研究從觀測(cè)數(shù)據(jù)(樣本)出發(fā)尋找用來(lái)對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的規(guī)律。

支持向量機(jī)(support vector machine, SVM)是20世紀(jì)90年代中期發(fā)展起來(lái)的一種機(jī)器學(xué)習(xí)方法。該方法是基于統(tǒng)計(jì)學(xué)習(xí)理論，通過(guò)尋求結(jié)構(gòu)化風(fēng)險(xiǎn)最小來(lái)提高學(xué)習(xí)機(jī)泛化能力，完成經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍的最小化，從而達(dá)到在統(tǒng)計(jì)樣本數(shù)量較少的情況下，也能獲得優(yōu)良統(tǒng)計(jì)規(guī)律的目的。因?yàn)槠鋵W(xué)習(xí)性能突出，所以該領(lǐng)域成了大量學(xué)者的焦點(diǎn)。該技術(shù)目前也成為機(jī)器學(xué)習(xí)界的研究熱點(diǎn)，并在很多領(lǐng)域都得到了成功的應(yīng)用，如人臉識(shí)別、手寫(xiě)數(shù)字識(shí)別、文本自動(dòng)分類(lèi)以及機(jī)器翻譯等。

SVM的基本思想是使用核函數(shù)把輸入樣本空間映射到高維特征空間，在高維空間中求得一個(gè)最優(yōu)分類(lèi)面，得到輸入與輸出變量間的非線性關(guān)系，如圖1所示。

圖 1 尋找到的最優(yōu)分類(lèi)面Fig. 1 Finding the optimal classification surface

假設(shè)給定一個(gè)特征空間上的訓(xùn)練數(shù)據(jù)集T={(x1,y1),(x2,y2),···,(xN,yN)}，其中， xi∈Rn為第i個(gè)特征向量，也稱(chēng)為實(shí)例； yi∈ {1,?1}， i=1,2,···,N，為xi的類(lèi)標(biāo)記，當(dāng) yi=1時(shí)，稱(chēng) xi為正例，當(dāng) yi=?1時(shí)，稱(chēng)xi為負(fù)例。( xi,yi)稱(chēng)為樣本點(diǎn)。算法的關(guān)鍵是建立一個(gè)分類(lèi)超平面作為決策面，使得正例和反例的隔離邊緣最大化。其中分類(lèi)超平面就是求函數(shù)：

式中：w是超平面的法向量，b是超平面的常數(shù)項(xiàng)，xi為訓(xùn)練樣本，yi為樣本的類(lèi)別。

實(shí)際中，學(xué)者們會(huì)經(jīng)常遇到線性不可分的樣例，此時(shí)常用的做法是把樣例特征映射到高維空間去。如果凡是遇到線性不可分的樣例，一律映射到高維空間，那么這個(gè)維度大小就會(huì)特別高，處理起來(lái)就會(huì)特別困難。此時(shí)核函數(shù)在處理該問(wèn)題上面發(fā)揮重要作用，它的價(jià)值在于：雖然也是將特征從低維到高維轉(zhuǎn)換，但不同的是該方法事先會(huì)在低維上進(jìn)行計(jì)算，然后將實(shí)質(zhì)上的分類(lèi)效果表現(xiàn)在了高維上，這樣就避免了直接在高維空間中的復(fù)雜計(jì)算。

在實(shí)際應(yīng)用中，往往依賴(lài)先驗(yàn)領(lǐng)域理論知識(shí)才能選擇有效的核函數(shù)。廣泛使用的核函數(shù)主要有：多項(xiàng)式核函數(shù)：

根據(jù)問(wèn)題和數(shù)據(jù)的不同，選擇不同的參數(shù)，實(shí)際上就得到了不同的核函數(shù)，同時(shí)核函數(shù)的參數(shù)選取不同，會(huì)直接影響支持向量機(jī)的預(yù)測(cè)精度和分類(lèi)性能。

2 群智能算法

隨著人類(lèi)對(duì)生物啟發(fā)式計(jì)算的研究，一些社會(huì)性動(dòng)物的自組織行為引起了科學(xué)家的廣泛關(guān)注。這些社會(huì)性動(dòng)物在進(jìn)化過(guò)程中形成了一個(gè)共同的特點(diǎn)：個(gè)體的行為都很簡(jiǎn)單，但當(dāng)它們一起工作時(shí)，卻能夠表現(xiàn)出非常復(fù)雜的行為特征。

群智能算法的基本思想是模仿自然界當(dāng)中生物的種群行為來(lái)構(gòu)造隨機(jī)優(yōu)化算法。該算法主要是將優(yōu)化和搜索過(guò)程模擬成種群中個(gè)體的覓食或進(jìn)化過(guò)程，用搜索空間中的點(diǎn)模仿自然界當(dāng)中的種群個(gè)體，將求解問(wèn)題的目標(biāo)函數(shù)度量成種群中個(gè)體對(duì)環(huán)境的適應(yīng)能力；將種群中個(gè)體的優(yōu)勝劣汰過(guò)程或覓食過(guò)程類(lèi)比為搜索過(guò)程中用較優(yōu)的可行解取代較差的可行解的尋優(yōu)迭代過(guò)程。因此，群智能算法是一種具有“生成+檢驗(yàn)”特征的迭代搜索優(yōu)化算法。

群智能算法包括遺傳算法、蟻群算法、粒子群算法、人工魚(yú)群算法、人工蜂群算法、螢火蟲(chóng)算法以及蝙蝠算法等，作為一類(lèi)新型進(jìn)化算法，以其分布性、自組織性、強(qiáng)的魯棒性等優(yōu)點(diǎn)，已經(jīng)成功地應(yīng)用于函數(shù)優(yōu)化等領(lǐng)域。群智能算法從一出現(xiàn)便引起了研究者的廣泛關(guān)注，其理論研究在不斷深入的同時(shí)，其應(yīng)用領(lǐng)域也在隨之不斷擴(kuò)展，例如交通流模型驗(yàn)證問(wèn)題[2]、分布式高效定位問(wèn)題[3]以及配電系統(tǒng)中的電容器分配問(wèn)題[4]，充分說(shuō)明了群智能算法所蘊(yùn)藏的巨大潛力。同時(shí)，群智能算法在SVM參數(shù)優(yōu)化方面也得到了廣泛的應(yīng)用，進(jìn)一步提高了SVM的分類(lèi)預(yù)測(cè)精度以及泛化能力。

3 群智能算法優(yōu)化支持向量機(jī)參數(shù)

參數(shù)優(yōu)化是SVM研究中的一個(gè)重要問(wèn)題，參數(shù)選擇的不同會(huì)直接影響SVM模型的分類(lèi)預(yù)測(cè)精度和泛化能力。常用的傳統(tǒng)SVM參數(shù)優(yōu)化方法有實(shí)驗(yàn)法、網(wǎng)格法、梯度下降法[5-6]等。但是這些算法已經(jīng)難以滿(mǎn)足人們需求，存在各種各樣的問(wèn)題。

實(shí)驗(yàn)法主要原理是通過(guò)不斷嘗試不同的參數(shù)，最后選出一個(gè)最適合問(wèn)題的參數(shù)。實(shí)驗(yàn)選擇方法缺乏理論指導(dǎo)，全憑經(jīng)驗(yàn)，導(dǎo)致最終獲得的參數(shù)不一定是最優(yōu)的。網(wǎng)格參數(shù)優(yōu)化算法的基本原理是：首先對(duì)指定的網(wǎng)格范圍內(nèi)的每一個(gè)點(diǎn)進(jìn)行遍歷，然后將每一個(gè)點(diǎn)轉(zhuǎn)換為SVM的參數(shù)進(jìn)行驗(yàn)證，最后選擇誤差最小網(wǎng)格點(diǎn)作為SVM的最優(yōu)參數(shù)，該方法十分耗時(shí)。梯度下降算法對(duì)初始值的選擇十分敏感，并且有些時(shí)候?qū)嶒?yàn)結(jié)果誤差十分大，所以這些算法已經(jīng)難以滿(mǎn)足人們需求。因此設(shè)計(jì)高效的優(yōu)化算法成為眾多科研工作者的研究目標(biāo)。

群智能算法在參數(shù)優(yōu)化方面取得了很多重要成果，所以使用群智能算法來(lái)對(duì)SVM參數(shù)進(jìn)行優(yōu)化是一個(gè)不錯(cuò)的選擇。下面主要討論不同的群智能算法在SVM參數(shù)優(yōu)化領(lǐng)域中的研究成果。

3.1 遺傳算法

3.1.1 遺傳算法簡(jiǎn)介

遺傳算法(genetic algorithm, GA)是一類(lèi)模仿生物界的進(jìn)化規(guī)律演化而來(lái)的隨機(jī)化搜索方法，是由美國(guó)的J.H.Holland[7]教授提出的。遺傳算法的主要原理是以C.R.Darwin的生物進(jìn)化論和G.Mendel的遺傳變異理論為基礎(chǔ)，通過(guò)模仿自然界生物進(jìn)化機(jī)制達(dá)到隨機(jī)全局搜索和優(yōu)化的目的。

遺傳算法的主要特點(diǎn)是直接對(duì)結(jié)構(gòu)對(duì)象進(jìn)行操作、具有更好的全局尋優(yōu)能力以及能自動(dòng)獲取和指導(dǎo)優(yōu)化的搜索空間，自適應(yīng)地調(diào)整搜索方向，不需要確定的規(guī)則。由于基于遺傳算法的這些優(yōu)點(diǎn)，已被廣泛地應(yīng)用于飛機(jī)間的沖突解脫問(wèn)題[8]、集成供應(yīng)鏈問(wèn)題[9]以及機(jī)器學(xué)習(xí)[10]等領(lǐng)域。

3.1.2 遺傳算法優(yōu)化支持向量機(jī)參數(shù)

在 2006 年，E. Avci[11]和 C.L.Huang[12]首次提出了基于遺傳算法的支持向量機(jī)參數(shù)優(yōu)化方法。2015年，王瓊瑤等[13]提出了一種基于改進(jìn)遺傳算法的SVM參數(shù)優(yōu)化模型，該模型將遺傳算法與SVM結(jié)合，利用遺傳算法將對(duì)SVM具有重要意義的懲罰參數(shù)、核參數(shù)和損失函數(shù)同時(shí)優(yōu)化。解決了SVM算法在回歸預(yù)測(cè)時(shí)參數(shù)選取不當(dāng)導(dǎo)致過(guò)學(xué)習(xí)和欠學(xué)習(xí)的問(wèn)題。實(shí)驗(yàn)結(jié)果也表明改進(jìn)的算法較大地提高了SVM算法整體的尋優(yōu)能力。

針對(duì)基于遺傳算法對(duì)SVM參數(shù)優(yōu)化出現(xiàn)的訓(xùn)練時(shí)間較長(zhǎng)以及分類(lèi)精度較低等問(wèn)題，孟滔等[14]通過(guò)重新定義遺傳算法參數(shù)的尋優(yōu)范圍，提出了一種自適應(yīng)遺傳算法。算法通過(guò)網(wǎng)格搜索法確定最佳參數(shù)的最小尋優(yōu)范圍，有效地幫助常規(guī)遺傳算法避免陷入局部最優(yōu)解，同時(shí)保證了搜索的效率，并且改善了基于常規(guī)遺傳算法得到的懲罰參數(shù)C過(guò)大，導(dǎo)致分類(lèi)準(zhǔn)確率較低的問(wèn)題。針對(duì)此問(wèn)題，高雷阜等[15]還提出了一種可以自動(dòng)選擇核參數(shù)并且進(jìn)行SVM訓(xùn)練的GA_SJ算法，該算法將隨機(jī)搜索引入到遺傳算法當(dāng)中，有效地提高了遺傳算法的效率，使SVM具有較高的分類(lèi)性能。

為了提高SVM的精度和最小化訓(xùn)練時(shí)間，K.S.Sajan等[16]提出了使用遺傳算法來(lái)獲取SVM參數(shù)的最優(yōu)值，并且應(yīng)用到在線電壓穩(wěn)定性監(jiān)控。J.S.Chou等[17]提出了一種利用快速雜亂遺傳算法對(duì)SVM的參數(shù)進(jìn)行優(yōu)化，并且將其用于早期預(yù)測(cè)公私合作項(xiàng)目初始階段的爭(zhēng)議傾向當(dāng)中。Li Duan等[18]提出了一種使用遺傳算法優(yōu)化SVM參數(shù)，并且該算法應(yīng)用于7種柑橘草藥的區(qū)分和分類(lèi)當(dāng)中。

遺傳算法在首次被提出用于SVM參數(shù)優(yōu)化方法的時(shí)候，存在很多的問(wèn)題，使得SVM的預(yù)測(cè)與分類(lèi)精度不高。經(jīng)過(guò)國(guó)內(nèi)外學(xué)者不斷地改進(jìn)與研究，提出了各種各樣的改進(jìn)遺傳算法用于SVM參數(shù)優(yōu)化，使得SVM具有較高的分類(lèi)預(yù)測(cè)性能，不會(huì)在一定程度上過(guò)早陷入局部最優(yōu)。遺傳算法的應(yīng)用研究顯得格外活躍，而且利用遺傳算法進(jìn)行優(yōu)化的能力也顯著提高。

3.2 蟻群算法

3.2.1 蟻群算法簡(jiǎn)介

蟻群算法(ant colony optimization, ACO)又稱(chēng)螞蟻算法，是一種用來(lái)尋找最優(yōu)解決方案的概率型技術(shù)。它由意大利學(xué)者M(jìn)arco Dorigo等[19-20]首次提出。蟻群算法的主要原理是：種群中單個(gè)螞蟻在覓食的過(guò)程中可以在其經(jīng)過(guò)的路徑上留下一種稱(chēng)為信息素的物質(zhì)，并且在覓食的過(guò)程中能夠感知到信息素的強(qiáng)度，同時(shí)它們朝著信息素強(qiáng)度高的方向移動(dòng)，因此螞蟻種群組成的集體覓食就表現(xiàn)為一種對(duì)信息素的正反饋現(xiàn)象，從而逐漸逼近最優(yōu)路徑，找到最優(yōu)路徑。

蟻群算法主要特點(diǎn)是通過(guò)正反饋、分布式協(xié)作來(lái)尋找最優(yōu)路徑。蟻群算法就是根據(jù)這一特點(diǎn)，通過(guò)模仿螞蟻的行為，從而實(shí)現(xiàn)尋優(yōu)。自蟻群算法提出以來(lái)，引起了國(guó)內(nèi)外研究人員的極大興趣，對(duì)該算法進(jìn)行了廣泛的研究，并且該算法成功應(yīng)用于機(jī)器人避障問(wèn)題[21]、路徑規(guī)劃問(wèn)題[22]以及工作車(chē)間計(jì)劃問(wèn)題[23]等領(lǐng)域。

3.2.2 蟻群算法優(yōu)化支持向量機(jī)參數(shù)

最初蟻群算法是針對(duì)離散優(yōu)化問(wèn)題而提出的一種智能算法，但是SVM參數(shù)優(yōu)化是一個(gè)連續(xù)優(yōu)化的問(wèn)題。因此，在2003年汪鐳等[24]首次提出了一種應(yīng)用在連續(xù)空間尋優(yōu)問(wèn)題求解的蟻群算法，該算法有效地解決了蟻群算法所存在的問(wèn)題，為SVM選擇了最優(yōu)的參數(shù)且提高了SVM的分類(lèi)精度。針對(duì)SVM參數(shù)優(yōu)化是一個(gè)連續(xù)優(yōu)化的問(wèn)題，肖國(guó)榮等[25]也提出了一種改進(jìn)蟻群優(yōu)化算法，用于SVM參數(shù)尋優(yōu)。且實(shí)驗(yàn)結(jié)果表明，采用最優(yōu)參數(shù)建立的網(wǎng)絡(luò)入侵檢測(cè)模型，該模型對(duì)網(wǎng)絡(luò)入侵的正確率和檢測(cè)速度都有顯著提高。

隨著研究的不斷進(jìn)步，蟻群算法拓展到解決連續(xù)域問(wèn)題當(dāng)中也遇到了各種各樣的困難，由于連續(xù)空間的路徑不是實(shí)實(shí)在在地存在，所以需要進(jìn)行改進(jìn)。在2015年，高雷阜等[26]提出了一種改進(jìn)的蟻群算法用來(lái)優(yōu)化SVM參數(shù)，主要從對(duì)信息素的定義方式及留存方式、蟻群搜索尋優(yōu)方式、蟻群行進(jìn)方式三方面進(jìn)行改進(jìn)。改進(jìn)的蟻群算法在其搜索操作中加入了有向搜索，同時(shí)將信息素的更新引入時(shí)變函數(shù)，采取和迭代次數(shù)、目標(biāo)函數(shù)值相關(guān)的動(dòng)態(tài)更新策略。該算法雖然為SVM的核函數(shù)參數(shù)優(yōu)化提供了一種可行的方法，但是算法的復(fù)雜度較大，運(yùn)行時(shí)間較長(zhǎng)，還有待改進(jìn)。

SVM是智能故障診斷中廣泛使用的機(jī)器學(xué)習(xí)方法，同時(shí)如何尋找到能夠區(qū)分不同故障的有利條件和優(yōu)化SVM參數(shù)后使其具有良好特征被認(rèn)為是高度影響SVM的最終診斷精度的兩個(gè)最重要問(wèn)題。所以Zhang Xiaoli等[27]提出了一種蟻群優(yōu)化算法用于優(yōu)化SVM參數(shù)并且應(yīng)用于旋轉(zhuǎn)機(jī)械的智能故障診斷當(dāng)中。與其他方法相比，實(shí)驗(yàn)結(jié)果表明本文提出的方法可以獲得更好的效果。Han Pu等[28]提出了一種蟻群優(yōu)化算法優(yōu)化SVM的參數(shù)，并且應(yīng)用于煤灰融合溫度預(yù)測(cè)當(dāng)中，實(shí)驗(yàn)結(jié)果顯示本文中所描述的優(yōu)化算法可以使SVM取得最優(yōu)參數(shù)組合，防止陷入局部最優(yōu)，最終表明此模型可以實(shí)現(xiàn)更好的預(yù)測(cè)性能。R.Aalizadeh等[29]提出了一種通過(guò)蟻群算法優(yōu)化SVM參數(shù)模型并且應(yīng)用于預(yù)測(cè)新出現(xiàn)的污染物對(duì)水跳蚤毒性的影響。實(shí)驗(yàn)結(jié)果表明，該模型被成功地應(yīng)用于附加的評(píng)估集，并且對(duì)于發(fā)現(xiàn)落入所定義的適用性域內(nèi)的化合物的預(yù)測(cè)結(jié)果是非常準(zhǔn)確的。H. B.Alwan等[30]提出了一種混合變量蟻群優(yōu)化算法用來(lái)進(jìn)行特征子集選擇和調(diào)整SVM參數(shù)，且結(jié)果表明該方法在分類(lèi)精度和特征子集選擇方面較其他方法更加有效。

綜上所述，蟻群算法應(yīng)用在SVM參數(shù)優(yōu)化方面取得很大進(jìn)展。從最初只為了解決離散優(yōu)化問(wèn)題被提出，到如今經(jīng)過(guò)國(guó)內(nèi)外學(xué)者的研究與改進(jìn)，蟻群算法已經(jīng)能很好地應(yīng)用于SVM參數(shù)的連續(xù)優(yōu)化問(wèn)題當(dāng)中。經(jīng)過(guò)各種實(shí)驗(yàn)結(jié)果表明，蟻群算法在參數(shù)優(yōu)化方面具有良好的魯棒性和較強(qiáng)的全局搜索能力。但是該算法依然存在一些問(wèn)題，如算法的時(shí)間復(fù)雜度較高，運(yùn)行時(shí)間較長(zhǎng)，這些還是一個(gè)亟待解決的問(wèn)題。

3.3 粒子群算法

3.3.1 粒子群算法簡(jiǎn)介

粒子群算法(particle swarm optimization, PSO)最早由Eberhart和Kennedy[31-32]于1995年提出，它的基本概念源于對(duì)鳥(niǎo)群覓食行為的研究。粒子群算法的主要原理是：在對(duì)動(dòng)物群體運(yùn)動(dòng)行為觀察的基礎(chǔ)上，借鑒群體中的個(gè)體對(duì)信息的共享使整個(gè)群體的運(yùn)動(dòng)在問(wèn)題求解空間中產(chǎn)生，從無(wú)序到有序的演變過(guò)程，最終獲得最優(yōu)解。

該算法是一種全局并行尋優(yōu)算法，相比較于其他優(yōu)化算法，具有進(jìn)化時(shí)間短、尋優(yōu)精度高等優(yōu)點(diǎn)[33]。自粒子群算法提出以來(lái)，已成功應(yīng)用于求解旅行商問(wèn)題[34]、電容器分配問(wèn)題[4]以及機(jī)器學(xué)習(xí)[35]等相關(guān)領(lǐng)域。

3.3.2 粒子群算法優(yōu)化支持向量機(jī)參數(shù)

普通的粒子群算法存在后期趨同性嚴(yán)重、后期收斂速度緩慢以及易陷入局部極小點(diǎn)等缺點(diǎn)。針對(duì)普通粒子群存在的缺點(diǎn)，單黎黎[36]等提出了一種改進(jìn)的粒子群算法實(shí)現(xiàn)SVM參數(shù)的尋優(yōu)。該算法為了同時(shí)克服這些缺陷, 在引入動(dòng)量項(xiàng)的同時(shí)使得粒子不僅跟隨全局和局部最優(yōu)解, 還會(huì)跟隨任意一個(gè)粒子的個(gè)體極值以達(dá)到既緩和后期震蕩又解決后期趨同的目的。通過(guò)函數(shù)仿真實(shí)驗(yàn)驗(yàn)證了基于改進(jìn)的粒子群算法具有尋優(yōu)精度高、收斂速度快等優(yōu)勢(shì)。為了解決普通粒子群算法存在的缺點(diǎn)，毛耀宗等[37]也提出了一種基于粒子群算法，并且加入圖形處理器加速的SVM參數(shù)優(yōu)化方法。為了快速尋找最優(yōu)參數(shù)組合，該方法利用粒子群算法的收斂速度快、簡(jiǎn)單易行等特點(diǎn)，并且加入圖形處理器并行化處理能力計(jì)算每個(gè)參數(shù)的分類(lèi)準(zhǔn)確率，進(jìn)一步提升在一定的搜索空間內(nèi)尋找最佳參數(shù)組合的計(jì)算速度。這一過(guò)程避免了窮盡所有可能的情況，同時(shí)也可以得到滿(mǎn)意的結(jié)果。實(shí)驗(yàn)結(jié)果表明這種方法能獲得滿(mǎn)意的預(yù)測(cè)準(zhǔn)確率并且降低了程序的尋優(yōu)時(shí)間。

粒子群算法在SVM參數(shù)優(yōu)化方面得到進(jìn)一步的研究，通過(guò)粒子群算法尋找到的最優(yōu)參數(shù)使得SVM的分類(lèi)預(yù)測(cè)精度明顯提高。例如，王喜賓等[38]提出了粒子群模式搜索算法來(lái)對(duì)SVM的參數(shù)進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明，搜索到的最優(yōu)參數(shù)可以達(dá)到較高的正確率；胡云艷等[39]提出了一種粒子群算法對(duì)SVM參數(shù)進(jìn)行優(yōu)化，此算法應(yīng)用到模擬電路診斷當(dāng)中，提高了模擬電路診斷的正確率。郭鳳儀等[40]提出了基于粒子群算法參數(shù)優(yōu)化的SVM模型，在擬合精度方面有很大的提高，并且具有較好的泛化能力。

此外，粒子群算法優(yōu)化SVM參數(shù)還被應(yīng)用于確定從新生兒到六歲的幼兒的骨齡[41]、非重塑護(hù)提防波提的損傷水平預(yù)測(cè)[42]以及評(píng)價(jià)產(chǎn)品的Kansei圖像[43]等方面，同時(shí)以上參考文獻(xiàn)中實(shí)驗(yàn)結(jié)果表明，搜索到的最優(yōu)參數(shù)可以達(dá)到較高的正確率，有效提高SVM預(yù)測(cè)與分類(lèi)精度。

綜上所述，粒子群算法引起國(guó)內(nèi)外學(xué)者的廣泛研究。雖然粒子群算法依然存在各種各樣的問(wèn)題，但是通過(guò)不斷地研究與改進(jìn)，粒子群算法可以有效地實(shí)現(xiàn)SVM參數(shù)的選擇，是一種優(yōu)秀的SVM參數(shù)優(yōu)化方法。

3.4 人工魚(yú)群算法

3.4.1 人工魚(yú)群算法簡(jiǎn)介

人工魚(yú)群算法(artificial fish swarm algorithm,AFSA)是我國(guó)學(xué)者李曉磊[44-45]提出的一種模擬魚(yú)類(lèi)覓食活動(dòng)的群智能算法。人工魚(yú)群算法主要原理是通過(guò)模擬魚(yú)群覓食、聚群、追尾三大基本行為，采用自下而上的思路進(jìn)行尋優(yōu)。

人工魚(yú)群算法具有尋優(yōu)速度快、全局尋優(yōu)能力以及較強(qiáng)的并行處理能力等優(yōu)點(diǎn)，被廣泛應(yīng)用于車(chē)間調(diào)度分配[46]、電力系統(tǒng)規(guī)劃[47]以及機(jī)器學(xué)習(xí)[48]等領(lǐng)域。

3.4.2 人工魚(yú)群算法優(yōu)化支持向量機(jī)參數(shù)

使用人工魚(yú)群算法進(jìn)行SVM參數(shù)優(yōu)化的實(shí)驗(yàn)中，人工魚(yú)群算法使用多條人工魚(yú)同時(shí)進(jìn)行尋優(yōu)，從中選取最優(yōu)的值作為此次優(yōu)化的結(jié)果。由于缺乏對(duì)SVM的參數(shù)優(yōu)化問(wèn)題的理論支持，所以高雷阜等[48]提出了基于人工魚(yú)群算法的SVM參數(shù)優(yōu)化選取算法。文獻(xiàn)中利用人工魚(yú)群的并行性，能夠更快地收斂于全局極值點(diǎn)，并且以分類(lèi)準(zhǔn)確率最大化作為優(yōu)化原則建立目標(biāo)函數(shù)，實(shí)現(xiàn)對(duì)SVM的核參數(shù)和罰參數(shù)的優(yōu)化選取。數(shù)值實(shí)驗(yàn)結(jié)果表明，人工魚(yú)群算法在SVM參數(shù)優(yōu)化選取中具有更快的尋優(yōu)性能，同時(shí)具有較高的分類(lèi)準(zhǔn)確率。在文獻(xiàn)的結(jié)論提出了針對(duì)不同的具體問(wèn)題只是通過(guò)現(xiàn)有的核函數(shù)的選取，可能在某種程度上會(huì)影響SVM的性能，而且人工魚(yú)群算法能較快收斂到最優(yōu)解的鄰域中，但是搜索尋優(yōu)的性能仍需改進(jìn)。

雖然人工魚(yú)群算法具有對(duì)初值要求不高以及簡(jiǎn)單實(shí)現(xiàn)等優(yōu)點(diǎn)，但是也存在尋優(yōu)精度不高、后期收斂速度較慢的缺陷。針對(duì)此問(wèn)題，田海雷等[49]提出了一種基于改進(jìn)人工魚(yú)群算法，對(duì)SVM參數(shù)進(jìn)行優(yōu)化，在對(duì)人工魚(yú)群算法進(jìn)行深入分析的基礎(chǔ)上，同時(shí)對(duì)人工魚(yú)群算法進(jìn)行改進(jìn)，改進(jìn)后的人工魚(yú)自適應(yīng)地獲取視野和步長(zhǎng)，從而有效地改善算法的性能，實(shí)驗(yàn)結(jié)果表明該算法獲得了更高的預(yù)測(cè)精度。朱文靜等[50]也提出了一種混沌人工魚(yú)群算法對(duì)SVM參數(shù)的優(yōu)化方法，在人工魚(yú)群優(yōu)化算法基礎(chǔ)上引入混沌思想，利用混沌序列的隨機(jī)性、遍歷性和規(guī)律性來(lái)提高算法的效率，得到了一種性能更好的混沌人工魚(yú)群算法，并將通過(guò)該算法優(yōu)化后的SVM的核參數(shù)與懲罰因子應(yīng)用于語(yǔ)音識(shí)別系統(tǒng)中。馮曉琳等[51]也提出了一種基于改進(jìn)型人工魚(yú)群算法的SVM參數(shù)優(yōu)化方法。該改進(jìn)的人工魚(yú)群算法實(shí)行參數(shù)動(dòng)態(tài)化，加入局部遍歷算法，提高了人工魚(yú)群算法的精度。

傳統(tǒng)人工魚(yú)群算法的循環(huán)體有可能出現(xiàn)最佳解的缺失，為了解決此問(wèn)題，Bai Jing等[52]提出了一種基于并行人工魚(yú)群算法的SVM參數(shù)優(yōu)化方法。實(shí)驗(yàn)結(jié)果表明，該新算法是一種有效的SVM參數(shù)優(yōu)化方法，使得SVM不僅具有良好的泛化能力，同時(shí)還具有更好的魯棒性。

針對(duì)傳統(tǒng)人工魚(yú)群算法具有陷入局部最優(yōu)的缺陷，Lin Kuancheng等[53]提出一種基于改進(jìn)的人工魚(yú)群算法的SVM參數(shù)優(yōu)化方法。實(shí)驗(yàn)結(jié)果表明，與原始人工魚(yú)群算法相比，改進(jìn)后的算法在分類(lèi)精度上具有明顯的優(yōu)越性。

目前仍有很多學(xué)者使用人工魚(yú)群算法來(lái)優(yōu)化SVM參數(shù)，并且應(yīng)用于各種領(lǐng)域，例如僵尸網(wǎng)絡(luò)檢測(cè)當(dāng)中[54]等。通過(guò)以上領(lǐng)域的應(yīng)用和實(shí)驗(yàn)結(jié)果的顯示，充分證明了人工魚(yú)群算法在優(yōu)化SVM參數(shù)方面具有很大優(yōu)勢(shì)，尋找到的最優(yōu)參數(shù)有效地提高了SVM的分類(lèi)預(yù)測(cè)精度。

綜上所述，人工魚(yú)群算法作為新興的群體智能優(yōu)化算法，具有較好的并行性以及不易陷入局部極值等優(yōu)點(diǎn)，同時(shí)還具有良好的尋優(yōu)能力，可以使SVM獲得更高的預(yù)測(cè)精度。通過(guò)不斷的研究與改進(jìn)，人工魚(yú)群算法已成為一種可行的SVM參數(shù)優(yōu)化方法。

3.5 人工蜂群算法

3.5.1 人工蜂群算法簡(jiǎn)介

人工蜂群算法(artificial bee colony algorithm,ABC)是用于模擬蜂群智能搜索行為的一種仿生算法，由土耳其埃爾吉耶斯大學(xué)的Karaboga[55]于2005年提出。人工蜂群算法的主要原理是，模仿自然界中蜜蜂采蜜的過(guò)程，群體中的蜜蜂根據(jù)分工不同完成采蜜過(guò)程的各階段任務(wù)，通過(guò)食物源信息的收集與共享，尋找問(wèn)題的最優(yōu)解。

人工蜂群算法作為一種模擬蜜蜂群智能搜索行為的優(yōu)化算法，具有控制參數(shù)少、計(jì)算簡(jiǎn)單和易于實(shí)現(xiàn)等特點(diǎn)，已成為目前研究的熱點(diǎn)之一，被廣泛應(yīng)用于飛機(jī)著陸問(wèn)題[56]、無(wú)人機(jī)航路規(guī)劃問(wèn)題[57]以及車(chē)間調(diào)度問(wèn)題[58]。

3.5.2 人工蜂群算法優(yōu)化支持向量機(jī)參數(shù)

針對(duì)傳統(tǒng)的人工蜂群算法初始種群在解空間分布不均勻、收斂速度慢等缺點(diǎn)，吳少華等[59]提出了一種基于二維均勻設(shè)計(jì)和歐式距離的改進(jìn)人工蜂群算法，對(duì)算法的主要改進(jìn)為：在種群初始時(shí)，引入二維均勻設(shè)計(jì)理論，使初始食物源更加均勻地分布在解搜索空間當(dāng)中；在構(gòu)建新食物源時(shí)，提出一種基于歐氏距離的覓食方法以改進(jìn)種群局部和全局的更新策略，此改進(jìn)提高了算法的全局搜索能力。仿真實(shí)驗(yàn)結(jié)果表明，改進(jìn)的蜂群算法具有更快的收斂速度。劉霞等[60]也提出了一種基于混沌人工蜂群算法優(yōu)化的SVM齒輪故障診斷方法。該方法采用Logistic混沌映射初始化種群和錦標(biāo)賽選擇策略，對(duì)SVM的懲罰因子和核函數(shù)參數(shù)進(jìn)行優(yōu)化。混沌人工蜂群算法在一定程度上避免了尋優(yōu)速度較慢和早熟收斂的問(wèn)題，其優(yōu)化的SVM能獲得更高的分類(lèi)正確率和更快的搜索速度，該方法具有重要的工程應(yīng)用價(jià)值。

針對(duì)基于傳統(tǒng)的參數(shù)優(yōu)化算法在優(yōu)化過(guò)程中會(huì)不同程度地陷入局部最優(yōu)解的問(wèn)題，劉銘等[61]提出了一種基于交叉變異人工蜂群算法的SVM參數(shù)優(yōu)化方法，并將其應(yīng)用于入侵檢測(cè)。實(shí)驗(yàn)表明，此算法克服了局部最優(yōu)值的缺陷，使檢測(cè)器獲得了更高的檢測(cè)率、較低的誤報(bào)率，所以入侵檢測(cè)系統(tǒng)在防御網(wǎng)絡(luò)入侵方面表現(xiàn)得更好。李璟民等[62]提出了一種人工蜂群優(yōu)化SVM參數(shù)的方法，對(duì)SVM的懲罰因子和函數(shù)寬度進(jìn)行優(yōu)化，并將該優(yōu)化方法應(yīng)用于小麥完好粒、霉變粒和發(fā)芽粒3類(lèi)麥粒的識(shí)別當(dāng)中。實(shí)驗(yàn)結(jié)果表明，采用人工蜂群來(lái)優(yōu)化SVM的方法對(duì)小麥完好粒、霉變粒和發(fā)芽粒的分類(lèi)正確率達(dá)到86%以上；該研究有較強(qiáng)的實(shí)用價(jià)值，為SVM性能優(yōu)化提供了一種新的方法。

還有一些學(xué)者用人工蜂群算法優(yōu)化SVM參數(shù)，同時(shí)應(yīng)用到一些領(lǐng)域來(lái)驗(yàn)證該算法的有效性，例如，Yang等[63]提出了一種基于人工蜂群算法優(yōu)化SVM參數(shù)的方法，同時(shí)應(yīng)用于齒輪故障診斷當(dāng)中。與其他群智能算法進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明該方法可以在最少的時(shí)間獲得較高的精度；D.T.Bui等[64]提出了一種利用最小二乘SVM推理模型和人工蜂群優(yōu)化的混合智能方法對(duì)老撾地區(qū)(越南)降雨誘發(fā)滑坡的空間預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，該模型的預(yù)測(cè)能力比從流行的SVM獲得的預(yù)測(cè)能力更好。因此，該模型是研究區(qū)域滑坡空間預(yù)測(cè)的有效工具；Z.Mustaffa等[65]提出一種人工蜂群算法來(lái)優(yōu)化最小二乘SVM的參數(shù)，并用于商品價(jià)格預(yù)測(cè)當(dāng)中。實(shí)證結(jié)果顯示了所提出的技術(shù)具有更高預(yù)測(cè)精度的能力。

綜上所述，人工蜂群算法通過(guò)不斷地研究與改進(jìn)，在陷入局部最優(yōu)解問(wèn)題時(shí)，該算法極大程度地避免了該問(wèn)題，并且優(yōu)化性能比傳統(tǒng)方法更出色。人工蜂群算法提出的時(shí)間還不長(zhǎng)，仍處于起步階段，還需要更進(jìn)一步的研究 。

3.6 螢火蟲(chóng)算法

3.6.1 螢火蟲(chóng)算法簡(jiǎn)介

螢火蟲(chóng)算法(glowworm swarm optimization,GSO)是印度學(xué)者K.N.Krishnanand[66]等提出的一種群智能優(yōu)化算法。螢火蟲(chóng)算法的主要原理是：模擬螢火蟲(chóng)運(yùn)動(dòng)過(guò)程中通過(guò)個(gè)體的熒光素發(fā)出的熒光來(lái)吸引其他同伴，并向領(lǐng)域中熒光最亮、位置較優(yōu)的螢火蟲(chóng)移動(dòng)，從而達(dá)到自身的位置最優(yōu)。

螢火蟲(chóng)算法具有尋優(yōu)速度快、計(jì)算時(shí)間短等特點(diǎn)，目前已成功應(yīng)用于求解阻塞流水線調(diào)度問(wèn)題[67]、傳感器節(jié)能[68]和人工智能[69]等領(lǐng)域。

3.6.2 螢火蟲(chóng)算法優(yōu)化支持向量機(jī)參數(shù)

針對(duì)基本螢火蟲(chóng)算法存在著早期收斂速度較慢，后期收斂不穩(wěn)定等問(wèn)題，楊海等[69]提出了一種基于改進(jìn)螢火蟲(chóng)算法的SVM核函數(shù)參數(shù)選取方法。文獻(xiàn)[69]中是通過(guò)改進(jìn)螢火蟲(chóng)位置更新公式，并在移動(dòng)過(guò)程中引入亮度特征從而確定最佳的SVM核函數(shù)參數(shù)。位置更新公式為

式(5)表示當(dāng)在視野范圍內(nèi)遇到比自己更亮的螢火蟲(chóng)時(shí)，利用彼此之間的距離參考空間能見(jiàn)度，形成一個(gè)高亮度個(gè)體對(duì)低亮度個(gè)體的吸引力，同時(shí)可以使用常量e來(lái)加速收斂。其中β0表示距離為0時(shí)的吸引力，γ為光強(qiáng)吸收系數(shù)，表示兩只螢火蟲(chóng)之間的歐幾里得距離的平方，rand為[0, 1]上服從均勻分布的隨機(jī)因子。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的螢火蟲(chóng)算法選取的SVM核函數(shù)參數(shù)在保證了分類(lèi)器收斂性能的同時(shí)，顯著提高了分類(lèi)精度，取得了良好的優(yōu)化效果。

目前使用螢火蟲(chóng)算法優(yōu)化SVM參數(shù)的學(xué)者也出現(xiàn)了很多，例如李茜楠等[70]提出了一種基于優(yōu)化此算法的高光譜遙感波段選擇方法。該算法針對(duì)原始螢火蟲(chóng)算法的缺點(diǎn)，改進(jìn)了算法的初始值以及目標(biāo)函數(shù)，設(shè)計(jì)了一種新型的基于仿生算法的波段選擇新方法。實(shí)驗(yàn)結(jié)果表明，該方法可以比較快速地選取目標(biāo)波段，并且具有較高的精度。劉玉坤等[71]提出了一種人工螢火蟲(chóng)算法優(yōu)化最小二乘SVM的方法，并且應(yīng)用于網(wǎng)絡(luò)熱點(diǎn)話(huà)題預(yù)測(cè)當(dāng)中。預(yù)測(cè)結(jié)果表明，用螢火蟲(chóng)算法優(yōu)化的最小二乘SVM網(wǎng)絡(luò)熱點(diǎn)預(yù)測(cè)模型不僅提高了網(wǎng)絡(luò)熱點(diǎn)話(huà)題的預(yù)測(cè)準(zhǔn)確性，而且在網(wǎng)絡(luò)輿情分析中還具有廣泛的應(yīng)用前景。

綜上所述，螢火蟲(chóng)算法用于SVM參數(shù)優(yōu)化方法，存在很多的問(wèn)題。經(jīng)過(guò)不斷地改進(jìn)與研究，提出了各種各樣的改進(jìn)螢火蟲(chóng)算法用于SVM參數(shù)優(yōu)化方面，使得SVM具有較高的分類(lèi)性能，同時(shí)具備比傳統(tǒng)方法更好的優(yōu)化性能。

3.7 蝙蝠算法

3.7.1 蝙蝠算法簡(jiǎn)介

2010年YANG Xinshe[72-74]提出了一種元啟發(fā)式優(yōu)化算法，這種算法就是蝙蝠算法(bat algorithm,BA)。蝙蝠算法的主要原理是，模仿自然界中的蝙蝠利用聲吶來(lái)避免障礙物探測(cè)獵物的群智能優(yōu)化算法。

蝙蝠算法是一種新型的智能算法，在有效性和準(zhǔn)確性方面有明顯的提高，同時(shí)它具有模型簡(jiǎn)單、搜索能力強(qiáng)、收斂速度快等特點(diǎn)，被廣泛應(yīng)用于灰色圖像邊緣檢測(cè)[75]、電容車(chē)輛路由問(wèn)題[76]以及電力系統(tǒng)[77]當(dāng)中。

3.7.2 蝙蝠算法優(yōu)化支持向量機(jī)參數(shù)

2015年，魏峻[78]提出了一種基于ReliefF和蝙蝠算法的SVM參數(shù)優(yōu)化方法，對(duì)SVM的懲罰參數(shù)和核參數(shù)進(jìn)行優(yōu)化。該方法首先基于ReliefF的基因初選，剔除與分類(lèi)無(wú)關(guān)的噪聲和冗余基因，其次進(jìn)行基于蝙蝠算法的SVM參數(shù)優(yōu)化。結(jié)果表明，該算法得到的最優(yōu)參數(shù)對(duì)SVM的分類(lèi)精度得到較明顯的提高，同時(shí)對(duì)SVM的學(xué)習(xí)和泛化能力也有所加強(qiáng)。

SVM的參數(shù)(例如核參數(shù)和懲罰參數(shù))選取不當(dāng)會(huì)對(duì)預(yù)測(cè)模型的準(zhǔn)確性有很大影響，針對(duì)此問(wèn)題A.Tharwat[79]等提出了一種基于蝙蝠算法的SVM參數(shù)優(yōu)化方法，與粒子群算法和遺傳算法進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明，該模型能夠找到SVM的最優(yōu)參數(shù)組合，避免了局部最優(yōu)問(wèn)題。

還有一些學(xué)者用蝙蝠算法優(yōu)化SVM參數(shù)，同時(shí)應(yīng)用到一些領(lǐng)域來(lái)驗(yàn)證該算法的有效性，例如，E.Tuba等[80]提出了一種蝙蝠算法用來(lái)優(yōu)化SVM參數(shù)的方法。該方法應(yīng)用于手寫(xiě)數(shù)字識(shí)別當(dāng)中分類(lèi)問(wèn)題中，實(shí)驗(yàn)結(jié)果表明使用蝙蝠算法可以準(zhǔn)確迅速找到SVM參數(shù)的最優(yōu)值，并且有效地減少分類(lèi)誤差率。Xing Bing等[81]提出使用蝙蝠算法用于SVM參數(shù)優(yōu)化，同時(shí)應(yīng)用在洪水月平均流預(yù)測(cè)方面，并且實(shí)驗(yàn)結(jié)果表明該模型具有更準(zhǔn)確的預(yù)測(cè)率。

綜上所述，蝙蝠算法作為一種新穎的隨機(jī)型搜索算法，相對(duì)于其他的算法，顯著提高了有效性和準(zhǔn)確性，但是該算法是目前較新的算法，它的優(yōu)化性能還需進(jìn)一步改進(jìn)完善。

3.8 其他群智能算法優(yōu)化支持向量機(jī)參數(shù)

除了本文單獨(dú)列舉出的7種群智能算法以外，還有很多群智能算法被提出并且應(yīng)用于SVM參數(shù)優(yōu)化當(dāng)中，如混合蛙跳算法、果蠅優(yōu)化算法、細(xì)菌覓食優(yōu)化算法以及花授粉算法等。

混合蛙跳算法(shuffled frog leaping algorithm,SFLA)的主要原理是：在一片濕地中生活著一群青蛙，濕地內(nèi)分布著許多石頭，青蛙個(gè)體之間通過(guò)文化的交流實(shí)現(xiàn)信息的交換，青蛙通過(guò)尋找不同的石頭進(jìn)行跳躍去找到食物較多的地方。

混合蛙跳算法是2003年Muzaffar Eusuff和Kevin Lansey提出的一種群智能優(yōu)化算法，該算法可以用于解決許多復(fù)雜的優(yōu)化問(wèn)題[82]。曾燕等[83]人提出了一種基于改進(jìn)的混合蛙跳算法優(yōu)化最小二乘SVM的蔬菜總黃酮軟測(cè)量模型。實(shí)驗(yàn)結(jié)果表明，該模型具有測(cè)量精度高，穩(wěn)定性好的優(yōu)點(diǎn)，有利于蔬菜總黃酮化學(xué)物測(cè)量工程的實(shí)際應(yīng)用。

果蠅優(yōu)化算法(fruit fly optimization algorithm,FOA)的主要原理是：果蠅根據(jù)食物氣味的濃度分布判斷飛行方向，如果其中一只果蠅的所處位置氣味濃度最高，那么種群中其余果蠅就會(huì)朝該方向移動(dòng)，然后再以該位置為初始位置繼續(xù)隨機(jī)飛行，得出氣味濃度最高的果蠅位置, 以此遞推最終找到食物。

果蠅優(yōu)化算法是基于果蠅覓食的行為推演出來(lái)的全局尋優(yōu)方法，是我國(guó)學(xué)者Pan Wenchao[84]在2012年提出的群智能優(yōu)化算法。寧劍平[85]等提出了一種遞減步長(zhǎng)果蠅優(yōu)化算法，將該算法用于SVM回歸模型的懲罰因子和核函數(shù)參數(shù)優(yōu)化中，結(jié)果表明該算法收斂速度快，全局搜索與局部尋優(yōu)能力強(qiáng)。Si Lei等[86]提出了一種改進(jìn)的果蠅優(yōu)化算法來(lái)優(yōu)化最小二乘SVM參數(shù)，并且應(yīng)用于振動(dòng)信號(hào)的剪切切割模式識(shí)別當(dāng)中。由于交通流預(yù)測(cè)的準(zhǔn)確性在現(xiàn)代智能交通系統(tǒng)領(lǐng)域起著重要作用, 并且果蠅優(yōu)化算法具有易于理解和快速收斂到全局最優(yōu)解的優(yōu)點(diǎn), 因此Cong等[87]提出了一種基于最小二乘SVM的交通流預(yù)測(cè)模型，并通過(guò)果蠅優(yōu)化算法自適應(yīng)確定具有兩個(gè)參數(shù)的最小二乘SVM模型。

細(xì)菌覓食優(yōu)化算法(bacteria foraging algorithm,BFA)的主要原理是：該算法是根據(jù)細(xì)菌菌落生長(zhǎng)演化的基本規(guī)律提出一種新的優(yōu)化方法。細(xì)菌覓食算法的生物學(xué)基礎(chǔ)是大腸桿菌在人類(lèi)腸道中覓食過(guò)程中的智能表現(xiàn)，通過(guò)趨化、繁殖、驅(qū)散這3個(gè)步驟來(lái)迭代的更新細(xì)菌的所在位置，使細(xì)菌能夠趨向營(yíng)養(yǎng)豐富的地方。為正確選擇應(yīng)用于人臉識(shí)別的SVM相關(guān)參數(shù)，馬家辰[88]等提出了一種應(yīng)用于表情識(shí)別的基于細(xì)菌覓食算法的SVM參數(shù)選擇方法。實(shí)驗(yàn)結(jié)果表明，采用該方法能夠使人臉表情識(shí)別分類(lèi)結(jié)果具有更高的準(zhǔn)確率。楊大煉等[89]提出了一種基于自適應(yīng)細(xì)菌覓食算法的SVM參數(shù)快速選取方法。研究結(jié)果表明，細(xì)菌覓食優(yōu)化算法能夠更加快速地選取到最優(yōu)參數(shù)，并且應(yīng)用于提高齒輪箱故障診斷的精度。

花授粉算法(flower polination algorithm，F(xiàn)PA)的主要原理是模擬自然界花朵授粉過(guò)程而提出的一種新型元啟發(fā)式群智能優(yōu)化算法。花授粉算法是由YANG等[90]在2012年提出的。該算法擁有的參數(shù)少，具有計(jì)算簡(jiǎn)單、效率高以及易于實(shí)現(xiàn)等優(yōu)點(diǎn)。但是傳統(tǒng)的花授粉算法自身也存在搜索速度慢、易陷入局部最優(yōu)等缺點(diǎn)。針對(duì)傳統(tǒng)花授粉算法存在的問(wèn)題，N.D.Hoang等[91]提出了一種差分花授粉算法優(yōu)化SVM參數(shù)，并且用于水泥漿灌溉過(guò)程的估算。實(shí)驗(yàn)結(jié)果表明該方法可以提供更好的預(yù)測(cè)性能。Zhang Wenyu等[92]提出了一種具有混沌局部搜索的花授粉算法用于SVM參數(shù)優(yōu)化，同時(shí)應(yīng)用于風(fēng)速預(yù)測(cè)當(dāng)中。實(shí)驗(yàn)結(jié)果表明該算法在高精度風(fēng)速預(yù)測(cè)當(dāng)中是有效的。

3.9 群智能算法與其他算法相結(jié)合優(yōu)化支持向量機(jī)參數(shù)

因?yàn)槿褐悄芩惴ㄗ陨泶嬖诤芏嗑窒扌?，所以許多學(xué)者提出了群智能算法與其他算法相結(jié)合的方法來(lái)優(yōu)化SVM參數(shù)。此種結(jié)合不但保留了群智能算法的優(yōu)點(diǎn)，同時(shí)還具有其他算法的優(yōu)點(diǎn)，并且取得了顯著效果，使得算法的效率和性能方面都有了很大的提高。

針對(duì)遺傳算法存在的缺點(diǎn)，2013年王萍萍等[93]提出了一種將遺傳算法與Powell算法結(jié)合用來(lái)優(yōu)化SVM核參數(shù)的方法，該算法在保持了遺傳算法的強(qiáng)全局搜索能力的同時(shí)還具有Powell算法的局部搜索優(yōu)勢(shì)，通過(guò)不斷在迭代的過(guò)程中對(duì)全局最優(yōu)值的調(diào)整來(lái)避免遺傳算法的早熟收斂，由此得到更好的尋優(yōu)性能。實(shí)驗(yàn)結(jié)果表明，該算法大大地提高了算法的效率和性能，并且準(zhǔn)確率較高。

針對(duì)蟻群算法容易陷入局部最優(yōu)的問(wèn)題，2013年耿俊豹等[94]提出了一種基于蟻群算法和循環(huán)交叉驗(yàn)證法的SVM參數(shù)優(yōu)化方法。通過(guò)蟻群算法的函數(shù)優(yōu)化功能，快速準(zhǔn)確地確定SVM核函數(shù)參數(shù)。實(shí)驗(yàn)中得知全局核和局部核的組合比單核SVM具有更好的預(yù)測(cè)效果，但是最優(yōu)的核函數(shù)并不是簡(jiǎn)單的相加組合，而是要通過(guò)對(duì)SVM參數(shù)的調(diào)整，最終確定最優(yōu)核函數(shù)。此實(shí)驗(yàn)的預(yù)測(cè)模型應(yīng)用于飛機(jī)機(jī)體研制費(fèi)用預(yù)測(cè)當(dāng)中，結(jié)果顯示蟻群算法是一種比較高效的尋優(yōu)方法，在蟻群算法尋找的最優(yōu)參數(shù)下混合核函數(shù)的SVM的預(yù)測(cè)精度明顯提高。

倪志偉等[95]提出基于人工魚(yú)和分形維數(shù)融合SVM的空氣質(zhì)量預(yù)測(cè)方法。實(shí)驗(yàn)表明，該方法的預(yù)測(cè)性能較優(yōu)，具有較高的穩(wěn)定性和可信性。

綜上所述，群智能算法單獨(dú)使用會(huì)存在各種各樣的問(wèn)題，所以許多學(xué)者為了提高SVM的預(yù)測(cè)精度，提出了群智能算法與其他算法相結(jié)合的SVM參數(shù)優(yōu)化方法，并且在原來(lái)的基礎(chǔ)上有效地選取最優(yōu)參數(shù)，提高SVM的預(yù)測(cè)精度。

3.10 混合群智能算法優(yōu)化支持向量機(jī)參數(shù)

單一的群智能算法自身存在很多局限性，因此很多學(xué)者通過(guò)借鑒其他算法特性來(lái)對(duì)此進(jìn)行改進(jìn)，并提出了混合群智能算法來(lái)優(yōu)化SVM參數(shù)的方法。馮哲等[96]提出了一種改進(jìn)的粒子群算法與人工魚(yú)群算法混合算法優(yōu)化SVM參數(shù)。此算法是基于小生境和交叉選擇算子的粒子群算法引入變異算子和族外競(jìng)爭(zhēng)機(jī)制加以改進(jìn)后與人工魚(yú)群算法混合。實(shí)驗(yàn)結(jié)果表明，該算法穩(wěn)健性更好，并且文中將此方法應(yīng)用于電鏡及超聲紋理圖像分割中，能較好地提取出目標(biāo)區(qū)域，圖像邊緣部分的分類(lèi)也很清晰。劉俊芳[97]提出了改進(jìn)的粒子群算法和人工蜂群算法的混合優(yōu)化算法，人工蜂群算法具有全局和局部尋優(yōu)的特點(diǎn)，將其與粒子群算法結(jié)合，能夠有效彌補(bǔ)粒子群算法早熟收斂和極易陷入局部最優(yōu)的不足，同時(shí)保留了粒子群的全局搜索和簡(jiǎn)單容易實(shí)現(xiàn)的特點(diǎn)。

戴上平等[98]提出了遺傳算法和粒子群算法融合算法對(duì)SVM參數(shù)進(jìn)行優(yōu)化求解，結(jié)果表明這種組合是有效的。綜上所述，群智能算法之間的混合使用，可以尋找到最優(yōu)參數(shù)，并且很大程度地提高SVM的預(yù)測(cè)與分類(lèi)精度，通過(guò)混合群智能算法對(duì)SVM參數(shù)優(yōu)化的實(shí)驗(yàn)結(jié)果中表明，改進(jìn)的算法不但具備其中一種群智能算法的優(yōu)點(diǎn)同時(shí)也具備另外一種群智能算法的優(yōu)點(diǎn)，是一種可行且有效的方法。

3.11 各種群智能算法優(yōu)化支持向量機(jī)參數(shù)的優(yōu)化性能比較

每種群智能算法在優(yōu)化SVM參數(shù)的時(shí)候都存在自身的不足。經(jīng)過(guò)上面的綜述之后，總結(jié)結(jié)果見(jiàn)表1所示。

對(duì)每種群智能算法優(yōu)化SVM參數(shù)的優(yōu)化性能比較之后發(fā)現(xiàn)，存在的較大問(wèn)題是易于使實(shí)驗(yàn)結(jié)果陷入局部最優(yōu)，例如遺傳算法、人工蜂群算法以及花授粉算法。同時(shí)還存在后期收斂速度緩慢，例如粒子群算法。還有尋優(yōu)速度過(guò)慢，雖然有些算法尋優(yōu)速度快，但是存在尋優(yōu)精度不高等問(wèn)題。人工魚(yú)群算法相較于其他幾種群智能算法是優(yōu)化SVM參數(shù)方法中性能最好的。蟻群算法主要存在的問(wèn)題是如何有效地解決連續(xù)優(yōu)化問(wèn)題。蝙蝠算法和人工魚(yú)群算法都存在尋優(yōu)精度不高的問(wèn)題。

表 1 各群智能算法優(yōu)化SVM參數(shù)存在的優(yōu)缺點(diǎn)比較Table 1 Comparison of advantages and disadvantages of optimizing the SVM parameters of various groups of intelligence algorithms

每種算法都具有自己的優(yōu)缺點(diǎn)，例如：粒子群算法具備了尋優(yōu)精度高優(yōu)點(diǎn)的同時(shí)也存在收斂速度緩慢的缺點(diǎn)；蝙蝠算法具有收斂速度快優(yōu)點(diǎn)的同時(shí)也存在尋優(yōu)精度不高的缺點(diǎn)。所以，將以上兩種算法組合起來(lái)對(duì)SVM參數(shù)進(jìn)行優(yōu)化，彌補(bǔ)了互相的不足，并發(fā)揚(yáng)了互相的優(yōu)點(diǎn)。

總的來(lái)說(shuō)，使用混合群智能算法優(yōu)化SVM參數(shù)的成果較少，群智能算法與其他算法結(jié)合用來(lái)優(yōu)化SVM參數(shù)的成果也較少。大多數(shù)學(xué)者都是對(duì)某一種群智能算法進(jìn)行改進(jìn)用于SVM參數(shù)優(yōu)化，雖然取得了一些實(shí)質(zhì)性的進(jìn)展，但是還存在各種各樣的問(wèn)題，例如解決了尋優(yōu)精度不高的問(wèn)題，但是又會(huì)出現(xiàn)尋優(yōu)速度緩慢等問(wèn)題。群智能算法優(yōu)化SVM參數(shù)的研究成果當(dāng)中，使用混合蛙跳算法、細(xì)菌覓食算法、花授粉算法以及果蠅優(yōu)化算法來(lái)優(yōu)化SVM參數(shù)的成果較少。

4 結(jié)束語(yǔ)

本文主要從群智能算法對(duì)SVM參數(shù)優(yōu)化的研究成果進(jìn)行了論述。SVM雖然在理論上很完善了，但是在應(yīng)用上仍然存在一些問(wèn)題，參數(shù)模型的選擇就是其中比較典型的問(wèn)題。然而沒(méi)有一個(gè)成熟的理論指導(dǎo)，傳統(tǒng)的參數(shù)選取方法大多都既耗時(shí)又得不到滿(mǎn)意的結(jié)果。因此有人就提出了用群智能算法來(lái)優(yōu)化SVM參數(shù)，而且群智能算法發(fā)展至今以其分布性、自組織性、強(qiáng)的魯棒性等優(yōu)點(diǎn)已成功地應(yīng)用于函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)等領(lǐng)域。雖然群智能算法用于優(yōu)化SVM參數(shù)取得了一定的成果，但仍然存在一些問(wèn)題有待解決。

1) 從本文中可以看出，經(jīng)過(guò)國(guó)內(nèi)外學(xué)者對(duì)群智能算法的不斷研究與改進(jìn)，群智能算法在SVM參數(shù)優(yōu)化方面已經(jīng)取得了很多重要的成果，例如，具有較強(qiáng)的并行處理能力、尋優(yōu)速度快、有效避免陷入局部最優(yōu)以及可以進(jìn)行全局尋優(yōu)等，同時(shí)基于群智能算法優(yōu)化的SVM模型能夠獲得更高的預(yù)測(cè)和分類(lèi)精度。所以群智能算法是用來(lái)對(duì)SVM參數(shù)優(yōu)化的一個(gè)不錯(cuò)的選擇。

2) 雖然有很多學(xué)者使用群智能算法在SVM參數(shù)優(yōu)化方面進(jìn)行了大量的研究工作，但是并沒(méi)有很好地解決該問(wèn)題。例如，改進(jìn)的遺傳算法雖然能在一定條件下避免陷入局部最優(yōu)，但是依然存在陷入局部最優(yōu)的可能性，所以在判斷陷入局部最優(yōu)和跳出局部最優(yōu)方面，還有待進(jìn)一步研究且解決此問(wèn)題。蟻群算法雖然獲得的最優(yōu)參數(shù)組合的分類(lèi)性能較其他算法更高，但是存在運(yùn)行時(shí)間較長(zhǎng)，樣本數(shù)增加到一定程度算法的時(shí)間復(fù)雜度更高等問(wèn)題。所以對(duì)蟻群算法的收斂性還需進(jìn)一步研究。

3) 大多數(shù)研究成果都在關(guān)注算法的前期后期收斂性問(wèn)題，少部分研究中會(huì)將算法的收斂性和尋優(yōu)精度結(jié)合在一起同時(shí)考慮，進(jìn)行改進(jìn)。群智能算法在對(duì)SVM進(jìn)行參數(shù)優(yōu)化時(shí)，不能確保每種條件下都擁有較強(qiáng)的尋優(yōu)能力，同時(shí)也不能保證得到的最優(yōu)參數(shù)對(duì)每種模型都擁有很好的分類(lèi)和預(yù)測(cè)能力。改進(jìn)后的算法雖然可以同時(shí)具備尋優(yōu)速度快、尋優(yōu)精度高、收斂到全局最優(yōu)解、避免過(guò)早陷入局部最優(yōu)等優(yōu)點(diǎn)，但還需要對(duì)算法進(jìn)行不斷地研究與改進(jìn)。

[1]VAPNIK V N. Statistical learning theory[M]. New York:Wiley Press, 1999.

[2]POOLE A, KOTSIALOS A. Swarm intelligence algorithms for macroscopic traffic flow model validation with automatic assignment of fundamental diagrams[J]. Applied soft computing, 2016, 38: 134–150.

[3]DE Sá A O, NEDJAH N, DE MACEDO MOURELLE L.Distributed efficient localization in swarm robotic systems using swarm intelligence algorithms[J]. Neurocomputing,2016, 172: 322–336.

[4]RAMADAN H S, BENDARY A F, NAGY S. Particle swarm optimization algorithm for capacitor allocation problem in distribution systems with wind turbine generators[J].International journal of electrical power and energy systems,2017, 84: 143–152.

[5]KEERTHI S S. Efficient tuning of SVM hyperparameters using radius/margin bound and iterative algorithms[J]. IEEE transactions on neural networks, 2002, 13(5): 1225–1229.

[6]CHAPELLE O, VAPNIK V, BOUSQUET O, et al. Choosing multiple parameters for support vector machines[J]. Machine learning, 2002, 46(1/2/3): 131–159.

[7]HOLLAND J H. Adaptation in natural and artificial systems[M]. 2nd ed. Cambridge: MIT Press, 1992.

[8]吳君, 張京娟. 采用遺傳算法的多機(jī)自由飛行沖突解脫策略[J]. 智能系統(tǒng)學(xué)報(bào), 2013, 8(1): 16–20.WU Jun, ZHANG Jingjuan. Conflict resolution of multiple airplanes in free flight based on the genetic algorithm[J].CAAI transactions on intelligent systems, 2013, 8(1): 16–20.

[9]DIABAT A, DESKOORES R. A hybrid genetic algorithm based heuristic for an integrated supply chain problem[J].Journal of manufacturing systems, 2016, 38: 172–180.

[10]CHEN Peng, YUAN Lifen, HE Yigang, et al. An improved SVM classifier based on double chains quantum genetic algorithm and its application in analogue circuit diagnosis[J]. Neurocomputing, 2016, 211: 202–211.

[11]AVCI E. Selecting of the optimal feature subset and kernel parameters in digital modulation classification by using hybrid genetic algorithm-support vector machines: HGASVM[J]. Expert systems with applications, 2009, 36(2):1391–1402.

[12]HUANG C L, WANG C J. A GA-based feature selection and parameters optimizationfor support vector machines[J].Expert systems with applications, 2006, 31(2): 231–240.

[13]王瓊瑤, 何友全, 彭小玲. 基于改進(jìn)遺傳算法的支持向量機(jī)參數(shù)優(yōu)化方法[J]. 計(jì)算機(jī)與現(xiàn)代化, 2015(3): 33–36.WANG Qiongyao, HE Youquan, PENG Xiaoling. Parameters optimization of support vector machine based on improved genetic algorithm[J]. Computer and modernization, 2015(3): 33–36.

[14]孟滔, 周新志, 雷印杰. 基于自適應(yīng)遺傳算法的SVM參數(shù)優(yōu)化[J]. 計(jì)算機(jī)測(cè)量與控制, 2016, 24(9): 215–217,223.MENG Tao, ZHOU Xinzhi, LEI Yinjie. A parameters optimization method for an SVM based on adaptive genetic algorithm[J]. Computer measurement and control, 2016,24(9): 215–217, 223.

[15]高雷阜, 張秀麗, 佟盼. GA_SJ在SVM核參數(shù)優(yōu)化中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(4): 110–114.GAO Leifu, ZHANG Xiuli, TONG Pan. Application of GA_SJ in SVM parameter optimization[J]. Computer engineering and applications, 2015, 51(4): 110–114.

[16]SAJAN K S, KUMAR V, TYAGI B. Genetic algorithm based support vector machine for on-line voltage stability monitoring[J]. International journal of electrical power and energy systems, 2015, 73: 200–208.

[17]CHOU J S, CHENG Minyuan, WU Yuwei, et al. Optimizing parameters of support vector machine using fast messy genetic algorithm for dispute classification[J]. Expert systems with applications, 2014, 41(8): 3955–3964.

[18]DUAN Li, GUO Long, LIU Ke, et al. Characterization and classification of seven Citrus herbs by liquid chromatography–quadrupole time-of-flight mass spectrometry and genetic algorithm optimized support vector machines[J].Journal of chromatography A, 2014, 1339: 118–127.

[19]DORIGO M, GAMBARDELLA L M. Ant colony system:a cooperative learning approach to the traveling salesman problem[J]. IEEE transactions on evolutionary computation, 1997, 1(1): 53–66.

[20]DORIGO M, STüTZLE T. Ant colony optimization[M].Cambridge: MIT Press, 2004.

[21]裴振兵, 陳雪波. 改進(jìn)蟻群算法及其在機(jī)器人避障中的應(yīng)用[J]. 智能系統(tǒng)學(xué)報(bào), 2015, 10(1): 90–96.PEI Zhenbing, CHEN Xuebo. Improved ant colony algorithm and its application in obstacle avoidance for robot[J]. CAAI transactions on intelligent systems, 2015, 10(1):90–96.

[22]JABBARPOUR M R, ZARRABI H, JUNG J J, et al. A green ant-based method for path planning of unmanned ground vehicles[J]. IEEE access, 2017, 5: 1820–1832.

[23]WANG Lei, CAI Jingcao, LI Ming, et al. Flexible job shop scheduling problem using an improved ant colony optimization[J]. Scientific programming, 2017, 2017: 9016303.

[24]汪鐳, 吳啟迪. 蟻群算法在連續(xù)空間尋優(yōu)問(wèn)題求解中的應(yīng)用[J]. 控制與決策, 2003, 18(1): 45–48, 57.WANG Lei, WU Qidi. Ant system algorithm in continuous space optimization[J]. Control and decision, 2003,18(1): 45–48, 57.

[25]肖國(guó)榮. 改進(jìn)蟻群算法和支持向量機(jī)的網(wǎng)絡(luò)入侵檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用, 2014, 50(3): 75–78.XIAO Guorong. Network intrusion detection by combination of improved ACO and SVM[J]. Computer engineering and applications, 2014, 50(3): 75–78.

[26]高雷阜, 張秀麗, 王飛. 改進(jìn)蟻群算法在SVM參數(shù)優(yōu)化研究中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(13): 139–144.GAO Leifu, ZHANG Xiuli, WANG Fei. Application of improved ant colony algorithm in SVM parameter optimization selection[J]. Computer engineering and applications,2015, 51(13): 139–144.

[27]ZHANG Xiaoli, CHEN Wei, WANG Baojian, et al. Intelligent fault diagnosis of rotating machinery using support vector machine with ant colony algorithm for synchronous feature selection and parameter optimization[J]. Neurocomputing, 2015, 167: 260–279.

[28]HAN Pu, GAO Fang, ZHAI Yongjie, et al. Coal ASH fusion temperature model based on SVM optimized by ACO[C]//Proceedings of Symposium on ICT and Energy Efficiency and Workshop on Information Theory and Security. Dublin, Ireland, 2012: 101–105.

[29]AALIZADEH R, VON DER OHE P C, THOMAIDIS N S.Prediction of acute toxicity of emerging contaminants on the water flea daphnia magna by ant colony optimizationsupport vector machine QSTR models[J]. Environmental science: processes and impacts, 2017, 19(3): 438–448.

[30]ALWAN H B, KU-MAHAMUD K R. Mixed-variable ant colony optimisation algorithm for feature subset selection and tuning support vector machine parameter[J]. International journal of bio-inspired computation, 2017, 9(1):53–63.

[31]KENNEDY J, EBERHART R. Particle swarm optimization[C]//Proceedings of IEEE International Conference on Neural Networks. Perth, WA, Australia, 1995: 1942–1948.

[32]EBERHART R, KENNEDY J. A new optimizer using particle swarm theory[C]∥Proceedings of the 6th International Symposium on Micro Machine and Human Science.Nagoya, Japan, 1995: 39–43.

[33]ZHANG Yang, LIU Yuncai. Traffic forecasting using least squares support vector machines[J]. Transportmetrica,2009, 5(3): 193–213.

[34]沈繼紅, 王侃. 求解旅行商問(wèn)題的混合粒子群優(yōu)化算法[J]. 智能系統(tǒng)學(xué)報(bào), 2012, 7(2): 174–182.SHEN Jihong, WANG Kan. The light ray particle swarm optimization for solving the traveling salesman problem[J].CAAI transactions on intelligent systems, 2012, 7(2):174–182.

[35]WANG Xibin, LUO Fengji, SANG Chunyan, et al. Personalized movie recommendation system based on support vector machine and improved particle swarm optimization[J]. IEICE transactions on information and systems, 2017,E100-D(2): 285–293.

[36]單黎黎, 張宏軍, 王杰, 等. 一種改進(jìn)粒子群算法的混合核ε-SVM參數(shù)優(yōu)化及應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用研究, 2013,30(6): 1636–1639.SHAN Lili, ZHANG Hongjun, WANG Jie, et al. Parameters optimization and implementation of mixed kernels ε-SVM based on improved PSO algorithm[J]. Application research of computers, 2013, 30(6): 1636–1639.

[37]毛耀宗, 陳珂, 江弋, 等. 基于粒子群算法與圖形處理器加速的支持向量機(jī)參數(shù)優(yōu)化方法[J]. 廈門(mén)大學(xué)學(xué)報(bào): 自然科學(xué)版, 2013, 52(5): 609–612.MAO Yaozong, CHEN Ke, JIANG Yi, et al. Parameter optimization of SVM based on particle swarm optimization algorithm and GPU acceleration[J]. Journal of Xiamen university: natural science, 2013, 52(5): 609–612.

[38]王喜賓, 張小平, 王翰虎. 基于粒子群優(yōu)化模式搜索的支持向量機(jī)參數(shù)優(yōu)化及應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用, 2011, 31(12): 3302–3304, 3326.WANG Xibin, ZHANG Xiaoping, WANG Hanhu. Parameter optimization of support vector machine and application based on particle swarm optimization mode search[J].Journal of computer applications, 2011, 31(12): 3302–3304, 3326.

[39]胡云艷, 彭敏放, 田成來(lái), 等. 基于粒子群算法優(yōu)化支持向量機(jī)的模擬電路診斷[J]. 計(jì)算機(jī)應(yīng)用研究, 2012,29(11): 4053–4055.HU Yunyan, PENG Minfang, TIAN Chenglai, et al. Ana-log circuit fault diagnosis based on particle swarm optimization SVM[J]. Application research of computers, 2012,29(11): 4053–4055.

[40]郭鳳儀, 郭長(zhǎng)娜, 王愛(ài)軍, 等. 基于粒子群優(yōu)化支持向量機(jī)的煤礦水位預(yù)測(cè)模型[J]. 計(jì)算機(jī)工程與科學(xué), 2012,34(7): 177–181.GUO Fengyi, GUO Changna, WANG Aijun, et al. The forecast model of mine water discharge based on particle swarm optimization and support vector machines[J]. Computer engineering and science, 2012, 34(7): 177–181.

[41]GüRAKSIN G E, HAKLI H, U?UZ H. Support vector machines classification based on particle swarm optimization for bone age determination[J]. Applied soft computing,2014, 24: 597–602.

[42]HARISH N, MANDAL S, RAO S, et al. Particle Swarm Optimization based support vector machine for damage level prediction of non-reshaped berm breakwater[J]. Applied soft computing, 2015, 27: 313–321.

[43]ZHANG Xuedong, TIAN Li, WANG Yong. Application of support vector machine model based on particle swarm optimization for the evaluation of products’ kansei image[J].Open cybernetics and systemics journal, 2014, 8: 85–92.

[44]李曉磊, 邵之江, 錢(qián)積新. 一種基于動(dòng)物自治體的尋優(yōu)模式: 魚(yú)群算法[J]. 系統(tǒng)工程理論與實(shí)踐, 2002, 22(11):32–38.LI Xiaolei, SHAO Zhijiang, QIAN Jixin. An optimizing method based on autonomous animats: fish-swarm algorithm[J]. Systems engineering-theory and practice, 2002,22(11): 32–38.

[45]李曉磊, 錢(qián)積新. 基于分解協(xié)調(diào)的人工魚(yú)群優(yōu)化算法研究[J]. 電路與系統(tǒng)學(xué)報(bào), 2003, 8(1): 1–6.LI Xiaolei, QIAN Jixin. Studies on artificial fish swarm optimization algorithm based on decomposition and coordination techniques[J]. Journal of circuits and systems, 2003,8(1): 1–6.

[46]GE Hongwei, SUN Liang, CHEN Xin, et al. An Efficient artificial fish swarm model with estimation of distribution for flexible job shop scheduling[J]. International journal of computational intelligence systems, 2016, 9(5): 917–931.

[47]ZHANG Shuying, ZHAO Xiaohui, LIANG Cong, et al.Adaptive power allocation schemes based on IAFS algorithm for OFDM-based cognitive radio systems[J]. International journal of electronics, 2017, 104(1): 1–15.

[48]高雷阜, 趙世杰, 高晶. 人工魚(yú)群算法在SVM參數(shù)優(yōu)化選擇中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2013, 49(23):86–90.GAO Leifu, ZHAO Shijie, GAO Jing. Application of artificial fish-swarm algorithm in SVM parameter optimization selection[J]. Computer engineering and applications, 2013,49(23): 86–90.

[49]田海雷, 李洪儒, 許葆華. 基于改進(jìn)人工魚(yú)群算法的支持向量機(jī)預(yù)測(cè)[J]. 計(jì)算機(jī)工程, 2013, 39(4): 222–225.TIAN Hailei, LI Hongru, XU Baohua. Support vector machine prediction based on improved artificial fish swarm algorithm[J]. Computer engineering, 2013, 39(4): 222–225.

[50]朱文靜, 白靜. 一種混沌人工魚(yú)群算法對(duì)SVM參數(shù)的優(yōu)化及應(yīng)用[J]. 微電子學(xué)與計(jì)算機(jī), 2016, 33(3): 89–93.ZHU Wenjing, BAI Jing. A Chaos artificial fish swarm algorithm for parameters optimization and application of support vector machine[J]. Microelectronics and computer,2016, 33(3): 89–93.

[51]馮曉琳, 寧芊, 雷印杰, 等. 基于改進(jìn)型人工魚(yú)群算法的支持向量機(jī)參數(shù)優(yōu)化[J]. 計(jì)算機(jī)測(cè)量與控制, 2016,24(5): 237–241.FENG Xiaolin, NING Qian, LEI Yinjie, et al. Support vector machine parameter optimization based on improved artificial fish swarm algorithm[J]. Computer measurement and control, 2016, 24(5): 237–241.

[52]BAI Jing, YANG Lihong, ZHANG Xueying. Parameter optimization and application of support vector machine based on parallel artificial fish swarm algorithm[J]. Journal of software, 2013, 8(3): 673–679.

[53]LIN Kuancheng, CHEN S Y, HUNG J C. Feature selection and parameter optimization of support vector machines based on modified artificial fish swarm algorithms[J]. Mathematical problems in engineering, 2015, 2015:604108.

[54]LIN Kuancheng, CHEN S Y, HUNG J C. Botnet detection using support vector machines with artificial fish swarm algorithm[J]. Journal of applied mathematics, 2014, 2014:986428.

[55]KARABOGA D. An idea based on honey bee swarm for numerical optimization[R]. Kayseri: Computer Engineering Department, 2005.

[56]NG K K H, LEE C K M. Makespan minimization in aircraft landing problem under congested traffic situation using modified artificial bee colony algorithm[C]//Proceedings of 2016 IEEE International Conference on Industrial Engineering and Engineering Management. Bali, Indonesia, 2016: 750–754.

[57]劉敏, 鄒杰, 馮星, 等. 人工蜂群算法的無(wú)人機(jī)航路規(guī)劃與平滑[J]. 智能系統(tǒng)學(xué)報(bào), 2011, 6(4): 344–349.LIU Min, ZOU Jie, FENG Xing, et al. Smooth trajectory planning of an unmanned aerial vehicle using an artificial bee colony algorithm[J]. CAAI transactions on intelligent systems, 2011, 6(4): 344–349.

[58]SUNDAR S, SUGANTHAN P N, JIN C T, et al. A hybrid artificial bee colony algorithm for the job-shop scheduling problem with no-wait constraint[J]. Soft computing, 2016,21(5): 1193–1202.

[59]吳少華, 單劍鋒. 基于改進(jìn)蜂群算法的數(shù)字信號(hào)調(diào)制識(shí)別[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2016, 26(7): 46–50.WU Shaohua, SHAN Jianfeng. A modulation identification algorithm for digital signals based on modified artificial bee colony algorithm[J]. Computer technology and development, 2016, 26(7): 46–50.

[60]劉霞, 張姍姍, 胡銘鑒. 基于混沌人工蜂群算法優(yōu)化的SVM齒輪故障診斷[J]. 吉林大學(xué)學(xué)報(bào): 信息科學(xué)版,2015, 33(4): 476–484.LIU Xia, ZHANG Shanshan, HU Mingjian. SVM optimization based on chaotic artificial colony algorithm gear fault diagnosis[J]. Journal of Jilin university: information science edition, 2015, 33(4): 476–484.

[61]劉銘, 黃凡玲, 傅彥銘, 等. 改進(jìn)的人工蜂群優(yōu)化支持向量機(jī)算法在入侵檢測(cè)中的應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用與軟件,2017, 34(1): 230–235, 246.LIU Ming, HUANG Fanling, FU Yanming, et al. Application of improved support vector machine algorithm optimized by artificial bee colony algorithm in intrusion detection[J]. Computer applications and software, 2017, 34(1):230–235, 246.

[62]李璟民, 郭敏. 人工蜂群算法優(yōu)化支持向量機(jī)的分類(lèi)研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(2): 151–155.LI Jingmin, GUO Min. Study on classification of artificial bee colony algorithm to optimization of support vector machine[J]. Computer engineering and applications, 2015,51(2): 151–155.

[63]YANG Dalian, LIU Yilun, LI Songbai, et al. Gear fault diagnosis based on support vector machine optimized by artificial bee colony algorithm[J]. Mechanism and machine theory, 2015, 90: 219–229.

[64]BUI D T, TUAN T A, HOANG N D, et al. Spatial prediction of rainfall-induced landslides for the Lao Cai area (Vietnam) using a hybrid intelligent approach of least squares support vector machines inference model and artificial bee colony optimization[J]. Landslides, 2017, 14(2): 447–458.

[65]MUSTAFFA Z, YUSOF Y, KAMARUDDIN S S. Enhanced artificial bee colony for training least squares support vector machines in commodity price forecasting[J].Journal of computational science, 2014, 5(2): 196–205.

[66]KRISHNANAND K N, GHOSE D. Glowworm swarm optimisation: a new method for optimising multi-modal functions[J]. International journal of computational intelligence studies, 2009, 1(1): 93–119.

[67]郭麗萍, 李向濤, 谷文祥, 等. 改進(jìn)的螢火蟲(chóng)算法求解阻塞流水線調(diào)度問(wèn)題[J]. 智能系統(tǒng)學(xué)報(bào), 2013, 8(1): 33–38.GUO Liping, LI Xiangtao, GU Wenxiang, et al. An improved firefly algorithm for the blocking flow shop scheduling problem[J]. CAAI transactions on intelligent systems, 2013, 8(1): 33–38.

[68]RAY A, DE D. An energy efficient sensor movement approach using multi-parameter reverse glowworm swarm optimization algorithm in mobile wireless sensor network[J]. Simulation modelling practice and theory, 2016, 62:117–136.

[69]楊海, 丁毅, 沈海斌. 基于改進(jìn)螢火蟲(chóng)算法的SVM核參數(shù)選取[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2015, 32(6): 256–258,287.YANG Hai, DING Yi, SHEN Haibin. SVM kernel parameter selection based on improved gso[J]. Computer applications and software, 2015, 32(6): 256–258, 287.

[70]李茜楠, 蘇紅軍. 基于螢火蟲(chóng)算法的高光譜遙感波段選擇方法[J]. 遙感技術(shù)與應(yīng)用, 2014, 29(5): 761–770.LI Qiannan, SU Hongjun. A novel hyperspectral band selection method using improved firefly algorithm[J]. Remote sensing technology and application, 2014, 29(5):761–770.

[71]劉玉坤, 夏棟梁, 馬麗. 基于AGSO-LSSVM的熱點(diǎn)話(huà)題預(yù)測(cè)模型[J]. 重慶郵電大學(xué)學(xué)報(bào): 自然科學(xué)版, 2014,26(6): 803–808.LIU Yukun, XIA Dongliang, MA Li. Hot topic prediction model based on AGSO-LSSVM[J]. Journal of Chongqing university of posts and telecommunications: natural science edition, 2014, 26(6): 803–808.

[72]YANG Xinshe. A new metaheuristic bat-inspired algorithm[C]//Proceedings of Nature Inspired Cooperative Strategies for Optimization. Berlin, Heidelberg, Germany,2010: 65–74.

[73]YANG Xinshe, HE Xingshi. Bat algorithm: literature review and applications[J]. International journal of bio-inspired computation, 2013, 5(3): 141–149.

[74]YANG Xinshe, GANDOMI A H. Bat algorithm: a novel approach for global engineering optimization[J]. Engineering computations, 2012, 29(5): 464–483.

[75]DHAR S, ALAM S, SANTRA M, et al. A novel method for edge detection in a gray image based on human psychovisual phenomenon and Bat algorithm[C]//Proceedings of Computer Communication and Electrical Technology.Murshidabad, India, 2017: 3–7.

[76]ZHOU Yongquan, LUO Qifang, XIE Jian, et al. A hybrid bat algorithm with path relinking for the capacitated vehicle routing problem[M]//YANG Xinshe, BEKDA? G,NIGDELI S M. Metaheuristics and Optimization in Civil Engineering. Cham, Germany, 2016: 255–276.

[77]SATHYA M R, ANSARI M M T. Load frequency control using bat inspired algorithm based dual mode gain scheduling of PI controllers for interconnected power system[J].International journal of electrical power and energy systems, 2015, 64: 365–374.

[78]魏峻. 一種有效的支持向量機(jī)參數(shù)優(yōu)化算法[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2015, 25(12): 97–100, 104.WEI Jun. An effective parameter optimization algorithm of support vector machine[J]. Computer technology and development, 2015, 25(12): 97–100, 104.

[79]THARWAT A, HASSANIEN A E, ELNAGHI B E. A BA-based algorithm for parameter optimization of support vector machine[J]. Pattern recognition letters, 2017, 93: 13–22.

[80]TUBA E, TUBA M, SIMIAN D. Handwritten digit recognition by support vector machine optimized by bat algorithm[C]//Proceedings of the 24th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision. 2016: 369–376.

[81]XING Bing, GAN Rong, LIU Guodong, et al. Monthly mean streamflow prediction based on bat algorithm-support vector machine[J]. Journal of hydrologic engineering,2016, 21(2): 04015057.

[82]ZHU Guangyu, ZHANG Weibo. An improved shuffled frog-leaping algorithm to optimize component pick-andplace sequencing optimization problem[J]. Expert systems with applications, 2014, 41(15): 6818–6829.

[83]曾燕, 成新文, 陳欲云. 改進(jìn)混合蛙跳算法在蔬菜總黃酮軟測(cè)量中的應(yīng)用[J]. 計(jì)算機(jī)與應(yīng)用化學(xué), 2015, 32(3):356–360.ZENG Yan, CHENG Xinwen, CHEN Yuyun. The application of improved shuffled frog leaping algorithm in soft measurement on total flavonoids of the vegetable[J]. Computers and applied chemistry, 2015, 32(3): 356–360.

[84]PAN Wenchao. A new fruit fly optimization algorithm:taking the financial distress model as an example[J].Knowledge-based systems, 2012, 26: 69–74.

[85]寧劍平, 王冰, 李洪儒, 等. 遞減步長(zhǎng)果蠅優(yōu)化算法及應(yīng)用[J]. 深圳大學(xué)學(xué)報(bào): 理工版, 2014, 31(4): 367–373.NING Jianping, WANG Bing, LI Hongru, et al. Research on and application of diminishing step fruit fly optimization algorithm[J]. Journal of Shenzhen university: science and engineering, 2014, 31(4): 367–373.

[86]SI Lei, WANG Zhongbin, LIU Xinhua, et al. Identification of shearer cutting patterns using vibration signals based on a least squares support vector machine with an improved fruit fly optimization algorithm[J]. Sensors, 2016, 16(1):90.

[87]CONG Yuliang, WANG Jianwei, LI Xiaolei. Traffic flow forecasting by a least squares support vector machine with a fruit fly optimization algorithm[J]. Procedia engineering,2016, 137: 59–68.

[88]馬家辰, 武冠群, 馬立勇, 等. 基于細(xì)菌覓食算法和支持向量機(jī)的表情識(shí)別[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2015, 36(7):1881–1885.MA Jiachen, WU Guanqun, MA Liyong, et al. Facial expression recognition based on bacteria foraging algorithm and support vector machine[J]. Computer engineering and design, 2015, 36(7): 1881–1885.

[89]楊大煉, 劉義倫, 李學(xué)軍, 等. 基于細(xì)菌覓食優(yōu)化決策的齒輪箱故障診斷[J]. 中南大學(xué)學(xué)報(bào): 自然科學(xué)版, 2015,46(4): 1224–1230.YANG Dalian, LIU Yilun, LI Xuejun, et al. Gearbox fault diagnosis based on bacterial foraging algorithm optimization decisions[J]. Journal of Central South university: science and technology, 2015, 46(4): 1224–1230.

[90]Yang Xinshe. Flower pollination algorithm for global optimization[C]//Procedings of the 11th International Conference on Unconventional Computation and Natural Computation. Berlin, Heidelberg, Germany, 2012: 240–249.

[91]HOANG N D, BUI D T, LIAO Kuowwei. Groutability estimation of grouting processes with cement grouts using differential flower pollination optimized support vector machine[J]. Applied soft computing, 2016, 45: 173–186.

[92]ZHANG Wenyu, QU Zongxi, ZHANG Kequan, et al. A combined model based on CEEMDAN and modified flower pollination algorithm for wind speed forecasting[J].Energy conversion and management, 2017, 136: 439–451.

[93]王萍萍, 王翰虎. 一種支持向量機(jī)參數(shù)優(yōu)化的GA-Powell算法[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2013, 23(2): 15–18.WANG Pingping, WANG Hanhu. A GA-powell algorithm for parameter optimization of support vector machine[J].Computer technology and development, 2013, 23(2):15–18.

[94]耿俊豹, 孫林凱, 陳是學(xué). 支持向量機(jī)的混合核函數(shù)參數(shù)優(yōu)選方法[J]. 計(jì)算機(jī)應(yīng)用, 2013, 33(5): 1321–1323, 1356.GENG Junbao, SUN Linkai, CHEN Shixue. Parameters optimization of combined kernel function for support vector machine[J]. Journal of computer applications, 2013,33(5): 1321–1323, 1356.

[95]倪志偉, 朱旭輝, 程美英. 基于人工魚(yú)群和分形維數(shù)融合SVM的空氣質(zhì)量預(yù)測(cè)方法[J]. 模式識(shí)別與人工智能,2016, 29(12): 1122–1131.NI Zhiwei, ZHU Xuhui, CHENG Meiying. Air quality prediction method based on fish swarm and fractal dimension[J]. Pattern recognition and artificial intelligence, 2016,29(12): 1122–1131.

[96]馮哲, 陳云鳳, 周宇, 等. 基于改進(jìn)的NCSPSO-AFSA對(duì)SVM參數(shù)的優(yōu)化及其應(yīng)用[J]. 江蘇科技大學(xué)學(xué)報(bào): 自然科學(xué)版, 2014, 28(4): 395–402.FENG Zhe, CHEN Yunfeng, ZHOU Yu, et al. Parameter optimization and application of SVM based on improved NCSPSO and AFSA[J]. Journal of Jiangsu university of science and technology: natural science edition, 2014,28(4): 395–402.

[97]劉俊芳. 粒子群和人工蜂群的混合優(yōu)化算法優(yōu)化SVM參數(shù)及應(yīng)用[D]. 太原, 中國(guó): 太原理工大學(xué), 2012.LIU Junfang. A hybrid algorithm of PSO and ABC used to optimize the parameters of SVM and its application[D].Taiyuan, China: Taiyuan University of Technology, 2012.

[98]戴上平, 宋永東. 基于遺傳算法與粒子群算法的支持向量機(jī)參數(shù)選擇[J]. 計(jì)算機(jī)工程與科學(xué), 2012, 34(10):113–117.DAI Shangping, SONG Yongdong. Parameter selection of support vector machines based on the fusion of genetic algorithm and the particle swarm optimization[J]. Computer engineering and science, 2012, 34(10): 113–117.