趙世杰，高雷阜，于冬梅，徒　君

?

帶混沌偵查機(jī)制的蟻獅優(yōu)化算法優(yōu)化SVM參數(shù)*

趙世杰+，高雷阜，于冬梅，徒君

遼寧工程技術(shù)大學(xué)優(yōu)化與決策研究所，遼寧阜新123000

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology 1673-9418/2016/10(05)-0722-10

http://www.ceaj.org Tel: +86-10-89056056

* The Specialized Research Fund for the Doctoral Program of Higher Education of China under Grant No. 20132121110009 (高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金); the Project of Liaoning Provincial Department of Education under Grant No. No.L2015208 (遼寧省教育廳基金項(xiàng)目).

Received 2015-06,Accepted 2015-09.

CNKI網(wǎng)絡(luò)優(yōu)先出版: 2015-09-06, http://www.cnki.net/kcms/detail/11.5602.TP.20150906.1638.010.htm l

ZHAO Shijie, GAO Leifu,YU Dongmei, et al.Ant lion optim izer w ith chaotic investigation mechanism for optim izing SVM parameters. Journal of Frontiersof Computer Scienceand Technology, 2016, 10(5): 722-731.

摘要：蟻獅優(yōu)化算法作為一種新的仿生智能算法，有許多有待完善和發(fā)展的方面。由于在算法迭代過(guò)程中蟻獅種群存在適應(yīng)度相對(duì)較差的個(gè)體，若螞蟻選定該蟻獅進(jìn)行隨機(jī)游走將會(huì)增加算法陷入局部極值的可能性，同時(shí)會(huì)影響算法的尋優(yōu)性能。針對(duì)該問(wèn)題，借鑒人工蜂群算法的偵查思想，在蟻獅原有信息的基礎(chǔ)上引進(jìn)混沌搜索機(jī)制，提出了一種帶混沌偵查機(jī)制的蟻獅優(yōu)化算法。該算法首先將排序蟻獅種群中適應(yīng)度較差的個(gè)體定義為偵查蟻獅，并將其原始位置信息作為Fuch混沌映射的初始值，然后通過(guò)一定次數(shù)的混沌搜索迭代獲得一個(gè)適應(yīng)度值更優(yōu)的位置再重新賦值給偵查蟻獅，以提高蟻獅種群的優(yōu)良性和算法的尋優(yōu)性能。最后將改進(jìn)蟻獅優(yōu)化算法用于支持向量機(jī)參數(shù)的優(yōu)化中，以UCI標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行數(shù)值實(shí)驗(yàn)，結(jié)果表明改進(jìn)算法具有較強(qiáng)的尋優(yōu)性能和較好的算法穩(wěn)定性。

關(guān)鍵詞：蟻獅優(yōu)化算法；混沌；偵查機(jī)制；支持向量機(jī)；參數(shù)優(yōu)化

1 引言

蟻獅優(yōu)化算法[1]（ant lion optim izer，ALO）是由澳大利亞學(xué)者Seyedali于2015年提出的一種新的仿生智能優(yōu)化算法。該算法通過(guò)螞蟻圍繞蟻獅進(jìn)行隨機(jī)游走實(shí)現(xiàn)對(duì)搜索空間的探索，并向選定蟻獅和精英進(jìn)行學(xué)習(xí)，以保證種群的多樣性和算法的尋優(yōu)性能；同時(shí)ALO算法具有調(diào)節(jié)參數(shù)少，易于實(shí)現(xiàn)等優(yōu)點(diǎn)，已被成功應(yīng)用于三桿桁架設(shè)計(jì)、船舶螺旋槳形狀優(yōu)化等工程應(yīng)用領(lǐng)域。

支持向量機(jī)[2]（support vector machine，SVM）是由Vapnik等人以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)提出的一種機(jī)器學(xué)習(xí)方法，在解決小樣本、非線性和高維數(shù)據(jù)時(shí)有效克服了過(guò)學(xué)習(xí)、欠學(xué)習(xí)和“維數(shù)災(zāi)難”等問(wèn)題而得到廣泛應(yīng)用[3-5]。在利用支持向量機(jī)解決實(shí)際應(yīng)用中的分類、回歸問(wèn)題時(shí)，需要對(duì)影響SVM性能的核參數(shù)和罰參數(shù)等進(jìn)行優(yōu)化選擇，以提高SVM的推廣泛化性能。目前常用的支持向量機(jī)參數(shù)優(yōu)化方法主要有經(jīng)驗(yàn)選擇法、網(wǎng)格搜索法[6]和群體智能優(yōu)化算法。但經(jīng)驗(yàn)選擇法對(duì)人的先驗(yàn)知識(shí)要求較為嚴(yán)格；網(wǎng)絡(luò)搜索法需要對(duì)有限離散參數(shù)進(jìn)行一一比對(duì)，較為費(fèi)時(shí)，同時(shí)隨著參數(shù)的增加，時(shí)間復(fù)雜度增加嚴(yán)重。相對(duì)而言，群體智能優(yōu)化算法通過(guò)種群中多個(gè)個(gè)體的并行尋優(yōu)以提高參數(shù)的尋優(yōu)效率，且具有對(duì)初值不敏感等特性，是一類較為理想的SVM參數(shù)優(yōu)化方法?；谌后w智能算法優(yōu)化SVM參數(shù)的方法主要有遺傳算法[7]、粒子群算法[8-9]、蟻群算法[10-12]和多智能算法的融合方法[13]等。

ALO算法作為一種新的仿生智能優(yōu)化算法，有許多有待改進(jìn)的方面和新的應(yīng)用領(lǐng)域?？紤]到在ALO算法迭代尋優(yōu)過(guò)程中，蟻獅種群存在適應(yīng)度相對(duì)較差的個(gè)體，如果螞蟻選定該蟻獅進(jìn)行學(xué)習(xí)勢(shì)必會(huì)增加陷入局部極值的可能性。同時(shí)由于該蟻獅在局部極值的鄰域進(jìn)行搜索而導(dǎo)致這些蟻獅個(gè)體的資源浪費(fèi)，從而在一定程度上影響了ALO算法的尋優(yōu)性能和收斂效率。為此，本文受人工蜂群算法中偵查蜂的思想啟發(fā)，將蟻獅種群中適應(yīng)度值相對(duì)較差的個(gè)體定義為偵查蟻獅，同時(shí)在原有位置信息的基礎(chǔ)上通過(guò)一定次數(shù)的混沌搜索以獲得適應(yīng)度值更優(yōu)的位置，并將其重新賦值給偵查蟻獅，從而提出了帶混沌偵查機(jī)制的蟻獅優(yōu)化算法（ant lion optimizer w ith chaos investigation mechanism，CIALO），最后將其用于SVM參數(shù)優(yōu)化中，通過(guò)對(duì)UCI標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)中數(shù)據(jù)集的實(shí)例化分析來(lái)驗(yàn)證CIALO算法優(yōu)化SVM參數(shù)的有效性和可行性。

2 蟻獅優(yōu)化算法及改進(jìn)算法

2.1蟻獅優(yōu)化算法

蟻獅優(yōu)化算法[1]是受自然界中蟻獅獵捕螞蟻的狩獵機(jī)制啟發(fā)而提出的一種新的群體智能優(yōu)化算法。自然界中蟻獅在沙中沿圓形軌跡移動(dòng)，利用下顎挖出一個(gè)誘捕螞蟻的圓錐形坑，當(dāng)隨機(jī)移動(dòng)的螞蟻陷入坑中時(shí)，蟻獅便捕食之并重新修繕坑穴等待下一只獵物（螞蟻）。

ALO算法就是模仿蟻獅和螞蟻的這種相互作用來(lái)實(shí)現(xiàn)對(duì)問(wèn)題的優(yōu)化：螞蟻通過(guò)圍繞蟻獅的隨機(jī)游走實(shí)現(xiàn)對(duì)搜索空間的探索，并向蟻獅和精英進(jìn)行學(xué)習(xí)以保證種群的多樣性和算法的尋優(yōu)性能；蟻獅相當(dāng)于問(wèn)題的解，通過(guò)獵捕適應(yīng)度高的螞蟻實(shí)現(xiàn)對(duì)近似最優(yōu)解的更新和保存。

ALO算法迭代尋優(yōu)的執(zhí)行偽碼[1]為：

A lgorithm: Basic ALO algorithm

Initialize the first population of ants and antlions random ly Calculate the fitness of ants and antlions

Find the best antlions and assume it as the elite (determined optimum)

W hile the end criterion is not satisfied

For every ant

Select an antlion using Rouletee wheel Update c and d

Create a random walk and normalize it Update the position of ant EndFor

Calculate the fitness of all ants

Replace an antlion w ith its corresponding ant if becomes fitter

Update elite if an antlion becomes fitter than the elite

EndW hile Return elite

ALO算法具有相對(duì)較好的尋優(yōu)效率和收斂精度：通過(guò)蟻獅的隨機(jī)選擇、螞蟻的隨機(jī)游走以及陷阱的自適應(yīng)縮減邊界等機(jī)制保證了算法對(duì)搜索空間的較好探索性能，實(shí)現(xiàn)了ALO算法的較快尋優(yōu)效率。同時(shí)作為一種基于群體的智能算法，ALO算法通過(guò)隨機(jī)游走和輪盤(pán)賭選擇等策略降低了算法陷入局部極值的可能性，在一定程度上提高了算法的收斂精度。文獻(xiàn)[1]將ALO算法與遺傳算法、蝙蝠算法、螢火蟲(chóng)算法和花朵授粉算法等7種智能算法進(jìn)行對(duì)比，通過(guò)對(duì)單峰函數(shù)、多峰函數(shù)和單多峰混合優(yōu)化函數(shù)的大量實(shí)驗(yàn)，充分驗(yàn)證了ALO算法較好的尋優(yōu)效率和收斂精度。

2.2帶混沌偵查機(jī)制的蟻獅算法

ALO算法中通過(guò)螞蟻圍繞精英和輪盤(pán)賭選定蟻獅的隨機(jī)游走實(shí)現(xiàn)對(duì)空間的搜索，但由于算法前期蟻獅種群中存在適應(yīng)度值較差的個(gè)體（即離最優(yōu)解較遠(yuǎn)的解），若螞蟻輪盤(pán)賭選定該蟻獅進(jìn)行隨機(jī)游走則會(huì)陷入該局部最優(yōu)解鄰域，從而在一定程度上可能弱化種群的尋優(yōu)性能且不利于算法整體收斂效率，同時(shí)也將造成這些蟻獅資源的浪費(fèi)。鑒于此，需要將這些蟻獅進(jìn)行重新賦值，以提高蟻獅種群的個(gè)體優(yōu)良性和算法的整體尋優(yōu)性能。

受人工蜂群算法（artificial bee colony,ABC）中偵查蜂的啟發(fā)：偵查蜂實(shí)現(xiàn)對(duì)新蜜源的開(kāi)采，有利于跳出局部極值并增強(qiáng)算法的尋優(yōu)性能。將ABC算法中的這種偵查機(jī)制引入到ALO算法中，即在蟻獅種群中引入“偵查蟻獅”的概念，將適應(yīng)度值較差的蟻獅定義為偵查蟻獅，通過(guò)對(duì)其位置的重新賦值實(shí)現(xiàn)對(duì)搜索空間的重新較優(yōu)搜索；但偵查蟻獅位置的重新賦值并不是采用ABC算法中舍棄原有信息而只采用隨機(jī)初始化的方式進(jìn)行定義，而是在充分利用蟻獅原有位置信息的基礎(chǔ)上，通過(guò)引進(jìn)具有較好遍歷性和互不相關(guān)性的混沌映射，利用一定次數(shù)的混沌迭代來(lái)獲得適應(yīng)度值相對(duì)較好的偵查蟻獅。

目前常用的混沌映射主要有Logistic映射、Tent映射等。但Logistic映射對(duì)初值設(shè)置敏感，只有在控制參數(shù)為4時(shí)才完全進(jìn)入混沌狀態(tài)，且遍歷性和均勻性都相對(duì)較差（映射點(diǎn)邊緣處密度很高而區(qū)間中央密度較低），這將直接影響混沌搜索的遍歷性能；Tent映射雖遍歷性較好，分布也較為均勻，但存在著小周期和有理數(shù)不動(dòng)點(diǎn)，數(shù)據(jù)一旦落入不動(dòng)點(diǎn)周期內(nèi)勢(shì)必會(huì)造成序列趨于穩(wěn)定而使算法失效。鑒于上述分析，本文選用Fuch映射[14]作為定義偵查蟻獅的混沌映射，該映射具有對(duì)初值不依賴性、均衡遍歷性和較高收斂效率等優(yōu)點(diǎn)，具體定義式為：

其中，zi≠0，i∈Z+。圖1展示了Fuch映射與Logistic 和Tent映射的初值依賴性對(duì)比情況。

由圖1分析可知，F(xiàn)uch映射具有較好的初值不依賴性：在初值z(mì)0=0.483 5微小變化10-6時(shí)，F(xiàn)uch映射產(chǎn)生的混沌序列是完全不同且毫無(wú)規(guī)律的[14]，而Logistic和Tent映射則產(chǎn)生了較多的重疊點(diǎn)，且不重疊點(diǎn)處的絕大多數(shù)差距也幾乎是相對(duì)較小的，甚至出現(xiàn)了Tent映射陷入不動(dòng)點(diǎn)周期而使算法失效的情況（見(jiàn)圖1（b）中60代后）。在Z+域內(nèi)，F(xiàn)uch映射均可直接代入混沌映射來(lái)產(chǎn)生有效的混沌序列，而Logistic 和Tent映射則需將初值限制在[0，1]區(qū)間內(nèi)，一旦越界將會(huì)造成算法無(wú)效。為能生成有效的混沌序列必須先通過(guò)變換將其映入混沌定義域才可代入混沌映射，而生成的混沌值也必須通過(guò)逆變換將其映入優(yōu)化變量定義域才能再代回到優(yōu)化函數(shù)中繼續(xù)進(jìn)行迭代尋優(yōu)。

Fig.1 Contrast on initial-value independency for three chaotic mappings圖1 3種混沌映射的初值依賴性對(duì)比

CIALO算法可用于求解式（2）優(yōu)化問(wèn)題的最優(yōu)解：

其中，N表示函數(shù)f(?)中的變量數(shù)目。

假設(shè)混沌映射中混沌變量zi的定義區(qū)間為[l,u]，且一般與優(yōu)化變量xi的約束區(qū)間[m,M]是不一致的，因此需要將混沌變量和優(yōu)化變量進(jìn)行轉(zhuǎn)化變換。在將優(yōu)化變量xi代入到混沌映射進(jìn)行混沌搜索時(shí)，需要先將其轉(zhuǎn)變?yōu)榛煦缱兞縵i，變換公式為：

利用混沌遍歷搜索得到的偵查蟻獅新位置zi在進(jìn)行適應(yīng)度值計(jì)算時(shí)，需要將其轉(zhuǎn)變?yōu)閮?yōu)化變量xi，變換公式為：

通過(guò)混沌變量與優(yōu)化變量間的這種相互轉(zhuǎn)換以實(shí)現(xiàn)偵查蟻獅的混沌搜索和適應(yīng)度值計(jì)算間的相互跳轉(zhuǎn)。由于Fuch映射具有對(duì)初值不依賴性，可以跳過(guò)式（3）直接執(zhí)行式（4）來(lái)進(jìn)行有效的混沌遍歷。而Logistic映射、Tent映射等其他混沌映射則需要首先經(jīng)過(guò)式（3）的變換才可以代入到混沌映射來(lái)進(jìn)行混沌搜索，因此從算法執(zhí)行操作的角度來(lái)說(shuō)，采用Fuch映射在一定程度上有利于提高算法的計(jì)算效率。

利用CIALO算法優(yōu)化最大值問(wèn)題的執(zhí)行偽碼為：

A lgorithm: CIALO algorithm

Parameters: Numagent—The number of search agents

Itermax—The maximum iterations of algorithm dim—The variable dimension of continuous functions

m—The m inimum value ofvariable range

M—The maximum value ofvariable range

p0—The percentage of investigation antlions Numchaos—The number of chaotic search

Output: X*—The optimal solution (for maximum-value problem)

Set Numagent,Itermax,dim,m,M,p0,Numchaos

// Initialize the ants and antlions random ly MAnt=rand(Numagent,dim)*(ub-lb)+lb MAntlion=rand(Numagent,dim)*(ub-lb)+lb

// Calculate antlions?fitness, sort antlions descendingly and save elite

X*=E lite Iter=2 Repeat

for i=1,2,…,Numagent

// Create a random walk around selected antlion and elite // Update Ant

end for

// Calculate the fitness of all ants, sort ants and antlions descendingly according to the fitness and assign Top Numagentindividuals to antlions

// Calculate the number of substituted antlions(SAL)

NumSAL=Numagent*p0

For j=1,2,…,NumSAL

//Assign the j-th SAL?s position to chaotic variable x_chaos=Antlion(Agents*(1-p0)+j,:);

For k=1,2,…,Numchaos

// Chaotic search process

using Eq.(4)

// Calculate and compare the fitness, and update the j-th SAL

End If

EndFor

EndFor

// Sortnew antlionsdescendingly according to the fitness // Updata elite

if fitness(AntlionIter(1))>fitness(Elite)

Elite=AntlionIter(1) endif

Iter=Iter+1

Until Iter=Itermax+1

Return X*=Elite

3 CIALO優(yōu)化SVM參數(shù)

CIALO算法可用于SVM參數(shù)的優(yōu)化選擇。SVM分類模型中需要優(yōu)化的參數(shù)主要是罰參數(shù)C和核參數(shù)。罰參數(shù)C主要是對(duì)錯(cuò)分樣本的懲罰，是在機(jī)器結(jié)構(gòu)風(fēng)險(xiǎn)和泛化性能之間尋求一種折中；核參數(shù)主要影響核函數(shù)的分析性能，進(jìn)而影響SVM的泛化性能。目前常見(jiàn)的核函數(shù)主要有多項(xiàng)式核、RBF核、Sigmoid核等，考慮到RBF核只有一個(gè)待優(yōu)化參數(shù)，且對(duì)低維和高維空間數(shù)據(jù)均具有較好的適用性，本文選用RBF核作為SVM核函數(shù)，其表達(dá)式為：

令g=1/2r2，則SVM中待優(yōu)化參數(shù)為罰參數(shù)C和核參數(shù)g。對(duì)分類問(wèn)題，一般以SVM的分類準(zhǔn)確率最大化作為優(yōu)化原則，SVM優(yōu)化參數(shù)模型對(duì)應(yīng)的組合優(yōu)化形式為：

其中，F(xiàn)(?)為罰參數(shù)C和核參數(shù)g的二元函數(shù)。

CIALO算法優(yōu)化SVM參數(shù)(C,g)的程序流程見(jiàn)圖2，具體操作步驟為：

步驟1數(shù)據(jù)預(yù)處理。為消除數(shù)據(jù)集不同屬性間存在的量綱差異，一般需要對(duì)數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化（或歸一化）等預(yù)處理。

步驟2數(shù)據(jù)集的確定。將預(yù)處理后的數(shù)據(jù)集整理為分析數(shù)據(jù)集，并確定出SVM的訓(xùn)練集Dtr和預(yù)測(cè)集Dpr。

步驟3模型參數(shù)設(shè)置。CIALO算法中需要設(shè)置的參數(shù)有：最大迭代次數(shù)Itermax、搜索體數(shù)目（種群規(guī)模）Numagent、混沌搜索次數(shù)Numchaos和偵查蟻獅比例p0；設(shè)置SVM中參數(shù)C和g的取值范圍。

步驟4種群初始化。CIALO算法中每只螞蟻和蟻獅均代表SVM二元函數(shù)F(C,g)的待優(yōu)化參數(shù)組合(C,g)；根據(jù)步驟3中罰參數(shù)C和核參數(shù)g的取值范圍隨機(jī)初始化螞蟻和蟻獅種群，以實(shí)現(xiàn)Numagent個(gè)蟻獅個(gè)體的并行搜索。

步驟5計(jì)算螞蟻和蟻獅的適應(yīng)度值，并確定蟻獅種群。計(jì)算每只螞蟻和蟻獅的適應(yīng)度值（即對(duì)Dpr集的分類準(zhǔn)確率），同時(shí)將螞蟻和蟻獅組合并按適應(yīng)度值降序排序，再將前Numagent個(gè)個(gè)體賦予給蟻獅種群。

步驟6混沌搜索過(guò)程。

（1）計(jì)算蟻獅種群中偵查蟻獅的數(shù)目Numinv= p0×Numagent；

（2）設(shè)置Fuch混沌映射的搜索次數(shù)Numchaos；

（3）根據(jù)式（1）進(jìn)行混沌搜索，將得到的混沌變量再利用式（4）映射為優(yōu)化變量（參數(shù)組合(C,g)），即得到偵查蟻獅的新位置；

（4）計(jì)算Fuch映射搜索所得偵查蟻獅的適應(yīng)度值，并與被替換蟻獅的適應(yīng)度值比較，若優(yōu)于原適應(yīng)度值則替換，反之則保持不變；

（5）判斷是否達(dá)到最大搜索次數(shù)Numchaos，若是，則跳轉(zhuǎn)執(zhí)行步驟7，反之，則混沌搜索次數(shù)加1，并跳轉(zhuǎn)執(zhí)行（3）。

步驟7對(duì)蟻獅種群按適應(yīng)度值重新降序排列，并更新精英Elite：如果蟻獅種群最優(yōu)個(gè)體的適應(yīng)度值優(yōu)于精英的，則以該蟻獅替換精英，反之則精英保持不變。

步驟8判斷CIALO算法是否達(dá)到終止條件，即當(dāng)前迭代次數(shù)是否達(dá)到Itermax：若是，則輸出精英Elite對(duì)應(yīng)的最優(yōu)適應(yīng)度值和參數(shù)組合(CElite,gElite)，否則迭代次數(shù)加1，并跳轉(zhuǎn)執(zhí)行步驟5。

Fig.2 Flow chart of CIALO algorithm for optim izingSVM parameters圖2 CIALO算法優(yōu)化SVM參數(shù)的流程圖

4 實(shí)例化分析

為驗(yàn)證CIALO算法優(yōu)化SVM參數(shù)的有效性和可行性，以UCI標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)中的8組數(shù)據(jù)集為實(shí)驗(yàn)數(shù)據(jù)分別進(jìn)行兩組實(shí)驗(yàn)：第一組實(shí)驗(yàn)是改進(jìn)算法與其他智能算法的對(duì)比實(shí)驗(yàn)，以驗(yàn)證CIALO算法優(yōu)化SVM參數(shù)的優(yōu)越性能；第二組實(shí)驗(yàn)是改進(jìn)算法與基于其他混沌映射的對(duì)比實(shí)驗(yàn)，以說(shuō)明基于Fuch映射的CIALO算法優(yōu)化SVM參數(shù)的較好性能。8組實(shí)驗(yàn)數(shù)據(jù)集的屬性信息見(jiàn)表1。

Table 1 Attributes information of UCI datasets表1 UCI數(shù)據(jù)集的屬性信息

表1中，IP/YE/WD/BS/3TE/IS/PB/SF2分別表示Ionosphere/yeast/WaveformDatabase/BalanceScale/TicTac-ToeEndgame/ImageSegmentation/PageBlocks/SolarFlare-Data2數(shù)據(jù)集，訓(xùn)練樣本均采用均勻隨機(jī)選取方式[15]確定，數(shù)據(jù)集剩余樣本作為測(cè)試集。

由于數(shù)據(jù)集的不同屬性指標(biāo)間一般因量綱等差異而影響分類器性能，需要對(duì)數(shù)據(jù)集進(jìn)行歸一化處理，計(jì)算公式為：

其中，xmjax和xmjin分別表示第j列的最大值和最小值；xij和Xij分別表示歸一化前后樣本值。

4.1與其他智能算法的對(duì)比實(shí)驗(yàn)

本節(jié)以遺傳算法（GA）、蟻群算法（ACO）和傳統(tǒng)ALO算法作為優(yōu)化SVM參數(shù)的對(duì)比算法，以驗(yàn)證CIALO算法優(yōu)化SVM參數(shù)的優(yōu)越性能。

模型中參數(shù)的設(shè)置情況為：4種算法的最大迭代次數(shù)Itermax=150，搜索體數(shù)目Numagent=5；CIALO算法中偵查蟻獅占比p0=0.2，混沌搜索次數(shù)Numchaos=100；GA算法[7]其他參數(shù)設(shè)置為：交叉概率pc=0.8，變異概率pm=0.05；ACO算法其他參數(shù)設(shè)置為：信息素增加強(qiáng)度Q=1，信息素?fù)]發(fā)系數(shù)Rho=0.8，螞蟻爬行速度V=0.3；SVM中參數(shù)C與g的取值范圍分別為(0,10]與(0,1]。

根據(jù)GA、ACO、ALO和CIALO算法參數(shù)設(shè)置情況和表1訓(xùn)練樣本設(shè)置情況，利用4種算法優(yōu)化SVM參數(shù)模型（分別記作GASVM、ACOSVM、ALOSVM和 CIALOSVM）分別對(duì)8組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行30次實(shí)驗(yàn)，評(píng)價(jià)指標(biāo)為30次實(shí)驗(yàn)的分類準(zhǔn)確率均值（mean）、標(biāo)準(zhǔn)差（std）、最大值（max）、最小值（m in）和t-test的p-value。以30次實(shí)驗(yàn)平均值作為GASVM、ACOSVM、ALOSVM和CIALOSVM等4種算法的最終結(jié)果見(jiàn)表2，繪制的平均分類準(zhǔn)確率柱狀對(duì)比圖見(jiàn)圖3。

Table 2 Contrast on experiment result of four algorithms表2 4種算法的實(shí)驗(yàn)結(jié)果對(duì)比

Fig.3 Contrast on average accuracy of four algorithms圖3 4種算法的平均準(zhǔn)確率對(duì)比圖

由表2可知：GASVM、ACOSVM、ALOSVM和CIALOSVM這4種算法對(duì)8組實(shí)驗(yàn)數(shù)據(jù)30次實(shí)驗(yàn)的p-value均遠(yuǎn)遠(yuǎn)小于0.05，說(shuō)明4種算法的實(shí)驗(yàn)結(jié)果均具有較高的顯著性，且CIALOSVM算法的p-value最小，表明其具有更高的顯著性水平。8組實(shí)驗(yàn)數(shù)據(jù)的統(tǒng)計(jì)結(jié)果中，CIALOSVM算法均具有最大的平均分類準(zhǔn)確率、最小的預(yù)測(cè)標(biāo)準(zhǔn)差和最大的分類準(zhǔn)確率，表明改進(jìn)算法具有較高的平均預(yù)測(cè)精度、較好的算法穩(wěn)定性以及較大的最優(yōu)分類準(zhǔn)確率。同時(shí)CIALOSVM算法也具有最大的最小分類準(zhǔn)確率（m in指標(biāo)），說(shuō)明改進(jìn)算法即使在最壞極端情況下也具有較優(yōu)的預(yù)測(cè)性能，保證了算法在工程應(yīng)用中的較小錯(cuò)判率，從而有利于降低實(shí)際應(yīng)用中的成本和損失等，具有較好的應(yīng)用前景。

由圖3可知：CIALOSVM算法對(duì)8組實(shí)驗(yàn)數(shù)據(jù)的預(yù)測(cè)分析中具有不同幅度的精度提高，說(shuō)明改進(jìn)算法對(duì)不同數(shù)據(jù)集的優(yōu)化性能是有所差異的。改進(jìn)算法與其他3種對(duì)比算法相比具有最大的平均分類準(zhǔn)確率，直觀地展示了改進(jìn)算法的較好收斂精度。

4.2與其他混沌映射的對(duì)比實(shí)驗(yàn)

本節(jié)以Logistic映射和Tent映射作為對(duì)比混沌映射，以驗(yàn)證基于Fuch映射的CIALO算法優(yōu)化SVM參數(shù)的較好性能。

相關(guān)實(shí)驗(yàn)參數(shù)設(shè)置情況同4.1節(jié)，利用基于Logistic、Tent和Fuch映射的3種CIALO算法優(yōu)化SVM參數(shù)模型（分別記作LIALOSVM、TIALOSVM和FIALOSVM）分別對(duì)8組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行30次實(shí)驗(yàn)，選用分類準(zhǔn)確率、執(zhí)行時(shí)間、達(dá)到最大分類準(zhǔn)確率的收斂代數(shù)和ttest的p-value作為評(píng)價(jià)指標(biāo)，以30次實(shí)驗(yàn)的平均值作為最終實(shí)驗(yàn)結(jié)果，見(jiàn)表3。

Table 3 Contrast on experiment result of modified ALO algorithms based on different chaotic mappings表3 基于不同混沌映射的改進(jìn)ALO算法實(shí)驗(yàn)結(jié)果對(duì)比

由表3可知：LIALOSVM、TIALOSVM和FIALOSVM這3種算法均具有遠(yuǎn)小于0.05的p-value，表明3種算法對(duì)8組實(shí)驗(yàn)數(shù)據(jù)的30次實(shí)驗(yàn)結(jié)果均具有較高的顯著性，且FIALOSVM算法對(duì)8組數(shù)據(jù)集幾乎均具有最小的p-value，表明基于Fuch映射的改進(jìn)算法具有更高的顯著性水平?；?種混沌映射的CIALOSVM算法對(duì)8組實(shí)驗(yàn)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果中，F(xiàn)IALOSVM算法均具有最大的平均分類準(zhǔn)確率和最小的執(zhí)行時(shí)間（除IP的mean外），表明FIALOSVM算法與LIALOSVM和TIALOSVM算法相比具有較好的推廣泛化性能和較高的迭代尋優(yōu)效率。

在平均收斂代數(shù)指標(biāo)中，3種算法對(duì)8組實(shí)驗(yàn)數(shù)據(jù)各具優(yōu)勢(shì)：FIALOSVM和LIALOSVM算法在3個(gè)數(shù)據(jù)集上均具有最小收斂代數(shù)，而TIALOSVM算法在2個(gè)數(shù)據(jù)集上有最小收斂代數(shù)，且3種算法的平均收斂代數(shù)都在10代以內(nèi)。因此在實(shí)際應(yīng)用中可以通過(guò)設(shè)置相對(duì)較小的最大迭代次數(shù)以減少算法的執(zhí)行時(shí)間，在一定程度上提高算法的應(yīng)用價(jià)值。

5 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)ALO算法中存在適應(yīng)度較差的蟻獅個(gè)體，從而影響蟻獅種群的整體優(yōu)良性和算法的尋優(yōu)性能問(wèn)題，通過(guò)引入偵查機(jī)制和混沌搜索策略等措施提出了帶混沌偵查機(jī)制的蟻獅優(yōu)化算法，并將其用于SVM參數(shù)的優(yōu)化選擇中。數(shù)值實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法優(yōu)化SVM參數(shù)模型具有較高的平均分類準(zhǔn)確率和統(tǒng)計(jì)顯著性水平、較好的算法穩(wěn)定性以及最大的最優(yōu)分類準(zhǔn)確率，在一定程度上驗(yàn)證了改進(jìn)算法在SVM參數(shù)尋優(yōu)中的有效性和可行性。此外，ALO算法作為一種新近提出的智能優(yōu)化算法還有許多改進(jìn)的方向，例如選擇蟻獅的方式，螞蟻隨機(jī)游走的策略和螞蟻學(xué)習(xí)率隨迭代次數(shù)的動(dòng)態(tài)改變等。

References:

[1] M irjalili S. The ant lion optim izer[J]. Advances in Engineering Software, 2015, 83: 80-98.

[2] Vapnik V. The nature of statistical learning theory[M]. New York: Wiley, 1998.

[3] Danenas P, Garsva G. Selection of support vector machines based classifiers for credit risk domain[J]. Expert Systems w ith Applications, 2015, 42(6): 3194-3204.

[4] Jedliński ?, Jonak J. Early fault detection in gearboxes based on support vector machines and multilayer perceptron w ith a continuous wavelet transform[J]. Applied Soft Computing, 2015, 30: 636-641.

[5] Yang Dalian, Liu Yilun, Li Songbai, et al. Gear fault diagnosis based on support vector machine optim ized by artificial bee colony algorithm[J]. Mechanism and Machine Theory, 2015, 90: 219-229.

[6] Wauters M, Vanhoucke M. Support vector machine regression for project control forecasting[J]. Automation in Construction, 2014, 47: 92-106.

[7] Sajan K S, Kumar V, Tyagi B. Genetic algorithm based support vector machine for on-line voltage stability monitoring[J]. International Journal of Electrical Power & Energy Systems, 2015, 73: 200-208.

[8] Yuan Rongdi, Peng Dan, Feng Huizong, et al. Fault diagnosis for engine by support vector machine and improved particle swarm optim ization algorithm[J]. Journal of Information and Computational Science, 2014, 11(13): 4827-4835.

[9] Sun Wei, Liu Xuan. The safety assessment of power information system w ith particle swarm optim ization based support vector machine[J]. Journal of Information and Computational Science, 2014, 11(14): 4921-4929.

[10] Zhang Xiaoli, Chen Wei, Wang Baojian, et al. Intelligent fault diagnosis of rotating machinery using support vector machine w ith ant colony algorithm for synchronous feature selection and parameter optimization[J]. Neurocomputing, 2015, 167: 260-279.

[11] Acevedo J, Maldonado S, Lafuente S, et al. Model selection for support vector machines using ant colony optim ization in an electronic nose application[M]//Ant Colony Optimization and Swarm Intelligence. Berlin, Heidelberg: Springer, 2006: 468-475.

[12] Samadzadegan F, Hasani H, Schenk T. Simultaneous feature selection and SVM parameter determination in classification of hyperspectral imagery using ant colony optimization[J]. Canadian Journal of Remote Sensing, 2012, 38(2): 139-156. [13] Gham isi P, Benediktsson J A. Feature selection based on hybridization of genetic algorithm and particle swarm optimization[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(2): 309-313.

[14] Fu Wenyuan, Ling Chaodong. An adaptive iterative chaos optimization method[J]. Journal of Xi’an Jiaotong University, 2013, 47(2): 33-38.

[15] Gao Leifu, Zhao Shijie, Gao Jing. Application of artificial fish-swarm algorithm in SVM parameter optim ization selection[J]. Computer Engineering and Applications, 2013, 49 (23): 86-90.[16] Horton P, Nakai K. A probabilistic classification system for predicting the cellular localization sites of proteins[C]// Proceeding of the 4th International Conference on Intelligent Systems for Molecular Biology, St Louis, USA, 1996. Menlo Park, USA:AAAI, 1996: 109-115.

附中文參考文獻(xiàn)：

[14]傅文淵,凌朝東.自適應(yīng)折疊混沌優(yōu)化方法[J].西安交通大學(xué)學(xué)報(bào), 2013, 47(2): 33-38.

[15]高雷阜,趙世杰,高晶.人工魚(yú)群算法在SVM參數(shù)優(yōu)化選擇中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用, 2013, 49(23): 86-90.

ZHAO Shijie was born in 1987. He is a student w ith M.S.-Ph.D. continuous study at Liaoning Technical University, and the student member of CCF. His research interests include artificial intelligence, data mining, optimization and management decision, etc.

趙世杰（1987—），男，山東五蓮人，遼寧工程技術(shù)大學(xué)碩博連讀研究生，CCF學(xué)生會(huì)員，主要研究領(lǐng)域?yàn)槿斯ぶ悄?，?shù)據(jù)挖掘，優(yōu)化與管理決策等。

GAO Leifu was born in 1963. He received the Ph.D. degree in engineering mechanics from Liaoning Technical University in 2006. Now he is a professor and Ph.D. supervisor at Liaoning Technical University. His research interests include optim ization theory and application, nonlinear dynamic system, etc.

高雷阜（1963—），男，遼寧阜新人，2006年于遼寧工程技術(shù)大學(xué)工程力學(xué)專業(yè)獲得博士學(xué)位，現(xiàn)為遼寧工程技術(shù)大學(xué)理學(xué)院優(yōu)化與決策研究所教授、博士生導(dǎo)師，主要研究領(lǐng)域?yàn)樽顑?yōu)化理論與應(yīng)用，非線性動(dòng)力系統(tǒng)等。發(fā)表學(xué)術(shù)論文80余篇，主持和參與國(guó)家自然科學(xué)基金、教育部博士點(diǎn)基金、遼寧省自然科學(xué)基金、遼寧省教育廳基金等項(xiàng)目。

YU Dongmei was born in 1986. She is a Ph.D. candidate at Liaoning Technical University. Her research interest is optimization theory and application.

于冬梅（1986—），女，遼寧鞍山人，遼寧工程技術(shù)大學(xué)博士研究生，主要研究領(lǐng)域?yàn)樽顑?yōu)化理論與應(yīng)用。

TU Jun was born in 1982. He received the Ph.D. degree from College of Information Science and Engineering, Northeastern University in 2014. Now he is a lecturer at College of Science, Liaoning Technical University. His research interest is intelligent algorithm.

徒君（1982—），男，安徽全椒人，2014年于東北大學(xué)信息科學(xué)與工程學(xué)院獲得博士學(xué)位，現(xiàn)為遼寧工程技術(shù)大學(xué)理學(xué)院講師，主要研究領(lǐng)域?yàn)橹悄芩惴ā?/p>

Ant Lion Optim izer w ith Chaotic Investigation M echanism for Optim izing SVM Parameters?

ZHAO Shijie+, GAO Leifu, YU Dongmei, TU Jun
Institute of Optim ization and Decision, Liaoning Technical University, Fuxin, Liaoning 123000, China + Corresponding author: E-mail: zhao2008shijie@126.com

Key words:ant lion optim izer; chaos; investigation mechanism; support vector machine; parameter optimization

Abstract:As ant lion optim izer (ALO) is a new bionic intelligence algorithm, there are a number of respects on the improvement and development. Since antlion’s population (species) has some poor-fitness individuals in basic ALO algorithm, the behavior of ants selecting those antlions for random walk w ill result in increasing the possibility of its trapping into local optima and impacting on the algorithm’s optimal performance. Considering this question, this paper proposes ant lion optim izer w ith chaotic investigation mechanism (CIALO), which draws experience from the investigation idea of artificial bee colony algorithm (ABC) and brings in chaos search mechanism based on the original information of antlions. The CIALO algorithm firstly defines poor-fitness individuals of the sorted antlions’population as investigative ant lions (IAL). Meanwhile, the original position information of these antlions is regarded as the initial value of Fuch chaotic mapping. Then it can gain a better-much position by a certain number of chaos search iteration and reassigns the position to IAL, which is beneficial to improve the superiority of antlion’s population and the optimal performance of the algorithm. Eventually, the CIALO algorithm is used to optim ize the parameters of support vector machine (SVM). The public datasets from University of California Irvine (UCI) is employed for evaluating the
proffered algorithm. The experimental results imply that the CIALO algorithm for optimizing SVM parameters has stronger optimal performance and better stability of the algorithm.

doi:10.3778/j.issn.1673-9418.1506093 E-mail: fcst@vip.163.com

文獻(xiàn)標(biāo)志碼：A

中圖分類號(hào)：TP18