周廣悅，李克文，劉文英，蘇兆鑫

中國石油大學(xué)（華東）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 青島 266580

1 引言

孿生支持向量機(jī)（twin support vector machine，TWSVM）是由Jayadeva 等人[1]在支持向量機(jī)的基礎(chǔ)上提出來的一種新型的機(jī)器學(xué)習(xí)算法，通過為每一類樣本構(gòu)造一個(gè)超平面，使得該超平面距離本類樣本最近，同時(shí)遠(yuǎn)離另一類的樣本，進(jìn)而解決二分類問題。但在現(xiàn)實(shí)問題中，多分類問題普遍，研究多分類問題變得更加有意義。

目前構(gòu)建多分類支持向量機(jī)的方法分為兩種：一種是直接法，通過修改目標(biāo)函數(shù)，將多個(gè)分類面的參數(shù)求解合并到一個(gè)優(yōu)化問題中，這種方法看起來簡(jiǎn)單，但計(jì)算復(fù)雜度很高，比較適合求解小型問題。另一種是間接法，通過不同的組合策略將多個(gè)二分類器構(gòu)造成多分類器，該方法容易理解，較為常用。于是許多專家學(xué)者采用間接法，在構(gòu)建多分類孿生支持向量機(jī)的領(lǐng)域做了大量研究：Xie 等人[2]提出了一對(duì)多孿生支持向量機(jī)，通過采用“One-versus-All”構(gòu)建方法將二類孿生支持向量機(jī)擴(kuò)展到多類。Shao等人[3]表明“One-versus-One”多分類策略與標(biāo)準(zhǔn)TWSVM 相結(jié)合，得到的一對(duì)一孿生支持向量機(jī)性能要好于OVATWSVM（one-versus-all twin support vector machine）。除了以上兩種常用于構(gòu)建多分類器的方法，Ding 等人[4]還根據(jù)多分類孿生支持向量機(jī)子分類器的組織結(jié)構(gòu)，將它們分為基于“一對(duì)余”“二叉樹”“多對(duì)一”“有向無環(huán)圖”策略等一系列多分類孿生支持向量機(jī)。為了進(jìn)一步提升多分類器的分類性能，學(xué)者們針對(duì)單個(gè)二分類孿生支持向量機(jī)的結(jié)構(gòu)進(jìn)行了不少改進(jìn)[5-9]，但無論是標(biāo)準(zhǔn)孿生支持向量機(jī)還是改進(jìn)的孿生支持向量機(jī)都面臨著參數(shù)選擇的問題。孿生支持向量機(jī)的性能主要取決于核參數(shù)以及懲罰參數(shù)的選擇，參數(shù)選擇的好壞將對(duì)分類性能產(chǎn)生直接的影響。除此之外，一個(gè)好的參數(shù)選擇將直接提升孿生支持向量機(jī)的性能。目前孿生支持向量機(jī)的參數(shù)根據(jù)經(jīng)驗(yàn)在一定范圍內(nèi)隨機(jī)選取，具有很大的隨意性和盲目性。許多專家學(xué)者對(duì)參數(shù)選擇進(jìn)行了大量的研究：Ding 等人[10]提出了一種基于粒子群優(yōu)化算法的孿生支持向量機(jī)（twin support vector machines based on particle swarm optimization），該算法采用粒子群優(yōu)化孿生支持向量機(jī)的懲罰因子，使其找到最優(yōu)解。Zhang 等人[11]提出了一種基于果蠅優(yōu)化算法的孿生支持向量機(jī)，果蠅優(yōu)化算法由于其參數(shù)少，算法簡(jiǎn)單，能夠快速找到懲罰因子以及核參數(shù)的最優(yōu)解。Wu等人[12]提出了SFLA-MK-TWSVM（mixed kernel twin support vector machines based on shuffled frog leaping algorithm）方法，該方法通過采用蛙跳算法優(yōu)化混合核函數(shù)孿生支持向量機(jī)，進(jìn)一步提升了分類器的性能。Zhang等人[13]通過遺傳算法優(yōu)化的TWSVM 找到最佳特征，稱為GATWSVM（twin support vector machines based on genetic algorithm），應(yīng)用于飛機(jī)復(fù)合健康監(jiān)測(cè)。

本文在“一對(duì)一”組合策略的基礎(chǔ)上構(gòu)建多分類孿生支持向量機(jī)，“一對(duì)一”方式通過在任意兩類之間構(gòu)建超平面，形成多個(gè)二分類器，最終通過投票的方式進(jìn)行表決。各個(gè)二分類器在構(gòu)建時(shí)采用的參數(shù)都是相同的，未考慮到不同類之間的差異性，本文提出了一種基于混合參數(shù)的多分類孿生支持向量機(jī)（multi-classification twin support vector machine based on mixed parameters，MP-MTWSVM），通過改進(jìn)多分類器的構(gòu)建方式，針對(duì)不同的二分類器采取不同的參數(shù)，能夠保持各個(gè)二分類器的多樣性，進(jìn)而提升多分類器的性能。MP-MTWSVM 算法也引入了大量的參數(shù)，靠人工經(jīng)驗(yàn)對(duì)每個(gè)二分類器進(jìn)行參數(shù)設(shè)定，工作量大，且不能夠準(zhǔn)確選取能夠提升該二分類器性能的參數(shù)，進(jìn)一步提出了GWO-MP-MTWSVM（mixed parameter multi-classification twin support vector machine based on grey wolf optimizer），該方法使用灰狼算法對(duì)MP-MTWSVM 各子分類器進(jìn)行參數(shù)優(yōu)化，快速準(zhǔn)確地找到最優(yōu)參數(shù)組合。

2 相關(guān)算法描述

2.1 基于“一對(duì)一”策略的多分類孿生支持向量機(jī)

為了解決SVM（support vector machine）對(duì)大規(guī)模樣本訓(xùn)練效率低的問題，2007 年，Jayadeva 等人在SVM 的基礎(chǔ)上提出了孿生支持向量機(jī)（TWSVM）。與SVM 不同，TWSVM 構(gòu)建兩個(gè)超平面，使得每一個(gè)超平面距離一類樣本盡可能得近，距離另一類的樣本盡可能得遠(yuǎn)。TWSVM 通過求解兩個(gè)二次規(guī)劃問題QPP（quadratic programming problem）尋找超平面，不僅保持了SVM 的優(yōu)點(diǎn)，而且訓(xùn)練速度是SVM 的1/4[14]。因TWSVM 最初是為了解決二分類問題而提出來的，因此需要結(jié)合額外的多分類擴(kuò)展策略才能用于解決多分類問題?！耙粚?duì)一（one-versus-one，OVO）”擴(kuò)展策略作為常用方法之一，其原理是在任意兩類之間構(gòu)建一個(gè)二分類TWSVM，則K個(gè)類別就需要設(shè)計(jì)K(K-1)/2 個(gè)二分類TWSVM，該方法一般采用“投票法”進(jìn)行類別的判斷?！巴镀狈ā痹跊Q定待分類樣本的歸屬時(shí)，依次用一對(duì)一多分類孿生支持向量機(jī)（OVO TWSVM）的各個(gè)二類分類器進(jìn)行判別，如果i、j兩類間的分類函數(shù)將給定樣本分到i類，則該二分類器將“票”投給了i類，否則j類得到該票，當(dāng)遍歷完所有的二分類TWSVM 后，給定樣本將被分到“票數(shù)”最高的那個(gè)類。OVO TWSVM 的基本原理如下：

對(duì)于線性可分的情況，在任意i、j兩類樣本之間構(gòu)建二分類TWSVM[1]，得到如下兩個(gè)超平面：

對(duì)于非線性可分的情況，通過引入核函數(shù)K，TWSVM 的兩個(gè)超平面如下所示：

其中，cij和cji是兩個(gè)懲罰參數(shù)，是兩個(gè)全由1組成的列向量，ξij、ξji是松弛變量。

通過求解式（3）、式（4）的對(duì)偶問題，得到超平面的參數(shù)，構(gòu)建OVOTWSVM 分類器，最終通過“投票法”對(duì)新樣本進(jìn)行類別標(biāo)簽預(yù)測(cè)。

2.2 灰狼優(yōu)化算法

灰狼優(yōu)化算法（grey wolf optimizer，GWO）是2014 年由Mirjalili 等人[15]提出的一種智能優(yōu)化算法，該算法原理簡(jiǎn)單，需要調(diào)整的參數(shù)少，易于實(shí)現(xiàn)，全局搜索能力強(qiáng)。引起了國內(nèi)外學(xué)者們的廣泛關(guān)注，對(duì)GWO 進(jìn)行了大量的研究：Emary 等人[16]采用多目標(biāo)灰狼優(yōu)化算法進(jìn)行特征選擇，通過GWO 搜索特征空間，找到最優(yōu)的特征子集。Elhariri 等人[17]提出采用GWO 優(yōu)化支持向量機(jī)SVM 的參數(shù)，實(shí)驗(yàn)結(jié)果表明，GWO-SVM 相對(duì)于SVM 有更好的分類精度。Heidari 等人[18]將Levy flight 和貪婪選擇策略與改進(jìn)的狩獵階段相結(jié)合，提高了GWO的效率。Zhu等人[19]結(jié)合灰狼優(yōu)化與差分進(jìn)化算法，提出了HGWO（hybridizing grey wolf optimization with differential evolution）算法，該方法加快了GWO 的收斂速度，在優(yōu)化性能與探測(cè)方法方面更有優(yōu)勢(shì)。Wei 等人[20]通過適應(yīng)度值控制灰狼個(gè)體的位置，實(shí)現(xiàn)灰狼優(yōu)化算法的自適應(yīng)搜索，從而加快了收斂速度，避免陷入局部最優(yōu)。

灰狼優(yōu)化算法主要是根據(jù)灰狼群體捕食行為提出的，通過狼群追蹤、包圍、追捕、攻擊獵物等過程來達(dá)到優(yōu)化搜索的目的。它們之間具有嚴(yán)格的等級(jí)制度如圖1 所示。

α、β、δ、ω代表不同等級(jí)的灰狼，且支配率自上而下下降。為了對(duì)灰狼的社會(huì)制度進(jìn)行數(shù)學(xué)建模，將α作為最優(yōu)解，β、δ分別作為次優(yōu)解及第三優(yōu)解，它們領(lǐng)導(dǎo)其他狼朝向獵物可能的位置。ω代表其余解，它們根據(jù)α、β、δ進(jìn)行位置更新。下面介紹算法中的三個(gè)關(guān)鍵點(diǎn)[15]。

Fig.1 Hierarchy of grey wolf圖1 灰狼等級(jí)

（1）灰狼與獵物的距離

計(jì)算機(jī)檢索 Cochrane圖書館、PubMed、Embase、Medline、中國知網(wǎng)、維普數(shù)據(jù)庫、中國生物醫(yī)學(xué)文獻(xiàn)數(shù)據(jù)庫和萬方數(shù)據(jù)庫等。中文檢索詞為“前列腺素類似物”“青光眼”“角膜厚度”等；英文檢索詞為“Prostaglandin analogues”“Glaucoma”“Corneal thickness”等。檢索時(shí)限均為2008年1月1日至2018年1月1日。

其中，D表示灰狼與獵物的距離，t表示當(dāng)前的迭代次數(shù)，C表示系數(shù)向量，XP表示獵物的位置，X(t)表示灰狼目前所在的位置。

其中，r1是[0，1]之間的隨機(jī)向量，C為獵物提供隨機(jī)權(quán)重，通過隨機(jī)加強(qiáng)(|C|＞1)或減弱(|C|＜1)獵物與灰狼之間的距離探測(cè)和開采搜索空間。

（2）灰狼位置更新

其中，X(t+1)表示更新后的灰狼位置，A表示系數(shù)向量，a從2 逐漸減少到0，r2是[0，1]之間的隨機(jī)向量，隨著A的減少，一半的迭代用于探測(cè)(|A|＞1)，其余的迭代用于開采(|A|＜1)。

（3）獵物位置定位

在抽象的搜索空間中，并不知道獵物(最優(yōu)解)的具體位置。根據(jù)灰狼的等級(jí)制度，狩獵通常由灰狼α、β、δ引導(dǎo)，于是假設(shè)α(最優(yōu)候選解)、β(次優(yōu)候選解)、δ(第三優(yōu)候選解)對(duì)獵物的位置有更好的了解。已知灰狼α、β、δ最靠近獵物，通過保存每次迭代過程中獲得的三個(gè)最優(yōu)解α、β、δ，獵物的方位可以根據(jù)這三個(gè)最優(yōu)解的位置來確定，并迫使其他灰狼個(gè)體根據(jù)這三個(gè)最優(yōu)解的位置更新其位置?；依莻€(gè)體跟蹤獵物方位的數(shù)學(xué)描述如下：

由式（9）、式（10）計(jì)算灰狼個(gè)體與α、β和δ的距離，然后由式(11)綜合判斷出灰狼個(gè)體向獵物移動(dòng)的方向。其中，Dα、Dβ、Dδ分別表示灰狼個(gè)體與灰狼α、β、δ之間的距離，Xα、Xβ、Xδ分別表示灰狼α、β、δ的位置，A1、A2、A3是系數(shù)向量，C1、C2、C3是隨機(jī)向量，X是當(dāng)前灰狼個(gè)體的位置。

3 基于灰狼優(yōu)化的混合參數(shù)多分類孿生支持向量機(jī)

3.1 基于混合參數(shù)的多分類孿生支持向量機(jī)設(shè)計(jì)

孿生支持向量機(jī)的性能在很大程度上受參數(shù)選擇的影響，好的參數(shù)會(huì)直接提升分類器的性能，TWSVM 主要考慮的參數(shù)包括兩種：一種是核參數(shù)；另一種是誤差懲罰參數(shù)。對(duì)于核參數(shù)，基于本文實(shí)驗(yàn)采用的核函數(shù)是高斯徑向基，于是核參數(shù)就是δ，δ參數(shù)的改變導(dǎo)致TWSVM 向高維度投影的特征空間的復(fù)雜度改變。如果δ值較大，特征空間的復(fù)雜度較低，線性可分性較差；如果δ值趨向于0，特征空間的復(fù)雜度趨向無窮，此時(shí)可將任意數(shù)據(jù)線性可分，但往往會(huì)造成過擬合[21]。對(duì)于誤差懲罰參數(shù)，其表示對(duì)誤差的容忍程度，懲罰參數(shù)越大，說明對(duì)誤差的容忍程度越小，容易過擬合；懲罰參數(shù)越小，說明對(duì)誤差的容忍程度越大，容易欠擬合[22]。因此如何選擇合適的核參數(shù)及懲罰參數(shù)對(duì)于TWSVM 的分類效果及泛化性能來說是非常重要的。

本文采用“一對(duì)一”策略將二類孿生支持向量機(jī)擴(kuò)展到多分類孿生支持向量機(jī)（multi-classification twin support vector machine，MTWSVM），但MTWSVM中的各個(gè)子分類器都采用相同的懲罰參數(shù)以及核參數(shù)，忽略了不同子分類器之間的差異。在相同的參數(shù)下，很難同時(shí)提高每個(gè)子分類器的性能，這限制了MTWSVM 整體性能的提高。于是提出一種基于混合參數(shù)的多分類孿生支持向量機(jī)（MP-MTWSVM），通過對(duì)不同的子分類器選取合適的參數(shù)，保證分類器的多樣性，進(jìn)而根據(jù)“一對(duì)一”策略構(gòu)建多分類孿生支持向量機(jī)。

3.2 基于灰狼優(yōu)化的混合參數(shù)多分類孿生支持向量機(jī)模型

MP-MTWSVM 提高了TWSVM 分類性能，同時(shí)也增加了大量的參數(shù)。由于參數(shù)增加了，使得算法的復(fù)雜性增加，孿生支持向量機(jī)本就面臨著參數(shù)難確定的問題[12]，因此必須在使用混合參數(shù)提升分類性能的同時(shí)解決參數(shù)選擇的問題。因此本文進(jìn)一步提出了基于灰狼優(yōu)化的混合參數(shù)多分類孿生支持向量機(jī)（GWO-MP-MTWSVM）?；依莾?yōu)化算法（GWO）具有結(jié)構(gòu)簡(jiǎn)單，易實(shí)現(xiàn)，全局性能好的優(yōu)勢(shì)，通過灰狼算法對(duì)MP-MTWSVM 進(jìn)行參數(shù)優(yōu)化，不僅能夠找到比傳統(tǒng)優(yōu)化方法確定參數(shù)更好的參數(shù)值，還能夠在一定程度上縮短運(yùn)行時(shí)間，提高算法的分類準(zhǔn)確率。

已知在灰狼優(yōu)化算法中，灰狼個(gè)體的位置代表需要優(yōu)化問題的潛在解，在本文提出的GWO-MPMTWSVM 中，要被優(yōu)化的問題就是組成MTWSVM的每個(gè)二類TWSVM 的分類準(zhǔn)確率，分類準(zhǔn)確率越高越好，潛在解就是使得每個(gè)二類TWSVM 分類準(zhǔn)確率最高時(shí)選擇的懲罰參數(shù)cij、cji以及核參數(shù)δij，其中i,j表示任意兩類樣本的類號(hào)。假設(shè)需要分類的類別個(gè)數(shù)為m，根據(jù)OVO 策略需要訓(xùn)練的二分類TWSVM的個(gè)數(shù)為m(m-1)/2，為每個(gè)二分類器分配一個(gè)編號(hào)r，則灰狼個(gè)體的位置向量表示為：

其中，r=1,2,…,m(m-1)/2 表示二類TWSVM 的編號(hào)，cr,1、cr,2分別表示第r個(gè)二類TWSVM 對(duì)應(yīng)的懲罰參數(shù)，δr表示第r個(gè)二類TWSVM 對(duì)應(yīng)的核參數(shù)，F(xiàn)r表示第r個(gè)二類TWSVM 的適應(yīng)度值。

GWO-MP-MTWSVM 的訓(xùn)練步驟描述如下：

（1）導(dǎo)入數(shù)據(jù)集，按6∶4 將數(shù)據(jù)集隨機(jī)劃分成訓(xùn)練集與測(cè)試集。

（2）初始化灰狼種群，隨機(jī)產(chǎn)生n個(gè)體的位置向量，并初始化a、A、C、Xa、Xβ、Xδ的值。

（3）對(duì)于k=1,2,…,n，將第k個(gè)灰狼個(gè)體位置向量中cr,1、cr,2、δr賦值給第r個(gè)二類TWSVM 的懲罰參數(shù)及核參數(shù)，對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行分類，計(jì)算該二類TWSVM 的分類準(zhǔn)確率作為適應(yīng)度值Fr。

（4）將n個(gè)灰狼個(gè)體各二類TWSVM 的適應(yīng)度值與Xα、Xβ、Xδ各二類TWSVM 的適應(yīng)度值作比較，記錄每個(gè)二類TWSVM 分類準(zhǔn)確率最高的三組參數(shù)對(duì)，確定當(dāng)前的優(yōu)解Xα、次優(yōu)解Xβ和第三優(yōu)解Xδ。

（5）計(jì)算a、A、C的值。

（6）根據(jù)式（11），更新當(dāng)前個(gè)體的位置。

（7）判斷迭代次數(shù)是否已經(jīng)達(dá)到了初始化的最大迭代次數(shù)，如果達(dá)到了，則繼續(xù)執(zhí)行（8）；否則迭代次數(shù)加1，然后轉(zhuǎn)到（3）。

（8）將得到的最優(yōu)解Xα的值賦值給各個(gè)二類TWSVM 的懲罰參數(shù)及核參數(shù)。

（9）將訓(xùn)練好的m(m-1)/2 個(gè)二類TWSVM 組合成一個(gè)多類MTWSVM，根據(jù)“投票法”進(jìn)行類別決策。

為了更直觀地描述算法，繪制了算法流程圖，如圖2 所示。

Fig.2 Flow chart of GWO-MP-MTWSVM圖2 GWO-MP-MTWSVM 的算法流程圖

4 實(shí)驗(yàn)與分析

本實(shí)驗(yàn)選用了UCI 數(shù)據(jù)庫中的8 個(gè)公開數(shù)據(jù)集，隨機(jī)選取其中的60%用于訓(xùn)練，剩下的40%作為測(cè)試。這些實(shí)驗(yàn)均在PC 機(jī)（4 GB 內(nèi)存，903 GB 硬盤，CPU Intel i7-4790）上采用python 環(huán)境實(shí)現(xiàn)。本實(shí)驗(yàn)采用的8 個(gè)數(shù)據(jù)集的詳細(xì)信息如表1 所示。

Table 1 Details of datasets used in experiments表1 用于實(shí)驗(yàn)的數(shù)據(jù)集的詳細(xì)信息

在實(shí)驗(yàn)設(shè)置中，將灰狼算法的個(gè)體數(shù)量初始化為15，懲罰參數(shù)及核參數(shù)初始化為[0，10]之間的隨機(jī)值，將孿生支持向量機(jī)的核函數(shù)設(shè)置為高斯核。表2列出了采用默認(rèn)參數(shù)（懲罰參數(shù)設(shè)置為1，核參數(shù)設(shè)置為2）的多分類支持向量機(jī)（OVO SVM）、多分類孿生支持向量機(jī)（OVO TWSVM，懲罰參數(shù)cij、cji分別設(shè)置為1，核參數(shù)設(shè)置為2）、采用網(wǎng)格搜索優(yōu)化參數(shù)的多分類孿生支持向量機(jī)（Grid-MTWSVM）、采用灰狼算法優(yōu)化參數(shù)的多分類孿生支持向量機(jī)（GWOMTWSVM，以整體準(zhǔn)確率作為適應(yīng)度函數(shù)，各子分類器采用相同的懲罰參數(shù)及核參數(shù)）以及本文提出的GWO-MP-MTWSVM 算法之間在不同數(shù)據(jù)集上10次隨機(jī)實(shí)驗(yàn)的平均分類準(zhǔn)確率ACC、F1 值的對(duì)比。由表2 可知，GWO-MP-MTWSVM 算法無論是準(zhǔn)確率ACC還是F1 值，在所有數(shù)據(jù)集上分類效果都是最佳的。其中，OVO TWSVM 在6 個(gè)數(shù)據(jù)集上的性能高于OVO SVM，證明了相對(duì)于SVM，TWSVM 不僅能夠縮短運(yùn)行時(shí)間，也能提高分類精度；Grid-MTWSVM在所有數(shù)據(jù)集上的性能都高于OVO TWSVM，證明了選擇參數(shù)的重要性；GWO-MTWSVM 在所有數(shù)據(jù)集上的性能都高于Grid-MTWSVM，說明了GWO 算法具有良好的全局收斂性，因此GWO 找到的參數(shù)值比網(wǎng)格搜索要好。GWO-MP-MTWSVM 與GWOMTWSVM 都是通過灰狼優(yōu)化算法尋找最優(yōu)參數(shù)，GWO-MP-MTWSVM 在所有數(shù)據(jù)集上的性能都大于GWO-MTWSVM，證明了本文提出的GWO-MPMTWSVM算法的有效性。

因每次實(shí)驗(yàn)都是對(duì)數(shù)據(jù)集進(jìn)行隨機(jī)劃分，為了進(jìn)一步驗(yàn)證GWO-MP-MTWSVM 的有效性不局限于固定的數(shù)據(jù)分布，圖3 展示了各對(duì)比算法在不同數(shù)據(jù)集上進(jìn)行10 次隨機(jī)實(shí)驗(yàn)的準(zhǔn)確率對(duì)比。從圖3 可得，對(duì)于Balance、Hayes 數(shù)據(jù)集，GWO-MP-MTWSVM 算法8 次準(zhǔn)確率達(dá)到最優(yōu)，其余2 次僅次于最優(yōu)；對(duì)于Vehicle 數(shù)據(jù)集，GWO-MP-MTWSVM 算法9 次準(zhǔn)確率達(dá)到最優(yōu)，僅有1 次略低于最優(yōu)；對(duì)于Iris、Seeds、Glass、Zoo、Landsat 數(shù)據(jù)集，GWO-MP-MTWSVM 算法10 次實(shí)驗(yàn)準(zhǔn)確率全部達(dá)到最優(yōu)。

Table 2 Comparison of classification performance among various algorithms on different datasets表2 各類算法在不同數(shù)據(jù)集上的分類性能對(duì)比

Fig.3 Comparison of accuracy among five methods on different datasets圖3 五種算法在不同數(shù)據(jù)集上的準(zhǔn)確率對(duì)比

由上可知，本文提出的GWO-MP-MTWSVM，采用基于混合參數(shù)的OVO 策略構(gòu)建MTWSVM，通過對(duì)不同的子分類器選取合適的參數(shù)，充分發(fā)揮各子分類器的優(yōu)勢(shì)，同時(shí)利用GWO 簡(jiǎn)單、易收斂的優(yōu)點(diǎn)找到算法的最佳參數(shù)組合，能夠促進(jìn)MTWSVM 的分類性能進(jìn)一步提升。

5 結(jié)束語

近年來TWSVM 憑借其高效性得到了迅速發(fā)展，但將TWSVM 推廣到多分類TWSVM 仍面臨著巨大的挑戰(zhàn)，目前在多分類TWSVM 構(gòu)建過程中，各子分類器通常采用相同的懲罰參數(shù)及核參數(shù)，難以充分發(fā)揮各子分類器的有效性。本文首先提出了基于混合參數(shù)的多分類孿生支持向量機(jī)算法——MPMTWSVM，其考慮到不同子分類器之間的差異性，從而提高了MTWSVM 的性能；其次針對(duì)MPMTWSVM 參數(shù)難確定的問題，又提出了基于灰狼優(yōu)化的混合參數(shù)多分類孿生支持向量機(jī)，GWO-MPMTWSVM 通過灰狼算法確定MP-MTWSVM 各子分類器的最優(yōu)參數(shù)，進(jìn)一步提高了MTWSVM 的性能。