亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于 Fisher判別準(zhǔn)則和改進(jìn)遺傳算法的核函數(shù)參數(shù)優(yōu)化研究

        2009-12-31 00:00:00陳丹玲柴樹峰
        科技與生活 2009年21期

        摘 要核函數(shù)選擇及其參數(shù)優(yōu)化對提高支持向量機(jī)分類性能是極其重要的。本文針對支持向量機(jī)的故障分類器的核函數(shù)優(yōu)化問題,提出了基于 Fisher判別準(zhǔn)則和改進(jìn)遺傳算法相結(jié)合的核函數(shù)參數(shù)優(yōu)化算法來求解核函數(shù)參數(shù)最優(yōu)值的全局解。實驗結(jié)果表明,該算法能提高分類器的分類性能,具有算法簡單、優(yōu)化效率高等優(yōu)點。

        關(guān)鍵詞支持向量機(jī);核函數(shù);故障分類器;遺傳算法

        中圖分類號TP18文獻(xiàn)標(biāo)識碼A文章編號1673-9671-(2009)111-0030-02

        0前言

        支持向量機(jī)能夠較好地解決小樣本的學(xué)習(xí)問題,可使在小樣本情況下建立的分類器具有較好的推廣能力。但故障分類器的性能與支持向量機(jī)核函數(shù)的類型、核函數(shù)的參數(shù)以及約束常數(shù) 有很大關(guān)系。在建立故障分類器時,這些參數(shù)常需要大量的試驗確定,不但費時、費力、效率低,且這樣確定的參數(shù)不一定是最優(yōu)的。支持向量機(jī)的核函數(shù) 直接影響故障分類器的分類結(jié)果,求取核參數(shù)最優(yōu)值的優(yōu)化算法,主要考慮優(yōu)化精度、優(yōu)化效率和容易實現(xiàn)等問題。

        遺傳算法(Genetic Algorithm,簡稱GA)起源于對生物系統(tǒng)所進(jìn)行的計算機(jī)模擬研究。美國Michigan大學(xué)的Holland教授及其學(xué)生受生物模擬技術(shù)的啟發(fā),創(chuàng)造出了一種基于生物遺傳和進(jìn)化機(jī)制的適合于復(fù)雜系統(tǒng)優(yōu)化的自適應(yīng)概率優(yōu)化技術(shù)。該算法很適合用于參數(shù)的選擇和優(yōu)化,發(fā)展極為迅速,已成為求解全局優(yōu)化問題的有力工具之一。故障分類器的核函數(shù)優(yōu)化問題,采用較多的是多項式核函數(shù)和徑向基核函數(shù),這兩種核函數(shù)只涉及一個參數(shù)的優(yōu)化,因此本文采用基于Fisher判別準(zhǔn)則和改進(jìn)遺傳算法來求解核函數(shù)參數(shù)最優(yōu)值的全局解。

        1基于FISHER判別準(zhǔn)則的核函數(shù)參數(shù)優(yōu)化模型建立

        支持向量機(jī)的主要思想是把訓(xùn)練樣本數(shù)據(jù)映射到高維特征空間,然后在特征空間中建立最優(yōu)分類超平面,使兩類數(shù)據(jù)點到超平面的距離最大。而Fisher判別準(zhǔn)則的基本思想是要找到一條最優(yōu)的投影方向,把原始數(shù)據(jù)沿該方向進(jìn)行投影得到一條直線,使投影后的數(shù)據(jù)能較好地區(qū)分開,即不同模式之間數(shù)據(jù)的距離盡可能大,而同一模式之間數(shù)據(jù)的離散度要盡可能小。因此,可借鑒Fisher判別準(zhǔn)則來尋求優(yōu)化核參數(shù)的方法:首先建立基于Fisher判別準(zhǔn)則的核參數(shù)優(yōu)化模型,然后對核參數(shù)采用改進(jìn)遺傳算法進(jìn)行優(yōu)化。

        以兩類分類器為例,設(shè)訓(xùn)練樣本集中有n個d維樣本, , ,其中,個屬于“+1”類的樣本記為 ,個屬于“-1 ”類的樣本記為 ,即

        則這兩類樣本數(shù)據(jù)在特征空間的均值向量分別為

        兩類投影均值間距離的平方為

        兩類樣本投影的類內(nèi)離散度的平方為

        同理,可求得

        定義Fisher判別準(zhǔn)則(8)

        如使式(8)最小,則可使投影后類內(nèi)的距離盡可能小,而兩類間的距離盡可能大?,F(xiàn)常用多值分類算法的基礎(chǔ)是二分類算法,因此可以推廣到多值分類器的參數(shù)優(yōu)化中。

        將需要優(yōu)化的核參數(shù)用表示,則核函數(shù)是的函數(shù),于是核函數(shù)可表示為 。優(yōu)化目標(biāo)是求一個值*使式(8)的J() 最小,則* 就是核函數(shù)的最優(yōu)參數(shù)。

        2改進(jìn)遺傳算法對核函數(shù)模型的優(yōu)化

        建立好核參數(shù)優(yōu)化模型后,采用改進(jìn)遺傳算法求取核函數(shù)參數(shù)最優(yōu)值*。在優(yōu)化過程中,對遺傳算法的選擇算子進(jìn)行改進(jìn),改進(jìn)的目的是可以確保適應(yīng)度比平均適應(yīng)度大的一些個體能被遺傳到下一代群體中。改進(jìn)后選擇算子的操作過程是:

        (1)計算群體中各個個體在下一代群體中的期望生存數(shù)目 :( =1,2,…,M) (9)

        (2)取的整數(shù)部分為,以確定各個對應(yīng)個體在下一代群體中的生存數(shù)目。其中表示取不大于的最大的整數(shù)。由該步可確定出下一代群體中的個個體。

        (3)按照的小數(shù)部分對個體進(jìn)行降序排序,順序取前個個體加入到下一代群體中。至此可完全確定出下一代群體中的個個體。

        3 優(yōu)化算法的實現(xiàn)

        根據(jù)以上優(yōu)化原理和方法,實現(xiàn)流程如下:

        Step1:通過式(5)算出兩類投影均值間的距離的平方 ,由式(6)、(7)分別算出兩類樣本投影的類內(nèi)離散度的平方和。

        Step2:通過式(8)構(gòu)造 Fisher判別準(zhǔn)則,并把作為遺傳算法優(yōu)化的目標(biāo)函數(shù)。

        Step3:給定參數(shù)的優(yōu)化取值范圍以及遺傳算法的染色體長度L、種群規(guī)模M、交叉概率、變異概率、迭代次數(shù)T 。

        Step4:隨機(jī)產(chǎn)生初始群體,計算個體的適應(yīng)度值和種群的整體適應(yīng)度值

        Step5:判斷迭代次數(shù)t是否達(dá)到終止條件。如果滿足t

        Step6:產(chǎn)生新個體。按交叉概率采用多點交叉產(chǎn)生新的個體,并將交叉后所產(chǎn)生的新個體及父代中的個體按變異概率進(jìn)行某基因位的突變,又得到一些新個體。

        Step7:評價新個體。計算個體適應(yīng)度和新種群的整體適應(yīng)度F1,進(jìn)的選擇算子選擇新的種群P1。

        Step8:令,,,直到獲得一個足夠好的適應(yīng)值或達(dá)到預(yù)先設(shè)定的最大迭代次數(shù),則迭代終止。

        則循環(huán)終止后,保留的J值就是最小值J*,其對應(yīng)的即是最優(yōu)的* 。

        4仿真實驗與結(jié)果分析

        本實驗以模式識別中典型的測試數(shù)據(jù)--雙螺旋數(shù)據(jù)Bently轉(zhuǎn)子試驗臺測得的樣本數(shù)據(jù)對新算法進(jìn)行實驗。優(yōu)化過程中,錯分懲罰因子C的值的允許取值范圍較寬,取C=100.實驗硬件環(huán)境為Genuine Intel(R) CPU T1600 1.66GHz、內(nèi)存為1GB的計算機(jī),軟件環(huán)境為Matlab7.1。雙螺旋數(shù)據(jù)是完全非線性的,是由極坐標(biāo)系下方程和兩條曲線相互纏繞而成,模式識別中常作為測試數(shù)據(jù)集。在每條曲線上隨機(jī)取288個樣本點(共576點),其中各取96個點(共192點)構(gòu)成訓(xùn)練樣本,剩余作為測試樣本,每個樣本點的數(shù)據(jù)包括其在笛卡爾坐標(biāo)系中的x,y坐標(biāo)和它屬于的曲線(用±表示),如圖1所示。

        遺傳算法優(yōu)化時下列參數(shù)的初始值為:交叉概率 =0.85、變異概率 =0.001、種群規(guī)模 =80、迭代次數(shù) =500、染色體長度 =10,對徑向基RBF核函數(shù)的參數(shù) 的優(yōu)化范圍選為 。由圖2看出,優(yōu)化參數(shù) 的取值達(dá)到一定的迭代步數(shù)后,趨于平穩(wěn),從而最終搜索到優(yōu)化參數(shù) 的最優(yōu)解。迭代結(jié)果為:最優(yōu)解 ,即對徑向基RBF核函數(shù)的參數(shù) 可取 。

        為驗證參數(shù)優(yōu)化結(jié)果,取測試數(shù)據(jù)集對不同參數(shù)下分類器的性能進(jìn)行測試,測試結(jié)果顯示,對徑向基RBF核函數(shù)的參數(shù)在=0.3時具有最高的分類精度,其分類性能最好,這與前面優(yōu)化的結(jié)果相吻合,從而證明了該方法是有效的。

        5結(jié)論

        考慮到故障分類器核參數(shù)的特點,針對常規(guī)優(yōu)化方法效率低,且梯度下降算法存在計算復(fù)雜、梯度無法求出時不能實現(xiàn)優(yōu)化、不能保證選定的核參數(shù)是全局最優(yōu)等不足,提出本文的核參數(shù)優(yōu)化全局方法。仿真結(jié)果表明,運(yùn)用基于Fisher判別準(zhǔn)則和改進(jìn)遺傳算法相結(jié)合的方法優(yōu)化分類器的核參數(shù)能提高分類器的分類精度,且具有算法簡單、優(yōu)化效率高等優(yōu)點。

        參考文獻(xiàn)

        [1] Chapelle O,Vapnik V,Bousquet O,et al. Choosing multiple parameters for support vector machines. Machine Learning,2002,46:131~159

        [2] 趙玲玲,楊奎河,任曉鵬等.支持向量機(jī)在機(jī)械故障診斷中的應(yīng)用.河北工業(yè)科技,2007,24(1):37~42

        [3] Keerthi S S. Efficient tuning of SVM hyper parameters using radius/margin bound and iterative algorithms. IEEE Trans on Neural Networks,2002,13(5):1225~1229

        [4] 董國君,哈力木拉提●買買提,余輝.基于RBF核的SVM核參數(shù)優(yōu)化算法.新疆大學(xué)學(xué)報(自然科學(xué)版),2009,26(3):355~363

        [5] 劉勇,康立山,陳毓屏.非數(shù)值并行算法—遺傳算法[M].北京:科學(xué)出版社,2000:5~8.

        [6] 陳世杰,連可,王厚軍.遺傳算法優(yōu)化的SVM模擬電路故障診斷方法.電子科技大學(xué)學(xué)報,2009.38(4):553~558.

        [7] Zhang L,Jack L B,Nandi A K.Fault detection using genetic program-ming[J].Mechanical System and signal Processing,2005,19:271~289.

        [8] 楊光正,吳岷,張曉莉.模式識別.合肥:中國科學(xué)技術(shù)大學(xué)出版社,2001.

        欧美亚洲韩国国产综合五月天| 91偷拍与自偷拍亚洲精品86 | 国产成人av一区二区三区在线观看 | 免费人成毛片乱码| 亚洲欧美日韩精品中文乱码| 久久婷婷夜色精品国产| 91久久精品色伊人6882| 最近中文字幕国语免费| 精品久久亚洲中文无码| 久久国产亚洲精品超碰热| 中文无码免费在线| 成人性生交大片免费看i| 人人人妻人人人妻人人人| 亚洲欧美激情精品一区二区| 国产精品一区二区久久| 欧美日韩区1区2区3区| 日韩精品成人一区二区三区| 在线天堂av一区二区| 亚洲精品无码av人在线播放| 亚洲精品一区二区三区大桥未久| 日韩欧美专区| 久久亚洲av午夜福利精品西区| 在线一区二区三区国产精品| 国产特级毛片aaaaaa视频| 亚洲av日韩av高潮潮喷无码| 久久99国产亚洲高清观看韩国| 亚洲每天色在线观看视频| 口爆吞精美臀国产在线| 激情五月婷婷一区二区| 狠狠色成人综合网| 亚洲中文字幕乱码| 精品的一区二区三区| 久久最黄性生活又爽又黄特级片| 美女国产毛片a区内射| 欧美疯狂做受xxxx高潮小说| 亚洲精品国产综合久久一线| 放荡成熟人妻中文字幕| 欧美大屁股xxxx高潮喷水 | 男性av天堂一区二区| 人人爽久久涩噜噜噜丁香| 欧美性猛交xxxx黑人|