亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        直覺模糊最小二乘支持向量機(jī)*

        2012-12-04 08:17:26郭新辰李成龍
        關(guān)鍵詞:異類模糊集訓(xùn)練樣本

        郭新辰, 張 超, 李成龍

        (東北電力大學(xué) 理學(xué)院, 吉林 吉林 132012)

        支持向量機(jī)(SVM)是在VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理基礎(chǔ)上發(fā)展的一種通用機(jī)器學(xué)習(xí)方法[1]. 為提高SVM的訓(xùn)練效率, Suykens等[2-3]對標(biāo)準(zhǔn)SVM進(jìn)行了擴(kuò)展, 提出了最小二乘支持向量機(jī)(LS-SVM), 采用具有等式約束且滿足KKT條件的規(guī)則化最小二乘函數(shù)作為損失函數(shù), 代替了SVM計(jì)算復(fù)雜的QP問題, 求解速度相對較快. 但由于平方損失函數(shù)沒有正則化, 導(dǎo)致最小二乘向量機(jī)對孤立點(diǎn)的魯棒性較差[4-5].

        為了克服噪聲和野點(diǎn)對支持向量機(jī)的影響, 文獻(xiàn)[6]將模糊集理論和支持向量機(jī)相結(jié)合, 提出了模糊支持向量機(jī)(FSVM). 文獻(xiàn)[7-10]將二者結(jié)合又提出了模糊最小二乘支持向量機(jī)(FLS-SVM). 在樣本的隸屬度確定方面, 常見的方法是根據(jù)樣本到類中心的距離確定相應(yīng)的隸屬度大小, 但這種方法所確定的隸屬度有兩點(diǎn)局限性: 1) 未考慮樣本間的緊密程度; 2) 未考慮樣本周圍的樣本點(diǎn)情況.

        Zadeh[11]提出了模糊集理論, 但由于其隸屬度是一個(gè)實(shí)數(shù), 只能反映支持、 不支持和不確定三者之一, 不能反映實(shí)際情況. 因此, Atanassov[12]在模糊集的基礎(chǔ)上提出了基于隸屬度、 非隸屬度和不確定度的直覺模糊集. 本文將直覺模糊集的相關(guān)理論引入到最小二乘支持向量機(jī)中提出了新的直覺模糊最小二乘支持向量機(jī)(intuitionistic fuzzy least square support vector machine, IFLS-SVM).

        1 直覺模糊集

        設(shè)χ為給定的論域, 則定義χ上的直覺模糊集為

        A={〈x,μA(x),νA(x)〉x∈χ},

        其中μA(x):x→[0,1]和νA(x):x→[0,1]分別為A的隸屬度函數(shù)和非隸屬度函數(shù), 并滿足對所有的x∈A均有0≤μA(x)+νA(x)≤1成立.πA=1-(μA(x)+νA(x))稱為x屬于A的不確定度函數(shù), 即直覺指數(shù).

        2 最小二乘支持向量機(jī)與模糊最小二乘支持向量機(jī)

        給定帶有類別標(biāo)簽的訓(xùn)練集(x1,y1),(x2,y2),…,(xl,yl), 其中訓(xùn)練樣本xi∈RN,yi∈{1,-1}為訓(xùn)練樣本對應(yīng)的類標(biāo)簽,i=1,2,…,l. LS-SVM對應(yīng)的優(yōu)化問題為

        (1)

        其中:φ(x): RN→ RNh為輸入空間到特征空間的映射; 權(quán)矢量wT∈RN; 誤差變量ξi∈R;b為偏差量;C為正規(guī)化參數(shù)即最大分類間隔與最小分類誤差的折中.

        若在FLS-SVM中引入隸屬度μi的概念, 則相關(guān)的數(shù)學(xué)模型變?yōu)?/p>

        (2)

        3 直覺模糊最小二乘支持向量機(jī)

        給定帶有類別標(biāo)簽的訓(xùn)練集(以樣本有兩類為例): (x1,y1),(x2,y2),…,(xl,yl), 其中: 訓(xùn)練樣本xi∈RN;yi∈{1,-1}為訓(xùn)練樣本對應(yīng)的類標(biāo)簽;i=1,2,…,l.

        3.1 相關(guān)指標(biāo)

        圖1 樣本類中心與類內(nèi)、 外徑示意圖Fig.1 Diagram of sample class center and internal and external radii

        3.1.2 樣本點(diǎn)周圍同類點(diǎn)比例與異類點(diǎn)比例 正樣本點(diǎn)周圍同類點(diǎn)比例為

        負(fù)樣本點(diǎn)周圍同類點(diǎn)比例為

        負(fù)樣本點(diǎn)周圍異類點(diǎn)比例為

        d值需要綜合考慮R1,r1,R2,r2和正負(fù)樣本容量等指標(biāo)合理取值[13].

        3.1.3 樣本隸屬度 為了更好地反映每個(gè)樣本點(diǎn)與類別間的真實(shí)關(guān)系, 定義相關(guān)的隸屬度. 正樣本屬于正類隸屬度為

        正樣本屬于負(fù)類隸屬度為

        當(dāng)樣本點(diǎn)滿足D(xi,O1)

        負(fù)樣本屬于負(fù)類隸屬度為

        負(fù)樣本屬于正類隸屬度為

        由隸屬度的計(jì)算公式可得:

        3.2 直覺模糊最小二乘支持向量機(jī)

        因?yàn)橹庇X指數(shù)反映了一個(gè)樣本的不確定程度, 所以直覺模糊最小二乘支持向量機(jī)模型為

        (3)

        其中k為待定參數(shù), 滿足0≤μi-k·πi≤1.

        模型(3)對應(yīng)的Lagrange函數(shù)為

        (4)

        其中Lagrange乘子αi∈R,i=1,2,…,l. 根據(jù)KKT條件, 有

        (5)

        其中i=1,2,…,l. 將式(5)寫成矩陣形式為

        (6)

        其中:

        Z=(y1φ(x1),y2φ(x2),…,ylφ(xl));y=(y1,y2,…,yl);μ=diag(μ1,μ2,…,μl);

        π=diag(π1,π2,…,πl(wèi));ξ=(ξ1,ξ2,…,ξl)T;α=(α1,α2,…,αl)T;1=(1,1,…,1)T.

        經(jīng)同解變換消去變量w和ξ, 并結(jié)合Mercer條件, 式(4)可寫成

        (7)

        其中Ωij=yiyjK(xi,xj). 令A(yù)=Ω+(C(μ-k·π))-1, 求解式(7)可得

        4 仿真實(shí)驗(yàn)

        借助MATLAB的LSSVMlab工具箱, 在人工數(shù)據(jù)集上對本文算法進(jìn)行實(shí)驗(yàn)驗(yàn)證. 驗(yàn)證過程如下.

        1) 隨機(jī)生成人工數(shù)據(jù)集. 樣本容量為300, 取其中100個(gè)樣本作為訓(xùn)練樣本集, 其余200個(gè)樣本作為測試集.

        2) 對訓(xùn)練樣本集進(jìn)行訓(xùn)練. 訓(xùn)練采用RBF核函數(shù), 取σ=0.5,C=10,d=0.6,k=0.5. 分別用LS-SVM,FLS-SVM和IFLS-SVM這3種方法對訓(xùn)練樣本集進(jìn)行訓(xùn)練.

        3) 根據(jù)3種訓(xùn)練結(jié)果分別對測試集進(jìn)行測試.

        4) 對測試結(jié)果進(jìn)行整理. 由于每次訓(xùn)練時(shí)訓(xùn)練集和測試集均為隨機(jī)生成, 所以本文取3種方法測試100次準(zhǔn)確率的平均值作為測試準(zhǔn)確率.

        根據(jù)上述訓(xùn)練過程, 得出3種方法的測試準(zhǔn)確率結(jié)果分別為LS-SVM: 93.75%; FLS-SVM: 94.45%; IFLS-SVM: 95.25%. 可見IFLS-SVM的分類效果較好. 圖2為IFLS-SVM(圖2(A))和FLS-SVM(圖2(B))對同一組數(shù)據(jù)分類結(jié)果的對比. 由圖2可見, FLS-SVM將右下方的一個(gè)樣本點(diǎn)分錯, 而IFLS-SVM 則沒有. 因此, 本文提出的IFLS-SVM算法比較合理.

        圖2 直覺模糊最小二乘支持向量機(jī)和模糊最小二乘支持向量機(jī)分類的對比結(jié)果Fig.2 Classification by IFLS-SVM and FLS-SVM

        為了進(jìn)一步驗(yàn)證IFLS-SVM算法的有效性, 在標(biāo)準(zhǔn)數(shù)據(jù)集Blood-Transfusion, Pima Indians Diabetes和Statlog (Heart)上對LS-SVM, FLS-SVM和IFLS-SVM這3種算法進(jìn)行對比測試, 測試結(jié)果列于表1. 由表1可見, IFLS-SVM算法對應(yīng)的準(zhǔn)確率較高, 從而進(jìn)一步驗(yàn)證了IFLS-SVM算法的合理性.

        表1 3種算法在標(biāo)準(zhǔn)數(shù)據(jù)集上的測試結(jié)果

        綜上所述, 為了降低在采用LS-SVM分類時(shí)樣本中噪聲和野點(diǎn)對分類效果的影響, 本文將直覺模糊集的相關(guān)理論引入到LS-SVM中, 建立了直覺模糊最小二乘支持向量機(jī). 先定義了樣本的隸屬度、 非隸屬度及直覺指數(shù)等相關(guān)指標(biāo), 并建立了IFLS-SVM的數(shù)學(xué)模型, 再對其求解過程進(jìn)行推導(dǎo), 最后通過在人工數(shù)據(jù)集和標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn), 實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的有效性.

        [1] Vapnik V N. Statistical Learning Theory [M]. New York: Wiley, 1995: 100-105.

        [2] Suykens J A K. Nonlinear Modeling and Support Vector Machines [C]//Proceedings of the 18th IEEE Instrumentation and Measurement Technology Conference. Budapest: Hungary, 2001: 287-294.

        [3] Suykens J A K, Vandewalle J. Least Squares Support Vector Machine Classifiers [J]. Neural Process Lett, 1999, 9(3): 293-300.

        [4] Shim J Y, Hwang C, Nau S. Robust LS-SVM Regression Using FuzzyC-Means Clustering [J]. Advances in Natural Computation, 2006, 1(1): 157-166.

        [5] LI Jin, TANG Wei. Fuzzy Least Squares Support Vector Machine in the Black Liquor Baume Soft Measurement [J]. Aerospace Manufacturing Technology, 2008(2): 51-53. (李瑾, 湯偉. 模糊最小二乘支持向量機(jī)在黑液波美度軟測量中的應(yīng)用 [J]. 航天制造技術(shù), 2008(2): 51-53.)

        [6] LIN Chun-fu, WANG Sheng-de. Fuzzy Support Vector Machines [J]. IEEE Transactions on Neural Networks, 2002, 13(2): 464-471.

        [7] CHEN Xiu-juan, LI Yong, Robert H G, et al. Genetic Fuzzy Classification Fusion of Multiple SVMs for Biomedical Data [J]. Journal of Intelligent & Fuzzy Systems, 2007, 18(6): 527-541.

        [8] YANG Jun, DUAN Chong, XIE Shou-sheng. Fuzzy Least Squares Support Vector Machines Based Recognition for Aircraft Flight Action [J]. Missiles and Guidance, 2004, 24(3): 395-398. (楊俊, 段翀, 謝壽生. 基于模糊最小二乘支持向量機(jī)的飛機(jī)飛行動作識別 [J]. 彈箭與制導(dǎo)學(xué)報(bào), 2004, 24(3): 395-398.)

        [9] ZHANG Ying, SU Hong-ye, CHU Jian. Soft Sensor Modeling Based on Fuzzy Least Squares Support Vector Machine [J]. Control and Decision, 2005, 20(6): 621-624. (張英, 蘇宏業(yè), 褚健. 基于模糊最小二乘支持向量機(jī)的軟測量建模 [J]. 控制與決策, 2005, 20(6): 621-624.)

        [10] WEI Guo, LIU Jian, SUN Jin-wei, et al. Study on Nonlinear Multifunctional Sensor Signal Reconstruction Method Based on LS-SVM [J]. Acta Automatica Sinica, 2008, 34(8): 869-875. (魏國, 劉劍, 孫金瑋, 等. 基于LS-SVM的非線性多功能傳感器信號重構(gòu)方法研究 [J]. 自動化學(xué)報(bào), 2008, 34(8): 869-875.)

        [11] Zadeh L A. Fuzzy Sets [J]. Information and Control, 1965, 8(3): 338-353.

        [12] Atanassov K T. Intuitionistic Fuzzy Sets [J]. Fuzzy Sets and Systems, 1986, 20(1): 87-96.

        [13] HA Ming-hu, HUANG Shu, WANG Chao, et al. Intuitionistic Fuzzy Support Vector Machine [J]. Journal of Hebei University: Natural Sicence Edition, 2011, 31(3): 225-229. (哈明虎, 黃澍, 王超, 等. 直覺模糊支持向量機(jī) [J]. 河北大學(xué)學(xué)報(bào): 自然科學(xué)版, 2011, 31(3): 225-229.)

        猜你喜歡
        異類模糊集訓(xùn)練樣本
        基于上下截集的粗糙模糊集的運(yùn)算性質(zhì)
        人工智能
        E-不變凸模糊集
        寬帶光譜成像系統(tǒng)最優(yōu)訓(xùn)練樣本選擇方法研究
        融合原始樣本和虛擬樣本的人臉識別算法
        基于稀疏重構(gòu)的機(jī)載雷達(dá)訓(xùn)練樣本挑選方法
        毛毛蟲中的異類
        魚中的異類
        鸚鵡中的異類
        但愿多些這樣的“異類”
        清風(fēng)(2014年10期)2014-09-08 13:11:04
        亚洲av无码乱码国产精品| 少妇人妻偷人中文字幕| 韩国日本一区二区在线| 亚洲色欲久久久综合网东京热| 久久伊人色av天堂九九| 日韩欧美第一区二区三区| 在线免费午夜视频一区二区| 久久精品国产亚洲av天| 男男啪啪激烈高潮cc漫画免费| 亚洲аv天堂无码| 国产亚洲亚洲精品视频| 精品国产一区二区三区av麻 | 岳毛多又紧做起爽| 久久久久成人亚洲综合精品| 国产精品三级自产拍av| 45岁妇女草逼视频播放| 男女上下猛烈啪啪免费看| 99re免费在线视频| 一区二区三区视频偷拍| 日本边添边摸边做边爱| 四川少妇大战4黑人| 浪荡少妇一区二区三区| 国产亚洲精品一区二区在线观看| 精品国产免费一区二区三区香蕉| 法国啄木乌av片在线播放| 人妻少妇精品一区二区三区| 经典三级免费看片天堂| 色偷偷噜噜噜亚洲男人| 国模无码视频专区一区| 熟女不卡精品久久av| 成人免费无码大片a毛片抽搐色欲| 丰满人妻熟妇乱又伦精品视| 无码天堂在线视频| 国产女同va一区二区三区| 欧美黑人性暴力猛交喷水黑人巨大| 亚洲AV永久天堂在线观看 | 99福利网| 日本高清成人一区二区三区| 免费乱理伦片在线观看| 国产成人精品日本亚洲18| 亚洲日本一区二区在线观看|