亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于譜風(fēng)險(xiǎn)度量的SVM求解算法與實(shí)證分析

        2022-04-20 08:35:22李瑞祺韓有攀
        河南科學(xué) 2022年3期
        關(guān)鍵詞:分類效果模型

        李瑞祺, 韓有攀

        (西安工程大學(xué)理學(xué)院,西安 710048)

        支持向量機(jī)是機(jī)器學(xué)習(xí)中最成功的分類算法之一. 支持向量機(jī)是尋找一個(gè)超平面,使該超平面以最大限度地分離不同類別中的訓(xùn)練樣本. 目前最具代表性的SVM模型有:C-SVM、V-SVM、EV-SVM. C-SVM的分類權(quán)重是由參數(shù)C控制的,但由于在實(shí)際應(yīng)用中,該分類器參數(shù)C是未知的,需要被提前設(shè)定,并且該分類器參數(shù)的可解釋性也不強(qiáng),這在應(yīng)用中會(huì)帶來不小的麻煩. 為了有效地解決該問題,Sch?lkopf 等[1]提出了V-SVM模型,該模型的參數(shù)無須提前設(shè)定,它是通過機(jī)器自行學(xué)習(xí)獲得的數(shù)值,并且該分類器的參數(shù)比原始的C-SVM 的參數(shù)有著更好的解釋性. 后來Chang 和Lin[2]發(fā)現(xiàn)V-SVM 的參數(shù)并不能取遍[0,1]之間的數(shù).為了解決這個(gè)問題,Perez-Cruz等[3]提出了EV-SVM,該模型通過改變V-SVM模型中的限制條件使得參數(shù)V可以取遍[0,1]之間的數(shù). 他們還通過實(shí)驗(yàn)證明了EV-SVM的泛化性能優(yōu)于原始V-SVM模型,該模型不僅有助于闡明V-SVM的理論性質(zhì),而且有助于提高其泛化性能.

        SVM模型與金融風(fēng)險(xiǎn)度量之間有著緊密的聯(lián)系. Gotoh等[4]基于金融風(fēng)險(xiǎn)與機(jī)器學(xué)習(xí)之間的關(guān)系,提出了金融風(fēng)險(xiǎn)度量與SVM 模型之間的異同點(diǎn),并使用SVM 模型對(duì)金融債券評(píng)級(jí)進(jìn)行了數(shù)值實(shí)驗(yàn). Takeda 和Sugiyama[5]在V-SVM 的研究基礎(chǔ)上提出了EV-SVM 的優(yōu)化算法. 同時(shí)發(fā)現(xiàn)了V-SVM模型與金融風(fēng)險(xiǎn)度量中的CVaR之間存在聯(lián)系,并證實(shí)了V-SVM模型可以當(dāng)作計(jì)算CVaR最小值時(shí)使用. Gotoh和Takeda[6]通過研究SVM模型與CVaR模型之間的特殊關(guān)系,提出了一種獲得全局或局部最優(yōu)解的求解方法,并通過數(shù)值實(shí)驗(yàn)證實(shí)了該求解模型在分類效果預(yù)測上有更精確的預(yù)測精度. 后來Wang[7]提出了一種基于最壞情況下CVaR最小值的魯棒SVM模型,該模型可以用來計(jì)算最壞情況下的CVaR最小值,實(shí)驗(yàn)證明該模型的計(jì)算結(jié)果要比傳統(tǒng)的V-SVM模型精確. 由于譜風(fēng)險(xiǎn)度量不僅有CVaR的優(yōu)點(diǎn),還充分考慮了投資者對(duì)風(fēng)險(xiǎn)態(tài)度偏好的問題,Wang等[8]提出了一種基于譜風(fēng)險(xiǎn)度量最小值的支持向量機(jī)模型,并通過數(shù)值實(shí)驗(yàn)證實(shí)了該模型的計(jì)算精度比傳統(tǒng)的V-SVM 模型精確,該模型在單一權(quán)重加和的CVaR 基礎(chǔ)上,通過采取不同的權(quán)重比例構(gòu)造了一個(gè)多權(quán)重加和的風(fēng)險(xiǎn)度量模型. 隨后,不斷有新的SVM 模型出現(xiàn),例如:Takeda 等[9]提出了一種基于金融風(fēng)險(xiǎn)最小值的SVM 模型——ER-SVM(Extended Robust Support Vector Machine),實(shí)驗(yàn)證實(shí)了該分類模型相比于之前的分類模型,有著更精確的分類精度. Takeda和Kanamori[10]提出了一個(gè)統(tǒng)一的機(jī)器學(xué)習(xí)模型(Unified Machine Learning Model,UMLM),該模型不僅適用于二分類模型,還適用于回歸、異常值檢測等模型. 除此之外,還有許多學(xué)者研究了支持向量機(jī)的理論[11-15].

        此外,我國許多研究學(xué)者將支持向量機(jī)模型應(yīng)用到銀行信用風(fēng)險(xiǎn)評(píng)級(jí)研究中去. 余晨曦[16]采用支持向量機(jī)模型來研究我國商業(yè)銀行信用風(fēng)險(xiǎn)識(shí)別模型,并與傳統(tǒng)的多元判別分析方法進(jìn)行對(duì)比. 通過實(shí)驗(yàn)結(jié)果的對(duì)比容易發(fā)現(xiàn),支持向量機(jī)模型判別的誤判率明顯低于多元線性判別模型的誤判率. 葛青青[17],朱琳[18]同樣使用SVM模型來研究金融行業(yè)信用風(fēng)險(xiǎn)評(píng)級(jí)模型,實(shí)驗(yàn)證明使用支持向量機(jī)模型可以提高分類精度,在金融信用評(píng)級(jí)預(yù)測方面較為精準(zhǔn)和有效.

        本文根據(jù)一致風(fēng)險(xiǎn)度量表示定理,通過求解出譜風(fēng)險(xiǎn)度量的不確定集合表示形式,構(gòu)造出基于譜風(fēng)險(xiǎn)度量的支持向量機(jī)模型,并通過求解該不確定型集合,找到該模型的最優(yōu)解. 在實(shí)證分析方面,與傳統(tǒng)的基于CVaR 的支持向量機(jī)進(jìn)行對(duì)比. 數(shù)據(jù)結(jié)果表明,基于譜風(fēng)險(xiǎn)度量的SVM 模型比傳統(tǒng)的基于CVaR 的SVM 模型計(jì)算精度高,誤差小.

        1 預(yù)備知識(shí)

        定義1.1(譜風(fēng)險(xiǎn)度量) 若φ∈L1(Ω,?,P),即φ屬于L1范數(shù)空間,并且滿足:①φ≥0;②φ是遞減的;③‖φ‖ =1. 則

        并指出存在如下等式關(guān)系:

        其中Xi:N為順序統(tǒng)計(jì)量.

        定義1.2(一致風(fēng)險(xiǎn)度量) 設(shè)V?L1(Ω,?,P)是一實(shí)值隨機(jī)變量集合,函數(shù)ρ:V→? 若滿足下列條件,則稱為一致風(fēng)險(xiǎn)度量:

        (i)單調(diào)性:任意X、Y∈V,若Y≥X,則ρ(Y)≤ρ(X);

        (ii)次可加性:任意X、Y,若X+Y∈V,則ρ(X+Y)≤ρ(X)+ρ(Y);

        (iii)正齊次性:任意X∈V,h>0,若hX∈V,則ρ(hX)=hρ(X);

        (iv)平移不變性:任意X∈V,a∈?,有ρ(X+a)=ρ(X)-a.

        定義1.3(分布不變性) 設(shè)V是實(shí)值隨機(jī)變量集合?X、Y∈V,若F(X≤c)=F(Y≤c),滿足ρ(X)=ρ(Y),則稱兩個(gè)隨機(jī)變量滿足分布不變性.

        定義1.4(共調(diào)性) 若兩個(gè)隨機(jī)變量Y1,Y2在L1空間中,若對(duì)于所有的ω、ω′∈Ω 有:

        則稱兩個(gè)隨機(jī)變量Y1、Y2具有共調(diào)性.

        關(guān)于共調(diào)性,文獻(xiàn)[20]有如下結(jié)論:若存在Y1=f(U);Y2=g(U),f、g是單調(diào)遞增的函數(shù),U為一個(gè)隨機(jī)變量,且U∈[0,1],則可以說明兩個(gè)隨機(jī)變量Y1、Y2具有共調(diào)性.

        定義1.5(二階隨機(jī)占優(yōu)) 任意X、Y∈V,若存在一個(gè)凸的、單調(diào)函數(shù)ψ,滿足:

        則稱隨機(jī)變量Y二階隨機(jī)占優(yōu)于隨機(jī)變量X,即X?SD(2)Y.

        2 譜風(fēng)險(xiǎn)度量的性質(zhì)

        命題2.1(譜風(fēng)險(xiǎn)度量滿足一致性) 設(shè)V是一實(shí)值隨機(jī)變量集合,譜風(fēng)險(xiǎn)度量是一致風(fēng)險(xiǎn)度量.

        即Mφ(X)≥Mφ(Y),證明完畢.

        (ii)次可加性. 根據(jù)定義1.1有:

        證明完畢.

        證明完畢.

        由命題2.1知,譜風(fēng)險(xiǎn)度量是一致風(fēng)險(xiǎn)度量. 除此之外,它還具有如下的性質(zhì).

        命題2.2(譜風(fēng)險(xiǎn)度量滿足分布不變性) 設(shè)V是一實(shí)值隨機(jī)變量集合,?X、Y∈V,若F(X≤c)=F(Y≤c),則Mφ(X)=Mφ(Y) .

        所以,Mφ(X)=Mφ(Y). 證明完畢.

        命題2.3(譜風(fēng)險(xiǎn)度量滿足共調(diào)可加性) 若Y1和Y2都滿足共調(diào)性,則有:Mφ(Y1+Y2)=Mφ(Y1)+Mφ(Y2).

        證明 具體證明過程見參考文獻(xiàn)[21].

        命題2.4(譜風(fēng)險(xiǎn)度量滿足二階隨機(jī)占優(yōu)) 設(shè)V是一實(shí)值隨機(jī)變量集合,任意X、Y∈V,存在一個(gè)凸的、單調(diào)的函數(shù),滿足:

        證明 根據(jù)定義1.1譜風(fēng)險(xiǎn)度量輔助函數(shù)定義

        3 基于譜風(fēng)險(xiǎn)度量的SVM模型

        本部分將給出基于譜風(fēng)險(xiǎn)度量的SVM形式,為此先介紹一致風(fēng)險(xiǎn)度量的表示定理.

        命題3.1[4](一致風(fēng)險(xiǎn)度量表示定理) 若ρ是一致風(fēng)險(xiǎn)度量,則ρ可有下面表示:

        3.1 基于一致風(fēng)險(xiǎn)度量的SVM模型

        首先給出最基本的SVM模型[4]:

        把損失函數(shù)作為隨機(jī)變量,考慮損失函數(shù)在一致風(fēng)險(xiǎn)度量下的SVM模型. 由命題3.1得:

        再由Charnes-Cooper變換,可將(3)式改寫成(4)式:

        3.2 基于譜風(fēng)險(xiǎn)度量的SVM模型

        由上述可知,譜風(fēng)險(xiǎn)度量是一致風(fēng)險(xiǎn)度量,所以只需給出Q譜風(fēng)險(xiǎn)的具體形式,就可以將(4)式改寫為基于譜風(fēng)險(xiǎn)度量的SVM模型.

        為了求出Q譜風(fēng)險(xiǎn)的具體形式,首先寫出譜風(fēng)險(xiǎn)度量的輔助函數(shù)變形形式:

        使用拉格朗日乘子法:

        對(duì)變量求導(dǎo)有:

        由上式知:

        得:

        那么Q譜風(fēng)險(xiǎn)的表示形式為:

        那么基于譜風(fēng)險(xiǎn)的SVM模型的具體表達(dá)式為:

        當(dāng)上式范數(shù)的限制條件取1-范數(shù)時(shí),是一種非凸的情況,為了解決非凸問題所帶來的計(jì)算困難,可以將上式限制條件改寫為‖w‖ ≤1形式:

        從而可以使用凸優(yōu)化方法求解該模型.

        3.3 基于譜風(fēng)險(xiǎn)度量的SVM模型可求解性分析

        定理3.1 若(13)式的最優(yōu)值為負(fù),則(14)式中任意滿足w≠0 的最優(yōu)解對(duì)于(13)式也是最優(yōu)的;若(13)式的最優(yōu)值為正,則(14)式有一個(gè)無意義的解.

        下面考慮問題(13)最優(yōu)值為正的情況,由問題(14)知,若滿足問題(14)的解為正值,則唯一滿足的解為(0,0),是個(gè)無意義的解. 這是因?yàn)閱栴}(14)總有一個(gè)目標(biāo)值為非正的可行解,要保證問題(13)最優(yōu)值為正的情況下,唯一解只能為(0,0). 證明完畢.

        對(duì)于其他情形,可以參照Gotoh 等[4]提出的引入正則化范數(shù)的方法. 引入l1正則化范數(shù),可以將非凸優(yōu)化問題轉(zhuǎn)化為一個(gè)凸優(yōu)化問題. 將問題(13)‖w‖ =1 的限制改為線性不等式的形式:w=1,w≥0 即可. 即:

        通過問題(16)可以轉(zhuǎn)化成一個(gè)凸優(yōu)化問題,從而求出最優(yōu)解.

        3.4 基于譜風(fēng)險(xiǎn)度量的SVM模型求解算法

        為了更加清楚地對(duì)基于譜風(fēng)險(xiǎn)度量的SVM模型進(jìn)行求解,下面給出該模型算法具體的求解步驟:

        4 實(shí)證分析

        ROC曲線越靠近左上角,試驗(yàn)分類的準(zhǔn)確性就越高;AUC值表示誤分率,即ROC曲線下的面積主要用于衡量模型的泛化性能,即分類效果的好壞,數(shù)值越接近1,則表示分類效果越好.

        K=1時(shí),分類效果和ROC曲線以及AUC數(shù)值如圖1、圖2所示.

        圖1 K=1時(shí),分類對(duì)比圖Fig.1 Classification comparison graph when K=1

        圖2 K=1時(shí),ROC曲線、AUC數(shù)值Fig.2 ROC curve and AUC value when K=1

        得到基于CVaR的SVM和基于SRM的SVM的AUC數(shù)值分別為0.356、0.740.

        K=2時(shí),分類效果和ROC曲線以及AUC數(shù)值如圖3、圖4所示.

        圖3 K=2時(shí),分類對(duì)比圖Fig.3 Classification comparison graph when K=2

        圖4 K=2時(shí),ROC曲線、AUC數(shù)值Fig.4 ROC curve and AUC value when K=2

        得到基于CVaR的SVM和基于SRM的SVM的AUC數(shù)值分別為0.527、0.944.

        K=3時(shí),分類效果和ROC曲線以及AUC數(shù)值如圖5、圖6所示.

        圖5 K=3時(shí),分類對(duì)比圖Fig.5 Classification comparison graph when K=3

        圖6 K=3時(shí),ROC曲線、AUC數(shù)值Fig.6 ROC curve and AUC value when K=3

        得到基于CVaR的SVM和基于SRM的SVM的AUC數(shù)值分別為0.418、0.938.

        K=4時(shí),分類效果和ROC曲線以及AUC數(shù)值如圖7、圖8所示.

        圖7 K=4時(shí),分類對(duì)比圖Fig.7 Classification comparison graph when K=4

        圖8 K=4時(shí),ROC曲線、AUC數(shù)值Fig.8 ROC curve and AUC value when K=4

        得到基于CVaR的SVM和基于SRM的SVM的AUC數(shù)值分別為0.916、0.917.

        K=5時(shí),分類效果和ROC曲線以及AUC數(shù)值如圖9、圖10所示.

        圖9 K=5時(shí),分類對(duì)比圖Fig.9 Classification comparison graph when K=5

        圖10 K=5時(shí),ROC曲線、AUC數(shù)值Fig.10 ROC curve and AUC value when K=5

        得到基于CVaR的SVM和基于SRM的SVM的AUC數(shù)值分別為0.423、0.444.

        由上述實(shí)驗(yàn)結(jié)果可以看出,使用譜風(fēng)險(xiǎn)度量的SVM模型分類效果基本良好,其ROC曲線都在基于CVaR的SVM 曲線上方,并且基于譜風(fēng)險(xiǎn)度量的SVM 的AUC 數(shù)值都要高于基于CVaR 的SVM 的AUC 數(shù)值. 通過使用K-folder 交叉驗(yàn)證,得到譜風(fēng)險(xiǎn)的SVM 模型的平均誤分率(MSR)為0.3,而基于CVaR 的SVM 模型平均誤分率為0.365,比譜風(fēng)險(xiǎn)度量模型的平均誤分率高(表1).

        表1 AUC、MSR數(shù)值表Tab.1 AUC,MSR value table

        對(duì)比上述分類效果圖、ROC 曲線、AUC 數(shù)值和MSR 數(shù)值可知,使用譜風(fēng)險(xiǎn)度量的SVM 模型效果比使用CVaR的SVM模型分類效果好,并且譜風(fēng)險(xiǎn)度量的SVM模型的平均誤分率比CVaR的低,這在實(shí)際應(yīng)用中有更加精確的分類精度.

        5 結(jié)論

        本文主要利用譜風(fēng)險(xiǎn)度量構(gòu)造SVM模型來解決分類問題,提升分類精度. 傳統(tǒng)的SVM模型受參數(shù)影響限制太多,本文通過數(shù)值實(shí)驗(yàn)使用基于譜風(fēng)險(xiǎn)度量的SVM模型與傳統(tǒng)的基于CVaR 的SVM 模型進(jìn)行對(duì)比,這是由于目前使用的CVaR based-SVM只采用了單一的風(fēng)險(xiǎn)權(quán)重,并不能真實(shí)反映投資者對(duì)待風(fēng)險(xiǎn)的態(tài)度.所以通過引入譜風(fēng)險(xiǎn)函數(shù),將風(fēng)險(xiǎn)度量擴(kuò)展到一大類的風(fēng)險(xiǎn)度量. 譜風(fēng)險(xiǎn)度量引用了不同的風(fēng)險(xiǎn)權(quán)重,是CVaR的加權(quán)和,它的訓(xùn)練模型通過使用輔助函數(shù)可以表述成一個(gè)凸優(yōu)化問題,這個(gè)問題在計(jì)算上很容易處理. 使用譜風(fēng)險(xiǎn)度量在分類中有兩個(gè)明顯的優(yōu)勢:第一,它引用了不同風(fēng)險(xiǎn)權(quán)重的CVaR加權(quán)和,充分考慮了不同投資者對(duì)待風(fēng)險(xiǎn)的態(tài)度,更加符合實(shí)際情況;第二,它的分類效果要比CVaR的分類效果好,并且平均誤分率要比CVaR模型的平均誤分率低,提高了分類的精準(zhǔn)度.

        猜你喜歡
        分類效果模型
        一半模型
        按摩效果確有理論依據(jù)
        分類算一算
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
        分類討論求坐標(biāo)
        迅速制造慢門虛化效果
        數(shù)據(jù)分析中的分類討論
        抓住“瞬間性”效果
        中華詩詞(2018年11期)2018-03-26 06:41:34
        教你一招:數(shù)的分類
        av超碰在线免费观看| 伊人情人色综合网站| 岛国av无码免费无禁网站| 国产全肉乱妇杂乱视频| 人妻无码一区二区在线影院| 久久综合激激的五月天| 日本a级免费大片网站| 久久综合九色综合久99| 人妻系列无码专区久久五月天| 久久国产影视免费精品| 国产av午夜精品一区二区入口| 日韩av精品视频在线观看| 欧美极品jizzhd欧美| 日中文字幕在线| 久久婷婷夜色精品国产| 青青草精品视频在线播放| 麻豆成人精品国产免费| 亚洲AV无码国产成人久久强迫 | 久久精品国产白丝爆白浆| 一区二区三区国产免费视频| 国产精品成人观看视频| 一本大道久久精品 东京热 | 日韩精品国产自在欧美| 亚洲国产大胸一区二区三区 | 日韩爱爱网站| 久久九九av久精品日产一区免费 | 国产成人av片在线观看| 任你躁欧美一级在线精品免费| 91热久久免费频精品99| 日本丰满少妇裸体自慰| 国产午夜视频在线观看| 狠狠色欧美亚洲综合色黑a| 青青草视频是针对华人| 又粗又黄又猛又爽大片免费| 亚洲av无码专区亚洲av桃| 日韩av在线不卡观看| 国产精品国产高清国产专区 | 欧美人成人亚洲专区中文字幕| 久久精品国产亚洲av蜜桃av| 国产精品内射久久一级二| 欧美国产一区二区三区激情无套|