林 于 力

(重慶大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，重慶 401331)

20世紀(jì)30年代至今，金融經(jīng)濟(jì)危機(jī)頻頻發(fā)生，信用風(fēng)險(xiǎn)評(píng)估成為金融風(fēng)險(xiǎn)管理領(lǐng)域的重要課題。實(shí)證研究表明：支持向量機(jī)模型(SVM)是研究信用風(fēng)險(xiǎn)評(píng)估問題的最好模型之一[1]。SVM的主要思想是最小化泛化誤差的上界，在機(jī)器學(xué)習(xí)過程中，對(duì)訓(xùn)練樣本需要解一個(gè)二次規(guī)劃。當(dāng)遇到一個(gè)大型的二次規(guī)劃問題時(shí)，計(jì)算會(huì)很復(fù)雜。因此，解二次規(guī)劃問題的算法影響著支持向量機(jī)模型的性能。另外，在實(shí)際生活中，不能完全確定每個(gè)信用申請(qǐng)者是屬于可信客戶還是違約客戶。例如，一個(gè)申請(qǐng)者有90%可能屬于可信(不違約)客戶，有10%可能屬于違約(不可信)客戶，很難100%判定申請(qǐng)者是可信的還是違約的。因此，應(yīng)為信用申請(qǐng)者設(shè)置一個(gè)模糊隸屬度，對(duì)信用風(fēng)險(xiǎn)評(píng)估問題應(yīng)進(jìn)行模糊化處理。

針對(duì)以上問題，本文利用試驗(yàn)設(shè)計(jì)方法和模糊支持向量機(jī)，構(gòu)造基于試驗(yàn)設(shè)計(jì)的模糊支持向量機(jī)模型來進(jìn)行信用風(fēng)險(xiǎn)評(píng)估。在該模型中，首先采用試驗(yàn)設(shè)計(jì)方法為模型選擇最優(yōu)參數(shù)，然后利用模糊支持向量機(jī)來處理信用評(píng)估問題。此外，為了減少支持向量機(jī)求解二次規(guī)劃問題的計(jì)算復(fù)雜度，利用最小二乘原理進(jìn)行簡(jiǎn)化處理。最后，用來自UCI機(jī)器學(xué)習(xí)庫中的德國信用數(shù)據(jù)集對(duì)提出的方法進(jìn)行實(shí)證分析。

1 基于試驗(yàn)設(shè)計(jì)的模糊最小二乘支持向量機(jī)模型

1.1 模糊最小二乘支持向量機(jī)模型的構(gòu)造

支持向量機(jī)首先通過映射函數(shù)φ(·)把輸入數(shù)據(jù)映射到一個(gè)高維的特征空間中，并找到有最大分類間距的最優(yōu)分離超平面。最優(yōu)超平面表達(dá)如下：

y=wTφ(x)+b=0

(1)

其中，x=(x1，x2，…，xN)T，N為樣本數(shù)，w為超平面的法向量，b是偏差，為一個(gè)標(biāo)量。根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，分類超平面問題可以通過如下的優(yōu)化問題求解：

(2)

尋找最優(yōu)超平面是一個(gè)二次規(guī)劃問題，有較高的計(jì)算復(fù)雜性，因此，基于最小二乘原則進(jìn)行求解。在實(shí)際的信用分類問題中，每個(gè)樣本數(shù)據(jù)不能完全明確的分到一個(gè)特定的類里，引入模糊隸屬度μi，模型變?yōu)?/p>

(3)

為訓(xùn)練數(shù)據(jù)的每個(gè)元素指定αki，相應(yīng)的拉格朗日函數(shù)為

(4)

由KKT點(diǎn)的必要條件，代入式(4)，有：

(5)

上述等式可寫為

(6)

分類器為

(7)

最后，模型變?yōu)?/p>

(8)

輸入空間到高維特征空間的非線性映射取徑向基核函數(shù)：

(9)

對(duì)于隸屬度μi，選擇公式：

(10)

sk是由SVM，LSSVM等信用評(píng)分方法得到的每個(gè)輸入數(shù)據(jù)的初始信用評(píng)分。

1.2 分類器參數(shù)選擇的方法

支持向量機(jī)的性能不僅受解優(yōu)化問題的算法所影響，在機(jī)器學(xué)習(xí)的過程中參數(shù)的選擇也是很重要的。試驗(yàn)設(shè)計(jì)法(DOE)的主要思想如下：首先，設(shè)定一個(gè)覆蓋了整個(gè)搜索空間的粗糙網(wǎng)格；然后，迭代網(wǎng)格解析度和搜索邊界直至滿足停止準(zhǔn)則。每次迭代后，搜索空間重新設(shè)定為以最優(yōu)性能的點(diǎn)為中心。如果上述過程使搜索邊界超過了給定的界，調(diào)整中心使整個(gè)空間包含在給定的界中。

以兩個(gè)參數(shù)的設(shè)定為例。讓每個(gè)參數(shù)取值[-5，5]，圖1表示以1×1為精度，網(wǎng)格搜索法總共要評(píng)估的點(diǎn)是100；圖2表示用DOE方法需要評(píng)估的點(diǎn)及其迭代，圓表示第一次迭代的點(diǎn)，三角形表示第二次迭代的點(diǎn)。

圖1 網(wǎng)格搜索法評(píng)估的點(diǎn)

圖2 DOE方法評(píng)估的點(diǎn)

尋找徑向基核函數(shù)的最小二乘支持向量機(jī)的參數(shù)，DOE方法主要步驟如下：

(1) 設(shè)定γ和σ的初始范圍為[γ_min，γ_max]，[σ_min，σ_max]，iter=1；

(2) 當(dāng)iter≤MAXITER時(shí)，根據(jù)圖2的模式，找到空間中的13個(gè)點(diǎn)，以(γ_min，σ_min)為左底角，(γ_max，σ_max)為右上角，由[(γ_min，σ_min)，(γ_max，σ_max)]表示，設(shè)γ_Space=γ_max-γ_min，σ_Space=σ_max-σ_min。

對(duì)這13個(gè)沒有進(jìn)行評(píng)估的點(diǎn)，進(jìn)行評(píng)估：以點(diǎn)的坐標(biāo)作為參數(shù)，用訓(xùn)練和測(cè)試樣本運(yùn)行徑向基核的最小二乘支持向量機(jī)M次，這M次檢測(cè)的平均分類準(zhǔn)確度就是這個(gè)點(diǎn)的性能指數(shù)。

選擇具有最優(yōu)性能的點(diǎn)P0(γ0，σ0)作為中心，設(shè)定一個(gè)新的搜索空間范圍：γ_Space=γ_Space/2，σ_Space=σ_Space/2。如果以(γ0，σ0)為中心，γ_Space、σ_Space為寬和高的長(zhǎng)方形超過了最初的范圍，調(diào)整中心點(diǎn)直到新的搜索空間包含在[(γ_min，σ_min)，(γ_max，σ_max)]內(nèi)。

設(shè)定新的搜索空間：γ_min=γ0-γ_Space/2，γ_max=γ0+γ_Space/2，σ_min=σ0-σ_Space/2，σ_max=σ0+σ_Space/2，iter=iter+1。

(3) 返回有最優(yōu)性能的點(diǎn)，選擇最優(yōu)參數(shù)構(gòu)造模糊最小二乘支持向量機(jī)模型進(jìn)行分類。

1.3 基于試驗(yàn)設(shè)計(jì)的模糊最小二乘支持向量機(jī)模型的信用風(fēng)險(xiǎn)評(píng)估算法

使用Matlab，采用徑向基核函數(shù)，用DOE法找到最優(yōu)參數(shù)σ2，γ，使用σ2和γ來訓(xùn)練和檢驗(yàn)輸入數(shù)據(jù)。算法步驟如下：把數(shù)據(jù)轉(zhuǎn)為Matlab能識(shí)別的格式；初始化參數(shù)σ2和γ，然后使用DOE方法進(jìn)行參數(shù)選擇；使用標(biāo)準(zhǔn)LSSVM模型計(jì)算得分sk，計(jì)算μk，解決數(shù)學(xué)規(guī)劃，得到拉格朗日乘數(shù)α和數(shù)量b；構(gòu)造分類函數(shù)，對(duì)檢驗(yàn)數(shù)據(jù)分類；計(jì)算三種類型的精度(總精度，一類精度，二類精度)。其中：

如果對(duì)得到的精度不滿意，改變?chǔ)?和γ的初始值。

2 實(shí)證分析

為了檢驗(yàn)所提出方法進(jìn)行信用風(fēng)險(xiǎn)評(píng)估的效果，選擇來自UCI機(jī)器學(xué)習(xí)庫中的德國信用數(shù)據(jù)集(http：//archive.ics.uci.edu/ml/)進(jìn)行實(shí)證分析。其中，德國信用數(shù)據(jù)集包括1 000位申請(qǐng)者(700位可信客戶，300位違約客戶，分別對(duì)應(yīng)標(biāo)簽為1和-1)，每位客戶有24個(gè)屬性；數(shù)據(jù)集中可信客戶和違約客戶是不平衡的，和現(xiàn)實(shí)情況相符。

使用徑向基核函數(shù)，模型中只有σ2和γ兩個(gè)待定參數(shù)。采取DOE方法，初始范圍設(shè)為γ[2-5，29]，σ[2-9，25]，maxiter=6，檢驗(yàn)的次數(shù)為10次；選擇601個(gè)數(shù)據(jù)作為訓(xùn)練樣本，剩下的399個(gè)數(shù)據(jù)作為測(cè)試樣本對(duì)模型的精度進(jìn)行檢驗(yàn)，并與線性判別分析法(LDA)、最小二乘支持向量機(jī)(LSSVM)、支持向量機(jī)(SVM)、徑向基網(wǎng)絡(luò)(RBF)和k鄰近等常用的信用風(fēng)險(xiǎn)評(píng)估模型的精度進(jìn)行比較，結(jié)果如表1所示。

由表1可知，模糊最小二乘支持向量機(jī)模型的總精度和第二類精度都高于其他模型。第一類精度僅次于徑向基網(wǎng)絡(luò)模型，也遠(yuǎn)高于其他模型精度的平均值。這說明了所提出的模糊最小二乘支持向量機(jī)模型對(duì)信用風(fēng)險(xiǎn)評(píng)估有很好的效果。

得到這個(gè)較好的結(jié)果的原因之一是DOE方法得到了模型的最優(yōu)參數(shù)，而DOE更是一種能夠有效減少計(jì)算復(fù)雜度的參數(shù)選擇算法。對(duì)上述德國信用數(shù)據(jù)集選用最小二乘支持向量機(jī)模型進(jìn)行信用風(fēng)險(xiǎn)評(píng)估，選擇100個(gè)數(shù)據(jù)作為訓(xùn)練樣本，20個(gè)數(shù)據(jù)作為測(cè)試樣本，并用DOE方法和網(wǎng)格搜索法(GS)分別進(jìn)行參數(shù)選擇，得到的結(jié)果和所花費(fèi)的時(shí)間如表2所示。由表2可知，用DOE方法做參數(shù)選擇所得到的第二類精度和總精度都高于用網(wǎng)格搜索法做參數(shù)選擇得到的精度，第一類精度略低，但也處于一個(gè)較高的水平。但DOE方法所耗時(shí)間為4.7 s，遠(yuǎn)低于網(wǎng)格搜索法所需要的時(shí)間，因此用DOE方法進(jìn)行參數(shù)選擇是有價(jià)值的。

表1 不同信用風(fēng)險(xiǎn)評(píng)估模型的精度比較 %

表2 LSSVM兩種參數(shù)選擇方法的結(jié)果比較

3 結(jié) 論

作為有效防范信用風(fēng)險(xiǎn)的主要手段，信用風(fēng)險(xiǎn)評(píng)估在信用管理中發(fā)揮著重要的作用，本文用基于試驗(yàn)設(shè)計(jì)的模糊最小二乘支持向量機(jī)模型對(duì)信用數(shù)據(jù)進(jìn)行信用風(fēng)險(xiǎn)評(píng)估。在此模型中，利用DOE方法進(jìn)行參數(shù)選擇，再利用模糊最小二乘支持向量機(jī)模型對(duì)數(shù)據(jù)進(jìn)行分類，得到不同客戶的信用評(píng)估情況。為了檢驗(yàn)該方法，使用UCI數(shù)據(jù)庫中的德國信用數(shù)據(jù)集信用數(shù)據(jù)集來進(jìn)行實(shí)證分析，研究結(jié)果表明：基于試驗(yàn)設(shè)計(jì)的模糊最小二乘支持向量機(jī)模型能取得較好的分類結(jié)果，且運(yùn)行速度較快，可為信用決策者提供重要的決策參考依據(jù)，具有較強(qiáng)的實(shí)用性。此外，基于試驗(yàn)設(shè)計(jì)的模糊最小二乘支持向量機(jī)模型也可應(yīng)用于其他二分類問題，因而此模型具有較強(qiáng)的適用性。

參考文獻(xiàn)：

[1] LEAN Y，WANG S Y，LAI K. Credit risk evaluation using a C-variable least squares support vector classification model[J].Communications in Computer and Information Science，2009(35)：573-579

[2] 余樂安，汪壽陽.基于核主元分析的帶可變懲罰因子最小二乘模糊支持向量機(jī)模型及其在信用分類中的應(yīng)用[J].系統(tǒng)科學(xué)與數(shù)學(xué)，2009(10)：1311-1326

[3] YU L，YAO X，WANG S Y，et al. Credit risk evaluation using a weighted least squares SVM classifier with design of experiment for parameter selection [J]. Expert Systems with Applications，2011，38：15392-15399

[4] LIU J L，MAO J Q，CHEN L. An Ensemble of Fuzzy Sets and Least Squares Support Vector Machines Approach to Consumer Credit Risk Assessment[J]. Fifth International Conference on Business Intelligence，2012(5)：10-12

[5] 余晨曦，梁瀟.基于支持向量機(jī)的商業(yè)銀行信用風(fēng)險(xiǎn)度量模型[J].計(jì)算機(jī)與數(shù)字工程，2008(11)：10-14

[6] TWALA B. Multiple classier application to credit risk assessment[J]. Expert Systems with Applications，2010(37)：3326-3336

[7] 張冰，孔銳.一種支持向量機(jī)的組合核函數(shù)[J].計(jì)算機(jī)應(yīng)用，2007，27(1)：44-46

[8] 奉國和.SVM分類核函數(shù)及參數(shù)選擇比較[J].計(jì)算機(jī)工程與應(yīng)用，2011，47(3)：123-128