劉延喜

(長(zhǎng)春大學(xué) 理學(xué)院，長(zhǎng)春 130022)

0 引言

目前，有很多方法可以用于信用評(píng)分，如K近鄰法、Bayes決策模型、決策樹(shù)、支持向量機(jī)、投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)等方法［1－5］。信用評(píng)分中高估和低估客戶信用產(chǎn)生的損失不一樣，有學(xué)者把非對(duì)稱損失引入到信用評(píng)分模型中，經(jīng)實(shí)驗(yàn)證明確實(shí)有效。本文介紹Linex損失下投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)這兩種同類的模型，并對(duì)其進(jìn)行了實(shí)驗(yàn)比較。

1 算法

1.1 Linex 損失［6］

定義1 設(shè)用d估計(jì)y時(shí)所引起的損失為

該損失函數(shù)稱做Linex損失。

1.2 基于Linex損失的BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法

考慮一個(gè)三層前饋神經(jīng)網(wǎng)絡(luò)，其輸入層、隱層和輸出層的神經(jīng)元個(gè)數(shù)分別為 p，q和1，記 w0=(w01，w02，…，w0q)T∈Rq為隱層與輸出層之間的權(quán)向量，wi=(wi1，wi2，…，wip)T∈Rp為輸入層與隱層第i個(gè)節(jié)點(diǎn)之間的連接權(quán)向量，其中 i=1，2，…，q。記。隱層、輸出層的激活函數(shù)為 g:R→ R。對(duì)任意x=(x1，x2，…，xq)∈Rq，記 G(x)=(g(x1)，g(x2)，…，g(xq))T:Rq→Rq。對(duì)輸入樣本ξ∈RP，隱層的輸出為G(Vξ)，網(wǎng)絡(luò)輸出層的輸出為ζ=g(w0·G(Vξ))。給定一個(gè)ξj為輸入樣本，Oj為目標(biāo)輸出的訓(xùn)練樣本集{ξj，Oj}Jj=1，Linex損失的誤差函數(shù)為

其中g(shù)j(t)=exp(α(Oj－g(t))－α(Oj－g(t))－1。

E(W)的梯度為

從某一初始權(quán)值W0開(kāi)始，批處理算法的權(quán)值更新規(guī)則如下:

這里學(xué)習(xí)率η＞0為一個(gè)常數(shù)。

1.3 Linex 損失下投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)［7－9］

設(shè)X=(x1，x2…xp)T為投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)的輸入，y1，y2，…，yq為期望輸出是輸入層和隱層的連接權(quán)向量，k=1，2，…，m，gk(·)是隱層的激活函數(shù)，k=1，2，…，m，βik為隱層第k格激活函數(shù)和輸出層第i個(gè)元yi的連接權(quán)為網(wǎng)絡(luò)的實(shí)際輸出，輸入和輸出滿足如下關(guān)系:

投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)的三類參數(shù)估計(jì)由最小化學(xué)習(xí)準(zhǔn)則求得:

其中wi，1≤i≤q是學(xué)習(xí)速率。

投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)采取交替優(yōu)化方法來(lái)確定輸入層權(quán)值、隱層激活函數(shù)和輸出層權(quán)值這三類參數(shù)，做法是以隱層激活函數(shù)gk(·)為主，將與gk(·)有關(guān)的參數(shù)設(shè)為一組，全體參數(shù)分成m組。除其中一組以外，都給定初值，然后對(duì)留下的一組求最優(yōu)，求得結(jié)果后，把這一組參數(shù)作初值，另選一組參數(shù)做優(yōu)化。多次重復(fù)直道誤差精度滿足要求為止。

1)權(quán)值 βik的估計(jì)可得到參數(shù)βik的最小二乘估計(jì)，βik的估計(jì)可直接求得

2)隱層激活函數(shù)gk(·)的估計(jì))。固定投影方向和輸出權(quán)值βik，可以求得

還可以用Hermit或其它標(biāo)準(zhǔn)正交多項(xiàng)式逼近隱層激活函數(shù)。

3)權(quán)值αk的估計(jì)。通常采用Gauss-Newton等無(wú)約束最優(yōu)化方法求解，在無(wú)法求導(dǎo)數(shù)，可采用差分?jǐn)M牛頓等。

2 實(shí)驗(yàn)及結(jié)果

UCI中漢堡大學(xué)Hans Hofmann教授提供了德國(guó)一家銀行的1000個(gè)觀測(cè)數(shù)，數(shù)據(jù)集含7個(gè)數(shù)值型、13個(gè)分類型和一個(gè)標(biāo)志型信用字段，共21個(gè)字段。研究者假設(shè)將信用差的客戶評(píng)為信用一流客戶時(shí)的損失為5，而將信用一流客戶評(píng)為不良客戶時(shí)損失為1，這是合理的假設(shè)。使用對(duì)稱性損失函數(shù)構(gòu)造的投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)等算法進(jìn)行信用評(píng)分，忽視了上述損失的不同，使用本文討論的Linex損失投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)LPPLN和BP神經(jīng)網(wǎng)絡(luò)LBP，對(duì)客戶進(jìn)行信用評(píng)分更合適。

分別采用3層LPPLN和LBP進(jìn)行信用評(píng)分，輸入節(jié)點(diǎn)數(shù)為20，輸出節(jié)點(diǎn)數(shù)為1，隱層節(jié)點(diǎn)選取3和4個(gè)兩種。將1000個(gè)樣本隨機(jī)等分為4個(gè)互不相交的子集，訓(xùn)練時(shí)使用其中一部分為測(cè)試集，其它子集作為訓(xùn)練集。分別進(jìn)行4次實(shí)驗(yàn)，相對(duì)誤差閾值設(shè)為0.005，分類截取閾值取0.5。采用Linex損失函數(shù)的的重點(diǎn)是找出不良信用客戶，將不良信用客戶估計(jì)為信用好的客戶稱為第Ⅰ類錯(cuò)誤，實(shí)驗(yàn)結(jié)果見(jiàn)表1。

表1 信用評(píng)分實(shí)驗(yàn)結(jié)果

3 結(jié)語(yǔ)

實(shí)驗(yàn)結(jié)果表明，3個(gè)隱層節(jié)點(diǎn)和4個(gè)隱層節(jié)點(diǎn)的網(wǎng)絡(luò)，無(wú)論第Ⅰ類錯(cuò)誤率還是總錯(cuò)誤率，基于Linex損失下改進(jìn)的投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)優(yōu)于BP神經(jīng)網(wǎng)絡(luò)。投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)成長(zhǎng)于統(tǒng)計(jì)學(xué)和人工智能兩個(gè)不同領(lǐng)域，但都基于本質(zhì)上相同的模型?；蛟S因?yàn)樯鲜兰o(jì)八十年代投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)出現(xiàn)的時(shí)候，它對(duì)計(jì)算的要求超出了當(dāng)時(shí)計(jì)算機(jī)的能力，它沒(méi)有廣泛的應(yīng)用于統(tǒng)計(jì)學(xué)領(lǐng)域，其中很多問(wèn)題值得探討。

［1］Thomas L C.A survey of credit and behavioural scoring:Forecasting financial risk of lending to consumers［J］.International Journal of Forecasting，2000，16(2):149－172.

［2］West D.Neural network credit scoring models［J］.Computers and Operations Research，2000，27(11－12):1131－1152.

［3］Hand D J，Henley W E.Statistical classification methods in consumer credit scoring:A review［J］.Journal of the Royal Statistical Society，Series A(Statistics in Society)，1997:160(3):523－541.

［4］Baesens B，Van Gestel T，Viaene S，et al.Benchmarking state-of-the-art classification algorithms for credit scoring［J］.Journal of the Operational Research Society，2003，54(6):627－635.

［5］Ligang Zhou，Kin Keung Lai and Lean Yu.redit scoring using support vector machines with direct search for parameters selection［J］Soft Computing-A Fusion of Foundations，Methodologies and Applications，2009，13(2):149－155

［6］Zellner A.Bayesian Estimation and Prediction Using Asymmetric Loss Function［J］.JAmer Statist Assoc，1986，81(1):446－451.

［7］Jones L.K.A Simple Lemma on Greedy Approximation in Hilbert Space and Convergence Rates for Projection Pursuit Regression and Neural Network Training［J］.The Annals of Statistics，1992，20(1):608－613.

［8］嚴(yán)勇，李清泉，等.投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)的遙感影像分類［J］.武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2007，32(10):876－879.

［9］李穎，陳興林.投影尋蹤網(wǎng)絡(luò)用于光纖陀螺噪聲消除的研究［J］.光子學(xué)報(bào)，2009，38(1):94－98.