劉延喜

(長春大學 理學院，長春 130022)

0 引言

目前，有很多方法可以用于信用評分，如K近鄰法、Bayes決策模型、決策樹、支持向量機、投影尋蹤學習網(wǎng)絡和神經(jīng)網(wǎng)絡等方法［1－5］。信用評分中高估和低估客戶信用產(chǎn)生的損失不一樣，有學者把非對稱損失引入到信用評分模型中，經(jīng)實驗證明確實有效。本文介紹Linex損失下投影尋蹤學習網(wǎng)絡和BP神經(jīng)網(wǎng)絡這兩種同類的模型，并對其進行了實驗比較。

1 算法

1.1 Linex 損失［6］

定義1 設用d估計y時所引起的損失為

該損失函數(shù)稱做Linex損失。

1.2 基于Linex損失的BP神經(jīng)網(wǎng)絡改進算法

考慮一個三層前饋神經(jīng)網(wǎng)絡，其輸入層、隱層和輸出層的神經(jīng)元個數(shù)分別為 p，q和1，記 w0=(w01，w02，…，w0q)T∈Rq為隱層與輸出層之間的權向量，wi=(wi1，wi2，…，wip)T∈Rp為輸入層與隱層第i個節(jié)點之間的連接權向量，其中 i=1，2，…，q。記。隱層、輸出層的激活函數(shù)為 g:R→ R。對任意x=(x1，x2，…，xq)∈Rq，記 G(x)=(g(x1)，g(x2)，…，g(xq))T:Rq→Rq。對輸入樣本ξ∈RP，隱層的輸出為G(Vξ)，網(wǎng)絡輸出層的輸出為ζ=g(w0·G(Vξ))。給定一個ξj為輸入樣本，Oj為目標輸出的訓練樣本集{ξj，Oj}Jj=1，Linex損失的誤差函數(shù)為

其中gj(t)=exp(α(Oj－g(t))－α(Oj－g(t))－1。

E(W)的梯度為

從某一初始權值W0開始，批處理算法的權值更新規(guī)則如下:

這里學習率η＞0為一個常數(shù)。

1.3 Linex 損失下投影尋蹤學習網(wǎng)絡［7－9］

設X=(x1，x2…xp)T為投影尋蹤學習網(wǎng)絡的輸入，y1，y2，…，yq為期望輸出是輸入層和隱層的連接權向量，k=1，2，…，m，gk(·)是隱層的激活函數(shù)，k=1，2，…，m，βik為隱層第k格激活函數(shù)和輸出層第i個元yi的連接權為網(wǎng)絡的實際輸出，輸入和輸出滿足如下關系:

投影尋蹤學習網(wǎng)絡的三類參數(shù)估計由最小化學習準則求得:

其中wi，1≤i≤q是學習速率。

投影尋蹤學習網(wǎng)絡采取交替優(yōu)化方法來確定輸入層權值、隱層激活函數(shù)和輸出層權值這三類參數(shù)，做法是以隱層激活函數(shù)gk(·)為主，將與gk(·)有關的參數(shù)設為一組，全體參數(shù)分成m組。除其中一組以外，都給定初值，然后對留下的一組求最優(yōu)，求得結果后，把這一組參數(shù)作初值，另選一組參數(shù)做優(yōu)化。多次重復直道誤差精度滿足要求為止。

1)權值 βik的估計可得到參數(shù)βik的最小二乘估計，βik的估計可直接求得

2)隱層激活函數(shù)gk(·)的估計)。固定投影方向和輸出權值βik，可以求得

還可以用Hermit或其它標準正交多項式逼近隱層激活函數(shù)。

3)權值αk的估計。通常采用Gauss-Newton等無約束最優(yōu)化方法求解，在無法求導數(shù)，可采用差分擬牛頓等。

2 實驗及結果

UCI中漢堡大學Hans Hofmann教授提供了德國一家銀行的1000個觀測數(shù)，數(shù)據(jù)集含7個數(shù)值型、13個分類型和一個標志型信用字段，共21個字段。研究者假設將信用差的客戶評為信用一流客戶時的損失為5，而將信用一流客戶評為不良客戶時損失為1，這是合理的假設。使用對稱性損失函數(shù)構造的投影尋蹤學習網(wǎng)絡等算法進行信用評分，忽視了上述損失的不同，使用本文討論的Linex損失投影尋蹤學習網(wǎng)絡LPPLN和BP神經(jīng)網(wǎng)絡LBP，對客戶進行信用評分更合適。

分別采用3層LPPLN和LBP進行信用評分，輸入節(jié)點數(shù)為20，輸出節(jié)點數(shù)為1，隱層節(jié)點選取3和4個兩種。將1000個樣本隨機等分為4個互不相交的子集，訓練時使用其中一部分為測試集，其它子集作為訓練集。分別進行4次實驗，相對誤差閾值設為0.005，分類截取閾值取0.5。采用Linex損失函數(shù)的的重點是找出不良信用客戶，將不良信用客戶估計為信用好的客戶稱為第Ⅰ類錯誤，實驗結果見表1。

表1 信用評分實驗結果

3 結語

實驗結果表明，3個隱層節(jié)點和4個隱層節(jié)點的網(wǎng)絡，無論第Ⅰ類錯誤率還是總錯誤率，基于Linex損失下改進的投影尋蹤學習網(wǎng)絡優(yōu)于BP神經(jīng)網(wǎng)絡。投影尋蹤學習網(wǎng)絡和BP神經(jīng)網(wǎng)絡成長于統(tǒng)計學和人工智能兩個不同領域，但都基于本質(zhì)上相同的模型。或許因為上世紀八十年代投影尋蹤學習網(wǎng)絡出現(xiàn)的時候，它對計算的要求超出了當時計算機的能力，它沒有廣泛的應用于統(tǒng)計學領域，其中很多問題值得探討。

［1］Thomas L C.A survey of credit and behavioural scoring:Forecasting financial risk of lending to consumers［J］.International Journal of Forecasting，2000，16(2):149－172.

［2］West D.Neural network credit scoring models［J］.Computers and Operations Research，2000，27(11－12):1131－1152.

［3］Hand D J，Henley W E.Statistical classification methods in consumer credit scoring:A review［J］.Journal of the Royal Statistical Society，Series A(Statistics in Society)，1997:160(3):523－541.

［4］Baesens B，Van Gestel T，Viaene S，et al.Benchmarking state-of-the-art classification algorithms for credit scoring［J］.Journal of the Operational Research Society，2003，54(6):627－635.

［5］Ligang Zhou，Kin Keung Lai and Lean Yu.redit scoring using support vector machines with direct search for parameters selection［J］Soft Computing-A Fusion of Foundations，Methodologies and Applications，2009，13(2):149－155

［6］Zellner A.Bayesian Estimation and Prediction Using Asymmetric Loss Function［J］.JAmer Statist Assoc，1986，81(1):446－451.

［7］Jones L.K.A Simple Lemma on Greedy Approximation in Hilbert Space and Convergence Rates for Projection Pursuit Regression and Neural Network Training［J］.The Annals of Statistics，1992，20(1):608－613.

［8］嚴勇，李清泉，等.投影尋蹤學習網(wǎng)絡的遙感影像分類［J］.武漢大學學報:信息科學版，2007，32(10):876－879.

［9］李穎，陳興林.投影尋蹤網(wǎng)絡用于光纖陀螺噪聲消除的研究［J］.光子學報，2009，38(1):94－98.