長樂市發(fā)展和改革局 王燕平

BP 人工神經(jīng)網(wǎng)絡(luò)在信用卡評估中的應(yīng)用

長樂市發(fā)展和改革局 王燕平

隨著經(jīng)濟的不斷發(fā)展，金融業(yè)在經(jīng)濟發(fā)展中發(fā)揮著越來越重要的作用，各商業(yè)銀行的信用卡業(yè)務(wù)也在逐漸增加，對銀行客戶的信用評估是否合理、科學(xué)、準確，關(guān)系著銀行在辦理信用卡過程中承擔風(fēng)險的大小。通過有效的信用評估，可以大大降低銀行承擔的風(fēng)險。該文介紹了人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡寫為ANNs）、誤差反向傳遞神經(jīng)網(wǎng)絡(luò)（簡稱BP人工神經(jīng)網(wǎng)絡(luò)）的網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)訓(xùn)練算法。并使用BP人工神經(jīng)網(wǎng)絡(luò)模型，將來自UCI Machine Learning Repository 網(wǎng)站的三組數(shù)據(jù)輸入到BP人工神經(jīng)網(wǎng)絡(luò)，通過創(chuàng)建不同的隱含層、設(shè)定不同輸入層的神經(jīng)元數(shù)及使用不同的訓(xùn)練方法來得到BP人工神經(jīng)網(wǎng)絡(luò)在信用卡評估的準確率及速度。結(jié)果發(fā)現(xiàn)，BP人工神經(jīng)網(wǎng)絡(luò)對信用卡信息的匹配和篩選具有較為理想的效果，對銀行客戶的信用評估有較好的推薦及參考作用，有利于商業(yè)銀行在對申請信用卡用戶的信用評估，及時減小了在辦理信用卡過程中承擔的風(fēng)險，對金融風(fēng)險的防控也起了重要的作用。

人工神經(jīng)網(wǎng)絡(luò) BP人工神經(jīng)網(wǎng)絡(luò) 信用卡

1 人工神經(jīng)網(wǎng)絡(luò)概述

1.1 人工神經(jīng)網(wǎng)絡(luò)的定義

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡稱ANNs），是在生物學(xué)、心理學(xué)、神經(jīng)學(xué)等現(xiàn)代學(xué)科基礎(chǔ)上研究產(chǎn)生的，是生物神經(jīng)系統(tǒng)對外界事物處理過程的反映，其基本原理是由大量處理單元模擬人類大腦神經(jīng)組織通過廣泛聯(lián)系構(gòu)成的網(wǎng)絡(luò)體系形成的信息處理系統(tǒng)，計算系統(tǒng)具有非線性、自學(xué)性、容錯性等特征，算法數(shù)學(xué)模型對信息進行分布式并行的處理[1]。這種復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)系統(tǒng)通過調(diào)整大量節(jié)點之間相互連接的關(guān)系達到處理信息的目的。雖然單個神經(jīng)元的結(jié)構(gòu)和功能都是簡單和有限的，但多個神經(jīng)元組成的網(wǎng)絡(luò)系統(tǒng)，其行為卻能被表現(xiàn)的豐富多彩[2]。

1.2 神經(jīng)元

1.2.1 生物神經(jīng)元

人類大腦是由大量的神經(jīng)細胞相互連接組合而成的，每個神經(jīng)元也可稱為神經(jīng)細胞，具體結(jié)構(gòu)如圖1所示[3]。神經(jīng)元的主要接受器是樹突，主要用來接受外界信息[4]。軸突是信息傳播的起點，主要用來傳導(dǎo)信息，然后將信息傳到軸突末梢，最后在由軸突末梢與另一個神經(jīng)元的細胞體或者樹突構(gòu)成一種突觸的機構(gòu)，實現(xiàn)神經(jīng)元之間的信息傳遞。興奮與抑制是神經(jīng)元的兩種常規(guī)工作狀態(tài)，神經(jīng)細胞進入興奮狀態(tài)是在細胞膜電位升高超過閾值時出現(xiàn)的，這是由傳入的神經(jīng)沖動引起的，并由軸突輸出；神經(jīng)細胞進入抑制狀態(tài)是傳入的神經(jīng)沖動使細胞膜電位下降低于閾值時出現(xiàn)的，沒有神經(jīng)沖動由軸突輸出。

1.2.2 人工神經(jīng)元

人工神經(jīng)網(wǎng)絡(luò)是利用物理器件來模擬生物神經(jīng)網(wǎng)絡(luò)的某些結(jié)構(gòu)和功能[5]，具體結(jié)構(gòu)如圖2所示。

圖1 生物神經(jīng)元結(jié)構(gòu)

從圖1可見，腦神經(jīng)元由細胞體、樹突和軸突三個部分組成。神經(jīng)元的中心是細胞體，由細胞核、細胞膜等組成。

圖2 人工神經(jīng)元結(jié)構(gòu)

圖 2的人工神經(jīng)元結(jié)構(gòu)是科學(xué)家 W.Pitts和心理學(xué)家McCulloch在1943年講解神經(jīng)元基本特性時提出的，它是現(xiàn)在許多神經(jīng)網(wǎng)絡(luò)模型研究的基礎(chǔ)。其中，wji代表神經(jīng)元i與神經(jīng)元 j之間的連接強度(模擬生物神經(jīng)元之間突觸連接強度)，稱之為連接權(quán)；ui代表神經(jīng)元i的活躍值，即神經(jīng)元狀態(tài)；vi代表神經(jīng)元j的輸出，即是神經(jīng)元i的一個輸入；θi代表神經(jīng)元的閾值。

函數(shù)f表達了神經(jīng)元的輸入輸出特性。

f定義為階跳函數(shù):

人工神經(jīng)網(wǎng)絡(luò)由很多個神經(jīng)元組成, 每個神經(jīng)元只有一個單一輸出，使用并行分布式的數(shù)學(xué)算法來處理接收的信息。人工神經(jīng)網(wǎng)絡(luò)可以連接多個的神經(jīng)元，從而輸出多個連接通路，每一個連接通路都有相對應(yīng)的一個連接權(quán)系數(shù)。

人工神經(jīng)網(wǎng)絡(luò)具有以下特征：（1）每一個結(jié)點有一個狀態(tài)變量xji；（2）結(jié)點i到結(jié)點j有一個連接權(quán)系數(shù)wji；（3）每個結(jié)點有一個閾值 θj；（4）每個結(jié)點定義一個變換函數(shù)最常見的情形為具體算法步驟見本文參考文獻[1]。

2 BP神經(jīng)網(wǎng)絡(luò)概述

2.1 BP神經(jīng)網(wǎng)絡(luò)的定義

BP（Back Propagation）網(wǎng)絡(luò)由McCelland和Rumelhart在1986年首次提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，又稱誤差反向傳遞神經(jīng)網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一，大約有80%的人工神經(jīng)網(wǎng)絡(luò)屬于BP神經(jīng)網(wǎng)絡(luò)[6]。BP神經(jīng)網(wǎng)絡(luò)是通過反饋值不斷調(diào)整節(jié)點之間的連接權(quán)值而形成的一種神經(jīng)網(wǎng)絡(luò)模型。圖3是一個典型的3層BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型，主要包括輸入層、隱含層和輸出層三個層次，但在實際的模型中，隱含層可以根據(jù)具體的實際情況來決定是一層結(jié)構(gòu)還是由多層結(jié)構(gòu)組成。

圖3 3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.2 BP神經(jīng)網(wǎng)絡(luò)的原理

BP網(wǎng)絡(luò)是由輸入層、隱含層和輸出層構(gòu)成的一種多層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，隱含層可以根據(jù)實際情況決定一層或多層[7]。BP神經(jīng)網(wǎng)絡(luò)的層與層之間采取全互連方式連接，其同一層之間不存在相互連接關(guān)系。層與層之間通過工作信號和誤差信號兩種信號在流通，工作信號是輸入和權(quán)值的函數(shù)，是指輸入的信號向前傳播直到在輸出端產(chǎn)生實際的輸出信號。誤差信號也稱為誤差，是從輸出端開始逐層向后傳播，是網(wǎng)絡(luò)實際輸出值與期望輸出值之間的差值。因此，前向計算過程和誤差反向傳播過程兩個過程是BP神經(jīng)網(wǎng)絡(luò)的兩個學(xué)習(xí)過程。前向計算過程是輸入信號傳向輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)，輸入量從輸入層經(jīng)隱含層逐層計算[8]。誤差反向傳播過程是由于輸出層得不到期望的輸出，誤差信號沿原來的連接通路返回，直至到達輸入層再重復(fù)計算，逐次調(diào)整BP神經(jīng)網(wǎng)絡(luò)每層的閾值和權(quán)值。前向計算過程和誤差反向傳播過程兩個過程反復(fù)進行，各層的閾值和權(quán)值不斷被調(diào)整，從而得到網(wǎng)絡(luò)誤差最小或達到我們所預(yù)想的目標時，學(xué)習(xí)過程結(jié)束。具體原理如下：

設(shè)輸入層有n個神經(jīng)元節(jié)點,隱含層有q個神經(jīng)元節(jié)點，輸出層有m個神經(jīng)元節(jié)點。利用該網(wǎng)絡(luò)可實現(xiàn)n維輸入向量Xn=(X1,…,Xn)T到 m 維輸出向量Ym=(Y1,…,Yn)T的非線性映射。輸入層和輸出層的單元數(shù) n、m 根據(jù)具體問題確定，而隱含層單元數(shù) q 的確定尚無成熟的方法，一般可設(shè)定不同的q 值，根據(jù)訓(xùn)練結(jié)果來進行選擇。BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(n、q、m)確定后,神經(jīng)網(wǎng)絡(luò)還包括的參數(shù)有：

wij：輸入層第 i單元到隱含層第 i 單元的權(quán)重，其中i=1,…,n;j=1,…,q。

Wjk：隱含層第 j單元到輸出層第 k單元的權(quán)重,其中j=1,…,n;k=1,…,m。

θj：隱含層第 j 單元的激活閾值，j=1,…,q。

θk：輸出層第 k 單元的激活閾值，k=1,…,m。

以上閾值和權(quán)重的初值是在網(wǎng)絡(luò)訓(xùn)練之前隨機生成。

f(x)：激活函數(shù)一般采用非線性 Sigmoid 型,即 f(x)=1/ [1+exp(-x)]。具體算法步驟見本文參考文獻[9]。

3 BP神經(jīng)網(wǎng)絡(luò)用于信用卡的申請

BP神經(jīng)網(wǎng)絡(luò)從輸入層到輸出層可以實現(xiàn)任意的非線性映射，可以解決線性模型不能解決的問題，可以通過對已知的信用數(shù)據(jù)進行學(xué)習(xí)，調(diào)整模型結(jié)構(gòu)，產(chǎn)生能夠預(yù)測客戶信用數(shù)據(jù)的模型。

3.1 樣本選取

由于商業(yè)銀行信用卡用戶信息屬于商業(yè)秘密，不易獲取，因此本文選取了來自UCI Machine Learning Repository 網(wǎng)站的Credit Approval Data、Iris Data、Tic-Tac-Toe Endgame Data的三組數(shù)據(jù)作為訓(xùn)練樣本①～③。

Credit Approval Data一共包含690組數(shù)據(jù)，每組數(shù)據(jù)根據(jù)信用卡用戶的不同特性包含15個分類；Iris Data一共包含150組數(shù)據(jù)，4個分類； Tic-Tac-Toe Endgame Data一共包含958組數(shù)據(jù)，9個分類。

3.2 運行環(huán)境

HP lap top, DV9518TX, CPU: Intel Core 2, 2.00 GHz, 4 GB RAM, Windows 7 Ultimate.

3.3 實證分析

為測試 BP人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的速度及準備性，本文主要通過創(chuàng)建不同的隱含層、設(shè)定不同輸入層的神經(jīng)元數(shù)及使用不同的訓(xùn)練方法（Cross Validation：交叉驗證、Data Randomized隨機抽?。?6%為訓(xùn)練、34%為測試））來得到BP人工神經(jīng)網(wǎng)絡(luò)的準確率及速度。

在Credit Approval Dataset 訓(xùn)練中，一共包括12組訓(xùn)練，前4組使用10-fold Cross Validation方法進行訓(xùn)練，后8組通過Data Randomized方法進行訓(xùn)練，輸入層的神經(jīng)元數(shù)為15，輸出層的神經(jīng)元數(shù)為1，前8組設(shè)置一個隱含層，后4組設(shè)置 2個隱含層。從表 1看，訓(xùn)練結(jié)果最好的一組成功率為65.81%，是使用Data Randomized方法（66%為訓(xùn)練、34%為測試），2個隱含層，第一個隱含層的神經(jīng)元數(shù)為6個，第二個隱含層的神經(jīng)元數(shù)為2個，訓(xùn)練時間大約為2s。

表1 Credit Approval Dataset訓(xùn)練結(jié)果

表2 Iris Dataset訓(xùn)練結(jié)果

在Iris Dataset訓(xùn)練中，一共包括12組訓(xùn)練，前4組使用10-fold Cross Validation方法進行訓(xùn)練，后8組通過Data Randomized方法進行訓(xùn)練，輸入層的神經(jīng)元數(shù)為4，輸出層的神經(jīng)元數(shù)為1，前8組設(shè)置一個隱含層，后4組設(shè)置2個隱含層。從表 2的數(shù)據(jù)看，訓(xùn)練結(jié)果最好的一組成功率為77.33%，使用Data Randomized方法（66%為訓(xùn)練、34%為測試），2個隱含層，第一個隱含層的神經(jīng)元數(shù)為28個，第二個隱含層的神經(jīng)元數(shù)為5個，訓(xùn)練時間大約為16s。

在Tic-Tac-Toe Endgame Dataset訓(xùn)練中，一共包括12組訓(xùn)練，前4組使用10-fold Cross Validation方法進行訓(xùn)練，后8組通過Data Randomized方法進行訓(xùn)練，輸入層的神經(jīng)元數(shù)為9，輸出層的神經(jīng)元數(shù)為1，前8組設(shè)置一個隱含層，后4組設(shè)置2個隱含層。從表3的數(shù)據(jù)看，成功率最高為65.34%，一個隱含層和兩個隱含層的訓(xùn)練結(jié)果多數(shù)相同，然而成功率最低的一組訓(xùn)練為59.17%，使用Cross Validation方法，1個隱含層，第一個隱含層的神經(jīng)元數(shù)為23個，訓(xùn)練時間大約為95s。

表3 Tic-Tac-Toe Endgame Dataset 訓(xùn)練結(jié)果

4 結(jié)論與展望

綜上所述，Data Randomized方法（66%為訓(xùn)練、34%為測試）的成功率多數(shù)高于使用Cross Validation方法進行BP人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，數(shù)據(jù)庫較多的訓(xùn)練較慢于數(shù)據(jù)庫較少的訓(xùn)練，使用Cross Validation方法的訓(xùn)練時間多數(shù)大于Data Randomized方法。BP人工神經(jīng)網(wǎng)絡(luò)對信用卡信息的匹配和篩選具有較為理想的效果，對銀行客戶的信用評估有較好的推薦及參考作用，有利于商業(yè)銀行在對申請信用卡用戶的信用評估，及時減小了在辦理信用卡過程中承擔的風(fēng)險，對金融風(fēng)險的防控也起了重要的作用，但仍要與信用客戶的其他審核條件相結(jié)合，對申請信用卡用戶進行全面管理。

同時，本論文仍存在許多不足的地方，一方面是BP人工神經(jīng)網(wǎng)絡(luò)對銀行客戶的信用評估具有一定的復(fù)雜性，程序編寫較為耗時繁瑣，這是復(fù)雜性體現(xiàn)的主要原因之一；另一方面，本文僅僅選取了UCI Machine Learning Repository 網(wǎng)站的樣本數(shù)據(jù)進行研究分析，缺乏廣泛性。再一方面，受到外界環(huán)境和客戶的類型等因素的影響，本論文的測試結(jié)果存在一定的偏差，只能為商業(yè)銀行在信用卡信息評估過程中提供一些想法和思路。

在后續(xù)研究中，建議從加大數(shù)據(jù)庫的容量，增加隱含層的層數(shù)，繼續(xù)對 BP神經(jīng)網(wǎng)絡(luò)的研究，同時增加對循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，簡寫為RNNs）和高階神經(jīng)網(wǎng)絡(luò)（Higher Order Neural Networks，簡寫為HONNs）兩者的研究，將三者結(jié)合起來，充分利用三者的優(yōu)點，從而獲得更強大的學(xué)習(xí)能力和解決實際問題能力的神經(jīng)網(wǎng)絡(luò)模型。

注釋：

①Credit Approval Data Set，見 http://archive.ics.uci.edu/ml/datasets/Statlog+ (Australian+Credit+Approval)

②Iris Data Set，見http://archive.ics.uci.edu/ml/datasets/Iris

③Tic-Tac-Toe Endgame Data Set，見http://archive.ics.uci.edu/ml/datasets/Tic-Tac-Toe+Endgame

[1] 蔡自興, 劉麗玨, 蔡競峰, 等. 人工智能及其應(yīng)用[M]. 北京: 清華大學(xué)出版社，2016.

[2] George A. Rovithakis, Athanassios G. Malamos, Theodora Varvarigou, et al. Quality Assurance in Networks[C]. Proceedings of the 37th IEEE Conference on Decision & Control Tampa, Florida USA, 1998: 1599-1604.

[3] Hardier, G. Back-Propagation Neural Networks for Ship-Modeling and Control[C]. Eleventh Ship Control System Symposium. Published by Computational Mechanics Publications, 1997: 39-62.

[4] 雷·庫茲韋爾. How to create a mind 人工智能的未來[M]. 杭州：浙江人民出版社，2016.

[5] Knowles A., Lisboa P.G.J., Hussain A., et al. Back-Propagation Neural Networks with Bayesian Confidence Measure for the Prediction of the EUR/USD Exchange Rate[C]. Artificial Neural Networks for Economics and Business, IGI Global, 2011: 48-59.

[6] Chen Y H, Jiang Y L, Xu J X. Dynamic Properties and a New Learning Mechanism in Back Propagation Neural Networks[J]. Neurocomputing, 2013(50): 17-30.

[7] Minati L. Rapid Generation of Biexponential and Diffusional Kurtosis Maps using Back-Propagation Neural Networks: a Preliminary Experience. Short Communication, Magn Reson Mater Phy, 2008: 299–305.

[8] Aitkin M, Foxall R. Statistical Modelling of Artificial Neural Networks using the Back-Propagation[J]. Statistics and Computing, 2009: 227–239.

[9] 韓力群. 人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計及應(yīng)用[M]. 北京: 化學(xué)工業(yè)出版社, 2002.