明 志，鄭山紅，李萬龍，蔣美英

(長春工業(yè)大學(xué) 計算機科學(xué)與工程學(xué)院， 吉林 長春 130102)

0 引 言

近些年，信貸業(yè)務(wù)日益增長，伴隨著互聯(lián)網(wǎng)金融迅速發(fā)展，網(wǎng)絡(luò)小額貸款逐步出現(xiàn)在大眾視野，給信貸機構(gòu)帶來巨額利益的同時，也迎來了空前的風(fēng)險挑戰(zhàn)。中國人民銀行發(fā)布的《中國金融穩(wěn)定報告(2021)》中顯示，截至2020年末，金融機構(gòu)不良貸款余額3.47萬億元，同比增加2 816億元，不良貸款率1.92%，同比上升0.06個百分點。研究表明，除了違約還款，提前還款行為也會產(chǎn)生金融風(fēng)險，如再投資風(fēng)險、利潤下降風(fēng)險等[1]。因此，合理追蹤金融數(shù)據(jù)，對借款人的還款行為預(yù)測變得越來越重要。

隨著互聯(lián)網(wǎng)金融的迅速發(fā)展，傳統(tǒng)的金融模型已經(jīng)不能滿足對客戶還款行為的預(yù)測，從而越來越多的機器學(xué)習(xí)模型被提出應(yīng)用于借貸風(fēng)險的預(yù)測與評估中，并表現(xiàn)出較好的精度。陳濤等[2]為提高資金利用率，構(gòu)建基于SVM的提前還款風(fēng)險預(yù)測模型，對資金調(diào)配起到了積極作用;金靜松[3]使用決策樹算法對按期還款、提前還款和違約還款等借款人行為進行預(yù)測，并且通過M5P算法對分類正確的提前還款行為預(yù)測其還款周期；楊劍翀[4]構(gòu)建基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)模型，從而對借貸風(fēng)險進行評估；Bastani K等[5]借鑒谷歌商店推薦系統(tǒng)的Wide&Deep模型提出一種新方法，對客戶是否會發(fā)生違約還款進行預(yù)測；王雨帥[6]構(gòu)建基于CNN的違約風(fēng)險判別模型，可以很好地識別潛在發(fā)生違約行為的客戶；王重仁等[7]為提高個人信用風(fēng)險評估準(zhǔn)確性，提出融入注意力機制的LSTM-CNN融合模型，通過對比實驗表現(xiàn)出模型的有效性。

殘差神經(jīng)網(wǎng)絡(luò)(Residual neural network，ResNet)[8]被提出,用以解決網(wǎng)絡(luò)深度增加時發(fā)生性能退化問題，在圖像處理、語音識別等領(lǐng)域表現(xiàn)出極大的優(yōu)越性，但是，很少有研究將殘差網(wǎng)絡(luò)應(yīng)用在信貸領(lǐng)域上。鑒于殘差網(wǎng)絡(luò)可以克服因?qū)訑?shù)過多導(dǎo)致的網(wǎng)絡(luò)訓(xùn)練飽和等問題，因此，文中將ResNet應(yīng)用于客戶還款行為預(yù)測中，對提前還款、違約還款和正常還款三個還款行為進行預(yù)測。針對互聯(lián)網(wǎng)金融數(shù)據(jù)特點，在原始ResNet基礎(chǔ)上增加特征融合層，在每一個殘差塊的輸出特征合并到特征融合層之前融入通道注意力機制，并使用GAP層代替全連接層。最后，設(shè)置對比實驗，使用拍拍貸數(shù)據(jù)集進行模型優(yōu)越性的驗證。通過以上分析，文中提出模型可以更好地對客戶還款行為進行預(yù)測，為金融機構(gòu)抵御風(fēng)險提出一種新方法。

1 殘差神經(jīng)網(wǎng)絡(luò)基本原理

隨著數(shù)據(jù)量增多和特征的復(fù)雜度提升，網(wǎng)絡(luò)模型深度需不斷增加，當(dāng)模型有更深的網(wǎng)絡(luò)時,理論上可以取得更好的結(jié)果。實驗發(fā)現(xiàn)，更深的網(wǎng)絡(luò)其性能可能會出現(xiàn)退化問題，因此，He K等[8]提出ResNet，其跳躍連接可以有效緩解信息在網(wǎng)絡(luò)傳遞過程中的損耗，在不增加復(fù)雜度的基礎(chǔ)上使模型有更強的表達能力。

1.1 殘差單元

ResNet的基本構(gòu)建塊是殘差單元，殘差單元由卷積層、批處理歸一化層(Batch Normalization, BN)[9]和Rule激活函數(shù)組成。經(jīng)過第l個殘差單元后的輸出為

xl+1=f(xl+F(xl,Wl))，

(1)

式中：F(xl,Wl)----殘差函數(shù);

Wl----權(quán)重;

f(·)----非線性激活函數(shù)Relu;

xl----輸入;

xl+1----輸出。

xl與F(xl,Wl)的維度必須相同，如果不同，則需要通過映射使兩者維度一致。另外，殘差函數(shù)的形式有多種，輸入數(shù)據(jù)經(jīng)過一個堆疊兩層卷積網(wǎng)絡(luò)的殘差函數(shù)依次經(jīng)過卷積層、BN層、Relu、卷積層、BN層，當(dāng)構(gòu)建深度極大的網(wǎng)絡(luò)時，需堆疊三層卷積網(wǎng)絡(luò)以減少模型復(fù)雜度，加快訓(xùn)練速度。

1.2 殘差神經(jīng)網(wǎng)絡(luò)整體框架

殘差神經(jīng)網(wǎng)絡(luò)由多個殘差單元堆疊而構(gòu)建，殘差神經(jīng)網(wǎng)絡(luò)被提出以來，有多個版本的改進，包括從網(wǎng)絡(luò)連接結(jié)構(gòu)、殘差單元結(jié)構(gòu)等角度根據(jù)不同學(xué)習(xí)任務(wù)進行調(diào)整。深度殘差網(wǎng)絡(luò)將輸入數(shù)據(jù)依次送入卷積層、BN層、Relu、最大池化層，然后輸入到多個殘差單元中，再經(jīng)過平均池化層和全連接層，最后進行分類得到預(yù)測結(jié)果。

2 改進ResNet的客戶還款行為預(yù)測模型

文中針對互聯(lián)網(wǎng)金融數(shù)據(jù)噪聲大、特征提取困難以及ResNet網(wǎng)絡(luò)結(jié)構(gòu)等特點，提出基于改進ResNet的客戶還款行為預(yù)測模型。由于ResNet能夠更充分利用信息，有效地對信息進行傳遞，可以提取更豐富的特征以進行分類預(yù)測，因此，文中選擇ResNet18作為預(yù)測模型的基礎(chǔ)，并針對現(xiàn)有問題進行改進，模型整體框架如圖1所示。

圖1 改進的深度殘差網(wǎng)絡(luò)整體框架

在原始ResNet的基礎(chǔ)上，首先，把每一個殘差塊(Residual block)的輸出單元輸入到過渡層(Transition layer)，然后,融合通道注意力機制(SE block)以獲得各個通道的權(quán)重，自適應(yīng)調(diào)節(jié)各通道的特征響應(yīng)值。再后，將獲得通道權(quán)重的各殘差塊輸出特征合并到特征融合層(Feature fusion layer)。最后，為了降低參數(shù)數(shù)量，使用GAP層代替全連接層，將池化后的特征向量輸入到softmax函數(shù)進行分類，最終得到用戶還款行為預(yù)測結(jié)果。

2.1 特征融合

針對以下兩個問題對ResNet算法進行改進。隨著金融業(yè)的興起，互聯(lián)網(wǎng)金融數(shù)據(jù)量逐步增多，用戶特征錯綜復(fù)雜，特征提取困難；另外，ResNet會進行多個卷積操作，輸入向量經(jīng)過不同的殘差塊后會輸出不同大小和個數(shù)的特征圖，不同特征圖有不同的特征表示，原始的RseNet僅根據(jù)最后一層網(wǎng)絡(luò)的最終輸出特征進行分類預(yù)測，丟棄了淺層網(wǎng)絡(luò)提取的特征，而不同的特征表示對客戶還款行為預(yù)測有不同的作用。因此，融合淺層和深層特征后再進行分類，可以獲得更好的預(yù)測效果。

通過上述研究與分析，提出增加特征融合層的深度殘差網(wǎng)絡(luò)模型，網(wǎng)絡(luò)整體框架如圖2所示。

將淺層特征與深層特征相融合，進行多特征融合映射以對客戶還款行為預(yù)測。在原始ResNet的基礎(chǔ)上，首先，把每一個殘差塊的輸出單元輸入到過渡層，過渡層由池化層和卷積層組成，先進行最大池化以減少參數(shù)個數(shù)，再經(jīng)過1×1卷積改變特征圖的個數(shù)，目的是增加特征表達能力,并保持各個殘差塊輸出的特征圖個數(shù)一致。然后將每個殘差塊經(jīng)過過渡層映射后的特征合并到特征融合層，特征融合層表明對向量進行拼接，設(shè)第i個殘差塊經(jīng)過過渡層后的輸出為oi，那么特征融合層的計算公式為

o=o1⊕o2⊕o3⊕o4，

(2)

式中:⊕----向量拼接。

圖2 增加特征融合層模型框架

2.2 融入通道注意力機制

受注意力機制應(yīng)用在其他領(lǐng)域的啟發(fā)[10-11]，將每一個殘差塊的輸出特征經(jīng)過渡層處理后，融入通道注意力機制再合并到特征融合層，抑制無關(guān)信息干擾，保留更重要的目標(biāo)特征信息，進一步提升該模型應(yīng)用于客戶還款行為預(yù)測的效果。

注意力機制是借鑒了人類視覺注意力的思想，將注意力放在更重要的目標(biāo)上，其中，Squeeze-and-Excitation block(SE block)[12]核心思想是通過GAP獲取網(wǎng)絡(luò)的通道統(tǒng)計信息，考慮到泛化因素，設(shè)置了兩個非線性全連接層對通道統(tǒng)計信息進行門機制操作，獲取對各個通道的依賴程度。根據(jù)權(quán)重值的不同對各個通道值進行調(diào)整，增強有效信息的表達能力并抑制無效信息，以增強空間編碼能力來訓(xùn)練模型，從而達到較好的預(yù)測效果。SE block結(jié)構(gòu)如圖3所示。

圖3 Squeeze-and-Excitation block(SE block)

圖中，?表示元素對應(yīng)相乘，Reduction ratio為下降率，目的是減少參數(shù)量。

通道權(quán)重為

W=σ(D2(δ(D1(GAP(x)))))，

(3)

式中：x----輸入特征向量;

GAP----全局平均池化;

δ(·)----relu激活函數(shù);

σ(·)----sigmoid激活函數(shù);

D1,D2----全連接層。

因此，文中在各殘差塊進行特征融合前引入了通道注意力機制，從通道間的依賴關(guān)系進行建模，從增強空間維度編碼能力的角度抑制無用信息以提升模型效果。

2.3 全局平均池化

原始ResNet提取特征后，分類時使用的是全連接層，但是全連接層會使模型變得復(fù)雜臃腫，生成大量參數(shù)，不易于訓(xùn)練，訓(xùn)練速度降低也容易產(chǎn)生過擬合現(xiàn)象。文中提出的模型進行了多特征融合，網(wǎng)絡(luò)參數(shù)增多，計算量大，防止模型泛化能力減弱，因此采用GAP層[13]代替原始ResNet的全連接層，減少復(fù)雜度，提升分類預(yù)測的魯棒性。

GAP即對每一個通道的所有像素值進行平均計算。GAP不僅可以降低模型訓(xùn)練復(fù)雜度、防止過擬合現(xiàn)象發(fā)生，還可以有效整合空間信息，剔除全連接黑箱操作。因此，文中使用GAP代替原始網(wǎng)絡(luò)的全連接層，從而減小模型復(fù)雜度，提升模型訓(xùn)練速度與泛化能力。

3 實驗設(shè)計

3.1 數(shù)據(jù)來源與處理

數(shù)據(jù)來源為第二屆魔鏡杯數(shù)據(jù)應(yīng)用大賽。對數(shù)據(jù)進行如下處理：保留標(biāo)簽為逾期還款、提前還款和正常還款的樣本；對重復(fù)的貸款id進行去重處理，對相同的貸款id只保留最后一次出現(xiàn)的樣本；刪除貸款后才會產(chǎn)生的相關(guān)信息，如剩余本金、剩余利息等特征。進行數(shù)據(jù)處理后，共有70 773個樣本，包含借款金額、借款期限、借款利率、初始評級、性別等共計20個特征，違約還款所占比例為11.34%，提前還款所占比例為28.52%，按照7∶2∶1的比例劃分訓(xùn)練集、驗證集和測試集。

3.2 實驗流程

文中提出的模型流程如圖4所示。

圖4 客戶還款行為預(yù)測流程

首先將拍拍貸數(shù)據(jù)集分為訓(xùn)練集、測試集和驗證集；然后把訓(xùn)練集作為輸入數(shù)據(jù)對模型進行訓(xùn)練，直到滿足最大迭代次數(shù)，得到訓(xùn)練好的最優(yōu)網(wǎng)絡(luò)模型；最后，將測試集輸入到訓(xùn)練好的網(wǎng)絡(luò)模型中，對預(yù)測結(jié)果與真實類別進行比較，從而評估驗證該模型的優(yōu)越性。

3.3 實驗設(shè)置

實驗的運行環(huán)境是i5處理器，ios操作系統(tǒng)，CPU服務(wù)器，8 G內(nèi)存；采用Keras深度學(xué)習(xí)框架，Jupyter notebook編譯軟件，python語言進行實驗建模。文中提出的預(yù)測模型在訓(xùn)練過程中，batch采用256；Adam優(yōu)化算法[14]，初始學(xué)習(xí)率設(shè)置為0.000 1，動量參數(shù)設(shè)置為0.95，權(quán)重衰減設(shè)置為 0.000 01；采用交叉熵損失函數(shù)；其余參數(shù)設(shè)置見表1。

表1 模型參數(shù)

3.4 實驗結(jié)果與分析

為了驗證模型的有效性，實驗選擇對比實驗為ResNet、CNN、DT、SVM、LR、KNN。選取Accurary(準(zhǔn)確率)、F1-score(F1值)、AUC(ROC曲線下面積)為評價指標(biāo),綜合性地驗證模型效果是否提升。由于文中進行多分類預(yù)測，且樣本標(biāo)簽不均衡，因此選用Macro average規(guī)則計算F1值和AUC。

實驗結(jié)果見表2。

表2 實驗結(jié)果 %

改進的ResNet模型和原始ResNet模型應(yīng)用于還款行為預(yù)測的ROC曲線如圖5所示。

圖5 ROC曲線

實驗結(jié)果表明，其他模型可能在某一個指標(biāo)上有較好的效果，但很難平衡所有評價指標(biāo)均可以穩(wěn)定在同一水平。對比發(fā)現(xiàn)，改進的ResNet模型在可以保持預(yù)測精度最高的同時，仍然保持最高的F1分數(shù)和AUC，各個評價指標(biāo)從多角度證明了文中提出模型的優(yōu)越性與可行性。深度學(xué)習(xí)模型可以學(xué)習(xí)更加復(fù)雜的函數(shù)表示，并且提高模型的泛化能力，解決過擬合問題[15]，通過對結(jié)果分析，大部分深度學(xué)習(xí)模型的各個指標(biāo)均優(yōu)于機器學(xué)習(xí)算法，表明深度學(xué)習(xí)方法可以更好地提取復(fù)雜的金融特征以進行分類預(yù)測。另外，由于ResNet有較深的網(wǎng)絡(luò)，可以更好地捕捉特征之間的非線性關(guān)系，并進行跳躍連接進行殘差學(xué)習(xí)，有效解決了深層網(wǎng)絡(luò)容易產(chǎn)生梯度消失的問題，因此，其預(yù)測性能優(yōu)于傳統(tǒng)的CNN擬合方法。但是，ResNet模型沒有考慮到多特征融合及各個通道向量值對預(yù)測結(jié)果的影響，因此，文中提出的預(yù)測模型在進行特征融合和融入通道注意力后應(yīng)用于客戶還款行為預(yù)測中，表現(xiàn)出較好的效果和較高的精度，總體性能均優(yōu)于其他對比方法。與所有模型進行對比，改進的ResNet模型在Accurary指標(biāo)上平均提升7.84%，在F1指標(biāo)上平均提升3.39%，在AUC指標(biāo)上平均提升1.84%。

4 結(jié) 語

針對互聯(lián)網(wǎng)金融數(shù)據(jù)噪聲多、數(shù)據(jù)量大及已存在模型的缺陷，在原始ResNet增加特征融合層，將淺層網(wǎng)絡(luò)與深層網(wǎng)絡(luò)進行特征融合，并融入通道注意力機制抑制無效特征，最后使用全局平均池化防止過擬合、降低計算量。文中提出的改進ResNet預(yù)測模型在緩解信息網(wǎng)絡(luò)傳播過程中丟失與損耗的同時，將網(wǎng)絡(luò)集中在對客戶還款行為預(yù)測任務(wù)更重要的特征上，通過實驗表明了該模型的優(yōu)越性與有效性，證明該方法在客戶還款行為預(yù)測的有效性和可行性。在真實的信貸數(shù)據(jù)中，數(shù)據(jù)量往往更大，數(shù)據(jù)特征具有多樣性，如何從復(fù)雜的特征中提取有效特征進行網(wǎng)絡(luò)小額貸款客戶還款行為的預(yù)測是進一步研究方向。