何 睿

（武漢大學(xué)董輔礽經(jīng)濟(jì)社會發(fā)展研究院，武漢 430070）

0 引言

隨著經(jīng)濟(jì)全球化的加速，信用債作為融資的一種重要工具，得到了越來越多的關(guān)注和研究。國內(nèi)信用債發(fā)行市場在逐漸成熟的同時，也逐漸呈現(xiàn)多元化的趨勢。國內(nèi)市場不斷壯大，越來越多的國內(nèi)企業(yè)開始進(jìn)入信用債市場，包括國有企業(yè)、民營企業(yè)等，市場參與者的類別也越來越多樣化。隨著我國債券市場的逐步完善和發(fā)展，預(yù)測債券違約風(fēng)險對于保障投資者的利益和財務(wù)安全具有重要意義。

在既往研究中，國內(nèi)外學(xué)者已經(jīng)開展了大量關(guān)于信用債的研究工作[1—7]。隨著人工智能技術(shù)的發(fā)展，機器學(xué)習(xí)和深度學(xué)習(xí)算法逐漸被應(yīng)用到信用風(fēng)險評估中。Ohlson（1980）[8]運用Logistic 邏輯回歸模型改進(jìn)多元線性判別分析預(yù)測，顯著提升了模型準(zhǔn)確率和穩(wěn)定性。Odom和Sharda（1990）[9]開始運用NN神經(jīng)網(wǎng)絡(luò)模型進(jìn)行違約風(fēng)險預(yù)測，有效解決了非正態(tài)分布、非線性的信用風(fēng)險評估問題。Coats 和Fant（1993）[10]論證了神經(jīng)網(wǎng)絡(luò)模型較多元判別分析模型能更早預(yù)警風(fēng)險。Atiya（2001）[11]綜合應(yīng)用了企業(yè)財務(wù)指標(biāo)和結(jié)構(gòu)模型采用的資本市場價格指標(biāo)作為神經(jīng)網(wǎng)絡(luò)模型的輸入項，進(jìn)一步提升了模型預(yù)測效果。Tkac和Verner（2016）[12]系統(tǒng)概述了1994—2015 年神經(jīng)網(wǎng)絡(luò)模型的商業(yè)應(yīng)用，發(fā)現(xiàn)信用風(fēng)險預(yù)測領(lǐng)域的研究占比最高，且研究數(shù)量在金融危機和歐債危機之后均有增加。吳世農(nóng)和盧賢義（2001）[13]以我國上市公司為研究對象，建立了判別分析、多元回歸分析和Logistic 回歸分析三種違約預(yù)測模型，最終得出Logistic 回歸模型預(yù)測準(zhǔn)確性最高。周敏和王新宇（2002）[14]提出基于模糊優(yōu)選和神經(jīng)網(wǎng)絡(luò)的違約預(yù)警模型,并論證了實現(xiàn)動態(tài)監(jiān)測預(yù)警的有效性。經(jīng)過數(shù)十年的探索，違約風(fēng)險評估模型的輸入變量不斷拓展，涵蓋企業(yè)財務(wù)指標(biāo)、市場價格和評級信息、外部宏觀數(shù)據(jù)等各個維度。在量化技術(shù)方面，深度學(xué)習(xí)算法因其靈活性和高預(yù)測精度，得到了廣泛應(yīng)用。而現(xiàn)有研究將重點放在提高債券違約風(fēng)險預(yù)測精度上，面對深度學(xué)習(xí)模型的“黑箱”問題，忽略了對模型預(yù)測結(jié)果的解釋性研究，在一定程度上限制了深度學(xué)習(xí)模型在債券違約成因剖析和風(fēng)險預(yù)測應(yīng)用方面的作用。

鑒于此，本文通過構(gòu)建銀行間債券市場信用債的知識圖譜，建立了銀行間債券市場信用債的量化分析平臺，通過關(guān)聯(lián)有效數(shù)據(jù)節(jié)點，將銀行間債券市場的各種信息進(jìn)行了整合和表示，然后應(yīng)用圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行違約預(yù)測并加以驗證。本文探索了深度學(xué)習(xí)方法在經(jīng)濟(jì)學(xué)領(lǐng)域的應(yīng)用，為該領(lǐng)域的相關(guān)研究提供了新的思路和方法。

1 R-GCN-BKG模型構(gòu)建

1.1 債券知識圖譜的構(gòu)建及知識表示

（1）構(gòu)建銀行間債券市場信用債知識圖譜

本文基于銀行間債券市場2014 年1 月至2020 年4 月信用債的全量數(shù)據(jù)，構(gòu)建銀行間債券市場信用債知識圖譜，定義債券實體、債券關(guān)系、債券實體屬性，進(jìn)行三元組圖譜構(gòu)建，結(jié)合圖神經(jīng)網(wǎng)絡(luò)進(jìn)行推理與演繹。

首先，定義知識圖譜的數(shù)據(jù)模式。債券知識圖譜中，用節(jié)點來代表債券實體，節(jié)點之間的邊表示實體之間的關(guān)系，且實體間關(guān)系均為有向邊。對于每一組實體對來說，實體與實體之間均為一個有向圖，且均是一個實體指向另外一個實體。本文對債券知識進(jìn)行分析，針對既有的數(shù)據(jù)，從中抽取有意義的實體、實體關(guān)系以及屬性等相關(guān)概念，其中包含債券、發(fā)行人、信用評級機構(gòu)、行業(yè)、省份、票面利率、參與人、申購類型等在內(nèi)的35 個實體，包含承銷關(guān)系、發(fā)行關(guān)系、評級關(guān)系等在內(nèi)的35 個實體關(guān)系，具體如下頁表1所示。

表1 實體以及實體關(guān)系

其次，通過對債券實體、債券實體關(guān)系以及實體屬性的定義，對債券實體、實體間關(guān)系、實體屬性進(jìn)行抽取，將存儲的半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)整合，完成所需知識圖譜構(gòu)建的元素準(zhǔn)備。

最后，選擇原生圖數(shù)據(jù)庫Neo4j進(jìn)行圖數(shù)據(jù)存儲，將處理完畢的信息數(shù)據(jù)進(jìn)行知識圖譜構(gòu)建。通過Neo4j 的圖查詢語言Cypher 進(jìn)行高速檢索數(shù)據(jù)，并以圖的方式展示其查詢的結(jié)果。

（2）債券知識圖譜知識表示學(xué)習(xí)模型

知識表示學(xué)習(xí)主要是將研究對象的相關(guān)信息表示為低維度的向量，其主要針對知識圖譜中實體、關(guān)系及屬性進(jìn)行學(xué)習(xí)，通過建模方式進(jìn)行推理與演繹。

TransE 模型于2013 年提出，解決了多關(guān)系數(shù)據(jù)的問題。在word2vec 啟發(fā)下，利用詞向量表示的平移不變性，對實體和關(guān)系進(jìn)行分布式向量表示，即將三元組利用詞嵌入的方法進(jìn)行翻譯。

算法思想：一個正確的三元組的embedding 會滿足h+r=t。將每一個三元組中的關(guān)系視為從一個實體到另一個實體的翻譯，通過不斷調(diào)整h、r和t（head、relation和tail的向量），使（h+r）盡可能與t相等，即h+r=t。

TransE通過定義距離函數(shù)d(h+r，t)，判斷h+r和t間的距離，應(yīng)用過程中使用L1/L2 范數(shù)。在訓(xùn)練模型過程中，TransE采用最大間隔方法，最小化目標(biāo)函數(shù)，將知識圖譜中的實體、關(guān)系、屬性表示成一個低維的向量。目標(biāo)函數(shù)如下：

其中，S是圖譜中的三元組訓(xùn)練集，S’是隨機生成的負(fù)采樣的三元組。r表示間隔距離參數(shù)，其取值范圍大于0，是超參數(shù)。[x]+ 表示正值，當(dāng)x＞0 時，[x]+=x；當(dāng)x≤0 時，[x]+=0 。

TransE以及TransH假設(shè)實體及實體關(guān)系是屬于同語義空間的向量，類似的實體在相近位置，每個實體涉及不同的關(guān)系。針對同一種關(guān)系，其前后件通過同樣的變換矩陣對應(yīng)到關(guān)系空間，最后，將每個實體或者關(guān)系分別用兩個向量表示，一個用來表示語義，一個用來構(gòu)建矩陣進(jìn)行映射（以下用p代表）。

模型原理：每一個關(guān)系及實體均表示為兩個向量，即h，hp；r，rp；t，tp。其中，h，hp；t，tp∈Rn；r，rp∈Rm。同時設(shè)置兩個映射矩陣Mrh，Mrt∈Rm×n。

具體公式如下：

目標(biāo)函數(shù)如下：

對于（h'，r'，t'）對應(yīng)的實體和關(guān)系有兩種表示，一種是構(gòu)建映射矩陣，另一種是本身的語義表示。實體對h，t的動態(tài)轉(zhuǎn)移矩陣分別由其本身對應(yīng)的映射矩陣以及關(guān)系r的映射矩陣決定，而不是只和關(guān)系r相關(guān)。

實驗結(jié)果如表2、表3和下頁圖1所示，與其他知識表示模型相比，基于TransD 知識表示的學(xué)習(xí)模型在處理債券知識圖譜表示任務(wù)上準(zhǔn)確率較高，其準(zhǔn)確率為73.4%。

圖1 Trans系列知識表示模型實驗對比

表2 Trans系列模型實驗結(jié)果

表3 Trans系列參數(shù)

1.2 基于注意力機制的關(guān)系圖卷積神經(jīng)網(wǎng)絡(luò)的模型構(gòu)建

整體模型網(wǎng)絡(luò)如圖2如示。

圖2 整體模型網(wǎng)絡(luò)圖

（1）符號定義

①有向標(biāo)簽多圖：G=(w，ε，R)；

②節(jié)點（實體）vi∈V，有標(biāo)簽的邊關(guān)系(vi，r，vj)∈ε；

③r∈{1，…，R} =R表示關(guān)系的類型。

（2）關(guān)系圖卷積網(wǎng)絡(luò)R-GCN

R-GCN是針對相鄰信息進(jìn)行聚合的GCN在大規(guī)模關(guān)系數(shù)據(jù)上的擴展。這些GNN的相關(guān)方法都可以理解為一個簡單可微的消息傳遞模型的一個特例：

其中，gm(·，·)形式的傳入消息被聚合并通過元素激活函數(shù)σ(·)傳遞，如ReLU(·) =max(0，·)；Mi代表節(jié)點Vi的傳入消息集，通常選擇為傳入的邊集；gm(·，·)通常選擇一個針對特定消息，類似于神經(jīng)網(wǎng)絡(luò)的函數(shù)或一個線性轉(zhuǎn)換gm(hi，ji)=Whj，這個線性轉(zhuǎn)換有一個權(quán)重矩陣W。

由以上分析為基礎(chǔ)，R-GCN 定義了用于計算在一個關(guān)系多圖中的節(jié)點或?qū)嶓w：

（3）Regularization 規(guī)則化

將公式（8）應(yīng)用在多關(guān)系數(shù)據(jù)的一個核心問題是，圖中關(guān)系的數(shù)量依據(jù)其參數(shù)的數(shù)量進(jìn)行增長。在實際應(yīng)用中容易出現(xiàn)過擬合問題。

為了解決過擬合問題，對R-GCN層進(jìn)行規(guī)則化：基函數(shù)分解和塊對角分解。兩種分解方法都能減少關(guān)系非常多的數(shù)據(jù)（例如現(xiàn)實中的知識庫），從而簡化在訓(xùn)練中需要學(xué)習(xí)的參數(shù)。

①基函數(shù)分解（Basis Decomposition）

②塊對角分解（Block-diagonal Decomposition）

塊對角分解視為關(guān)系類型在權(quán)重矩陣上約束。塊分解結(jié)構(gòu)的核心為隱藏特征分組成變量集，這些變量在組內(nèi)的耦合度較組間耦合度更緊密。對所有的R-GCN模型都采取下面的形式：按公式（9）堆疊L層；輸入層中的任何一個節(jié)點在沒有其他特征的情況下，選擇一個向量作為特征的輸入項；對于塊分解，通過線性轉(zhuǎn)換將簡單的one-hot向量映射到一個稠密的表示；GCN 中使用的就是這種feature_less的方法。

（4）節(jié)點分類

對于節(jié)點（實體）分類任務(wù)，最后一層使用Softmax激活函數(shù)，并在所有有標(biāo)簽的節(jié)點上最小化下面的交叉熵?fù)p失函數(shù)：

其中，y是節(jié)點的索引集合；代表在L層帶有標(biāo)簽的i個節(jié)點的第k個；tik表示ground truth 標(biāo)簽；使用(full-batch)gradient descent。

為了更加充分地表示節(jié)點的特征以及對違約債券影響因素進(jìn)行分析，在R-GCN 模型中引入Attention 機制構(gòu)建模型。

引入Attention 機制將R-GCN 中的A轉(zhuǎn)換為Anew，具體步驟如下：

①圖注意力層的輸入與輸出

圖注意力層的輸入是一個節(jié)點特征向量集：

其中，N為節(jié)點個數(shù)，F(xiàn)為節(jié)點特征的個數(shù)。

每一層的輸出是一個新的節(jié)點特征向量集：

其中，F(xiàn)′表示新的節(jié)點特征向量維度。

②特征提取與注意力機制

經(jīng)過線性變換取得輸出特征，對每一個節(jié)點進(jìn)行矩陣的訓(xùn)練：W∈RF'*F,此權(quán)重為輸入的F個特征與輸出的F'個特征之間的關(guān)系。

針對每個節(jié)點實行自注意力（Self-attention）的注意力機制，注意力系數(shù)（Attention Coefficients）為：

此處a不是一個常數(shù)或矩陣，而是一個函數(shù)。

同時，引入了Softmax函數(shù)對i的相鄰節(jié)點j進(jìn)行正則化操作:

其中，注意力機制a屬于單層的前饋神經(jīng)網(wǎng)絡(luò)，a→i∈R2F'是神經(jīng)網(wǎng)絡(luò)中層之間的權(quán)重矩陣，在該前饋神經(jīng)網(wǎng)絡(luò)的輸出層上還加入了LeakyReLu函數(shù)，這里小于零，斜率為0.2。

由式（14）和式（15），得到注意力機制如下：

其中，||為連接操作（Concatenation Operation），.T為轉(zhuǎn)置。

上述過程如圖3所示。

圖3 注意力機制過程

③輸出特征。通過上述運算得到了正則化后的不同節(jié)點之間的注意力系數(shù)，可以用來預(yù)測每個節(jié)點的輸出特征：

其中，W為與特征相乘的權(quán)重矩陣；a為前面計算得到的注意力相關(guān)系數(shù)；σ為非線性激活函數(shù)；j∈Ni中遍歷的j表示所有與i相鄰的節(jié)點。

④多注意力（Multi-head Attention）。為了穩(wěn)定自注意力（Self-attention）的學(xué)習(xí)過程，采用多注意力（Multi-head Attention）機制，k個獨立注意力機制執(zhí)行公式（3），然后將他們的特征連接起來。采用k平均來替代連接操作，并延遲應(yīng)用最終的非線性函數(shù)（通常為分類問題的Softmax或Logistic Sigmoid），得到最終的公式：

其中，共K個注意力機制需要考慮，k表示K中的第k個；ak表示第k個注意力機制；Wk表示第k個注意力機制下輸入特征進(jìn)行線性變換的權(quán)重矩陣。

2 實驗驗證

2.1 樣本選取及數(shù)據(jù)處理

本文主要選取銀行間債券市場2014 年1 月1 日至2020 年4 月30 日發(fā)行的信用債作為本文的實驗數(shù)據(jù)，保證其納入研究對象的債種類型完備性及實驗樣本數(shù)據(jù)及時性，共計25016 條數(shù)據(jù)，且本文所選取的數(shù)據(jù)是對最新市場環(huán)境下債券發(fā)行的信用利差的研究分析。并對數(shù)據(jù)進(jìn)行如下處理：

（1）數(shù)據(jù)清洗。首先，刪除擔(dān)保描述、資產(chǎn)池名稱等缺失值率超過50%的變量；其次，刪除債券簡稱、發(fā)行人簡稱等重復(fù)相關(guān)性變量；最后，刪除具有缺失值的變量，進(jìn)而保證數(shù)據(jù)的完整性，相關(guān)字段項共計112個變量指標(biāo)，分為債券基本情況、發(fā)債主體情況以及信用評級3個層面指標(biāo)。

（2）負(fù)采樣處理。在實驗過程中，因違約債券發(fā)生的情況較未發(fā)生違約的情況少，存在數(shù)據(jù)不平衡的問題，正負(fù)樣本數(shù)量相差較大，因此本文通過采用SMOTE 算法解決正負(fù)樣本數(shù)量不平衡問題。

SMOTE 算法的核心是增加少數(shù)類數(shù)據(jù)，使正負(fù)數(shù)處于平衡狀態(tài)。針對每一個少數(shù)類樣本，都從最近的一個或多個多數(shù)類和該少數(shù)類樣本的連線中隨機選取一個樣本，形成新的少數(shù)類樣本，計入少數(shù)類樣本集中（見圖4）。

圖4 SMOTE算法思想

算法流程如下：

①針對少數(shù)類樣本a，計算a到其他多數(shù)類樣本的歐氏距離，取最近的k個多數(shù)類數(shù)據(jù)，形成集合{B}。

②根據(jù)正負(fù)樣本的比例N，從集合{B}中隨機選擇若干個樣本，形成新集合，選擇的樣本數(shù)可適當(dāng)根據(jù)實際情況調(diào)整。

③對集合中的每一個樣本分別進(jìn)行如下計算，形成新的樣本，并增添至少數(shù)類樣本集中。

2.2 評價指標(biāo)

為了驗證所提方法的有效性與魯棒性，本文采用分類模型測評方法，采用精確率、召回率、準(zhǔn)確率和F函數(shù)4個標(biāo)準(zhǔn)作為模型的評價指標(biāo)，定義如下：

其中，TP為真正例，實際為正且預(yù)測為正；FP和FN為假反例，實際為正但預(yù)測為負(fù)；TN為真反例，實際為負(fù)且預(yù)測為負(fù)。

2.3 預(yù)測效果分析

為了驗證算法的有效性，本文采取五折交叉驗證，隨機選取實驗數(shù)據(jù)的80%作為訓(xùn)練集進(jìn)行模型的訓(xùn)練，選取剩余的20%作為測試數(shù)據(jù)集，并對訓(xùn)練后的模型進(jìn)行測試和評估，訓(xùn)練之后的模型針對2019 年銀行間債券市場信用債的違約情況進(jìn)行驗證預(yù)測。

本文做了多組對比實驗，實驗結(jié)果見表4。

表4 回歸模型的實驗結(jié)果

由表4 可以看出，R-GCN-BKG 模型在對比實驗中其準(zhǔn)確率、精確率以及召回率均為最高，說明此模型在債券違約預(yù)測任務(wù)上性能較好，對2019 年銀行間債券市場信用債違約情況作出了較為精確的預(yù)測。

2.4 特征分析

我國債券市場違約事件頻發(fā)是多種因素共同作用導(dǎo)致的后果，本文在研究違約債券預(yù)測的基礎(chǔ)上，利用圖注意力神經(jīng)網(wǎng)絡(luò)的特征權(quán)重分配對債項層面本身對違約債券的影響同步進(jìn)行了研究。

實驗結(jié)果表明，發(fā)行人信用評級、注冊地（?。?、所屬行業(yè)、經(jīng)濟(jì)成分等對債券違約具有較大的影響，產(chǎn)權(quán)性質(zhì)、債項評級、發(fā)行人是否為上市公司、企業(yè)規(guī)模、是否有擔(dān)保以及發(fā)行期限、產(chǎn)權(quán)性質(zhì)、經(jīng)濟(jì)成分等特征變量在一定程度上影響債券的違約。具體如下：

（1）“發(fā)行人信用評級”特征變量：發(fā)行人信用評級對債券違約具有一定的影響。一方面，說明國內(nèi)第三方評級結(jié)果能較好地體現(xiàn)債券的信用風(fēng)險；另一方面，也說明債券市場參與者可能對第三方評級的依賴性較強，投資者普遍參考第三方評級結(jié)果作出投資決策，因此債券違約與主體評級呈現(xiàn)高度相關(guān)。

（2）“注冊地”特征變量：發(fā)行主體所在省份是影響債券違約的重要因素，表明地域環(huán)境對發(fā)行主體的償債能力有顯著的影響。

（3）“所屬行業(yè)”特征變量：行業(yè)特有的非系統(tǒng)性風(fēng)險是債券違約影響因素的重要組成部分，發(fā)行人所處的不同行業(yè)決定了不同實體的資本實力、運營能力和償付能力的差異。因此，行業(yè)因素將對債券的違約產(chǎn)生一定的影響。

（4）“經(jīng)濟(jì)成分”特征變量：信用債投資人對債券的流動性較為看重，流動性溢價是信用風(fēng)險溢價的重要組成部分。與民營企業(yè)和外資企業(yè)相比，一般國有企業(yè)的信用風(fēng)險相對較小。因此，發(fā)行人的經(jīng)濟(jì)成分也會對信貸風(fēng)險產(chǎn)生影響。

3 結(jié)束語

債券市場的穩(wěn)定發(fā)展對實體經(jīng)濟(jì)的發(fā)展和金融市場的健康發(fā)展都有著重要的影響。隨著債券市場規(guī)模的迅速擴大和市場參與者的不斷增多，債券市場的信用風(fēng)險也越來越突出。如何有效預(yù)測債券違約風(fēng)險，提高市場風(fēng)險管理水平，已成為債券市場監(jiān)管者和參與者關(guān)注的焦點問題。本文應(yīng)用知識圖譜和深度學(xué)習(xí)方法，基于銀行間債券市場的信用債數(shù)據(jù)構(gòu)建知識圖譜，然后通過圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測，可以更加準(zhǔn)確地識別違約債券，并提高對債券違約風(fēng)險的預(yù)測能力。通過多種深度學(xué)習(xí)模型對比分析，發(fā)現(xiàn)在預(yù)測債券違約概率時，R-GCN-BKG 模型明顯具有更高的預(yù)測準(zhǔn)確度，能更準(zhǔn)確地識別出在未來1年內(nèi)或者2 年內(nèi)可能出現(xiàn)的違約情況，這對于監(jiān)管部門、參與機構(gòu)及投資者而言具有非常重要的意義。而且在數(shù)據(jù)量增大時，模型兼容性更好，召回率更高，該模型可以用于未來債券違約預(yù)測，為系統(tǒng)性風(fēng)險的防控和銀行間債券市場信用債交易提供決策支持。