摘" 要： 為了提高信用債違約預測的準確性和穩(wěn)定性，便于金融風險管理，以2014年1月1日—2021年12月31日的信用債為研究對象，提出一種基于多目標優(yōu)化的加權軟投票集成算法。該算法通過計算每個基分類器的模糊密度來量化其識別能力，并使用多目標粒子群算法來求解基分類器的權重。將所提算法與其他單一分類器如支持向量機、邏輯回歸、高斯貝葉斯、MLP，以及其他集成算法如投票類集成算法（voting）和stacking算法進行比較，采用期望PFI算法進行特征重要度分析。結果表明，加權軟投票集成算法在信用債違約預測中表現(xiàn)出色，不僅提升了單一算法的性能，且相對于其他集成算法，具有更高的準確性、精確度和AUC值。違約前主體評級、交易所、違約前債項評級、總資產(chǎn)周轉(zhuǎn)率、貨幣資金、凈資產(chǎn)增長率、經(jīng)營活動現(xiàn)金流量占營收比、GDP、PPI、注冊地、短期國債利率、宏觀經(jīng)濟景氣指數(shù)（先行指數(shù)）、債券類型和所屬行業(yè)的特征重要度較高，在信用債違約中值得關注。該研究可為金融風險預測提供一種有效方法，對于投資者和金融機構的風險預警具有重要參考意義。

關鍵詞： 金融風險管理； 信用債違約預警； 加權軟投票集成算法； 多目標優(yōu)化； 模糊密度； 期望PFI算法

中圖分類號： TN911.1?34； TP18" " " " " " " " " "文獻標識碼： A" " " " " " " " " " "文章編號： 1004?373X（2024）08?0043?06

Research on credit bond default warning based on multi objective optimization weighted soft voting integration algorithm

ZHENG Yixin， WANG Chongren

（Shandong University of Finance and Economics， Jinan 250002， China）

Abstract： In order to enhance the accuracy and stability of credit bond default prediction for the purpose of financial risk management， a multi?objective optimized weighted soft voting ensemble algorithm is proposed by taking the credit bonds （January 1， 2014， to December 31， 2021） as the object of study. In this algorithm， the recognition capability of each base classifier is quantified by calculating their fuzzy densities， and the multi?objective particle swarm optimization algorithm is used to slove the weights of the base classifiers. In comparison with other individual classifiers such as support vector machine， logistic regression， Gaussian naive bayes， multi?layer perceptron （MLP）， as well as other ensemble algorithms like voting and stacking， feature importance analysis is conducted by means of the expected permutation feature importance （PFI） algorithm. The results indicate that the weighted soft voting ensemble algorithm exhibits outstanding performance in credit bond default prediction. It not only enhances the performance of individual algorithms but also demonstrates higher accuracy， precision， and AUC values compared to other ensemble algorithms. Features with higher importance in credit bond default prediction include the issuer's credit rating， exchange， bond rating prior to default， total asset turnover ratio， monetary funds， net asset growth rate， operating cash flow as a percentage of revenue， GDP， PPI， registered location， short?term government bond interest rates， leading economic indicators， bond type， and industry sector. This research can provide an effective approach for financial risk prediction， offering valuable insights for investors and financial institutions in the risk warning.

Keywords： financial risk management; credit bond default warning; weighted soft voting ensemble algorithm; multi objective optimization; fuzzy density; expected PFI algorithm

0" 引" 言

信用債作為我國企業(yè)直接融資的重要工具，在維持實體經(jīng)濟的健康發(fā)展，解決企業(yè)融資難、融資貴等方面發(fā)揮著重要作用。自2014年“11超日債”首支信用債違約以來，信用債違約預警一直是學術界共同關注的研究熱點。鄭煜和吳世農(nóng)使用Fisher模型與Logistic模型，基于財務信息和非財務信息預測信用債違約，發(fā)現(xiàn)Logistic模型整體判別效果優(yōu)于Fisher模型[1]；周榮喜等通過Xgboost算法構建信用債違約預警模型，可較好地識別我國信用債風險[2]；Jiang等在U?MIDAS logistic回歸框架中加入群組LASSO懲罰項，得到的U?MIDAS?Logit?GL模型成功地預測了中國大陸上市公司的違約情況[3]；A. Nazemi等使用逆高斯回歸、隨機森林、稀疏冪期望傳播和支持向量回歸，可預測違約公司債券的追償率的時間點[4]。另外，還有很多研究通過選擇集成模型來提升整體預測性能。O. V. Chukwudi等以樸素貝葉斯和支持向量機來構建加權投票集成分類模型[5]，該模型的性能精度優(yōu)于原始模型；B. C. Kim構建了包含6個眾所周知的卷積神經(jīng)網(wǎng)絡模型的軟投票集成分類器，在測試集的分類表現(xiàn)出98.13%的準確率[6]。劉曉等以隨機森林算法、梯度提升決策樹算法與貝葉斯算法作為基分類器進行stacking融合，并和其他單層集成算法如隨機森林、GBDT進行比較[7]，得出雙重集成stacking相對底層的單次集成總體精確度提升了1%～8%。stacking集成算法還可以從多模型集成的角度提高預測性能[8]，如丁嵐等采用Logistic回歸、決策樹和支持向量機作為基分類器，以支持向量機作為次級學習器，構建一個stacking集成框架用于違約風險評估模型，其預測性能優(yōu)于單一學習器[9]。

stacking和voting可用于異質(zhì)集成算法，然而在信用債違約預測中，更多文獻偏向選擇stacking進行模型集成。為了探索voting集成在信用債違約領域的應用，本文建立一種軟投票（soft?voting）集成算法，在各個分類器模糊密度的基礎上確定各個分類器的權重，建立一種基于多目標優(yōu)化的加權軟投票集成算法來預測中國信用債違約，并對該模型進行特征重要性分析。

1" 相關理論

1.1" 加權軟投票集成算法

假定一個空間S存在有M個不同類別的樣本x，即[S=C1?C2?…?CM]，其中[Cm]表示第m類，[1≤m≤M]；且有K個基分類器[e1，e2，…，eK]，基分類器[ek]對樣本x分類類別為m的后驗概率為[pkm（x），1≤k≤K，1≤m≤M]。[ωk]為分類器[ek]的權重，在加權軟投票集成算法中，樣本x被預測為類別m的概率[Pm（x）]公式如下：

[Pm（x）=k=1Kωkpkm（x）]" " " " " " " （1）

每個樣本選擇具有最高加權投票概率的類別作為最終分類決策，公式如下：

[E（x）=maxjPj（x），" 1≤j≤M] （2）

1.2" 權重的確定

在預測樣本x時，基分類器[ek]的混淆矩陣公式為：

[CMk=nk11nk12…nk1Mnk21nk22…nk2M????nkM1nkM2…nkMM]" " " " " "（3）

式中：[nkij（1≤i≤M，1≤j≤M）]表示基分類器[ek]把類別i預測為類別j的樣本數(shù)量。

由K個不同的基分類器可得K個混淆矩陣[CM1]，[CM2]，[…]，[CMK]。為了綜合評估不同分類器在不同類別上識別的準確性以及不同類別之間的關聯(lián)性，Ren等引入模糊密度，使用模糊積分理論計算基分類器[ek]的模糊密度[10]，公式如下：

[gkm=1M-1n=1，n≠mM1-nknml=1Mnknlnkmml=1Mnkml] （4）

式中：[nkmml=1Mnkml]表示類別m被基分類器[ek]正確識別的比例；[nknml=1Mnknl]表示類別m被基分類器[ek]錯誤識別的比例。[nkmml=1Mnkml]越大則[nknml=1Mnknl]越?。籟gkm]數(shù)值越大，表明基分類器[ek]的識別能力越強。

基分類器[ek]識別M個類別的模糊密度向量為：[Gk=（gk1，gk2，…，gkM）]，其平均值為：[μk=1Mm=1Mgkm]，方差為：[S2k=1M-1m=1M（gkm-μk）2]，而以基分類器加權軟投票集成的平均值為：[μ=k=1Kωkμk]，又因各個基分類器對同一數(shù)據(jù)集進行擬合，因此方差為[S2=k=1Kω2kS2k+k=1Kωk（μk-μ）2]。[μ]越大，說明該算法的模糊密度均值越大，模型的識別能力越強；[S2]越小，說明該算法的模糊密度越平穩(wěn)，模型的識別能力越穩(wěn)定。

因此，在對樣本進行預測時，構建以權重和為1的約束條件，具有加權軟投票集成算法的模糊密度均值最大化和方差最小化的多目標優(yōu)化模型，并選擇多目標粒子群優(yōu)化算法（MOPSO）對最優(yōu)權重進行求解。

1.3" 權重的求解

本文使用多目標粒子群優(yōu)化算法獲得最優(yōu)基分類器權重，具體步驟如下：

1） 初始化：每個粒子代表基分類器一個可能的權重組合，每個粒子都有一個位置（權重向量）、速度、個體最優(yōu)位置及其對應的目標函數(shù)值，歸檔用于存儲迭代過程中找到的非支配解。

2） 評估：構建適應度函數(shù)，計算每個粒子的[μ]和[S2]數(shù)值。

3） 非支配排序：通過非支配排序方法將歸檔中的解和當前的粒子群合并在一起，然后根據(jù)粒子之間的支配關系將它們劃分為不同的前沿。在這個過程中，根據(jù)粒子之間的支配關系將粒子分為多個等級，每個等級對應一個前沿，且其中的粒子不會被其他前沿中的粒子支配。

4） 更新歸檔：基于非支配排序的結果，更新歸檔以包括當前的非支配解，如果歸檔的大小超過粒子的數(shù)量，將其修剪至粒子數(shù)量。

5） 更新速度和位置：每個粒子的速度和位置都是根據(jù)其個體最優(yōu)位置和從歸檔中隨機選擇的一個位置（作為全局最優(yōu)位置）來更新的，此更新確保權重向量的總和為1，這是通過歸一化位置向量來實現(xiàn)的。

6） 迭代：重復步驟2）～步驟5），直至達到預定的最大迭代次數(shù)。

7） 輸出：歸檔中的解被認為是問題的Pareto前沿。

1.4" 特征重要性分析

令本文的特征空間為X，是否違約的目標空間為y，[h：X→y]是一組模型，從一組觀測到的數(shù)據(jù)點[z=（x，y）∈X×y]中學習得出。[D={1，2，…，d}]為特征索引的集合，樣本x表示為：[x=（x（i）：i∈D）∈X]，設一組特征集合為S，[Sj]表示特征j的集合，其補集為[Sj]，其中[j∈D]。假設從未知隨機變量[（X，Y）]的聯(lián)合分布中抽取N個觀測值，[PS]表示S中特征的邊際分布，令[zn=（xn，yn）]，[Zn=（Xn，Yn）～i.i.dP（X，Y）]，[zn]來自[Zn]，[x（S）n]來自[X（S）n～i.i.dPS]，樣本[n=1，2，…，N]。特征重要性是指一組特征S對于模型h的相關性。為了量化特征重要性，PFI（Permutation Feature Importance）算法的關鍵思想是比較模型僅使用[S]中的特征與使用[D=S?S]中的所有特征時的性能，即移除重要特征會大幅降低模型的性能。模型的性能或風險是基于歐氏范數(shù)度量，即[E（X，Y）h（X）-Y]，對于特征集合S和模型h，常見方法是將被邊緣化的風險與模型固有風險[11]進行比較，公式如下：

[?（S）（h）=E（X，Y）[fS（X（S），Y）]-E（X，Y）h（X）-Y] （5）

在邊際分布[PS]被邊緣化的風險中，[fS（X（S），Y）=EX～～PSh（x（S），X）-y]。在給定觀測值[（x1，y1），（x2y2），…，（xN，yN）]中，[?（S）（h）]的經(jīng)驗估計表示如下：

[?（S）φ=1Nn=1Nλ（S）（xn，xφ（n），yn）]" "（6）

式中：[φ]表示采樣策略的實現(xiàn)，[φ∈?N]。該策略決定每個觀察值都應該用于近似[X（S）]，并且[λ（S）（xn，xm，yn）=h（x（S）n，x（S）m）-yn-h（xn）-yn]。

PFI算法嘗試用排列來測試特征j的重要性，即[?（S）φ]的估計值[12]如下：

[?（Sj）=NN-11Mm=1M?Sjφm≈NN-1Eφ[?Sjφ]] （7）

式中：[φ1，φ2，…，φm～i.i.dunif（?N）]。但PFI算法依賴隨機排列的采樣進行平均來估計特征重要性，篩選出的特征依賴排列[13]。本文為了減少隨機性的影響，引入期望PFI，通過對所有排列的采樣進行平均來估計特征重要性并篩選出重要特征，公式為：

[?（Sj）=NN-1Eφ～unif（?N）[?（Sj）φ]]" " " " "（8）

2" 研究設計

2.1" 數(shù)據(jù)準備

數(shù)據(jù)來源是wind終端。選擇從2014年1月1日—2021年12月31日的違約信用債作為違約樣本，對于同一主體發(fā)行的不同信用債認定為不同樣本，共計1 067支

信用債。其中，60.12%的信用債主體評級在B級及以下，62.71%的信用債債項評級在B級及以下，69.61%違約信用債由民營企業(yè)發(fā)行，44.75%的違約信用債的交易所是在銀行間，34.05%的交易所是在上海交易所，18.86%的交易所是在深圳交易所，違約信用債種類主要是私募債（255支）、一般公司債（249支）和一般中期票據(jù)（246支）。為確保所選信用債在觀察周期（2014年1月1日—2021年12月31日）內(nèi)不會發(fā)生違約，在2021年12月31日之前到期的信用債之間進行選擇，并依據(jù)所屬行業(yè)和資產(chǎn)規(guī)模，按照1∶2的配對比例為違約信用債選擇匹配樣本作為對照組。部分信用債主體信息不完整，需要從樣本中剔除，最終確定違約信用債769支，對照組987支信用債用于本文研究。

2.2" 指標選擇

從宏觀指標、債項指標和財務指標三個方面篩選構建信用債違約風險的指標體系。宏觀指標參考文獻[14]中的選擇；債項指標和財務指標除了考慮現(xiàn)金流質(zhì)量、短期償債能力、長期償債能力、營運能力、盈利能力和發(fā)展分析等6個方面，還將根據(jù)指標的屬性分為定量指標和類別指標[15?16]。類別指標按照標簽編碼方案，將每個類別映射到數(shù)值。

為了消除不同單位和方差對結果的影響，進行歸一化處理，并進行上下1%的縮尾處理剔除異常值，通過顯著性、相關性和多重共線性檢驗，最終篩選出33個指標，其中定量指標27個，定性指標6個，具體如表1所示。

2.3" 實驗描述

選擇預測性能較好的單一算法邏輯回歸、支持向量機、高斯貝葉斯和MLP作為基分類器，每個算法的參數(shù)取值如表2所示。

以我國信用債為研究對象，基于信用債違約風險預警指標體系構建模型，比較異質(zhì)集成算法的stacking算法、voting（soft）和voting（hard）算法的預測性能，并采用期望PFI算法對效果最好的算法進行可解釋分析。使用多目標粒子群優(yōu)化算法求解基分類器權重的參數(shù)設置參考Cura[17]的處理：設粒子數(shù)為24，最大迭代數(shù)為260。為了避免陷入局部最優(yōu)，在迭代后期降低慣性權重和學習因子，使算法在接近Pareto最優(yōu)前沿時更穩(wěn)定地收斂；然后，根據(jù)粒子所處環(huán)境調(diào)整學習因子和慣性權重[18?19]，其中，慣性權重的取值在0.4～0.9之間，學習因子的取值在1.4～2之間。實驗所用主機CPU型號為Intel[?] CoreTM i5?8250U CPU，主頻為1.6 GHz，內(nèi)存為8 GB，主要使用的庫為sklearn。

3" 實驗結果與分析

3.1" 評價標準

因為本文違約樣本和非違約樣本在數(shù)量上存在不平衡，所以模型的預測分類評價指標選擇accuracy、precision、recall、F1和AUC，以降低數(shù)據(jù)分布不均的影響，更有效地反映模型預測性能。各指標公式如下：

[accuracy=TP+TNTP+FP+TN+FN] （9）

[precision=TPTP+FP]" （10）

[recall=TPTP+FN]" （11）

[F1=TPTP+FN+FP2]" （12）

[AUC=01TPTP+FNdFPFP+TN] （13）

式中參數(shù)的混淆矩陣定義如表3所示。

3.2" 實驗結果及分析

不同算法在信用債數(shù)據(jù)集上的預測結果比較如表4所示。

由表4可知，在單一算法中，邏輯回歸的表現(xiàn)最佳，其accuracy、recall、F1和AUC數(shù)值都在0.8～0.9之間。高斯貝葉斯、MLP和支持向量機在處理不平衡信用債數(shù)據(jù)集時，有明顯缺陷。高斯貝葉斯算法雖然recall數(shù)值高達0.915 4，但是剩下指標的取值均小于0.7；MLP的各個指標取值均在0.5～0.75之間；支持向量機只有recall超過0.7，其他指標均低于0.7。總體來說，邏輯回歸相對平衡，MLP表現(xiàn)不穩(wěn)定，支持向量機和高斯貝葉斯偏向于高召回率。在以4個單一算法為基分類器的異質(zhì)集成算法中，投票集成算法給單一算法帶來預測性能上的提升大于stacking集成算法，其中性能最好的是加權軟投票集成算法，其次是硬投票集成算法。

與投票類集成算法相比，雖然stacking常用于異質(zhì)集成且性能強大，但存在以下問題：

1） stacking包括多個模型的級聯(lián)，其較高的精確度和較低的召回率可能表明模型存在過擬合的風險，但投票類集成算法通常不會引入額外的復雜性，可以減少過擬合的風險。

2） stacking的性能可能對基分類器的選擇和配置非常敏感，不同的基分類器組合可能導致不同的性能結果，這使得stacking更加不穩(wěn)定；而投票類集成算法通常不會依賴于單個模型的性能，而是綜合利用多個模型的輸出，這樣不太容易受到單個模型選擇和配置的影響，因此對模型的選擇和配置不太敏感。

3） 本文的信用債數(shù)據(jù)集為不平衡數(shù)據(jù)集，違約類別的樣本數(shù)量少于非違約類別的樣本數(shù)量，stacking的recall數(shù)值為0.316 9，說明stacking在處理不平衡數(shù)據(jù)集時，容易對違約類別的正樣本預測能力不足，但投票類集成方法直接對多個基分類器的預測結果進行投票，通常不需要在元分類器層面上進行復雜的決策，所以在處理不平衡數(shù)據(jù)時表現(xiàn)更好。

為了增強模型的可解釋性，引入期望PFI算法對加權軟投票集成算法進行特征重要性分析，以識別可能對信用風險產(chǎn)生較大影響的特征。期望PFI篩選出的重要指標及其重要性如表5所示，在信用債違約中值得關注。

4" 結" 語

本文以2014年1月1日—2021年12月31日的信用債為研究對象，設計一種基于多目標優(yōu)化的加權軟投票集成算法來預測信用債違約，旨在提高信用債違約預測的準確性和穩(wěn)定性。通過在軟投票集成算法中引入權重并很好地利用各個基分類器的優(yōu)勢，在模糊密度均值最大化和方差最小化的多目標優(yōu)化框架下獲得性能更好的預測模型。實驗結果表明，加權軟投票集成算法在信用債違約預測中表現(xiàn)出色，相對于傳統(tǒng)的單一分類器和其他集成算法，取得了更高的準確率、精確度和AUC。這表明該算法對于解決信用債違約預測中的不平衡分布問題具有顯著優(yōu)勢，不僅在正確區(qū)別違約和非違約樣本方面表現(xiàn)出色，還在正類別預測方面有顯著提高，并且通過期望PFI算法篩選出值得關注的指標，這對于金融領域的風險管理具有重要意義。

盡管本文提出的加權軟投票集成算法在信用債預測中相較于其他算法性能上有很大提升，但仍有需要改進的地方：首先本文在確定權重時使用的是多目標粒子群算法，還可以研究其他權重學習策略，例如基于梯度的方法或進化算法，以進一步提高模型的性能；其次，本文算法依賴樣本的模糊密度來分配權重，這可能對數(shù)據(jù)分布的小變化非常敏感，故需要研究如何提高算法的魯棒性，以適應不同類型的數(shù)據(jù)；最后，本文所選擇的信用債數(shù)據(jù)是時變的，可以考慮構建動態(tài)更新的集成模型，以適應新的數(shù)據(jù)模式和趨勢。綜上所述，本研究為信用債違約預測提供了一種有效的集成算法，并為金融風險管理提供了科學依據(jù)。希望在今后的研究中，可以進一步探索集成算法尤其是軟投票集成算法的性能，以提高信用債違約預測的準確性，給金融違約風險預警提供更可靠的參考。

注：本文通訊作者為王重仁。

參考文獻

[1] 鄭煜，吳世農(nóng).基于財務信息和非財務信息的債券違約預警模型研究：Fisher模型與Logistic模型的實證分析與應用[J].財會月刊，2023，44（12）：22?29.

[2] 周榮喜，彭航，李欣宇，等.基于XGBoost算法的信用債違約預測模型[J].債券，2019（10）：61?68．

[3] JIANG C X， XIONG W， XU Q F. Predicting default of listed companies in mainland China via U?MIDAS Logit model with group lasso penalty [J]. Finance research letters， 2020（12）： 101487.

[4] NAZEMI A， BAUMANN F， FABOZZI F J. Intertemporal defaulted bond recoveries prediction via machine learning [J]. European journal of operational research， 2021， 297： 1162?1177.

[5] CHUKWUDI V O， FIONA A O. Enhancing the weighted voting ensemble algorithm for tuberculosis predictive diagnosis [J]. Scientific reports， 2021， 11（1）： 1?10.

[6] KIM B C， KIM H C， HANS H， et al. Inspection of underwater hull surface condition using the soft voting ensemble of the transfer?learned models [J]. Sensors， 2022， 22（12）： 1?17.

[7] 劉曉，周榮喜，李玉茹.基于Stacking算法集成的我國信用債違約預測[J].運籌與管理，2023，32（3）：163?170.

[8] JIANG M Q， LIU J P， ZHANG L， et al. An improved stacking framework for stock index prediction by leveraging tree?based ensemble models and deep learning algorithms [J]. Physica a： statistical mechanics and its applications， 2020， 541： 122272.

[9] 丁嵐，駱品亮.基于Stacking集成策略的P2P網(wǎng)貸違約風險預警研究[J].投資研究，2017，36（4）：41?54.

[10] REN F J， LI Y Q， HU M. Multi?classifier ensemble based on dynamic weights [J]. Multimedia tools and applications， 2018， 77（16）： 21083?21107.

[11] COVERT I C， LUNDBERG S， LEE S I. Understanding global feature contributions with additive importance measures [C]// NIPS'20： Proceedings of the 34th International Conference on Neural Information Processing Systems. [S.l.]： ACM， 2020， 17212?17223.

[12] FISHER A， RUDIN C， DOMINICI F. All models are wrong， but many are useful： learning a variable’s importance by studying an entire class of prediction models simultaneously [J]. Journal of machine learning research， 2019， 20（177）： 1?81.

[13] FUMAGALLI F， MUSCHALIK M， HüLLERMEIER， E， et al. Incremental permutation feature importance （iPFI）： towards online explanations on data streams [EB/OL]. [2023?04?02]. https：//arxiv.org/pdf/2303.09331.pdf.

[14] 王滿，張苗苗.考慮高維宏觀信息的波動率與股票價格預測[J].統(tǒng)計與決策，2022，38（20）：138?143.

[15] 龐春潮，羅苑瑋.基于投資者視角的信用類債券違約風險預警[J].統(tǒng)計與決策，2023，39（2）：152?157.

[16] 蔣敏，周煒，史濟川，等.基于fsQCA的上市企業(yè)債券違約影響因素研究[J].管理學報，2021，18（7）：1076?1085.

[17] CURA T. Particle swarm optimization approach to portfolio optimization [J]. Nonlinear analysis： real world applications， 2009， 10（1）： 2396?2406.

[18] 李翼，張本慧，郭宇燕.改進粒子群算法優(yōu)化下的Lasso?Lssvm預測模型[J].統(tǒng)計與決策，2021，37（13）：45?49.

[19] EBERHART R C， SHI Y H. Particle swarm optimization： developments， applications and resources [C]// Proceedings of the 2001 Congress on Evolutionary Computation. Seoul， South Korea： IEEE， 2001： 81?86.

作者簡介：鄭怡昕（1997—），女，安徽人，碩士研究生，研究方向為違約風險預測、機器學習。

王重仁（1984—），男，山東日照人，博士，副教授，研究方向為機器學習。