陳輝遠,姜慜喆,馮家興
(1.武漢理工大學 安全科學與應急管理學院,湖北 武漢 430070;2.華中科技大學 管理學院,湖北 武漢 430070)
改革開放以來,我國社會主義市場經濟飛速發(fā)展,市場環(huán)境日新月異,各個行業(yè)的競爭日益激烈,對公司而言,決策稍有不慎就會陷入財務困境。財務困境是指企業(yè)現金流量不足以補償現有債務的情況,是導致企業(yè)出現生存危機的重要因素。公司財務困境不僅給公司股東與利益相關者帶來直接損失,如果大量上市公司同時出現財務困境,也會影響金融市場的發(fā)展,進而整個經濟環(huán)境會遭受巨大的沖擊。因此,在財務困境出現之前就對公司發(fā)出預警,使公司能夠及時應對或者規(guī)避可能發(fā)生的財務風險,對公司風險管理具有重要意義[1]。
目前的財務困境預警研究主要集中在指標選取和模型優(yōu)化這兩個緯度,在指標選取方面,傳統(tǒng)的判定指標僅包含了財務指標,但近年研究表明,一些非財務因素同樣會影響公司財務的穩(wěn)定性[2]。在模型優(yōu)化方面,以往的研究通常使用統(tǒng)計學分析方法,但統(tǒng)計學方法依賴于限制性假設,存在一定的局限性。隨著信息技術的發(fā)展,機器學習已成為目前財務困境模型構建的主流方法。
在樣本選取方面,以往的大多數研究是基于平衡數據集進行預測,即將財務困境公司和財務正常公司的比例設置為1∶1。但上市公司財務困境預警問題是一個典型的非平衡問題,因為財務困境公司的數量要遠遠小于財務正常公司的數量,極可能導致構建的模型不能全面地反映真實的公司財務困境情況。石曉軍等[3]研究發(fā)現,當選擇少數類和多數類樣本比例達到1∶3時,模型泛化性能最強。故筆者按照1∶3的比例選取財務困境公司與財務正常公司,以提高財務困境預警結果的真實性。
目前的研究大多致力于提升不同機器學習模型的準確性,較少研究不同非平衡數據集對模型預測的影響。基于此,筆者對比分析在平衡數據集與非平衡數據集下多種單分類器模型與集成分類器模型的表現,選出更適用于財務困境預警指標體系的模型構建方式,提高上市公司對財務困境的預警能力。
傳統(tǒng)的財務困境預警指標大多使用財務指標,其可以反映企業(yè)生產經營的過程和成果,主要包含償債能力指標、運營能力指標、盈利能力指標和發(fā)展能力指標等。但由于財務指標主要來自財務報表資料,屬于定量指標,大多數不包含影響企業(yè)長期競爭優(yōu)勢的因素,如企業(yè)內部治理結構等定性指標。由于目前的會計制度采取權責發(fā)生制的基本原則,公司內部人員可以通過這一制度虛構某些交易事項,實現對財務數據的操控,這在一定程度上影響了財務數據的真實性。因此筆者引入非財務指標完善財務預警指標體系,如TANG等[4]將公司管理指標引入財務困境預警指標體系中,綜合考慮了董事會結構、股權結構、內部控制信息和審計意見等方面的信息,研究表明在財務困境指標體系中納入管理指標能夠提高模型的準確性。
在模型優(yōu)化方面,現有的模型分析方法主要分為兩大門類,即統(tǒng)計學分析方法和機器學習方法。統(tǒng)計學方法主要包括判別分析(DA)、邏輯回歸(Logistic)以及因子分析(FA)等,其中運用的最廣泛的就是Logistic回歸法,如宋鵬等[5]綜合考慮財務、現金流和公司治理指標,建立基于Logistic回歸的中小企業(yè)財務困境預警模型。但隨著公司規(guī)模的擴大,傳統(tǒng)的統(tǒng)計學方法已經不能很好地處理財務困境預警模型[6],且統(tǒng)計學模型依賴于限制性假設,如需服從正態(tài)分布、具有獨立性和線性關系,這些都限制了統(tǒng)計學模型在財務困境預警方面的有效性和適用性。
隨著人工智能技術的發(fā)展,機器學習在財務困境預警模型優(yōu)化財務方面取得了很好表現。集成算法是一種新的機器學習范式,它將多個基分類器結合起來解決同一個問題,并使用某種特定的規(guī)則整合各個基分類器的輸出結果,往往可以獲得比單個分類器更好的學習效果,顯著地提高學習系統(tǒng)的泛化能力。2004年,謝紀剛等[7]首次將集成分類器應用于上市公司財務困境預警研究,以決策樹和神經網絡為子分類器,從實驗上證實了集成分類器在提高財務困境預警準確性方面的有效性。集成算法按照個體學習器之間的關系,可以分為Bagging、Boosting、Stacking三大類。Bagging是基于自助采樣法獲取隨機樣本集進行訓練的不同的基學習器,然后對不同的基學習器得到的結果投票得出最終的分類結果。CHOI等[8]提出了基于投票的集成算法,預測建筑行業(yè)承包商在預測點兩年前和三年前是否會發(fā)生財務困境,幫助業(yè)主避免項目期間因財務困境造成的損失。Boosting通過反復學習得到一系列弱分類器,以及把弱學習器組合提升為強學習器的過程。SUE等[9]構建DT、LR以及SVM三個基分類器,分別使用Bagging和Boosting的方法集成這3種分類器,結果表明,Bagging-DT和Boosting-DT在財務困境預警方面具有更高的準確度。Stacking是將測試集和預測集用所有訓練好的基模型對整個測試集或者訓練集進行預測,最后基于新的訓練集或測試集進行訓練或預測的過程。KIM等[10]利用Stacking算法集成SVM、NN和DT三個模型,調查1988年至2010年間美國酒店公司財務困境的主導因素,提高了預測方法的性能和準確性。
因此,筆者提出基于集成算法的財務困境預警模型,結合財務指標和非財務指標,利用合成少數類過采樣技術(SMOTE)處理非平衡數據,采取遺傳算法提取有效特征,通過構建多個單分類器和集成分類器來預測財務困境,為上市公司建立財務困境預警機制提供經驗。
財務困境預警模型的研究中,國外研究大多依據企業(yè)是否破產[11]來對財務困境進行分類。在國內,由于破產或者退市上市公司數量較少,因此一般采用是否被特殊處理(ST)作為企業(yè)陷入財務困境的標志[12]。根據中國證券上市交易規(guī)則,財務狀況和其他財務狀況異常的上市公司將被指定為ST公司,其中異常主要有兩個原因:①上市公司經審計連續(xù)兩年的凈利潤均為負值;②近一年經審計的每股凈資產低于股票面值。這意味著預測上市公司近兩年的財務困境情況意義不大,因此筆者將ST公司首次被ST年度前3~5年的數據帶入運算,充分發(fā)揮它的預警功能。
筆者利用財務指標以及管理指標搭建財務困境預警指標體系,使用7種常見的機器學習算法構建上市公司財務困境預警模型,框架如圖1所示??傮w可分為3步:數據獲取、數據預處理和特征工程及模型構建。從國泰安數據庫(CSMAR)和中國研究數據服務平臺(CNRDS)中獲取所需的財務指標與管理指標,將其分別儲存在T-3數據集、T-4數據集和T-5數據集中。再利用SMOTE過采樣技術對非平衡數據集進行處理,使用遺傳算法進行特征選擇,最后通過模型評估指標判斷模型性能。
圖1 財務困境預警研究框架
筆者選擇了271家在2012—2020年被首次列為ST的上市公司,其中2012—2020年的ST公司數量分別為20、14、26、21、26、24、28、48、64,并按照“行業(yè)相同,資產規(guī)模相近”的原則選擇與之相匹配的健康樣本。由于被列為ST的公司僅占中國上市公司的小部分,健康公司與ST公司在數量上具有明顯的不平衡性,故按照1∶3的比例選取了2012—2020年的813個健康公司作為對照樣本。實驗所需的財務指標和管理指標分別從CSMAR和CNRDS獲得。
2.1.1 財務指標選取
財務指標是最能反映財務狀況和經營成果的相對指標,但不是所有的財務指標對財務困境預警都有用。筆者在已有研究的基礎上,從盈利能力、償債能力、比率結構、營運能力、發(fā)展能力和每股指標6個方面通過CSMAR數據庫收集了55個財務指標,如表1所示。此外,筆者使用ST公司首次ST年度前3年、前4年和前5年的指標來進行財務困境預測,即如果1個公司在2020年首次成為ST公司,將獲取該公司2017年(T-3)、2016(T-4)和2015年(T-5)的所有相關指標。獲得的數據分別存儲在T-3、T-4和T-5數據集中。
表1 財務指標
2.1.2 公司管理指標
由于我國外部企業(yè)治理尚未完善和成熟,上警方市公司的內部治理結構同樣也是財務困境發(fā)生的重要影響因素[13]。筆者從董事會結構、股權結構、內部控制信息和審計信息4個方面收集了14個公司管理指標,如表2所示。
表2 管理指標
首先對3個原始樣本集中的缺失值用每列數據的均值進行填補,并對變量進行歸一化處理。由于采取1∶3的比例選取對照健康公司樣本,數據具有明顯的不平衡性,如果直接運用該數據集進行建模,預測時很可能會偏向多數類的健康公司,使模型性能大打折扣。筆者選取SMOTE算法對預處理后的三個樣本集進行均衡化處理,SMOTE算法即合成少數類過采樣技術,是基于隨機過采樣算法的一種改進方案,其基本思想為對少數類樣本進行分析,并將少數類樣本人工合成新樣本添加到數據集中,得到T-3 SMOTE、T-4 SMOTE和T-5 SMOTE共3個新樣本集。
近年來,許多研究表明機器學習算法的效果容易受不相關和冗余特征的負面影響,進行特征選擇不僅可以減少訓練時間,剔除冗余特征,同時可以增強模型泛化能力,防止過擬合。特征選擇方法可以被大致分為3類:filter法,wrapper法以及混合算法。LIANG等[14]通過實驗對比了多種特征選擇方法對財務困境預警的影響,發(fā)現基于wrapper法的遺傳算法在處理財務困境問題時具有優(yōu)越的性能。遺傳算法具有良好的全局搜索能力,當其用作特征選擇的搜索策略時,可以在考慮分類準確率的同時兼顧特征子集的目標函數,從而獲得更好的分類性能。此外,LIU等[15]通過基于遺傳算法的Bagging模型分析2005—2014年中國上市公司財務指標,為公司財務風險管理提供有效的支撐,再次驗證了遺傳算法在財務困境預面的優(yōu)越性。綜上,筆者基于遺傳算法對T-3、T-3 SMOTE、T-4、T-4 SMOTE、T-5和T-5 SMOTE共6個樣本集進行特征選擇。
筆者對比分析了3種單分類器以及4種集成分類器在財務困境預警方面的預測性能,3種單分類器分別是決策樹(DT)、邏輯回歸(LR)、SVM,4種集成分類器分別是隨機森林(RF)、Adaboost、BaggingSVM以及梯度提升樹(GBDT)。
2.3.1 單分類器
決策樹(DT)是一種非參數的有監(jiān)督學習方法,它能夠從一系列有特征和標簽的數據中總結出決策規(guī)則,并用樹狀圖結構來呈現這些規(guī)則,其中根節(jié)點和每個內部節(jié)點都表示1個特征值的測試,每個葉字節(jié)點代表1種類別標簽,具有模型復雜度低、可解釋性高等多種優(yōu)點。邏輯回歸(LR)是一種名為“回歸”的線性分類器,其本質是由線性回歸變化而來的,被廣泛應用于二分類問題中的廣義回歸算法,由于邏輯回歸在線性問題上表現良好,并且訓練速度較快,因此被廣泛地應用在金融領域。SVM模型通過在數據空間中找出一個超平面作為決策邊界來對數據進行分類,并使分類誤差盡量小來找到全局最優(yōu)解,能夠很好地解決高維數據的非線性分類問題,使得該模型在各類研究中被廣泛利用。
2.3.2 集成分類器
筆者使用的4種集成算法分別屬于Bagging法(隨機森林、BaggingSVM)和Boosting法(Adaboost、GBDT)。Bagging法通過有放回抽樣從原始樣本集中抽取n個訓練樣本,通過k輪抽取獲得k個相互獨立的訓練集,按照平均或多數投票方法來組裝基分類器的分類結果。隨機森林和BaggingSVM分別以決策樹和SVM作為基分類器,集成所有的分類投票結果,將投票次數最多的類別指定為最終輸出。該方法可以降低噪聲對分類效果的影響,提高分類效果的準確性。Boosting法的主要思想是將弱分類器整合成一個強分類器,Adaboost通過加權多數表決的方式將弱分類器進行線性組合,在減少錯誤率高的分類器的權重的同時增加錯誤率小的分類器的權重。而GBDT則通過擬合殘差的方式逐步減小殘差,將每一步生成的模型組合得到最終的模型。Bagging法和Boosting法都是將弱分類器組裝成強分類器的算法,但由于Bagging法選取的是獨立同分布的訓練集來訓練基分類器,而Boosting訓練集的每一次選擇的訓練集都根據上一次學習的錯誤率結果取樣,因此Boosting法的分類精度在大多數數據集中要優(yōu)于Bagging法。
選擇合適的模型評估指標對判斷不同模型的效果具有重要的意義,在面對非平衡數據集的時候,需要尋找捕獲少數類的能力和將多數類判錯后所付出的成本進行平衡,因此筆者選取混淆矩陣和AUC曲線作為模型的評估指標。
混淆矩陣中包含4個參數,分別為真陽性(TP)、真陰性(TN)、假陽性(FP)以及假陰性(FN)。在財務困境預警模型中,財務困境企業(yè)被定義為陽性樣本,財務健康企業(yè)被定義為陰性樣本。筆者基于混淆矩陣選擇了4個表示類別性能的評估指標:準確率、精確度、召回率和F值。
準確率(Accuracy)是所有預測正確的樣本占總樣本的比重,從整體判斷模型的分配效果,如式(1)所示。
(1)
精確度(Precision)表示所有被預測為正確的樣本占全部預測為正確的樣本的比例,是多數類判錯后所需付出成本的衡量。如式(2)所示。
(2)
召回率(Recall)表示所有預測為正確的樣本占實際的正確樣本比例。召回率越高,代表選出真正的財務困境樣本就越多。如式(3)所示。
(3)
召回率和精確度是此消彼長的,為了同時兼顧兩者,引入F值作為考量精度和召回率平衡的綜合性指標。如式(4)所示。
(4)
AUC (Area Under Curve) 被定義為ROC曲線下的面積,ROC曲線是以假正率和假負率為軸的曲線,所以AUC表示預測為正的概率比預測為負的概率高的可能性。AUC的取值范圍一般在0.5和1之間,當AUC大于0.9時,則模型表現優(yōu)異。
筆者采取遺傳算法對SMOTE處理前后的T-3、T-4、T-5數據集進行特征選擇,特征選擇結果如表3所示。在T-3、T-3 SMOTE、T-4、T-4 SMOTE、T-5和T-5 SMOTE 數據集中分別選擇了32、41、32、41、36和33個指標,其中,T-3數據集和T-4數據集在經過均衡化處理后,選取指標的數量有明顯提升,而T-5數據集則沒有太大變化。從指標選取的總體情況來看,6個數據集平均選取了29.3個財務指標,占55個財務指標的53.27%;選取了6.5個管理指標,占14個管理指標的42.85%。財務指標的選取比例要略高于管理指標,故財務指標在指標選取中具有更明顯的價值。在29.3財務指標中,平均選取了10個盈利能力指標,4.2個償債能力指標,2.2個比率結構指標,5.3個運營能力指標,2.8個發(fā)展能力指標和4.8個每股指標,在每個細分指標總數中的占比分別為66.67%、42%、44%、48.18%、46.66%以及60%,由此可見盈利能力指標在財務指標中是貢獻最突出的指標。同理分析管理指標,董事會結構、股權結構、內部控制信息和審計意見分別選取了2.7個、1.2個、1.8個和0.8個,在每個細分指標總數中的占比為0.54、0.4、0.45和0.4,可得出董事會結構為管理指標中貢獻最突出的指標。
表3 遺傳算法特征選擇結果
筆者根據遺傳算法特征選取結果,得出了不同模型在各個數據集上的評估指標。如表4、表5所示。
表4 準確率、AUC值評估效果
表5 精度、召回率和F值評估效果
表4是不同模型在準確率和AUC曲線上的表現,其中每個數都是十次交叉驗證后的平均值,每個數據集下模型的最大值以粗體表示。傳統(tǒng)的模型評估中準確率表現優(yōu)異,但在面對非平衡數據集時,準確率會使模型嚴重偏向占比更多的類別,無法正確地評估多數類樣本和少數類樣本的錯分代價,導致模型的預測效果嚴重失真。經過SMOTE技術對非平衡數據集進行處理后,AUC值得到了明顯提高。在非平衡數據集中,無論是僅考慮財務指標還是綜合考慮財務指標及管理指標,均為T-3年度表現最優(yōu),其中F1(T-3)為86.96%,F1+F2(T-3)為88.47%,然后是T-5年度和T-4年度。但在平衡數據集中,T-5年度有著最高的AUC值,F1(T-5 SMOTE)為94.88%,高于F1(T-3 SMOTE)和F1(T-4 SMOTE)。SMOTE在處理低維數據F2時能顯著地提升模型效果,平均提升值為15%。由此可見,進行SMOTE處理不僅對模型性能有大幅度提升,同時能夠實現在更長的時間區(qū)間上進行財務預警。在進行非平衡數據集處理前后的3個時間跨度中,RF和GBDT在F1和F1+F2內都取得了優(yōu)異的性能。如果僅考慮管理指標,邏輯回歸也有著出色的表現。
表5比較了LR、DT、SVM、RF、Bagging SVM、Adaboost和GBDT在T-3、T-4和T-5三個時間跨度上非平衡數據集處理前后的模型的精度、召回率和F值,每個數據集下模型的最大值以粗體表示。在精度方面,無論是僅考慮財務指標還是綜合考慮財務指標與管理指標,集成分類器都具有更好的分類性能,如RF和GBDT。RF在F1的3個時間跨度上均擁有最好的表現,經過SMOTE處理后,其在F1+F2上也表現良好。其中F1(T-3)為76.72%,F1(T-4)為70.86%,F1(T-5)為73.47%,F1+F2(T-3 SMOTE)為87.64%,F1+F2(T-4 SMOTE)為85.80%,F1+F2(T-5 SMOTE)為90.47%。GBDT在F1+F2(T-3)上表現較好,為79.36%。但是僅考慮管理指標時,單分類器如LR和SVM的表現更優(yōu)。在召回率方面,非平衡數據集上表現最好的模型是BaggingSVM,平衡數據集上表現最好的模型是RF。召回率和精度是此消彼長的,如F1(T-3)中,RF模型的精度為76.72%,召回率為52.25%;但BaggingSVM模型的精度為54.98%,召回率為75.19%。經過非平衡數據集的處理后,召回率指標有著大幅度的提升,在F1、F2和F1+F2上分別提升了34.6%、33.6%以及30.1%,而精度指標提升幅度較小,分別為14.5%、9.5%和14.8%。由此可見,非平衡數據對召回率的影響高于對精度的影響。
F值是考量精度和召回率平衡的綜合性指標,它被定義為精度和召回率的調和平均數。在非平衡數據集中,如果僅考慮財務指標或者綜合考慮財務指標和管理指標,T-3年度表現最優(yōu),其次是T-5年度和T-4年度,但僅考慮管理指標時,T-4年度表現更優(yōu),然后是T-3年度和T-5年度。在平衡數據集中,僅考慮管理指標或綜合考慮財務指標和管理指標時,均是T-5年度表現最優(yōu),再者是T-3年度T-4年度,而僅考慮財務指標的則是T-3年度表現更優(yōu)。說明在數據平衡后,僅考慮財務指標的數據在短期財務困境預警上的表現更好,而綜合考慮財務指標和管理指標的財務困境預警模型能夠為更長時間區(qū)間上的預測效果提供支撐。
筆者構建包含財務指標和管理指標的上市公司財務困境預警指標體系,利用SMOTE過采樣技術對非平衡數據集進行處理,運用遺傳算法對財務指標和管理指標進行特征選擇,并通過3種單分類器(DT、LR、SVM)和4種集成分類器(RF、BaggingSVM、Adaboost、GBDT)建立財務困境預警模型,采取多種評估指標綜合評判模型性能。結論如下:
(1)選取2012—2020年被列為ST公司的271家上市公司,并使用1∶3的比例選取813家健康公司作為對照組,通過CSMAR和CNRDS數據庫獲取所需的財務指標和管理指標,建立T-3、T-4和T-5三個時間跨度上的非平衡數據集,運用SMOTE技術對其進行處理得到T-3 SMOTE、T-4 SMOTE和T-5 SMOTE三個平衡數據集。實驗證明進行非平衡數據集處理能大幅度提高模型性能,加強財務困境預警的準確性。
(2)根據遺傳算法進行特征選擇可知,財務指標的價值高于管理指標,財務指標和管理指標中貢獻值突出的指標分別是盈利能力指標和董事會結構指標。對比各個模型的評估指標后發(fā)現,集成分類器在財務困境預警問題上表現更好。
(3)后續(xù)研究可以從以下兩方面來優(yōu)化財務困境預警問題:①利用深度學習算法構建財務困境預警模型,如DNN、RNN和BPNN等;②在財務指標和管理指標的基礎上加入文本指標構建財務困境預警指標體系,進一步為財務困境預警提供理論支撐。