余垠(上海第二工業(yè)大學(xué)經(jīng)濟管理學(xué)院,上海201209)

?

受試者工作特征曲線及其在金融危機預(yù)警研究中的應(yīng)用

余垠
(上海第二工業(yè)大學(xué)經(jīng)濟管理學(xué)院,上海201209)

摘要:基于受試者工作特征(ROC)曲線的分析框架,梳理了ROC曲線對預(yù)警指標分類能力的評估和預(yù)警模型預(yù)報準確性評估兩方面的應(yīng)用情況。認為ROC曲線及ROC曲線下面積(AUC)在金融危機預(yù)警研究中表現(xiàn)出3個優(yōu)點:ROC曲線可提供結(jié)構(gòu)法而非經(jīng)驗法來選擇預(yù)警指標;為指標選擇與模型評價提供了統(tǒng)一的分析框架;為不同預(yù)警模型的等效性檢驗提供了分析基礎(chǔ)。

關(guān)鍵詞:金融危機;預(yù)警系統(tǒng);受試者工作特征;受試者工作特征曲線下面積

0　引言

過去的30多年中,全世界研究者構(gòu)建了大量的金融危機預(yù)警系統(tǒng)用于預(yù)報未來的金融危機。每一個系統(tǒng)都采用不同的分析框架,在指標選擇、分析方法等方面均具有特異性[1]。什么樣的指標才稱得上是好的預(yù)警指標？什么樣的系統(tǒng)才是預(yù)報效果好的預(yù)警系統(tǒng)？評價金融危機預(yù)警系統(tǒng)的預(yù)報效果成為金融危機研究中的一個重要組成部分。

評價預(yù)警系統(tǒng)性能的研究主要包括局部差異分析和整體性能測試。局部差異主要包括指標間差異、危機信號間差異和危機識別期間差異[2-5]。整體性能測試的方法主要使用樣本內(nèi)和樣本外測試[6-9]。

由于不同指標發(fā)出的危機信號具有顯著差異,且對識別危機發(fā)生的時期也存在明顯差異,那么可能就不會只選擇一個信號標準來判斷預(yù)警系統(tǒng)[2-4]。通過比較預(yù)警系統(tǒng)所使用的指標及其發(fā)出的信號和識別危機發(fā)生的時期,往往這些局部的評價無法判斷哪一個系統(tǒng)更好,還必須對預(yù)警系統(tǒng)的魯棒性(Robustness)進行研究[5]。由于存在上述的差異,樣本內(nèi)-樣本外測試方法中的單一閾值(通常為0.5或0.25)也僅僅是根據(jù)經(jīng)驗而隨意設(shè)定的。因此,這樣判斷一個系統(tǒng)整體優(yōu)于另一個系統(tǒng)很難令人信服。如何比較不同系統(tǒng)的預(yù)警性能一直是預(yù)警研究中的一個難點,對不同預(yù)警系統(tǒng)性能的魯棒性比較至今也沒有實現(xiàn)[1]。

受試者工作特征(ROC)曲線為評估金融危機預(yù)警系統(tǒng)的預(yù)報效果提供了一種新的分析方法。然而,ROC曲線在經(jīng)濟領(lǐng)域的成果并不多見。ROC曲線最初出現(xiàn)在財務(wù)預(yù)警和信貸風險的相關(guān)研究中,均用于不同模型的性能比較[10-17]。Jord`a等[18]將ROC曲線用于識別商業(yè)周期拐點,張偉鋒[19]則運用ROC曲線分析了所選指標對銀行業(yè)短期流動性風險的預(yù)警能力。近3年,ROC曲線在金融危機預(yù)警效果評估領(lǐng)域有了一定的應(yīng)用。

本文介紹了利用ROC曲線確定最佳閾值及模型準確性的方法。在此基礎(chǔ)上,分別介紹已有文獻利用ROC曲線分析預(yù)警指標的分類能力和在不同系統(tǒng)中預(yù)警性能的評價研究。

1　ROC曲線的基本分析框架

在確定預(yù)警標準時必須從若干個閾值中選出最佳閾值(最佳工作點)。確定最佳閾值的方法通常有兩種:成本分析方法和一般方法。

基于成本分析的方法[20],ROC曲線的最佳閾值依賴于執(zhí)行預(yù)警模型成本C0和預(yù)報結(jié)果成本Ci。其中:C0包括構(gòu)建預(yù)警模型的成本,運行和維護預(yù)警模型的成本;Ci則包括真陽性(TP)結(jié)果的成本CTP、真陰性(TN)結(jié)果的成本CTN、假陽性(FP)結(jié)果的成本CFP和假陰性(FN)結(jié)果的成本CFN。因此,運行預(yù)警系統(tǒng)的總平均成本C為

式中,Pi為i的概率,i = TP,TN,FP,FN。

考慮到預(yù)報結(jié)果所導(dǎo)致的政策成本、危機調(diào)整成本而確定的最佳閾值θ可以作為政策干預(yù)點,Drehmann和Juselius[21]認為,“常態(tài)或繁榮”(D = 0)和“危機”(D = 1)分別對應(yīng)兩種真實的經(jīng)濟時機,政策制定者可以選擇實施政策(P = 1)或者不實施政策(P = 0)。那么,真陽性的概率PTP= SeP{D = 1},真陰性的概率PTN= SpP{D = 0},假陽性的概率PFN=(1-Se)P{D = 1},假陰性的概率PFP=(1-Sp)P{D = 0}。其中,Se為靈敏度,表示預(yù)警系統(tǒng)所識別出的危機數(shù)占所有實際危機數(shù)的比例;Sp為特異度,表示金融系統(tǒng)實際未發(fā)生危機,預(yù)警系統(tǒng)也沒有識別危機的能力。因此,

運行預(yù)警系統(tǒng)的成本依賴于預(yù)警模型的靈敏度、特異性、危機出現(xiàn)的先驗概率以及預(yù)報結(jié)果所導(dǎo)致的政策成本、危機調(diào)整成本。

在式(2)中,ROC曲線的最佳閾值θ存在于總平均成本C最小時,也即dC = 0時,計算出最佳閾值θ處ROC曲線的斜率τ[20]:

式中,P{D = 0} + P{D = 1} = 1。用UPD表示在狀態(tài)D選擇政策P的效用,那么它滿足假設(shè):U11＞U01和U00＞U10,其最佳閾值θ處曲線的斜率τ為[21]

如果ROC曲線是光滑曲線,斜率τ所決定的直線與ROC曲線的切點便是最佳閾值θ;如果是不光滑的線段連接的經(jīng)驗ROC曲線,斜率所決定的直線從上至下左向移動與ROC曲線相交的點便是最佳閾值θ。

然而,度量政策成本是很困難的,度量不同信號的靈敏度TPR(Se)和誤報率FPR(1-Sp)的最優(yōu)組合值也是十分困難的[21]。因此,計算ROC曲線下面積(AUC)便成為最方便的尋找最佳閾值的方法。AUC由下式計算:

AUC的取值范圍為0.5～1,其中1為最理想值,0.5及以下表示信號完全無價值。作為全局性的綜合指標,AUC不一定適合,但通常情況下,最大AUC所對應(yīng)的便是理想的最佳閾值θ。

通過構(gòu)建ROC曲線,使得在所有閾值中比較兩個或多個模型的性能成為可能。比較模型的準確性,通常比較的是準確性綜合指標[22-23]。然而,當對兩個模型M1、M2的性能進行比較時,可能出現(xiàn)模型M1的靈敏度較高,而M2的特異度較高,以至于無法判斷哪一個模型更好。在只有一對靈敏度和特異度時,改變閾值也會造成難以確定哪個系統(tǒng)更優(yōu)的后果。

因此,尤其對于有序或連續(xù)型數(shù)據(jù),需比較與ROC曲線相關(guān)的指標,包括靈敏度、特異度和AUC。一般可以通過設(shè)定多個不同的閾值來繪制ROC曲線,通過比較兩個模型的AUC進行判斷。也即,比較ROC曲線下面積(或部分面積)是否相等。通常,較大的ROC曲線下面積(或部分面積)對應(yīng)著預(yù)警效果較好的模型。

2　ROC曲線在研究預(yù)警指標分類能力方面的應(yīng)用

ROC曲線最初用于探討不同預(yù)警指標的優(yōu)劣性上。Drehmann和Juselius[21]從時機選擇(Timing)、穩(wěn)定性和預(yù)警效果優(yōu)劣(Outperform)3個方面對所選擇的預(yù)警指標進行了ROC曲線分析。他們認為一個好的預(yù)警指標應(yīng)該同時滿足兩個條件:①能盡早地發(fā)出危機信號以便政策能及時有效地實施;②不能過早地發(fā)出危機信號,否則會提高政策成本。因此,他們建議預(yù)警指標S發(fā)出危機信號的合適時間區(qū)域(h)在危機發(fā)生前的20個季度到6個季度之間,并定義:

如果對h∈[-20,-6],有AUC(Si,h)＞0.5,那么,第i(i = 1,2,···)個預(yù)警指標Si有正確的時機選擇。

考慮到政策制定者不會在信號數(shù)據(jù)發(fā)出后就立即行動,Drehmann和Juselius認為如果預(yù)警指標發(fā)出穩(wěn)定或持久的信號,將會減少政策制定者對趨勢判斷的不確定性。因此,要評估信號的穩(wěn)定性,也就是評估信號的信號質(zhì)量在預(yù)報區(qū)域改變時是否會退化,需要對指標的穩(wěn)定性進行定義。即:

如果對時間區(qū)域j = 1,···,14和時間區(qū)域k = 1,···,5,有AUC(Si,?6?j)≤AUC(Si,?6)≤AUC(Si,?6+k),那么,預(yù)警指標Si是穩(wěn)定的。

要評估擁有正確時機選擇和穩(wěn)定性的兩個預(yù)警指標Si,Sj中哪一個的預(yù)警性能更好,則需要計算兩個指標在相同時間區(qū)域h內(nèi)的AUC大小,AUC大的指標優(yōu)于AUC小的指標。也即:

如果AUC(Si,h)≥AUC(Sj,h),那么在時間區(qū)域h,預(yù)警指標Si優(yōu)于預(yù)警指標Sj。

基于上述定義,選擇已有明確經(jīng)濟意義并可在多個時間和國家使用的10個指標,如表1所示,Drehmann和Juselius[21]對26個國家從1980年1季度至2012年2季度的數(shù)據(jù)進行了AUC分析。分析發(fā)現(xiàn),信貸與GDP比率缺口(Credit-to-GDP gap)和償債比率(Debt Service Ratio,DSR)在銀行危機預(yù)警方面始終超越其他的變量,其中,信貸/GDP缺口是最好的長期層面的指標,而DSR在短期層面起主導(dǎo)地位。

表1　在不同時間區(qū)域內(nèi)的指標的AUC[21]Tab.1 AUC of indicators among different time region[21]

Bonfim和Monteiro[24]則認為一個“好信號”的標準是它能在一次危機前的12個季度至4個季度之間發(fā)出危機信號。他們用9個國家自1957年以來的季度數(shù)據(jù)評價了對銀行危機具有分類能力的15個指標,見表2。分析結(jié)果顯示,信貸/GDP缺口在對銀行危機的預(yù)報性能中是所有指標中最好的。

將研究的時間區(qū)域分成3個子區(qū)間:危機前的20～12個季度,為“早期”;12～4個季度,為“晚期”;4～0個季度,為“即期”。表3分析了以上兩項研究中7個相同指標的AUC值。雖然數(shù)據(jù)集的選取、研究對象均不同,但在危機前的20～1個季度的時間區(qū)域內(nèi),除了股票價格指數(shù)與GPD增長率兩個指標出現(xiàn)較大分歧外,幾乎有著相同的結(jié)論。

表2　評價指標的AUC[24]Tab.2 AUC of evaluation indicators[24]

表3　兩項研究的AUC比較分析Tab.3 Comparative analysis of AUC for two studies

3　ROC曲線在評價預(yù)警模型預(yù)報性能研究方面的應(yīng)用

ROC曲線還應(yīng)用于模型的預(yù)警效果評估方面,為評估兩個或多個預(yù)警系統(tǒng)的預(yù)報準確度提供了共同尺度下的一種直觀比較方法。

Candelon等[23]比較了簡單logit模型對南美和南亞12個國家和地區(qū)的貨幣危機的預(yù)報準確性(見表4)。為確定最佳閾值θ,他們規(guī)定,如果危機在某一時期t發(fā)生的概率估計?St＞θ,就屬于“危機期”(危機預(yù)報的估計值?It(θ)= 1),否則是“平靜期”(?It(θ)= 0)?；趥鹘y(tǒng)的信號評分方法(Credit-Scoring Approach,CSA),他們定義最優(yōu)閾值θ是使靈敏度與特異度之差的絕對值最小的閾值。也即,θCSA= argmin|TPR(θCSA)+ FPR(θCSA)-1|。

他們構(gòu)建了包含收益率價差與不包含收益率價差的兩個簡單logit模型,選擇6個變量,利用12個國家及地區(qū)的自1980年1月至2010年12月的數(shù)據(jù)進行了比較分析。結(jié)果顯示,在觀察時間窗、預(yù)警指標相同的情況下,同一個模型對不同國家貨幣危機的預(yù)報準確性有很大差異。如果對兩個模型分別只增減一個預(yù)警指標,兩個模型對同一個國家貨幣危機的預(yù)報準確性也會發(fā)生變化。這又一次證明根據(jù)一個特定國家的經(jīng)濟特征選擇合適預(yù)警指標的重要性。

Alessi等[1]認為好的預(yù)警模型發(fā)出信號的時機在一次銀行危機前的20個季度到4個季度之間,并把它分為兩個子區(qū)間,20～12個季度的“早期”和12～4個季度的“晚期”。通過“a horse race”(賽馬,進行方法比較的復(fù)雜系統(tǒng)),他們對歐洲中央銀行體系發(fā)起的預(yù)報銀行業(yè)危機的9個不同模型的性能進行了比較,見表5。其中,數(shù)據(jù)來源于9個模型中使用的歐盟和OECD 27個國家的1970Q1～2010Q4的數(shù)據(jù)集,共選擇了37個指標。9個模型的樣本內(nèi)AUC的比較結(jié)果顯示,多變量logit模型在樣本內(nèi)的預(yù)報質(zhì)量最好,其他模型也有較好的樣本內(nèi)表現(xiàn)。

表4　12個國家及地區(qū)兩種模型的AUC分析[23]Tab.4 AUC for two models of twelve countries and regions[23]

表5　9個模型的樣本內(nèi)AUC比較[1]Tab.5 In-sample AUC of nine models[1]

由于大部分預(yù)警模型的出發(fā)點都是依據(jù)傳統(tǒng)離散選擇模型(logit/probit),Antunes等[25]采用與Alessi等[1]相同的方法,通過28個國家的股票價格指數(shù)(Equityprice index)、信貸/GDP缺口(Credit-to-GDP gap)、房地產(chǎn)價格指數(shù)年增長率(House price index)、償債比率(Debt Service Ratio,DSR)和危機啞變量指標,比較了簡單probit模型和動態(tài)probit模型的預(yù)報質(zhì)量,見表6。分析顯示,動態(tài)probit模型的樣本內(nèi)表現(xiàn)要比簡單probit模型優(yōu)秀。與Alessi 等[1]不同的是,他們除了評估兩個模型樣本的表現(xiàn)外,還利用樣本外數(shù)據(jù)對模型預(yù)報準確性的魯棒性進行了分析,兩個模型的AUC均表現(xiàn)出了較好的穩(wěn)定性。

雖然選取的研究對象、指標和時間窗均不相同,但兩項研究成果中簡單和動態(tài)probit模型在樣本內(nèi)的AUC趨于一致。利用ROC曲線分析技術(shù),可以直觀地對預(yù)警模型的表現(xiàn)做出結(jié)論。

表6　簡單與動態(tài)probit模型樣本內(nèi)和樣本外AUC[25]Tab.6 In-sample and Out-of-Sample AUC for simple and dynamic probit models[25]

4　結(jié)論

本文對ROC曲線在預(yù)警指標分類能力和預(yù)警模型性能評估的應(yīng)用進行了分析。AUC對所考察的時間區(qū)域與對象等影響指標選擇的因素不具顯著性差異,為預(yù)警指標的篩選提供了一種可供選擇的結(jié)構(gòu)化分析方法。同時,AUC在不同時間窗、不同指標、不同考察對象等情況下對不同模型的預(yù)報準確性評估也表現(xiàn)較好。由于尚未對預(yù)警模型的預(yù)報準確性進行等效性檢驗,AUC分析是否一定優(yōu)于已有的評估方法,還需要更多研究的支持。然而,ROC曲線分析為金融危機預(yù)警研究中的指標選擇與模型評價提供了統(tǒng)一的分析框架。

相較ROC曲線分析在其他領(lǐng)域的應(yīng)用,它在金融危機預(yù)警領(lǐng)域的應(yīng)用尚處于起始階段。從ROC曲線的基本原理看,只要數(shù)據(jù)類型符合要求,對測試結(jié)果需要做出二元判斷以及確定判斷閾值時,都可以使用ROC曲線分析。因此,ROC曲線方法在金融危機預(yù)警領(lǐng)域?qū)⒕哂袕V泛而實際的應(yīng)用。

參考文獻:

[1]ALESSI L,ANTUNES A,BABECK′Y J,et al.Comparing different early warning systems:Results from a horse race competition among members of the Macro-prudential Research Network[Z/OL].[2015-05-08].http://ssrn.com/abstract=2566165.

[2]BERG A,BORENSZTEIN E,PATTILLO C.Assessing early warning systems:How have they worked in practice?[J].IMF Staff Papers,2005,52(3):462-502.

[3]P′EREZ J.Empirical identification of currency crises:Differences and similarities between indicators[J].Applied Financial Economics Letters,2005,1(1):41-46.

[4]BURKART O,COUDERT V.Leading indicators of currency crises for emerging countries[J].Emerging Markets Review,2002,3(2):107-133.

[5]KAMIN S B,SCHINDLER J,SAMUEL S.The contribution of domestic and external factors to emerging market devaluation crises:An early warning systems approach[J].International Journal of Finance &Economics,2007,12(3):317-336.

[6]PELTONEN T A,Are emerging market currency crises predictable?A Test.European Center Bank working paper series 571[Z/OL].[2015-03-03].http://www.ecb.europa.eu/pub/pdf/scpwps/ecbwp571.pdf.

[7]BERG A,PATTILLO C.Are currency crises predictable? A Test[J].IMF Staff Papers,1998,46(2):107-138.

[8]ABIAD A.Early warning systems:A survey and a regimeswitching approach[J].IMF Working Paper,2003,32:993-1052.

[9]BERG A,BORENSZTEIN E,MILESI-FERRETTI G M,et al.Anticipating balance of payments crises:The role of early warning systems.IMF Occasional Paper[Z/OL].[2015-02-03].http://www.imf.org/external/pubs/cat/longres.aspx?sk=3396.

[10]TANG T C,CHI L C.Predicting multilateral trade credit risks:Comparisons of logit and fuzzy logic models using ROC curve analysis[J].Expert Systems with Applications,2005,28(3):547-556.

[11]蔡晶晶.基于違約距離的Logistic財務(wù)困境預(yù)警模型研究[D].浙江:浙江工商大學(xué),2011.

[12]闞士行.商業(yè)銀行信用評級篩選財務(wù)指標方法效果對比與校驗[D].山東:山東大學(xué),2010.

[13]彭建剛,屠海波,何婧,等.有序多分類logistic模型在違約概率測算中的應(yīng)用[J].財經(jīng)理論與實踐,2009,30(160):2-7.

[14]陳臺芳.會計保守性、財務(wù)危機與機構(gòu)投資人持股關(guān)聯(lián)性之研究[D].中國臺灣:臺灣國立政治大學(xué),2005.

[15]程建,朱曉明.信用風險評估模型預(yù)測力的驗證研究[J].山西財經(jīng)大學(xué)學(xué)報,2007,29(2):86-92.

[16]李關(guān)政,彭建剛.經(jīng)濟周期、經(jīng)濟轉(zhuǎn)型與企業(yè)信用風險評估——基于系統(tǒng)性風險的Logistic模型改進[J].經(jīng)濟經(jīng)緯,2010(2):87-90.

[17]石曉軍,任若恩.基于期權(quán)與基于會計信息信用模型的一致性研究——對我國上市公司的實證研究[J].系統(tǒng)工程理論與實踐,2005(10):11-20.

[18]JORD`A`O,SCHULARICK M,TAYLOR A M.Financial crises,credit booms,and external imbalances:140 years of lessons[J].IMF Economic Review,2011,59(2):340-378.

[19]張偉鋒.銀行業(yè)短期流動性風險預(yù)警研究[J].時代金融,2014(5):60-61.

[20]METZ C E.Basic principles of ROC analysis[J].Seminars in nuclear medicine,1978,8(4):283-298.

[21]DREHMANN M,JUSELIUS M.Evaluating early warning indicators of banking crises:Satisfying policy requirements[J].International Journal of Forecasting,2014,30(3):759-780.

[22]ZHOU X,OBUCHOWSKI N A,MCCLISH D.K.診斷醫(yī)學(xué)統(tǒng)計學(xué)[M].宇傳華譯.北京:人民衛(wèi)生出版社,2005.

[23]CANDELON B,DUMITRESCU E I,HURLIN C.How to Evaluate an Early-Warning System:Toward a unified statistical framework for assessing financial crises forecasting methods[J].IMF Economic Review,2012,60(1):75-113.[24]BONFIM D,MONTEIRO N.The implementation of the countercyclical capital buffer:Rules versus discretion.Economic Bulletin and Financial Stability Report Articles,The Bank of Portugal[Z/OL],[2015-03-01].http://www.bportugal.pt/en-US/BdP%20Publications%20Research/AR201306_e.pdf.

[25]ANTUNES A,BONFIM D,MONTEIRO N,et al.Early warning indicators of banking crises:Exploring new data and tools.Banco De Portugal:Economic Bulletin and Financial Stability Report Articles[Z/OL].[2015-03-07].http://www.bportugal.pt/en-US/BdP%20Publications%20Research/AB201404e.pdf.

Receiver Operating Characteristic Curve and Its Application for Early-Warning of Financial Crisis

YU Yin
(Economics &Management School,Shanghai Polytechnic University,Shanghai 201209,P.R.China)

Abstract:Based on the basic principle of receiver operating characteristic(ROC)curve,this paper presented that ROC curve was used for evaluating the classification ability of early-warning indicators and the forecasting accuracy of early-warning systems of financial crises.ROC curve and the area under the curve(AUC)analysis displayed three advantages.First,it proposed a structural method rather than experiential method to choose the predicting indicators.Second,it provided a unified analytical framework of indicator selection and model evaluation.Third,it provided an analytical basis to test the equivalence of different early-warning model.

Keywords:financial crisis;early warning system;receiver operating characteristic(ROC);the area under the ROC curve(AUC)

基金項目:教育部人文社科規(guī)劃項目(No.12YJAZH183)、上海市教委科研創(chuàng)新一般項目(No.12YS160)資助

通信作者:余垠(1968–),女,新疆人,教授,博士,研究方向為金融風險管理、智能金融。電子郵箱yuyinnn@163.com。

收稿日期:2015-07-01

文章編號:1001-4543(2016)01-0050-07

中圖分類號:C81

文獻標志碼:A