侯宜廣　趙瑾　吳偉巍等

摘要采用基于權(quán)重Kappa統(tǒng)計(jì)值的方法，在剔除了由于偶然性和隨機(jī)性造成的一致性的基礎(chǔ)上，對(duì)3種常用暴雨預(yù)報(bào)方法的預(yù)報(bào)結(jié)果的一致性進(jìn)行了衡量。結(jié)果表明，數(shù)值模式預(yù)報(bào)與綜合經(jīng)驗(yàn)預(yù)報(bào)的預(yù)報(bào)結(jié)果為“本質(zhì)的一致性”，說(shuō)明其預(yù)報(bào)結(jié)果的一致性并不是由于偶然性造成的；衡量結(jié)果是清晰的，內(nèi)部一致性的信度評(píng)價(jià)是可靠的，避免了來(lái)自主觀評(píng)價(jià)的差異，從而有利于提高對(duì)不同預(yù)報(bào)方法預(yù)報(bào)結(jié)果的差異性的認(rèn)識(shí)，對(duì)進(jìn)一步提高暴雨預(yù)報(bào)的準(zhǔn)確度有重要意義。

關(guān)鍵詞 暴雨預(yù)報(bào)；權(quán)重Kappa統(tǒng)計(jì)值；一致性；信度評(píng)價(jià)

中圖分類號(hào)S165文獻(xiàn)標(biāo)識(shí)碼A文章編號(hào)0517-6611（2015）16-216-03

Reliability Evaluation of the Internal Consistency about Heavy Rain Forecast Methods

HOU Yiguang1， ZHAO Jin1， WU Weiwei2 et al

（1. Xuzhou Meteorological Bureau， Xuzhou， Jiangsu 221002； 2. College of Civil Engineering， Southeast University， Nanjing， Jiangsu 210096）

AbstractOn the basis of eliminating the consistency by contingency and randomness， the consistency of forecast results for three kinds of commonly used method about heavy rain forecast was measured based on weighted Kappa statistics method. The results showed that the essence of forecast results for numerical model forecast and comprehensive experience forecast are consistency. In other words， the consistency of forecast results is not effected by contingency. To avoid the differences from subjective assessment by clear outcome evaluation and dependable reliability evaluation for internal consistency. Thus， we can improve the understanding about the differences of the forecast results which based on different forecasting methods， and that has important significance to improve the accuracy of heavy rain forecasting.

Key words Heavy rain forecast； Weighted Kappa statistics value； Consistency； Reliability evaluation

我國(guó)是世界上多暴雨的國(guó)家之一，暴雨對(duì)我國(guó)經(jīng)濟(jì)社會(huì)發(fā)展和人民生命財(cái)產(chǎn)構(gòu)成了嚴(yán)重危害，民政部數(shù)據(jù)顯示，僅2010年上半年我國(guó)就因暴雨導(dǎo)致直接經(jīng)濟(jì)損失高達(dá)2 100多億元[1]。對(duì)于黃淮流域來(lái)說(shuō)，初夏是暴雨多發(fā)期，期間暴雨平均發(fā)生次數(shù)約占全年近62%。準(zhǔn)確的暴雨預(yù)報(bào)對(duì)工農(nóng)業(yè)生產(chǎn)、社會(huì)生活具有非常重要意義。暴雨預(yù)報(bào)在汛期天氣預(yù)報(bào)和決策氣象服務(wù)中也越來(lái)越顯示出它的重要作用。暴雨預(yù)報(bào)是一個(gè)復(fù)雜的系統(tǒng)工程，也是氣象工作者一個(gè)長(zhǎng)期探索的科學(xué)難題，很多氣象工作者對(duì)它的發(fā)生發(fā)展機(jī)理、數(shù)值模擬等進(jìn)行了研究[1]。近幾十年來(lái)，通過(guò)試驗(yàn)工作和理論探索，無(wú)論是在分析預(yù)測(cè)還是在基礎(chǔ)理論研究方面均取得了重大進(jìn)展[2-4]，如郭裕福等研究得出長(zhǎng)江流域洪水和印度洋海溫異常有緊密關(guān)系[5]；周廣強(qiáng)等通過(guò)分析長(zhǎng)江暴雨過(guò)程中的云滴譜和地面降水的關(guān)系，得出云滴譜的不確定性對(duì)長(zhǎng)江流域暴雨有重要影響[6]；李躍清研究認(rèn)為青藏高原東側(cè)邊界層風(fēng)場(chǎng)和長(zhǎng)江暴雨有緊密關(guān)系[7]。但暴雨過(guò)程本身是一個(gè)十分復(fù)雜的過(guò)程，目前仍有很多未解決的問(wèn)題。因此，準(zhǔn)確及時(shí)的暴雨量級(jí)預(yù)報(bào)是非常困難的。

當(dāng)前對(duì)暴雨預(yù)報(bào)主要采用數(shù)值預(yù)報(bào)的輸出產(chǎn)品，但由于暴雨的發(fā)生發(fā)展機(jī)理還有很多未解決的問(wèn)題，數(shù)值預(yù)報(bào)中的物理參數(shù)化方案只是暴雨發(fā)生發(fā)展各物理過(guò)程的一種近似，在實(shí)際天氣預(yù)報(bào)中會(huì)發(fā)現(xiàn)采用不同的參數(shù)化方案對(duì)暴雨的預(yù)報(bào)會(huì)出現(xiàn)較大差異[1]。數(shù)值預(yù)報(bào)系統(tǒng)雖能提供可信度較高的中期時(shí)效（一周或更長(zhǎng)）的天氣形勢(shì)預(yù)報(bào)、大尺度天氣過(guò)程預(yù)報(bào)和短期定點(diǎn)氣象要素值預(yù)報(bào)，但數(shù)值預(yù)報(bào)畢竟不能替代預(yù)報(bào)員的綜合預(yù)報(bào)[8]。從預(yù)報(bào)業(yè)務(wù)應(yīng)用上認(rèn)識(shí)數(shù)值預(yù)報(bào)產(chǎn)品性能和誤差，對(duì)數(shù)值產(chǎn)品進(jìn)行主觀分析、判斷和誤差訂正，尋求客觀預(yù)報(bào)與主觀預(yù)報(bào)的最佳結(jié)合點(diǎn)，是提高預(yù)報(bào)水平的有效途徑[9]。然而，在不同預(yù)報(bào)方法下的預(yù)報(bào)結(jié)果所達(dá)成的一致性（即預(yù)報(bào)結(jié)果相同），也有可能是由于偶然性和隨機(jī)性所造成的，現(xiàn)有的文獻(xiàn)中缺乏針對(duì)解決此類問(wèn)題的相關(guān)研究。也就是說(shuō)，如何在比較不同預(yù)報(bào)方法的預(yù)報(bào)結(jié)果時(shí)剔除偶然性和隨機(jī)性的影響，在暴雨預(yù)報(bào)領(lǐng)域仍然是個(gè)空白。筆者基于Kappa統(tǒng)計(jì)值的方法，在剔除由于偶然性和隨機(jī)性造成的一致性的基礎(chǔ)上，對(duì)數(shù)值模式預(yù)報(bào)、統(tǒng)計(jì)預(yù)報(bào)和綜合經(jīng)驗(yàn)預(yù)報(bào)3種常用暴雨預(yù)報(bào)方法的預(yù)報(bào)結(jié)果的一致性進(jìn)行衡量，從而提高對(duì)不同方法預(yù)報(bào)結(jié)果的差異性的認(rèn)識(shí)，該研究對(duì)于更加深刻地認(rèn)識(shí)各種預(yù)報(bào)方法及其預(yù)報(bào)結(jié)果、對(duì)進(jìn)一步提高暴雨預(yù)報(bào)的準(zhǔn)確度有重要意義。

1資料與方法

1.1Kappa統(tǒng)計(jì)值概述

Kappa統(tǒng)計(jì)值是內(nèi)部一致性信度評(píng)價(jià)的重要指標(biāo)。信度是衡量預(yù)測(cè)結(jié)果內(nèi)部一致性的程度，也是對(duì)預(yù)測(cè)結(jié)果一致性和穩(wěn)定性的評(píng)價(jià)標(biāo)準(zhǔn)。Kappa統(tǒng)計(jì)值是被廣泛采用的、用來(lái)衡量去除偶然性以后的內(nèi)部一致性的統(tǒng)計(jì)量[10-13]，在臨床診斷、分類等領(lǐng)域也得到了非常廣泛的應(yīng)用[12，14]。這種方法考慮了由于偶然性達(dá)成一致的可能性，通過(guò)首先從表面一致性里面減去由于偶然性導(dǎo)致一致性的可能性，然后再除以非偶然性導(dǎo)致的一致性，從而計(jì)算出相應(yīng)的Kappa統(tǒng)計(jì)值[15-16]。采用的預(yù)報(bào)結(jié)果（篩選出24 h預(yù)報(bào)雨量為大雨以上的作為研究個(gè)例）分為大雨（24 h雨量在25.0～49.9 mm）、暴雨（24 h雨量在50.0～99.9 mm）、大暴雨（24 h雨量在100.0～199.9 mm）和特大暴雨（24 h雨量≥200.0 mm）4個(gè)級(jí)別，則每種預(yù)報(bào)方法的結(jié)果均有這4種可能。顯然，距離遠(yuǎn)的2個(gè)選項(xiàng)的差異性比距離近的2個(gè)選項(xiàng)的差異性大，為了反映這種差異性，就要給每一個(gè)情況賦以不同的權(quán)重，權(quán)重Kappa統(tǒng)計(jì)值就可以解決這種情況。樣本數(shù)可根據(jù)Kappa精度要求來(lái)確定，通常需要20～30個(gè)樣本量[17]。樣本量不需要太大，當(dāng)樣本量很大，且一致性較高時(shí)，即使計(jì)算結(jié)果有統(tǒng)計(jì)學(xué)意義，其實(shí)際意義也不大。

1.2權(quán)重Kappa統(tǒng)計(jì)值

1.2.1

衡量2種預(yù)報(bào)方法的一致性。由于理論上的一些原因，F(xiàn)leiss建議為每對(duì)比較選項(xiàng)按照以下的公式賦以權(quán)重[15]：

wij=1-（i-j）2（k-1）2

（1）

這也是被廣泛采用的賦權(quán)重方法之一，式中，i表示行數(shù)，j表示列數(shù)，k表示選項(xiàng)個(gè)數(shù)。表面一致性通過(guò)以下公式計(jì)算：

po（w）=1N∑ki=1 ∑kj=1wijSij

（2）

式中，N表示樣本總數(shù)，wij表示所賦權(quán)重值，Sij表示預(yù)報(bào)結(jié)果分組匯總的二維分布。 由偶然性導(dǎo)致的一致性計(jì)算公式如下：

pe（w）=1N2∑ki=1 ∑kj=1wijSiSj

（3）

式中，N表示樣本總數(shù)，wij表示所賦權(quán)重值，Si表示分組中一種預(yù)報(bào)方法的i分類之和，Sj表示分組中另一預(yù)報(bào)方法的j分類之和。 則權(quán)重Kappa值為：

k（w）=po（w）-pe（w）1-pe（w）

（4）

對(duì)Kappa統(tǒng)計(jì)值的解釋一直是研究人員關(guān)心的熱點(diǎn)問(wèn)題。就Kappa值的意義而言，它的變化范圍是-1～1。在小于0的情況下，表明結(jié)果是由于偶然性造成的，等于1則表示“完美的一致性”。對(duì)Kappa統(tǒng)計(jì)值進(jìn)行解釋的常用指導(dǎo)性標(biāo)準(zhǔn)如表1所示[11-12]。

表1對(duì)Kappa統(tǒng)計(jì)值進(jìn)行解釋的指導(dǎo)性標(biāo)準(zhǔn)

Kappa統(tǒng)計(jì)值并不是由于偶然性造成的一致性的支持強(qiáng)度

<0很差

0～0.20微弱的

0.21～0.40清楚的

0.41～0.60中等的

0.61～0.80本質(zhì)的

0.81～1.00幾乎完美的

1.2.2

衡量多種預(yù)報(bào)方法的一致性。當(dāng)涉及到多個(gè)預(yù)報(bào)方法、多個(gè)預(yù)報(bào)結(jié)果時(shí)，最常見(jiàn)的做法是分別求取所有兩兩不同預(yù)報(bào)方法組合的Kappa統(tǒng)計(jì)值，然后取所有Kappa統(tǒng)計(jì)值的平均值。用公式表示則是：

kave（w）=1Q∑Qq=1kq（w）

（5）

Fleiss建立了另外一種一次性計(jì)算該種情況下的Kappa統(tǒng)計(jì)值的模型[15]，但并沒(méi)有得到廣泛的應(yīng)用。其最大的問(wèn)題在于對(duì)結(jié)果的解釋上，因?yàn)椴灰恢滦詴?huì)隨著預(yù)報(bào)等級(jí)的增多以及評(píng)價(jià)樣本數(shù)的增多而減小，按照這種方法計(jì)算出來(lái)的Kappa值相對(duì)比較小，不太適合去與一般性意義下的Kappa統(tǒng)計(jì)值的指導(dǎo)標(biāo)準(zhǔn)（表1）進(jìn)行比較。這也是前面提到的樣本量不要求很大的主要原因。

1.3案例背景

目前應(yīng)用于我國(guó)氣象部門天氣預(yù)報(bào)業(yè)務(wù)的預(yù)報(bào)方法主要有數(shù)值模式預(yù)報(bào)、統(tǒng)計(jì)預(yù)報(bào)和綜合經(jīng)驗(yàn)預(yù)報(bào)（天氣圖分析法）3種。筆者選取了2005年7月8日～2006年7月10日期間由徐州市氣象臺(tái)利用這3種暴雨預(yù)報(bào)方法制作的暴雨預(yù)報(bào)結(jié)果（表2）。

表23種預(yù)報(bào)方法的預(yù)報(bào)結(jié)果示例

序號(hào)日期數(shù)值模式統(tǒng)計(jì)預(yù)報(bào)綜合經(jīng)驗(yàn)序號(hào)日期數(shù)值模式統(tǒng)計(jì)預(yù)報(bào)綜合經(jīng)驗(yàn)

12005-07-08ⅡⅡⅠ112005-08-29ⅠⅠⅠ

22005-07-10ⅡⅠⅡ122005-09-21ⅠⅡⅠ

32005-07-15ⅠⅡⅠ132005-09-30ⅡⅠⅡ

42005-07-16ⅠⅡⅠ142005-11-05ⅠⅠⅠ

52005-07-17ⅠⅠⅠ152006-05-05ⅠⅠⅡ

62005-07-23ⅡⅡⅡ162006-06-14ⅡⅠⅡ

72005-07-24ⅠⅠⅠ172006-06-22ⅡⅠⅠ

82005-07-31ⅡⅢⅡ182006-06-29ⅡⅠⅡ

92005-08-02ⅠⅠⅠ192006-07-03ⅢⅡⅢ

102005-08-03ⅠⅡⅠ202006-07-10ⅠⅡⅠ

注：Ⅰ為大雨；Ⅱ?yàn)楸┯辏虎鬄榇蟊┯?；Ⅳ為特大暴雨。其中，?shù)值模式是采用美國(guó)NCEP本地化制作預(yù)報(bào)，統(tǒng)計(jì)預(yù)報(bào)是采用回歸相關(guān)法制作預(yù)報(bào)，綜合經(jīng)驗(yàn)是利用業(yè)務(wù)人員長(zhǎng)期經(jīng)驗(yàn)總結(jié)作出預(yù)報(bào)。

2結(jié)果與分析

2.1權(quán)重的賦值

按照公式（1）對(duì)不同對(duì)比選項(xiàng)組賦以的權(quán)重如表3所示。

表3權(quán)重Kappa統(tǒng)計(jì)值中賦的權(quán)重

量級(jí)ⅠⅡⅢⅣ

Ⅰ1.0000.8890.5560

Ⅱ0.8891.0000.8890.556

Ⅲ0.5560.8891.0000.889

Ⅳ00.5560.8891.000

注：Ⅰ為大雨；Ⅱ?yàn)楸┯?；Ⅲ為大暴雨；Ⅳ為特大暴雨?/p>

2.2權(quán)重Kappa統(tǒng)計(jì)值的計(jì)算

根據(jù)表2中3種預(yù)報(bào)方法的預(yù)報(bào)結(jié)果進(jìn)行匯總統(tǒng)計(jì)（圖1）。根據(jù)表3中wij的權(quán)重值和圖1中的Sij、Si、Sj的統(tǒng)計(jì)值，按照公式（2）、（3）和（4），3種預(yù)報(bào)方法之間的表面一致性、由于偶然性造成的一致性、Kappa統(tǒng)計(jì)值的計(jì)算如表4所示。從表4可以看出，數(shù)值模式預(yù)報(bào)和統(tǒng)計(jì)預(yù)報(bào)的表面一致性高達(dá)0.933，而剔除偶然性造成的一致性后，Kappa統(tǒng)計(jì)值僅表示“微弱的一致性”。同理，數(shù)值模式預(yù)報(bào)和綜合經(jīng)驗(yàn)預(yù)報(bào)為“本質(zhì)的一致性”，說(shuō)明其預(yù)報(bào)結(jié)果的一致性并不是由于偶然性造成的。統(tǒng)計(jì)預(yù)報(bào)和綜合經(jīng)驗(yàn)預(yù)報(bào)之間也僅是“微弱的一致性”。

注： Ⅰ為大雨；Ⅱ?yàn)楸┯?；Ⅲ為大暴雨；Ⅳ為特大暴雨?/p>

圖13種預(yù)報(bào)方法的預(yù)報(bào)結(jié)果匯總

3 結(jié)論

針對(duì)現(xiàn)有研究的不足，筆者基于權(quán)重Kappa統(tǒng)計(jì)值的方法，在剔除了由于偶然性和隨機(jī)性造成的一致性的基礎(chǔ)上，對(duì)3種常用暴雨預(yù)報(bào)方法的預(yù)報(bào)結(jié)果的一致性進(jìn)行了衡量。結(jié)果表明，數(shù)值模式預(yù)報(bào)和統(tǒng)計(jì)預(yù)報(bào)的表面一致性高達(dá)0.933，而剔除偶然性造成的一致性后，Kappa統(tǒng)計(jì)值僅表示“微弱的一致性”；同理，數(shù)值模式預(yù)報(bào)和綜合經(jīng)驗(yàn)預(yù)報(bào)為“本質(zhì)的一致性”，說(shuō)明其預(yù)報(bào)結(jié)果的一致性并不是由于偶然性造成的；統(tǒng)計(jì)預(yù)報(bào)和綜合經(jīng)驗(yàn)預(yù)報(bào)之間也僅是“微弱的一致性”?？梢?jiàn)，這種統(tǒng)計(jì)學(xué)方法可同時(shí)排除偶然一致性和系統(tǒng)

性誤差的干擾，比一般的相關(guān)系數(shù)更好[17]。采用基于權(quán)重

表43種預(yù)報(bào)方法之間的一致性衡量計(jì)算結(jié)果

統(tǒng)計(jì)項(xiàng)數(shù)值模式預(yù)報(bào)和統(tǒng)計(jì)預(yù)報(bào)數(shù)值模式預(yù)報(bào)和綜合經(jīng)驗(yàn)預(yù)報(bào)統(tǒng)計(jì)預(yù)報(bào)和綜合經(jīng)驗(yàn)預(yù)報(bào)

表面一致性0.9330.9830.928

偶然一致性0.9220.9220.922

Kappa統(tǒng)計(jì)值0.1490.7860.071

（含義）（微弱的一致性）（本質(zhì)的一致性）（微弱的一致性）

Kappa統(tǒng)計(jì)值的方法來(lái)衡量這3種預(yù)報(bào)方法的結(jié)果是清晰的，內(nèi)部一致性的信度評(píng)價(jià)是可靠的，避免了來(lái)自主觀評(píng)價(jià)的差異，從而有利于提高對(duì)不同預(yù)報(bào)方法預(yù)報(bào)結(jié)果的差異性的認(rèn)識(shí)，對(duì)進(jìn)一步提高暴雨預(yù)報(bào)的準(zhǔn)確度有重要意義。

參考文獻(xiàn)

[1]

王洋，高廣青，王鵬，等.長(zhǎng)江中下游暴雨短期集合預(yù)報(bào)試驗(yàn)[J].科學(xué)與財(cái)富，2011（1）：1-2.

[2] 陳靜，薛紀(jì)善，顏宏，等.一種新型的中尺度暴雨集合預(yù)報(bào)初值擾動(dòng)方法研究[J].大氣科學(xué)，2005，29（5）：717-726.

[3] 陳靜，李川，馮漢中，等.青藏高原東側(cè)“2003.8.28”暴雨的集合預(yù)報(bào)試驗(yàn)[J].高原氣象，2004，23（S1）：6-14.

[4] 牛震宇，張立鳳.基于集合預(yù)報(bào)思想對(duì)一次暴雨過(guò)程的數(shù)值模擬[J].解放軍理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2006，7（1）：73-79.

[5] 郭裕福，趙彥.1998年長(zhǎng)江流域洪水與海溫異常關(guān)系的數(shù)值模擬研究[J].大氣科學(xué)進(jìn)展（英文版），2002（3）：391-404.

[6] 周廣強(qiáng)，趙春生，秦瑜，等.云滴譜的不確定性對(duì)中尺度降水的影響[J].熱帶氣象學(xué)報(bào)，2005，21（6）：605-614.

[7] 李躍清.1998年青藏高原東側(cè)邊界層風(fēng)場(chǎng)與長(zhǎng)江暴雨洪水的關(guān)系[J].大氣科學(xué)，2000，24（5）：641-648.

[8] 薛紀(jì)善.和預(yù)報(bào)員談數(shù)值預(yù)報(bào)[J].氣象，2007，33（8）：3-11.

[9] 張國(guó)材.預(yù)報(bào)員在未來(lái)天氣預(yù)報(bào)中的作用探討[J].氣象，2004，30（7）：8-11.

[10] VIERA A J，GARRETT J M.Understanding interobserver agreement：The kappa statistic [J].Family Medicine，2005，37（5）：360-363.

[11] VRIES H D，ELLIOTT M N，KANOUSE D E，et al.Using pooled kappa to summarize interrater agreement across many items [J].Field Methods，2008，20（3）：272-282.

[12] GAMBATESE J A，BEHM M，RAJENDRAN S.Designs role in construction accident causality and prevention：Perspectives from an expert panel [J].Safety Science，2008，46：675-691.

[13] 吳偉巍.施工現(xiàn)場(chǎng)安全危險(xiǎn)源實(shí)時(shí)監(jiān)控與安全風(fēng)險(xiǎn)預(yù)測(cè)方法研究[D].南京：東南大學(xué)，2009.

[14] KUNDEL H L，POLANSKY M.Measurement of observer agreement [J].Radiology，2003，228：303-308.

[15] FlEISS J L，LEVIN B，PAIK M C.Statistical methods for rates and proportions （Third Edition） [M].3rd ed.Hoboken，NJ，USA：John Wiley & Sons，Inc.，2003.

[16] FEINSTEIN A，CICCHETTI D.High agreement but low kappa.I.The problem of two paradoxes[J].J Clin Epidemiol，1990，43：543-549.

[17] 吳毅，胡永善，范文可，等.功能評(píng)定量表信度和效度的研究[J].中國(guó)康復(fù)醫(yī)學(xué)雜志，2004，19（3）：230-231.