周明飛,熊 偉,劉還珠

(1.貴州省氣象臺(tái),貴州 貴陽 550002;2.國家氣象中心,北京 100081)

KNN方法在貴州晴雨預(yù)報(bào)中的試驗(yàn)

周明飛1,熊 偉1,劉還珠2

(1.貴州省氣象臺(tái),貴州 貴陽 550002;2.國家氣象中心,北京 100081)

使用 2003—2007年 T213數(shù)值預(yù)報(bào)產(chǎn)品和貴州省 08-08時(shí)日降水量資料,建立了貴州省 9個(gè)站的 KNN晴雨預(yù)報(bào)模型,并對(duì) 2008年進(jìn)行了預(yù)報(bào)試驗(yàn)。在搜索 K鄰近域的過程中,與傳統(tǒng)的 KNN方法相比,求取了不同類別的 K值,即 K+、K-,使該方法選擇的最鄰近域中的 K值取得更為合理。通過對(duì)歷史資料的反復(fù)交叉驗(yàn)證求取了最優(yōu)的 K+、K-值組合。最后對(duì) 2008年貴州省 9個(gè)站進(jìn)行預(yù)報(bào)試驗(yàn)并評(píng)估。預(yù)報(bào)評(píng)估結(jié)果表明:KNN方法總體上降低了預(yù)報(bào)空?qǐng)?bào)率,提高了晴雨預(yù)報(bào)的TS評(píng)分和預(yù)報(bào)準(zhǔn)確率,特別是對(duì) 24h和 48h,KNN方法在對(duì)貴州降水預(yù)報(bào)的數(shù)值預(yù)報(bào)解釋應(yīng)用中有一定的效果。

K鄰近域;晴雨預(yù)報(bào);數(shù)值預(yù)報(bào)產(chǎn)品

1 引言

貴州是一個(gè)降水比較豐富的省份,因此降水預(yù)報(bào)在貴州省是一項(xiàng)重要的常規(guī)預(yù)報(bào),而在降水預(yù)報(bào)中,由于降水要素本身非連續(xù)和非正態(tài)分布的特點(diǎn),以及貴州特殊的地形環(huán)境,目前貴州的降水客觀預(yù)報(bào)沒有較好的技術(shù)方法。本文嘗試將 KNN(K—NearestNeighbor)方法應(yīng)用到貴州的晴雨預(yù)報(bào)中。KNN(K—NearestNeighbor)非參數(shù)估計(jì)技術(shù)[1]是近幾年來在數(shù)值預(yù)報(bào)釋用中頗為重要的一種方法,它是基于范例進(jìn)行推理的人工智能領(lǐng)域中發(fā)展較快的一種求解問題技術(shù),利用過去的范例或經(jīng)驗(yàn)來解決當(dāng)前問題的類比推理方法,亦稱為相似方法。由于氣象要素樣本較長,并且獲取資料較為及時(shí),使得 KNN技術(shù)得以在天氣預(yù)報(bào),特別是在定性要素的判別中發(fā)揮作用。該方法不需要建立預(yù)報(bào)方程,直接根據(jù)訓(xùn)練數(shù)據(jù) (歷史天氣樣本)建立概率天氣預(yù)報(bào)的 K近鄰非參數(shù)估計(jì)仿真模型,利用訓(xùn)練數(shù)據(jù)中蘊(yùn)含的輸入輸出關(guān)系進(jìn)行預(yù)報(bào),可以避免統(tǒng)計(jì)方法的一些弊病和概率密度估計(jì)誤差的影響[2]。邵明軒等[3]曾用非參數(shù)估計(jì)技術(shù)預(yù)報(bào)風(fēng)的研究,表明該方法在天氣預(yù)報(bào)中具有一定的實(shí)際參考使用價(jià)值。曾曉青等[4]利用基于交叉驗(yàn)證技術(shù)的 KNN方法在降水預(yù)報(bào)中采取了不同的 K+、K-,這較好的彌補(bǔ)了 KNN方法的缺陷,試驗(yàn)表明:K+和 K-為最佳鄰近域組合的 KNN方法在降水預(yù)報(bào)中有較好效果。在貴州一年中降水日數(shù)較多,其正負(fù)樣本較為平衡,這個(gè)特性能很好的滿足 KNN方法的要求。陳豫英等[2]基于聚類天氣分型的 KNN方法在風(fēng)預(yù)報(bào)中的應(yīng)用,在做 KNN之前先進(jìn)行了聚類分型,聚類分型后根據(jù)不同的天氣背景提取不同的預(yù)報(bào)因子這更有利于預(yù)報(bào)的準(zhǔn)確性,進(jìn)一步提高了寧夏地區(qū)風(fēng)的預(yù)報(bào)效果。本文嘗試將改進(jìn)的 KNN方法應(yīng)用于貴州降水的晴雨預(yù)報(bào)中。

2 資料與加工

本文利用國家氣象中心 2003—2007年逐日的T213數(shù)值預(yù)報(bào)產(chǎn)品作為基本因子資料。所使用的T213數(shù)值預(yù)報(bào)產(chǎn)品包括 15層 7個(gè)預(yù)報(bào)時(shí)效 (00、12、24、36、48、60、72h)格點(diǎn)場中的 14個(gè)基本氣象要素。利用這些基本氣象要素通過動(dòng)力診斷得出反映降水的物理量,然后利用雙線性插值的方法將這些基本要素和擴(kuò)充物理量插值到對(duì)應(yīng)的站點(diǎn)上,建立起所需要的站點(diǎn)因子庫,這大大增加了可挑選的因子信息量。實(shí)況數(shù)據(jù)集是采用MEOFIS系統(tǒng)中的歷史實(shí)況庫及貴州省歷史資料庫,取 2003—2007年逐日 08時(shí)到次日 08時(shí)的 24h降水量。

根據(jù)預(yù)報(bào)的要素選擇因子,將歷史的資料預(yù)報(bào)要素與所有的其它氣象要素做相關(guān)分析、逐步回歸然后做 F檢驗(yàn),選取出相關(guān)最好的 10～20個(gè)氣象要素作為預(yù)報(bào)因子。

3 預(yù)報(bào)方法

本文中的方法引用自文獻(xiàn)[2]和文獻(xiàn)[4]中改進(jìn)的 KNN方法,在此做簡單介紹和特點(diǎn)介紹。

K最近鄰 (K-Nearest Neighbor,KNN)分類算法,是一個(gè)理論上比較成熟的方法,也是最簡單的機(jī)器學(xué)習(xí)算法之一。該方法的思路是:如果一個(gè)樣本在特征空間中的 K個(gè)最相似 (即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個(gè)類別,則該樣本也屬于這個(gè)類別。KNN算法中,所選擇的鄰居都是已經(jīng)正確分類的對(duì)象。該方法在定類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別來決定待分樣本所屬的類別。KNN方法雖然從原理上也依賴于極限定理,但在類別決策時(shí),只與極少量的相鄰樣本有關(guān)。由于 KNN方法主要靠周圍有限的鄰近的樣本,而不是靠判別類域的方法來確定所屬類別的,因此對(duì)于類域的交叉或重疊較多的待分樣本集來說,KNN方法較其他方法更為適合。該算法在分類時(shí)有個(gè)主要的不足是,當(dāng)樣本不平衡時(shí),如一個(gè)類的樣本容量很大,而其他類樣本容量很小時(shí),有可能導(dǎo)致當(dāng)輸入一個(gè)新樣本時(shí),該樣本的 K個(gè)鄰居中大容量類的樣本占多數(shù)。因此可以采用權(quán)值的方法 (和該樣本距離小的鄰居權(quán)值大)來改進(jìn)。在本文中采用改進(jìn)的 KNN方法,與傳統(tǒng)的 KNN方法相比,不同的類別取不同的 K值,可以在一定程度上彌補(bǔ) KNN方法的這個(gè)缺陷。

在晴雨預(yù)報(bào)中,實(shí)驗(yàn)進(jìn)行有無降水預(yù)報(bào),故分為 2個(gè)類,有降水的為正樣本,無降水的為負(fù)樣本。其中尋找鄰居的方法采用歐氏距離作為相似判據(jù)。

式 (1)中,Di∈R,i=1,2,…,n;這樣 n個(gè)樣本數(shù)可得到 n個(gè)距離,按距離依次排序,選擇第 K個(gè)作為待預(yù)報(bào)數(shù)據(jù)的判斷標(biāo)準(zhǔn),凡小于該距離的樣本,就作為待預(yù)報(bào)的最近鄰域[4]。

接著是確定 K的值,此為改進(jìn)的 KNN方法與傳統(tǒng) KNN方法的區(qū)別,傳統(tǒng)的 KNN方法僅采取一個(gè)K值來進(jìn)行類別的判定,而改進(jìn)的 KNN方法采用不同的類別有不同的 K值。在本文中僅有 2個(gè)類別,有無降水即為正負(fù)樣本,故取 2個(gè) K值,即 K+、K-。

式 (2)中,n+為訓(xùn)練樣本中的正樣本數(shù) (有降水日數(shù)),n-為訓(xùn)練樣本中的負(fù)樣本數(shù) (無降水日數(shù))。K+為正樣本的 K值,K-為負(fù)樣本的 K值。對(duì)于不同站點(diǎn)的正樣本數(shù)根據(jù)自身在總體樣本中的比例而確定 K值,使正負(fù)樣本的 K值具有不同的權(quán)重,即對(duì)樣本數(shù)少的類別權(quán)重更大,而樣本數(shù)多的類別權(quán)重相對(duì)較小。通過這樣處理,KNN方法選擇的最鄰近域中的 K值更為合理。

采用歷史資料對(duì) K值進(jìn)行反復(fù)交叉驗(yàn)證,最后得出確定的 K值,取 4個(gè)標(biāo)準(zhǔn):準(zhǔn)確率 (全體樣本)、正樣本的概括率、TS評(píng)分和空?qǐng)?bào)率。

判別標(biāo)準(zhǔn)通過歷史資料反復(fù)實(shí)驗(yàn)得出,預(yù)報(bào)時(shí),大于該值預(yù)報(bào)有降水,小于則預(yù)報(bào)無降水。

4 試驗(yàn)結(jié)果分析

利用 2003—2007年 T213資料和實(shí)況降水資料作為訓(xùn)練樣本集,采用 2008年降水實(shí)況做預(yù)報(bào)檢驗(yàn)。選取畢節(jié)、遵義、銅仁、都勻、安順、凱里、六盤水、貴陽、興義作為預(yù)報(bào)站點(diǎn)。分別對(duì)這 9個(gè)站的24h、48h、72h有無降水的預(yù)報(bào)做試驗(yàn)評(píng)估。為考察KNN方法在貴州省降水預(yù)報(bào)中的價(jià)值,本文將 T213模式預(yù)報(bào)的格點(diǎn)降水量插值到相應(yīng)的站點(diǎn)上與KNN方法的預(yù)報(bào)結(jié)果進(jìn)行比較。其中 T213格點(diǎn)插值到站點(diǎn)的權(quán)重函數(shù)采用與距離的平方成反比。

如圖 1所示:①從 TS評(píng)分來看,24h和 48h的晴雨預(yù)報(bào),9個(gè)站應(yīng)用 KNN方法后均比直接采用T213降水量插值到站點(diǎn)的 TS評(píng)分高,在 72h的晴雨預(yù)報(bào)中,遵義、銅仁、凱里等 3站的晴雨預(yù)報(bào) TS評(píng)分,KNN方法較 T213降水量的低,查看該 3個(gè)站的2008年有降水天數(shù),3個(gè)站正樣本均較其它幾個(gè)站少。對(duì) 2008年正樣本數(shù)和 72h的 KNN方法預(yù)報(bào)TS評(píng)分做相關(guān)分析,相關(guān)系數(shù)達(dá) 0.69?？偟膩砜?采用 KNN方法對(duì)數(shù)值預(yù)報(bào)進(jìn)行解釋應(yīng)用以后能提高 TS評(píng)分,尤其是在 24h和 48h。

②從空?qǐng)?bào)率來看,9個(gè)站 24h、48h和 72h的晴雨預(yù)報(bào),KNN方法的預(yù)報(bào)比 T213降水量預(yù)報(bào)空?qǐng)?bào)率有明顯降低。

圖 1 2008年貴州省各站晴雨預(yù)報(bào)的 TS評(píng)分 (a)、空?qǐng)?bào)率 (b)、漏報(bào)率 (c)和正確率 (d)

③從漏報(bào)率來看,24h的預(yù)報(bào),T213降水預(yù)報(bào) 9個(gè)站均無漏報(bào),而 KNN方法 9個(gè)站分別有 0.09到0.14的漏報(bào)率,48～72h,采用 K NN方法的漏報(bào)率也略比 T213降水預(yù)報(bào)偏高。分析發(fā)現(xiàn) T213降水量預(yù)報(bào),幾乎在所有可能降雨的天氣形勢下均報(bào)有降水,故其漏報(bào)率很低,尤其是在 24h預(yù)報(bào)中沒有漏報(bào),而其空?qǐng)?bào)率非常高。

④從正確率來看,9個(gè)站采用 KNN方法以后在晴雨預(yù)報(bào)中正確率有明顯提高。

5 小結(jié)

總的看來,在晴雨預(yù)報(bào)的試驗(yàn)中,采用 KNN方法對(duì)數(shù)值預(yù)報(bào)進(jìn)行解釋應(yīng)用后,雖然出現(xiàn)了一些漏報(bào)率,但明顯的減少了空?qǐng)?bào)率,使得 TS評(píng)分和準(zhǔn)確率有明顯提高。因此認(rèn)為 KNN方法的數(shù)值解釋應(yīng)用在貴州降水預(yù)報(bào)中有一定效果。

結(jié)合 2008年中 9個(gè)站的正樣本數(shù)和 TS評(píng)分、正確率進(jìn)行分析,發(fā)現(xiàn)仍然是在正樣本數(shù)較多的站TS評(píng)分和正確率較高。在 72h的預(yù)報(bào)中,采用 KNN方法預(yù)報(bào)得出的 TS評(píng)分和準(zhǔn)確率結(jié)果的優(yōu)勢不如24h和 48h大,T213降水量的預(yù)報(bào)和 KNN方法均與正樣本數(shù)的相關(guān)性很大,相關(guān)系數(shù)達(dá)到 0.74和0.69,說明在 72h的預(yù)報(bào),KNN方法的結(jié)果更依賴于模式的結(jié)果以及正樣本數(shù)的多少。因此采用KNN方法做數(shù)值預(yù)報(bào)解釋應(yīng)用更適合短期內(nèi)和正樣本數(shù)較多的天氣要素的預(yù)報(bào)。改進(jìn)的 KNN方法采用取不同的 K+、K-,一定程度上彌補(bǔ)了一些因正負(fù)樣本分布不均造成的缺陷,在 24h和 48h有較好效果,但從 72h的預(yù)報(bào)來看,效果不及前兩個(gè)時(shí)效。由于作者采用的資料為全年的降水資料,而造成不同季節(jié)降水的環(huán)流背景有所不同,以后工作中可進(jìn)行環(huán)流分型并對(duì)降水進(jìn)行分級(jí)后再采用 KNN方法進(jìn)行預(yù)報(bào)試驗(yàn),這都將在下一步工作中進(jìn)行。

[1] Cover T M,Hart P E.Nearest neighbor pattern classification[J].IEEE Trans on Inf Theory,1967,13:21-27.

[2] 陳豫英,劉還珠,陳楠,等 .基于聚類天氣分型的 KNN方法在風(fēng)預(yù)報(bào)中的應(yīng)用[J].應(yīng)用氣象學(xué)報(bào),2008,19(5):564-572.

[3] 邵明軒,劉還珠,竇以文 .用非參數(shù)估計(jì)技術(shù)預(yù)報(bào)風(fēng)的研究[J].應(yīng)用氣象學(xué)報(bào),2006,17(增刊):125-129.

[4] 曾曉青,邵明軒,王式功,等 .基于交叉驗(yàn)證技術(shù)的 KNN方法在降水預(yù)報(bào)中的試驗(yàn)[J].應(yīng)用氣象學(xué)報(bào),2008,19(4):471-478.

[5] 涂小萍,趙聲蓉,曾曉青,等 .KNN方法在 11—3月中國近海測站日最大風(fēng)速預(yù)報(bào)中的應(yīng)用[J].氣象,2008,34(6):67-73.

[6] 車軍輝,李德生,李玉華 .數(shù)值預(yù)報(bào)產(chǎn)品釋用業(yè)務(wù)系統(tǒng)歷史數(shù)據(jù)存儲(chǔ)與檢索[J].應(yīng)用氣象學(xué)報(bào),2006,17(增刊):152-156.

P456

B

1003-6598(2010)06-0003-03

2010-04-15

周明飛 (1984-),女,助工,主要從事短期天氣預(yù)報(bào)工作。