朱巖 翟丹華 吳志鵬 張焱
(重慶市氣象臺,重慶 401147)
短時強降水是重慶地區(qū)最嚴重的災害性天氣之一[1],由于降水效率高、雨量大,局地性、突發(fā)性強,且極易引發(fā)山洪、泥石流和內澇等次生災害,是汛期短臨預報預警的重點和難點,因此,當前亟需更多預報產品為短時強降水的預報提供技術支撐。前人針對短時強降水的氣候統(tǒng)計、個例分析和復雜地形影響[2]等方面的特征條件已經做了很多有益的探索。李強等[3]分析了川渝地區(qū)汛期短時強降水事件日變化特征,指出其多發(fā)并加強于夜間,且歷時較長,極值降水多持續(xù)2 h等特征。袁晨[4]、周北平[5]等人對川渝地區(qū)短時強降水時空分布特征和監(jiān)測預警技術也有研究。
短時強降水臨近預報方法主要包括基于衛(wèi)星云參數預報[6]、雷達定量估測降水、基于配料法的統(tǒng)計回歸預報[7]等傳統(tǒng)方法以及新興的人工智能預報?;谂淞戏ê徒y(tǒng)計回歸方法的短時強降水預報技術已得到長足發(fā)展,并取得了一系列較好成果[8-14]。但是隨著氣象大數據的累積以及預報業(yè)務對準確率和精細化程度不斷提高的要求,這些傳統(tǒng)方法在應對高時空分辨率、多變量和高度非線性等挑戰(zhàn)上逐漸顯露出不足。
隨著人工智能在各行各業(yè)突飛猛進的發(fā)展,氣象預報領域也逐漸引入機器學習算法,并在諸如污染物、氣溫和能見度預報、強對流天氣識別、回波預報等方面取得了一些成果。在強降水預報方面,Gagne等[15]建立了基于邏輯回歸和隨機森林的定量降水校正概率預報。Ma Liang等[16]基于葵花衛(wèi)星資料和數字高程資料,利用梯度提升樹(GBDT)算法建立了降水落區(qū)預報模型。劉媛媛等[17]采用動態(tài)聚類算法研究了北京城區(qū)近12年來短歷時暴雨的時空分布規(guī)律。楊通曉等[18]采用粒子群優(yōu)化算法,結合支持向量機開發(fā)了雙偏振雷達對流降水類型識別方法。基于機器學習算法、針對短時強降水的預報技術研究也陸續(xù)見諸學界。路志英等[19]建立了一個深度信念網絡(DBNs),利用地面加密觀測數據對天津市短時強降水進行預報,檢驗結果表明DBNs預報明顯優(yōu)于支持向量機(SVM)和邏輯回歸(LR)。白曉平等[20]分別運用改進的二元Logistic回歸法和綜合多指標疊加法建立了西北地區(qū)東部的短時強降水預報模型,二元Logistic回歸法對獨立樣本預報的TS評分高達46.6%。鐘海燕[21]引入支持向量機(SVM)、梯度提升樹(GBDT)、極限提升樹(eXtreme Gradient Boosting, XGBoost)3種機器學習方法應用于雷達降雨產品的臨近降雨預報,實驗表明,基于SVM和GBDT的方法都具有較好效果,而XGBoost方法與PPLK方法相結合的預報性能在所有實驗成員中效果最好。孫俊奎等[22]基于概率神經網絡(PNN)、支持向量機(SVM)和邏輯回歸3種機器學習算法對石林地區(qū)的逐3 h間隔降水量的8個等級進行回歸建模,業(yè)務測試表明,PNN和SVM模型優(yōu)于邏輯回歸模型,TS在45%左右,中雨以上量級預報,3種模型的TS評分達28%。
目前,機器學習算法在短時強降水預報中的應用研究為數尚少,而重慶也缺乏本地化的短時強降水客觀預報方法及產品,因此本文將針對重慶地區(qū)短時強降水,基于二源或三源融合的逐小時格點降水資料和EC細網格再分析資料,通過箱線圖差異指數尋找預報變量閾值并建立消空規(guī)則,結合K均值聚類算法和Relief算法重建訓練集并優(yōu)選建模變量,最后建立基于Xgboost算法的短時強降水客觀預報模型,為重慶和周邊地區(qū)短時強降水預報提供技術支撐和客觀預報產品。
本文基于配料法選取了兩方面預報變量,一是短時強降水短臨預報業(yè)務中常用的基本診斷量,如可降水量、K指數和水汽通量散度等,二是由這些基本量衍生得到的具有綜合指示意義的復合因子,如濕位渦、濕熱力平流等,它們在高守亭等[23-24]對暴雨預報的理論和預報系統(tǒng)研發(fā)中得到了檢驗和推廣。
實況降水數據取自中國氣象局國家氣象信息中心的高分辨率融合降水產品[25]??紤]到重慶地區(qū)短時強降水主要集中在每年的5—9月,因此選取的數據時段為2011年至2015年的5—9月。其中2011年至2014年數據為地面-衛(wèi)星二源融合產品,水平分辨率0.1°×0.1°,2015年數據為地面-衛(wèi)星-雷達三源融合產品,水平分辨率0.05°×0.05°。為統(tǒng)一分辨率,從0.05°×0.05°降水場中抽稀取出與0.1°×0.1°格點場相同的格點,并截取重慶和周邊地區(qū)(28°~32.5°N,105°~110.5°E)作為研究區(qū)域,共2475個格點。根據中央氣象臺標準,短時強降水閾值為1 h降水量≥20 mm,為方便數據處理和計算,這里取逐小時的整點值。由于本文預報對象為短時強降水是否發(fā)生,因此樣本的標記采用二分類,達到閾值的樣本記為1,未達到的記為0,文中分別稱為正例和負例。實際業(yè)務中,在不利于短時強降水的大尺度天氣形勢下,中小尺度局地環(huán)流或者較好的環(huán)境場配置也會引發(fā)極少數孤立的短時強降水。以達標站數是否滿足總格點數的1%為判斷標準,剔除了低于1%的時次,減少了短時強降水比例過低時次對建模過程的干擾。
預報場采用EC細網格(0.25°×0.25°)2011—2015年的5—9月逐日02:00、08:00、14:00、20:00(北京時,下同)起報的再分析資料,包括位勢高度、溫度、相對濕度、風速、風向等基本氣象要素用于計算物理量場,以及相同網格分辨率的逐小時總降水量再分析場作為基準,用于對比評估本方法相對模式預報的效果。另外,EC資料中不包含地形數據,而重慶地區(qū)山脈縱橫,地形復雜,地形對強降水的觸發(fā)作用應當考慮在內。因此,地形數據采用重慶市氣象局與美國Oklahoma大學共同研發(fā)的中尺度數值模式輸出的水平分辨率3 km地形高度值??臻g上,采用雙線性插值將EC細網格上的要素插值到0.1°格點場上;時間上,以距離當前降水時次最近的前一再分析場時次作為相匹配的預報場,經過整合后形成一套完整統(tǒng)一的樣本集。其中2011—2014年樣本作為訓練集,2015年樣本作為測試集。除地形高度以外所有變量的計算均基于EC細網格高空形勢場的基本要素,中英文變量名及其單位見表1。
表1 預報變量Ibd值
為初步觀察預報變量對短時強降水的區(qū)分程度,分別從訓練集的基本和衍生診斷量中選取K指數、整層可降水量、850 hPa水汽通量散度和對流有效位能、濕熱力平流參數、風暴強度指數兩組變量,繪制正、負例在變量構成的特征空間中的分布。由于各變量量級差異以及自身變化幅度均較大,為方便對比數據和可視化的美觀,將以上變量標準化為無量綱數值。
如圖1所示,選取的變量是具有一定識別作用的,部分正例處于負例之外,但是也存在很多重疊、交叉樣本,且負例總量遠遠大于正例。因此,需要根據變量對正負例的區(qū)分度初步篩選樣本消除負例,并選擇預測能力較強的變量進行建模,以增強分類效果。另外,嚴重的類別不平衡性也要求在建模和預報時必須根據樣本權重在重采樣、誤分代價、判定閾值等至少某一環(huán)節(jié)中采取措施,以免模型的響應能力被多數類樣本“淹沒”。
圖1 2011—2014年樣本集變量和預報對象的三維分布:(a)K指數(K),整層可降水量(PW)和850 hPa水汽通量散度(QF850),(b)對流有效位能(CAPE),濕熱力平流參數(GMTP)和風暴強度指數(SSI)(紅點為正例,綠點為負例)
1.3.1 閾值法和消空規(guī)則
由于樣本集存在的嚴重類別不平衡性會削弱分類效果,因此需要在建模前尋找特征變量進行消空,通過剔除負樣本在一定程度上削弱不平衡性。為考察所有預報變量對短時強降水的區(qū)分度,引入Fu等[26]定義的箱線圖差異指數(box difference index,Ibd),對于變量的選取和預報前的消空具有很好作用:
(1)
式(1)中,M1表示短時強降水發(fā)生時某變量的均值,M0為無短時強降水時的相應值,σ1和σ0分別為該變量在兩種情況下相應的標準差。如果事件發(fā)生和不發(fā)生時變量的平均值差異大而總方差小,也即Ibd較大,則該變量對事件是否發(fā)生的區(qū)分度高,適于在預報前初步消空潛勢低的樣本。
各預報變量的Ibd如表1所示,左右兩列已按照Ibd絕對值降序排列。在與短時強降水呈反相關的變量中,地形高度、濕熱力平流參數、700 hPa散度和水汽通量散度的Ibd相對較高,絕對值超過0.1;在與短時強降水呈正相關變量中,850 hPa渦度、修正K指數和K指數等變量的Ibd相對較高。這些具有相對大值Ibd的變量將被賦予更高權重加入消空過程,以體現(xiàn)其對短時強降水更強的區(qū)分能力。另外,衍生量雖然綜合反映了動、熱力和水汽條件,具有更全面的指示意義,但Ibd都相對較低。
如圖2所示,以K指數和700 hPa散度為例,訓練集負例對應的兩個變量值域分別為12~48 ℃、-10~32 s-1,且該值域完全包含了正例的值域。負例對應的變量奇異值可能為模式的錯誤預報,在實際情況中極少出現(xiàn)。因此如果分別選用訓練集中的最小、最大變量值(通常為負例的最值)作為短時強降水發(fā)生的臨界閾值,而無視利于降水發(fā)生的最小、最大變量值(正例的最值),就會引入大量負例從而造成空報過多。為此引入消空所依據的閾值法:選取短時強降水發(fā)生時某變量剔除異常值后的最小值和最大值作為閾值。異常值的定義為:令Q3,Q1分別對應某診斷量箱的上下邊界值,Q3-Q1則為上下四分位距,當某值小于最小閾值Q1-1.5(Q3-Q1)或大于最大閾值Q3+1.5(Q3-Q1)時,則為異常值。根據以上規(guī)則,如圖2所示,K指數最小、最大閾值分別為32 ℃、44 ℃,700 hPa散度最小、最大閾值分別為-4 s-1、4 s-1。閾值法消空會以剔除一小部分正例為代價,大幅降低空報率,使整體TS評分得到提高。最后,即使K指數的Ibd在所有正相關變量中名列第3,已具有較好的區(qū)分能力,正、負例的K指數箱線仍非常接近,可見滿足單一或者少數幾個變量的閾值仍然難以區(qū)分兩類樣本并有效消空,因此應建立多變量閾值規(guī)則判斷降水潛勢,剔除潛勢較弱的格點或滿足潛勢條件的格點數占總體格點數比例過低的時次。應該注意到,由于不同地形高度處均有發(fā)生短時強降水可能性,如果只預報滿足某高度閾值的格點,則會造成低于此高度閾值格點從來不進入預報的不合理現(xiàn)象,故地形高度不進入消空環(huán)節(jié)。
圖2 訓練集短時強降水發(fā)生(1)和不發(fā)生(0)時K指數(a)和700 hPa散度(b)分布箱線
具體消空規(guī)則為:對于某一時次預報場,計算每個格點的多變量閾值條件加權和。對每個格點有:
(2)
式(2)中,|IBD|為各變量的IBD值絕對值,Bool為1或0的布爾值,表示是否滿足該變量的閾值,n為變量數,S為所有變量的IBD絕對值在該格點上的加權和。判斷總體潛勢是否達到消空標準,即S值非零的格點數是否達到總格點的1%,若未達到,則認為該時次發(fā)生短時強降水潛勢很低,不進入模型預報,所有格點預報為無短時強降水發(fā)生。表2為訓練集和測試集在經過消空前后的正、負例數量和比例。消空后,正例占比都有一定升高,但相對負例仍然很低,類別不平衡現(xiàn)象依然明顯。
表2 訓練集和測試集消空前后正、負例數量和比例變化
1.3.2 類別平衡和特征選擇
初選的預報變量為半經驗性,且各因子之間存在一定程度共線性,可能會對機器學習過程帶來負擔。由Ibd值可見,若干變量對短時強降水的區(qū)分度很低,其預測能力可能也較低,需要進一步篩選預報變量。而且,經過初步消空以后正例所占比例仍然很低,兩類樣本依然很不平衡。處理類別不平衡數據分類問題主要有兩大途徑:在算法層面,采用集成學習穩(wěn)定整個分類器的預測性能并提高泛化能力,或者引入懲罰機制,根據不同類別的風險偏好對錯誤分類設置相應的代價函數加深學習“記憶”;在數據層面,采用過采樣、欠采樣、人工合成新樣本等方式平衡類別或者設置非常規(guī)的判定閾值。
(3)
其中,diff(xi(j),yi(j))為樣本與其臨近樣本在第j維特征上的距離函數。M為隨機抽樣次數。
當第j維特征為非數值型變量時,距離函數為:
(4)
當第j維特征為數值型變量時,距離函數為:
(5)
其中,max(j)、min(j)分別為第j維特征數值的最大、最小值。
由式(3)可見,對于第j維特征,當樣本到不同類最近樣本的距離大于同類最近樣本的距離時,該樣本在第j維特征上有利于分類器分類,因此w(j)累加正數,否則該特征不利于分類,w(j)累加負數。
然而在不平衡數據集上,多數類樣本被選中的概率遠遠高于少數類樣本,等比例更新權重可能使特征權重偽偏大從而影響分類效果。針對此問題,改進了Relief算法以面向不平衡數據。首先使用K均值算法將多數類樣本聚類為q類,然后分別在q個子類和少數類,總共q+1類樣本中按比例釆樣,形成兩大類別大致平衡的訓練集。同時引入樣本權重到Relief算法中,判斷隨機選擇的樣本,若為少數類樣本,更新特征權重時乘以大于1的因子,反之則乘以小于1的因子。
當隨機選擇的樣本屬于少數類樣本時,特征的權重更新公式為:
(6)
屬于多數類樣本時:
(7)
其中,|S|、|L|分別表示少數類和多數類樣本數。決定特征去留的閾值由下式計算:
(8)
式中,M是隨機抽樣次數:3678,α是第1類錯誤的概率,取0.05,得τ≈0.073。將經過以上樣本平衡和特征篩選步驟后形成的樣本作為最終訓練集。
各個變量的平均權重如圖3所示,平均權重大于閾值的變量在圖中以黑色柱體顯示,有風暴強度指數、對流有效位能、總指數、修正K指數、整層可降水量、抬升指數、500 hPa渦度平流和700 hPa渦度。采用這些入選變量建模。和Ibd值比較可見,部分高Ibd值的變量平均權重較低,少數高Ibd值變量仍具有較高權重,如總指數、修正K指數和抬升指數,因此Ibd不能完全代表變量的預測能力。
圖3 各預報變量平均權重(黑色為大于閾值的變量)
1.3.3 評價指標
本文結合機器學習領域常用的AUC值以及氣象預報領域的TS評分、空報率、漏報率作為評價指標。
ROC曲線(受試者工作特征曲線)是指在特定刺激條件下,以被試對象在不同判斷標準下所得的空報概率為橫坐標,以命中概率為縱坐標,連接各點而成的連線。AUC(Area Under Curve)是衡量二分類模型優(yōu)劣的評價指標,為ROC曲線下方與坐標軸圍成的面積,取值范圍在[0.5,1],越接近1,分類器越完美,越接近0.5,分類器越接近隨機猜測。AUC同時考慮了分類器對于正例和負例的分類能力,在樣本不平衡的情況下,依然能夠對分類器作出合理的評價,但AUC反應了太過籠統(tǒng)的信息,無法反應召回率、精確率等在實際業(yè)務中經常關心的指標。
有鑒于此,根據TS評分、命中率POD和空報率FAR的定義,結合機器學習領域常用評價指標,得到三者的計算公式為:
TS=NA/(NA+NB+NC)
(9)
POD=NA/(NA+NB)
(10)
FAR=NC/(NA+NC)
(11)
其中,NA,ND,NC,NB為模型對二分類問題正確和錯誤判斷的樣本數量,其意義見表3。
表3 機器學習性能指標的意義
值得注意的是,AUC表示模型總體上對所有類別的預測性能。當類別不均衡時,容易因為高的AUC而忽略實際上對少數類預報效果并不理想的情況,因此命中率和空報率對于類別不平衡問題是更清晰的衡量指標。
集成學習通過構建并結合多個學習器來完成學習任務,可獲得比單一學習器更好的泛化性能。作為Boosting集成學習算法家族中的一員,Xgboost是一個樹集成模型,將K個CART回歸樹的結果進行求和,作為最終的預測值:
(12)
式中,Xi為第i個樣本,f(x)為單個樹的結構和葉節(jié)點權重,Φ為所有k個樹的集成。不同于傳統(tǒng)集成決策樹算法,Xgboost能夠在節(jié)點內選擇最佳分裂點,候選分裂點計算增益用多線程并行,訓練速度快。其代價函數為:
(13)
(14)
Xgboost有包括正則化項、學習率和決策樹數量和樹結構屬性等眾多超參數。超參數定義了模型的復雜度或學習能力等特定基本屬性,是在開始學習過程之前需要確定的參數,而不是在學習過程中由算法習得的參數,如權重和偏置。調節(jié)超參數的意義在于最小化期望風險,使模型優(yōu)化度和模型復雜度達到平衡,盡可能同時避免欠擬合和過擬合。網格搜索是應用最廣泛的建立在交叉驗證基礎上的超參數搜索算法,這種窮舉式調參算法通過循環(huán)遍歷嘗試每種參數組合的可能性,找出表現(xiàn)最好的組合,能夠找到全局最大或最小值。過程中采用了5折交叉驗證,也即將訓練集5等分,取其中一份為驗證集,其余4份為新訓練集,經過5次在不同驗證集上的測試,取最優(yōu)結果所對應的超參數組合。最佳關鍵超參數組合如表4所示:
表4 Xgboost最優(yōu)超參數配置
將2015年獨立樣本經過以上閾值消空和變量選擇步驟后投入模型預報。模型可以輸出概率預報也可以輸出確定性預報。經過聚類后的新訓練集類別大致平衡,Xgboost的缺省樣本不平衡度為1,也即類別平衡,而測試集中仍為類別不平衡,短時強降水出現(xiàn)概率小于0.5,如果采用模型在類別平衡時默認的0.5概率值,確定性預報會產生大量漏報,因此采用了不同的概率閾值生成相應的確定性預報以觀察效果。
如圖4所示,AUC由概率預報產生的概率值本身決定而不隨概率閾值變化,因此保持0.92,表明模型的分類性能總體上較好。但對于類別不平衡的預測問題,還需要考察模型對各個類別的預測準確率。隨著概率值從0.01開始增加,TS評分上升,POD和FAR下降,在閾值為0.1左右時三者達到穩(wěn)定,分別為0.30、0.88和0.69。在閾值從0.1增至0.35的過程中,由于除個別樣本的概率值接近0.35以外,其余均小于0.1,各項指標因此不隨概率閾值的增加而變化。當閾值超過0.35后,由于模型未能識別出任何正例(NA、NC均為0)而導致TS和POD陡降至0,F(xiàn)AR為無意義的除零數(圖中置為0),因此最佳的概率閾值為0.1,對應TS為0.3。實際應用中,可根據對空報和漏報率的敏感程度調節(jié)閾值得到用戶自定義的確定性預報結果。在相同測試集上,EC未能體現(xiàn)出實況的任何短時強降水事件,且全部偏離實況,因此其TS和POD評分為0,空報、漏報率為1(圖略)。模型相對EC對于2015年測試集上的短時強降水預報具有一定優(yōu)勢。
圖4 各項檢驗指標在不同概率閾值上的分布
2.2.1 渝西南短時強降水過程分析
2015年6月28日夜間至30日,受高空波動槽、中低層低渦切變和低層暖平流影響,重慶長江沿線以北地區(qū)大雨到暴雨,西部區(qū)縣的部分鄉(xiāng)鎮(zhèn)達大暴雨,并有短時強降水等強對流天氣,24 h累積雨量如圖5a所示。
圖5 重慶市2015年6月28日20:00至29日20:00(a) 和7月21日08:00至22日08:00(b)實況雨量
如圖6a、c所示,雖然EC再分析場在6月29日02:00—05:00的累積降水量主雨帶形態(tài)與實況較吻合,重慶西北部預報的3~10 mm降水落區(qū)(紅色實線圈所示)對實況的相應強降水區(qū)域有所反映,但預報較實況相比明顯偏弱,主雨帶中未預報10 mm以上落區(qū),對于川北地區(qū)孤立的20 mm以上強降水中心(紅色虛線圈所示)的預報位置也有明顯偏西,預報效果不佳。Xgboost模型于29日02:00起報的短時強降水概率高值區(qū)(圖6b)與實況的吻合度大大提升,除少數地區(qū)的空、漏報外,Xgboost預報不僅抓住了從重慶西北部到重慶東北部的西南—東北向主雨帶形態(tài)特征,還對川北地區(qū)的短時強降水落區(qū)有所反應(如圖中紅色虛線圈所示),而全球模式往往很難預報出此類相對較弱的降雨中心或次雨帶。02:00—03:00(圖6d),遂寧、潼南已產生短時強降水,且中心強度在30 mm以上,從南充到城口為一條斷裂為南北兩段的強降水帶,隨后遂寧—潼南強降水中心向東、向南發(fā)展進入合川、銅梁,南充—城口強降水帶在保持基本形態(tài)的前提下向東發(fā)展,有若干小中心生消演變(圖6e)。川北地區(qū)在04:00—05:00新生強降水中心(圖6f)。Xgboost預報的概率高值區(qū)基本包含了這些時段的強降水落區(qū),且其西南-東北向的大值區(qū)中具有兩條主線(如圖中紅色實曲線所示),分別與03:00—05:00強降水發(fā)展演變所形成的兩條主雨帶(如圖中黑色實曲線所示)形成對應。到29日下午,如圖7所示,Xgboost預報仍好于EC再分析場,對雨帶強度和形態(tài)的刻畫均更準確。Xgboost的高概率區(qū)不僅分布在重慶西部的重慶主城、銅梁、璧山等已經發(fā)生了短時強降水的地區(qū),在廣安和江津也有分布(分別為紅色實線、虛線圈所示)。隨著降水系統(tǒng)的移動和演變,到20:00(圖7f),18:00初生于廣安的降水增強到20 mm以上,而江津也產生短時強降水,與Xgboost在14:00預報的概率高值區(qū)吻合。此過程的兩個時段中,如圖10所示,Xgboost預報的TS、POD、FAR分別在0.2~0.4、0.6~0.9和0.6~0.8之間,EC的TS為0,未在圖中顯示。因此Xgboost對于此次過程兩個時段的短時強降水預報好于EC。
圖6 EC細網格再分析場的6月29日02:00—05:00降水量(a)、Xgboost模型29日02:00起報的短時強降水客觀概率預報(b)和29日02:00—05:00實況降水量(c)以及02:00—03:00(d)、03:00—04:00(e)、04:00—05:00(f)小時降水量
圖7 EC細網格再分析場的6月29日17:00—20:00降水量(a)、Xgboost模型29日14:00起報的短時強降水客觀概率預報(b)和29日17:00—20:00實況降水量(c)以及17:00—18:00(d)、18:00—19:00(e)、19:00—20:00(f)小時降水量
2.2.2 渝西短時強降水過程分析
2015年7月21日至22日,受高空槽冷平流和中低層低渦切變影響,中西部和東南部地區(qū)及東北部偏南地區(qū)普降大雨到暴雨,局部大暴雨,并伴有短時強降水等強對流天氣。24 h累積雨量如圖5b所示。
如圖8a、c所示,EC預報較上一次過程更好,雖然總體上仍然偏弱,但在重慶西部與四川交界地區(qū)預報了20 mm以上強降水,降水落區(qū)的形態(tài)與實況在一定程度上吻合。14:00起報的Xgboost則不僅預報了重慶偏西地區(qū)的概率高值區(qū),對應著實況3 h累積雨量在50 mm以上的強降水中心,在合川和永川分別也有概率高值區(qū)(分別為紅色實線、虛線圈所示),從圖8d~f的逐時降水量演變可見,雨團東移發(fā)展并逐漸體現(xiàn)較清晰的人字形切變形態(tài),19:00—20:00在合川和永川也產生了短時強降水。到21日夜間,如圖9所示,EC在重慶西南部預報的強降水落區(qū)明顯落后于實況,重慶中部地區(qū)(紅色實線圈所示)的落區(qū)預報較準確。Xgboost仍然抓住了主雨帶動態(tài),較好預報了黔江、彭水地區(qū)的強降水(如圖中曲線所示)。對于切變線上的雨帶東移和湖南西北部新生的強降水區(qū)(紅色虛線圈),Xgboost都有所體現(xiàn),即彭水—黔江和務川—酉陽—咸豐(紅色曲線所示)分別有概率高值區(qū)與未來3 h內相應地區(qū)的實況短時強降水(黑色曲線所示)相對應。
圖8 EC細網格再分析場在7月21日17:00—20:00降水量(a)、Xgboost模型21日14:00起報的短時強降水客觀概率預報(b)和21日17:00—20:00實況降水量(c)以及17:00—18:00(d)、18:00—19:00(e)、19:00—20:00(f)小時降水量
圖9 EC細網格再分析場在7月22日02:00—05:00降水量(a)、Xgboost模型22日02:00起報的短時強降水客觀概率預報(b)和22日02:00—05:00實況降水量(c)以及02:00—03:00(d)、03:00—04:00(e)、04:00—05:00(f)小時降水量
如圖10所示,在此次過程的兩個時段中,Xgboost預報的TS、POD、FAR分別在0.2~0.4、0.6~1和0.6~0.8之間。TS和FAR評分與前一過程總體持平,POD略高于前一過程,但兩次過程的Xgboost預報無論從定量還是定性結果來看都優(yōu)于EC。從以上個例分析可見,該方法可以較好預報短時強降水發(fā)生的概率及落區(qū),對短臨預報預警具有一定參考價值。
圖10 兩次短時強降水個例的Xgboost預報的各項評分隨時次變化(起報時刻分別為6月29日02:00、14:00以及7月21日14:00和22日02:00)
收集了2016、2017和2019年的主要短時強降水過程,并使用本文創(chuàng)建的預報模型進行回報檢驗。同時,檢驗了EC再分析場在相應時次的預報效果,結果見表5。
表5 Xgboost模型預報和EC預報在2016—2019年幾次短時強降水過程中的檢驗
由表5檢驗結果可見,Xgboost預報的TS評分在0.1以上,POD在0.2左右,相對2015年獨立樣本測試的結果較低,但在各個樣本集和指標上均優(yōu)于EC細網格。已有研究表明[28],常規(guī)業(yè)務中,短時強降水預報在第1小時的TS在0.1以下,并隨時效遞減,就此次回報檢驗而言,其TS評分略高于文獻指出的常規(guī)業(yè)務水平。FAR總體較高,達到0.7左右,模型的空報較多。值得說明的是,本文采用了嚴格的時空點對點二分類檢驗,即預報了短時強降水的小時時段以及格點與實況完全一致時才判斷為命中,且EC細網格再分析場具有全球模式對中小尺度對流性強降水預報偏弱的固有局限性,另外在插值模式降水統(tǒng)一分辨率的過程中也會削弱、平滑強降水,以上因素可能導致了檢驗結果中EC表現(xiàn)差。綜上,Xgboost模型相對EC細網格在短時強降水預報上具有明顯優(yōu)勢,業(yè)務應用中也具有一定參考意義。
盡管高分辨率數值模式不斷發(fā)展,但其對短時強降水等強對流天氣的預報能力仍然嚴重不足。隨著大數據挖掘和機器學習在各個領域的大放異彩,基于高時空分辨率模式、結合了機器學習算法的短時強降水客觀預報技術成為一種非常值得嘗試的思路。本文選取了重慶地區(qū)2011—2015年 5—9月間逐小時實況格點降水場,在利用EC細網格模式的再分析資料計算預報變量的基礎上,通過觀察變量的箱線圖差異指數確定了閾值進行消空,初步剔除了噪音樣本并建立訓練集,然后結合K均值聚類和改進的Relief算法,構造了類別平衡的訓練集并挑選出預測能力較強的預報變量最終進入模型,最后依托Xgboost算法建立起短時強降水預報模型,可以輸出概率預報或用戶自定義概率閾值生成的確定性預報,可對目前業(yè)務中的雷達降水估測和模式預報形成補充。2015年獨立樣本測試和近年來短時強降水過程的回報檢驗表明,該方法對重慶地區(qū)的短時強降水預報較EC細網格更好,其產品在實際業(yè)務中也具有一定參考意義。本文主要結論歸納如下:
(1)基于EC細網格再分析資料計算了短時強降水預報變量,并根據各預報變量的箱線圖差異指數IBD制定了閾值法消空規(guī)則,通過剔除短時強降水潛勢過低的時次來提高短時強降水樣本在總體樣本中的占比,達到消空目的并做出初步預報。其中850 hPa渦度、K指數、修正K指數、700 hPa散度、700 hPa水汽通量散度以及地形高度的IBD絕對值大于0.2,相對其他變量較高。
(2)結合K均值聚類算法和改進的Relief算法,建立了類別平衡的新訓練集,并考察了變量對短時強降水的預測能力。變量平均權重表明,抬升指數、整層總降水量、修正K指數、總指數、對流有效位能和風暴強度指數等變量預測能力較突出,因此將其納入建模過程。
(3)在樣本初步消空、預報因子篩選和重建類別平衡訓練集的基礎上,初始化了Xgboost算法,并通過網格搜索調參確立了最佳超參數,建立起Xgboost短時強降水客觀概率預報模型。
(4)2015年獨立樣本測試表明,當概率閾值取0.1時,模型的AUC為0.92,總體分類效果較好,全體樣本的短時強降水TS評分可達0.3,好于EC再分析場。對其中兩次個例分析表明,Xgboost短時強降水客觀概率預報能更好刻畫強降水發(fā)生的概率和落區(qū),逐時次的預報效果仍優(yōu)于EC,TS評分在0.2~0.4之間。近年來短時強降水過程的回報檢驗中模型預報的TS雖有降低,但仍高于EC再分析場,與業(yè)務水平持平,具有一定參考意義。
同時,本研究也存在以下幾點不足需要注意:受資料所限,本文采用6h間隔的再分析資料作為起報場計算預報變量,起報后的2~6 h內預報效果會逐漸變差,但隨著該模型與業(yè)務EC細網格模式的對接,上述問題有望得到緩解;其次,氣候背景異常,如厄爾尼諾年的異常降水,以及模式在分辨率、參數化方案和同化方案等方面的變換更新都可能對模型穩(wěn)定性和預報結果產生不利影響,因此預報概率閾值需要根據氣候背景和模式升級重新確定;最后,本方法只能對短時強降水有無做出預報,無法指示其具體量級或強度。這些都是下一步工作中需要改進和注意的。