王志斌，肖艷姣，王 玨，吳 濤

（1.中國(guó)氣象局武漢暴雨研究所，暴雨監(jiān)測(cè)預(yù)警湖北省重點(diǎn)實(shí)驗(yàn)室，湖北武漢 430205；2.武漢中心氣象臺(tái)，湖北武漢 430074）

引言

雷電是世界上十大自然災(zāi)害之一，隨社會(huì)的進(jìn)步其危害程度加大，每年都有因雷擊造成的人身傷亡和火災(zāi)事故發(fā)生。國(guó)內(nèi)外在雷暴的起電物理過(guò)程、電荷分布及與強(qiáng)對(duì)流天氣的關(guān)系、災(zāi)害評(píng)估等方面進(jìn)行了較多研究［1-8］。雷電發(fā)生的理論也取一定的成果，但起電放電機(jī)制還非常不明確，因此雷電的臨近預(yù)報(bào)存在著相當(dāng)?shù)碾y度，但有些學(xué)者通過(guò)研究發(fā)現(xiàn)天氣雷達(dá)反射率因子的強(qiáng)度和雷電發(fā)生有一定聯(lián)系，單體中如能產(chǎn)生雷電，單體反射率因子強(qiáng)度大于40 dBZ，頂高必須高于7 km，如國(guó)外學(xué)者Brandon等認(rèn)為，用負(fù)10℃層高度位置的反射率因子其值大于35 dBZ作為預(yù)測(cè)初始雷電，其命中率幾乎可達(dá)100%，但綜合考慮FAR（虛警率）和CSI（成功指數(shù)），則用負(fù)10℃層高度處40 dBz反射率因子強(qiáng)度作為預(yù)測(cè)初次雷電發(fā)生的最佳預(yù)測(cè)因子更佳。國(guó)內(nèi)學(xué)者李南等［9］利用閃電及雷電與雷達(dá)回波也進(jìn)行研究，發(fā)現(xiàn)閃電發(fā)生的數(shù)目和回波頂高有較好的關(guān)系。國(guó)內(nèi)外雷電的臨近預(yù)報(bào)技術(shù)采用資料主要是閃電定位系統(tǒng)、雷達(dá)回波等，近年來(lái)還加入了衛(wèi)星資料，利用數(shù)值預(yù)報(bào)產(chǎn)品做雷電的潛勢(shì)預(yù)報(bào)也非常流行。中國(guó)香港天文臺(tái)發(fā)展了名為ATLAS（AirportThunder?storm and Lightning Alerting System）的香港國(guó)際機(jī)場(chǎng)（HKIA）雷電臨近預(yù)報(bào)系統(tǒng)（Li et al，2008）［10］，主要由監(jiān)測(cè)與預(yù)報(bào)兩個(gè)模塊構(gòu)成。當(dāng)ATLAS監(jiān)測(cè)或預(yù)報(bào)到機(jī)場(chǎng)有云地（CG）閃電發(fā)生，會(huì)自動(dòng)產(chǎn)生紅色和黃色警報(bào)。該系統(tǒng)把閃電定位信息系統(tǒng)監(jiān)測(cè)到的雷電群用橢圓擬合，利用多普勒天氣雷達(dá)TREC技術(shù)得到風(fēng)矢量進(jìn)行雷電群的臨近外推，而預(yù)警結(jié)果則分別由權(quán)重集合WE（Weighted Ensemble）和時(shí)間延遲集合TLE（Time Lagged Ensemble）算法生成。在國(guó)內(nèi)雷電預(yù)警方面開(kāi)發(fā)的雷電臨近預(yù)警系統(tǒng)LNWS（Lightning Nowcasting and Warning System）（呂偉濤等，2009）［11］，該系統(tǒng)能夠綜合利用雷達(dá)、衛(wèi)星、閃電監(jiān)測(cè)系統(tǒng)、地面電場(chǎng)儀和探空儀等資料，結(jié)合區(qū)域識(shí)別、跟蹤和外推算法與決策樹(shù)算法，自動(dòng)生成雷電活動(dòng)潛勢(shì)預(yù)報(bào)和雷電臨近預(yù)警；最近，Zhou K H［12-13］利用深度學(xué)習(xí)，命名了一個(gè)為L(zhǎng)ightningNet的網(wǎng)絡(luò)，結(jié)合多元資料對(duì)閃電進(jìn)行預(yù)測(cè)。由于天氣雷達(dá)資料時(shí)空分辨率高，且對(duì)雷電的預(yù)警有幫助，因此把閃電定位資料和雷達(dá)資料是預(yù)警有效的手段之一。雷電生消和移動(dòng)預(yù)報(bào)非常困難，天氣雷達(dá)可以有效的從三維反射率因子場(chǎng)中定位風(fēng)暴，且能夠較好地追蹤和識(shí)別風(fēng)暴生消和移動(dòng)。由于雷電產(chǎn)生于風(fēng)暴中，所以本文是試圖把基于雷達(dá)三維拼圖和雷電的未來(lái)移動(dòng)結(jié)合起來(lái)，從而達(dá)到對(duì)雷電的臨近預(yù)警。雷電監(jiān)測(cè)中主要依賴于閃電定位儀，但它容易受周圍電磁環(huán)境的影響，產(chǎn)生虛假的雷電信息，因此利用雷達(dá)資料可以對(duì)它進(jìn)行必要的質(zhì)量控制。同時(shí)可以用三維的雷達(dá)資料結(jié)合常規(guī)的探空資料進(jìn)行閃電的識(shí)別，更重要的是可以通過(guò)雷達(dá)三維拼圖的資料利用改進(jìn)的變分光流方法進(jìn)行外推預(yù)報(bào)。本文利用三維雷達(dá)資料結(jié)合探空資料，設(shè)計(jì)出多層的卷積神經(jīng)網(wǎng)絡(luò)，在網(wǎng)絡(luò)的尾端輸入探空信息，并在網(wǎng)絡(luò)的末端增加了SVM分類器，這樣可以適當(dāng)提高雷電的識(shí)別率。由于產(chǎn)生雷電正負(fù)樣本的不平衡，我們使用SMOTE方法進(jìn)行樣本的擴(kuò)充，使得雷電的正負(fù)樣本達(dá)到平衡，實(shí)驗(yàn)表明，用三維雷達(dá)資料和探空資料，雷電的識(shí)別率為76.4%，利用外推的三維雷達(dá)資料進(jìn)行閃電的預(yù)報(bào)0-30分鐘的準(zhǔn)確率達(dá)54.0%，對(duì)業(yè)務(wù)應(yīng)用有一定的實(shí)用性。

1 研究數(shù)據(jù)及處理方法

1.1 資料網(wǎng)格化和質(zhì)量控制

資料使用的是武漢2016-2017的有雷電過(guò)程的資料，對(duì)武漢雷達(dá)資料進(jìn)行三維格點(diǎn)化處理，垂直方向21層，水平格距為0.01度，資料范圍以武漢雷達(dá)為中心距離100 km。

在形成三維格點(diǎn)場(chǎng)數(shù)據(jù)之前，需要使用模糊邏輯方法對(duì)各單部雷達(dá)的數(shù)據(jù)進(jìn)行質(zhì)量控制，本文利用吳濤［14］的方法進(jìn)行。在完成各單站雷達(dá)質(zhì)量后，采用了肖艷姣［15］三維拼圖方法完成坐標(biāo)格式的變換。對(duì)各單雷達(dá)數(shù)據(jù)質(zhì)量控制完成，個(gè)別雷達(dá)數(shù)據(jù)質(zhì)量仍有質(zhì)量問(wèn)題存在，還需要利用了多點(diǎn)平滑對(duì)整場(chǎng)進(jìn)行處理。通過(guò)上述各種方法計(jì)算出的格點(diǎn)風(fēng)場(chǎng)仍有奇異的地方，需要進(jìn)一步修正。如某一格點(diǎn)在速度和方向上超過(guò)某些閥值，此值也給予修正，用周圍平均值進(jìn)行替換。

對(duì)200 km范圍內(nèi)的三維雷達(dá)資料進(jìn)行細(xì)分，以格距為5*5的方框?yàn)樽R(shí)別單位。根據(jù)識(shí)別單位標(biāo)記有/無(wú)閃電信息。并行了質(zhì)量控制，以閃電密度為衡量標(biāo)準(zhǔn)，剔除一些可能虛假的閃電信息，如有閃電而沒(méi)有回波，以及閃電密度達(dá)不到要求的格點(diǎn)都認(rèn)為沒(méi)有雷電發(fā)生。樣本里只保留了有組合反射率大于35 DBZ的標(biāo)記單位，對(duì)小于35 DBZ的樣本進(jìn)行剔除。

1.2 雷電正樣本不足的處理

基于欠采樣的抽樣處理：在統(tǒng)計(jì)的總的樣例中，有雷電的5 888次，無(wú)雷電的有210 612次，比例1：35，顯然把這兩種資料同時(shí)放入CNN中進(jìn)行學(xué)習(xí)是不合適的。因此每次把5 888正樣例進(jìn)行放回抽樣，在210 612次反樣例中抽取同樣的5 888個(gè)樣例組成1：1的比例的樣例進(jìn)行計(jì)算，其中反樣例每次抽取是不同批次的數(shù)據(jù)。

利用SMOTE方法進(jìn)行樣例擴(kuò)充：SMOTE是改進(jìn)了的采用隨機(jī)過(guò)采樣進(jìn)行計(jì)算的方法，SMOTE算法是分析少數(shù)類樣本特點(diǎn)，并根據(jù)其特點(diǎn)合成新樣本加到原數(shù)據(jù)集中，其方法，步驟為：

（1）選取有雷電樣本L，以距離為標(biāo)準(zhǔn)（這里才用歐氏距離）計(jì)算它到有其它有雷電樣例樣本集中的距離，獲得k近鄰。

（2）根據(jù)有無(wú)雷電的樣本比例確定采樣倍率N（這里為35），對(duì)于每個(gè)有雷電類樣本，從其k近鄰中隨機(jī)選擇若干個(gè)樣本，假設(shè)選擇的近鄰為X。

（3）對(duì)于每一個(gè)隨機(jī)選出的近鄰Xi，按照如下的公式進(jìn)行計(jì)算構(gòu)建新的樣本。雷電新樣本=L+rand（0，1）*|L?X|，Rand（0，1）為產(chǎn)生的0到1之間的隨機(jī)數(shù)，樣本取完否，否：轉(zhuǎn)A步，是：則完成所有樣本選取。

2 模型及方法

2.1 改進(jìn)的變分光流方法

把常用HS和LK兩種方法結(jié)合［16］，給出的光流的能量函數(shù)如式（1）：

其中Δ2u，Δ2v為下面高階的拉普拉斯算子。

2.2 支持向量機(jī)介紹

雷電預(yù)測(cè)的有/無(wú)是一個(gè)二分類問(wèn)題，利用SVM［17］可以有效地處理這些問(wèn)題。它最初于20世紀(jì)90年代由Vapnik提出，在氣象等領(lǐng)域獲得了廣泛的應(yīng)用。在我們?cè)O(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)的第2個(gè)全連接層共有500個(gè)特征向量，利用這些特征向量再使用SVM進(jìn)行分類。它是利用非線性映射將輸入特征映射到高維特征空間，在高維特征空間中構(gòu)造線性分類，最后求解對(duì)偶問(wèn)題實(shí)現(xiàn)決策函數(shù)。

SVM算法為：

設(shè)集合T={（x1，y1），…，（xn，yn）}∈（X，Y），n為訓(xùn)練個(gè)數(shù)，其中xi∈X=Rn，yi∈Y∈{1，-1}，i=1，2，…，n

（1）選擇核函數(shù)K和懲罰參數(shù)C，構(gòu)造勢(shì)能函數(shù)，并求解。

（2）選擇α*的一個(gè)分量并據(jù)此計(jì)算

2.3 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

圖1 CNN+SVM網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 CNN+SVM network structure

網(wǎng)絡(luò)［18-22］由3個(gè)卷積層，兩個(gè)池化層，2個(gè)全連接層，并在第一個(gè)全連接層加入了合并層，尾端加入了支持向量機(jī)分類器組成。支持向量機(jī)用于CNN產(chǎn)生的特征向量以及探空數(shù)據(jù)的學(xué)習(xí)，最后產(chǎn)生2分類問(wèn)題，在網(wǎng)絡(luò)結(jié)構(gòu)中利用全連接層的輸出信息作為SVM的輸入，整個(gè)卷積網(wǎng)絡(luò)和SVM一起進(jìn)行訓(xùn)練。

雷達(dá)數(shù)據(jù)輸入由5*5水平格點(diǎn)及21高度層組成，探空數(shù)據(jù)由加密資料組成。包含高度，溫度，風(fēng)向，風(fēng)速，露點(diǎn)溫度等信息。

3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)平臺(tái)為1臺(tái)高性能服務(wù)器，有2個(gè)CPU共8核，共有16個(gè)CPU數(shù)，GPU英偉達(dá)（NVIDIA）Ge?Force RTX 2080Ti一塊，操作系統(tǒng)采用Centos 7.4。其上部署有Tensorflow和sklearn軟件。

3.1 欠采樣實(shí)驗(yàn)

我們利用5 888個(gè)正樣例，把反樣例分為35份，每份都和正樣例數(shù)據(jù)相等，分別訓(xùn)練由CNN組成的網(wǎng)絡(luò)和由CNN及SVM組成的混合網(wǎng)絡(luò)。得到每個(gè)批次網(wǎng)絡(luò)訓(xùn)練的最佳值見(jiàn)表1和圖2。比較兩者網(wǎng)絡(luò)的準(zhǔn)確率（預(yù)報(bào)正確的樣例/總樣例數(shù)和3.3的POD含義相同），發(fā)現(xiàn)混合網(wǎng)略比CNN好，CNN網(wǎng)絡(luò)準(zhǔn)確率平均值為73.8%，CNN+SVM均值為74.7%，高出近1個(gè)百分點(diǎn)，CNN網(wǎng)絡(luò)準(zhǔn)確率在71.4%-74.64%之間變化，CNN+SVM網(wǎng)絡(luò)72.30-76.44%之間變化，說(shuō)明樣本基本上是獨(dú)立同分布的。抽取其中第16個(gè)批次的CNN計(jì)算結(jié)果進(jìn)行分析，學(xué)習(xí)率為0.000 5，損失函數(shù)采用交叉墑，每次學(xué)習(xí)為200個(gè)樣例，其中學(xué)習(xí)樣例和測(cè)試樣例的比為5：1，隨著樣本的不斷增加，準(zhǔn)確率不斷上升，準(zhǔn)確率從64.5%到74.5%之間變化，見(jiàn)圖3，在網(wǎng)絡(luò)訓(xùn)練過(guò)程中有5和21兩個(gè)批次準(zhǔn)確率有5%的波動(dòng)，其它批次很穩(wěn)定。

圖2 CNN和CNN+SVM批次準(zhǔn)確率Fig.2 Batch accuracy of CNN and CNN+SVM

圖3 CNN第16批次準(zhǔn)確率Fig.3 Accuracy of CNN 16th batch

表1 CNN和CNN+SVM批次準(zhǔn)確率Table 1 Batch accuracy of CNN and CNN+SVM

3.2 SMOTE方法實(shí)驗(yàn)

我們把5 888個(gè)正樣例用，使用合成少數(shù)類過(guò)采樣技術(shù)SMOTE（Synthetic Minority Over?sampling Tech?nique），把正樣例擴(kuò)充到210 612個(gè)，使其與反樣例相等。同樣和欠采樣一樣分兩種情況訓(xùn)練，同樣采用學(xué)習(xí)率為0.000 5，損失函數(shù)采用交叉墑，每次學(xué)習(xí)為6 000個(gè)樣例，其中學(xué)習(xí)樣例和測(cè)試樣例的比為5：1，共需要35個(gè)批次學(xué)習(xí)完成，CNN準(zhǔn)確率從71.0%到76.6%之間變化，平均準(zhǔn)確在73.5%，CNN+SVM準(zhǔn)確率在70.2%-80.2%之間變化，平均在76.4%，SVM+CNN的平均準(zhǔn)確率比CNN高3%，說(shuō)明利用CNN并加入SVM的結(jié)果比CNN效果好。結(jié)果見(jiàn)圖4。

圖4 CNN和CNN+SVM學(xué)習(xí)批次準(zhǔn)確率Fig.4 Accuracy of learning batch of CNN and cnn+svm

對(duì)比欠采樣和SMOTE方法，總體SMOTE比欠采樣略好，以SMOTE方法中的CNN+SVM最好，但兩者才別不大，說(shuō)明SMOTE方法對(duì)基于雷達(dá)反射率因子及探空資料是可用。

3.3 預(yù)報(bào)個(gè)例實(shí)驗(yàn)

利用雷達(dá)三維拼圖資料，采用改進(jìn)的光流方法和半拉格朗日方法對(duì)三維拼圖資料進(jìn)行外推預(yù)報(bào)，在此基礎(chǔ)上進(jìn)行水平方向5*5的單元格劃分，垂直方向21層，同時(shí)加入探空資料輸入到網(wǎng)絡(luò)中，使用SMOTE方法訓(xùn)練好的參數(shù)進(jìn)行計(jì)算，用一個(gè)例進(jìn)行了預(yù)報(bào)，2018年5月18日午后江漢平原至鄂東北先后經(jīng)歷了一次強(qiáng)雷電天氣過(guò)程見(jiàn)圖5，雷電為有組織性的線狀風(fēng)暴產(chǎn)生，分布范圍廣，正負(fù)地閃均有出現(xiàn)，密度大。評(píng)分方法采用氣象上常用3種評(píng)價(jià)指標(biāo)進(jìn)行評(píng)估，時(shí)間范圍為北京10～12時(shí)，分別是擊中率、虛警率、臨界成功指數(shù)，分別用POD，F(xiàn)AR，CSI代表，評(píng)估結(jié)果見(jiàn)表2。并和中國(guó)氣象科學(xué)研究院開(kāi)發(fā)的雷電臨近預(yù)警系統(tǒng)（CAMS_LNWS）［14］進(jìn)行了比較，其中POD在2個(gè)時(shí)段都比CAMS_LNWS高，F(xiàn)AR也比CAMS_LNWS低，CSI相當(dāng)，結(jié)果見(jiàn)表3。

圖5 2018年5月18日06-12時(shí)湖北中東部雷電分及雷達(dá)布圖（左為雷電，右為雷達(dá)加雷電預(yù)報(bào)）Fig.5 Lightning and radar layout in central and Eastern Hubei from 06：00 to 12：00 on May 18，2018（Lightning on the left，radar and lightning forecast on the right）

表2 0-30和30-60 min預(yù)報(bào)指標(biāo)Table 2 0-30 and 30-60 minute forecast

表3 CAMS_LNWS系統(tǒng)0-30和30-60 min預(yù)報(bào)指標(biāo)Table 3 CAMS_LNWS system 0-30 and 30-60 minute forecast

由評(píng)估結(jié)果可知，雷電預(yù)報(bào)0-30 minPOD、CSI比30-60 min準(zhǔn)確率高，其中0-30 min的擊中率達(dá)到54%，和CAMS_LNWS系統(tǒng)比較都有一定程度的提高，具有較好的適應(yīng)性。但和實(shí)況監(jiān)測(cè)比預(yù)報(bào)有較大的下降，并隨時(shí)間延遲變化更大。

4 結(jié)語(yǔ)

通過(guò)設(shè)計(jì)CNN網(wǎng)絡(luò)，并在尾端加入SVM分類器，可以適當(dāng)提高分類效果，同時(shí)設(shè)計(jì)了2種樣本提取方法，用SMOTE方法能有效緩解了樣本不平衡問(wèn)題。

（1）使用SMOTE方法略好于欠采樣方法，但兩者才別不大，說(shuō)明樣本選取的是獨(dú)立同分布的。

（2）CNN+SVM準(zhǔn)確率在平均在76.4%，0-30分鐘擊中率0.54，成功指數(shù)為0.21；30-60分鐘擊中率0.35，成功指數(shù)為0.17，和傳統(tǒng)方法進(jìn)行比較有一定提高，可以進(jìn)行業(yè)務(wù)應(yīng)用。

（3）隨預(yù)報(bào)時(shí)間的延長(zhǎng)，POD和CSI都有顯著下降，這和反射率因子外推不能反映系統(tǒng)演變有較大關(guān)系，為此我們將進(jìn)一步優(yōu)化網(wǎng)絡(luò)設(shè)計(jì)，運(yùn)用深度學(xué)習(xí)進(jìn)行反射率因子預(yù)報(bào)。