趙玉娟, 王 彥, 李宗飛, 李曉波, 郭 陽, 李祥海, 閆文月

1(天津市氣象信息中心, 天津 300074)

2(天津市人工影響天氣辦公室, 天津 300074)

3(天津市氣象探測中心, 天津 300061)

風廓線雷達是利用大氣湍流對電磁波的散射作用對大氣風場進行探測的設備, 可連續(xù)獲得測站上空較高時間、空間分辨率的垂直風廓線資料, 研究其在不同天氣條件下的變化規(guī)律對于改善氣象預報服務質量具有重要意義, 因此許多專家學者開展了風廓線雷達數(shù)據(jù)特征的分析研究.

楊引明等[1]討論了風廓線雷達的垂直速度和溫度資料在強對流天氣中的應用. 鄭石等[2]運用風廓線雷達數(shù)據(jù)對南京浦口區(qū)短時暴雨過程進行分析, 發(fā)現(xiàn)了風廓線雷達產(chǎn)品的水平風廓線、垂直氣流和折射率結構常數(shù)等在降水過程不同階段的精細特征. 董保舉等[3]利用云南大理的一次暴雨過程, 研究了風廓線雷達資料在降水前和降水期間的不同特征. 陳楠等[4]利用2005-2008年兩部風廓線雷達風場數(shù)據(jù)對南京地區(qū)低空急流的活動特征進行了統(tǒng)計分析. 史珺等[5]基于天津地區(qū)一次短時強降雨過程, 利用3部風廓線雷達資料和降水實況資料, 對比分析了降水發(fā)生、維持和消亡期間風廓線雷達資料的變化特征, 探討了風廓線雷達對降水天氣的監(jiān)測能力. 王彥等[6]聯(lián)合應用5部風廓線雷達、多普勒天氣雷達組網(wǎng)觀測資料、海河流域自動氣象站資料詳細分析了2012年7月21日海河流域強降水發(fā)生、發(fā)展過程中溫度場、風場演變特征.周芯玉等[7]利用風廓線雷達對廣東前汛期短時強降水類暴雨過程低空風場特征進行了研究. 王佳津等[8]分析了成都兩次暴雨期間風廓線雷達觀測的低空風場特征.

總體來看, 目前針對不同天氣條件下風廓線雷達數(shù)據(jù)特征的研究多采用的是少量典型天氣個例和常規(guī)的統(tǒng)計分析, 利用挖掘技術的研究較少. 數(shù)據(jù)挖掘是從大量數(shù)據(jù)中發(fā)現(xiàn)有價值信息的有效手段, 通信、電力、氣象等領域的諸多專家學者將數(shù)據(jù)挖掘技術引入實際應用, 取得了不錯的效果. 林勤等[9]將雙聚類算法引入電信高價值客戶細分, 實驗結果表明, 可挖掘出更多高價值客戶群體. 周笑天等[10]、史靜等[11]基于關聯(lián)規(guī)則、聚類, 提出了氣象數(shù)據(jù)質量控制的新方法. 劉偉東等[12]利用K均值聚類方法, 將北京地區(qū)2007-2010年123個自動氣象站夏半年小時降水分為4個區(qū), 進而分析得到了北京地區(qū)降水的精細化時空分布特征.熊亞軍等[13]開展了KNN數(shù)據(jù)挖掘算法在北京地區(qū)霾等級預報中的應用研究. 杜良敏等[14]提出了基于聚類分區(qū)的中國夏季降水預測模型. 雷景生等[15]利用模糊C均值算法得到了不同區(qū)域用戶的用電特征. 茍浩峰等[16]基于聚類方法得到了蘭州地區(qū)自動站降水的精細化特征. 李宗飛等[17]基于聚類開展了X波段雙偏振雷達相態(tài)識別的研究, 取得了良好的效果. 蘭榮亨等[18]以斗魚直播平臺為例, 聚焦于直播平臺上的高消費群體,通過構建觀眾特征, 采用聚類方法分析高消費群體的行為. 任禹丞等[19]將聚類分析技術應用在電力客戶用電問題分析領域, 挖掘出了隱藏的客戶用電問題關鍵信息, 為改進電力客服質量與潛在服務風險預測提供了數(shù)據(jù)支撐.

天津靜海邊界層風廓線雷達站已積累了大量的觀測資料, 探索基于數(shù)據(jù)挖掘技術的風廓線雷達數(shù)據(jù)特征分析方法, 揭示風廓線雷達數(shù)據(jù)更具普遍性的規(guī)律,為氣象預報預測、防災減災提供更多參考, 具有非常重要的意義.

本文主要研究了將聚類分析技術應用在風廓線雷達數(shù)據(jù)特征分析領域, 通過數(shù)據(jù)預處理及改進的聚類方法, 對風廓線雷達觀測數(shù)據(jù)進行分析. 文中基于聚類技術, 以天津靜海風廓線雷達觀測數(shù)據(jù)為基礎, 提出了針對風廓線雷達數(shù)據(jù)分析的改進聚類算法, 并通過實驗驗證了該方法可快速準確地實現(xiàn)風廓線雷達數(shù)據(jù)的自動聚類, 挖掘出風廓線雷達數(shù)據(jù)中更具普遍性的規(guī)律, 從而為風廓線雷達數(shù)據(jù)特征分析提供了新思路, 為氣象預報服務提供了新參考依據(jù).

1 聚類模型設計

1.1 K-means算法原理及適用性分析

聚類包括基于劃分、基于層次、基于密度、基于網(wǎng)格等多種方法, 本文采用基于劃分的聚類方法中較為經(jīng)典的K-means算法. K-means算法把類的形心定義為類的均值, 對包含N個對象的數(shù)據(jù)集D的聚類處理流程如下:

Step 1. 從數(shù)據(jù)集中隨機選取K個樣本作為初始聚類中心C={c1, c2, …, ck}.

Step 2. 針對數(shù)據(jù)集中每個樣本xi, 計算它到K個聚類中心的距離并將其分到距離最小的聚類中心所對應的類中.

Step 3. 針對每個類別ci, 重新計算它的聚類中心.

Step 4. 重復第2步和第3步直到聚類中心不再變化.

K-means方法適合處理數(shù)值型數(shù)據(jù)集, 可對大量數(shù)據(jù)根據(jù)屬性進行高效分類. 風廓線雷達數(shù)據(jù)的探測高度、垂直速度屬性均為數(shù)值型. 邊界層風廓線雷達工作在L波段, 在無降水天氣條件下, 接收的信號主要是大氣湍流運動造成折射率分布不均勻而產(chǎn)生的散射;在降水天氣條件下, 接收的信號主要是雨滴在入射電磁波極化下作強迫的多極震蕩而產(chǎn)生的散射[20,21]. 不同天氣條件下, 風廓線雷達探測能力差別很大. 風廓線雷達的探測原理決定了其在不同天氣條件下的探測數(shù)據(jù)會存在較大差異, 已有個例研究也表明, 風廓線雷達數(shù)據(jù)的探測高度、垂直速度在降水、晴天等天氣條件存在不同規(guī)律, 因此, 可將K-means方法應用于風廓線雷達數(shù)據(jù)探測高度、垂直速度屬性的聚類劃分.

1.2 基于K-means改進的風廓線雷達數(shù)據(jù)聚類算法

本文選用K-means算法對風廓線雷達數(shù)據(jù)進行聚類分析, 考慮到傳統(tǒng)K-means算法的初始聚類中心隨機生成, 容易陷入局部最優(yōu), 本文針對初始聚類中心的選擇進行了改進, 采用K-means++算法初始化聚類中心, 具體步驟如下:

(1) 從輸入樣本中隨機選擇一個樣本作為初始聚類中心Ur.

(2) 首先計算每個樣本與當前已有聚類中心間的最短距離(即與最近一個聚類中心的距離), 用D(x)表示; 接著計算每個樣本被選為下一個聚類中心的概率P, P的計算如式(1)所示. 最后, 按照輪盤法選擇出下一個聚類中心.

(3) 重復第2步直到選擇出K個聚類中心.

1.3 數(shù)據(jù)規(guī)范化方法

對于基于距離度量的聚類方法, 數(shù)據(jù)標準化可以賦予所有屬性相等的權重, 避免值域較大的屬性與較小值域的屬性相比權重過大, 保障聚類效果, 包括最小-最大規(guī)范化、Z-score規(guī)范化、按小數(shù)定標規(guī)范化等方法, 本文選用Z-score規(guī)范化方法對聚類指標進行預處理, Z-score規(guī)范化方法公式如下.

首先計算均值絕對偏差和平均值:

其中, Mf為第f個屬性的平均值; Sf為第f個屬性的均值絕對偏差; Xif表示第i條記錄的第f個屬性.

然后計算標準化度量值, Zf為標準化后的第f個屬性值, 計算公式為:

1.4 聚類最優(yōu)K值選取方法

對于K-means算法, 聚類數(shù)K的選取非常重要. 為避免K值選取上的主觀性, 本研究運用肘部法則和輪廓系數(shù)兩種方法確定最優(yōu)K值, 這兩項指標綜合考慮了聚類結構中不同類別樣本的離散性和同類別樣本的凝聚性.

肘部法則(elbow method)基于如下觀察: 增加類個數(shù)有助于降低每個類的類內(nèi)誤差平方和(sum of the squared errors, SSE), 這是因為有更多的類可以捕獲更細的數(shù)據(jù)對象類, 類內(nèi)對象間更為相似. 然而, 如果形成太多的類, 則降低SSE的邊際效應可能下降, 因為把一個凝聚的類分裂成兩個引起SSE的降幅較小. 繪制SSE關于聚類數(shù)K的曲線, 曲線的第一個(或最顯著的)拐點即手肘處對應最佳聚類數(shù).

對于包含N個對象的數(shù)據(jù)集D, 假設D被劃分為K個類C1, C2, …, Ck. 對于每個對象o∈D, 其輪廓系數(shù)(sihouette coefficient) s(o)的定義如下:

其中, a(o)代表對象o與o所屬類的其他對象間的平均距離, b(o)代表o與除自身所在類外對象的最小平均距離. a(o)反映了o所屬類的緊湊性, b(o)反映了o與其他簇的分離程度.

由定義可知, 輪廓系數(shù)值在-1和1之間. 我們計算數(shù)據(jù)集中所有對象輪廓系數(shù)的平均值, 以評估聚類質量. 輪廓系數(shù)值越接近1, 代表聚類效果越好.

2 風廓線雷達數(shù)據(jù)聚類及結果分析

2.1 總體流程

本研究針對風廓線雷達數(shù)據(jù)聚類分析的步驟主要包括: (1)構建風廓線雷達觀測信息數(shù)據(jù)庫: 基于風廓線雷達觀測的小時數(shù)據(jù)文件, 解析提取其中不同高度的觀測數(shù)據(jù), 建立風廓線雷達觀測信息數(shù)據(jù)庫. (2)數(shù)據(jù)預處理: 對存儲在風廓線雷達觀測信息數(shù)據(jù)庫中的數(shù)據(jù), 首先剔除不合理數(shù)據(jù), 并按時次統(tǒng)計得到逐時最大探測高度、最大垂直速度; 其次將最大探測高度、最大垂直速度進行規(guī)范化處理, 得到聚類指標. (3)聚類分析及特征提取: 利用改進后的K-means算法, 對預處理后的風廓線雷達數(shù)據(jù)進行聚類, 根據(jù)聚類結果、自動站觀測的降水及人工觀測的云量、天氣現(xiàn)象等數(shù)據(jù)歸納總結出不同天氣條件下風廓線雷達數(shù)據(jù)特征.

2.2 數(shù)據(jù)來源及預處理

研究選取天津靜海的風廓線雷達觀測數(shù)據(jù), 同時結合自動站觀測的降水及人工觀測的天氣現(xiàn)象、云量數(shù)據(jù)標記各時次天氣條件. 天津靜海風廓線雷達為CFL-03B型邊界層風廓線雷達, 雷達基本技術性能如表1所示. 靜海自動站與風廓線雷達站距離在1 km以內(nèi), 自動站降水量數(shù)據(jù)可代表風廓線雷達上空降水情況, 風廓線雷達及自動站皆選用1 h頻次數(shù)據(jù). 天津地區(qū)降水主要發(fā)生在5-9月, 故研究時段選取2017-2019年5-9月. 由于靜海站相關時段無云量人工觀測, 因此云量數(shù)據(jù)選用距靜海站最近的西青站人工觀測數(shù)據(jù).

表1 風廓線雷達基本性能參數(shù)

靜海風廓線雷達小時觀測數(shù)據(jù)包括66個高度層,2017-2019年5-9月小時產(chǎn)品數(shù)據(jù)文件解析入庫后得到逐時、分高度層觀測數(shù)據(jù)共計697 008條. 通過剔除無效數(shù)據(jù), 對風廓線雷達小時觀測數(shù)據(jù)按時次統(tǒng)計得到10 553條記錄. 本文所使用的垂直速度是風廓線雷達探測到的垂直速度(定義垂直速度向下為正, 向上為負), 未經(jīng)訂正, 所以降水時代表了空氣的垂直運動和降水粒子下沉運動的總和, 探測高度指距離地面的高度.

按照GB/T 35663-2017中定義的天氣預報基本術語, 根據(jù)自動站觀測的過去1 h降水量及人工觀測的天氣現(xiàn)象、云量, 將各時次劃分為晴、少云、多云、陰、降水形成(降水發(fā)生前1-6 h)、降水期間、降水結束(降水結束后1-3 h) 7種狀態(tài), 詳細劃分規(guī)則如下:

(1)若當前時次自動站觀測的過去1 h降水量≥0.1 mm或人工觀測的天氣現(xiàn)象記錄有降水, 標記為降水期間; 否則, 轉(2).

(2)當前時次未來1至6 h為降水階段, 標記為降水形成階段. 否則, 轉(3).

(3)當前時次前推1至3 h為降水階段, 標記為降水結束階段. 否則, 轉(4).

(4)根據(jù)人工觀測的日均總云量標記天氣條件. 日均總云量0-2成, 標記為晴; 3-5成, 標記為少云;6-8成, 標記為多云; 9-10成標記為陰.

2.3 最佳聚類數(shù)K值確定

輪廓系數(shù)值越大聚類效果越好, 肘部法則中理論上最佳 K 值在肘處取得. 聚類數(shù)K的范圍設定為[2, 9],輪廓系數(shù)及聚類誤差平方和(sum of the squared errors,SSE)隨聚類個數(shù)K的變化如圖1所示. 由圖1可知,聚類數(shù)K與誤差平方和的拐點出現(xiàn)在K=3處, 此時輪廓系數(shù)也較大, 綜合考慮輪廓系數(shù)、肘部法則, 確定聚類數(shù)K為3.

圖1 不同K值的SSE及輪廓系數(shù)變化

2.4 傳統(tǒng)K-means算法與改進算法對比分析

分別利用原K-means算法和改進后的K-means算法對風廓線雷達數(shù)據(jù)進行聚類, K值選取最佳聚類數(shù)3, 每種算法運行10次, 選取平均值進行對比, 對比指標包括輪廓系數(shù)、迭代次數(shù)、運行時間3方面, 對比結果如表2所示. 由對比結果可見, 改進后的算法在迭代次數(shù)和運行時間均明顯降低的情況下, 可獲得與原K-means算法同等聚類效果.

表2 K-means和改進后的K-means算法聚類對比

2.5 基于聚類的風廓線雷達數(shù)據(jù)特征分析

應用改進后的K-means算法對10 553個時次風廓線雷達數(shù)據(jù)進行聚類, K值選取最佳聚類數(shù)3, 聚類結果如圖2所示, 計算每類各特征統(tǒng)計描述, 結果如表3所示. 根據(jù)表3可知, class0包含7 669個時次數(shù)據(jù), 占比72.7%. class1包含615個時次數(shù)據(jù), 占比僅5.8%.class2包含2 269個時次數(shù)據(jù), class0的最大探測高度、最大垂直速度均最低, 最大探測高度均值低于3 500 m, 最大值低于5 000 m, 最大垂直速度均值在0.5 m/s. class1的最大探測高度和最大垂直速度皆最高, 最大探測高度均值為6 718 m, 該類近70%的時次最大探測高度可達靜海風廓線雷達的最大探測高度7 080 m, 最大垂直速度均值在5.5 m/s. class2的最大探測高度和最大垂直速度介于class0和class1之間, 最大探測高度遠高于class0, 均值亦在6 000 m以上, 但達到7 080 m的僅占38%, 最大垂直速度均值略高于class0, 為1 m/s, 明顯低于class1.

表3 各類最大探測高度、最大垂直速度特征

圖2 聚為3類的風廓線雷達數(shù)據(jù)分布

經(jīng)分析, class0主要為晴、少云天氣觀測數(shù)據(jù),class1主要為降水期間的觀測數(shù)據(jù). class2主要為多云、陰天及降水前1-6 h、降水后1-3 h的觀測數(shù)據(jù).

探測高度方面, 晴天、少云天氣的最大探測高度均值在3 562 m, 多云、陰天的最大探測高度均值為4 414 m, 降水前1-6 h、降水后1-3 h的最大探測高度均值為5 480 m, 降水期間的最大探測高度均值為6 548 m. 多云、陰天探測高度高于晴天及少云天氣, 降水前1-6 h、降水后1-3 h風廓線雷達的探測高度較多云、陰天更高, 降水期間探測高度最高且多數(shù)可達靜海風廓線雷達的最大探測高度. 風廓線雷達主要以晴空大氣作為探測對象, 利用大氣湍流對電磁波的散射作用來探測大氣風場等要素. 其探測高度除了和雷達技術指標有關之外, 受天氣狀況的影響很大[22], 當有天氣系統(tǒng)的時候, 大氣湍流活動加強, 高層的水汽含量增加, 雷達探測高度會增加[23], 聚類結果表明風廓線雷達的最大探測高度對于大氣高層水汽含量增大有較好的指示作用.

垂直速度方面, 晴天、少云天氣的最大垂直速度均值為0.5 m/s, 多云、陰天的最大垂直速度均值為0.7 m/s,降水前1-6 h、降水后1-3 h的最大垂直速度均值為1.4 m/s, 降水期間數(shù)據(jù)最大垂直速度均值為5.5 m/s. 降水期間數(shù)據(jù)最大垂直速度大于等于4 m/s的占74%, 而其他天氣條件97%的時次最大垂直速度低于4 m/s. 楊引明等[1]分析發(fā)現(xiàn), 4 m/s的垂直速度反映了降水開始和結束(定義垂直速度向下為正, 向上為負), 本文研究結果與其研究結論基本一致.

總體來說, 風廓線雷達的最大探測高度在天氣狀況由晴天、少云轉變?yōu)槎嘣?、陰天、降水天氣時, 會有明顯的上升. 但最大垂直速度僅在降水開始時急劇增大, 在降水開始前增長趨勢不明顯.

兩個典型天氣個例也印證了本文的挖掘結果. 圖3展示了2018年7月23日00時至2018年7月26日05時靜海站最大探測高度、最大垂直速度與小時雨量的時序變化對比. 23日屬于少云天氣, 24日00時至12時, 靜海本站出現(xiàn)大暴雨, 累計降水量153.6 mm, 最大小時降水量27.1 mm.

圖3 2018年7月23日至24日靜海風廓線雷達最大探測高度、最大垂直速度與小時雨量對比圖

由圖3可見, 降水前24 h到降水開始, 探測高度不斷上升. 降水前24-12 h最大探測高度均值在3.5 km左右, 降水前12-6 h最大探測高度均值升至 4.5 km, 之后探測高度有所下降, 23日22時后又開始升高, 到24日01時升至靜海風廓線雷達最大探測高度7 km,3 h增幅達4.3 km, 強降水期間一直維持在最大探測高度. 說明隨著降水臨近, 大氣的湍流活動明顯加強、大氣高層的水汽含量急劇增加. 降水結束后, 由于屬于多云天氣, 最大探測高度在4.8 km以上維持了一段時間,直到25日05時后, 才降低到3.5 km以下. 降水期間,最大垂直速度均在4 m/s以上, 降水結束后最大垂直速度迅速降低.

圖4展示了2018年8月18日00時至2018年8月20日12時靜海風廓線雷達在陰天及地面降水前后最大探測高度、最大垂直速度的時序變化.

圖4 2018年8月18日至20日靜海風廓線雷達最大探測高度、最大垂直速度與小時雨量對比圖

8月18日靜海為陰天并在15時至16時發(fā)生1.4 mm小雨級別降水, 最大探測高度基本處于5 km以上,18日12時降至4.5 km后又在降水前1 h的14時再次升至6.5 km, 2 h躍升2 km, 18日20時后逐漸下降. 探測高度從19日02時的3.7 km又開始升高, 到19日04時降水前1 h升至最大探測高度7 km, 19日05時至22時靜海再次發(fā)生17 mm中雨級別降水, 降水期間探測高度基本維持在7 km, 20日03時之后開始逐漸下降. 從探測高度曲線圖可以看出, 降水前6 h最大探測高度基本在5 km及以上, 即使有降低至4 km以下的時次, 也會在降水前1 h回升, 這可能是地面降水前高空先有水汽到達的緣故, 降水結束后, 探測高度沒有立即降低, 在降水結束3 h或更長時間后才逐漸降至4 km以下, 可能是高空還有一定潮濕空氣的緣故, 降水期間最大探測高度多在7 080 m. 對比最大垂直速度和小時降水量曲線圖可知, 降水期間最大垂直速度多在4 m/s以上, 降水強度大時垂直速度較大, 但最大垂直速度值不一定出現(xiàn)在降雨最強時次. 垂直速度在降水開始會迅速增大, 降水結束會快速下降.

3 總結與展望

針對風廓線雷達觀測數(shù)據(jù)特點, 本文利用改進的K-means聚類算法建立了風廓線雷達數(shù)據(jù)特征聚類分析模型, 對天津靜海邊界層風廓線雷達2017-2019年(5-9月)的觀測資料進行聚類, 挖掘出了風廓線雷達的最大探測高度、最大垂直速度在晴、陰天、降水前1-6 h、降水期間、降水后1-3 h等天氣條件下的一些變化規(guī)律, 為氣象預報服務提供了更具普遍性的參考依據(jù), 為風廓線雷達數(shù)據(jù)特征分析提供了新思路. 但本文僅對探測高度、垂直速度特征進行了分析, 風廓線雷達還有水平風向、水平風速、折射率結構常數(shù)等觀測要素, 下一步有必要對風廓線雷達其他觀測信息繼續(xù)開展挖掘分析, 以獲取更多的數(shù)據(jù)特征為氣象預報服務提供支撐.