摘 要：針對傳統(tǒng)天氣現(xiàn)象觀測因采用專用設(shè)備導(dǎo)致布設(shè)和維護成本高、獲取難的問題，提出一種利用廣泛布設(shè)的視頻實現(xiàn)對天氣現(xiàn)象觀測的方法。通過將因特網(wǎng)獲取的16327張?zhí)鞖猬F(xiàn)象圖片放入深度神經(jīng)網(wǎng)絡(luò)中訓(xùn)練，建立一個天氣現(xiàn)象分類的預(yù)訓(xùn)練模型。在此基礎(chǔ)上加入上海徐家匯和洋山港氣象站2021年視頻圖像，對模型進行微調(diào)，開發(fā)基于站點視頻的天氣現(xiàn)象識別模型。利用2022年1—10月份的視頻圖像數(shù)據(jù)對模型進行檢驗，模型識別結(jié)果的F1評分分別為0.74和0.67，而人工識別結(jié)果分別為0.67和0.61，表明所建立的模型性能接近或優(yōu)于人眼識別的效果。通過例舉兩個應(yīng)用案例，證明該項技術(shù)具有較好的應(yīng)用前景。

關(guān)鍵詞：太陽能；圖像識別；視頻；神經(jīng)網(wǎng)絡(luò)；天氣現(xiàn)象；日照時數(shù)

中圖分類號：TP391 文獻標志碼：A

DOI：10.19912/j.0254-0096.tynxb.2023-0602

文章編號：0254-0096（2024）08-0441-07

1. 上海市生態(tài)氣象和衛(wèi)星遙感中心，上海 200030；

2. 上海市氣象信息與技術(shù)支持中心，上海 200030

0 引 言

不同的天氣現(xiàn)象會影響地面接收的太陽總輻射進而影響光伏出力［1-2］，因此天氣現(xiàn)象的獲取對光伏發(fā)電評估和調(diào)節(jié)有重要意義。通常天氣現(xiàn)象的自動觀測需使用專門的儀器，配合常規(guī)氣象探測設(shè)備才能實現(xiàn)。這些儀器一般屬于專用設(shè)備，對安裝環(huán)境、管理方面有一定的規(guī)范要求，因而安裝和維護成本較高，高密度的氣象探測設(shè)備意味著大量的前期資金投入和后期維護成本［3］。隨著社會的發(fā)展，大量視頻監(jiān)控設(shè)備被使用，如果能利用現(xiàn)有視頻獲取天氣現(xiàn)象信息，將為人們實時獲取天氣現(xiàn)象提供一種更為便捷的技術(shù)手段。

利用單幅圖像開展天氣現(xiàn)象分類研究較多。從技術(shù)實現(xiàn)來說，早期多利用特征工程，提取圖像的梯度、飽和度、色相、暗通道特征，采用支持向量機（support vector machine， SVM）、貝葉斯等傳統(tǒng)機器學(xué)習(xí)方法分類［4-7］，后來采用機器學(xué)習(xí)中深度神經(jīng)網(wǎng)絡(luò)如VGG16、AlexNet、ResNet、EfficientNet等對圖像進行分類［8-11］，也有采用特征工程提取圖像特征和深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式進行分類［12-14］。由于有監(jiān)督學(xué)習(xí)需要大量的人力進行樣本標注，文獻［15］開始嘗試采用無監(jiān)督方法對圖像進行天氣現(xiàn)象分類。

在一些基于固定圖像數(shù)據(jù)集的天氣現(xiàn)象分類中，單幅圖像的分類精度已經(jīng)較高［16］，但離天氣現(xiàn)象實時獲取的應(yīng)用需求還有很大距離。主要原因是在單幅圖像的天氣現(xiàn)象分類研究中，大部分訓(xùn)練樣本是通過研究者自己拍攝或從公開渠道獲取的圖片，其圖片質(zhì)量高、天氣現(xiàn)象特征比較明顯，而一般的視頻監(jiān)控設(shè)備往往受觀測距離和角度的影響，區(qū)分天氣現(xiàn)象的特征并不明顯。如在現(xiàn)有研究中使用的降雨圖片可能包含人們打著傘、地面濺著明顯的水花、空中雨落下等明顯的降水特征，而在視頻圖像中可能僅出現(xiàn)了地面潮濕、地面反光明顯、能見度降低的現(xiàn)象。利用視頻實現(xiàn)對天氣現(xiàn)象實時觀測的研究較少，本文的研究目的是如何利用視頻低成本的實現(xiàn)對天氣現(xiàn)象的實時觀測。首先基于網(wǎng)絡(luò)爬取的圖片利用深度神經(jīng)網(wǎng)絡(luò)建立識別天氣現(xiàn)象的預(yù)訓(xùn)練模型，然后通過微調(diào)技術(shù)，建立針對單個視頻站點的天氣現(xiàn)象識別模型，并對模型進行性能評估，最后例舉大范圍獲取實時天氣現(xiàn)象和反演日照時數(shù)的兩個模型應(yīng)用案例，以證明該項技術(shù)的應(yīng)用前景。

1 資料和方法

1.1 天氣現(xiàn)象分類及標準

將天氣現(xiàn)象分成晴天、陰天、霧、輕霧、降雨、降雪6個類別，劃分標準見表1。由于夜間光線條件復(fù)雜，本文暫時只考慮白天視頻圖像分類。

1.2 資料

建立模型使用的資料包含用于建立預(yù)訓(xùn)練模型的樣本和建立單視頻站點模型的樣本兩部分。建立預(yù)訓(xùn)練模型的樣本是通過互聯(lián)網(wǎng)上搜索與天氣有關(guān)的圖片，并通過人工分類和質(zhì)量控制，對太小的或無法分辨天氣現(xiàn)象的圖片進行剔除。為保證圖像不變形，并且適合模型訓(xùn)練，統(tǒng)一將圖片處理成300×300的正方形，對于原始圖片中長寬不同的，將短邊兩邊加上黑邊使得和長邊長度一樣。舍棄原始圖片中長寬比大于1.5的圖片。

對單視頻站點建立模型的視頻來自位于徐家匯氣象站和洋山港氣象站的臺站內(nèi)的站點監(jiān)控視頻設(shè)備，分別用于代表城市場景和郊區(qū)場景。城市場景一般視野較小，有較多的建筑物遮擋；郊區(qū)場景一般視野開闊，可以看到地平線。洋山港氣象站位于北緯30.6°，東徑122.1°，面朝洋山深水港碼頭，海拔高度為4.6 m。設(shè)備架設(shè)于洋山港氣象站東面小山坡上，距離觀測場邊緣34.4 m，海拔高度為55.2 m。徐家匯氣象站視頻設(shè)備位于北緯31.2°，東徑121.4°，放置在上海氣象局業(yè)務(wù)大樓樓頂，高約59.0 m，朝向為東北方向。視野范圍內(nèi)主要是街道和建筑以及小部分天空。兩處均使用海康威視視頻，型號為DS-2DE4220-AE，圖像分辨率為1920像素×1080像素。本文所用時間均為北京時間。

為方便將視頻圖像進行天氣現(xiàn)象的類別劃分，本文使用MICAPS［17］下發(fā)的Diamond One類型的地面填圖資料和自動氣象站整點觀測資料，分別包含徐家匯氣象站、洋山港氣象站的天氣報文和降水、能見度觀測數(shù)據(jù)。地面填圖資料中包含現(xiàn)在天氣現(xiàn)象編碼，從世界時0時開始每隔3 h一個記錄，自動氣象站觀測資料中包含整點降水和當(dāng)前時刻能見度觀測數(shù)據(jù)，每隔1 h一個記錄。根據(jù)天氣現(xiàn)象編碼，將截取整點的視頻圖像進行初步分類，然后對照自動氣象站觀測資料人工進行質(zhì)量控制，調(diào)整分類有明顯問題的圖片。天氣現(xiàn)象編碼的文件為每隔3 h整點，取白天數(shù)據(jù)即08：00、11：00、14：00、17：00時刻的視頻圖像。其中2021年1—12月份的圖片用于訓(xùn)練，2022年1—10月份的圖片用于測試模型性能。具體的樣本情況見表2。

1.3 模型建立方法

1.3.1 建立預(yù)訓(xùn)練模型

選擇VGG16［18］、Inception-ResNet-v2［19］、EfficientNets-B7［20］、MaxViT-Base［21］4種深度神經(jīng)網(wǎng)絡(luò)模型作為基礎(chǔ)模型進行訓(xùn)練，對比各模型在測試集上的表現(xiàn)，選擇最優(yōu)模型為后續(xù)訓(xùn)練視頻模型的預(yù)訓(xùn)練模型。VGG16、Inception-ResNet-v2、EfficientNets-B7為卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，MaxViT-Base為Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)。它們都曾在一定時期在ImageNet1000這個公開數(shù)據(jù)集上獲得SOTA（state of the arts，指的是在某一個領(lǐng)域做的成績最好的模型）的成績。

1.3.2 單個視頻的識別模型建立

在預(yù)訓(xùn)練模型的基礎(chǔ)上，采用微調(diào)技術(shù)對單個視頻圖像建立模型。這樣的好處是針對單個視頻圖像訓(xùn)練調(diào)整模型參數(shù)可提高單個視頻點的性能，同時采用預(yù)訓(xùn)練模型可加快訓(xùn)練的速度，有利于大量視頻采集點的應(yīng)用場景。本文直接使用原來的模型，只是將新增加的單個視頻站點圖片連同原有的圖片放在一起訓(xùn)練，對模型進行微調(diào)，只需較少的訓(xùn)練迭代次數(shù)。本文將單個視頻的模型訓(xùn)練迭代次數(shù)設(shè)為20次即達到收斂效果。

1.3.3 模型訓(xùn)練過程及超參數(shù)設(shè)置

將分類標注好的樣本隨機選取90%作為訓(xùn)練集，10%作為測試集。優(yōu)化器采用Adagrad，其中學(xué)習(xí)率為0.01，權(quán)重衰減率為0.001，損失函數(shù)采用交叉熵損失函數(shù)（cross entropy loss）。為提高模型的泛化能力，減少過擬合，每次訓(xùn)練時對數(shù)據(jù)進行數(shù)據(jù)增強。由于天氣現(xiàn)象中霧和輕霧的分類和視頻點能觀測的到最遠距離相關(guān)，為了保證整幅圖片的完整性，盡量不在原圖中截取太小的區(qū)域用于訓(xùn)練，所以增強方式為從300×300分辨率的圖像中隨機采樣224×224大小圖片。視頻的安裝一般會要求近似水平安裝，不太出現(xiàn)翻轉(zhuǎn)的情況，因此增強方式中對圖像進行了隨機水平翻轉(zhuǎn)，不進行隨機旋轉(zhuǎn)或垂直翻轉(zhuǎn)。訓(xùn)練迭代次數(shù)選擇100次。模型搭建框架采用Python的PyTorch［22］工具包，預(yù)訓(xùn)練模型時每個模型采用隨機初始化參數(shù)，最后一層分類器設(shè)置為6類。

1.4 檢驗和評估方法

為了評估預(yù)訓(xùn)練模型和單個視頻站點模型的識別效果，本文采用準確率、查準率、查全率和F1評分［23］對模型進行評估。定義圖像識別天氣現(xiàn)象的的準確率[A]、查準率[P]、查全率[R]、F1評分[F1]公式分別為：

[A=（TP+TN）/（TP+TN+FP+FN）] （1）

[P=TP/（TP+FP）] （2）

[R=TP/（TP+FN）] （3）

[F1=2×TP/（2×TP+FP+FN）] （4）

式中：[TP]——把正樣本判別為正樣本的數(shù)量；[FN]——把正樣本判別為負樣本的數(shù)量；[FP]——把負樣本判別為正樣本的數(shù)量；[TN]——把負樣本判別為負樣本的數(shù)量。

通過自動氣象資料難以準確區(qū)分晴天和陰天，一般在氣象上認為這兩種類型都屬于無特殊天氣現(xiàn)象，因此在統(tǒng)計時將陰天和晴天一起歸為無天氣現(xiàn)象類型進行統(tǒng)計。為檢驗單個視頻站點模型的識別效果和人工識別的差距，從2022年徐家匯氣象站視頻圖像和洋山港氣象站視頻圖像中分別隨機抽取100張測試圖片，選3人人工對圖片進行天氣現(xiàn)象分類，選擇3人中每個天氣現(xiàn)象子類F1評分最高的數(shù)值組合在一起取平均值與模型結(jié)果進行對比。

2 模型評估結(jié)果分析

2.1 預(yù)訓(xùn)練模型結(jié)果

圖1為訓(xùn)練集和測試集的準確率與測試集損失函數(shù)隨迭代次數(shù)的變化情況。從準確率的變化曲線可看出，Inception-Resnet-v2模型無論是訓(xùn)練集還是測試集準確率均最高，且收斂速度最快，迭代30次之后就收斂了。EfficientNets-B7開始訓(xùn)練時抖動最大，迭代20步之后趨于平穩(wěn)，MaxViT-Base模型收斂速度也較快，而且在隨后的訓(xùn)練過程中訓(xùn)練集和測試集的準確率穩(wěn)步上升且偏離不大，但測試集準確率略低于Inception-Resnet-v2和EfficientNets-B7模型，VGG16在準確率上表現(xiàn)最差。

因考慮后續(xù)如果有大規(guī)模的視頻攝像頭需要訓(xùn)練和部署，因此對4個模型的圖片解析速度和訓(xùn)練效率也進行對比。迭代次數(shù)均為100次，測試機器配置為CPU i7-6700@3.40 GHz ，內(nèi)存20.0 GB-RAM，訓(xùn)練時使用顯卡為Nvidia A4000 16 GB，具體情況見表3。

從表3可看出，從訓(xùn)練耗時、每秒解析圖片張數(shù)以及測試集的準確率上，Inception-Resnet-v2均有明顯優(yōu)勢，訓(xùn)練耗時明顯小于其他模型，而且準確率最高，達到0.87。因此，后續(xù)的站點視頻識別模型將以Inception-Resnet-v2預(yù)訓(xùn)練模型為基礎(chǔ)開展訓(xùn)練。

2.2 單視頻站點模型識別結(jié)果

兩個站點視頻圖像模型識別的測評結(jié)果和人工識別結(jié)果見表4和表5。

從表4、表5可看出，在所有指標的平均值中，除洋山港氣象站的查準率是人工識別優(yōu)于模型識別外，其他指標均為模型識別的分值高于人工識別的分值。其中模型F1評分在徐家匯和洋山港氣象站的視頻圖像的識別中平均得分分別為0.74和0.67，證明模型識別效果優(yōu)于人眼識別效果。其原因可能是由于建立樣本時參考了自動氣象站的觀測資料，其分類相當(dāng)于由一個有經(jīng)驗的專家進行，模型通過學(xué)習(xí)獲得其分類技能，而普通人員未經(jīng)過專門練習(xí)，抓取圖像中天氣特征的能力相對較弱。從單個天氣現(xiàn)象類型的F1評分中可看出，模型分類和人工分類對降雨的類型分值均較低，在有天氣現(xiàn)象的類型中，對霧的分類效果較好。

3 模型應(yīng)用案例

3.1 基于網(wǎng)絡(luò)視頻的天氣實況監(jiān)測

本示例利用央視網(wǎng)直播中國（https：//livechina.cctv.com/）中實景中國的視頻監(jiān)控圖片，實現(xiàn)大范圍當(dāng)前時刻的天氣實況監(jiān)控。共截取63個視頻，其中成像質(zhì)量較好且包含部分天空的視頻為主。獲取2023年1月每日08：00—18：00時段內(nèi)6175張視頻截圖進行人工分類，將不同的天氣現(xiàn)象放入原有的樣本庫中，并利用基礎(chǔ)模型重新訓(xùn)練，建立新的識別模型。這些圖片中，晴天占2090張、陰天占1509張、霧天占810張、輕霧占1057張、降雨占568張，降雪占141張。通過將實時獲取的圖片輸入模型進行識別，可獲得當(dāng)前時刻大范圍天氣分布狀況。針對2023年2月19日13：30獲取的站點視頻截圖，從中剔除未成功打開或視頻停在過去時間的視頻點，最終得到49個可用視頻圖像，并將其放入模型進行識別。根據(jù)識別結(jié)果可得到天氣狀況的分布。將識別結(jié)果與對應(yīng)時刻13：50葵花8衛(wèi)星可見光云圖進行對比，發(fā)現(xiàn)基本符合云團分布情況（圖2）。

3.2 日照時數(shù)統(tǒng)計

本示例利用模型識別的天氣現(xiàn)象，實現(xiàn)了對徐家匯地區(qū)每日日照時數(shù)的統(tǒng)計。具體方法為每隔 10 min采集視頻圖像，然后通過模型對天氣現(xiàn)象進行解析，如果分類為晴天，則記錄10 min的日照時間，并將每日的日照時間轉(zhuǎn)化為小時計數(shù)。通過與徐家匯氣象臺自動日照觀測儀器在2023年2月整月的觀測結(jié)果進行對比，發(fā)現(xiàn)兩者接近（圖3）。視頻解析的每日日照時數(shù)與觀測平均誤差為0.13 h，均方根誤差為0.52 h，當(dāng)月累計日照時數(shù)分別為76.2 h和80 h，誤差為4.98%。但視頻解析的日照時數(shù)略大于觀測，可能是由于兩者安放的位置不同。自動日照觀測儀安放在上海氣象博物館樓頂，高約30 m，而視頻安放的位置在上海市氣象業(yè)務(wù)大樓樓頂，高約59 m，兩者相差29 m，因此可能觀測到的日照時間更長。在早晨，當(dāng)視頻觀測到晴天時，陽光還未照射到日照觀測儀，因為它被東邊的樓宇遮擋。

4 結(jié) 論

通過對從互聯(lián)網(wǎng)下載的天氣現(xiàn)象圖片進行分類和訓(xùn)練，得到一種基于天氣現(xiàn)象分類的預(yù)訓(xùn)練模型。在此基礎(chǔ)上，將各視頻點的圖像加入訓(xùn)練數(shù)據(jù)，從而構(gòu)建各站點天氣現(xiàn)象視頻識別模型。經(jīng)過與人工識別的對比評估分析，主要得出以下結(jié)論：

1）在徐家匯和洋山港氣象站的視頻圖像中，識別模型在大部分評分指標中均取得了高于人眼識別的分值，其中F1評分均值分別為0.74和0.67，而人工識別的得分分別為0.67和0.61，這表明所建立的識別模型接近或優(yōu)于人眼識別的效果。

2）該模型對晴天和大霧等天氣現(xiàn)象的解析和識別較好，對降雨的識別能力較差，但仍優(yōu)于人工識別。通過兩個應(yīng)用案例，說明該項技術(shù)具有較好的應(yīng)用前景。該方法由于無需購置和維護專用氣象設(shè)備，因此實現(xiàn)天氣現(xiàn)象監(jiān)測的成本較低，特別是在無法獲取氣象觀測站數(shù)據(jù)的情況下，可利用視頻提取的氣象信息作為替代方案。

本文未將該模型與其他天氣現(xiàn)象儀進行比較，但根據(jù)文獻［24］，現(xiàn)有業(yè)務(wù)運行的降水天氣現(xiàn)象儀，對于細分的降水天氣現(xiàn)象的過程捕獲率最高在69%左右，其性能與該模型相當(dāng)。這表明，該模型具備一定的氣象業(yè)務(wù)應(yīng)用能力。但在降雨識別的精度和夜間識別的能力方面，該模型仍需進一步的研究和探索。

［參考文獻］

［1］ 于瑛， 郭佳豪， 姚星， 等. 天氣類型對逐時太陽總輻射模型適應(yīng)性的影響［J］. 太陽能學(xué)報， 2022， 43（12）： 186-193.

YU Y， GUO J H， YAO X， et al. Influence of weather types on adaptability of hourly global solar radiation models［J］. Acta energiae solaris sinica， 2022， 43（12）： 186-193.

［2］ 李芬， 楊勇， 胡超， 等. 基于天氣類型識別的跟蹤式光伏發(fā)電系統(tǒng)能量評估及優(yōu)化［J］. 太陽能學(xué)報， 2020， 41（11）： 112-119.

LI F， YANG Y， HU C， et al. Energy evaluation analysis and optimization of tracking photovoltaic generation system based" "on" "weather" type recognition［J］." Acta" "energiae solaris sinica， 2020， 41（11）： 112-119.

［3］ 劉冬韡， 穆海振， 賀千山， 等. 一種基于實景圖像的低能見度識別算法［J］. 應(yīng)用氣象學(xué)報， 2022， 33（4）： 501-512.

LIU D W， MU H Z， HE Q S， et al. A low visibility recognition algorithm based on surveillance video［J］. Journal of applied meteorological science， 2022， 33（4）： 501-512.

［4］ LU C W， LIN D， JIA J Y， et al. Two-class weather classification［C］//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA， 2014： 3718-3725.

［5］ 張紅艷， 李茵茵， 萬偉. 改進K近鄰和支持向量機相融合的天氣識別［J］. 計算機工程與應(yīng)用， 2014， 50（14）： 148-151， 167.

ZHANG H Y， LI Y Y， WAN W. Weather identification based on improved K nearest neighbor and support vector machine［J］. Computer engineering and applications， 2014， 50（14）： 148-151， 167.

［6］ 李騫， 范茵， 張璟， 等. 基于室外圖像的天氣現(xiàn)象識別方法［J］. 計算機應(yīng)用， 2011， 31（6）： 1624-1627.

LI Q， FAN Y， ZHANG J， et al. Method of weather recognition based on decision-tree-based SVM［J］. Journal of computer applications， 2011， 31（6）： 1624-1627.

［7］ 于浩， 王孝通， 徐冠雷. 基于貝葉斯分類的霧天和雨天兩類天氣圖像自動識別［J］. 艦船電子工程， 2016， 36（9）： 73-75， 94.

YU H， WANG X T， XU G L. Automatic recognition of two different weathers of foggy and rainy based on Bayesian classification［J］. Ship electronic engineering， 2016， 36（9）： 73-75， 94.

［8］ XIA J M， XUAN D W， TAN L， et al. ResNet15： weather recognition on traffic road with deep convolutional neural network［J］. Advances in meteorology， 2020， 2020： 6972826.

［9］ XIAO H X， ZHANG F， SHEN Z P， et al. Classification of weather phenomenon from images by using deep convolutional neural network［J］. Earth and space science， 2021， 8（5）： e2020EA001604.

［10］ ZHAO B， HUA L L， LI X L， et al. Weather recognition via classification labels and weather-cue maps［J］. Pattern recognition， 2019， 95： 272-284.

［11］ 王亞朝， 趙偉， 徐海洋， 等. 基于輕量型卷積神經(jīng)網(wǎng)絡(luò)的非固定場景天氣識別算法［J］. 電子測量技術(shù)， 2019， 42（17）： 152-156.

WANG Y Z， ZHAO W， XU H Y， et al. Non-fixed scene weather classification algorithm based on lightweight convolutional neural network［J］. Electronic measurement technology， 2019， 42（17）： 152-156.

［12］ ZHANG Z， MA H D， FU H Y， et al. Scene-free multi-class" "weather" "classification" "on" "single" "images［J］. Neurocomputing， 2016， 207： 365-373.

［13］ 左杰格， 柳曉鳴， 蔡兵. 基于圖像分塊與特征融合的戶外圖像天氣識別［J］. 計算機科學(xué)， 2022， 49（3）： 197-203.

ZUO J G， LIU X M， CAI B. Outdoor image weather recognition based on image blocks and feature fusion［J］. Computer science， 2022， 49（3）： 197-203.

［14］ 郭志強， 胡永武， 劉鵬， 等. 基于特征融合的室外天氣圖像分類［J］. 計算機應(yīng)用， 2020， 40（4）： 1023-1029.

GUO Z Q， HU Y W， LIU P， et al. Outdoor weather image classification" "based" "on" "feature" "fusion［J］." Journal" "of computer applications， 2020， 40（4）： 1023-1029.

［15］ XIE K Z， HUANG L， WEI Z Q， et al. WCATN： Unsupervised deep learning to classify weather conditions from" "outdoor" "images［J］." "Engineering" "applications" "of artificial intelligence， 2022， 113： 104928.

［16］ ZHANG Z， MA H D. Multi-class weather classification on single images［C］//2015 IEEE International Conference on Image Processing （ICIP）.Quebec City， QC， Canada， 2015： 4396-4400.

［17］ 高嵩， 畢寶貴， 李月安， 等. MICAPS4預(yù)報業(yè)務(wù)系統(tǒng)建設(shè)進展與未來發(fā)展［J］. 應(yīng)用氣象學(xué)報， 2017， 28（5）： 513-531.

GAO S， BI B G， LI Y A， et al. Implementation and development plan of MICAPS4［J］. Journal of applied meteorological science， 2017， 28（5）： 513-531.

［18］ SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［J］. arXiv e-prints， 2014： arXiv： 1409.1556.

［19］ SZEGEDY C， IOFFE S， VANHOUCKE V， et al. Inception-v4， inception-ResNet and the impact of residual connections on learning［C］//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. San Francisco， California， USA， 2017： 4278-4284.

［20］ TAN M， LE Q. EfficientNet： rethinking model scaling for convolutional" " " " "neural" " " " " networks［C］//International Conference on Machine Learning. PMLR， 2019： 6105-6114.

［21］ TU Z Z， TALEBI H， ZHANG H， et al. MaxViT： multi-axis vision transformer［C］//Computer Vision-ECCV 2022： 17th European conference. Tel Aviv， Israel， 2022： 459-479.

［22］ 廖星宇. 深度學(xué)習(xí)入門之 PyTorch［M］. 北京： 電子工出版社， 2017： 13-14.

LIAO X Y. PyTorch， an introduction to deep learning［M］. Beijing： Publishing House of Electronics Industry， 2017： 13-14.

［23］ 周志華. 機器學(xué)習(xí)［M］. 北京： 清華大學(xué)出版社， 2016： 30.

ZHOU Z H. Machine learning［M］. Beijing： Tsinghua University Press， 2016： 30.

［24］ 馬寧， 任芝花， 王妍， 等. 全國降水天氣現(xiàn)象平行觀測對比分析［J］. 干旱區(qū)研究， 2022， 39（1）： 54-63.

MA N， REN Z H， WANG Y， et al. Comparative analysis of parallel observations of precipitation phenomena in China［J］. Arid zone research， 2022， 39（1）： 54-63.

VIDEO-BASED WEATHER PHENOMENON RECOGNITION AND

ITS APPLICATION RESEARCH

Liu Dongwei1，Shi Jun1，Yu Wei1，Wang Yadong2，Guo Wei1，Du Mingbin1

（1. Shanghai Ecological Forecasting and Remote Sensing Center， Shanghai 200030， China；

2. Shanghai Meteorological Information and Technology Support Center， Shanghai 200030， China）

Abstract： In this study a newly method is proposed to identify weather phenomena with widely dispersed video data to address the issues of high deployment and maintenance costs by traditional weather phenomenon observation equipment. In this method， a deep neural network is firstly used to train 16327 weather phenomenon photographs from internet for building a pre-training categorization model， and then a fine-tuning procedure is applied with those video photographs from two meteorological observation station to improve the identifying accuracy. The model was testeel by using the video image data from January to October 2022. The results indicate that the performance of the proposed model is comparable to or superior to that of human eye recognition with the F1 scores of 0.74 and 0.67 for the model recognition in the two different station compared with 0.67 and 0.61 for the manual recognition. A cases analysis shows that the proposed model is mostly perfect for identifying sunny and fog but unsatisfactory for rainfall. Further， two application cases show that the model can be used to retrieve the sunshine duration and identify weather phenomena in real time using the online video images. Most important， this method can be employed as a substituted scheme for the present weather phenomena instrument to achieve low-cost weather information observation.

Keywords：solar energy； image recognition； video cameras； neural networks； weather phenomena； sunshine duration