徐銘美，方 睿，羅 鳴，雷 蕾

(成都信息工程大學(xué)，四川 成都610225)

1 引言

天氣與人們的生活息息相關(guān)，但由于其變化莫測的特性，長期以來都有許多專家和學(xué)者投身于氣候和天氣預(yù)測的研究當(dāng)中。目前，國內(nèi)外對降雨預(yù)測的研究大多都局限于衛(wèi)星云圖的數(shù)據(jù)。但由于傳統(tǒng)的天氣預(yù)測方法存在很多弊端，如需要的數(shù)據(jù)量大，計(jì)算時(shí)間久，代價(jià)大，專業(yè)性高等，越來越多學(xué)者開始關(guān)注運(yùn)用其它的自然天氣數(shù)據(jù)來進(jìn)行預(yù)測研究。其中，一些科研人員提出了利用云朵圖片進(jìn)行分類和檢測識別，如張飛等提出的基于深度卷積神經(jīng)網(wǎng)絡(luò)的云分類算法[1]，從而能夠快速簡單的獲取有價(jià)值的天氣信息。

隨著人工智能的不斷發(fā)展，在氣候研究方面也取得了較好的成果。如張敏靖等提出的基于對抗和遷移學(xué)習(xí)的災(zāi)害天氣衛(wèi)星云圖分類[2]，以及李冰潔等提出的氣象衛(wèi)星系統(tǒng)的云圖自動分類識別研究[3]，均運(yùn)用了深度學(xué)習(xí)算法對天氣進(jìn)行預(yù)測。其中，降雨作為最為常見的天氣之一，也成為了天氣預(yù)測的重點(diǎn)。如高利峰提出的降雨量預(yù)測方法研究[4]。但是，由于目前關(guān)于云朵圖像的標(biāo)準(zhǔn)公開數(shù)據(jù)集較少，所以在進(jìn)行天氣預(yù)測時(shí)，面臨著數(shù)據(jù)集缺乏的問題。大部分的深度學(xué)習(xí)算法都需要大量的相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練，才能得到較好的準(zhǔn)確度。因此，目前利用深度學(xué)習(xí)框架對降雨云圖像進(jìn)行分類存在著以下兩個(gè)問題：淺層的卷積神經(jīng)網(wǎng)絡(luò)不能充分地提取降雨云圖像的特征信息；降雨云圖像數(shù)據(jù)樣本小導(dǎo)致深層卷積網(wǎng)絡(luò)在訓(xùn)練過程中容易過擬合。

針對本次實(shí)驗(yàn)的研究內(nèi)容，本文采用小樣本學(xué)習(xí)的方法，即僅利用少量樣本就可以訓(xùn)練得到不錯(cuò)的效果，從而解決了上述問題，并得到一種更加簡單，便捷，代價(jià)小，專業(yè)性要求較低的天氣預(yù)測方法。本文提出的元基線改進(jìn)模型Distillation-Meta-Baseline(后簡稱為D-MB模型)的實(shí)驗(yàn)結(jié)果也表明，其能夠在少樣本數(shù)據(jù)的條件下，實(shí)現(xiàn)較好的分類效果。從而為天氣預(yù)測提供了一種有效地，新穎的，實(shí)時(shí)性強(qiáng)的輔助決策方法。

2 數(shù)據(jù)獲取

2.1 數(shù)據(jù)集的構(gòu)建與預(yù)處理

本文所采用的自建降雨云圖像數(shù)據(jù)由世界氣象組織(World Meteorological Organization，簡稱WMO)提供，其對應(yīng)的相關(guān)降雨信息也均來自WMO官網(wǎng)。由于世界氣象組織所提供的數(shù)據(jù)包含了所有類型的云圖像，所以本文需要對其進(jìn)行二次整合，從而得到一個(gè)較為標(biāo)準(zhǔn)的降雨云圖像數(shù)據(jù)集。同時(shí)，為了避免數(shù)據(jù)樣本數(shù)量分布及內(nèi)容上的差異而導(dǎo)致的一些問題，本文首先對圖像進(jìn)行增強(qiáng)和歸一化處理，通過隨機(jī)旋轉(zhuǎn)，偏移等操作提高樣本數(shù)量。并且依照世界氣象組織提供的降雨云分類標(biāo)準(zhǔn)，以及不同的降雨云類型將數(shù)據(jù)集分為6類：高層避光云，高積堡狀云，積雨鬢狀云，積雨禿狀云，雨層云，以及鉤卷云。如表1所示。

表1 降雨云數(shù)據(jù)信息表

每類圖像20張，數(shù)據(jù)集的總樣本數(shù)量為120張，部分降雨云樣本如圖1所示。

圖1 降雨云圖像

3 研究方法與模型構(gòu)建

3.1 研究方法

小樣本學(xué)習(xí)與傳統(tǒng)的監(jiān)督學(xué)習(xí)不同，它的目標(biāo)是使模型通過訓(xùn)練學(xué)會學(xué)習(xí)，而不是著重于讓機(jī)器識別訓(xùn)練集中的圖片并泛化到測試集上。與此同時(shí)，隨著小樣本學(xué)習(xí)領(lǐng)域的快速發(fā)展，元學(xué)習(xí)作為小樣本學(xué)習(xí)中最主要的一類方法，也涌現(xiàn)出了大量的新算法。常見的元學(xué)習(xí)框架可以大致分為3類：基于記憶的元學(xué)習(xí)方法，基于優(yōu)化的元學(xué)習(xí)方法，以及基于距離度量的元學(xué)習(xí)方法。

基于記憶的元學(xué)習(xí)方法即在原本的元學(xué)習(xí)框架中添加記憶機(jī)制，使得模型能夠?qū)W(xué)習(xí)到的知識進(jìn)行總結(jié)提取，并輔助后面的學(xué)習(xí)任務(wù)。Ravi和Larochelle在2017年便提出將LSTM與元學(xué)習(xí)相結(jié)合的優(yōu)化算法[9]。

基于優(yōu)化的元學(xué)習(xí)方法是指通過元學(xué)習(xí)模型在支持集上進(jìn)行優(yōu)化操作?；趦?yōu)化的元學(xué)習(xí)方法有很多，其中包括了選擇初始化參數(shù)，采用不同的梯度更新算法等。例如Finn等人在MAML[10]中就提出通過為每個(gè)訓(xùn)練任務(wù)提供一個(gè)更好的初始化參數(shù)，從而達(dá)到更佳的訓(xùn)練效果。

基于距離的元學(xué)習(xí)方法通過度量特征之間的距離來進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。在距離度量的元學(xué)習(xí)模型中，通過計(jì)算比較詢問集和支持集樣本特征之間的距離來實(shí)現(xiàn)分類。如Vinyals等人在2017年發(fā)表的Matching Network[11]就提出了一種快速學(xué)習(xí)樣本間度量方式的框架。

盡管上述的元學(xué)習(xí)算法已經(jīng)取得了許多優(yōu)異的成績，但是近年來一些對預(yù)訓(xùn)練分類器性能的研究，如Gidaris和Komodakis[12]提出的余弦度量分類器訓(xùn)練方法，以及Yinbo Chen[7]等人基于元基線提出的優(yōu)化方法，表現(xiàn)出的效果更優(yōu)于之前的幾種元學(xué)習(xí)方法，尤其是在面對跨域問題時(shí)。

因此，本文提出的D-MB模型將分類器基線和元學(xué)習(xí)的優(yōu)點(diǎn)相結(jié)合，并引入知識蒸餾的思想，使得模型性能優(yōu)于以往的方法，并將其應(yīng)用于降雨云圖像的分類和天氣預(yù)測。

3.2 模型建立

基于小樣本的D-MB模型訓(xùn)練主要分為兩個(gè)階段：分類器訓(xùn)練階段和元學(xué)習(xí)階段。對于分類器訓(xùn)練階段，需要使用大量帶標(biāo)簽的基類(Cbase)數(shù)據(jù)訓(xùn)練出一個(gè)分類器，從而為后面的元學(xué)習(xí)模型提供性能優(yōu)異的特征提取器(或稱為編碼器encoder)。然后，將新類(Cnovel)圖像數(shù)據(jù)輸入到到元學(xué)習(xí)框架中進(jìn)行訓(xùn)練和學(xué)習(xí)。其中，值得注意的是本文采用的基類數(shù)據(jù)來自于公開數(shù)據(jù)集cifar100，新類數(shù)據(jù)為本文自建的降雨云數(shù)據(jù)集。

3.2.1 分類器模型

傳統(tǒng)的分類器模型是通過使用大量的數(shù)據(jù)獨(dú)立訓(xùn)練而成的，其訓(xùn)練結(jié)果的好壞通常都是通過與數(shù)據(jù)標(biāo)簽進(jìn)行對比得到的。但是數(shù)據(jù)標(biāo)簽包含的信息量往往較少，只能反映出結(jié)果的對錯(cuò)。所以，有學(xué)者提出在訓(xùn)練分類器模型時(shí)，引入一個(gè)預(yù)訓(xùn)練好的復(fù)雜模型(或稱為教師模型)來進(jìn)行輔助，此時(shí)被訓(xùn)練的分類器模型稱為學(xué)生模型。具體而言，即使用教師模型中的softmax層輸出來作為另一種“標(biāo)簽”，Hinton[13]將其稱為soft target，與學(xué)生模型的輸出進(jìn)行比較，從而獲得更加豐富的反饋信息。種訓(xùn)練的過程就被稱作為“知識蒸餾”。值得注意的是，如果在實(shí)驗(yàn)過程中soft target的數(shù)值方差太大，則引入教師模型的意義就不大了，所以在這里需要引入溫度參數(shù)T來控制教師模型對學(xué)生模型的影響，具體可見式(1)。

(1)

其中zi表示分類器模型中softmax層的輸出，zj表示其它模型的輸出，qi表示zi與zj之前的關(guān)聯(lián)度。溫度參數(shù)的值是根據(jù)具體實(shí)驗(yàn)的要求進(jìn)行人為設(shè)置的，常設(shè)為1。另外，T如果太大了，會導(dǎo)致正確項(xiàng)的數(shù)值與錯(cuò)誤項(xiàng)的數(shù)據(jù)差距太小，無法區(qū)分出哪個(gè)是正確的選項(xiàng)；T如果太小了，模型在“蒸餾”過程中會弱化soft target的作用，從而失去了蒸餾的意義。

根據(jù)Hinton[13]的研究表明，可以根據(jù)自身的實(shí)驗(yàn)需求進(jìn)行教師模型的選擇，不一定要是一個(gè)復(fù)雜的網(wǎng)絡(luò)模型。最后，會得到一個(gè)網(wǎng)絡(luò)層數(shù)更淺，運(yùn)行更快，但準(zhǔn)確度堪比同類型復(fù)雜網(wǎng)絡(luò)的分類器模型。分類器蒸餾訓(xùn)練的具體流程如圖2所示。

3.2.2 元學(xué)習(xí)模型

圖2 分類器蒸餾實(shí)驗(yàn)流程

在進(jìn)行元學(xué)習(xí)模型訓(xùn)練之前，需要先將蒸餾過后的分類器網(wǎng)絡(luò)去掉全連接層，并將其作為元學(xué)習(xí)模型中的encoder。同時(shí)，將Cnovel的數(shù)據(jù)劃分為支持集(support set)和詢問集(query set)。

元學(xué)習(xí)的主要特點(diǎn)是以task作為基本單位進(jìn)行網(wǎng)絡(luò)訓(xùn)練，即將整個(gè)網(wǎng)絡(luò)的訓(xùn)練過程分為多個(gè)小任務(wù)進(jìn)行。在每個(gè)task中，需要在支持集上的N個(gè)類各抽取K張的降雨云圖像(即N-way K-shot)輸入到編碼器fθ中，從而提取出各類數(shù)據(jù)的特征，同時(shí)在詢問集中也要抽出一定數(shù)量的圖片進(jìn)行特征提取。然后分別計(jì)算出詢問集數(shù)據(jù)與支持集中各類數(shù)據(jù)之間的相似度，最后將計(jì)算結(jié)果與詢問集中抽取的數(shù)據(jù)標(biāo)簽進(jìn)行對比，計(jì)算出loss。其中，相似度的計(jì)算可以選用L2或者COS來度量兩者之間的距離。具體的元學(xué)習(xí)模型框架如圖3所示。

3.2.3 損失函數(shù)

圖3 元學(xué)習(xí)模型算法流程

a) 分類器模型的損失函數(shù)

本文的蒸餾實(shí)驗(yàn)采用標(biāo)準(zhǔn)交叉熵作為分類器訓(xùn)練的損失函數(shù)，其loss通常包括了兩個(gè)部分：一個(gè)是學(xué)生模型與教師模型輸出之間的loss1，另一個(gè)是學(xué)生模型與數(shù)據(jù)標(biāo)簽之間的loss2。具體的損失函數(shù)見式(2)

loss=loss1+loss2

(2)

其中，loss1的具體計(jì)算可見式(3)

(3)

loss2的具體計(jì)算可見式(4)

(4)

b) 元學(xué)習(xí)模型的損失函數(shù)

由于整個(gè)元基線模型的損失函數(shù)是由每個(gè)訓(xùn)練任務(wù)的損失一起構(gòu)成的，所以需要計(jì)算每個(gè)任務(wù)的損失。首先，在支持集中計(jì)算N個(gè)類的質(zhì)心，這些質(zhì)心定義在式(5)中。

(5)

然后，用式(6)計(jì)算定義的查詢集中每個(gè)樣本的預(yù)測概率分布。

(6)

其中，S為支持集，Sc為在c類別的選取的數(shù)據(jù)，wc為計(jì)算出的特征平均值(類中心)，fθ為編碼器函數(shù)，x為輸入的圖像樣本數(shù)據(jù)，p為計(jì)算出的余弦相似度。

損失是由p和查詢集中樣本的標(biāo)簽計(jì)算的交叉熵?fù)p失，具體可見式(7)

(7)

值得注意的是，將每個(gè)任務(wù)都視為訓(xùn)練過程中的數(shù)據(jù)點(diǎn)，每個(gè)batch可能包含多個(gè)任務(wù)，并計(jì)算平均損失。

4 數(shù)據(jù)結(jié)果與分析

本文的實(shí)驗(yàn)環(huán)境為Linux操作系統(tǒng)，采用英偉達(dá)(NVDIA)顯卡，CUDA10.0，Pytorch版本為3.7，顯卡內(nèi)存為12G。

實(shí)驗(yàn)主要分為了三部分：運(yùn)用知識蒸餾的思想訓(xùn)練分類器模型，并與未經(jīng)蒸餾訓(xùn)練的模型進(jìn)行對比；構(gòu)建一個(gè)基于小樣本的元學(xué)習(xí)分類模型實(shí)現(xiàn)降雨預(yù)測，并對比不同深度的分類器網(wǎng)絡(luò)對整個(gè)元學(xué)習(xí)模型準(zhǔn)確度的影響；與目前主流的元學(xué)習(xí)模型進(jìn)行效果對比。

4.1 分類器模型的訓(xùn)練結(jié)果分析與對比

通過運(yùn)用知識蒸餾的思想，本文選擇ResNet110作為預(yù)訓(xùn)練的教師模型。同時(shí)考慮到不同網(wǎng)絡(luò)深度的encoder對D-MB模型分類效果的影響，分別選擇ResNet12，ResNet18，ResNet34，ResNet50作為學(xué)生模型，在cifar100數(shù)據(jù)集上進(jìn)行訓(xùn)練對比。

本小節(jié)的實(shí)驗(yàn)主要分為兩個(gè)部分。首先，對上面所提及的4個(gè)學(xué)生網(wǎng)絡(luò)分別進(jìn)行了隨機(jī)初始化獨(dú)立訓(xùn)練。然后，再對同樣的4個(gè)學(xué)生網(wǎng)絡(luò)進(jìn)行蒸餾實(shí)驗(yàn)。訓(xùn)練的基本設(shè)置為迭代200次，批處理數(shù)量為128，學(xué)習(xí)率為0.1，權(quán)重遞減1e-4，學(xué)習(xí)動量為0.9，優(yōu)化器選用Adam。兩次的具體結(jié)果如下表2所示。

表2 分類器模型結(jié)果對比

從上表可以觀察到，隨著網(wǎng)絡(luò)的加深，學(xué)生模型的準(zhǔn)確度越來越高。且通過蒸餾實(shí)驗(yàn)訓(xùn)練出的模型準(zhǔn)確度均高于獨(dú)立訓(xùn)練的模型。由此可見，運(yùn)用知識蒸餾的思想可以明顯提高分類器網(wǎng)絡(luò)的性能。

4.2 D-MB模型實(shí)驗(yàn)結(jié)果的分析

本次實(shí)驗(yàn)采用的數(shù)據(jù)集為自建的降雨云數(shù)據(jù)。為了體現(xiàn)D-MB模型在跨域分類方面的有效性，本文將該數(shù)據(jù)集(共6個(gè)類，120張)中的4個(gè)類劃分為支持集(80張)，剩下的2個(gè)類劃分為詢問集(40張)，然后分別將shot數(shù)設(shè)置為1和5進(jìn)行訓(xùn)練和測試。

在進(jìn)行D-MB實(shí)驗(yàn)之前，需要將蒸餾后的學(xué)生網(wǎng)絡(luò)去掉全連接層作為元基線模型的encoder。在接下來的實(shí)驗(yàn)中，分別采用ResNet12，ResNet18，ResNet34，ResNet50作為元基線模型的encoder進(jìn)行實(shí)驗(yàn)對比，挑選出性能最佳的主干網(wǎng)絡(luò)模型。訓(xùn)練的基本設(shè)置為迭代20次，每個(gè)task的batch為4，學(xué)習(xí)率為0.001，權(quán)重遞減1e-4，優(yōu)化器選用Adam。具體的模型準(zhǔn)確度測試結(jié)果如表4所示。

表4 D-MB模型實(shí)驗(yàn)結(jié)果

由上表觀察可得，ResNet12在降雨云數(shù)據(jù)集上的分類效果最佳，因此本文采用ResNet12作為元基線模型的encoder。D-MB模型訓(xùn)練精度如圖4和圖5所示。

圖4 ResNet12的1shot訓(xùn)練準(zhǔn)確度

從圖中可以看出，D-MB模型的1shot和5shot的訓(xùn)練精度分別可以達(dá)到57%和74.78%。

圖5 ResNet12的5shot訓(xùn)練準(zhǔn)確度

4.3 與目前主流的元學(xué)習(xí)模型的對比分析

目前，元學(xué)習(xí)模型方法大致可以分為基于記憶的元學(xué)習(xí)方法，基于優(yōu)化的元學(xué)習(xí)方法，以及基于距離度量的元學(xué)習(xí)方法這3類。在本小節(jié)中，本文主要選擇兩種應(yīng)用較為廣泛且效果得到了學(xué)界認(rèn)可的元學(xué)習(xí)模型——Prototype Network和Matching Network。在進(jìn)行對比實(shí)驗(yàn)時(shí)，對于Prototype Network和Matching Network模型訓(xùn)練的基本設(shè)置均為迭代80次，采用隨機(jī)梯度下降法，學(xué)習(xí)率為0.001。最后的實(shí)驗(yàn)對比結(jié)果如下表5所示。

表5 元學(xué)習(xí)模型實(shí)驗(yàn)結(jié)果對比

從表中可以看出，本文提出的D-MB模型相比于Prototype Network和Matching Network模型在自建的降雨云數(shù)據(jù)上表現(xiàn)出了更高的預(yù)測準(zhǔn)確度。

5 結(jié)語

本文根據(jù)世界氣象組織提供的資料，建立了一個(gè)新的降雨云圖像數(shù)據(jù)集，其中包括了6類降雨云，各類20張，共120張圖片。并在此基礎(chǔ)上提出了一種基于小樣本學(xué)習(xí)的降雨云分類模型(D-MB模型)，進(jìn)行天氣預(yù)測。整個(gè)模型分為了兩個(gè)部分：分類器模型和元學(xué)習(xí)模型。其中，在分類器模型的訓(xùn)練過程中引入知識蒸餾的思想，使得相比于傳統(tǒng)獨(dú)立訓(xùn)練出的分類模型準(zhǔn)確率要高。利用降雨云數(shù)據(jù)集訓(xùn)練出的元學(xué)習(xí)模型的1shot和5shot測試精度高達(dá)54.2%和70.2%。相比于目前常見的元學(xué)習(xí)分類模型擁有更好的跨域性和更高的準(zhǔn)確性。通過各類降雨云對應(yīng)的降雨信息，在一定程度上可以實(shí)現(xiàn)實(shí)時(shí)有效地天氣預(yù)測。