鄒國良，侯倩，鄭宗生，黃冬梅，劉兆榮

(上海海洋大學(xué) 信息學(xué)院，上海 201306)

0 引言

我國沿海地區(qū)是世界上受臺風(fēng)侵襲較多的區(qū)域，特別是臺風(fēng)引起的風(fēng)暴潮對海上船舶、海洋工程產(chǎn)業(yè)造成極大損失。據(jù)統(tǒng)計，風(fēng)暴潮災(zāi)害所造成的經(jīng)濟損失占海洋災(zāi)害的90%以上。臺風(fēng)影響人類生命及財產(chǎn)安全的程度都與其強度密切相關(guān)，因此對其強度的研究一直是海洋氣象界關(guān)注的熱點之一[1]。在臺風(fēng)爆發(fā)期間，氣候及海洋環(huán)境異常惡劣很難直接獲取臺風(fēng)數(shù)據(jù)。隨著衛(wèi)星遙感技術(shù)水平的提高，氣象衛(wèi)星云圖能夠更加準(zhǔn)確、穩(wěn)定地全天候?qū)崟r監(jiān)測天氣變化[2]，成為觀測和預(yù)報臺風(fēng)的主要手段，其在臺風(fēng)的產(chǎn)生、發(fā)展等研究中已經(jīng)取得一系列的成果[3]。根據(jù)衛(wèi)星云圖分析，臺風(fēng)大多是由熱帶輻合區(qū)(intertropical convergence zone，ITCZ)云帶中的擾動云團引起，不同強度的臺風(fēng)在衛(wèi)星云圖上表現(xiàn)為不同特征的螺旋云系。熱帶擾動和不同強度的臺風(fēng)在云圖上有明顯的差異，其中密蔽云區(qū)的大小與臺風(fēng)的強度有關(guān)[4]。目前針對臺風(fēng)強度的研究方法主要有主觀經(jīng)驗法[5]、數(shù)值模擬分析法[6]。主觀經(jīng)驗法需通過專業(yè)知識對臺風(fēng)強度評估，例如目前最成熟的Dvorak分析法利用衛(wèi)星云圖中的云系結(jié)構(gòu)特征及特定的參數(shù)通過經(jīng)驗規(guī)則和約束條件來估計強度，但其需要專業(yè)知識對臺風(fēng)特征提取并且無法得到臺風(fēng)內(nèi)核的結(jié)構(gòu)信息。數(shù)值模擬分析法通過綜合考慮不同初始場、邊界條件等大氣環(huán)境中先驗物理量來優(yōu)化成熟的臺風(fēng)預(yù)報模型。目前穩(wěn)定的臺風(fēng)過程風(fēng)速預(yù)報誤差可達到3.9 m/s[7]，但數(shù)值模擬分析法需要綜合考慮不同初始場、邊界條件的影響，文獻[6]中王慧利用中尺度ARW-WRF模式提出臺風(fēng)漩渦動力初始化和大尺度譜逼近相結(jié)合的方案改進對臺風(fēng)強度的模擬，但初始條件的不確定性導(dǎo)致數(shù)值模擬存在一定誤差。

近年來，國內(nèi)外諸多學(xué)者在海洋氣象領(lǐng)域中通過機器學(xué)習(xí)算法實現(xiàn)衛(wèi)星云圖的分類識別。機器學(xué)習(xí)算法可從大量的衛(wèi)星云圖中自動、快速、有效地提取隱含特征，例如，韓丁等建立支持向量機(support vector machine，SVM)模型實現(xiàn)氣象云圖的分類，與BP (back propagation)網(wǎng)絡(luò)模型的分類結(jié)果對比準(zhǔn)確率達到82.4%[8]；針對衛(wèi)星云圖易受噪聲干擾，田文哲等優(yōu)化參數(shù)構(gòu)造自適應(yīng)模糊支持向量機(adaptive fuzzy support vector machine，AFSVM)使準(zhǔn)確率達到88.2%[9]；Liu等運用多種神經(jīng)網(wǎng)絡(luò)方法實現(xiàn)云類識別，通過對比實驗構(gòu)造自組織映射神經(jīng)網(wǎng)絡(luò)(self organizing maps，SOM) 模型將氣象云圖分類錯誤率降低了7.74%[10]。但是，通過機器學(xué)習(xí)利用衛(wèi)星云圖來識別臺風(fēng)等級的特征研究較少，主要原因是傳統(tǒng)的機器學(xué)習(xí)算法需要顯式提取特征進行分類，但衛(wèi)星云圖中與臺風(fēng)強度相關(guān)的特征復(fù)雜提取困難。

深度學(xué)習(xí)作為一種強泛化能力的分類識別方法，克服了傳統(tǒng)方法中需要先驗知識進行顯式提取特征的不足。其作為機器學(xué)習(xí)算法中一個新的技術(shù)[11]，在計算機視覺領(lǐng)域掀起了一股研究熱潮，Google、Facebook、Microsoft、IBM、Yahoo、Twitter和Adobe等紛紛成立研究機構(gòu)將深度學(xué)習(xí)納入實際項目進行研發(fā)，如Microsoft基于深度學(xué)習(xí)的視覺系統(tǒng)；Google在2016年3月基于深度學(xué)習(xí)技術(shù)的Alphago在人機對弈中擊敗人類。目前，深度學(xué)習(xí)在模式識別、智能視頻、機器視覺等研究領(lǐng)域取得了一系列成果[12-15]。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)應(yīng)用成功的模型之一，在遙感水體提取[16]和低空攝影測量DEM自動修補[17]中得到進一步的研究和應(yīng)用。這些方面的成功應(yīng)用進一步證明了卷積神經(jīng)網(wǎng)絡(luò)可通過模擬人腦進行分析和學(xué)習(xí)，能夠隱式提取圖像中深層抽象的復(fù)雜特征。

因此，本文針對臺風(fēng)形成中復(fù)雜的大氣因素導(dǎo)致的衛(wèi)星云圖特征提取復(fù)雜、識別率低等問題展開研究。通過引入深度學(xué)習(xí)的方法，在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的基礎(chǔ)上，采用多尺度卷積核的循環(huán)卷積策略，同時引入信息熵、Dropout置零率優(yōu)化網(wǎng)絡(luò)參數(shù)，構(gòu)建了適用于臺風(fēng)等級識別的Typhoon-CNNs模型；利用獲取的“Himawari1-8”衛(wèi)星4 800景云圖進行實驗并與傳統(tǒng)模型進行對比得到預(yù)期效果，為相關(guān)部門提供準(zhǔn)確、便捷的輔助決策方法。

1 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)是由卷積層和采樣層交替組成網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)采用反向傳播神經(jīng)元誤差敏感項δl的方法實現(xiàn)網(wǎng)絡(luò)權(quán)值的更新，特征提取過程可以表示為得分函數(shù)S(xi,w,b)。對第i個樣本(xi,yi)分類誤差的交叉熵?fù)p失函數(shù)定義為：

Li=-lnesyi+ln∑esi

(1)

樣本(xi,yi)經(jīng)過網(wǎng)絡(luò)后的輸出為f(x)，則對應(yīng)該樣本的損失值為：

Li(f(x),y)=-lnf(x)y

(2)

深度為l層的卷積神經(jīng)網(wǎng)絡(luò)輸出層的誤差敏感項是：

(3)

式中：al表示第l層的輸入。

最后運用卷積神經(jīng)網(wǎng)絡(luò)的δ反向傳播規(guī)則[18]對每個神經(jīng)元的權(quán)值更新，使得模型整體誤差函數(shù)不斷降低。

卷積層是利用本層的卷積核與輸入圖像進行卷積，再經(jīng)過神經(jīng)元激活函數(shù)輸出本層的特征圖，實現(xiàn)對輸入圖像隱式的特征提取。卷積過程定義如下公式：

(4)

注：Input代表輸入圖像；kx表示模型卷積層的卷積核；*代表卷積運算；bx代表偏置；cx表示卷積層；f是激活函數(shù)。圖1 卷積過程示意圖

采樣層是對當(dāng)前輸入的特征圖做下采樣降低圖像的分辨率，減少運算量，從而提高網(wǎng)絡(luò)收斂速度。采樣過程定義為：

(5)

圖2 采樣過程示意圖

2 Typhoon-CNNs網(wǎng)絡(luò)模型

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)是卷積層和采樣層交替排列構(gòu)成網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。當(dāng)輸入特征不明顯的時候，采用池化層在降低維度的同時會丟失部分圖像信息，導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)能力下降。不同于手寫字體庫數(shù)據(jù)集(MNIST)特征明顯，本文構(gòu)建的衛(wèi)星云圖數(shù)據(jù)集，由于臺風(fēng)形成中復(fù)雜的大氣因素使得云圖螺旋半徑內(nèi)特征不明顯，因此傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(CNN)并不適用于臺風(fēng)云圖特征提取。

為了更好提取螺旋云系的特征，本文在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上采用循環(huán)卷積增強模型特征提取能力；引入信息熵、Dropout置零率優(yōu)化網(wǎng)絡(luò)參數(shù)穩(wěn)定模型識別率，增加網(wǎng)絡(luò)的魯棒性(具體實驗見第3小節(jié))提出了適用于臺風(fēng)云圖等級分類的深度學(xué)習(xí)模型Typhoon-CNNs，如圖3所示。Typhoon-CNNs包括3個卷積層、1個采樣層和2個全連接層，通過權(quán)值共享和網(wǎng)絡(luò)結(jié)構(gòu)重組對6層神經(jīng)網(wǎng)絡(luò)進行特征學(xué)習(xí)，同時使得整個網(wǎng)絡(luò)可以通過反向傳播算法得以很好訓(xùn)練并用于分類。本次實驗把臺風(fēng)等級分為4個等級，因此最后一層輸出4個單元代表所分的類別。

圖3 Typhoon-CNNs全模型

3 Typhoon-CNNs模型參數(shù)優(yōu)化及驗證

本文所有對比實驗均是基于ubunt16.10 CPU intel core i5-6 500M 3.2 GHz，內(nèi)存為4 GB，使用的深度學(xué)習(xí)框架為開源的keras[19]。

3.1 實驗數(shù)據(jù)

1977年到2014年日本相繼發(fā)射“Himawari1-8”衛(wèi)星。尤其“Himawari-8”地球同步氣象衛(wèi)星有16個波段通道，空間分辨率最高可達到500 m。實驗數(shù)據(jù)采用日本國立情報學(xué)研究所(National Institute of Informatics，NII)提供的西北太平洋1978—2016年“Himawari1-8”衛(wèi)星觀測到的高時間分辨率衛(wèi)星云圖資料及對應(yīng)的臺風(fēng)強度信息。數(shù)據(jù)集包含近1 000多個臺風(fēng)過程，為了獲取全天候的數(shù)據(jù)，實驗采用了紅外云圖作為數(shù)據(jù)樣本，依據(jù)臺風(fēng)等級標(biāo)準(zhǔn)(表1)制定4類臺風(fēng)等級標(biāo)簽。

表1 臺風(fēng)等級標(biāo)準(zhǔn)

本文將采集到的紅外云圖首先采用中值濾波器去除云圖斑塊中的噪聲，有效保留圖像中的邊緣信息；其次采用最近鄰插值縮放，將云圖轉(zhuǎn)化為24×24×1的格式作為網(wǎng)絡(luò)的輸入；最后根據(jù)(表1)制定數(shù)據(jù)集標(biāo)簽。數(shù)據(jù)集統(tǒng)一采用4類標(biāo)簽標(biāo)記：0代表熱帶低氣壓、1代表臺風(fēng)、2代表強臺風(fēng)、3代表超強臺風(fēng)。最終構(gòu)建了4 000訓(xùn)練樣本、800測試樣本的數(shù)據(jù)集，熱帶低氣壓、臺風(fēng)、強臺風(fēng)、超強臺風(fēng)訓(xùn)練集各1 000個、測試集各200個，部分衛(wèi)星云圖樣本如圖4所示。

圖4 部分氣象衛(wèi)星云圖樣本

3.2 模型檢驗指標(biāo)

模型的精確度通過正確率檢驗，假設(shè)在n個樣本中第i個樣本的真實類標(biāo)簽為yi，預(yù)測類標(biāo)簽為oi，則模型分類的正確率為：

(6)

預(yù)測得到的類標(biāo)簽與真正的標(biāo)簽集越吻合，模型分類的正確率越大。

3.3 訓(xùn)練Typhoon-CNNs模型

卷積神經(jīng)網(wǎng)絡(luò)中softmax層輸出各類對應(yīng)的概率，概率大的類別即視為輸出的等級。為了抑制softmax輸出層各類出現(xiàn)相近的概率，使得信息不能得到充分訓(xùn)練，本文引入信息熵在反向傳播中優(yōu)化誤差敏感項δl。設(shè)等概率分布

v={p1=1/n,p2=1/n…pn=1/n}

(7)

當(dāng)v發(fā)生微小變化Δvi時定義為

u=vi+Δvi, ∑Δvi=0

(8)

將H(u)的二階泰勒展開為

(9)

所以H(u)表示為

(10)

通過式(10)發(fā)現(xiàn)：在等概的基礎(chǔ)上如果概率分布發(fā)生細微變化時，信息熵的靈敏度也會隨之變動。因此本文將信息熵疊加到前文所述δl上，形成適用于臺風(fēng)等級分類的δT來優(yōu)化Typhoon-CNN模型中卷積核和Dropout參數(shù)。

1)優(yōu)化選擇卷積濾波器參數(shù)。由于單張臺風(fēng)云圖受到頻譜、分辨率等因素的影響導(dǎo)致反映的特征量有限，采用循環(huán)卷積層代替采樣層能更好地提取臺風(fēng)云圖的螺旋云帶特征。卷積核作為卷積層中最具特性的部分影響著整個網(wǎng)絡(luò)的性能，其大小影響著關(guān)聯(lián)像素的特征提取，過小則不能充分提取關(guān)聯(lián)像素且提取效率低，而過大會增加冗余從而丟失局部信息[20]。因為臺風(fēng)的關(guān)聯(lián)相似性很高[21]，所以網(wǎng)絡(luò)模型選擇合適的卷積核大小至關(guān)重要。針對臺風(fēng)關(guān)聯(lián)相似性高難以分類的問題，本文第一組實驗采用不同大小的卷積核對同張云圖特征提取，由于采樣層像素需要整除且輸入的圖片像素為24×24，所以前兩層卷積層分別采用32個1×1、3×3、5×5、7×7的卷積濾波器，最后一層卷積層采用2×2的卷積濾波器，對網(wǎng)絡(luò)進行訓(xùn)練。

對模型進行400次迭代訓(xùn)練后，實驗結(jié)果如圖5所示。

圖5 不同大小的卷積核訓(xùn)練結(jié)果

從圖5可以看出，在現(xiàn)有樣本的基礎(chǔ)上。卷積核大小為1×1的時候網(wǎng)絡(luò)交叉熵?fù)p失值只能達到0.555 7；3×3的卷積核收斂的速度最慢，迭代次數(shù)達到350次才使網(wǎng)絡(luò)達到穩(wěn)定；7×7的卷積核在迭代310次的時候達到收斂且穩(wěn)定，網(wǎng)絡(luò)結(jié)構(gòu)損失值最后穩(wěn)定在0.018 9±0.01的范圍內(nèi)；5×5的卷積核在迭代320次時網(wǎng)絡(luò)結(jié)構(gòu)穩(wěn)定并達到系統(tǒng)最佳的損失值0.009 4，從而確定了5×5的卷積核為最佳濾波器尺度。

2)優(yōu)化Dropout置零率。將第一組實驗的模型應(yīng)用在測試集上進行第二組實驗，得到的結(jié)果如表2所示。

表2 不同大小的卷積核模型測試結(jié)果

對比表2發(fā)現(xiàn)網(wǎng)絡(luò)模型產(chǎn)生過擬合。為了有效防止過擬合，本文在Typhoon-CNNs模型的全連接層引用Dropout策略，隨機凍結(jié)部分神經(jīng)元，使網(wǎng)絡(luò)的權(quán)值更新不再依賴于隱含節(jié)點的固定關(guān)系，從而削弱過擬合問題。如圖3虛線框所示。將不同的Dropout置零率引入模型全連接層得到結(jié)果如圖6所示。

圖6 隨機凍結(jié)不同比例的神經(jīng)元

由圖6可以看出Dropout方法隨機凍結(jié)部分的神經(jīng)元并不一定會使模型的泛化能力增強。在Dropout置零率分別取20%、80%、90%的時候正確率在下降，并且在Dropout為20%時系統(tǒng)的正確率最低為91.00±0.1%。對比圖6中的數(shù)據(jù)，網(wǎng)絡(luò)最終結(jié)構(gòu)選用Dropout置零率為60%來優(yōu)化模型，使模型的識別率達到92.50±0.2%。

3.4 模型結(jié)果對比分析

通過卷積核和Dropout參數(shù)在臺風(fēng)數(shù)據(jù)集中的對比實驗得到最佳參數(shù)并應(yīng)用到Typhoon-CNNs模型中。選取測試集對模型驗證進行第三組實驗，具體結(jié)果見表3。

表3 樣本混淆矩陣

從表3可以看出臺風(fēng)和超強臺風(fēng)2個等級的預(yù)測正確率達到99%，而熱帶低氣壓的預(yù)測正確率為80%。分析原因，在臺風(fēng)形成的過程中熱帶低氣壓沒有特定形狀的云團特征和完整的結(jié)構(gòu)(圖4(a))，因此分類正確率較低，模型把10景熱帶低氣壓云圖錯分類為臺風(fēng)，8景分為強臺風(fēng)，2景分為超強臺風(fēng)；當(dāng)形成臺風(fēng)后具有明顯的眼區(qū)和螺旋云帶特征(圖4(b)、圖4(c)、圖4(d))便于模型識別。為了表達深度學(xué)習(xí)模型所提取的特征敏感區(qū)可以作為臺風(fēng)預(yù)報的重要依據(jù)，將第一組實驗中模型的第一層特征做可視化實驗，結(jié)果如圖7所示。

圖7 不同卷積核的特征提取效果

對比圖7發(fā)現(xiàn)，5×5的卷積核能夠獲得完整圖像的特征，相對1×1和3×3的卷積核效率更高。5×5的卷積核對臺風(fēng)眼、云墻、螺旋云帶(即黃色區(qū)域)特征提取明顯，但是7×7的卷積核會增加臺風(fēng)相似冗余從而丟失局部特征。對比原圖的渦旋云區(qū)發(fā)現(xiàn)，模型對于黃色區(qū)域更加敏感，而對臺風(fēng)邊緣的纖維狀云并不敏感，因此增加模型對黃色區(qū)域的特征提取有益于模型的分類。這與目前諸多學(xué)者通過定位臺風(fēng)眼、分割密蔽云區(qū)和提取螺旋云帶特征來預(yù)報臺風(fēng)一致，這也證明了通過深度學(xué)習(xí)及衛(wèi)星云圖對臺風(fēng)等級分類的可行性。

在測試集上對傳統(tǒng)分類方法和Typhoon-CNNs進行對比實驗，具體結(jié)果見表4。

表4 精度評價

對比表4發(fā)現(xiàn)針對現(xiàn)有的測試集樣本，相比于淺層模型結(jié)構(gòu)SVM和BP，深度卷積神經(jīng)網(wǎng)絡(luò)能高效地學(xué)習(xí)到云圖中深層非線性特征，提高模型的識別精度。相比于CNN模型，本文模型對臺風(fēng)等級分類的效果明顯，精度提高了14.84%。分別對CNN和Typhoon-CNNs模型的隱藏層可視化結(jié)果如圖8所示。

圖8 模型特征可視化

對比圖8中黃色區(qū)域發(fā)現(xiàn)CNN丟失了云圖的局部特征，從而導(dǎo)致分類能力降低。分析原因，CNN采樣層的使用，使得模型丟失了臺風(fēng)云圖中臺風(fēng)眼、密蔽云區(qū)和螺旋云帶的特征而更多地提取臺風(fēng)邊緣的纖維狀云特征，使得模型的分類能力降低。本文的模型能很好地提取黃色區(qū)域特征，這也證明Typhoon-CNNs對CNN的改善。

綜上所述，與傳統(tǒng)方法相比，本文提出的模型在臺風(fēng)分類效果明顯。因此具有深度學(xué)習(xí)架構(gòu)的Typhoon-CNNs對于衛(wèi)星云圖的特征更能精確表達，證明Typhoon-CNNs的有效性。

4 結(jié)束語

衛(wèi)星云圖是監(jiān)測臺風(fēng)的有效手段之一，衛(wèi)星云圖蘊涵了豐富的天氣演變信息，深度學(xué)習(xí)避免了顯式的特征提取，直接處理圖片將特征提取功能融合進多層感知器。本文提出的適應(yīng)衛(wèi)星云圖等級分類的Typhoon-CNNs模型，主要結(jié)論如下：

①Typhoon-CNNs將特征提取過程中卷積核參數(shù)和分類器參數(shù)整合到模型中。針對不同時刻引起的特征變化使分類器很難保持穩(wěn)定的識別率，網(wǎng)絡(luò)引入信息熵穩(wěn)定識別率；采用循環(huán)卷積優(yōu)化選擇濾波器參數(shù)增強模型的表征力。針對模型存在的過擬合問題，提出優(yōu)化調(diào)節(jié)Dropout置零率，使模型的正確率從91.16%提高到92.5%，有效防止過擬合。

②利用準(zhǔn)確率評價指標(biāo)對Typhoon-CNNs和傳統(tǒng)模型評價。實驗結(jié)果表明在現(xiàn)有的樣本基礎(chǔ)上，Typhoon-CNNs平均正確率達到92.5%，優(yōu)于傳統(tǒng)分類方法，為后續(xù)的臺風(fēng)強度等級分類奠定基礎(chǔ)。

③基于衛(wèi)星云圖及深度學(xué)習(xí)的臺風(fēng)等級研究目前還處在初期，還有幾個方面需要做進一步研究，如對衛(wèi)星云圖分割預(yù)處理、采用變尺寸卷積核增強模型特征提取能力、考慮臺風(fēng)時間序列因素對分類的影響。