金柱璋，方旭源，黃彥慧，尹曹謙，金 煒

寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江 寧波 315211

1 引 言

氣象衛(wèi)星能從空中監(jiān)測(cè)不同尺度的天氣現(xiàn)象，其所獲取的衛(wèi)星云圖對(duì)于天氣分析與預(yù)報(bào)均有重要的作用。近年來(lái)，隨著氣象衛(wèi)星技術(shù)的發(fā)展，衛(wèi)星云圖的空間光譜分辨率和采集頻率不斷提高，如何管理海量的衛(wèi)星云圖，設(shè)計(jì)高效的云圖檢索系統(tǒng)成為困擾氣象工作者的難題。衛(wèi)星云圖檢索屬于圖像檢索范疇，主要包括基于文本的圖像檢索(text-based image retrieval，TBIR)和基于內(nèi)容的圖像檢索(content-based image retrieval，CBIR)。由于TBIR 需耗費(fèi)大量時(shí)間進(jìn)行標(biāo)注，CBIR 已成為圖像檢索的主流技術(shù)，并在云圖檢索中得到應(yīng)用。徐堅(jiān)[1]設(shè)計(jì)了一個(gè)基于顏色和紋理特征的云圖檢索系統(tǒng)，提高了云圖特征的表達(dá)能力；上官偉[2]通過(guò)提取云圖的形狀特征，并對(duì)特征加權(quán)提高了檢索精度；李秀馨[3]利用模糊C 均值聚類分割出各云系后，提取云系特征，進(jìn)一步改善了對(duì)于云系的表征能力；徐曄曄[4]結(jié)合Otsu 和改進(jìn)分形維數(shù)算法首先對(duì)云系進(jìn)行分割，并利用多特征融合實(shí)現(xiàn)了紅外云圖檢索。雖然上述方法在云圖檢索性能上各有優(yōu)勢(shì)，但均采用人工定義的底層特征來(lái)表征云圖，難以捕獲云圖蘊(yùn)含的氣象語(yǔ)義信息，且特征維度往往較高，算法的計(jì)算復(fù)雜度不容忽視。

隨著人腦視覺(jué)感知機(jī)制研究的興起，深度學(xué)習(xí)在各領(lǐng)域異軍突起，特別是深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural networks，DCNN)在圖像分類[5]、檢索[6]和分割[7]等領(lǐng)域都得到了廣泛的應(yīng)用。區(qū)別于傳統(tǒng)自然圖像，衛(wèi)星云圖具有多波段特點(diǎn)，當(dāng)使用傳統(tǒng)二維卷積神經(jīng)網(wǎng)絡(luò)(2D convolutional neural networks，2D CNN)提取特征時(shí)，難以有效刻畫云圖的波段信息。受Roy 等人在高光譜圖像分類工作[8-9]的啟發(fā)，本文通過(guò)構(gòu)建殘差三維-二維卷積神經(jīng)網(wǎng)絡(luò)(residual 3D-2D convolutional neural network，R3D-2D CNN)，提出了一種基于深度度量學(xué)習(xí)的衛(wèi)星云圖檢索方法。該方法首先利用三維卷積和二維卷積分別提取云圖的光譜信息和空間信息，以空譜聯(lián)合特征捕捉的策略表征云圖蘊(yùn)含的氣象語(yǔ)義信息。在此基礎(chǔ)上，針對(duì)部分云圖在特征空間存在類內(nèi)差異大類間差異小的問(wèn)題，采用深度度量學(xué)習(xí)[10-12](deep metric learning，DML)，通過(guò)三元組訓(xùn)練方法[10]，將云圖映射到度量空間中，使得樣本特征間的距離滿足檢索的要求。同時(shí)，鑒于傳統(tǒng)三元組損失易使模型落入局部最優(yōu)的情況，本文對(duì)三元組損失函數(shù)進(jìn)行改進(jìn)，在解決早熟收斂問(wèn)題的同時(shí)，進(jìn)一步拉近相似云圖在嵌入空間中的距離，并引入哈希學(xué)習(xí)以漢明距離計(jì)算云圖間的相似度，從而在保證檢索精度的情況下提高了檢索效率。

2 數(shù)據(jù)獲取及模型構(gòu)建

2.1 數(shù)據(jù)集構(gòu)建

Himawari-8 氣象衛(wèi)星是日本發(fā)射的新一代靜止衛(wèi)星，其上搭載的成像儀(Advanced Himawari Imager,AHI)較上一代衛(wèi)星在頻帶數(shù)量、空間分辨率和時(shí)間頻率方面都有很大改善[13]。該衛(wèi)星具有3 個(gè)可見(jiàn)光、3 個(gè)近紅外和10 個(gè)紅外觀測(cè)波段，3 個(gè)可見(jiàn)光波段中心波長(zhǎng)分別為0.46 μm、0.51 μm 和0.64 μm，3 個(gè)近紅外波段中心波長(zhǎng)分別為0.96 μm、1.6 μm 和2.3 μm，10 個(gè)紅外波段中心波長(zhǎng)分布于3.9 μm～13.3 μm 之間。其中，可見(jiàn)光和近紅外波段的云圖數(shù)據(jù)以反射率形式呈現(xiàn)，而紅外波段以亮度溫度形式呈現(xiàn)，二者可以分別反映云層的厚度和云層的高度[14]。如果將不同模態(tài)的衛(wèi)星云圖簡(jiǎn)單融合設(shè)計(jì)云圖檢索系統(tǒng)，不僅難于提高檢索的準(zhǔn)確度，而且將帶來(lái)額外的計(jì)算復(fù)雜度。因此傳統(tǒng)云圖檢索算法往往基于3 個(gè)可見(jiàn)光波段進(jìn)行設(shè)計(jì)，這就忽略了能夠提供如水/冰相態(tài)、粒子大小和光學(xué)厚度等云物理參數(shù)的其它波段[13]的信息。為了綜合利用不同波段的信息，本研究選取3 個(gè)可見(jiàn)光和3 個(gè)近紅外波段的云圖數(shù)據(jù)開(kāi)展檢索系統(tǒng)的研究。

本文所選取的Himawari-8 氣象衛(wèi)星云圖由日本宇宙航空研究開(kāi)發(fā)署的P-Tree 系統(tǒng)所發(fā)布，研究區(qū)域?yàn)闁|經(jīng)121°～125°，北緯28°～32°的中國(guó)東南沿海，時(shí)間范圍包括2017 與2018 年每日北京時(shí)間10 點(diǎn)至11 點(diǎn)。我們將全圓盤云圖數(shù)據(jù)依據(jù)研究區(qū)域的經(jīng)緯度進(jìn)行截取，生成大小為81 pixel×81 pixel 的不同時(shí)刻的6 波段云圖后組成數(shù)據(jù)集，并對(duì)各云圖依據(jù)對(duì)應(yīng)氣象站的歷史天氣狀況記錄進(jìn)行標(biāo)注。數(shù)據(jù)集包括1244 個(gè)時(shí)次的陰天云圖、372 個(gè)時(shí)次的晴天云圖、1219 個(gè)時(shí)次的雨天云圖和792 個(gè)時(shí)次的臺(tái)風(fēng)云圖，圖1 為研究區(qū)域不同天氣狀況的可見(jiàn)光波段1 的云圖示例。

在此基礎(chǔ)上，為了刻畫完整的天氣系統(tǒng)，本文參考云圖數(shù)據(jù)集LSCIDMR[15]的構(gòu)建方法，以1000 pixels×1000 pixels 大小的滑動(dòng)窗口對(duì)Himawari-8 的北半球云圖進(jìn)行截取，并參照LSCIDMR 的標(biāo)注將所截取的云圖標(biāo)注為熱帶颶風(fēng)、鋒面、西風(fēng)急流、雪等不同的天氣系統(tǒng)；為了控制算法的計(jì)算復(fù)雜度，本文將6 通道的1000 pixels×1000 pixels 的云圖縮小為128 pixels×128 pixels；為了使不同類別天氣系統(tǒng)的云圖數(shù)量基本均衡，我們篩選了632 個(gè)時(shí)次的鋒面云圖、628 個(gè)時(shí)次的西風(fēng)急流云圖、717 個(gè)時(shí)次的雪天云圖和698 個(gè)時(shí)次的熱帶颶風(fēng)云圖組成北半球區(qū)域云圖數(shù)據(jù)集，圖2給出了不同天氣系統(tǒng)可見(jiàn)光波段1 的云圖示例。下文的研究將分別基于東南沿海區(qū)域云圖數(shù)據(jù)集和北半球區(qū)域云圖數(shù)據(jù)集展開(kāi)，為了敘述簡(jiǎn)潔，將它們分別簡(jiǎn)稱為沿海云圖數(shù)據(jù)集和北半球云圖數(shù)據(jù)集。

2.2 模型構(gòu)建

設(shè)衛(wèi)星云圖數(shù)據(jù)集為I={x1,x2,...,xi,xn}，n代表數(shù)據(jù)集樣本的數(shù)量，xi為每時(shí)次的云圖，其對(duì)應(yīng)的天氣標(biāo)簽為yi。為了實(shí)現(xiàn)云圖檢索系統(tǒng)，本模型應(yīng)用哈希函數(shù)將衛(wèi)星云圖編碼為二值哈希碼：h:I→{-1,1}K×n，其中K為哈希碼的位數(shù)。我們首先構(gòu)建殘差三維-二維卷積神經(jīng)網(wǎng)絡(luò)模型以刻畫云圖的空譜聯(lián)合特征，然后通過(guò)度量學(xué)習(xí)監(jiān)督模型訓(xùn)練，提取云圖的哈希碼特征。圖3 為算法流程圖。

本模型采用兩個(gè)時(shí)次的同類云圖和一個(gè)時(shí)次的非同類云圖組成三元組，開(kāi)展度量學(xué)習(xí)訓(xùn)練。三元組通過(guò)R3D-2D CNN 生成近似哈希碼，經(jīng)過(guò)二值化操作轉(zhuǎn)換成哈希碼后存儲(chǔ)到哈希碼庫(kù)中。在測(cè)試階段，待檢索云圖的哈希碼同云圖庫(kù)中歷史云圖的哈希碼進(jìn)行比對(duì)，并通過(guò)計(jì)算漢明距離返回檢索結(jié)果。

2.2.1 殘差三維-二維卷積神經(jīng)網(wǎng)絡(luò)

為了提取衛(wèi)星云圖的空間及多波段光譜特征，本文在二維卷積網(wǎng)絡(luò)的基礎(chǔ)上，構(gòu)建了如圖4 所示的殘差3D-2D 卷積神經(jīng)網(wǎng)絡(luò)。

圖1 不同天氣可見(jiàn)光波段1 的云圖。(a) 陰天；(b) 雨天；(c) 晴天；(d) 臺(tái)風(fēng)Fig.1 Visible band 1 cloud images of different weather(a) Cloudy;(b) Rainy;(c) Fair;(d) Typhoon

圖2 不同天氣系統(tǒng)可見(jiàn)光波段1 的云圖。(a) 雪；(b) 鋒面；(c) 西風(fēng)急流；(d) 熱帶颶風(fēng)Fig.2 Visible band 1 cloud images of different weather systems.(a) Snow;(b) Frontal surface;(c) Westerly jet;(d) Tropical cyclone

圖3 算法流程圖Fig.3 Overall algorithm flow chart

圖4 殘差3D-2D 卷積神經(jīng)網(wǎng)絡(luò)Fig.4 Residual 3D-2D convolution neural network

從圖中可知，殘差3D-2D 卷積神經(jīng)網(wǎng)絡(luò)分為兩個(gè)模塊：光譜特征學(xué)習(xí)模塊(spectral feature learning)和空間特征學(xué)習(xí)模塊(spatial feature learning)。其中在光譜特征學(xué)習(xí)模塊(圖4 上半部分)中，為了加快模型收斂并克服網(wǎng)絡(luò)退化，引入了殘差塊(Spectral_ResBlock)[16]的結(jié)構(gòu)，通過(guò)多個(gè)殘差塊，不僅可以提取云圖的深層光譜特征，而且通過(guò)恒等映射，模型訓(xùn)練時(shí)梯度能在高低層間迅速傳遞，從而促進(jìn)和規(guī)范化模型的訓(xùn)練過(guò)程。為有利于云圖光譜特征的提取，本文在模型中引入了通道注意力機(jī)制。首先通過(guò)全局平均池化(global average pooling)和全局最大池化(global max pooling)對(duì)特征圖進(jìn)行聚合，之后將聚合的特征圖輸入一個(gè)共享的多層感知機(jī)(multilayer perceptron，MLP)來(lái)生成對(duì)應(yīng)的特征向量，特征向量按各元素相加并經(jīng)過(guò)sigmoid 激活后獲得通道注意力權(quán)重向量。最后運(yùn)用權(quán)重向量對(duì)原始特征圖進(jìn)行加權(quán)，以細(xì)化特征圖中各個(gè)通道的權(quán)重，使模型關(guān)注有意義的通道而削弱對(duì)無(wú)意義通道的關(guān)注度。在提取云圖光譜信息的基礎(chǔ)上，為了進(jìn)一步刻畫云圖的空間信息，該模型通過(guò)矩陣變維操作，改變特征圖的維度，輸入空間特征學(xué)習(xí)模塊。在空間特征學(xué)習(xí)模塊中(圖4 下半部分)，本文以殘差塊的形式構(gòu)建二維卷積來(lái)提取云圖的空間信息?？紤]到網(wǎng)絡(luò)最終以哈希碼的形式表示衛(wèi)星云圖，我們采用全局平均池化整合特征圖的全局空間信息，并輸入神經(jīng)元個(gè)數(shù)為K的全連接層，以雙曲正切函數(shù)( tanh)作為全連接層的激活函數(shù)，獲得K位(-1,1)的近似哈希碼。

2.2.2 深度度量學(xué)習(xí)

由于采用傳統(tǒng)交叉熵分類損失訓(xùn)練的深度網(wǎng)絡(luò)難于全面刻畫云圖間的差異，致使所提取的云圖特征會(huì)存在類間差異小、類內(nèi)差異大的情況[17]。為了解決這一問(wèn)題，本文引入度量學(xué)習(xí)，采用三元組訓(xùn)練將云圖特征映射到度量空間，使得在度量空間中同類云圖間的距離小于非同類云圖。三元組t={(ga,gp,gn)}由錨樣本、正樣本和負(fù)樣本組成，其中錨樣本ga和正樣本gp類別相同，而負(fù)樣本gn則屬于不同類別。在訓(xùn)練時(shí)，ga和gp組成一組正樣本對(duì)，而ga和gn組成一組負(fù)樣本對(duì)，通過(guò)網(wǎng)絡(luò)訓(xùn)練，使得正樣本對(duì)間距離縮小，負(fù)樣本對(duì)間距離擴(kuò)大[18]，如圖5 所示。

2.3 目標(biāo)函數(shù)構(gòu)建

圖5 訓(xùn)練后正樣本對(duì)間距離縮小，負(fù)樣本對(duì)間距離擴(kuò)大Fig.5 After training,the distance of the anchor-positive decreases and the distance of the anchor-negative increases

傳統(tǒng)三元組度量學(xué)習(xí)采用哈希碼以漢明距離來(lái)計(jì)算樣本間的距離，造成使用三元組損失進(jìn)行模型訓(xùn)練時(shí)梯度難于計(jì)算，文獻(xiàn)[19]對(duì)二進(jìn)制約束進(jìn)行連續(xù)松弛(continuous relaxation)，將離散的哈希碼轉(zhuǎn)換成近似哈希碼(即連續(xù)的云圖特征向量)，經(jīng)過(guò)連續(xù)松弛后三元組損失如下：其中 ξ()代表指示函數(shù)，當(dāng)三元組損失L大于0 時(shí)為1，其他情況為0?？梢钥闯?，三元組損失所訓(xùn)練網(wǎng)絡(luò)的性能依賴于閾值的設(shè)置，當(dāng)正樣本對(duì)間的距離與閾值之和小于負(fù)樣本對(duì)間的距離時(shí)，梯度為0，模型參數(shù)無(wú)法得到更新，模型陷入早熟收斂。為解決此問(wèn)題，Arsenault 提出了無(wú)損三元組損失[21]：

式中：N為哈希碼位數(shù)的4 倍即 4K，ε是一個(gè)小正數(shù)以避免ln0 的出現(xiàn)。由于正樣本對(duì)間的距離，因此。利用此損失函數(shù)，只有當(dāng)錨樣本與正樣本間的距離接近0 時(shí)，損失函數(shù)才會(huì)達(dá)到最小值，因此能解決傳統(tǒng)三元組損失的早熟收斂問(wèn)題。然而，式(5)計(jì)算的三元組損失缺少對(duì)正樣本對(duì)間距離的限制，從而可能造成同類云圖在嵌入空間中不夠緊密[22]，并降低模型的檢索性能。為此，我們?cè)跓o(wú)損三元組損失的基礎(chǔ)上對(duì)正樣本對(duì)間的距離進(jìn)行約束，得到如下所示的損失函數(shù)：

式中：λ為平衡參數(shù)，而 β規(guī)定類內(nèi)相似度的閾值。我們將衛(wèi)星云圖所對(duì)應(yīng)的近似哈希碼使用符號(hào)函數(shù)(sign)進(jìn)行二值化處理，生成云圖對(duì)應(yīng)的哈希碼。在云圖檢索時(shí)，通過(guò)待檢索云圖與云圖庫(kù)中歷史云圖的哈希碼的比較，即可返回檢索結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)的硬件環(huán)境為Intel Core i5-10600KF CPU@4.10 GHz，32 GB 內(nèi)存，NVIDIA GeForce RTX 3060，基于Keras 和tensorflow 框架構(gòu)建深度網(wǎng)絡(luò)模型。我們將沿海云圖數(shù)據(jù)集和北半球云圖數(shù)據(jù)集分別按8:2 和7:3 劃分訓(xùn)練集和測(cè)試集。對(duì)每時(shí)次的云圖旋轉(zhuǎn)90°、180°和270°以擴(kuò)增訓(xùn)練集，盡量減輕網(wǎng)絡(luò)的過(guò)擬合問(wèn)題。參照文獻(xiàn)[23]的策略將錨樣本與容易正樣本&困難負(fù)樣本(easy positive &hard negative)組成三元組，采用自適應(yīng)矩估計(jì)(adaptive moment estimation，Adam)優(yōu)化器進(jìn)行網(wǎng)絡(luò)訓(xùn)練，初始學(xué)習(xí)率設(shè)置為1 0-5，目標(biāo)函數(shù)中的超參數(shù) λ、β分別設(shè)置為0.01 和0.002。采用準(zhǔn)確率(precision,P)和平均精度均值(mean average precision,mAP)兩個(gè)指標(biāo)對(duì)檢索方法的性能進(jìn)行評(píng)估[24]：

式中：L為檢索時(shí)給定的返回云圖數(shù)量，m(xi)代表返回結(jié)果中與待檢索云圖xi同 類別的云圖數(shù)量，Q為待檢索圖像的總數(shù)，為了表示簡(jiǎn)潔，將PPrecision@L統(tǒng)一簡(jiǎn)寫為P@L。式(8)中，AP 為每張?jiān)茍D的檢索精度均值(average precision,AP)，計(jì)算方法如下：

式中：M(xi)表 示在云圖數(shù)據(jù)集中與xi同類別的云圖數(shù)量，在第j次檢索時(shí)，當(dāng)給定返回的云圖數(shù)量為L(zhǎng)j時(shí)，系統(tǒng)剛好檢索到j(luò)個(gè)時(shí)次的同類別云圖。以下將通過(guò)實(shí)驗(yàn)分析損失函數(shù)和哈希碼長(zhǎng)度對(duì)模型性能的影響，并將本文模型與其他檢索算法進(jìn)行比較。

3.1 損失函數(shù)對(duì)模型性能的影響

為了評(píng)價(jià)不同損失函數(shù)對(duì)于本模型的影響，分別以三元組損失(triplet loss，TL)、無(wú)損三元組損失(lossless triplet loss，LTL)和限制正樣本對(duì)距離的無(wú)損三元組損失(constrained lossless triplet loss，CLTL)作為目標(biāo)函數(shù)對(duì)模型進(jìn)行訓(xùn)練，并比較了采用不同損失函數(shù)模型的檢索性能。實(shí)驗(yàn)中，哈希碼長(zhǎng)度設(shè)為64 位，三元組損失中的閾值設(shè)定為0.2，實(shí)驗(yàn)結(jié)果如表1 和表2 所示。

從表1 和表2 可以看出，基于傳統(tǒng)三元組損失函數(shù)的模型在兩個(gè)數(shù)據(jù)集的檢索實(shí)驗(yàn)中，檢索準(zhǔn)確率與平均精度均值均不理想，這可能是由于采用傳統(tǒng)三元組損失函數(shù)時(shí)模型早熟收斂落入偽優(yōu)造成的；采用無(wú)損三元組損失的模型在檢索準(zhǔn)確率及平均精度均值指標(biāo)上均有所改善，在返回20 張?jiān)茍D時(shí)，在兩個(gè)數(shù)據(jù)集上檢索準(zhǔn)確率分別提高了3.49%和3.08%。而采用限制正樣本對(duì)距離的無(wú)損三元組損失函數(shù)模型，由于對(duì)正樣本對(duì)間的距離施加約束，使得嵌入空間中同類云圖的類簇更加緊密，模型的檢索性能得到了進(jìn)一步的提高，在兩個(gè)數(shù)據(jù)集上mAP 分別達(dá)到了75.14%和80.14%。

表1 沿海云圖數(shù)據(jù)集中不同損失函數(shù)的模型檢索性能Table 1 The model retrieval performance of different loss functions in coastal cloud image dataset

表2 北半球云圖數(shù)據(jù)集中不同損失函數(shù)的模型檢索性能Table 2 The model retrieval performance of different loss functions in the North hemisphere cloud image dataset

3.2 哈希碼長(zhǎng)度對(duì)檢索性能的影響

不同的哈希碼長(zhǎng)度會(huì)對(duì)檢索系統(tǒng)的性能產(chǎn)生影響，以沿海云圖數(shù)據(jù)集為例，將哈希碼長(zhǎng)度K，分別設(shè)定為32、64、128 和256 位，開(kāi)展檢索性能的對(duì)比實(shí)驗(yàn)，結(jié)果如圖6 所示。

從上圖可以看出，當(dāng)K=32 時(shí)，在返回30 張?jiān)茍D時(shí)，準(zhǔn)確率僅為68.69%，雖然隨著K值的增大，檢索性能會(huì)得到改善，然而當(dāng)K達(dá)到64 后，模型性能基本趨于穩(wěn)定。從計(jì)算效率上看，K=256 時(shí)檢索一張?jiān)茍D約需1.71 ms，而K=64 時(shí)檢索一張?jiān)茍D僅需0.96 ms，綜合考慮檢索性能與計(jì)算效率，本文將哈希碼長(zhǎng)度設(shè)定為64 位。

圖6 哈希碼長(zhǎng)度對(duì)模型的影響Fig.6 The effects of the hash code length on model performance

3.3 不同檢索算法性能比較

為了驗(yàn)證本文算法的有效性，在沿海云圖數(shù)據(jù)集和北半球云圖數(shù)據(jù)集上開(kāi)展了與其它檢索算法的對(duì)比實(shí)驗(yàn)，對(duì)比算法包括：1) 基于核的監(jiān)督哈希(kernelbased supervised Hashing，KSH)[25]；2) 基于深度學(xué)習(xí)的二進(jìn)制哈希(DLBHS)[26]；3) 基于度量學(xué)習(xí)的深度哈希 (metric-learning-based deep Hashing network，MiLan)[18]；4) 深度監(jiān)督哈希(deep supervised Hashing，DSH)[19]。其中KSH 方法采用三個(gè)可見(jiàn)光通道疊加后所提取的GIST 特征[27]，DLBHS方法使用VGG16 作為特征提取器，所有方法的哈希碼長(zhǎng)度均為64 位，實(shí)驗(yàn)結(jié)果如表3 所示。

從上表可以看出，KSH 方法的檢索性能最不理想，mAP 僅有60%左右，這主要是由于KSH 所采用的人工定義的特征難于捕捉云圖的深層信息；基于深度學(xué)習(xí)的DLBHS、DSH 與Milan 方法在獲得圖像的深度特征后，再生成哈希碼，可以有效表征云圖的深層信息，因此檢索性能有所改善。相較于本文算法，這些基于深度學(xué)習(xí)方法的檢索性能不夠理想，一方面是因?yàn)樵谔卣魈崛‰A段未能有效刻畫云圖的光譜信息；另一方面是因?yàn)樵诠４a生成階段所采用的相關(guān)度量損失函數(shù)不夠優(yōu)化。本文方法則通過(guò)R3D-2D CNN更好地表征了云圖的空間和光譜信息，而且采用改進(jìn)的無(wú)損三元組損失優(yōu)化了嵌入空間中的樣本分布，因此檢索性能有了進(jìn)一步的改善，在沿海云圖數(shù)據(jù)集和北半球云圖數(shù)據(jù)集上，mAP 分別達(dá)到75.14%和80.14%。

為了直觀展示本文方法的檢索性能，給出了不同方法的檢索實(shí)例。對(duì)于沿海云圖數(shù)據(jù)集，選取2018年1 月30 日的多云天氣云圖(cloudy)作為待檢索云圖，檢索結(jié)果如圖7 所示。

從圖7 可以看出，KSH 方法的檢索結(jié)果不夠理想，Top7 中包含了雨天云圖(rainy)；DLBHS、DSH與Milan 方法雖然返回的云圖均屬于多云天氣，但沒(méi)能有效返回相鄰時(shí)次的相似云圖，從視覺(jué)表現(xiàn)上看，與待檢索云圖相似度的排序也不合理，而且返回結(jié)果中部分云圖的云團(tuán)形狀與紋理表現(xiàn)和待檢索云圖差異較大；本文方法不僅有效返回了相鄰時(shí)次的相似云圖，而且返回結(jié)果大都與待檢索云圖具有一致的形狀與紋理表現(xiàn)。對(duì)于北半球云圖數(shù)據(jù)集，選取了2019 年4月21 日的西風(fēng)急流云圖(Westerly Jet)進(jìn)行檢索實(shí)驗(yàn)，結(jié)果如圖8 所示。

表3 各數(shù)據(jù)集在不同方法下的檢索準(zhǔn)確度Table 3 Comparison of retrieval performance between different retrieval methods

圖7 多云天氣云圖實(shí)例檢索結(jié)果Fig.7 Retrieval results of cloudy weather image

圖8 西風(fēng)急流云圖實(shí)例檢索結(jié)果Fig.8 Retrieval results of westerly jet cloud image

從圖8 可以看出，KSH 方法的表現(xiàn)最不理想，返回的云圖大都為鋒面云圖(frontal surface)；DSH與Milan 方法的返回結(jié)果也均包含與待檢索云圖非同類的鋒面云圖，雖然DLBHS 方法的返回結(jié)果均為西風(fēng)急流云圖，但從視覺(jué)相似度上看，本文方法的返回結(jié)果與待檢索云圖的相似度排序更加合理。

4 結(jié) 論

為了提取多波段衛(wèi)星云圖的光譜和空間信息，本文通過(guò)殘差3D-2D 卷積神經(jīng)網(wǎng)絡(luò)來(lái)表征衛(wèi)星云圖，同時(shí)引入度量學(xué)習(xí)，采用三元組訓(xùn)練得到云圖的哈希碼特征，實(shí)現(xiàn)云圖檢索。在模型訓(xùn)練時(shí)，通過(guò)對(duì)無(wú)損三元組損失函數(shù)增加正樣本對(duì)間距離的約束，改善了傳統(tǒng)三元組損失的收斂性能。實(shí)驗(yàn)結(jié)果表明，在東南沿海云圖數(shù)據(jù)集和北半球區(qū)域云圖數(shù)據(jù)集上，mAP分別達(dá)到了75.14%和80.14%，優(yōu)于其它對(duì)比方法；下一步將研究如何更好地利用衛(wèi)星云圖的紅外與可見(jiàn)光信息，以提高云圖檢索方法的性能。