張家灝,鄧科峰,聶騰飛,任開軍,宋君強
(1.國防科技大學計算機學院,湖南 長沙 410073;2.國防科技大學氣象海洋學院,湖南 長沙 410073)
海洋中尺度渦通常是指空間尺度在上百千米、時間尺度在數(shù)十天到數(shù)百天、最大垂直深度可達深海海底的渦旋。海洋中尺度渦是一種重要的海洋環(huán)境特征,在海洋能量和物質(zhì)的運輸、熱量傳遞、水聲傳播等過程中有極其重要的作用,對大氣環(huán)流、大規(guī)模的水質(zhì)量分布和海洋生物多樣性等的形成具有重要意義[1 -4]。因此,準確高效地檢測與識別出海洋中尺度渦無論對于物理海洋認知還是海洋開發(fā)利用都有重要的研究價值。隨著國家建設(shè)海洋強國戰(zhàn)略的深入,海洋中尺度渦檢測識別的重要性愈發(fā)凸顯,成為物理海洋、軍事和民事海洋應用等領(lǐng)域的研究熱點。
中尺度渦檢測識別的方法主要包括物理參數(shù)法、流場幾何法和機器學習方法。其中,物理參數(shù)法是一類基于物理參數(shù)的中尺度渦探測方法,可以識別中尺度渦的核心區(qū)域和中心點。流場幾何法是一類基于對中尺度渦的自定義設(shè)置的全局搜索算法。在檢測識別中尺度渦的過程中,物理參數(shù)法過度依賴專家經(jīng)驗設(shè)置的閾值,而流場幾何法需要持續(xù)的人工干預,兩者均不能適應復雜海洋環(huán)境引起的海洋渦旋的動態(tài)變化。其原因在于,物理參數(shù)法和流場幾何法分別需要預先設(shè)置閾值和將渦旋定義為符合某種約束條件的區(qū)域,但海洋渦旋在形態(tài)結(jié)構(gòu)和運動狀態(tài)上會經(jīng)常發(fā)生巨大的變化,例如:不同區(qū)域的渦旋形狀不盡相同;渦旋的規(guī)模從產(chǎn)生到消失過程中也會有所不同;在不同的風速下,渦旋反射的模式會發(fā)生變化。因此,在不同的海洋條件下,很難預先確定一個統(tǒng)一的檢測閾值和固定的約束條件,設(shè)置閾值和約束條件的方法是基于專家的主觀判斷,而這些基于專業(yè)知識的方法常常存在遺漏、錯誤判斷和缺乏通用性等問題。近年來,隨著深度學習的快速發(fā)展,以深度學習為代表的機器學習方法由于自動快捷且不需要依賴單一閾值等優(yōu)點,引起了越來越多研究者的注意,而將機器學習方法應用于海洋中尺度渦的檢測識別也成為了一個新的研究方向。
海洋中尺度渦檢測識別一般基于海洋遙感數(shù)據(jù)開展研究。目前應用于中尺度檢測識別的遙感數(shù)據(jù)主要有:海表面高度SSH(Sea Surface Height)[5,6]、海面高度異常SLA(Sea Level Anomaly)[7 -9]、海面溫度SST(Sea Surface Temperature)[10 -14]和流場數(shù)據(jù)[15]。合成孔徑雷達SAR(Synthetic Aperture Radar)圖像也是檢測海洋渦旋的理想數(shù)據(jù)源[16-18]?,F(xiàn)有大多數(shù)方法主要基于SSH或SLA數(shù)據(jù)實現(xiàn)渦旋的檢測識別,例如,EddyNet[19]和OEDNet(Ocean Eddy Detection Net)[20]模型等。此外,SST和流場數(shù)據(jù)也是建立檢測識別渦旋模型的數(shù)據(jù)來源,例如DEEP-SST-EDDIES(DEEP Sea Surface Temperature EDDIES)框架[21]和SP-RCNN(StreamPath-based Regions with Convolutional Neural Network features)[15]等。部分工作直接基于SAR圖像進行監(jiān)測識別,如DeepEddy[18]。本文從海洋中尺度渦探測數(shù)據(jù)源分類的角度,對現(xiàn)有基于機器學習的渦旋檢測識別方法進行系統(tǒng)綜述和分析總結(jié),旨在為進一步發(fā)展智能高效的海洋中尺度渦檢測識別技術(shù)提供參考依據(jù)。
海洋遙感數(shù)據(jù)包含海面高度、溫度等變化信息,是海洋中尺度渦觀探測的主要途徑。隨著遙感技術(shù)的發(fā)展,衛(wèi)星高度計數(shù)據(jù)和海表面溫度數(shù)據(jù)越來越豐富,這些數(shù)據(jù)不僅分辨率高,而且可以實現(xiàn)長時間持續(xù)觀測渦旋變化運動,克服了以往人工往返測量消耗人力大、無法長時間持續(xù)觀測和準確度不夠的問題,成為海洋中尺度渦檢測識別工作的主要研究對象[14,22,23]。
(1)SSH和SLA數(shù)據(jù)。
中尺度渦的一個特征是所在之處海表面高度變化明顯,所以中尺度渦在SSH和SLA遙感圖像上特征較為明顯,可作為中尺度渦觀探測的數(shù)據(jù)來源。
SSH表示海表面(Sea Surface)相對于參考橢球面(Reference Ellipsoid)的距離,其計算公式如式(1)所示:
SSH=S-R=hd+hg+∑ei
(1)
其中,S是衛(wèi)星到參考橢球面之間的距離,R是衛(wèi)星到海表面之間的距離(Range),hd是海表面到大地水準面的距離,hg是大地水準面起伏(Geoid Undulation),ei是第i個原因產(chǎn)生的誤差。由于S和R可由衛(wèi)星高度計獲得,因此SSH是一個容易獲取的物理量。
SLA則被定義為海表面相對于平均海表面的偏差,它等于海表面高度與平均海表面高度的差,其計算公式如式(2)所示:
(2)
(2)SST數(shù)據(jù)。
中尺度渦的另一個特征是由于渦旋運動導致的渦旋內(nèi)部水溫和周圍海水存在溫差,因此SST也是中尺度渦觀探測的重要數(shù)據(jù)來源。
在北半球,氣旋式渦旋在科氏力作用下,其水流向外擴散,海表面高度為負異常。氣旋式渦旋中心海水自下而上運動,將下層冷水帶到上層較暖的水中,使渦旋內(nèi)部的水溫比周圍海水低(一般中心海面高度比周圍低),因此氣旋式渦旋又稱為冷渦旋;對于反氣旋式渦旋,其海表面處的水體則向渦旋內(nèi)部輻聚,海表面高度為正異常,反氣旋式渦旋中心海水自上而下運動,攜帶上層的暖水進入下層冷水中,渦旋內(nèi)部水溫比周圍水溫高(一般中心海面高度比周圍高),因此又稱暖渦旋。考慮到中尺度渦的這一特征,SST數(shù)據(jù)也成為觀探測中尺度渦的重要數(shù)據(jù)來源。
(3)流場數(shù)據(jù)。
流場數(shù)據(jù)是用歐拉法描述的流體質(zhì)點運動情況的數(shù)據(jù),描述的是流體運動的空間分布。流體力學認為流體具有質(zhì)量和密度,具有壓縮性和膨脹性,還具有粘滯性,因此流場數(shù)據(jù)中除了流體速度的矢量性記錄以外,通常還包含流體密度、壓強、溫度和黏性等值的記錄。中尺度渦所在之處會改變流體密度、壓強和溫度等,因此可用流場數(shù)據(jù)反演中尺度渦。
(4)SAR圖像數(shù)據(jù)。
由于SAR的空間分辨率在幾十米量級,可以顯著降低測量噪聲[16],比傳統(tǒng)的雷達高度計性能高出許多,近年來被越來越多地用于中尺度渦檢測。值得一提的是,一些基于機器學習的方法已經(jīng)成功地應用于SAR圖像[18]。高分辨率SAR圖像不受天氣和光照的影響,為海洋渦旋研究提供了不可替代的數(shù)據(jù)源。
傳統(tǒng)的海洋中尺度渦檢測方法主要是以物理參數(shù)法和流場幾何法為主,通過人工設(shè)置的統(tǒng)一閾值對海洋渦旋進行檢測與識別。
物理參數(shù)法基于隱式渦定義以及流場的物理性質(zhì),在概念上易于解釋,如“局部高渦”“局部低壓”“渦度超過變形”等。物理參數(shù)法中應用最廣泛的則是依賴Okubo-Weiss參數(shù)[24,25]來探測中尺度渦的算法(也叫OW法)。后來又根據(jù)物理參數(shù)設(shè)置的不同,出現(xiàn)了Q-判據(jù)[26]、Ω-判據(jù)[27]、Δ-判據(jù)[28]和λ2-判據(jù)[29]等物理參數(shù)法,這些方法都是基于隱式渦定義和流場物理性質(zhì)來進行計算的。這類方法的共同點也正如其命名一樣,都需要計算相應參數(shù)并設(shè)置有關(guān)閾值,以O(shè)W法為例,OW法引入一個W值來判斷某一時刻流場的狀態(tài)(變形和旋轉(zhuǎn))[30],將計算得到的參數(shù)W與設(shè)定的閾值進行比較,滿足約束條件的點在相應區(qū)域被認為是渦中心。
盡管OW法計算簡便、應用廣泛,但卻存在著閾值難選、誤判率較高以及探測到的渦旋半徑偏小的問題。其他參數(shù)判據(jù)方法與OW法類似,只是參數(shù)的計算方法不同。例如λ2-判據(jù)是基于渦心位置應該存在一個壓力最小值的假設(shè),由此進行推算。
3.2.1 流場幾何法的原理
流場幾何法一般基于流場的全局拓撲性質(zhì)。該類方法的特點是不依賴于參數(shù)設(shè)置,而是基于對中尺度渦的自定義設(shè)置的全局搜索算法。McWilliams[31]是研究該類算法的最早學者之一。算法基于中尺度渦的幾何輪廓特征,它將中尺度渦直觀地定義為一個符合某種約束條件的區(qū)域,在這個區(qū)域中速度矢量場若表現(xiàn)為一個旋轉(zhuǎn)流,且中尺度渦的中心是速度的極值點,并且該點四周的速度矢量方向呈現(xiàn)對稱結(jié)構(gòu),即該區(qū)域特點是速度矢量圍繞一個中心順時針或者逆時針旋轉(zhuǎn),此類結(jié)構(gòu)就被定義為一個渦結(jié)構(gòu)。該類算法經(jīng)過多個學者不斷改良,目前應用最為廣泛的有WA(Winding-Angle)算法[7]和VG(Vector Geometry)算法[32,33]。在計算流體力學領(lǐng)域,除了上述方法的幾何特征外,還有如繞流角[34]、橢圓目標歐拉相干結(jié)構(gòu)OECS(Euler Coherent Structure Of Elliptical target)[35]、瞬時渦度偏差I(lǐng)VD(Instantaneous Vorticity Deviation)[36]等。
3.2.2 流場幾何法的發(fā)展
隨著遙感衛(wèi)星技術(shù)的不斷發(fā)展,豐富的數(shù)據(jù)帶給流場幾何法嶄新的思路,越來越多的學者開始嘗試使用遙感衛(wèi)星數(shù)據(jù)進行海洋渦旋探測,包括數(shù)值模擬數(shù)據(jù)、衛(wèi)星高度計數(shù)據(jù)、海洋表面溫度數(shù)據(jù)和化學物質(zhì)分布數(shù)據(jù)等,并且也取得了豐富的研究成果。例如,Chelton 等人[1]使用遙感衛(wèi)星高度計的預處理產(chǎn)品尋找渦心,并通過閉合輪廓搜索找到渦旋的邊界;Faghmous等人[37]又在其基礎(chǔ)上作了進一步改進,構(gòu)建了逐日海洋渦旋數(shù)據(jù)集。Wang等人[38]應用多年南海區(qū)域的海面高度異常(SLA)數(shù)據(jù)識別了該地區(qū)的的中尺度渦,并且估計了中尺度渦的壽命(從出現(xiàn)到消亡或者分裂)、有效半徑和直線運動距離等。此外,由于中尺度渦運動對海表溫度變化、各類化學物質(zhì)運輸?shù)扔兄匾绊懀虼艘灿袑W者將高度計數(shù)據(jù)和其他海洋監(jiān)測數(shù)據(jù)進行融合互補來進行中尺度渦識別。例如Rio等人[10]聯(lián)合海表面溫度和高度計數(shù)據(jù)識別了地中海西部Balearic海中的強反氣旋渦,并描述了中尺度渦的形成條件、演化(分裂、合并等事件)和消失過程[39];Paterson等人[11]也提出了新的思路,他們整合了SSH、SST和葉綠素a濃度等多類型數(shù)據(jù),并且使用浮標測量數(shù)據(jù)進行數(shù)據(jù)矯正,識別并統(tǒng)計分析了東印度洋氣旋渦與反氣旋渦的物理和化學特征。
該類方法通過衛(wèi)星數(shù)據(jù)和數(shù)值分析模型實現(xiàn)中尺度渦的自動識別,在這些方法中,海洋流場全局信息決定了渦旋識別的實際效果和真實效率。此方法是如今海洋領(lǐng)域中尺度渦研究中較為常用的方法,發(fā)展十分迅速。但是,該類方法對噪聲十分敏感,在一些區(qū)域中,還可能因為背景流之間的交互作用發(fā)生錯誤。
機器學習方法是當前各學科應用的熱門方法,而深度學習技術(shù)是當前機器學習的代表性技術(shù),它通過建立模仿人腦的深層次神經(jīng)網(wǎng)絡(luò),利用不斷豐富的訓練數(shù)據(jù)優(yōu)化網(wǎng)絡(luò)參數(shù)配置,具有克服傳統(tǒng)方法不足、達到專家識別準確度的潛力。為此,不少學者提出了一些基于機器學習方法的海洋中尺度渦檢測識別方法,通過將當前最新的深度學習技術(shù)引入到海洋中尺度渦檢測識別中,并根據(jù)海洋中尺度渦識別的特點,對相應機器學習方法進行創(chuàng)新完善,達到提高海洋中尺度渦檢測識別性能的目標。本節(jié)主要根據(jù)數(shù)據(jù)源的不同類別介紹現(xiàn)有用于海洋中尺度渦檢測與識別的機器學習方法。
郝瑩潔[40]利用卷積神經(jīng)網(wǎng)絡(luò)(CNN),并基于流場幾何特征和海面高度異常SLA實現(xiàn)了渦旋的檢測。其渦旋檢測流程如圖1[40]所示,首先對基于流場幾何方法得到的海洋數(shù)值模擬場數(shù)據(jù)進行樣本采集構(gòu)建數(shù)據(jù)集,然后利用該數(shù)據(jù)集訓練CNN模型,完成模型優(yōu)化。其中,測試集的構(gòu)成為基于海面高度異常數(shù)據(jù)得到的點集,該方式的優(yōu)點在于排除非渦旋點,減小測試集,提高運行效率。實驗結(jié)果顯示,將CNN檢測算法與傳統(tǒng)的基于流場幾何特征的渦旋檢測算法和基于高度計數(shù)據(jù)的渦旋檢測算法進行比較,基于CNN的檢測方法正確率更高,檢測更快,檢測的數(shù)據(jù)量更大,更適合大數(shù)據(jù)條件下的檢測[40]。
Figure 1 CNN-based mesoscale eddy detection process圖1 基于CNN的中尺度渦檢測流程
除了基于CNN的方法,Lguensat等人[19]還研究了基于深度學習的圖像分割技術(shù)在海洋遙感問題中的應用,即從海面高度(SSH)圖上進行渦旋檢測和分類。為此Lguensat等人提出了EddyNet,這是一個用于從AVISO提供的海面高度(SSH)圖中自動進行中尺度渦檢測和分類的深度神經(jīng)網(wǎng)絡(luò)。EddyNet的思路來自廣泛使用的圖像分割體系結(jié)構(gòu),特別是U-Net等U形體系結(jié)構(gòu)[41]。
EddyNet是基于U-Net的體系結(jié)構(gòu),它具有一個三級的編碼,每級由2個3×3個卷積層組成,之后是線性單元激活函數(shù)(簡稱 EddyNet_S)或者通過經(jīng)典的ReLU激活加上批處理規(guī)范化(簡稱EddyNet),然后是1個2×2的最大池層,將輸入的分辨率減半。解碼路徑使用轉(zhuǎn)置卷積(也稱為反卷積)恢復到原來的分辨率[42]。EddyNet的優(yōu)勢是從收縮路徑跳過連接到擴展路徑,以說明來自早期階段的信息。對U-Net原始結(jié)構(gòu)的初步實驗表明,由于訓練樣本的數(shù)量與結(jié)構(gòu)的容量相比較少,存在嚴重的過擬合問題。經(jīng)過數(shù)次嘗試和超參數(shù)調(diào)優(yōu)使作者最終確定了一個3階的全32位過濾器架構(gòu)。與現(xiàn)在被廣泛使用的體系結(jié)構(gòu)相比,EddyNet的參數(shù)少,從而降低了內(nèi)存消耗。EddyNet在每個最大池化層之前和每個轉(zhuǎn)置卷積層之前添加了dropout層,dropout層提高了檢驗損失的性能,并且優(yōu)化了過擬合問題。在損失度量上,對于深度學習中的多類分類問題,一般采用分類交叉熵代價函數(shù)進行訓練。EddyNet采用基于Dice系數(shù)的損失函數(shù),結(jié)果表明,與使用分類交叉熵損失相比,EddyNet在2個最相關(guān)的類(氣旋和反氣旋)中獲得了更好的分類效果。
使用機器學習方法進行渦旋檢測識別的另一大困難是數(shù)據(jù)集往往較少。為了克服采用機器學習方法中因樣本數(shù)據(jù)集較少而導致的過擬合問題,Duo等人[20]也基于數(shù)據(jù)增強做出了有效的嘗試并構(gòu)建了一種基于對象檢測網(wǎng)絡(luò)的中尺度渦自動識別定位網(wǎng)絡(luò)——OEDNet。該深度學習方法包括預處理階段、網(wǎng)絡(luò)階段和渦旋提取階段。算法的總體框架如圖2[20]所示。首先,通過數(shù)據(jù)增強的方法擴展數(shù)據(jù)集,克服了因數(shù)據(jù)集過小導致的過擬合問題。將二維圖像處理技術(shù)用于增強由海洋專家注釋的少量精確渦旋樣本數(shù)據(jù),具體做法是根據(jù)二維圖像的旋轉(zhuǎn)平移不變等特性,使用多種仿射變化擴充數(shù)據(jù)集,獲取滿足深度學習需求的訓練集。然后,設(shè)計基于目標檢測網(wǎng)絡(luò)的海洋中尺度渦自動識別定位模型,并基于南海區(qū)域的檢測結(jié)果,加入時序關(guān)系,設(shè)計基于長短期記憶網(wǎng)絡(luò)LSTM(Long Short-Term Memory)的海洋中尺度渦跟蹤預測模型。摒棄線性卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計思路,在模型結(jié)構(gòu)設(shè)計中加入特征金字塔網(wǎng)絡(luò)與全卷積網(wǎng)絡(luò),實現(xiàn)除渦旋分類以外的定位等復雜功能。最終完成海洋中尺度渦檢測定位、識別與跟蹤提取模型構(gòu)建。
Figure 2 Deep learning-based eddy detection process圖2 基于深度學習的中尺度渦檢測流程
除了上述方法外,利用機器學習從海表面高度(SSH)數(shù)據(jù)中識別海洋渦旋的還有Zhao等人[43]提出的PSPNet,PSPNet將SSH數(shù)據(jù)處理為二維圖像后,可以將機器學習應用于海洋渦旋的檢測。根據(jù)渦旋檢測的需要,利用SSH數(shù)據(jù)進行語義分割,以識別海洋渦旋。由于海洋渦旋分布、大小和形狀的多樣性,為了能夠融合不同層次的語義和細節(jié)特征從而適用于海洋渦旋檢測,PSPNet采用了金字塔場景解析網(wǎng)絡(luò)作為渦旋檢測方法的核心算法,可以更好地適應多尺度目標的識別,為了提高精度和學習能力,模型基于101層ResNet[44]。PSPNet結(jié)合了金字塔池模塊和簡化的卷積,可以充分利用全局場景捕捉不同類別標簽之間的上下文信息的更多細節(jié)?;赑SPNet方法識別出的渦旋結(jié)果與從傳統(tǒng)的基于矢量幾何(VG)方法得到的渦旋結(jié)果進行了競爭性比較。與VG方法相比,基于PSPNet的方法檢測到的海洋渦旋更多,特別是對于小規(guī)模渦旋檢測效果更好。
在過去的十多年里,許多基于多衛(wèi)星測高圖的算法已經(jīng)被開發(fā)出來[5,32]。這些算法利用海面高度場的幾何特性和速度場的流線來檢測和跟蹤時間渦旋結(jié)構(gòu)。然而,測高衛(wèi)星產(chǎn)品在衛(wèi)星軌道交叉的區(qū)域之間經(jīng)歷了大量的時空插值,產(chǎn)生了低分辨率的場,并且在沒有充分采樣的區(qū)域中存在不確定性。最近的研究表明,基于測高數(shù)據(jù)的方法可能導致許多海洋渦旋被遺漏或錯誤探測[45]。
另一方面,海洋表面溫度(SST)、海洋顏色/葉綠素CHL(CHLorophyll)或合成孔徑雷達(SAR)等可見光衛(wèi)星圖像中也存在明顯的渦旋特征。即使可見光圖像具有比測高高得多的分辨率,它也可能經(jīng)常被云覆蓋,并且在SST上開發(fā)的少數(shù)檢測算法(例如文獻[12])很難利用它們的復雜模式。深度學習在遙感[46]、氣候和環(huán)境[47]等領(lǐng)域迅速普及。在以前的研究中,機器學習方法也被用于通過像素分類[19]或LSTM[48]以及速度場[49]來處理SSH場上的測高渦旋檢測和跟蹤。
到目前為止,已經(jīng)通過衛(wèi)星測高的物理方法實現(xiàn)了中尺度海洋渦旋的自動探測。然而,它們往往尚未充分利用衛(wèi)星圖像上有明顯特征的海洋表面溫度(SST)數(shù)據(jù)。針對這個問題,Moschos等人[21]介紹了一種新的方法,利用深度學習來檢測這類輸入上的渦旋特征,并將這種探測海洋表面溫度圖像中海洋渦旋的深度學習框架稱為DEEP-SST-EDDIES。在這項研究中,Moschos等人結(jié)合深度學習使用包含高分辨率渦旋特征的可見光衛(wèi)星SST圖像,提出了一種新的基于測高檢測的海溫圖像數(shù)據(jù)集獲取方法。通過訓練一個基于CNN的分類器,能夠準確地檢測定義明確的、手動選擇案例的渦旋特征。該分類器在包含噪聲標簽的較大集合上進行了測試,在選擇準確標記的圖像和糾正錯誤標簽方面具有潛力。該方法可用于驗證SST測高渦旋探測的有效性。
當前流行的傳統(tǒng)渦旋檢測方法都是基于數(shù)值模擬數(shù)據(jù)和衛(wèi)星圖像,但圖像中的小目標檢測困難,渦旋難以識別,并且其精度受到手動閾值調(diào)整的影響很大。針對該問題,Bai等人[15]提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的高精度渦旋檢測新方法——基于流路的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(SP-RCNN),以提高渦旋檢測的準確性。首先,提出了一種將流場數(shù)據(jù)轉(zhuǎn)換為基于流路的渦旋圖像的流路方法,從洋流數(shù)據(jù)構(gòu)建大規(guī)模的渦旋圖像數(shù)據(jù)集,解決了沒有基于流場數(shù)據(jù)的公開可用的渦旋圖像數(shù)據(jù)集的問題,并將數(shù)據(jù)集應用于渦旋檢測。其次,通過將神經(jīng)網(wǎng)絡(luò)中的多層特征與渦旋的特征相結(jié)合,獲得了良好的實驗結(jié)果,其性能優(yōu)于以前的方法,并在小目標檢測方面更具競爭力。最后,通過在渦旋域中放置更多的粒子來增強渦旋顯示的可視化方法,解決了在稀疏流路區(qū)域很難檢測到渦旋的問題,并且可以直接在圖像上可視化檢測結(jié)果,從而使人類無需專業(yè)知識即可檢測出渦旋。增強的渦旋圖像還可以擴展數(shù)據(jù)集,使其更加穩(wěn)固,從而進一步提高渦旋檢測的準確性。
該基于流路徑的RCNN渦旋檢測方法流程圖如圖3[15]所示。首先處理圖3中(1)的流場數(shù)據(jù),并將其可視化為流路徑圖像,以獲得圖3中(2)的初始訓練數(shù)據(jù)集。通過SP-RCNN網(wǎng)絡(luò)的卷積層提取渦旋圖像的特征映射圖,并將特征圖發(fā)送到區(qū)域建議網(wǎng)絡(luò)RPN(Region Proposal Network),以獲得渦旋圖像的候選區(qū)域建議。然后,使用邊界框回歸得到渦旋的確切位置,如圖3中(4)所示。在階段(5)中,使用圖3中(4)的檢測結(jié)果在渦旋區(qū)放置更多粒子以增強渦旋。將這些增強的渦旋圖像反饋到數(shù)據(jù)集,使數(shù)據(jù)集更加健壯,提高了SP-RCNN的檢測精度。
Figure 3 Flow chart of RCNN eddy detection method based on streampath圖3 基于流路的RCNN渦旋檢測方法流程圖
海洋環(huán)境的變化導致海洋渦旋具有多角度、多尺度和多方向的特征,為了更好地利用渦旋的特征,Du等人[50]嘗試融合多種特征來自動識別海洋渦旋,提出了一種基于自適應加權(quán)多特征融合的SAR圖像渦旋識別方法。為了更好地描述渦旋,首先分別使用全局灰度共生矩陣、傅立葉描述子和局部顯著Harris特征提取渦旋的紋理、形狀和角點特征。其次,為了解決提取的特征維數(shù)高、分布不均勻的問題,采用基于核的方法,能夠有效地解決復雜的線性或非線性識別問題??紤]到不同特征對渦旋識別的重要性不同,他們還提出了一種基于多核學習的自適應加權(quán)特征融合方法,多核學習通過集成各種特征來應用于特征融合[51-54],該方法考慮到特征之間的差異,根據(jù)不同核在渦旋檢測中的性能,為每個特征分配一個合適的核。多核學習總能快速收斂并找到最優(yōu)的核組合,利用多核學習訓練的權(quán)值對3種類型的特征提取3種不同的組合核。最后,設(shè)計了一個結(jié)合核的支持向量機分類器來實現(xiàn)渦旋識別。
實驗驗證了該方法的有效性,得到了以下結(jié)論:
(1)多特征融合的識別精度明顯優(yōu)于單特征識別方法。
(2)與固定加權(quán)融合方法相比,自適應加權(quán)特征融合方法對SAR圖像中的海洋渦旋識別更為有效。
雖然SAR圖像是檢測海洋渦旋的理想數(shù)據(jù)源[16],但是SAR圖像中的海洋渦旋不僅表現(xiàn)出各種空間尺度和螺旋結(jié)構(gòu)(強度、直徑和中心),而且還表現(xiàn)出遙感衛(wèi)星成像模式引起的幾何變形,這給渦旋檢測帶來了難度。現(xiàn)有自動和遠程檢測渦旋方法根據(jù)物理參數(shù)、幾何形狀或其他手工特征來檢測渦旋,存在準確性不夠的問題。
針對以上問題,Du等人[55]提出了一種名為DeepEddy的基于深度學習的海洋渦旋檢測方法,該方法能夠分層學習海洋渦旋的高層不變特征,可以提供全自動和準確的渦旋檢測。DeepEddy由一個分層的特征學習模型和一個簡單的支持向量機SVM(Support Vector Machine)分類器構(gòu)成。使用2個主成分分析PCA(Principal Component Analysis)卷積層進行分層學習,通過分層學習從訓練數(shù)據(jù)集中獲取不變的、高層次的海洋渦旋特征,然后通過二進制哈希層和逐塊直方圖對特征進行非線性轉(zhuǎn)換。為了解決合成孔徑雷達(SAR)圖像上空間可變性的難題,引入了空間金字塔模型,以允許多尺度特征融合。最后,采用線性支持向量機(SVM)分類器識別出渦旋。
由于用于圖像融合的金字塔表示可以提高分類精度[56],DeepEddy在特征級融合中采用了空間金字塔池化SPP(Spatial Pyramid Pooling)。SPP通過融合多尺度特征,可以處理復雜的海洋渦旋結(jié)構(gòu)和姿態(tài),因此訓練后的DeepEddy可以應用于不同尺度、不同SAR圖像分辨率的不同幾何形狀的海洋渦旋檢測。
DeepEddy的特點在于它使用了一種輕量級的學習策略,而不是典型的深度學習網(wǎng)絡(luò),后者擁有更復雜的結(jié)構(gòu),并訓練了數(shù)百萬個參數(shù)。DeepEddy的體系結(jié)構(gòu)即使在相對較小的訓練數(shù)據(jù)集上也能很好地執(zhí)行,因此它能夠很容易地擴展到使用其他遙感數(shù)據(jù)的其他檢測任務(wù)。海洋渦旋探測結(jié)果表明,DeepEddy能夠探測到不完整的海洋渦旋以及大尺度的渦旋,DeepEddy相比目視解譯方法能夠探測到更多的渦旋。
中尺度渦通常分為2種類型:氣旋渦旋(北半球逆時針旋轉(zhuǎn))和反氣旋渦旋(南半球逆時針旋轉(zhuǎn))。因此,中尺度渦檢測可以看作是除了背景之外只有2個類的語義分割問題。目前,由于基于深度學習的中尺度渦檢測方法很少,人們發(fā)現(xiàn)中尺度渦的有效模型也很少。近年來,有關(guān)中尺度渦檢測的模型比較有代表性的包括前文提到的EddyNet[19]、DeepEddy[18]和金字塔場景解析網(wǎng)絡(luò)(PSPNet)[43]。這些網(wǎng)絡(luò)體系結(jié)構(gòu)也有一些缺點,EddyNet和PSPNet都將中尺度渦檢測認為是語義分割問題,這2種方法僅使用SSH作為檢測變量,但還有其他因素影響中尺度渦檢測。因此,僅使用一個變量進行檢測難以保證中尺度渦檢測的準確性。與這些方法不同,具有多尺度特征融合的DeepEddy使用多個變量進行檢測。該方法是基于簡單主成分分析網(wǎng)絡(luò)(PCANet)的體系結(jié)構(gòu)[57]。但是,這種方法只能執(zhí)行簡單的分類,無法檢測海域中的多個中尺度渦。Xu等人[58]使用PSPNet進行中尺度渦檢測,這是一種語義分割的體系結(jié)構(gòu)。這種方法有2個缺點:該方法只有一個輸入變量與前述方法的輸入變量相同,并且網(wǎng)絡(luò)上沒有太多創(chuàng)新。
為了突破以上方法的局限性,Xu等人設(shè)計了一個對稱網(wǎng)絡(luò)結(jié)構(gòu),該網(wǎng)絡(luò)通過橫向連接合并了下采樣路徑的低級特征圖和上采樣路徑的高級特征圖。除此之外,還對網(wǎng)絡(luò)體系結(jié)構(gòu)應用了膨脹卷積,以增加感受野并在常量參數(shù)的情況下獲得更多上下文信息。該結(jié)構(gòu)的輸入是多源融合數(shù)據(jù),相比以前的方法具有更高的準確性。中尺度渦檢測的主要困難之一是可使用的現(xiàn)有數(shù)據(jù)集非常少,并且收集和標記數(shù)據(jù)需要一定的時間和精力。因此,Xu等人建立了一個包含多個變量的多源融合數(shù)據(jù)集來克服這一困難。與EddyNet和PSPNet相比,該方法結(jié)合了多個變量,以提高檢測精度。與DeepEddy相比,該方法可以在具有多個中尺度渦(包括氣旋渦旋和反氣旋渦旋)的海域中進行檢測。
基于SAR圖像的方法雖然利用了多尺度特征融合技術(shù),但使用的數(shù)據(jù)仍然是單一的數(shù)據(jù)源,仍然不能有效發(fā)揮不同探測手段獲取多變量數(shù)據(jù)的優(yōu)勢。為此,F(xiàn)an等人[59]提出了一種基于多源融合數(shù)據(jù)的中尺度渦檢測方法SymmetricNet。該方法不僅采用海表面高度(SSH)變量,而且還添加了2個變量:海面溫度(SST)和流速,實現(xiàn)了多變量信息融合輸入。設(shè)計了一種全新的對稱網(wǎng)絡(luò),該網(wǎng)絡(luò)通過橫向連接合并了下采樣路徑的低級特征圖和上采樣路徑的高級特征圖。另外,還將膨脹卷積應用于網(wǎng)絡(luò)結(jié)構(gòu),以增大感受野,并在常數(shù)參數(shù)的情況下獲得了更多上下文信息。最后,證明了該方法在數(shù)據(jù)集上的有效性,達到了測試集訓練出的模型的97.06%性能 ,大大提高了中尺度渦檢測的性能。
基于機器學習的中尺度渦檢測識別方法雖然可以有效提高并改善檢測識別的效率和性能,但訓練神經(jīng)網(wǎng)絡(luò)等步驟需要大量的計算資源和時間,對設(shè)備性能要求較高,采用此類方法難以達到快捷簡便的要求。另外,為了避免過擬合,機器學習需要大量的數(shù)據(jù)進行模型訓練,雖然現(xiàn)有衛(wèi)星圖像數(shù)據(jù)較為豐富,但仍需要通過人工標注來轉(zhuǎn)換為相應的可以進行機器學習的數(shù)據(jù)集,而人工標注是一個耗時耗力的過程,這無疑又制約了機器學習方法在中尺度渦檢測識別問題上的應用。
針對上述問題,基于機器學習的檢測識別方法在未來的研究發(fā)展方向可以為:研究高效的神經(jīng)網(wǎng)絡(luò)以訓練出更好的模型,充分利用計算資源減少模型訓練需要的時間;在已有少量人工標注的數(shù)據(jù)集的情況下,通過多種數(shù)據(jù)增強方法來擴充數(shù)據(jù)集,以滿足機器學習訓練模型的需求。
目前深度學習在中尺度渦檢測識別乃至預測方面的研究仍需要進一步深入。
本文首先介紹了中尺度渦的觀探測途徑——各種可用于檢測的數(shù)據(jù)來源,隨后介紹了傳統(tǒng)的中尺度渦檢測識別方法并指出其問題,然后介紹了基于機器學習方法的中尺度渦檢測識別方法,并論述了其相對于傳統(tǒng)方法的優(yōu)勢所在。全文給出的各種中尺度渦檢測識別方法的對比分析如表1所示。
傳統(tǒng)方法因其計算簡便的優(yōu)勢而應用廣泛,在中尺度渦的檢測識別過程中發(fā)揮了重要作用,至今 仍是解決該科學問題的主要方法。但現(xiàn)如今,隨著遙感技術(shù)的發(fā)展,我們能獲得的衛(wèi)星圖像數(shù)據(jù)越來越豐富,傳統(tǒng)方法在大數(shù)據(jù)背景下的中尺度渦檢測識別乃至預測過程中出現(xiàn)的檢測效率偏低、檢測精度不高、誤差較大等問題越來越凸顯,越來越不能滿足科研人員在檢測效率和精度方面日益增長的需求。
在這種背景下,大數(shù)據(jù)時代下出現(xiàn)的深度學習等相關(guān)技術(shù)有效地利用了越來越豐富的衛(wèi)星圖像數(shù)據(jù),在突破檢測效率和準確度瓶頸、提高性能方面發(fā)揮了關(guān)鍵作用。采用基于深度學習的中尺度渦檢測識別方法,可以有效提高并改善中尺度渦檢測識別的效率和性能,如表1所示,采用了深度學習方法的DeepEddy在20 000個SAR圖像樣本的數(shù)據(jù)集上的基準測試達到了97.8±1%的準確率,明顯高于中尺度大氣現(xiàn)象自動分類方法中報告的80%。
Table 1 Comparative analysis of mesoscale eddy detection methods表1 中尺度渦檢測識別方法對比分析