徐歡,任沂斌
(1.江蘇海洋大學(xué) 海洋技術(shù)與測繪學(xué)院,江蘇 連云港 222005;2.中國科學(xué)院海洋研究所 海洋環(huán)流與波動重點實驗室,山東 青島 266071;3.中國科學(xué)院海洋大科學(xué)研究中心,山東 青島 266071)
海冰作為5大海洋災(zāi)害之一,對全球的水文、洋流、熱力循環(huán)和生態(tài)系統(tǒng)都有重大影響[1?2]。渤海每年都有3個多月不同程度的結(jié)冰現(xiàn)象,對我國社會生產(chǎn)活動造成嚴(yán)重影響。渤海海冰不僅堵塞航道、損壞船只,還破壞海上及海岸設(shè)施,其融化甚至給海洋養(yǎng)殖帶來次生災(zāi)害。2009/2010年冬季至2018/2019年冬季,我國受海冰災(zāi)害影響經(jīng)濟損失高達75億元,其中遼寧和山東兩省受災(zāi)情況較為嚴(yán)重[3]。合成孔徑雷達(Synthetic Aperture Radar,SAR)具有不受氣象條件限制、全天時、全天候的觀測能力,被廣泛用于海冰的檢測和監(jiān)測[4–6]。因此,研究基于SAR圖像的渤海海冰檢測對海冰監(jiān)測、海冰災(zāi)后應(yīng)急、海洋運輸、海洋漁業(yè)具有重要意義。
多年來,學(xué)者們圍繞海冰檢測提出了一系列方法,總體可分為兩類:傳統(tǒng)方法和深度學(xué)習(xí)方法。傳統(tǒng)方法包括閾值法[7]、紋理分析[8–10]、專家知識系統(tǒng)[11]、馬爾科夫隨機場[12]、支持向量機[13–16]、人工神經(jīng)網(wǎng)絡(luò)[17]等。大數(shù)據(jù)時代的到來,傳統(tǒng)方法受限于手動特征提取和建模方式,制約了海冰檢測精度的進一步提升[18]。近年來,深度學(xué)習(xí)迅猛發(fā)展[19]。典型的深度學(xué)習(xí)模型由多層神經(jīng)網(wǎng)絡(luò)堆疊而成,可以模擬人類的神經(jīng)系統(tǒng),從原始輸入數(shù)據(jù)中逐層抽象特征,實現(xiàn)對目標(biāo)的檢測和識別[20]。深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)由多個卷積層組成,是一種特殊的深度神經(jīng)網(wǎng)絡(luò)。卷積層通過卷積核與上一層卷積層連接,可以提取局部空間特征[21],已在圖像分類、目標(biāo)識別和時空信息挖掘等領(lǐng)域取得了巨大成功[22–26]。近些年,研究人員已將CNN應(yīng)用到海冰檢測與識別中。Li等[27]利用CNN實現(xiàn)了對高分3號影像的海冰檢測。Xu和Scott[28]以CNN的經(jīng)典模型AlexNet為基礎(chǔ),引入遷移學(xué)習(xí)思想來加速網(wǎng)絡(luò)參數(shù)訓(xùn)練,實現(xiàn)了SAR圖像的海冰和海水分類。黃冬梅等[29]將CNN和深度置信網(wǎng)絡(luò) (Deep Belief Networks,DBN)相結(jié)合,用于SAR圖像的冰水分類。Wang等[18]采用Sentinel-1 SAR數(shù)據(jù),構(gòu)建了具有3個CNN層和兩個全連接神經(jīng)網(wǎng)絡(luò)層的海冰分類模型,實現(xiàn)了白令海附近海冰的多尺度分類。
海冰檢測已由傳統(tǒng)方法向深度學(xué)習(xí)方法轉(zhuǎn)變。得益于強大的特征提取能力,基于深度學(xué)習(xí)模型的海冰檢測方法取得了比傳統(tǒng)方法更高的檢測精度。然而,現(xiàn)有研究仍存在兩方面的問題:一方面,現(xiàn)有深度學(xué)習(xí)檢測模型多以早期的CNN架構(gòu)和自定義CNN架構(gòu)為主,模型的特征提取和表征能力有限,導(dǎo)致模型對海冰檢測的精度有待進一步提升;另一方面,傳統(tǒng)SAR海冰檢測方法已發(fā)現(xiàn)雙極化信息相對于單極化信息更有利于海冰和海水的區(qū)分[30?31],而現(xiàn)有的研究還沒有考慮雙極化信息,制約了海冰檢測精度的提高。
U-Net是近年來提出的圖像分割方法。U-Net以CNN為基本組成單元,可以通過少量的訓(xùn)練樣本獲得較高的圖像分割精度,在醫(yī)學(xué)圖像分割方面取得了巨大成功[32?33]。已有研究將U-Net應(yīng)用到遙感圖像的目標(biāo)分割并取得了較高的分割精度[34?35]。因此,本文將U-Net引入到渤海海冰的檢測中,以Sentinel-1 VV和VH雙極化SAR圖像為數(shù)據(jù)源,設(shè)計混合損失函數(shù)優(yōu)化傳統(tǒng)U-Net模型,形成了基于混合損失U-Net的渤海海冰檢測模型。通過與傳統(tǒng)方法——脈沖耦合神經(jīng)網(wǎng)絡(luò) (Pulse Coupled Neural Network,PCNN)、馬爾科夫隨機場 (Markov Random Field,MRF)、分水嶺算法 (Watershed Algorithm,WA)和基于 CNN 深度學(xué)習(xí)方法的對比實驗,驗證了本文方法的有效性。進一步分析了雙極化信息和混合損失函數(shù)對海冰檢測效果的影響。文章的第2節(jié)簡要介紹了研究區(qū)域概況和數(shù)據(jù)處理步驟,第3節(jié)詳細(xì)介紹了本文提出的混合損失U-Net海冰檢測模型,第4節(jié)通過對比實驗分析了本文模型與已有模型的海冰檢測差異,分析了雙極化信息和混合損失函數(shù)的效果,第5節(jié)為總結(jié)和研究展望。
渤海是有黃河、遼河、海河等入海的半封閉式內(nèi)海,由遼東灣、渤海灣、萊州灣、中央淺海盆地和渤海海峽5部分海域組成,也是西太平洋的一部分,面積達 7.49 萬 km2,海岸線長達 2 670 km,平均水深約為18 m,如圖1所示。渤海每年冬季都有3~4個月不同程度的結(jié)冰現(xiàn)象,一般情況下,海冰分布范圍可達渤海面積的1/3。本文選取2015年12月至2020年3月5個冬季共10景SAR圖像數(shù)據(jù)進行海冰檢測研究,SAR圖像詳細(xì)信息如表1。
表1 SAR圖像的詳細(xì)信息Table 1 Details of SAR images
圖1 研究區(qū)域地理位置Fig.1 Geographical location of the study area
本文采用Sentinel-1 A/B衛(wèi)星的SAR影像作為研究數(shù)據(jù)。Sentinel-1 A/B 是歐洲航天局(European Space Agency,ESA)于2014年發(fā)射的攜帶SAR傳感器的衛(wèi)星,工作波段為C波段,軌道高度為693 km,重復(fù)周期為 12 d。Sentinel-1 A/B 數(shù)據(jù)產(chǎn)品分為 0、1、2共3個級別,本文采用的是1級產(chǎn)品中的地距影像(Ground Range Detected,GRD)。渤海的 GRD 采用了寬幅干涉模式(Interferometric Wide Swath,IW),該工作模式將獲得的3個子條帶合成1幅影像,幅寬為250 km,極化方式為VV和VH。
首 先 ,采 用 SNAP(Sentinel Application Platform,SNAP)Desktop[36]對SAR影像數(shù)據(jù)進行輻射校準(zhǔn)、濾波和幾何校正。然后,將每張影像裁剪成若干大小為256×256像素的切片,切片之間相鄰且無重疊,如圖2所示。最后,利用標(biāo)注軟件LabelMe[37]對SAR影像切片進行海冰標(biāo)注,其中海冰像素標(biāo)注為1,背景像素標(biāo)注為0。標(biāo)注結(jié)果見圖3。
圖2 渤海海冰影像切片F(xiàn)ig.2 Image slices of sea ice in the Bohai Sea
圖3 海冰標(biāo)注結(jié)果Fig.3 Labeled slices of sea ice
基于混合損失U-Net的渤海海冰檢測模型整體流程如圖4所示。對原始SAR影像進行預(yù)處理并切片,對切片數(shù)據(jù)進行海冰標(biāo)注;將標(biāo)注后的海冰數(shù)據(jù)集劃分為訓(xùn)練集、測試集和驗證集,訓(xùn)練集用于混合損失U-Net海冰檢測模型訓(xùn)練,測試集測試訓(xùn)練好的混合損失U-Net海冰檢測模型;采用多種度量指標(biāo)對測試結(jié)果進行精度驗證,評估模型的海冰檢測效果。
圖4 基于混合損失 U-Net的海冰檢測模型流程圖Fig.4 Flow chart of sea ice detection model based on a hybrid loss U-Net model
U-Net海冰檢測模型的基本組成單元是CNN,CNN中,當(dāng)前隱藏層神經(jīng)元通過卷積核與上一隱藏層中與卷積核對應(yīng)的部分元素建立局部連接,而不是與所有元素建立全局連接[21],如圖5所示。CNN輸出矩陣中某單元由輸入矩陣中與卷積核對應(yīng)區(qū)域的元素與卷積核中權(quán)重加權(quán)求和得到。U-Net的結(jié)構(gòu)與字母“U”的形狀相似,見圖6,所以被命名為U-Net[38]。U-Net由輸入、編碼、解碼和輸出4部分組成。輸入由SAR圖像的VV和VH雙極化信息組成,圖像大小為256×256像素。編碼部分用于提取抽象的、縮小的特征圖來進行準(zhǔn)確的分類;解碼部分和編碼部分之間存在跳躍連接,解碼部分可以融合多尺度特征圖,對感興趣的目標(biāo)進行更詳細(xì)、更大信息量的描述。下面從編碼器、解碼器、輸出層和混合損失函數(shù)4部分重點介紹混合損失U-Net海冰檢測模型的具體結(jié)構(gòu)。
圖5 卷積運算示例Fig.5 An example of convolution operation
圖6 基于混合損失 U-Net的海冰檢測模型網(wǎng)絡(luò)架構(gòu)Fig.6 Network architecture of sea ice detection model based on a hybrid loss U-Net model
3.2.1 編碼器
編碼器負(fù)責(zé)提取抽象的、縮小的特征圖,常用的編碼器包括 ResNet 18、VGG 16、VGG 19 等[39?40],考慮到模型計算和海冰檢測復(fù)雜度,我們選擇ResNet 18作為編碼器。本文U-Net模型的編碼器由ResNet 18的17個卷積層組成,包括5個編碼塊。第1個編碼塊是步長為2的7×7卷積層。經(jīng)第1編碼塊計算后,切片大小變?yōu)?28×128像素。其余4個編碼塊均由兩個編碼單元堆疊而成。每個編碼單元為1個殘差卷積神經(jīng)網(wǎng)絡(luò)模塊,由兩組堆疊的“卷積層和非線性激活層”和短路連接組成[23]。編碼單元對輸入圖像進行特征提取和非線性變換,輸出變換后的高級特征。卷積層的卷積核大小為3×3[41],卷積層對特征圖進行補全,使得卷積前后特征圖的尺寸相同。激活函數(shù)為“ReLU”,如果輸入小于0,則輸出為0,否則輸出與輸入相等。使用“ReLU”作為激活函數(shù),輸出不會隨著輸入的增加而趨于飽和。在兩個編碼單元前堆疊一個最大池化層(除第1和第5編碼塊),池化層的核大小為2×2,經(jīng)過1次池化后,輸出特征圖的大小變?yōu)檩斎胩卣鲌D大小的1/2。
3.2.2 解碼器
3.2.3 輸出層
本文U-Net模型的輸出層由一個卷積層和一個非線性激活層堆疊而成,將特征圖Y的像素級特征轉(zhuǎn)換為像素級分類結(jié)果,映射到網(wǎng)絡(luò)的輸出層上。卷積層的卷積核大小為1×1,卷積核的數(shù)量為1。激活函數(shù)為“Sigmoid”,可以把輸出值映射到(0,1)區(qū)間,大于等于0.5的輸出值為海冰,小于0.5的輸出值為背景,公式為
3.2.4 混合損失函數(shù)
損失函數(shù)是深度學(xué)習(xí)算法進行模型優(yōu)化的核心。對于一個輸入樣本,模型的輸出值與該樣本真實值之間的差異稱為損失。損失函數(shù)是描述這種差異的函數(shù)。對于一個深度學(xué)習(xí)模型,模型中的神經(jīng)網(wǎng)絡(luò)權(quán)重通過損失反向傳播來完成訓(xùn)練[42]。因此,損失函數(shù)決定了深度學(xué)習(xí)模型的訓(xùn)練效果,至關(guān)重要。
在二分類的圖像分割問題中,交叉熵?fù)p失函數(shù)(Binary Cross Entropy Loss,BCEloss)是使用最為廣泛的損失函數(shù)之一,公式為
本文中,標(biāo)簽樣本的值為{0、1},分別表示背景和海冰。公式(4)中,P0表示標(biāo)簽圖像下像素為海冰的概率,值為1;P1表示標(biāo)簽圖像下像素為背景的概率,值為0。模型在輸出時經(jīng)過“Sigmoid”函數(shù)輸出一個概率值,當(dāng) x=0時,f(x)=0.5;當(dāng) x>0時,f(x)≈1;當(dāng) x<0時,f(x)≈0。把輸出值映射到(0,1)之間的數(shù)值概率上。預(yù)測輸出就是“Sigmoid”函數(shù)的輸出,表征了輸出層為海冰像素和背景像素的概率,即和。概率間的關(guān)系為和
采用BCEloss優(yōu)化U-Net模型,能夠穩(wěn)定地回傳不同類別所對應(yīng)的梯度,有效地解決模型在反向傳播中梯度消失的問題。但由于BCEloss在回傳梯度時,對圖像上每個類別都進行平等地估計,所以對于圖像上類別不平衡的問題,最常見的類別更容易改變模型的優(yōu)化方向,進而影響最終的分割結(jié)果。
此外,另一種用于圖像分割問題的損失函數(shù)是Dice 損失函數(shù) (Dice Loss,Diceloss),公式為
Diceloss由Dice系數(shù)發(fā)展而來。如公式(5)所示,Dice系數(shù)度量兩個集合的相似程度,取值范圍為0~1。當(dāng)Dice系數(shù)為1時,表示兩個集合完全重合,分類效果最好;當(dāng)Dice為0時,表示兩個集合不存在重合,即沒有正確的分類結(jié)果。因此,Diceloss能夠引導(dǎo)模型持續(xù)學(xué)習(xí),最大化Dice系數(shù),使預(yù)測結(jié)果逐漸逼近真實結(jié)果,最終實現(xiàn)預(yù)測結(jié)果與真實結(jié)果完全重合的目標(biāo)。但如果預(yù)測結(jié)果中有部分像素預(yù)測錯誤,就會導(dǎo)致預(yù)測目標(biāo)梯度的劇烈變化,從而增加模型訓(xùn)練的難度。
為發(fā)揮BCEloss和Diceloss各自的優(yōu)點,本文設(shè)計了BCEloss和Diceloss結(jié)合的損失函數(shù)BCEDloss,將BCEDloss用于U-Net海冰檢測模型的訓(xùn)練。BCEDloss的定義如下:
式中,w為權(quán)重因子,反映了兩個損失函數(shù)分別占的權(quán)重。一般情況下,w的取值大于0.5,具體的取值結(jié)果見4.4節(jié)。
實驗將SAR圖像切片和對應(yīng)的標(biāo)簽數(shù)據(jù)劃分為訓(xùn)練集、驗證集和測試集,包含的切片數(shù)量分別為1 829、323和479。模型訓(xùn)練在Linux操作系統(tǒng)下完成,使用的設(shè)備配置有1個NVIDIA TESLA V100 32 GB GPU。本文模型基于TensorFlow-Keras框架搭建,代碼采用Python 3.6編寫。本文混合損失U-Net模型采用適應(yīng)性矩估計[43](Adaptive Moment Estimation,Adam)優(yōu)化算法來對模型中的參數(shù)進行優(yōu)化。Adam通過計算梯度的一階矩估計和二階矩估計為不同參數(shù)設(shè)計獨立的自適應(yīng)性學(xué)習(xí)率,能夠快速的收斂,更高效的學(xué)習(xí)。
在海冰檢測的過程中,我們需要對U-Net網(wǎng)絡(luò)進行訓(xùn)練和測試。因此,我們使用以下幾項指標(biāo)來評價模型的訓(xùn)練和測試結(jié)果:
重疊度 (Intersection over Union,IoU)用于計算模型預(yù)測的海冰區(qū)域與真實海冰區(qū)域的重疊比例,IoU值越大,預(yù)測結(jié)果越好,其公式為
式中,P為模型預(yù)測的海冰區(qū)域;G為真實的海冰區(qū)域;P ∩G 為P和G重疊的海冰像素;P ∪G為P和G并集的海冰像素。
精確度(Precision)指的是正確預(yù)測的正樣本數(shù)占所有預(yù)測為正樣本數(shù)量的比值,也就是所有預(yù)測為正樣本的樣本中真正的正樣本數(shù),只考慮預(yù)測為正樣本的部分,其公式為
式中,tp為正確檢測的海冰像素;fp為錯誤檢測的海冰像素。
召回率(Recall)指的是正確預(yù)測的正樣本數(shù)占真實正樣本總數(shù)的比值,也就是測試樣本中能夠正確預(yù)測出的正樣本數(shù),其公式為
式中,fn為錯誤檢測的背景像素。
F1分?jǐn)?shù)(F1_Score)是精確度和召回率的一種調(diào)和平均,通常作為衡量二分類模型精度的一種指標(biāo),其公式為
為驗證本文模型的有效性,本文進行了3組對比實驗。首先將本文混合損失U-Net模型與已有的傳統(tǒng)方法和深度學(xué)習(xí)方法進行對比,見表2。傳統(tǒng)方法包括分水嶺算法、MRF[12]和PCNN[17]3種經(jīng)典方法。深度學(xué)習(xí)方法為基于CNN的海冰檢測模型[27]。然后針對本文U-Net模型的損失函數(shù),進行了混合損失函數(shù)與非混合損失函數(shù)的對比實驗,見表3。混合損失函數(shù)是BCEloss和Diceloss權(quán)重之和。BCEDloss的權(quán)重w設(shè)置為0.7,w的取值由實驗得到,見4.4節(jié)。非混合損失函數(shù)模型分別以BCEloss和Diceloss為損失函數(shù)。最后根據(jù)VH、VV、VV+VH不同極化信息的輸入進行模型預(yù)測結(jié)果的對比實驗,見表4。實驗結(jié)果的評價指標(biāo)為F1_Score、Precision、Recall和IoU。所有測試模型的數(shù)據(jù)集劃分方式一致。本文的U-Net模型(w=0.7)和CNN模型均進行了超參數(shù)的調(diào)節(jié),取最優(yōu)的測試效果為最終結(jié)果。
表2 不同模型的度量結(jié)果Table 2 Measurement results of different models
表3 不同損失函數(shù)的度量結(jié)果Table 3 Measurement results of different loss functions
表4 不同極化方式的度量結(jié)果Table 4 Measurement results of different polarization information
4.3.1 不同模型檢測結(jié)果對比
由表2可知,與傳統(tǒng)的圖像檢測方法和深度學(xué)習(xí)方法相比,本文基于混合損失U-Net的海冰檢測模型在 F1_Score、Precision、Recall和 IoU 4項指標(biāo)上均為最優(yōu)。傳統(tǒng)方法中,Recall均高于其他度量指標(biāo),說明傳統(tǒng)方法在檢測過程中對海冰像素的敏感度高于背景像素;深度學(xué)習(xí)方法的Recall偏高,也說明其在檢測過程中對海冰像素的敏感度高?;诨旌蠐p失U-Net的海冰檢測模型在F1_Score、Precision和Recall上均較高,說明其能較好地分辨海冰像素和背景像素。在IoU上,本文模型的優(yōu)勢更加明顯,說明本文U-Net模型檢測的海冰區(qū)域與真實的海冰區(qū)域重疊度比例較高。
為了進一步驗證基于混合損失U-Net海冰檢測模型的精度,我們從測試集中選取了部分SAR圖像切片,來具體對比各個模型的預(yù)測結(jié)果,如圖7所示(白色為海冰,黑色為背景)。圖7中共有7列數(shù)據(jù),每一行按順序分別是單張切片的原始SAR圖像、對應(yīng)標(biāo)簽數(shù)據(jù)和5種對比方法的預(yù)測結(jié)果??傮w來看,相比本文U-Net模型,另外4種方法的預(yù)測結(jié)果都有所不足。對比圖7b和圖7d兩組數(shù)據(jù),MRF只能模糊地預(yù)測出海冰范圍,對于海冰密集度較低的地方,MRF方法無法檢測。從圖7第4行的預(yù)測結(jié)果來看,對于不同灰度級別的海冰,PCNN較其他方法的檢測效果不明顯,但從圖7e組其他的預(yù)測結(jié)果來看,PCNN對冰水沿線的海冰檢測效果較其他傳統(tǒng)方法顯著。對比圖7b和圖7e兩組數(shù)據(jù),PCNN預(yù)測會誤把海冰像素檢測成背景像素,導(dǎo)致海冰的不完整呈現(xiàn),CNN方法預(yù)測的結(jié)果也出現(xiàn)類似的情況。對比圖7b和圖7f兩組數(shù)據(jù),分水嶺算法的預(yù)測結(jié)果存在無法完整檢測海冰范圍的問題。對比深度學(xué)習(xí)(本文U-Net和CNN)和傳統(tǒng)方法(MRF、PCNN和分水嶺算法)預(yù)測的結(jié)果,深度學(xué)習(xí)方法檢測海冰的效果更好,說明基于深度學(xué)習(xí)方法在區(qū)分海冰和背景特征方面具有優(yōu)勢。對比圖7b、圖7c和圖7g 3組數(shù)據(jù),本文混合損失UNet模型檢測海冰的效果更接近真值,特別是對冰水沿線、冰間水道、冰間隙等細(xì)節(jié)的檢測效果更好。
圖7 不同模型對海冰測試集的預(yù)測結(jié)果Fig.7 Prediction results of different models for sea ice test sets
4.3.2 不同損失函數(shù)結(jié)果對比
為驗證本文BCEDloss的效果,將混合損失U-Net模型和非混合損失U-Net模型進行對比。非混合損失U-Net模型包括兩個:以BCEloss為損失函數(shù)的UNet模型(U-NetBCE);以 Diceloss為損失函數(shù)的 U-Net模型(U-NetDice)。U-NetBCED為本文混合損失 U-Net模型(w=0.7)。實驗環(huán)境和實驗數(shù)據(jù)保持不變。利用測試集對3種模型進行預(yù)測和精度評定,結(jié)果如表3所示。
由表3可知,與非混合損失函數(shù)模型U-NetBCE和U-NetDice相比,本文混合損失函數(shù)模型U-NetBCED在F1_Score、Precision、Recall和 IoU 4項指標(biāo)上均有明顯提升。進一步,選取2020年2月19日的1景渤海海冰圖像,對比不同損失函數(shù)U-Net模型的預(yù)測結(jié)果。為清晰地對比三者的不同,本文選取了近岸和離岸的兩個典型區(qū)域(圖8a中綠色方框所示),放大對比3個模型的海冰檢測結(jié)果,如圖8b至圖8e所示。從圖8b至圖8e可知,非混合損失函數(shù)U-NetBCE和UNetDice模型對海冰細(xì)節(jié)檢測效果存在缺陷,特別是紅圈標(biāo)注的區(qū)域,而U-NetBCED的檢測結(jié)果彌補了非混合損失函數(shù)模型檢測結(jié)果的不足。所以,本文設(shè)計的BCEDloss能綜合BCEloss和Diceloss的優(yōu)勢,更好地實現(xiàn)U-Net模型的訓(xùn)練,減小模型預(yù)測結(jié)果與真值之間的差距,提高模型的海冰檢測能力。
圖8 不同損失函數(shù)的海冰檢測結(jié)果對比Fig.8 Comparisons of sea ice detection results with different loss functions
4.3.3 不同極化信息結(jié)果對比
為驗證雙極化信息在海冰檢測方面的優(yōu)勢,將VH、VV和VV+VH 3種不同極化信息輸入到本文混合損失U-Net模型(w=0.7)中,保持實驗環(huán)境不變,進行模型訓(xùn)練,并利用測試集對3種模型訓(xùn)練結(jié)果進行預(yù)測和精度評定,結(jié)果如表4所示。
由表4可知,與VH或VV單極化輸入信息相比,VV和VH雙極化輸入信息在F1_Score、Precision、Recall和IoU 4項指標(biāo)上均最優(yōu),且明顯優(yōu)于VH單極化輸入信息。同樣,選取了2020年2月19日的1景渤海海冰圖像,對比不同輸入信息U-Net模型的預(yù)測結(jié)果。為清晰地對比三者不同,也選取了近岸和離岸的兩個典型區(qū)域(圖9a中綠色方框所示),放大對比3個模型的海冰檢測結(jié)果,如圖9b至圖9e所示。從圖9b至圖9e可知,VV和VH雙極化輸入信息的U-Net模型對海冰檢測能力明顯強于VH單極化輸入。VV單極化輸入信息的U-Net模型與其相比,也存在紅圈標(biāo)注的檢測誤區(qū),圖9e圈1處較明顯。而在VH單極化輸入的結(jié)果中,上述在VV極化中被錯誤檢測的區(qū)域得到改正,如圖9d所示。綜合VV+VH雙極化輸入,VV單極化輸入出現(xiàn)的錯誤檢測得到改正,如圖9c所示。所以,VV+VH雙極化圖像能為混合損失U-Net模型提供更完整的海冰像素信息,提高模型的海冰檢測能力。
圖9 不同極化信息海冰檢測結(jié)果對比Fig.9 Comparisons of sea ice detection results with different polarization information
綜上所述,相對于已有的傳統(tǒng)和深度學(xué)習(xí)方法,本文提出的基于VV和VH雙極化信息輸入的混合損失U-Net模型對渤海海冰具有更高的檢測精度,能夠?qū)1⒈尘斑M行有效區(qū)分,對冰水沿線、冰間水道、冰間隙等細(xì)節(jié)特征的檢測效果更好。
為了獲得本文U-Net模型損失函數(shù)的最優(yōu)權(quán)重比,本文對損失函數(shù)中的權(quán)重因子w進行了探究,將w分別設(shè)置為 0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8和0.9,并對測試集進行預(yù)測,預(yù)測結(jié)果的度量指標(biāo)值如圖10所示。
圖10展示了損失函數(shù)在不同權(quán)重比的情況下對本文U-Net模型性能的影響。從圖中可以看出,w不同取值下,模型的各項指標(biāo)存在波動。整體來看,當(dāng)w大于等于0.5時,模型各項指標(biāo)的變化趨于穩(wěn)定。當(dāng)w取 0.7時,F(xiàn)1_Score、Precision、Recall和IoU指標(biāo)最優(yōu),模型的性能最佳。因此,在模型應(yīng)用中,建議w值設(shè)置為0.7,以BCEloss為主要損失,Diceloss為輔助損失,得到最優(yōu)效果。
圖10 混合損失函數(shù)不同權(quán)重比實驗結(jié)果Fig.10 Experimental results of hybrid loss functions with different weight ratios
為了更好地驗證本文混合損失U-Net海冰檢測模型的應(yīng)用性,將訓(xùn)練好的模型用于渤海區(qū)域整幅SAR影像的海冰檢測。此處,選取2020年1月2日((圖11)遼東灣的SAR影像,對影像進行預(yù)處理,并輸入到混合損失U-Net模型中進行海冰檢測??梢钥闯?,本文模型對SAR影像中的海冰、背景能進行較好地分類,對海冰及其細(xì)節(jié)能較好地檢測。因此,本文提出的U-Net模型可以應(yīng)用于渤海區(qū)域整幅SAR圖像的海冰檢測,可為海冰監(jiān)測、海冰變化分析、海冰預(yù)報提供技術(shù)支撐。
圖11 整幅 SAR 圖像海冰檢測結(jié)果Fig.11 The sea ice detection results of the whole SAR image
本研究針對渤海區(qū)域SAR影像的海冰檢測問題,以Sentinel-1 VV和VH雙極化方式的SAR影像為數(shù)據(jù)源,引入深度學(xué)習(xí)框架U-Net,用ResNet 18編碼器,設(shè)計了BCEloss和Diceloss結(jié)合的混合損失函數(shù)優(yōu)化U-Net模型,形成了基于混合損失U-Net的渤海海冰檢測模型,并與傳統(tǒng)的海冰檢測方法和已有的深度學(xué)習(xí)方法進行了對比,研究了混合損失函數(shù)和雙極化輸入信息對海冰檢測結(jié)果的影響,同時分析了混合損失函數(shù)的權(quán)重比,得出了如下結(jié)論:
(1)本文提出的U-Net模型在測試集上的重疊度為97.567%,F(xiàn)1分?jǐn)?shù)為98.769%,精確度為98.767%,召回率為98.771%,遠(yuǎn)遠(yuǎn)優(yōu)于PCNN、MRF、分水嶺算法和基于CNN的深度學(xué)習(xí)方法4種對比方法。
(2)本文設(shè)計的混合損失函數(shù)相對于非混合損失函數(shù)能夠提高模型對海冰信息的檢測能力。
(3)從不同極化信息輸入結(jié)果可知,較單極化SAR圖像,模型能夠從雙極化圖像中學(xué)習(xí)更完整的海冰信息。
(4)從測試集的檢測結(jié)果來看,本文混合損失UNet模型不僅可以實現(xiàn)海冰、背景的分類,對冰水沿線、冰間水道、冰間隙等細(xì)節(jié)特征的檢測效果較好。
(5)本文混合損失U-Net模型可以應(yīng)用于渤海區(qū)域整幅SAR圖像的海冰檢測,可為海冰監(jiān)測、海冰變化分析、海冰預(yù)報提供技術(shù)支撐。
本實驗中U-Net雖然在渤海海冰SAR影像數(shù)據(jù)集上獲得了較好的結(jié)果,但仍有拓展的空間。一方面,本文采用的SAR數(shù)據(jù)為VH和VV極化,下一步將研究融合多源SAR影像,拓寬海冰信息,提高模型檢測精度和適用范圍。另一方面,將以本文的海冰檢測模型為基礎(chǔ),開展渤海海冰變化監(jiān)測方面的相關(guān)研究。
致謝:感謝歐洲航天局提供Sentinel-1數(shù)據(jù)和SNAP Desktop軟件;感謝標(biāo)注軟件LabelMe和Anaconda平臺;感謝李曉峰研究員對本文提出的修改意見。