李敬虎，邢前國，鄭向陽，李琳，王麗麗

（1.魯東大學信息與電氣工程學院，山東煙臺 264025；2.中國科學院煙臺海岸帶研究所，山東煙臺 264003；3.中國科學院大學，北京 100049）

0 引言

近年來，隨著海洋資源的大力開發(fā)利用，海洋生態(tài)環(huán)境遭受破壞，赤潮事件在全球范圍內(nèi)呈現(xiàn)多發(fā)態(tài)勢［1］。赤潮是有害藻華（Harmful Algal Blooms，HAB）的一種常見類型［2］，呈紅色或棕色，赤潮爆發(fā)期間會產(chǎn)生有毒物質(zhì)，造成海洋生物死亡，對沿海地區(qū)的漁業(yè)和旅游業(yè)造成嚴重破壞［3］，開展赤潮監(jiān)測和研究工作具有重要現(xiàn)實意義。

針對赤潮對漁業(yè)和旅游業(yè)造成的惡劣影響，眾多監(jiān)測手段被提出用于赤潮監(jiān)測工作［4］。早期依賴于實地取樣和葉綠素a（Chlorophyll a，Chl-a）濃度實驗分析的現(xiàn)場觀測方法，資源密集且耗時，而通過固定點水質(zhì)傳感器監(jiān)測赤潮，存在無法靈活改變監(jiān)測地點和深度的問題，導致赤潮研究局限于相對較小的區(qū)域或較短的時間段［5］。衛(wèi)星遙感作為一種重要觀測手段，在目標識別、環(huán)境監(jiān)測中發(fā)揮著重要作用［6］。目前，已經(jīng)成功開發(fā)出眾多利用衛(wèi)星光學遙感數(shù)據(jù)進行赤潮監(jiān)測的算法［7-9］。借助衛(wèi)星遙感，赤潮監(jiān)測工作不再受限于現(xiàn)場采樣效率，降低了時間和經(jīng)濟成本［10］。

隨著機器學習、深度神經(jīng)網(wǎng)絡不斷優(yōu)化改進，展示了其在遙感等領域的應用潛力［11-12］，為赤潮信息提取提供了新的解決方法。Kim 等［13］利用U-Net 模型對地球靜止海洋水色成像儀（Geostationary Ocean Color Imager，GOCI）數(shù)據(jù)進行分析，成功提取了朝鮮半島南部沿海地區(qū)的赤潮；Lee 等［14］對2013 年朝鮮半島南部沿海地區(qū)赤潮的Landsat-8 OLI（Operational Land Imager）數(shù)據(jù)進行分析，結合實地考察，提出了結合深度學習的赤潮監(jiān)測方法。

受限于衛(wèi)星遙感的固定時空分辨率，衛(wèi)星遙感無法為赤潮監(jiān)測提供更加精準和實時的技術支持。近年來，搭載高分辨率攝像機的無人機（Unmanned Aerial Vehicle，UAV）作為傳統(tǒng)衛(wèi)星遙感的重要補充，具有使用成本低、操作簡單、獲取影像速度快、地面分辨率高等傳統(tǒng)遙感無法比擬的優(yōu)勢，在環(huán)境監(jiān)測中得到越來越多的應用［15-16］。目前常見的無人機配備高分辨率的RGB（Red-Green-Blue）數(shù)碼相機，若能用于赤潮高效的提取，會大幅提高赤潮的遙感監(jiān)測水平。

基于以上討論，本文以無人機采集夜光藻（Noctiluca scintillans）赤潮RGB 視頻影像作為監(jiān)測數(shù)據(jù)，通過在原始UNet++網(wǎng)絡［17］基礎上，修改主干網(wǎng)絡為VGG-16（Visual Geometry Group-16）［18］，引入空間dropout（spatial dropout）策略［19］，同時使用ImageNet 數(shù)據(jù)集［20］預先訓練VGG-16 網(wǎng)絡進行遷移學習，提出了一種基于深度學習的無人機影像夜光藻赤潮提取方法，實現(xiàn)了對復雜環(huán)境中夜光藻赤潮自動化、高精度的提取。在自建的赤潮數(shù)據(jù)集Redtide-DB 上，通過與多種方法進行對比測試，探究所提方法的優(yōu)勢和不足。

1 數(shù)據(jù)采集和數(shù)據(jù)采樣

本文無人機獲取的夜光藻赤潮影像來自北黃海近岸海域，數(shù)據(jù)保存為視頻格式，視頻分辨率為1 280 像素×720 像素。數(shù)據(jù)獲取所用的無人機型號為大疆“御”Mavic 2 專業(yè)版，搭載RGB 相機。夜光藻赤潮數(shù)據(jù)采集期間大氣能見度一般（如圖1 所示）。

圖1 無人機采集的夜光藻赤潮樣本數(shù)據(jù)Fig.1 Sample data of Noctiluca scintillans red tide taken by UAV

為便于夜光藻赤潮提取工作，首先按照固定頻率，對視頻格式的數(shù)據(jù)進行采樣，最終形成2 691 張圖片的樣本庫，部分數(shù)據(jù)如圖1 所示。樣本庫中的2 511 張圖片作為訓練樣本參與模型訓練，視頻最后30 s 采樣所得的180 張圖片作為測試樣本，用于評估所提方法的夜光藻赤潮提取精度。

2 夜光藻赤潮提取與精度評估

針對目前衛(wèi)星遙感中夜光藻赤潮識別精度低、實時性差的問題，以無人機采集的高分辨率夜光藻赤潮RGB 視頻影像作為監(jiān)測數(shù)據(jù)，提出一種基于深度學習的無人機影像夜光藻赤潮自動提取方法，由數(shù)據(jù)預處理、網(wǎng)絡訓練與測試、精度評估構成，提取流程如圖2 所示。

圖2 基于深度學習的無人機影像夜光藻赤潮提取流程Fig.2 Flow of Noctiluca scintillans red tide extraction from UAV images based on deep learning

2.1 數(shù)據(jù)預處理

為構建用于訓練的數(shù)據(jù)集，首先對數(shù)據(jù)進行標注。夜光藻赤潮區(qū)域分為明顯區(qū)域和不明顯的區(qū)域，如圖1 所示。夜光藻赤潮不明顯區(qū)域由于邊界模糊，人工標注容易受到主觀因素的影響。為減小數(shù)據(jù)集標注導致的誤差，首先在HSV（Hue-Saturation-Value）顏色空間選取H（Hue）波段閾值法對夜光藻赤潮進行提??；然后結合目視解譯對提取結果進行修正；最終將數(shù)據(jù)標注為背景、夜光藻赤潮明顯區(qū)域和非明顯區(qū)域三部分。

訓練過程中為減少圖片尺寸過大帶來的硬件壓力，將圖片切割為512×512 大小的子圖；同時，為減少正負樣本失衡對分類器性能的影響，去除背景像元占單樣本像元總數(shù)90%以上的樣本；最后對數(shù)據(jù)進行鏡像、隨機旋轉(zhuǎn)、隨機平移的數(shù)據(jù)擴增操作，如圖3 所示。

圖3 數(shù)據(jù)擴增Fig.3 Data augmentation

經(jīng)過上述圖片裁剪、正負樣本均衡和數(shù)據(jù)擴增處理之后，得到有效樣本數(shù)為6 560 的赤潮數(shù)據(jù)集Redtide-DB。Redtide-DB 數(shù)據(jù)集被隨機分為兩部分，其中80%作為訓練集，20%作為驗證集。最后，在對圖片進行預測時，使用Overlap-tile 策略［21］保留圖片邊緣特征，以獲得更準確的赤潮提取結果。

2.2 網(wǎng)絡訓練與測試

在原始UNet++網(wǎng)絡基礎上，通過修改主干網(wǎng)絡為VGG-16 網(wǎng)絡，以提高其特征提取能力，同時引入空間dropout 策略，將dropout 擴展到整個網(wǎng)絡來防止過擬合。本文網(wǎng)絡模型訓練過程中，使用ImageNet 數(shù)據(jù)集預先訓練VGG-16 網(wǎng)絡進行遷移學習，提高收斂速度。

本文網(wǎng)絡的拓撲結構如圖4 所示，由編碼器、解碼器和密集跳躍連接組成，其中：Input、Conv、Max pool、Tr-conv、Softmax 分別代表輸入層、卷積層、最大池化層、反卷積（Transposed convolution）層、分類層；每個圓圈代表一個特征提取模塊，由兩個3×3 的卷積層組成，其卷積操作之后，依次連接空間dropout 單元和修正線性單元（Rectified Linear Unit，ReLU）。每個特征提取模塊節(jié)點下面的數(shù)字表示當前節(jié)點輸出的通道數(shù)，節(jié)點內(nèi)部En、Me、De 用來區(qū)別編碼路徑、密集跳躍連接、解碼路徑的單元。

圖4 網(wǎng)絡拓撲結構Fig.4 Network topology

在本文網(wǎng)絡模型中，通過編碼結構中降采樣操作，可以不斷增加感受野大小，從而避免較小感受野造成的分割邊緣模糊問題；同時，在不斷下采樣過程中，可以得到不同程度的下采樣分支，進行多尺度特征的融合，以提高分類精度。在解碼結構中，對密集跳躍連接融合的特征圖進行上采樣，將特征圖尺寸還原為原始圖片大小，以便對圖片中各個像素進行分類。在相同層之間通過跳躍連接（skip connection）的方式將特征向后傳遞，從而將編碼特征與解碼特征進行連接，減少特征提取過程中的信息損失；在不同層之間，特征自上至下深度聚合，縮小了編碼特征與解碼特征跳躍連接時的語義鴻溝（semantic gap），從而提升模型的特征學習能力。網(wǎng)絡中每個模塊的輸出結果為：

式中：xi，j表示當前特征提取模塊的輸出，i表示網(wǎng)絡模型的層序，從上至下依次取值為1～5，j表示同一層的模塊序號，j=0表示為編碼器特征提取模塊；C（·）表示特征提取模塊的卷積操作；M（·）表示最大池化操作；T（·）表示反卷積操作；［·］表示特征通道合并（concatenate）。

本文以PyTorch 作為深度學習開發(fā)框架，在硬件配置為Intel Core i5 CPU，NVIDIA Tesla T4 GPU，16 GB 顯存，16 GB內(nèi)存，操作系統(tǒng)為Ubuntu16.04，編程語言python 的環(huán)境上進行訓練和測試。使用Lovasz 損失函數(shù)［22］；損失函數(shù)優(yōu)化算法采用自適應矩估計法（Adaptive moment estimation，Adam）；基礎學習率為0.000 1；批大小設為8；設置100 個epoch；空間dropout 參數(shù)為0.5。

2.3 精度評估

為驗證本文所提出的夜光藻赤潮提取方法的可靠性，選用總體精度（Overall Accuracy，OA）、F1 評分（F1 score）和Kappa 作為評價指標，在驗證集上進行夜光藻赤潮提取測試和精度評估，其中OA 代表所有正確分類的像元占總像元的比例。

為了探究所提方法與其他方法相比在提取夜光藻赤潮時的優(yōu)勢和不足，選取不同拍攝角度和高度的6 張典型測試圖片對提取結果進行展示，其原圖及目視解譯的真實分割結果如圖5 所示。

圖5 用于細節(jié)展示的原始圖片和真實分割結果Fig.5 Original images and actual segmentation results for detail display

3 實驗及結果分析

3.1 機器學習方法夜光藻赤潮提取結果對比

為驗證本文所提出的夜光藻赤潮提取方法的優(yōu)越性，采用K近鄰（K-Nearest Neighbors，KNN）［23］、支持向量 機（Support Vector Machine，SVM）［24］和隨機森 林（Random Forest，RF）［25］這3 種機器學習方法進行對比測試。在實驗過程中，KNN 方法參數(shù)為：采用KD 樹（K-Dimensional tree）算法，K值設為5，使用歐幾里得距離，距離的權重選擇無；SVM方法參數(shù)為：核函數(shù)為徑向基函數(shù)（Radial Basis Function，RBF），其中調(diào)整懲罰系數(shù)值為10，gamma 參數(shù)值為0.1；RF方法參數(shù)為：森林中樹木的數(shù)量為30，最大分裂數(shù)為249。在驗證集上，KNN、SVM、RF 和本文方法的夜光藻赤潮提取評價指標如表1 所示，6 張典型測試圖片的分類細節(jié)如圖6所示。

圖6 不同機器學習方法的夜光藻赤潮提取結果對比Fig.6 Noctiluca scintillans red tide extraction results comparison of different machine learning methods

表1 機器學習方法的夜光藻赤潮提取評價指標對比Tab.1 Comparison of evaluation indexes of machine learning methods on Noctiluca scintillans red tide extraction

在機器學習方法中，SVM 方法的夜光藻赤潮提取評價指標（OA=88.69%，F(xiàn)1 評分=0.891 3，Kappa=0.842 7）高于其他2 種機器學習方法。但是由于建筑物區(qū)域和夜光藻赤潮區(qū)域的像元光譜信息相近，機器學習方法沒有充分利用圖像的上下文信息，導致其提取結果中出現(xiàn)較多的建筑物誤識別。

與機器學習方法對比，本文提出的基于深度學習夜光藻赤潮提取方法具有明顯的精度優(yōu)勢，其夜光藻赤潮提取的三個評價指標均高于機器學習方法。本文所提方法在準確識別夜光藻赤潮的同時，有效避免了建筑物、云霧、耀光等因素的干擾，具有較強的抗干擾能力，且計算簡單，不用人工提取特征。

3.2 語義分割網(wǎng)絡赤潮提取結果對比

為比較本文方法相比其他語義分割網(wǎng)絡在赤潮提取任務上的性能差異，采用PSPNet（Pyramid Scene Parsing Network）［26］、SegNet［27］和U-Net［21］這3 種典型的語義分割網(wǎng)絡進行對比測試。在實驗過程中，3 種典型語義分割網(wǎng)絡的超參數(shù)設置與本文方法保持一致。在驗證集上，3 種語義分割網(wǎng)絡（PSPNet、SegNet 和U-Net）及本文方法的夜光藻赤潮提取評價指標如表2 所示，6 張典型測試圖片分類細節(jié)如圖7所示。

表2 語義分割網(wǎng)絡的夜光藻赤潮提取評價指標對比Tab.2 Comparison of evaluation indexes of semantic segmentation networks on Noctiluca scintillans red tide extraction

從表2 可以看出，評價指標的最高值（OA=94.63%；F1評分=0.955 2；Kappa=0.949 6）均為本文方法的提取結果。從圖7 可以看出，3 種語義分割網(wǎng)絡都可以有效識別建筑物等干擾信息，但是在赤潮非明顯區(qū)域的信息提取上效果較差；本文方法相較于其他3 種語義分割網(wǎng)絡，可以更好地保留夜光藻赤潮的細節(jié)信息，在細弱目標識別上具有較高精度。

圖7 語義分割網(wǎng)絡的夜光藻赤潮提取結果對比Fig.7 Noctiluca scintillans red tide extraction results comparison of semantic segmentation networks

3.3 泛化能力分析

在實際應用中，本文所提出夜光藻赤潮提取方法對新樣本的泛化能力也是一項重要的評價指標，選用不同拍攝環(huán)境和不同拍攝設備獲取的夜光藻赤潮影像進行測試，并驗證精度。用于測試的圖片尺寸為3 968×2 976，相機型號為HMAAL00。本文所提方法的夜光藻赤潮提取結果如圖8 所示。

圖8 泛化能力測試Fig.8 Test of generalization ability

分析結果可知，基于深度學習的無人機影像夜光藻赤潮提取方法的在新樣本上同樣具有較好的分類結果，經(jīng)過定量精度評估其OA 為97.41%，F(xiàn)1 評分為0.965 9，Kappa 為0.938 2，說明其對新樣本具有一定泛化能力，可以應用于不同拍攝設備和環(huán)境。

4 結語

無人機具有獲取影像靈活和分辨率高的特點，使得快速對赤潮做出反應成為可能。為快速和準確地處理無人機獲取的大量視頻數(shù)據(jù)，本文通過融合UNet++模型、VGG16 主干網(wǎng)絡、空間dropout 策略，提出了一種基于深度學習的無人機影像夜光藻赤潮提取方法。

研究表明，機器學習方法（KNN、SVM、RF）無法準確提取復雜環(huán)境中的夜光藻赤潮信息，并且訓練數(shù)據(jù)需要人工提取特征，操作困難且效率低；PSPNet、SegNet 和U-Net 3 種典型的語義分割網(wǎng)絡在赤潮圖像的細弱目標識別上效果較差。本文所提出的夜光藻赤潮提取方法在對比實驗中表現(xiàn)最優(yōu)，實現(xiàn)了高精度提取，且自動化程度高，魯棒性強，使業(yè)務化的夜光藻赤潮無人機監(jiān)測具有較高的可行性。不同的赤潮具有不同的顏色，本文提出的模型能否應用于其他優(yōu)勢種的赤潮，我們將進一步開展研究。