邵光輝，楊 坤，郭南南

（山東科技大學 計算機科學與工程學院，山東 青島 266590）

0 引言

中國是世界上最大的水產(chǎn)養(yǎng)殖國家，海岸線總長度達18000公里，海域總面積約為300萬公頃。我國的海水養(yǎng)殖約占世界海水養(yǎng)殖總產(chǎn)量的2/3[1]，其中筏式養(yǎng)殖就是一種重要的集約化的海水養(yǎng)殖方式。它主要是在淺海海域，通過利用浮子架，由浮子和繩索組成，并用纜繩固定于海底，將海藻（如海帶、紫菜）和固著動物（如貽貝）幼苗放在浮子架上，懸掛于浮筏的一種養(yǎng)殖方式。筏式養(yǎng)殖能夠帶來巨大的經(jīng)濟效益，導致容易產(chǎn)生了非法水產(chǎn)養(yǎng)殖[2]，另外隨著養(yǎng)殖規(guī)模的擴大和集約化程度的提高，海水養(yǎng)殖病害問題突出，養(yǎng)殖環(huán)境的治理和污染防控形勢堪憂。因此掌握養(yǎng)殖區(qū)的空間分布和面積等信息具有重要意義。

遙感技術(shù)具有覆蓋范圍廣，獲取信息速度塊，周期短，數(shù)據(jù)綜合性強等優(yōu)點[3]，因此適合筏式海水養(yǎng)殖區(qū)的提取工作?，F(xiàn)階段國內(nèi)外提出了許多基于遙感圖像的水產(chǎn)養(yǎng)殖提取的方法。通過專家經(jīng)驗的目視解譯法[4]，紋理特征信息直方圖閾值分割的海上養(yǎng)殖區(qū)自動識別方法[5]，將處理的對象從像元過渡到了圖斑的對象層次的面向?qū)ο蠓指钐崛》╗6]，無人機影像解譯法和 SAR影像解譯法[7-8]等。這些方法對于海水養(yǎng)殖區(qū)具有較高的識別精度，但只能應用在某些特定的小范圍內(nèi)，并且需要手動的調(diào)節(jié)和分析，造成大量人力和時間的浪費。隨著軟硬件的不斷發(fā)展以及高性能計算水平的提高，深度學習逐漸嶄露頭角，深度學習方法為計算機視覺和機器學習帶來了革命性的進步。深度學習在圖像識別上的準確率已經(jīng)超越了人類。受 ASPP[9]和 SE[10]結(jié)構(gòu)的啟發(fā)，我們提出了具有SE結(jié)構(gòu)的改進的PSPNet模型。本文的動機包括兩個方面。首先，我們通過使用 ASPP結(jié)構(gòu)來捕獲同一特征層下的不同分辨率的空間信息，將局部信息和全局信息相結(jié)合，來更有效的識別小樣本類別。其次，更加可靠和合理的特征圖應具有更高的置信度[11,25]，我們將 PSPNet捕獲的多尺度特征圖放入到 SE模塊中來進行通道維度的整合，以自適應性地學習各個特征圖的重要程度，有效的減少誤分現(xiàn)象。該模型結(jié)合了 ASPP模塊和 SE模塊，以融合多尺度特征圖。通過利用改進的 ResNet50來進行編碼，獲得高層的語義特征，并利用ASPP模塊和SE模塊進行解碼。

本文通過利用GF1號分辨率為1.8 m的融合圖像在連云港筏式水產(chǎn)養(yǎng)殖區(qū)域進行了實驗，實驗結(jié)果表明，與經(jīng)典的FCN，U-Net以及PSPNet模型相比，具有SE結(jié)構(gòu)的改進的PSPNet在紫菜養(yǎng)殖區(qū)提取方面獲得了最高的F1分數(shù)值。

1 相關(guān)工作

1.1 CNN與FCN

CNN通常用于圖像級分類任務，因為它們都輸出不同類別上的概率分布[12]。它會在卷積層之后添加若干個全連接層，所以CNN輸入圖像的大小是固定的。通過 Softmax函數(shù)來得到圖像屬于每一類別的概率，將最高概率的一類作為該圖像的類別。與典型的 CNN相比，F(xiàn)CN是對圖像進行像素級別的分類，用卷積和上采樣代替全連接層來實現(xiàn)語義級別的圖像分割問題，在上采樣的特征圖上逐像素的計算Softmax分類損失進行逐像素分類，做到了端到端像素級學習任務。

1.2 編碼器-解碼器

編碼器-解碼器結(jié)構(gòu)是常用的語義分割結(jié)構(gòu)，UNet、PSPNet等模型均采用這種結(jié)構(gòu)。編碼器-解碼器網(wǎng)絡(luò)首先通過執(zhí)行卷積和下采樣來學習特征表示，然后執(zhí)行卷積和下采樣運算來解碼這些特征表示。編碼器能夠自動的學習特征，并且可以學習到多個層次的特征：較淺的卷積層所獲得的感受野較小，學習到一些局部區(qū)域的特征；較深的卷積層具有較大的感受野，學習到的特征也更加抽象。能夠?qū)W習到更加抽象的特征。這些抽象特征對物體的大小、位置和方向等敏感性更低，從而有助于識別性能的提高。解碼器的作用是向上采樣編碼器的輸出，只微調(diào)細節(jié)，恢復圖像空間分辨率[13]。

1.3 空洞卷積

空洞卷積的空間金字塔結(jié)構(gòu)能夠增加感受野對特征圖進行采樣。使用K個擴張卷積的空間金字塔，本文中的K=3，采樣率為rates = {6,12,18}的空洞卷積。采用不同的采樣率的空洞卷積對3 3×的卷積核并行重新采樣特征圖。這種金字塔卷積運算被稱為擴張卷積的空間金字塔，因為每個擴張卷積核都學習具有不同感受野的權(quán)重，因此類似于空間金字塔。

1.4 SE結(jié)構(gòu)

學習一個高性能的網(wǎng)絡(luò)是十分困難的，現(xiàn)在許多的做法是在空間域上來提升網(wǎng)絡(luò)性能，而Squeezeand-Excitation（簡稱SE）結(jié)構(gòu)是在通道域上顯式的建模特征通道的相互依賴關(guān)系，來進行特征的重定標工作[14]。SE結(jié)構(gòu)的關(guān)鍵操作為 Squeeze以及Excitation。如圖 1所示，給定的特征圖 X，X ∈RH×W×C，其中H，W和C分別是指特征圖的高度，寬度和通道數(shù)。經(jīng)過 Squeeze操作（全局平均池化[15]）生成 y ∈ RC×1，其中 ym是y的第m個元素，Xm是X的第m個特征圖：

Excitation操作通過使用兩個為參數(shù) W1，W2全連接層和兩個激活函數(shù)來實現(xiàn)，生成 y? ∈RC×1，如下所示：

最后是Reweight 操作通過將Excitation操作得到的權(quán)重與先前的特征逐通道相乘，從而完成通道域上的特征的重定標工作，生成重定標后的特征圖簇個特征下圖所示：

圖1 SE結(jié)構(gòu)Fig.1 SE structure

2 提出的方法

在本節(jié)中，我們首先介紹針對紫菜養(yǎng)殖區(qū)三分類提取的一般過程。然后，我們詳細描述了具有SE結(jié)構(gòu)的改進的PSPNet網(wǎng)絡(luò)。

2.1 紫菜養(yǎng)殖區(qū)三分類提取的一般過程

紫菜養(yǎng)殖區(qū)三分類提取過程包括三個階段：數(shù)據(jù)預處理階段，訓練階段和測試階段。在遙感數(shù)據(jù)預處理階段，我們利用 labelme進行手動標記，三個類別分別為養(yǎng)殖區(qū)，海水，和其他類（包括陸地，島嶼，碼頭等）。通過裁切研究區(qū)域生成訓練數(shù)據(jù)和測試數(shù)據(jù)，其中訓練數(shù)據(jù)包括訓練集和驗證集，利用K折交叉驗證來實現(xiàn)訓練集和驗證集的自動劃分。在訓練階段，將預處理訓練樣本喂到具有 SE結(jié)構(gòu)的改進的PSPNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)模型架構(gòu)如圖2所示。使用小批量梯度下降算法進行迭代優(yōu)化。當損失不再下降時，結(jié)束迭代任務。在測試階段，將訓練好的最優(yōu)的模型應用于測試圖像，進行紫菜養(yǎng)殖區(qū)三分類提取工作。

圖2 具有SE結(jié)構(gòu)的改進的PSPNet架構(gòu)圖Fig.2 Improved PSPNet architecture diagram with SE structure

圖 2展示了本文提出的具有 SE結(jié)構(gòu)的改進的PSPNet模型結(jié)構(gòu)。該模型采用編碼器-解碼器結(jié)構(gòu)，編碼器使用常規(guī)卷積和帶有空洞卷積的殘差結(jié)構(gòu)來提取高級語義特征，在每一層卷積之后都跟有 BN和Relu激活函數(shù)。解碼器中的主要操作是，首先將編碼得到的高階語義特征通過金字塔池化來獲取不同尺度的信息，在通過線性插值來擴大特征圖分辨率，然后在經(jīng)過 SE模塊來自動學習每個通道的重要程度來更好地進行語義分割任務。接著通過線性插值使特征圖恢復原圖像大小，最后使用 Softmax激活函數(shù)和 Argmax函數(shù)[17]得到最后的預測結(jié)果，從而實現(xiàn)了端到端的分類任務。

2.2 模型參數(shù)

本文使用的殘差網(wǎng)絡(luò)都是由兩部分組成，一組是恒等映射上加1 1×卷積的殘差模塊，另一組直接恒等映射的殘差模塊。其中Res3是步長為2填充為2的卷積，Res4是填充為4的卷積，Res5是填充為8的卷積，利用空洞卷積在不增加模型參數(shù)下獲取更多的上下文信息使用BN進行歸一化，ReLU作為激活函數(shù)。模型具體參數(shù)見表1。為了防止過擬合，本文在Conv11后使用了Dropout[18]，比率為0.1。

表1是具有SE結(jié)構(gòu)的改進的PSPNet完整的網(wǎng)絡(luò)結(jié)構(gòu)。Res，AtrousRes，ConvInterp分別表示殘差模塊，帶有空洞卷積的殘差模塊，線性插值模塊。

表1 網(wǎng)絡(luò)模型參數(shù)Tab.1 Network model parameters

3 實驗與評估

3.1 研究區(qū)域概況

研究區(qū)為江蘇連云港近岸海域，是2017年2月10日分辨率為1.8m的融合后的GF1號影像。其坐標為 34°43′22″～35°5′34″N，119°8′15″～119°37′43″E。研究區(qū)域的圖像如下圖所示，訓練集和測試集圖像大小都是 7168×7168，通道數(shù)為 3，下圖中綠色框的3塊圖像作為訓練集，紅色框的1塊圖像作為測試集用來驗證模型的性能。

圖3 研究區(qū)示意圖Fig.3 Schematic diagram of the study area

3.2 訓練數(shù)據(jù)集

本文通過選取研究區(qū)域的數(shù)據(jù)進行三分類的實驗，包括養(yǎng)殖區(qū)、海水以及其他類別（包括陸地，島嶼，碼頭等），研究區(qū)域如圖3所示。本文隨機選取了研究區(qū)域中的3塊圖像（圖3中的綠色小框）作為訓練集，并將每塊圖像切割成128×128大小，切割步長為128，分別得到9408個訓練樣本和9408個訓練標簽。

3.3 模型訓練

本文實驗使用TensorFlow作為后端引擎，均采用 Keras框架來進行模型的實現(xiàn)工作，在 NVIDIA P100 GPU上迭代100個周期，利用Adam作為模型的優(yōu)化器，動量為0.95，學習率為0.0001，batch size設(shè)置為 2，使用交叉驗證的方式來進行訓練集和驗證集的自動劃分，共進行了10折交叉驗證，即90%的樣本作為訓練，10%樣本用來驗證。

3.4 實驗結(jié)果與分析

為了驗證我們提出的紫菜養(yǎng)殖區(qū)提取方法的實用性，在我們的數(shù)據(jù)集上我們與經(jīng)典的用于醫(yī)學圖像處理的Unet以及傳統(tǒng)的PSPNet網(wǎng)絡(luò)模型進行了比較，并且我們通過使用三種評價指標來檢驗我們提出的模型的有效性，即Precision，Recall以及F1分數(shù)來進行最終的評測。F1分數(shù)，又稱為平衡F分數(shù)（balanced F Score），它被定義為精準率和召回率的調(diào)和平均數(shù)，Precision，Recall以及F1分數(shù)的公式如下所示：

其中，TP代表樣本為正，預測結(jié)果為正；FP代表樣本為負，預測結(jié)果為正；FN代表樣本為正，預測結(jié)果為負。本文實驗分別計算了各個類別的Precision，recall以及 F1分數(shù)。此外，該模型的魯棒性通過十次K折交叉驗證實驗得到了認可。最終結(jié)果的Precision，recall以及F1分數(shù)如表2所示。

表2 Precision，recall以及F1分數(shù)對比結(jié)果Tab.2 Comparison results of precision,recall and F1 scores

表2中我們對實驗的方法進行了對比，從上表中可以看出，養(yǎng)殖區(qū)準確率，召回率最高的分別是OurNet，PSPNet，海水的準確率，召回率最高的分別是FCN和OurNet，其他類的

準確率，召回率最高的分別是OurNet和FCN，三個類別的F1分數(shù)最高的都是我們提出的網(wǎng)絡(luò)。通過實驗結(jié)果證明了我們提出的網(wǎng)絡(luò)模型具有更好地泛化能力和魯棒性。

下圖中的圖4顯示了測試集的圖像，真值圖以及用于提取紫菜養(yǎng)殖區(qū)域的不同方法的結(jié)果圖，其中紫色代表紫菜養(yǎng)殖區(qū)域，黑色代表海水，綠色代表其他類別。

圖4 實驗結(jié)果對比圖Fig.4 Comparison of experimental results

根據(jù)圖4我們可以得知，因為FCN將一部分海水和養(yǎng)殖區(qū)誤分為其他類，并且島嶼這個其他類別基本全部識別出來了，所以可以解釋表2中FCN模型的其他類的召回率最高的原因。U-Net模型島嶼這個其他類識別出來了一部分，而且與海水紋理特征相近的養(yǎng)殖區(qū)域識別的不是很好。PSPNet模型由于整合了不同分辨率的特征，對于島嶼的識別效果明顯，但是誤分了部分養(yǎng)殖區(qū)變成了其他類別。我們提出的網(wǎng)絡(luò)模型在 PSPNet的基礎(chǔ)上改進膨脹率并且加上了 SE結(jié)構(gòu)，既在他空間上整合了不同分辨率的特征，又在通道上自適應的學習通道之間的重要程度，實驗結(jié)果表明，我們提出的網(wǎng)絡(luò)模型對于紫菜養(yǎng)殖區(qū)的三分類任務有更好的效果。

4 結(jié)論

在本文中，我們針對于高分遙感影像通過深度學習實現(xiàn)了對于紫菜養(yǎng)殖區(qū)三分類的語義分割任務，并且提出了具有SE結(jié)構(gòu)的改進的PSPNet，有效的實現(xiàn)了對于紫菜養(yǎng)殖區(qū)的識別工作。通過更大的膨脹率在不增加模型參數(shù)下獲得了更大的感受野，利用金字塔池化來獲取空間上的不同分辨率的特征，來更好的實現(xiàn)對于小樣本的識別任務，最后加入 SE結(jié)構(gòu)在通道上自適應的學習各通道之間的重要程度，有效的減少了誤分現(xiàn)象。但我們的模型仍然存在小樣本識別問題，在未來我們需要繼續(xù)改進我們的模型，并且考慮不同衛(wèi)星拍攝的影像，來更加適應相關(guān)部門的需要。