摘? 要： 精確快速地提取海岸線對于海岸帶的開發(fā)規(guī)劃、實時監(jiān)測等具有重要意義。使用遙感圖像進行海陸分割是提取海岸線的一項基礎工作。本文利用深度學習技術的語義分割方法來進行海陸分割，提取海岸線。網絡模型以UNet為基本結構，并使用殘差塊來代替其中的卷積層，最后一層再加入一個殘差ASPP進一步提升分割精度。使用殘差塊在加深了網絡的同時，提高效率提升了網絡的性能。殘差ASPP結構能同時捕獲遙感圖像的光譜信息和上下文信息。在一組來自高分一號遙感影像的實驗表明，基于我們提出的網絡模型結構與其他深度學習的網絡模相比有著較好的結果，能夠實現海岸線的提取與應用。

關鍵詞： 遙感圖像;深度學習;殘差網絡;空洞卷積;海陸分割;UNet

中圖分類號： TP391.41? ? 文獻標識碼： A? ? DOI：10.3969/j.issn.1003-6970.2020.10.054

本文著錄格式：楊坤. 基于改進的UNet連云港海岸線提取研究[J]. 軟件，2020，41（10）：208212

【Abstract】： Accurate and rapid extraction of coastline is of great significance for the development planning and real-time monitoring of coastal zone. Land sea segmentation using remote sensing image is a basic work of Coastline Extraction. This paper uses the semantic segmentation method of deep learning technology to segment land and sea， and extract coastline. The network model takes u-net as the basic structure， and uses the residual block to replace the convolution layer. In the last layer， a residual ASPP is added to further improve the segmentation accuracy. The residual block not only deepens the network， but also improves the efficiency and performance of the network. The residual ASPP structure can capture both spectral and contextual information of remote sensing images. Experiments on a set of remote sensing images from gaofen-1 show that the proposed network model structure has better results than other deep learning network models， and can realize Coastline Extraction and application.

【Key words】： Remote sensing image; Deep learning; Residual network; Hole convolution; Land sea segmentation; UNet

0? 引言

海岸線是海洋與陸地的分界線，是重要的地物類型之一。我國是一個海洋大國，中國海岸線包括大陸海岸線與島嶼海岸線，橫跨了22個緯度帶。其中，中國大陸海岸線長達1.8萬多千米，島嶼海岸線長達1.4萬多千米，總海岸線長度達到了3.2萬千米之多。海岸帶是實現海洋高質量發(fā)展戰(zhàn)略要地的關鍵地區(qū)。在這樣的條件下，我國有著豐富的海洋資源。由于我國東部沿海發(fā)展迅速，人口主要集中在這片區(qū)域，國民生產總值也主要集中在沿海區(qū)域，所以海岸帶經濟在中國的經濟總量中占有十分重要的地位。近年來，隨著沿海地區(qū)工業(yè)化和城鎮(zhèn)化進程的不斷推進，海岸帶地區(qū)發(fā)展和保護的矛盾沖突日益顯著。一方面高密度的人口給沿海地區(qū)帶來了巨大的壓力，另一方面，我國海岸帶地區(qū)承載了眾多的基于陸地和基于海洋的人類活動和其他用途。包括圍海養(yǎng)殖、港口航運、漁業(yè)捕撈、濱海旅游、石油和天然氣勘探開發(fā)等。這使得海岸帶成為容易受到破壞的地區(qū)之一。此外，民眾進入海灘、保護瀕危棲息地的權利等新興的或不斷增長的利益，使得各種沖突更加復雜。因此，能夠及時地對海岸線進行提取和動態(tài)監(jiān)測對于海岸建設、沿海開發(fā)、環(huán)境保護等意義重大，分析和研究海陸的語義分割非常有必要[1]。

由于遙感技術觀測范圍廣、成像分辨率高、獲取信息速度快周期短等特點因此被廣泛應用于農業(yè)發(fā)展、災害監(jiān)測、海洋監(jiān)測等各個領域[2]。通過遙感技術成像的遙感影像，分辨率高、范圍廣、光譜信息豐富，能夠快速獲取海岸地貌類型及其相關的地面信息，非常適合大范圍的海岸研究。傳統(tǒng)上，通常對遙感圖像歸一化后使用分割方法以實現海陸分割任務。閾值分割方法首先使用遙感影像的不同波段進行歸一化來提取水體，然后通過選取閾值將低于閾值的像素歸為負類（陸地），將高于閾值的像素歸為正類（水體），以此來實現海陸語義分割。但是傳統(tǒng)的閾值分割方法有來著明顯的缺陷，首先它僅僅基于單個像素的光譜信息，而遙感圖像中存在諸如海中陰影與陸地的波長相似等其他同譜異物現象，因此很難正確區(qū)分，同時對于不同傳感器、不同地區(qū)甚至不同時間的圖像往往需要選取不同的閾值，對于包含大范圍區(qū)域遙感圖像往往難以兼顧，因此閾值分割方法存在著閾值選取困難的問題。此外，傳統(tǒng)方法只能應用到小范圍內，需要消耗大量的人力物力。

最近幾年，隨著大數據的興起以及計算機性能的提升，推動了深度學習的發(fā)展?；诰矸e神經網絡的深度學習模型在計算機視覺中主要有三方面應用，第一個方面是利用傳統(tǒng)卷積神經網絡（CNN）的圖像分類任務[4]， 其次是R-CNN的目標檢測任務[5]以及基于FCN的語義分割任務[6]。深度學習的語義分割方法近年來發(fā)展迅速，例如：Ronneberger O等人繼承FCN網絡的思想提出了一種對稱語義分割網絡U-Net，在生物醫(yī)學圖像的圖像分割上取得了良好的效果[7]。SegNet 應用了VGG16框架，去掉全連接層，搭建對稱模型，以此來實現端到端像素級別的語義分割[8]。Liang-Chieh Chen等提出的DeepLabv3+架構，主要以DeepLabv3做Encoder架構，Decoder采用一個簡單卻有效的模塊。并探索了改進的Xception和深度可分離卷積在模型中的應用，進一步提升了模型在語義分割任務上的性能。語義分割技術的日趨成熟也推動了海岸線提?。êｊ懛指睿┑目焖俑咝Оl(fā)展。

但是，遙感影像中往往存在著同譜異物現象，例如靠近海岸的水塘以及陸上養(yǎng)殖區(qū)等地物的光譜信息與海洋相似，并且淺灘的光譜信息與陸地比較接近。同時，由于遙感圖像的成像條件成像時間不同，不同的遙感圖像中相同地物往往有著不同的光譜信息，因此對模型的泛化性能提出了極高的要求。針對上述問題，我們提出了一種基于改進UNet的語義分割網絡模型用于海陸語義分割任務。該網絡引入殘差塊來代替UNet中的卷積層，目的是在內部并行優(yōu)化，用來捕捉詳細的邊界信息，這樣一來，我們的網絡拓展了深度，能夠提取到更高維度的特征而不會引起梯度爆炸等問題。除此之外，我們在解碼器的最后一層加入了殘差ASPP結構，將殘差思想和空間金字塔池化結合到一起，其中空間金字塔池化能夠有效地增大感受野，更好地捕捉上下文語義信息，以解決同譜異物現象引起的誤分類問題。在一組來自高分一號的遙感影像數據集上的實驗證明，我們提出的網絡能夠有效地處理同譜異物現象引起的誤分類問題。與經典的語義分割模型相比，我們提出的網絡獲得了更好的精度和F1測度分數。

1? 相關工作

在本部分我們將回顧傳統(tǒng)的FCN網絡與UNet網絡，同時對殘差思想，ASPP模塊進行詳細介紹。

1.1? FCN和UNet

傳統(tǒng)的卷積神經網絡（CNN）用于圖像分類任務，例如經典的手寫數字識別。CNN網絡的主要特點是輸出與預測類別具有相同維度的向量，以此來表示每個類別的概率。與經典的卷積神經網絡相比，FCN中用卷積層代替了最后的全連接層，可以讓卷積網絡在一張更大的圖片上滑動，得到每個區(qū)域的輸出，同時可以適應任意尺寸的輸入;結合不同深度層結果的skip結構，可以確保魯棒性和精確性;FCN使用上采樣（反卷積來實現）操作來恢復到原圖的分辨率，做到逐像素預測以達到端到端輸出的目的。正是因為FCN擁有上述特點，因此可以很好地用于圖像像素分割任務中。

在UNet中作者采用了優(yōu)雅的對稱結構，整個網絡分為編碼器部分（下采樣）和解碼器部分（上采樣），結構簡單但很有效，在生物醫(yī)學圖像的分割任務中取得了出色的效果。在編碼器部分中采用最大池化操作來縮小特征圖，提取更高層次的特征，用來獲取場景信息;在解碼器部分使用上采樣操作來恢復到原始圖像大小，上采樣的過程是結合了下采樣各層信息和上采樣的輸入信息來還原細節(jié)信息。

1.2? 殘差思想

由于CNN能夠提取低層中層或高層次的特征，因此網絡的層數越多，意味著能夠提取到不同層的特征越豐富[9]。并且，越深的網絡提取的特征越抽象，越具有語義信息。但是如果僅僅是簡單地增加網絡層數則會導致梯度彌散或者梯度爆炸以及退化問題。He K等人提出了殘差模塊用來解決這個問題[10]。作者把網絡設計為H（x）=F（x）+x，如圖1。我們可以轉換為學習一個殘差函數F（x）=H（x）–x。只要F（x）=0，就構成了一個恒等映射H（x）=x。這樣擬合殘差就會更加容易?；跉埐畹乃枷耄W絡可以達到更深的深度，提取到更深層次的信息，而不會引起梯度爆炸或者退化等問題。

1.3? 殘差ASPP模塊

ASPP模塊是在空間維度上實現金字塔型的空洞池化atrous spatial pyramid pooling（ASPP）[10]。這樣的機構設計對所給定的輸入以不同采樣率的空洞卷積并行采樣，相當于以多個比例捕捉圖像的上下文信息。而殘差ASPP模塊，殘差思想通過shortcut connection體現，通過shortcut將這個ASPP模塊的輸入和輸出進行一個element-wise的加疊，通過這個簡單的加法并不會給網絡額外的參數和計算量，同時卻可以大大增加模型的訓練速度、提高訓練效果，而且當模型的參數加深時，這個簡單的結構能夠很好地解決退化問題。如圖2所示。

2? 實驗提出方法介紹

在本節(jié)中，我們首先介紹針對海陸分割（海岸線提取）的一般過程。然后，我們詳細描述了改進了UNet網絡。

2.1? 海岸線提取的一般過程

基于深度學習方法的海陸分割主要分為三個階段：數據預處理階段，訓練階段，模型測試階段。在數據預處理階段，我們利用ArcMap進行真值圖的標記，將遙感圖像分成兩個類。海洋和陸地。然后對遙感圖像進行裁切，我們將實驗圖像裁成256×256的小塊，并將裁切后的圖像劃分為訓練集和驗證集，轉為numpy數組格式，為模型訓練做準備。在訓練階段，模型將訓練圖像的numpy格式讀進去訓練，流程圖如圖3所示。最后是測試階段，在這一階段，把訓練好的最佳模型用來測試圖像，得到海岸線的提取工作。

2.2? 模型結構及參數介紹

圖3展示了我們提出的基于改進UNet的海岸線提取模型結構流程圖。模型整體保留UNnet的對稱結構，但由于使用殘差塊來代替原始UNet結構的卷積操作，這里UNet的對稱結構又加深了一層，是因為更深的層數可以帶來更加豐富的語義信息，提取到的特征越豐富，而殘差思想可以確保模型結構加深而不會帶來梯度爆炸等問題。在解碼器的最后一層，加入殘差ASPP結構，同時利用殘差思想和不同采樣率帶來的多尺度上下文語義信息，確保分割效果更佳。最后使用sigmoid激活函數得到最后的預測結果，從而實現端到端的遙感圖像海陸分割任務。表1顯示了基于改進UNet的完整網絡結構和詳細配置。

3? 實驗與評估

3.1? 實驗數據

我們使用的實驗訓練、驗證數據集是連云港附近的6幅高分一號遙感圖像，測試集圖像從另外3幅高分一號遙感圖像中進行裁切的，拍攝日期在2016，2017，2018年份內，其分辨率為8 m，包含4個波段（紅波段，綠波段，藍波段，以及近紅外波段）。其中的某幅訓練圖像及其真值圖如圖4所示。我們將研究區(qū)域的數據進行海陸分割（海岸線提取）實驗，包括海洋和陸地兩個類別，其中0代表海洋，255代表陸地。然后將已標記的圖像進行裁剪，并分為訓練集、驗證集和測試集，其中，訓練集和驗證集圖像大小均為256×256，訓練集圖像和真值圖有1348幅，驗證集圖像及其真值圖有158幅，測試集圖像大小為1024× 1024。

3.2? 模型訓練

我們實驗使用 NVIDIA Tesla P100 16GB的GPU進行訓練。實驗模型使用Keras框架進行實現，采用Tensorflow作為后端。實驗使用Adaptive Moment Estimation作為優(yōu)化器，該優(yōu)化器可以在訓練過程中自適應地調整學習率，我們把初始學習率設置為0.0001，batch size設置為2，迭代周期為100次。模型構建完成后，我們將1348張訓練圖像和158張驗證圖像存儲在Numpy數組中以方便實驗。為了使模型能夠處理遙感想，我們將所有模型的輸入通道均調整為4個通道，模型訓練完成后，我們使用3幅測試圖像來驗證模型的有效性。

3.3? 實驗結果與分析

這里我們除了實驗自己模型的同時，還加入了UNet，DeepLabv3，以及SegNet等同我們的模型進行了對比實驗，使用三幅圖像進行測試，并且實驗采用三種評價指標來驗證模型的有效性。分別為準確率、召回率以及F1分數，其中準確率表示正確預測正樣本占實際預測為正樣本的比例如公式1所示，召回率表示正確預測正樣本占正樣本的比例，如公式2所示。F1分數被定義為精準率和召回率的調和平均數，用于綜合反映整體的指標如公式3所示。

其中，TP代表樣本為正，預測結果為正;FP代表樣本為負，預測結果為正;FN代表樣本為正，預測結果為負。下圖分別展示了在四個測試集上進行海陸分割的不同方法的結果圖，褐色表示提取的陸地，藍色表示海洋。測試圖像及其對比圖像分別如圖5、6、7所示。其中褐色代表陸地，藍色代表海洋。

通過觀察圖5、6、7我們可以看出，我們提出的改進的UNet模型比其它三種模型的分割效果更好，尤其是在紅色矩形框標注的地方，本位提出的方法對比其他三個模型都是最佳的分割效果。實驗結果表明，我們提出的網絡模型對于連云港海岸線的海陸分割任務有更好的效果。表2給出了我們提出的模型與其他三個模型的Precision，recall以及F1分數的最終結果。

表2使用了上面介紹的三種評價指標對不同深度學習模型進行了詳細的比較，從中我們可以看出，只有在第一幅測試圖像中召回率我們提出的網絡略低于UNet模型，除此之外，本文提出的模型方法的準確率、召回率和F1分數在測試圖像上的測試結果幾乎全部高于其他深度學習方法。

4? 結論

在本文中，我們基于UNet結構進行了改進，使用殘差結構來代替卷積層，并在最后一層加入了殘差ASPP結構，加深網絡層數的同時獲得了更多的細節(jié)特征，提升了連云港海岸線遙感圖像的分割精度，得到了較好的海岸線提取結果。最后，在未來的光學遙感圖像海陸分割的研究中，應考慮如何識別細長的堤壩更好地保留邊界信息，以及對于低分辨率圖像的海陸分割問題，從而取得更好地結果。在未來我們需要繼續(xù)改進我們的模型，并且考慮不同衛(wèi)星拍攝的影像，來更加適應相關部門的需要。

參考文獻

[1]Wei Junjie. Research and implementation of median filtering and segmentation algorithm for waterfront image[D]. Chang chun： Jilin University， 2011.

[2]Shao Yun， Zhang Fengli， Tian Wei， et al. Progresses on application of microwave remote sensing in ocean environment[J]. Journal of Remote Sensing， 2009， 13（S1）： 154-159.

[3]Yuan Xinzhe， Lin Mingsen， Liu Jianqiang， et al. Application of GF-3 satellite in ocean[J]. Satellite Application， 2018（6）： 17-21.

[4]LeCun， Y. and Bengio， Y.， 1995. Convolutional networks for images， speech， and time series. The handbook of brain theory and neural networks， 3361（10）， 1995.

[5]Wei Junjie. Research and implementation of median filtering and segmentation algorithm for waterfront image[D]. Changchun： Jilin University， 2011.

[6]McFeeters S K. The use of the normalized difference water index（NDWI）in the delineation of open water features[J]. International Journal of Remote Sensing， 1996， 17（7）： 1425- 1432.

[7]Ronneberger O， Fischer P， Brox T. U-Net： Convolutional Networks for Biomedical Image Segmentation[J]. 2015.

[8]Badrinarayanan V， Kendall A， Cipolla R. SegNet： A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation[J]. 2015.

[9]Simonyan K， Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv：1409.1556， 2014.

[10]He K， Zhang X， Ren S， et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016： 770-778.

[11]Chen L C， Papandreou G， Kokkinos I， et al. DeepLab： Semantic Image Segmentation with Deep Convolutional Nets， Atrous Convolution， and Fully Connected CRFs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2016， 40（4）： 834-848.