余 果，劉秋斌，陳方園，劉大召,2

基于改進殘差網(wǎng)絡的橡膠林衛(wèi)星影像語義分割方法

余 果1，劉秋斌1，陳方園1，劉大召1,2※

（1. 廣東海洋大學電子與信息工程學院，湛江 524003；2. 廣東省海洋遙感與信息技術(shù)工程技術(shù)研究中心，湛江 524003）

為進一步提升現(xiàn)有基于殘差的分割模型在測試集上的信息提取能力和驗證改進殘差優(yōu)化策略普適性及實現(xiàn)橡膠衛(wèi)星影像的更優(yōu)分割，該研究提出了一種通用改進殘差策略，以哨兵-2多光譜衛(wèi)星影像為數(shù)據(jù)源構(gòu)建數(shù)據(jù)集，并使用改進后殘差網(wǎng)絡ResNet50_ve作為OCRNet模型的骨干網(wǎng)絡，實現(xiàn)基于變種殘差網(wǎng)絡的OCRNet模型（ResNet-ve-OCRNet），使用在ImageNet1k分類數(shù)據(jù)集上蒸餾好的學生模型作為預訓練模型參與ResNet-ve-OCRNet模型的訓練。研究結(jié)果表明使用層數(shù)中等的基于50層殘差網(wǎng)絡在小尺度衛(wèi)星影像訓練集上各指標收斂效果優(yōu)于較深層數(shù)的101層殘差網(wǎng)絡，與DeeplabV3、DeeplabV3+、PSPNet模型相比，以ResNet50_ve為骨干網(wǎng)絡的OCRNet在驗證集上的平均交并比達到0.85，像素準確率達到97.87%，卡帕系數(shù)達到0.90。該研究提出的改進殘差策略具有一定的普適性可應用到眾多主流分割模型上且有評價指標性能增益，從預測圖來看，基于改進殘差網(wǎng)絡（ResNet-ve）的模型抑制了在測試集預測圖上的上下文信息缺失問題，能夠?qū)崿F(xiàn)橡膠林衛(wèi)星影像的更優(yōu)精確分割。

遙感；深度學習；橡膠林；語義分割；殘差網(wǎng)絡

0 引 言

語義分割作為經(jīng)典的計算機圖形學問題主要處理圖像在像素級別的分類問題，即對每個像素實現(xiàn)逐像素的精確分類[1-2]。傳統(tǒng)機器學習方法已被廣泛應用于語義分割領域，包含支持向量機（SVM）、隨機森林分類器、最近鄰法[3-5]。但在高分辨率遙感影像的精細分割上，傳統(tǒng)機器學習的分類方法無法處理多尺度信息提取問題[6]。

傳統(tǒng)基于全卷積網(wǎng)絡（Fully Convolutional Networks，F(xiàn)CN）的語義分割方法（如Unet等）面臨著上下文信息缺失的問題[7]。DeeplabV3模型是Chen等[8]提出使用串行或者并行不同膨脹率的空洞卷積(Atrous Convolution)來增大模型感受野以抑制上下文丟失問題。在DeeplabV3+模型中，Chen等[9]引入編碼器-解碼器結(jié)構(gòu)，使用DeeplabV3模型作為編碼器部分，其中Xception作為編碼器的骨干網(wǎng)絡，另外引入一個解碼器模塊，通過引入編碼器-解碼器結(jié)構(gòu)進一步實現(xiàn)模型性能提升。PSPNet模型是Zhao等[10]使用金字塔池化（Pyramid Pooling）模塊來抽取4路并行的多尺度上下文信息實現(xiàn)上下文信息增強。OCRNet模型是基于物體區(qū)域的上下文信息語義分割方法通過構(gòu)建上下文信息時顯式增強來自同一類物體的像素貢獻權(quán)重[11]。

為了進一步提升上述經(jīng)典模型提取上下文信息能力，徐長友等[12]提出了在Deeplabv3+中加入通道注意力機制模塊增強高分遙感影像水域的分割效果；王俊強等[13]將Deeplabv3+與CRF（全連接條件隨機場）相連接實現(xiàn)了對分割邊界信息的優(yōu)化；賴麗琦[14]將Deeplabv3+的骨干網(wǎng)絡替換成MobileNetV2并對Deeplabv3+模型結(jié)構(gòu)進行改進，提升對無人機影像的分割精度；王華俊等[15]將DeepLabv3+的骨干網(wǎng)絡替換為MobileNetV2并對不同膨脹率的空洞卷積進行優(yōu)化組合以提高模型提取精度。當前對經(jīng)典模型優(yōu)化可總結(jié)為以下三種思路，一是在各模型內(nèi)部添加模塊如添加注意力機制模塊；二是在模型末端輸出特征圖前添加條件隨機場提升分割效果；三則是將各模型編碼器部分的骨干網(wǎng)絡進行改進或者替換。

從相關(guān)文獻發(fā)現(xiàn)，在解決遙感影像分割中，添加條件隨機場所帶來的精度提升是有限的[16]，而添加注意力機制面臨著空間信息丟失問題[17]。前兩種優(yōu)化策略思路在優(yōu)化策略普適能力上不及第三種改進思路。骨干網(wǎng)絡作為語義分割任務基本特征提取器，用于提取輸入圖像特征圖，被應用到所有的語義分割模型中[17]。通過對骨干網(wǎng)絡改進并復用到諸多模型，可驗證這一優(yōu)化策略的普適能力。

為了進一步提升各模型的上下文信息提取能力和驗證改進殘差策略的普適性，本文基于哨兵-2和大疆無人機影像數(shù)據(jù)作為基礎數(shù)據(jù)源，使用殘差網(wǎng)絡并改進殘差作為各模型特征提取的骨干網(wǎng)絡，通過對比DeeplabV3、DeeplabV3+、PSPNet、OCRNet四種模型的指標增益，驗證基于改進殘差的優(yōu)化策略普適能力，以期為現(xiàn)階段語義分割模型優(yōu)化提供新改進思路。

1 材料和方法

1.1 研究區(qū)和衛(wèi)星影像選擇

本試驗研究區(qū)域是粵西的湛江徐聞地區(qū)，隸屬廣東省湛江市，位于中國大陸最南端，南臨瓊州海峽，與海南島隔海相望，東濱南海，西瀕北部灣，北與雷州市接壤。介于東經(jīng)109°52′至110°35′，北緯20°13′至20°43′之間，土地總面積1 979.6 km2。徐聞縣屬熱帶季風氣候，日照充足，太陽輻射能豐富。

該研究試驗使用的是歐空局（ESA）Sentinel-2衛(wèi)星數(shù)據(jù)，哨兵2由2顆相同的衛(wèi)星哨兵2號A（Sentinel-2A）與B（Sentinel-2B）組成的衛(wèi)星星座。哨兵2包含13個波段，范圍覆蓋了可見光、近紅外和短波紅外。哨兵2的影像幅寬為290 km，空間分辨率最高可達10 m。選用哨兵影像的原因是相較于其他付費的高分辨率衛(wèi)星影像如worldview-2，哨兵2免費易得且僅需兩幅哨兵2影像即可覆蓋徐聞縣全境，該研究訓練階段采用的數(shù)據(jù)是兩幅2019年5月18號的無云影像數(shù)據(jù)(兩幅影像成像時間信息編號為20190518T030551，兩幅影像的相對軌道編號R075），測試階段采用的是兩幅2020年5月7號的無云影像數(shù)據(jù)（兩幅影像成像時間信息編號為20200507T030539，兩幅影像的相對軌道編號R075），使用歐空局Sen2cor插件進行大氣校正，導出B11、B8、B5三個波段進行假彩色合成并在ENVI中進行裁剪和融合鑲嵌操作。B11、B8、B5相比較于傳統(tǒng)可見光波段組合具有更好的目視解譯效果，哨兵的B11（短波紅外）和B8（近紅外）廣泛用于農(nóng)業(yè)領域的深綠色植被提取，加入B5植被紅邊波段可強化對深綠色植被的敏感度。

1.2 標簽定義和數(shù)據(jù)集構(gòu)建

原始影像面積較大，無法整幅輸入網(wǎng)絡訓練。在徐聞影像上裁切出一個像素尺寸大小為2 256像素×628像素大小的矩形區(qū)域作為感興趣區(qū)（Region of Interest，ROI），該影像為3通道24bit色深的影像，設置5種類別（林地、居民點及工礦用地、水域、橡膠林、其他），湛江作為熱帶季風氣候沒有草地無需將草地納入分類范圍，而設置林地與橡膠林是因為二者在偽彩色影像上有明顯的光譜色澤差異明顯需要將二者進行分離。在ArcGIS軟件上繪制了各類別對應矢量標簽并對標簽進行柵格化處理，使用python腳本修改柵格化標簽類別灰度值并建立各類別(林地、居民點及工礦用地（后簡稱為居民地）、水域、橡膠林、其他)與對應灰度值之間（1、2、3、4、0）映射關(guān)系，將柵格化標簽和矩形研究區(qū)影像裁剪成256像素×256像素大小的PNG瓦片數(shù)據(jù)，按照6:2:2的比例劃分成訓練集、驗證集和測試集，并在2020年5月7號的哨兵2影像上裁剪出一副2 256像素×514像素大小的影像輸入網(wǎng)絡作為測試，使用Paddleseg建立起類別標簽瓦片數(shù)據(jù)和影像瓦片數(shù)據(jù)之間的映射關(guān)系。數(shù)據(jù)集構(gòu)建流程見圖1。

圖1 數(shù)據(jù)集構(gòu)建流程圖

1.3 用于輔助驗證的無人機影像

該研究試驗使用大疆Phantom 4 RTK拍攝大量橡膠林無人機影像，Phantom 4 RTK攝取的無人機影像為RGB可見光三波段數(shù)據(jù)，使用Pix4D mapper軟件對獲得的無人機影像進行空三和點云、紋理處理。處理后的橡膠林無人機正射影像和DSM影像（數(shù)字表面模型）主要用于輔助驗證和作為衛(wèi)星影像目視判讀依據(jù)，無人機影像和DSM影像見圖2。

圖2 用于輔助驗證的無人機影像和DSM影像

1.4 試驗平臺及模型超參數(shù)設置

本試驗硬件平臺使用16 G內(nèi)存，Intel Core i7-10750H CPU，Nvidia 2070 8 G顯卡，軟件平臺基于Windows10 19043版本 64位操作系統(tǒng)，使用conda安裝百度深度學習框架的PaddlePaddle 2.1版本，python環(huán)境為3.7.9結(jié)合PaddleSeg 2.3套件。4個模型的超參數(shù)設置如下，4個模型的訓練參數(shù)batch_size設置為2，使用帶動量的SGD優(yōu)化器、動量大小為0.9、L2正則化大小為0.000 1，學習率衰減策略為多項式衰減（Polynomial Decay），初始學習率為0.002 5，衰減率為0.9，最終學習率為0，損失函數(shù)為交叉熵損失函數(shù)（CrossEntropyLoss）。本試驗對于每種網(wǎng)絡進行20 000次迭代（iters），迭代訓練周期 iters 最大值為1 000，每200次iters之后在驗證集上進行評估，若連續(xù)2 000次iters的評價指標都不再升高，則采用提前終止模型訓練的策略（Early Stopping）結(jié)束模型訓練。

1.5 研究方法

ResNet為2015年提出的網(wǎng)絡模型[18]，有5型（ResNet18、ResNet34、ResNet50、ResNet101、ResNet152，它們基本結(jié)構(gòu)相同，區(qū)別在于網(wǎng)絡層數(shù)不同）被廣泛應用于計算機視覺領域，常用做各種網(wǎng)絡模型的骨干網(wǎng)絡（backbone）。本文預試驗部分比較使用ResNet50_vd和ResNet101_vd作為DeepLabV3、DeepLabV3+、PSPNet、OCRNet四種模型的骨干網(wǎng)絡，發(fā)現(xiàn)分割小尺度影像數(shù)據(jù)集宜使用50層的ResNet50_vd。之后比較基于本文提出的ResNet50_ve作為以上4種模型骨干網(wǎng)絡，在上述模型訓練階段，需使用遷移學習方法啟動模型訓練和加速模型訓練，經(jīng)過消融試驗比較得出適合分割橡膠林衛(wèi)星影像的模型且驗證了改進殘差策略的普適性和上下文信息提取能力。

1.5.1 標準殘差網(wǎng)絡與ResNet_vd

標準ResNet網(wǎng)絡如圖3所示，由輸入、輸出和中間卷積部分組成，中間卷積部分由4個stage組成。輸入部分是由一個步長為2的7×7卷積（Conv）模塊和一個步長為2的3×3最大池化（MaxPool）模塊組成；卷積層中每一個stage都由一個下采樣模塊（DownSampling）和若干個殘差塊（Residuals）組成，殘差塊結(jié)構(gòu)與下采樣模塊結(jié)構(gòu)相同（但殘差塊中所有模塊步長為1）。殘差塊數(shù)量決定了殘差網(wǎng)絡最終層數(shù)。下采樣模塊由路徑A（Path A）和路徑B（Path B）加權(quán)連接而成。在下采樣模塊路徑A中，由2個步長為1的1×1卷積包含一個步長為2的3×3卷積模塊，這種結(jié)構(gòu)形式被稱為甚深瓶頸結(jié)構(gòu)（Deeper Bottleneck Architecture，DBA），一個××（高度為，寬度為，通道數(shù)為）的特征圖經(jīng)過甚深瓶頸結(jié)構(gòu)之后，特征圖高度和寬度縮小至原來的1/2，通道數(shù)增至原來的四倍為4C。

He等[19]提出ResNet的一系列衍生網(wǎng)絡，其中ResNet_vd的改進策略是在標準殘差（見圖3）下采樣模塊路徑B的前端添加一個步長為2的2×2均值池化（AvgPool）模塊（見圖4a），本文殘差網(wǎng)絡模型選取ResNet_vd。

對于本文試驗需先從5型ResNet_vd中確定適合分割橡膠林的ResNet_vd層數(shù)，選取中小尺度影像數(shù)據(jù)集應用最廣泛的101層和50層ResNet_vd進行預試驗，比較二者間指標差距。

1.5.2 改進型ResNet_vd（ResNet_ve）殘差網(wǎng)絡

本文骨干網(wǎng)絡分別挑選101層的殘差網(wǎng)絡（ResNet101_vd）和50層的殘差網(wǎng)絡（ResNet50_vd）比較二者在橡膠林影像分割上的評價指標差距，發(fā)現(xiàn)基于ResNet50_vd的模型性能優(yōu)于基于ResNet101_vd的模型，確定ResNet50_vd作為后續(xù)試驗的基線網(wǎng)絡（baseline）。

其次，為了進一步提升基線網(wǎng)絡性能，受到甚深瓶頸結(jié)構(gòu)和Tong He的改進思路啟發(fā)，本文使用2個步長為1的1×1卷積包含一個步長為2的2×2最大池化（MaxPool）模塊重構(gòu)下采樣模塊路徑B（見圖4b），因同一stage中的殘差塊和下采樣結(jié)構(gòu)相同，使用相同的改進策略應用到同一stage的殘差塊路徑B中，將4個改進后的stage重新連接，修改激活函數(shù)為PReLU，構(gòu)成改進后的ResNet-ve網(wǎng)絡。最后在基于ResNet_ve骨干網(wǎng)絡的4種模型的訓練階段，通過遷移學習將ResNet50_vd在ImageNet1k分類數(shù)據(jù)集上蒸餾得到的學生模型作為預訓練模型，注入權(quán)重參數(shù)給ResNet_ve骨干網(wǎng)絡以啟動4種模型。

圖3 ResNet的結(jié)構(gòu)圖

圖4 ResNet_vd和ResNet_ve的對比圖

1.5.3 SSLD蒸餾策略和遷移學習方法啟動模型訓練

在超大數(shù)據(jù)集上訓練產(chǎn)生的模型具有很強的泛化能力，但這些超大模型的網(wǎng)絡權(quán)重參數(shù)無法直接用于啟動本文模型的訓練，需要將這些這些超大數(shù)據(jù)集上訓練出的大模型進行壓縮以啟動本文模型的訓練和加速本文模型的訓練速度，壓縮后的模型通過遷移學習（Transfer learning）可加快本文模型的訓練速度，其中知識蒸餾[20]是指使用教師模型（teacher model）去指導學生模型（student model）學習特定任務，保證小模型在參數(shù)量不變的情況下得到較大的性能提升獲得與大模型相似的精度指標。本文使用一種簡單的半監(jiān)督標簽知識蒸餾方案（SSLD，Simple Semi-supervised Label Distillation），SSLD基于已有蒸餾方案[21-25]在ImageNet22k分類數(shù)據(jù)集上使用ResNeXt101為教師模型進行蒸餾訓練得到學生網(wǎng)絡ResNet_vd，將蒸餾后的學生網(wǎng)絡在ImageNet1k數(shù)據(jù)集上微調(diào)，將微調(diào)后的學生模型作為基于ResNet_ve的四種模型的預訓練模型，在4種模型訓練時注入網(wǎng)絡權(quán)重參數(shù)，加速4種模型訓練，遷移學習的流程圖如圖5所示。

圖5 SSLD蒸餾以及遷移學習流程圖

1.6 評價指標

像素準確率（Pixel Accuracy，PA）：計算正確分類的像素數(shù)量與所有像素數(shù)量的比例，取值范圍在0～1之間。

平均交并比（mean Intersection-over-Union, mIoU）：計算像素真實值和像素預測值兩個集合的交集與二者并集的比例，取值范圍在0～1之間。

卡帕系數(shù)（Kappa coefficient）用于衡量模型像素真實值和像素預測值兩個集合是否具有一致性的指標，取值范圍在0～1之間。

以上有兩指標涉及到真實值與預測值之間的關(guān)系，可使用二階混淆矩陣（Confusion matrix）表征真實值與預測值二者間關(guān)系，對于多分類（類）問題可使用×二階混淆矩陣，下列計算公式中p代表×維二階混淆矩陣第類被識別成第類的像素個數(shù)，、為對應混淆矩陣中第類和第類，P為求解Kappa的中間量。

2 結(jié)果與分析

本文通過消融試驗迭代20 000次分別比較了基于ResNet50_vd和ResNet101_vd作為骨干網(wǎng)絡的4種網(wǎng)絡模型，在ImageNet1k數(shù)據(jù)集上使用了簡易的半監(jiān)督知識蒸餾策略進行預訓練之后，將蒸餾后學生模型的網(wǎng)絡權(quán)重參數(shù)遷移學習到4種模型，基于兩種ResNet_vd的4種網(wǎng)絡訓練階段的mIoU和Pixel Accuracy變化曲線見圖6，在驗證集上各評價指標結(jié)果及訓練集預測所消耗時間和各網(wǎng)絡訓練參數(shù)見表1。

2.1 殘差網(wǎng)絡層數(shù)的確定

本文試驗首先使用廣泛應用的50層殘差（ResNet50_vd）和101層殘差（ResNet101_vd），針對本文試驗采用小尺度的徐聞衛(wèi)星影像數(shù)據(jù)集，需比較得出適用于本次分割任務的殘差網(wǎng)絡層數(shù)。綜合表1和圖6數(shù)據(jù)經(jīng)過對比發(fā)現(xiàn)，在訓練階段相較于101層的模型，使用50層殘差的4種模型的PA和mIoU曲線更加平滑，且使用了ResNet101_vd的4種模型在三大評價指標上都不及基于ResNet50_vd的4種模型，故使用50層的殘差網(wǎng)絡作為后續(xù)試驗的基線網(wǎng)絡。

在以ResNet50_vd為骨干網(wǎng)絡的4種模型的變化曲線中，DeepLabV3與DeepLabV3p的mIoU和kappa性能相當，像素準確率上DeepLabV3p相比較DeepLabV3增加0.55個百分點，但二者不及PSPNet和OCRNet。相較于PSPNet，OCRNet在mIOU上領先0.04，在Kappa上領先0.02，像素準確率上領先0.51個百分點，在驗證集上推理速度快了22 s。綜合各項指標，基于ResNet50_vd的OCRNet在4種模型中的綜合表現(xiàn)最優(yōu)。

2.2 基于ResNet50_vd與ResNet50_ve的4種模型比較

后續(xù)試驗選取50層的殘差網(wǎng)絡作為基線網(wǎng)絡，通過遷移學習ResNet50_vd在ImageNet1k分類數(shù)據(jù)集蒸餾后的模型參數(shù)，比較本研究提出的基于ResNet50_ve（見表1）的4種模型在驗證集上的各項指標數(shù)據(jù)，表中數(shù)據(jù)表明使用ResNet50_ve為骨干網(wǎng)絡4種模型中OCRNet模型在三項指標上都達到了最大值，在驗證集推理速度和參數(shù)量上僅次于基于ResNet50_vd的OCRNet。

相較于ResNet50_vd,使用了ResNet50_ve的4種模型都有不同程度的性能提升。在mIoU上，DeepLabV3提升0.03，DeepLabV3p提升0.05，PSPNet提升0.03，OCRNet提升0.01。在Kappa上，DeepLabV3提升0.02，DeepLabV3p提升0.03，PSPNet提升0.01，OCRNet提升0.01。在Pixel Accuracy上，DeepLabV3提升0.34個百分點，DeepLabV3p提升0.55個百分點，PSPNet提升0.29個百分點，OCRNet提升0.04個百分點。

圖6 基于ResNet_vd的四種模型在訓練階段的平均交并比（mean Intersection-over-Union, mIoU）和Accuracy曲線圖

表1 ResNet_vd和與ResNet_ve的四種模型的比較

2.3 基于ResNet50_vd與ResNet50_ve的分割圖比較

為驗證改進殘差模型的泛化能力和對圖像的分割效果，分別使用基于ResNet50_ve的OCRNet和DeepLabV3p模型以及基于ResNet50_vd的OCRNet和DeepLabV3p模型預測一張2256×514大小的影像，由于研究區(qū)較大橡膠林分散，在預測圖上裁剪部分以展示模型的分割結(jié)果。從表1數(shù)據(jù)可得，以ResNet50_ve為骨干網(wǎng)絡的OCRNet在驗證集上的平均交并比達到0.85，像素準確率達到97.87%，卡帕系數(shù)達到0.90。

圖7中基于ResNet50_vd的DeepLabV3p和OCRNet模型分割林地和水域有較明顯的邊緣上下文信息丟失問題，而基于ResNet50_vd的DeepLabV3p更是沒有分割出橡膠林的內(nèi)部邊界且在多地類中都有信息丟失，分割效果較差。在使用ResNet50_ve為骨干網(wǎng)之后，在林地、水域地類上有明顯的上下文信息增強。在預測橡膠林、水域、林地這些拓撲封閉且光譜色澤勻度一致的地類，上述模型具有一定的分割效果，但在分割居民地這類沒有嚴格封閉的拓撲學邊界地類時，以上分割模型均有待提升。綜合對比基于ResNet50_vd的DeepLabV3p的兩種模型的預測圖，使用基于本文提出的ResNet50_ve的模型在上下文信息提取能力上有一定程度提升。

圖7 基于ResNet50_vd和ResNet50_ve的DeepLabV3p和OCRNet模型的分割圖比較

3 結(jié) 論

為了進一步提升經(jīng)典分割模型提取上下文信息能力，本文提出了一種基于改進殘差的優(yōu)化思路，在比較確定適用本文研究的殘差網(wǎng)絡層數(shù)后，對比使用ResNet50_vd和ResNet50_ve的4種模型在驗證集上的指標數(shù)據(jù)，通過上述試驗得到以下結(jié)論：

1）通過比較基于ResNet50_vd和ResNet101_vd的4種模型指標差異，在小尺度衛(wèi)星影像數(shù)據(jù)集上宜使用層數(shù)中等的50層骨干網(wǎng)絡。使用ResNet50_vd為骨干網(wǎng)絡的OCRNet模型中在驗證集上的平均交并比、卡帕系數(shù)、像素準確率、推理速度和參數(shù)量上優(yōu)于基于ResNet101_vd和ResNet50_vd的其他模型。

2）通過比較基于ResNet50_vd和ResNet50_ve的4種模型指標差異，本文提出的改進殘差策略具有一定普適性可適用于多種主流網(wǎng)絡，使用ResNet50_ve為骨干網(wǎng)絡的模型在指標性能上都有不同程度提升，其中使用ResNet50_ve為骨干網(wǎng)絡的OCRNet平均交并比達到0.85，像素準確率達到97.87%，卡帕系數(shù)達到0.90，為本文試驗最優(yōu)。

3）通過比較基于ResNet50_vd和ResNet50_ve的DeepLabV3p模型和OCRNet預測圖，使用改進殘差的語義分割方法可以抑制模型在預測圖邊緣易出現(xiàn)的上下文信息丟失問題。

[1] 李夢怡，朱定局. 基于全卷積網(wǎng)絡的圖像語義分割方法綜述[J]. 計算機系統(tǒng)應用，2021，30(9)：41-52.

Li Mengyi, Zhu Dingju. Overview of image semantic segmentation methods based on fully convolutional networks[J]. Computer System Applications, 2021, 30(9): 41-52. (in Chinese with English abstract)

[2] 程擎，范滿，李彥冬，等. 無人機航拍圖像語義分割研究綜述[J]. 計算機工程與應用，2021，57(19)：57-69.

Cheng Qing, Fan Man, Li Yandong, et al. A review of semantic segmentation of UAV aerial images[J]. Computer Engineering and Applications, 2021, 57(19): 57-69. (in Chinese with English abstract)

[3] 王春雷，盧彩云，李洪文，等. 基于支持向量機的玉米根茬行圖像分割[J]. 農(nóng)業(yè)工程學報，2021，37(16)：117-126.

Wang Chunlei, Lu Caiyun, Li Hongwen, et al. Image segmentation of corn stubble row based on support vector machine[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 117-126. (in Chinese with English abstract)

[4] 陳利燕，林鴻，吳健華. 融合隨機森林和超像素分割的建筑物自動提取[J]. 測繪通報，2021(2)：49-53.

Chen Liyan, Lin Hong, Wu Jianhua. Automatic extraction of buildings by combining random forest and superpixel segmentation[J]. Bulletin of Surveying and Mapping, 2021(2): 49-53. (in Chinese with English abstract)

[5] 杜偉杰，于晉偉，楊衛(wèi)華. 基于超像素和最近鄰圖合并的彩色圖像分割[J]. 中北大學學報（自然科學版），2021，42(3)：265-274.

Du Weijie, Yu Jinwei, Yang Weihua. Color image segmentation based on superpixel and nearest neighbor graph merging[J]. Journal of North University of China (Natural Science Edition), 2021, 42(3): 265-274. (in Chinese with English abstract)

[6] 徐淑萍. 基于支持向量機的圖像分割研究綜述[D].鞍山：遼寧科技大學,2008.

Xv Shuping. Survey of Study on Image Segmentation Based on SVM[D]. Anshan:University of Science and Technology Liaoning, 2008. (in Chinese with English abstract)

[7] 段嘉鑫. 基于上下文信息的圖像分割結(jié)果質(zhì)量評價方法研究[D]. 成都：電子科技大學，2021.

Duan Jiaxin. Research on The Quality Evaluation Method of Image Segmentation Results Based on Context Information[D]. Chengdu:University of Electronic Science and Technology of China, 2021. (in Chinese with English abstract)

[8] Chen L C, Papandreou G, Schroff F, et al. Rethinking atrous convolution for semantic image segmentation[EB/OL]. arXiv preprint arXiv:1706.05587, 2017. https://arxiv.org/abs/1706.05587 (2017-06-17)[2022-05-23]

[9] Chen L C, Zhu Y, Papandreou G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 801-818.

[10] Zhao H, Shi J, Qi X, et al. Pyramid scene parsing network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 2881-2890.

[11] Yuan Y, Chen X, Wang J. Object-contextual representations for semantic segmentation[C]//Computer Vision–ECCV 2020: 16th European Conference, Glasgow. 2020: 173-190.

[12] 徐長友，樊紹勝，朱航. 采用通道域注意力機制Deeplabv3+算法的遙感影像語義分割[J]. 控制工程，2022，3(8)：1-8.

Xu Changyou, Fan Shaosheng, Zhu Hang. Remote sensing image semantic segmentation using channel domain attention mechanism Deeplabv3+ algorithm[J]. Control Engineering of China,2022,3(8):1-8. (in Chinese with English abstract)

[13] 王俊強，李建勝，周華春，等. 基于Deeplabv3+與CRF的遙感影像典型要素提取方法[J]. 計算機工程，2019，45(10)：260-265，271.

Wang Junqiang, Li Jiansheng, Zhou Huachun, et al. Extraction method of typical elements of remote sensing image based on Deeplabv3+ and CRF[J]. Computer Engineering, 2019, 45(10): 260-265, 271. (in Chinese with English abstract)

[14] 賴麗琦. 基于DeeplabV3+的無人機遙感影像識別[J]. 林業(yè)調(diào)查規(guī)劃，2021，46(3)：11-16，62.

Lai Liqi. Recognition of UAV remote sensing image based on DeeplabV3+[J]. Forestry Survey and Planning, 2021, 46(3): 11-16, 62. (in Chinese with English abstract)

[15] 王華俊，葛小三. 一種輕量級的DeepLabv3+遙感影像建筑物提取方法[J/OL]. (2022-03-08) [2022-05-23]自然資源遙感：1-8.

Wang Huajun, Ge Xiaosan. A lightweight DeepLabv3+ remote sensing image building extraction method[J/OL]. Remote Sensing of Natural Resources: 1-8. https://www.cgsjournals.com/article/doi/10.6046/zrzyyg.2021219 (in Chinese with English abstract)

[16] 宋青松，張超，陳禹，等. 組合全卷積神經(jīng)網(wǎng)絡和條件隨機場的道路分割[J]. 清華大學學報（自然科學版），2018，58(8)：725-731.

Song Qingsong, Zhang Chao, Chen Yu, et al. Road segmentation by combining fully convolutional neural networks and conditional random fields[J]. Journal of Tsinghua University (Natural Science Edition), 2018, 58(8): 725-731. (in Chinese with English abstract)

[17] 任歡，王旭光. 注意力機制綜述[J]. 計算機應用，2021，41(S1)：1-6.

Ren Huan, Wang Xuguang. A review of attention mechanism[J]. Computer Applications, 2021, 41(S1): 1-6. (in Chinese with English abstract)

[18] 郭玥秀，楊偉，劉琦，等. 殘差網(wǎng)絡研究綜述[J]. 計算機應用研究，2020，37(5)：1292-1297.

Guo Yuexiu, Yang Wei, Liu Qi, et al. Review of residual network research[J]. Computer Application Research, 2020, 37(5): 1292-1297. (in Chinese with English abstract)

[19] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

[20] He T, Zhang Z, Zhang H, et al. Bag of tricks for image classification with convolutional neural networks[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 558-567

[21] Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[EB/OL]. (2015-03-09) [2022-05-23] arXiv preprint arXiv:1503.02531, 2015, 2(7). https://arxiv.org/abs/ 1503.02531

[22] Bagherinezhad H, Horton M, Rastegari M, et al. Label refinery: Improving imagenet classification through label progression[EB/OL]. (20118-03-07) [2022-05-23] arXiv preprint arXiv:1805.02641, 2018. https://arxiv.org/abs/1805.02641

[23] Yalniz I Z, Jégou H, Chen K, et al. Billion-scale semi-supervised learning for image classification[EB/OL]. (2019-03-02) [2022-05-23] arXiv preprint arXiv:1905.00546, 2019. https://arxiv.org/abs/1905.00546

[24] 邵仁榮，劉宇昂，張偉，等. 深度學習中知識蒸餾研究綜述[J]. 計算機學報，2022，45(8)：1638-1673.

Shao Renrong, Liu Yuang, Zhang Wei, et al. A survey of knowledge distillation in deep learning[J]. Chinese Journal of Computers, 2022, 45(8): 1638-1673. (in Chinese with English abstract)

[25] 孟憲法，劉方，李廣，等. 卷積神經(jīng)網(wǎng)絡壓縮中的知識蒸餾技術(shù)綜述[J]. 計算機科學與探索，2021，15(10)：1812-1829.

Meng Xianfa, Liu Fang, Li Guang, et al. Review of knowledge distillation in convolutional neural network compression[J]. Journal of Frontiers of Computer Science and Technology, 2021, 15(10): 1812-1829. (in Chinese with English abstract)

Semantic segmentation method for rubber satellite images based on improved residual networks

Yu Guo1, Liu Qiubin1, Chen Fangyuan1, Liu Dazhao1,2※

(1.,524003,;2.,524003,)

Rubber has been one of the most important cash crops in recent years. It is of great practical significance to segment the satellite images of rubber plantations using deep learning for agricultural refinement. In this study, a novel strategy was proposed to improve the residual network and its variant (ResNet-ve) for the segmentation. The study area was taken as the Rubber Plantation in Xuwen County, Zhanjiang City, Guangdong Province of China. The dataset was constructed using the Sentinel-2 multispectral satellite images as the data source. The OCRNet was used to incorporate an improved residual network. Inspired by Deeper Bottleneck Architectures proposed by Kaiming He, the modification strategy was established to modify path B in the Down Sampling module of each stage in the ResNet_vd middle layer. Specifically, the mean pooling module with 2×2 steps of 1 was replaced with a most-valued pooling module with 2×2 steps of 1, and then to add a 1×1 convolution before (called Deeper Bottleneck Pooling Architectures-like). The same modification strategy was applied to the other residual modules of the same stage, after which these modules were sequentially cascaded to form the improved stage. After that, the activation function was modified into the PReLU function to compare the network performance of the backbone network using the improved ResNet_ve. The improved residual network ResNet50_ve and basic ResNet50_vd network were used as the backbone networks of the four models. Among them, the student model was obtained to distillate the ResNet50_vd on ImageNet1k classification dataset using migration learning. A pre-trained model was then injected into the network training weight parameter for the modified ResNet_ve backbone network and ResNet_vd baseline backbone network to start the four networks. The results show that the ResNet50_vd network with the medium number of layers converged better than the ResNe101_vd network with the deeper layers on the training set of small-scale satellite images, and the OCRNet network on ResNet50_vd outperformed the DeeplabV3, DeeplabV3+, and PSPNet networks in all aspects. The OCRNet network with ResNet50_vd was used as a baseline for the subsequent experiments. The OCRNet with ResNet50_ve as the backbone network was achieved in the mIoU of 0.85, pixel accuracy of 97.87%, and a Kappa coefficient of 0.90 on the validation set. Therefore, an OCRNet with ResNet50_ve as the backbone network presented the best fineness of the internal boundary of the prediction graph among the four networks. There were also the least amount of time resources and the least number of parameters among the four networks. The OCRNet with the ResNet_ve as the backbone network was increased by 0.01 in the mIoU, and 0.01 in the Kappa coefficient, compared with the OCRNet with the ResNet_vd as the backbone network. By contrast, the accuracy metrics of the other three networks cannot be improved much using the ResNet_ve as the backbone network. The other three networks only improved the index data, in terms of the Kappa coefficient and mIoU index. Among them, the most obvious improvement was achieved in the DeepLabV3p. The OCRNet model with the improved residual network used the contextual and the deepest pixel features for the weighted splicing without the contextual information loss, while explicitly enhancing the pixel contributions from the same class of objects. As such, the background noise cannot be introduced, when extracting the multi-scale information. Thus, better performance was achieved in the accurate extraction of rubber distribution.

remote sensing; deep learning; rubber forest; semantic segmentation; residual network

10.11975/j.issn.1002-6819.2022.15.022

TP751

A

1002-6819(2022)-15-0204-08

余果，劉秋斌，陳方園，等. 基于改進殘差網(wǎng)絡的橡膠林衛(wèi)星影像語義分割方法[J]. 農(nóng)業(yè)工程學報，2022，38(15)：204-211.doi：10.11975/j.issn.1002-6819.2022.15.022 http://www.tcsae.org

Yu Guo, Liu Qiubin, Chen Fangyuan, et al. Semantic segmentation method for rubber satellite images based on improved residual networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 204-211. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.022 http://www.tcsae.org

2022-05-23

2022-07-29

廣東省自然科學基金（2019A1515110840）

余果，研究方向為語義分割在農(nóng)業(yè)遙感領域的應用。Email：yg9655@icloud.com

劉大召，教授，研究方向為農(nóng)業(yè)遙感及應用。Email：llddz@163.com