要： 針對語義分割網(wǎng)絡在移動智能化終端上存在參數(shù)量大、分割精度不足的問題，提出一種改進的DDeepLabV3+網(wǎng)絡算法。首先，采用深度可分離的MobileNet結構作為網(wǎng)絡的骨干部分，降低網(wǎng)絡的參數(shù)量和復雜度，從而有效減少了運行時間。其次，引入網(wǎng)絡的低級特征，實現(xiàn)多尺度信息融合，減少網(wǎng)絡下采樣引起的空間信息損失。最后，結合注意力機制設計網(wǎng)絡ASPP結構，增強特征提取在實驗中的利用。優(yōu)化后的網(wǎng)絡結構在保持較高分類準確性的前提下，計算時間顯著減少。網(wǎng)絡的平均交并比在Cityscapes和Camvid數(shù)據(jù)集中分別提升了2.37%和2.13%。

關鍵詞： 語義分割；SE注意力機制模塊；DeepLabV3+網(wǎng)絡

中圖分類號： TP391.41

文獻標志碼： A"""""文章編號： 2097-3853（2024）01-0095-08

Improved DDeepLabV3+ semantic segmentation network

CAI Sijing， WANG Yanyu

（School of Electronics， Electrical and Physics， Fujian University of Technology， Fuzhou 350118， China）

Abstract： Aiming at the problems of too large a number of parameters and insufficient segmentation accuracy of semantic segmentation network on mobile intelligent terminals， an improved DDeepLabV3+ network algorithm was proposed. First， the depth-separable MobileNet structure is used as the backbone of the network to reduce the number of parameters and complexity of the network， thereby effectively reducing the running time. Secondly， low-level features of the network are introduced to achieve multi-scale information fusion and reduce the spatial information loss caused by network downsampling. Finally， the network ASPP structure is designed based on the attention mechanism to enhance the utilization of feature extraction in experiments. The optimized network structure significantly reduces the calculation time while maintaining high classification accuracy. In the Cityscapes data set used in the study， the average intersection and union ratio of the network increased by 2.37%， while in the Camvid dataset， the ratio increased by 2.13%.

Keywords： semantic segmentation; SE attention module; DeeplabV3+ network

語義分割是計算機視覺的重要組成部分之一，其應用廣泛，涵蓋自動駕駛、無人機圖像分割、智慧安防、醫(yī)學影像等領域［1］。隨著分割任務對精度和時效性要求的提升，新的骨干網(wǎng)絡應運而生。針對分割模型的速度與準確率等關鍵性能指標的提升對語義分割的骨干網(wǎng)絡開展研究，具有重要的現(xiàn)實意義。

語義分割主要基于FCN（fully convolutional network）網(wǎng)絡的改進，F(xiàn)CN在卷積得到特征圖后進行反卷積的上采樣，得到與原圖大小一致的分割圖［2］。DeepLab系列網(wǎng)絡是對FCN網(wǎng)絡的優(yōu)化，最早的DeepLabV1［3］網(wǎng)絡采用VGG做為主干網(wǎng)絡，并且利用空洞卷積的方法擴大感受野。DeepLabV2［4］在此基礎上引入了ASPP（atrous spatial pyramid pooling）進行多尺度的特征融合，進一步提高了分割精度。DeepLabV3［5］采用并聯(lián)或者級聯(lián)的ASPP模塊，調(diào)整了ASPP模塊中的參數(shù)并舍棄了條件隨機場。DeepLabV3+［6］在之前的基礎上，把從深度卷積網(wǎng)絡中獲取到的低級特征與經(jīng)過ASPP后的高級特征在解碼部分進行融合，進一步提高分割精度。

然而，DeepLab系列網(wǎng)絡主要著眼于像素分割的精度的提高，沒有解決分割速度問題，難以應用于嵌入式設備。針對自動駕駛與人機交互等任務對分割精度、模型參數(shù)量和實時性等的高要求，本研究在DeepLabV3網(wǎng)絡的基礎上，以MobileNet［7］結構作為網(wǎng)絡的骨干，增加了一條低級特征，并根據(jù)DenseASPP［8］和深度可分離卷積的思想，提出了一種改進的輕量級語義分割網(wǎng)絡，DDeepLabV3+網(wǎng)絡，在降低模型參數(shù)量的同時提高其精度，以適用于不同場景。

1"DeepLabV3+網(wǎng)絡結構設計

1.1"DeepLabV3+網(wǎng)絡

DeepLabV3+網(wǎng)絡由編解碼組成，結構如圖1所示。在編碼部分，原始圖像經(jīng)過深度卷積神經(jīng)網(wǎng)絡進行信息提??；根據(jù)不同的骨干網(wǎng)絡和任務要求，圖像經(jīng)過骨干網(wǎng)絡后下采樣8倍或者16倍；隨后，將提取到的信息分別經(jīng)過1×1卷積，空洞率為6、12、18的空洞卷積和池化層；將得到的結果在通道維度拼接，再通過1×1卷積降低通道數(shù)完成編碼結構。

解碼結構是由骨干網(wǎng)絡中的低級特征經(jīng)過1×1卷積降維后與編碼層上采樣的結果進行通道上的堆疊，再經(jīng)過3×3卷積和上采樣操作，返回原圖大小，得到最終分割結果。

1.2"深度可分離卷積

深度可分離卷積將標準的卷積過程拆分為DW卷積（depthwise convolution）和PW卷積（point-wise convolution），如圖2、圖3。深度可分離卷積與傳統(tǒng)卷積相比參數(shù)量少，運算成本低。傳統(tǒng)卷積的卷積核通道數(shù)為輸入特征圖的通道數(shù)，卷積核的個數(shù)依靠參數(shù)設定，而DW卷積的的卷積核通道數(shù)始終為1，卷積核的個數(shù)也始終與輸入特征圖的通道數(shù)相同。DW卷積后再進行PW卷積。PW卷積是大小為1×1的普通卷積，可以通過設置卷積核的個數(shù)來控制輸出的通道數(shù)，以融合輸入的通道信息。

假定輸入特征圖的大小為DI，通道數(shù)為M，卷積核的大小為Dk，個數(shù)為N，在普通卷積的運算過程中，卷積的計算量為DI×DI×M×Dk×Dk×N。而深度可分離卷積的計算量為DI×DI×M×Dk×Dk+M×DI×DI×N。深度可分離卷積與普通卷積計算量的比為（1/N+1/Dk2）∶1，由于卷積核的大小一般為3，所以深度可分離卷積與普通卷積的計算量比為（1/N+1/9）∶1，理論上普通卷積的計算量是深度可分離卷積的8到9倍。

1.3"MobileNetV2主干網(wǎng)絡

MobileNet是一種輕量級網(wǎng)絡模型，主要采用深度可分離卷積構成。MobileNetV2通過反向殘差結構來提高網(wǎng)絡的性能。相對于傳統(tǒng) FCN模型，選擇MobileNetV2作為分割模型能夠減少大概88%的計算資源消耗，同時保持近似分割準確率，更符合低功耗和實時性方面的特點，正好符合研究的目標和需求。因此，DDeepLabV3+選擇采MobileNetV2作為分割模型。為解決圖片分辨率過大的問題，將骨干網(wǎng)絡的部分卷積替換為空洞卷積以擴大感受野、減少資源的耗費，對網(wǎng)絡的運行速度也有著一定的優(yōu)化作用。

MobileNetV2網(wǎng)絡共有7個線性瓶頸結構，每個線性瓶頸結構由若干個倒殘差結構組成，共有17個倒殘差結構。每個倒殘差結構又由深度可分離卷積和1×1卷積組成。其中，深度可分離卷積、在stride=1且輸入特征圖與輸出特征圖大小相同的情況下有跳躍鏈接。

1.4nbsp;SE注意力機制模塊

SE注意力機制［9］模塊對通道維度進行注意力加權操作，讓網(wǎng)絡自動學習到重要通道的特征，忽略影響較小的特征，使網(wǎng)絡在保持模型準確性的同時提高了運行效率。

壓縮和激勵網(wǎng)絡（squeeze-and-excitation networks，SEnet）大致分為壓縮、激勵、比例相乘3個操作，如圖4所示，其中C、H、W分別表示輸入特征圖的通道數(shù)、高和寬度。壓縮操作把輸入特征圖經(jīng)過一個全局平均池化下采樣，實現(xiàn)對每個通道的信息的壓縮；激勵操作把壓縮后的特征圖經(jīng)過兩個全連接層，使得模型學會為每個通道動態(tài)地分配不同的權重；比例相乘操作把得到的權重與輸入特征圖相乘，得到輸出結果。

2"改進網(wǎng)絡DDeepLabV3+

改進的網(wǎng)絡DDeepLabV3+是由主干網(wǎng)絡、DDASPP和上采樣模塊組成。首先，用改進的MobileNetV2替換了DeepLabV3+的Xception骨干網(wǎng)絡，可以極大地減少網(wǎng)絡的參數(shù)數(shù)量。其次，參考了特征融合策略，使DeepLabV3+網(wǎng)絡進一步融合淺層特征讓網(wǎng)絡保留更多的淺層信息，即在編碼器中多提取一條語義分支，在解碼端融合多尺度信息。接著，將主干網(wǎng)絡的特征經(jīng)過改進的ASPP結構，增加了感受野并提高了主干網(wǎng)絡特征的利用率。最后，在多處加上SE注意力機制，使得模型可以將更多的注意力集中在具有較高表征能力的通道上。改進后的網(wǎng)絡示意圖如圖5所示。

圖5"DDeepLabV3+的網(wǎng)絡結構

Fig.5"Network structure of DDeepLabV3+

2.1"MobileNetV2主干網(wǎng)絡優(yōu)化

因MobileNetV2從第9層開始網(wǎng)絡的通道數(shù)急劇上升到1 280，計算量會大量增加。為了減少計算和內(nèi)存的浪費，DDeepLabV3+僅采用MobileNetV2的前8層網(wǎng)絡。原始MobileNetV2網(wǎng)絡在默認的情況下是用于圖像分類任務，下采樣了32倍，導致圖像的會丟失一些細節(jié)。DDeepLabV3+在考慮細節(jié)丟失和顯存資源的情況下將第14個線性瓶頸結構的stride改為1，相當于最后只下采樣了16倍，使其更好的適用于語義分割任務。下采樣的減少同時會導致圖像的感受野變小，DDeepLabV3+將第8～17倒殘差結構的深度可分離卷積替換為帶孔洞的深度可分離卷積。其中15～17的dialation設為2。改進后的MobileNetV2 網(wǎng)絡各層結構如表2所示。其中，新增的空洞率表示空洞卷積各元素的間隔，當空洞率等于1時，空洞卷積就是普通卷積。

2.2"DDASPP模塊

為更好地保留圖像細節(jié)特征，DDeepLabV3+使用空洞卷積在保持較大感受野的同時有效地捕捉更廣范圍的信息，在一定程度上緩解了下采樣可能引起的細節(jié)丟失問題。DeepLabV3+通過ASPP模塊分別從多個尺度的特征圖像中提取信息并融合輸出結果。為了解決小物體識別精度較低及因感受野增大導致部分信息丟失等問題，DDeepLabV3+采用根據(jù)DenseNet網(wǎng)絡提出的密集連接結構，將網(wǎng)絡中的ASPP重構為密集的ASPP，并將普通卷積替換成深度可分離卷積，在提升分割精度的同時減少了網(wǎng)絡的分割時間。將重構的模型命名為DDASPP（depthwise dense ASPP）。在DDASPP中，隨著空洞率的增大，低尺度特征信息能夠在高尺度卷積過程中被有效地復用，從而使輸入圖像的特征提取更加密集。該方法不僅提高了高維特征點的利用效率，而且在深度神經(jīng)網(wǎng)絡中充分發(fā)掘了淺層信息，從而提高了整個模型的分割性能。

3"實驗結果及分析

3.1"數(shù)據(jù)集介紹

3.1.1"Cityscapes數(shù)據(jù)集

Cityscapes數(shù)據(jù)集采用雙攝像頭拍攝立體視頻序列，在圖像分割中使用的是左攝像頭的圖片，包含了50多個不同城市的視頻序列，有精細和粗糙兩種標注圖像。DDeepLabV3+使用精細標注的圖片，使用2 975張訓練圖片進行訓練，用500張驗證圖片進行驗證跟測試，圖像的分辨率都為1 024×2 048像素，DDeepLabV3+使用常用的19種語義類別進行實驗。

3.1.2"Camvid數(shù)據(jù)集

Camvid數(shù)據(jù)集是由劍橋大學公開發(fā)布的城市道路場景的數(shù)據(jù)集，該數(shù)據(jù)集提供了高質(zhì)量的30 Hz視頻鏡頭，有32個真實的標簽信息。數(shù)據(jù)集一共有701張圖片，實驗中隨機劃分367張訓練圖片進行訓練，100張圖片用來驗證，234張圖像用來測試，圖像的分辨率都為960×720像素，常用的11種語義類別進行實驗。

3.2"實驗環(huán)境與評價指標

實驗選用64位Win10為操作系統(tǒng)，CPU為11th Gen Intel（R） Core（TM） i7-11800H @2.30 GHz，16 GB內(nèi)存，GPU為NVIDIA GeForce RTX 3060 Laptop，6 G顯存。開發(fā)環(huán)境是pycharm，深度學習框架為pytorch1.11.0、python3.8、CUDA 11.3、CUDNN 8.2，其他參數(shù)設置如表3所示。

Cityscape和Camvid 數(shù)據(jù)集的crop size在設為513×513的情況下收斂緩慢，分割精度低，在考慮顯存資源的情況下將Cityscapes的crop size設置為768×768像素，將Camvid的crop size設置為720×720像素， batch size都設置為2。驗證時采用單張圖片驗證，驗證尺寸為原圖大小。優(yōu)化器采用SGD，動量（Momentum）設為0.9，采用poly的學習策略，學習率可表示為：

lr=base_lr×1-cur_itrmax_itrpower（1）

式中，base_lr為初始學習率，cur_itr為當前迭代次數(shù)，max_itr為最大迭代次數(shù)，power是衰減指數(shù)。

在語義分割中，mIoU值是體現(xiàn)分割精度的重要參數(shù)，其計算公式可表示為：

mIoU=1k+1∑ki=0pii∑kj=0pij+∑kj=0pji-pii（2）

式中，k+1表示k個語義類別和1個背景，pij為將i類別預測為j類別。

MPA是計算每個類別的正確像素比例再求平均，可表示為：

MPA=1k+1∑ki=0pii∑kj=0pij（3）

DDeepLabV3+的評價指標為平均交并比（mIoU）、平均像素精度（MPA）、浮點計算量FLOPs和參數(shù)量。

3.3"實驗結果

3.3.1"Cityscapes數(shù)據(jù)集消融實驗

為了驗證網(wǎng)絡改進部分和添加注意力機制的效果，DDeepLabV3+設置了不同的對比實驗。在同一深度學習框架下，比較不同模塊對網(wǎng)絡分割精度效果的影響，并在數(shù)據(jù)集上進行驗證，結果如表4所示。其中，Base model為替換了MobileNetV2的DeepLabV3+網(wǎng)絡。

由表4可知，與只改變主干網(wǎng)絡的Base model相比，添加SE注意力機制后模型的mIoU提升了0.35%；添加了SE注意力機制和低級特征后模型的mIoU 提升了1.05%；在此基礎上再加入DDASPP模塊后模型的mIoU比原網(wǎng)絡提升了2.37%。DDeepLabV3+與Base model相比，參數(shù)數(shù)量減少了1.733 MB，驗證時間也有少量的減少。以上結果表明，SE注意力機制、額外的低級特征提取和DDASPP的改進一定程度上可以有效提高模型的分割精度。

從表5可以看出，對比基準模型，DDeepLabV3+每個類別的IoU都有一定程度的提升，其中對于墻體、柵欄、交通燈、卡車和火車的精度提升較大，驗證了DDeepLabV3+的有效性。

3.3.2"不同網(wǎng)絡在Cityscapes數(shù)據(jù)集上的對比

不同網(wǎng)絡在城市景觀數(shù)據(jù)集上的不同表現(xiàn)如表6所示。從表6可見，DeeplabV3+作為高精度的分割網(wǎng)絡之一，其分割效果是比較有優(yōu)勢的。DDeepLabV3+在DeeplabV3+基礎上精度提升了2.37%。從表6可以看出，在骨干網(wǎng)絡中，以參數(shù)大的VGG為模型的FCN-8s網(wǎng)絡的mIoU低于DDeepLabV3+，以Resnet101為骨干網(wǎng)絡的DeelabV3+網(wǎng)絡的分割精度雖然高于DDeepLabV3+，但分割時間幾乎是后者的3倍?？紤]時間和網(wǎng)絡復雜度，Enet、Cgnet和Lednet是極為輕量級的網(wǎng)絡，但是分割精度遠低于DDeepLabV3+網(wǎng)絡。

網(wǎng)絡在Cityscapes數(shù)據(jù)集的分割結果如圖6所示，從圖6（a1）的預測結果可見，DDeepLabV3+相較于原始網(wǎng)絡對圖片左上角的建筑物和右邊的行人預測更準確；從圖6（a2）的預測結果可見，原始網(wǎng)絡對圖像左方摩托車和右上角的樹木分割較為粗糙，DDeepLabV3+更為準確；從圖6（a3）的預測結果可見，DDeepLabV3+對于人物邊界和欄桿的預測情況更加完善，效果得到了提升。

3.3.3"Camvid數(shù)據(jù)集實驗結果

DDeepLabV3+與基準模型的對比如表7所示，從表7可以看出，DDeepLabV3+的方法在Camvid數(shù)據(jù)集上的MPA和mIoU也分別提升了2.14%和2.13%。表8為DDeepLabV3+與基準模型各類別IoU的對比，其中欄桿、柵欄和道路標志的IoU提升較大，證明了DDeepLabV3+網(wǎng)絡模型的泛化性和有效性。網(wǎng)絡在Camvid數(shù)據(jù)集的結果如圖7所示。

從圖7（d1）的預測結果可以看出，DDeepLabV3+相較于（c1）對行人、欄桿和樹木的預測更準確；從圖7（d2）的預測結果可以發(fā)現(xiàn)，（c2）對車輛旁的行人分割錯誤，DDeepLabV3+對自行車和樹木的分割更為準確；從圖7（d3）的預測結果可以發(fā)現(xiàn)，DDeepLabV3+對于建筑和人行道路的預測情況比（c3）更加完善。

4"結束語

針對城市道路的場景數(shù)據(jù)集，提出了一種改進的DDeepLabV3+卷積神經(jīng)網(wǎng)絡模型，并在網(wǎng)絡中引入SE注意力機制，重構了ASPP模塊讓網(wǎng)絡的高級特征被重復利用，提高了網(wǎng)絡模型的精確度并減少了網(wǎng)絡參數(shù)，在網(wǎng)絡復雜度和精度二者間取得了相對平衡。在解碼端融合不同尺度特征，使得網(wǎng)絡能更好地獲取上下文的信息。所提網(wǎng)絡模型在Cityscape數(shù)據(jù)集的mIoU提升了2.37%，在Camvid數(shù)據(jù)集上也提升了2.17%。然而，DDeepLabV3+模型還是存在一定的局限性，對小目標的圖像分割準確度低于當前最佳的語義分割模型，無法同時滿足實時性和高準確性。未來的工作方向包括在更多的數(shù)據(jù)集和更復雜的場景中進行進一步測試和驗證，以及進一步結合深度學習的其他技術和方法進行優(yōu)化和改進。

參考文獻：

［1］ 王可，沈川貴，羅孟華. 基于深度學習的圖像語義分割方法綜述［J］. 信息技術與信息化，2022（4）：23-30.

［2］ LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation［C］∥2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston： IEEE，2015：3431-3440.

［3］ CHEN L C，PAPANDREOU G，KOKKINOS I，et al.Semantic image segmentation with deep convolutional nets and fully connected CRFs［EB/OL］.（2014-12-22）［2021-02-10］arXiv：1412.7062

［4］ CHEN L C，PAPANDREOU G，KOKKINOS I，et al.DeepLab：semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

［5］ CHEN L C，PAPANDREOU G，KOKKINOS I，et al.Rethinking atrous convolution for semantic image segmentation［EB/OL］. （2017-06-17）［2021-02-10］arXiv：1706.05587.

［6］ CHEN L C，ZHU Y K，PAPANDREOU G，et al. Encoder-decoder withatrous separable convolution for semantic image segmentation［C］∥European Conference on Computer Vision. Cham：Springer，2018：833-851.

［7］ HOWARD A G，ZHU M L，CHEN B，et al. MobileNets： efficient convolutional neural networks for mobile vision applications［J］. arXiv：1704.04861，2017.

［8］ YANG M K，YU K，ZHANG C，et al.DenseASPP for semantic segmentation in street scenes［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE，2018：3684-3692.

［9］ HU J，SHEN L，SUN G. Squeeze-and-excitation networks［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE，2018：7132-7141.

（責任編輯： 方素華）

收稿日期：2023-09-28

第一作者簡介：蔡思靜（1983-），女，福建南平人，副教授，博士，研究方向：圖像處理、人工智能、計算機視覺、機器學習的工程應用，卷積神經(jīng)網(wǎng)絡模型設計。