文 凱，唐偉偉*，熊俊臣

（1.重慶郵電大學通信與信息工程學院，重慶 400065；2.重慶郵電大學通信新技術(shù)應用研究中心，重慶 400065）

0 引言

語義分割作為計算機視覺重要任務之一，目標是為圖像中每個像素分配一個唯一的類標簽，可視為像素級的分類任務，與圖像分類和目標檢測任務不同，語義分割融合了兩者的特點，兼有識別和定位的功能，最終輸出具有語義標注的預測圖像。深度學習之前，大多采用傳統(tǒng)的分割算法，如基于閾值的分割、基于邊緣的分割和基于區(qū)域的分割等，這些算法不僅費時費力，而且分割性能不佳。隨著深度學習在計算機視覺領(lǐng)域的應用，基于深度學習的語義分割算法在性能上已有很大突破，現(xiàn)階段分割算法層出不窮，大部分高精度算法模型基于全卷積網(wǎng)絡（Fully Convolutional Network，F(xiàn)CN）［1］，但都專注于提高準確度，如用于圖像分割的深度卷積編解碼架構(gòu)SegNet（deep convolutional encoder-decoder architecture for image Segmentation）［2］、金字塔場景解析網(wǎng)絡（Pyramid Scene Parsing Network，PSPNet）［3］和用于高分辨率圖像分割的多路徑精細網(wǎng)絡（multi-path Refinement Networks for high-resolution semantic segmentation，RefineNet）［4］等。高精度算法模型普遍參數(shù)量巨大、計算復雜、內(nèi)存占用非常高，無法滿足實際需求。近年來，語義分割廣泛應用于無人駕駛、醫(yī)療影像和視覺增強等實際領(lǐng)域，而真實場景要求具有較低的計算成本和內(nèi)存占用，這對分割算法的實時性和準確性提出了新的挑戰(zhàn)，如何在快速識別和定位圖像中目標事物的同時保持較高的準確度成為解決該問題的關(guān)鍵。當前實時語義分割算法不是犧牲精度換取較高推理速度，就是在提高精度的同時增大計算成本和內(nèi)存占用，進而降低了推理速度，無法兼顧兩者。

為解決上述問題，本文基于輕量級非對稱殘差卷積構(gòu)建了一種單路徑淺層算法——基于注意力機制和有效分解卷積的實時分割算法（Real-time semantic segmentation Network based on Attention mechanism and Effective Factorized convolution，AEFNet），通過減少下采樣次數(shù)和空洞卷積分別用于提取細節(jié)信息和增大算法感受野，從而增強算法捕捉上下文信息的能力，并結(jié)合全局上下文注意力模塊補充編碼過程中折損的細節(jié)信息，另外，利用輕量級殘差模塊減少計算成本，提高實時性，進而提高整個算法分割性能。本文主要工作有以下幾點：

1）基于分解卷積構(gòu)建輕量化分解卷積模塊（Factorized Convolution Module，F(xiàn)CM），能有效捕捉多尺度特征信息和更好保存空間細節(jié)信息，進一步減少算法參數(shù)和降低內(nèi)存占用同時保證分割精度。

2）提出了全局上下文注意力模塊（Global Context Attention Module，GCAM），充分提取全局信息和細化每個階段特征，進一步補充上下文信息，并能有效增強算法模型的學習能力。

3）構(gòu)建了一種新型的淺層實時分割算法，整合了輕量級殘差模塊和全局上下文注意力模塊，提高了分割性能。

1 相關(guān)工作

1.1 實時語義分割

現(xiàn)階段實時分割算法主要通過裁剪或限定圖像大小降低計算復雜度或通過分解卷積提高實時性，但裁剪可能會帶來細節(jié)信息的丟失，因此目前更多使用分解卷積建立輕量級算法模型；另外空洞卷積和注意力機制對精準識別和定位圖像中的目標也非常重要。當前實時分割算法提出了多種解決方案用于實時語義分割的深度神經(jīng)網(wǎng)絡架構(gòu)（deep neural network architecture for real-time semantic segmentation，ENet）［5］中，通過裁剪算法模型通道數(shù)減少了大量的運算和降低了內(nèi)存占用。用于圖像分割的輕量級卷積網(wǎng)絡（novel Lightweight ConvNet for semantic Segmentation，LiteSeg）［6］中，使用深度空洞空間金字塔池化模塊（Dense Atrous Spatial Pyramid Pooling，DASPP）對分割性能有一定的提升。深度非對稱瓶頸網(wǎng)絡（Depth-wise Asymmetric Bottleneck Network，DABNet）［7］中，通過堆疊深度非對稱模塊（Depth-wise Asymmetric Bottleneck，DAB）構(gòu)建淺層網(wǎng)路，進一步提升分割性能。增強非對稱卷積網(wǎng)絡（Enhanced Asymmetric Convolution Network，EACNet）［8］中運用一種雙路徑淺層算法模型，分別提取細節(jié)信息和上下文信息，并階段性融合，有效地提高了分割精度和推理速度。

1.2 分解卷積

分解卷積的出現(xiàn)很大程度上為解決實時性提供了范式，如用于移動視覺應用的高效神經(jīng)網(wǎng)絡（Efficient convolutional neural Networks for Mobile vision applications，MobileNets）［9］中的深度可分離卷積和高效殘差分解卷積網(wǎng)絡（Efficient Residual Factorized ConvNet，ERFNet）［10］中的一維非瓶頸結(jié)構(gòu)（Non-bottleneck-1D），都能有效減少大量的計算和降低內(nèi)存占用的同時保持較高的精度，為建立輕量級算法模型提供了思路。而在實現(xiàn)輕量化模型的同時會損失空間細節(jié)信息，因此如何構(gòu)建有效的分割模塊對提高分割性能有著重要的作用。

1.3 感受野

感受野對提高分割性能的重要性已在大量文獻中得以證明，增大感受野通常有使用大的卷積核、池化操作和空洞卷積等操作。大卷積核加重了算法的計算負擔，不利于實時性；池化操作使得圖像尺寸不斷縮小而造成空間細節(jié)信息丟失；而空洞卷積可在不增加卷積核參數(shù)前提下同時增大感受野，有利于提取圖像的空間細節(jié)信息。目前大多算法采用空洞卷積，如深度卷積網(wǎng)絡（Deep Convolutional network，Deeplab）［11］提出的空洞空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）模塊和高效空間金字塔網(wǎng)絡（Efficient Spatial Pyramid Network，ESPNet）［12］中引入的高效空間金字塔（Efficient Spatial Pyramid，ESP）模塊，都能有效捕捉多尺度感受野，增強算法的表達能力。本文與上述算法不同，采用堆疊方式逐步增大感受野且利于提取細節(jié)信息。

1.4 注意力機制

注意力機制更關(guān)注一些關(guān)鍵的特征，并通過權(quán)重標識，使得算法能夠?qū)W習圖片中重要的特征。雙路徑分割網(wǎng)絡（Bilateral Segmentation Network，BiSeNet）［13］中提出了注意力細化模塊（Attention Refinement Module，ARM）細化每個階段的特征，能夠容易地整合全局上下文信息；雙重注意力網(wǎng)絡（Dual Attention Network for scene segmentation，DANet）［14］中，提出通過整合局部信息和全局信息來捕捉上下文信息，再由注意力機制獲得特征表達；Hu 等［15］在快速注意力分割網(wǎng)絡（real-time semantic segmentation Network with Fast Attention，F(xiàn)ANet）中引入了快速注意力機制，實現(xiàn)了在精度和推理速度上的雙贏；RGB-D 室內(nèi)語義分割的三流自注意力網(wǎng)絡（Three-stream Self-attention Network for RGB-D indoor semantic segmentation，TSNet）［16］引入自注意力機制，并通過交叉模式蒸餾流細化深度流和RGB 流的中間特征圖，進而提高分割性能；來自廉價操作的多功能網(wǎng)絡（More features from cheap operations network，GhostNet）［17］提出輕量級Ghost模塊，在小特征圖基礎上使用更為廉價的卷積操作，生成一系列特征圖，進一步減少計算量。與以上算法不同，本文引入注意力機制旨在解決編碼過程中上下文信息不足的問題，提高模型的泛化能力。

2 模型設計

2.1 分解卷積模塊

由上文所述可知，本文認為一些算法模塊設計不利于提取空間細節(jié)信息，如ESPNet［12］的ESP 模塊，模塊內(nèi)使用多個空洞卷積會造成一些細節(jié)信息丟失，同時加重計算負擔，因此本文結(jié)合深度可分離卷積和非對稱殘差卷積進行模塊設計。深度可分離卷積包括深度卷積和逐點卷積兩個過程，其中深度卷積可在每個通道獨立地進行卷積運算；而逐點卷積則是利用1×1 卷積進行特征加權(quán)，生成新的特征圖。

近年來為了建立輕量級模型，涌現(xiàn)出非瓶頸結(jié)構(gòu)（Nonbottleneck）（如圖1（a））、瓶頸結(jié)構(gòu)（bottleneck）（如圖1（b））和一維非瓶頸結(jié)構(gòu)（Non-bottleneck-1D）（如圖1（c））等輕量級殘差結(jié)構(gòu)。非瓶頸結(jié)構(gòu)隨著算法模型的加深，由于固定的核尺寸導致沒有足夠的感受野，因此性能會隨之下降；瓶頸結(jié)構(gòu)隨著卷積層數(shù)的增多，還會出現(xiàn)退化問題；一維非瓶頸結(jié)構(gòu)不僅能加快訓練速度，并能有效解決在大而密集的特征層的分割問題，保持算法的學習能力和較高的精度?；谝陨涎芯?，本文構(gòu)建分解卷積模塊（FCM）特征提取單元，其利用原始的一維非瓶頸結(jié)構(gòu)將3×1 和1×3 卷積分別修改為深度可分離卷積和帶孔深度可分離卷積，并引入殘差連接增強算法學習能力和使用PRelu 激活函數(shù)和批歸一化操作增加算法的非線性表達能力，如圖1（d）所示，圖中，“DConv”為深度可分離卷積，“DDConv”為帶孔深度可分離卷積，r為空洞率，“SUM”為元素加法操作。

圖1 輕量級殘差模塊Fig.1 Lightweight residual module

由1.2 節(jié)可知，在一維非瓶頸結(jié)構(gòu)中，Dk×Dk被分解為Dk× 1 和1 ×Dk，其深度可分離卷積的計算量為2×(M×其與正常卷積之比就為2×，由此可見深度可分離卷積和一維非瓶頸結(jié)構(gòu)的結(jié)合可進一步減少計算量。修改后的模塊通過大空洞率以提取具有復雜的全局特征，而小空洞率更能關(guān)注簡單的局部特征，相較于固定大小卷積核，分解卷積模塊（FCM）更能有效提取上下文信息和細節(jié)信息，不僅彌補了固定大小感受野的缺陷而且不會出現(xiàn)退化問題；另外與一維非瓶頸結(jié)構(gòu)比較，F(xiàn)CM 參數(shù)量更少，且特征提取能力更強，更能體現(xiàn)實時性，在加快算法訓練的同時提高了模塊的兼容性。

2.2 全局上下文注意力模塊

本文認為造成淺層算法模型分割性能不佳的一部分原因是卷積過程中上下文信息的不足，忽略了類別之間的邊緣特征。注意力細化模塊（ARM）如圖2（a）所示，對輸入依次進行平均池化、逐點卷積、批歸一化和sigmoid 映射處理后得到全局特征權(quán)重值，再與輸入特征相乘最終獲得加權(quán)后的特征，該過程充分考慮全局特征和細節(jié)特征，在計算量少的情況下獲得與深層卷積過程對應的上下文信息，極大地提高了模型的分割能力。因此基于注意力細化模塊，本文提出全局上下文注意力模塊（Global Context Attention Module，GCAM），如圖2（b）所示，更進一步對每個階段特征細化，彌補編碼過程中欠缺的上下文信息，進而提高算法的分割性能，并能有效克服背景信息的干擾。該模塊以初始化特征塊作為輸入，由注意力細化模塊分別對平均池化和最大池化后的特征進行通道加權(quán)，重新調(diào)整特征權(quán)重，得到與其大小對應的權(quán)重圖，再由元素加法操作進行特征融合，以極少的計算量便可獲得更加豐富的全局上下文信息，最后利用3×3 卷積進一步增強特征的表達能力。由于淺層的特點導致算法缺乏足夠的上下文信息，雖然ARM 能夠細化特征，但終究難以解決該問題，添加池化操作后的模塊更有利于增強全局特征提取，由ARM 細化輸出并融合特征，加強了信息間的交流，并與編碼各階段融合指導特征分類預測，最終提高分割性能。

圖2 注意力細化模塊和全局上下文注意力模塊Fig.2 Attention refinement module and global context attention module

2.3 整體算法模型

為提高推理速度的同時保證精度，本文構(gòu)建一個新型的輕量級實時分割算法——基于注意力機制和有效分解卷積的實時分割算法（Real-time semantic segmentation algorithm based on Attention mechanism and Effective Factorized convolution，AEFNet）。算法框架如圖3 所示。

圖3 AEFNet框架Fig.3 Framework of AEFNet

現(xiàn)階段一些算法通過連續(xù)下采樣操作和堆疊大量卷積層（100 層以上）構(gòu)建深層卷積網(wǎng)絡模型，以獲得足夠豐富的語義信息和足夠大的感受野；然而網(wǎng)絡層數(shù)越深，下采樣次數(shù)越多，空間細節(jié)信息丟失越嚴重，不利于恢復圖像。本文采用3 次下采樣得到1/8 分辨率的特征圖，通過構(gòu)建有效模塊，發(fā)揮其在少量卷積層上的強大特征提取能力，建立與深層卷積算法同樣有著豐富的語義信息和大感受野的淺層算法模型。在第一階段，首先輸入圖像執(zhí)行3 個連續(xù)的3×3 卷積得到初始化特征塊，使用較少的參數(shù)訓練獲得與7×7 卷積同等大小的感受野，使算法具有更好的學習能力。

由步長為2 的3×3 卷積和2×2 最大池化組成的下采樣器（如圖4 所示）下采樣得到1/4 和1/8 圖像分辨率后，為充分獲取局部特征信息和全局特征信息，進一步增大感受野，建立深度卷積模型，階段二堆疊3 個空洞率為2 的FCM，階段三堆疊6 個空洞率分別為4、4、8、8、16、16 的FCM，不同空洞率的有效性將在實驗部分進行驗證分析。為充分提取空間細節(jié)信息，本文在整個堆疊模塊引入殘差連接，再由批歸一化和PRelu 激活函數(shù)處理后作為整體輸出。為進一步細化特征，本文采用GCAM（如圖3 中上方實線所示）和長連接（如圖3中下方虛線所示）捕捉全局特征信息，并與相應階段輸出進行連接。最后分類器對階段三的輸出進行預測，由雙線性插值恢復圖像分辨率。由于非線性層在bottleneck 中使用會對算法性能造成一定影響，因此本文在最后1×1 卷積不再使用激活函數(shù)。

圖4 下采樣器Fig.4 Downsampler

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

本文采用cityscapes 和camvid 兩種自動駕駛常用數(shù)據(jù)集對模型進行驗證。cityscapes 是城市街景數(shù)據(jù)集，該數(shù)據(jù)集含19 個類別，包括5 000 張精細標注圖片，其中訓練集為2 975 張圖片，驗證集為500 張圖片，測試集為1 525 張圖片，每張圖片分辨率為1 024×2 048，另外還有20 000 張粗標注的圖片，在本實驗中僅使用精細標注圖片。camvid 為另一個用于自動駕駛的圖片數(shù)據(jù)集，該數(shù)據(jù)集包含11 個類別，共有701 張圖片，其中訓練集為367 張圖片，驗證集為101 張圖片，測試集為233 張圖片，每張圖片分辨率為720×960。

3.2 實驗設置

本實驗在pytorch 平臺使用單個GTX 2080Ti GPU 進行實驗。AEFNet 訓練時采用批次為8，動量為0.9，權(quán)重為0.000 1 的小批次隨機梯度下降法對模型進行優(yōu)化，訓練期間使用“ploy”學習策略（如式（1））動態(tài)調(diào)整學習率，初始學習率為0.045，最大epoch 為1 000。數(shù)據(jù)預處理過程中使用了數(shù)據(jù)增強策略，如：隨機水平翻轉(zhuǎn)、隨機裁剪和均值衰減，隨機裁剪值為｛0.75，1.0，1.25，1.5，1.75，2.0｝。本實驗將cityscapes 數(shù)據(jù)集經(jīng)隨機裁剪后分辨率為512×1 024 作為算法的輸入。另外，本文沒有采用任何形式的預訓練策略，算法模型從頭開始訓練。

其中：lrcur為當前學習率，lrinit為初始學習率，epoch為迭代次數(shù)，max_epoch為最大迭代次數(shù)，power控制曲線形狀，通常設置為0.9。

3.3 評價指標

本實驗中所有的精度結(jié)果均采用平均交并比（mean Intersection Over Union，mIOU）進行評價，推理速度采用幀速率（Frames Per Second，F(xiàn)PS）進行評價。

平均交并比（mIOU）計算真實值和預測值兩個集合的交集和并集之比，是分割任務中評價精度的常用指標，其計算公式如式（2）：

其中：k為類別數(shù)量，TP（True Positive）表示預測為真正數(shù)量，F(xiàn)N（False Negative）表示預測為假負數(shù)量，F(xiàn)P（False Positive）表示預測為假正數(shù)量。

幀速率（FPS）指圖形處理器每秒鐘能夠刷新幾次，F(xiàn)PS 越高，則動作顯示越流暢，實時性相對就越高。因此，實時分割任務常用FPS 評價算法推理速度，其計算公式如式（3）：

其中：N為圖片數(shù)量，Tj為算法處理第j張圖片時所需要的時間。

3.4 消融實驗

為探索多尺度感受野對算法分割性能的影響，本文針對階段三設置3 組不同空洞率的對比實驗，空洞率分別為3、3、7、7、13、13，4、4、4、4、4、4 和4、4、8、8、16、16，實驗結(jié)果如表1 所示，由于固定空洞率大小限制了感受野大小，導致大尺度特征的信息提取不完整，而空洞率為3、3、7、7、13、13時，對“大而密”的特征圖的信息提取依然缺乏足夠的感受野。本文采用空洞率為4、4、8、8、16、16 的FCM 能獲取更多豐富的細節(jié)信息和更大的感受野，其分割精度高于其余兩組約1 個百分點，推理速度基本持平，具有更強的泛化能力。

另一方面，為探究解碼器結(jié)構(gòu)對算法模型的影響，本文采用了ERFNet［10］的解碼器結(jié)構(gòu)進行實驗。實驗結(jié)果如表1所示，解碼器結(jié)構(gòu)在AEFNet 基礎上精度提高了0.3 個百分點，在性能上的提升并沒有明顯的作用，反而由于解碼器結(jié)構(gòu)帶來的額外計算成本，大大限制算法的推理速度，因此解碼器結(jié)構(gòu)在本文模型中不必要。

表1 空洞率和解碼器對算法性能的影響Tab.1 Influence of dilated rate and decoder on algorithm performance

結(jié)合多尺度語義信息在一定程度上提高了分割性能，但一些邊緣特征分割模糊，引入注意力模塊可細化每個編碼階段。為探索GCAM 對算法性能的影響，本文設計了4 組對比實驗。實驗結(jié)果如表2 所示，當使用最大池化代替平均池化時，精度提高了0.4 個百分點；當全部使用池化操作時，比全部不使用時精度提高了1.4 個百分點，且比單個使用的精度都要高，但推理速度少于不使用池化操作時約7 FPS，但這不影響算法的實時性，其他組別的推理速度與本文所提算法基本一致，而本文更注重算法分割精度，由此看來使用兩種池化更有利于性能的提升。部分實驗結(jié)果如圖5 所示。

圖5 部分實驗結(jié)果Fig.5 Part experimental results

表2 GCAM對算法性能的影響Tab.2 Influence of GCAM on algorithm performance

在GCAM 的基礎上，本實驗采用長連接進一步特征細化并彌補下采樣丟失的細節(jié)信息。為探索長連接對算法性能的影響，本實驗采用控制變量法逐步實驗。實驗結(jié)果如表3所示，精度與AEFNet 相比，長連接缺失會導致算法分割精度略有下降，但都在1 個百分點以內(nèi)，雖然在推理速度上也有所影響，但與AEFNet 基本保持不變，因此在保證實時性的前提下，本文算法有著較好的性能。部分實驗結(jié)果如圖5所示。

表3 長連接對算法性能的影響Tab.3 Influence of long connection on algorithm performance

從圖5 可以看出：本文以圖5（a）為基準進行對比，研究算法在不同情況下的實際效果；圖5（b）由于擁有GCAM，算法對全局信息提取較為準確，并接近于完整模型，對道路、車和建筑物等分割準確，但對遠處目標和一些混合性的物體出現(xiàn)分割錯誤，如路旁的自行車有分類錯誤和遠處的教堂分割不全，這可能是由于沒有足夠的信息，沒能及時補充相應的細節(jié)；圖5（c）中相較于完整模型缺少最大池化，從效果圖可以看出對性能影響較大，對道路、樹木等相對較大目標分割存在瑕疵，效果圖中出現(xiàn)斑點，但圖中物體間界限分明，邊緣特征清晰可見，表明雖然缺少最大池化，但GCAM 依然能夠有效捕捉全局上下文信息，指導正確的預測分類；而在圖5（d）中，由于最大池化的作用，使得算法對目標更加關(guān)注，邊緣特征更加明顯，較完整模型來講，兩者分割最為接近，行人、汽車和樹木等都能準確地識別，但對于小目標依然存在分類錯誤和丟失的情況，特別是遠處的細小目標，如遠處的塔就分割不完整?？傮w上，細小目標和遠處部分目標的分割不全或丟失的問題普遍存在，致使算法分割效果不佳，而金字塔特征提取算法能有效解決該問題。

3.5 在速度和精度上的比較

本文使用cityscapes 測試集對算法模型進行驗證，并和目前優(yōu)秀的算法模型進行對比分析，包括金字塔場景解析網(wǎng)絡（PSPNet）［3］、用于圖像分割的深度卷積編解碼架構(gòu)（SegNet）［2］、用于實時語義分割的深度神經(jīng)網(wǎng)絡架構(gòu)（ENet）［5］、高效空間金字塔網(wǎng)絡（ESPNet）［12］、高效殘差分解卷積網(wǎng)絡（ERFNet）［10］、圖像級聯(lián)網(wǎng)絡（Image Cascade Network，ICNet）［18］、注意力引導的輕量級網(wǎng)絡（Attention-Guided Lightweight Network，AGLNet）［19］、深度非對稱瓶頸網(wǎng)絡（DABNet）［7］、高效對稱網(wǎng)絡（Efficient Symmetric Network，ESNet）［20］、深度特征聚合網(wǎng)絡（Deep Feature Aggregation Network，DFANet）［21］、非局部高效實時算法（Light-weighted Network with efficient Reduced non-local operation，LRNNet）［22］、增強非對稱卷積網(wǎng)絡（EACNet）［8］。實驗結(jié)果如表4 所示，本文提出的AEFNet擁有1.59MB的參數(shù)，相較于ENet［5］和ESPNet［12］的參數(shù)量0.36MB，這兩種算法參數(shù)占有明顯優(yōu)勢，但從精度和推理速度上看，ENet 和ESPNet 在精度上與AEFNet 相差約14 個百分點，而在推理速度上ESPNet 低于AEFNet 約7 FPS，由此看來，AEFNet 性能表現(xiàn)較好。相較于EACNet，本文提出AEFNet 精度比其略低0.2 個百分點，但在推理速度上，AEFNet 則表現(xiàn)較為出色，達到了118.9 FPS，高于上述所有算法。由此可見，本文提出的AEFNet 在精度和推理速度上取得較好的平衡，能夠在保證精度較高的同時提高推理速度。

表4 不同算法在cityscapes測試集上精度與推理速度的對比Tab.4 Precision and interference speed comparation of different algorithms on cityscapes test set

相較于一些優(yōu)秀的算法框架，本文構(gòu)建的算法模型在具體類別上的精度也表現(xiàn)出優(yōu)越性。如表5 展示了每類分割精度值，并且大多數(shù)類別分割精度都優(yōu)于其他算法，特別在人行道、柵欄和交通標志等分割精度大幅度上升，表明本文提出的算法對類別的一些重要特征（如邊緣特征等）的識別更加精細，而在植物、天空和大車等方面分割效果不佳，可能是多種細小目標與其混合所致，但總體性能本文模型更優(yōu)，表中：類mIOU 表示表示19 個小類類精度的平均值，類別mIOU 表示7 個大類精度的平均值。

表5 AEFNet在cityscapes測試集上的每類IOU及與其他算法的比較 單位：%Tab.5 Each class IOU of AEFNet and other algorithms on cityscapes test set unit：%

為進一步分析，本文在cityscapes 驗證集上的分割結(jié)果進行了分割可視化，并選取具有代表性的算法進行比較相比。實驗結(jié)果如圖6 所示，對于建筑、馬路和汽車等簡單場景的分割，AEFNet 更接近標簽圖，類別之間的界限分割效果比較明顯，細化了邊緣特征的分割，如圖6 第一個場景中的建筑物分割較為準確。由于遠處道路場景細節(jié)復雜，細小的目標和多種目標混合區(qū)域的分割出現(xiàn)分割不全的情況，如圖6 最后一個場景中單車上的小孩出現(xiàn)錯誤分類，其原因可能是空洞卷積過程中造成的細節(jié)丟失或注意力模塊對小目標關(guān)注度欠缺。

圖6 不同算法在cityscapes驗證集上的分割可視化結(jié)果Fig.6 Visualized segmentation results of different algorithms on cityscapes verification set

3.6 在camvid數(shù)據(jù)集上的驗證

本文在另一個用于自動駕駛的數(shù)據(jù)集camvid 上進行實驗，圖片經(jīng)隨機裁剪后輸入為360×480，訓練參數(shù)設置與在cityscapes 數(shù)據(jù)集上基本保持一致，初始學習率重新設置為0.001，并新增了高效密集對稱卷積網(wǎng)絡（Efficient Dense modules of Asymmetric convolution Network，EDANet）［25］進行對比。實驗結(jié)果如表6 所示，本文提出的AEFNet 在camvid測試集上能夠達到67.6%的精度，推理速度為123.6 FPS。AEFNet 的精度低于DFANet 3.7 個百分點，但推理速度取得了較大的提升，提高23.6 FPS。推理速度上EDANet［25］高于AEFNet 約40 FPS，但精度略低于本文所提算法1.2 個百分點。由此可見，AEFNet 也能在camvid 數(shù)據(jù)集上獲得良好的性能。

表6 不同算法在camvid測試集上的性能對比Tab.6 Performance comparation of different algorithms on camvid test set

4 結(jié)語

為滿足實時性要求，本文運用了輕量級非對稱殘差模塊和注意力機制構(gòu)建了淺層算法，該算法為減少計算成本和內(nèi)存占用，利用深度可分離卷積和非對稱卷積構(gòu)建輕量級的FCM，為獲取全局重要信息，細化每個階段，利用GCAM 用于提高算法分割性能。為驗證算法模型的有效性，AEFNet 在cityscapes 和camvid 數(shù)據(jù)集上進行了實驗。實驗結(jié)果表明，該算法能夠在精度和推理速度之間取得較好的平衡，相較于其他算法而言，本文所提出的算法表現(xiàn)出了良好的性能。

在可視化結(jié)果中，本文所提算法依然存在細小目標分割不完整或丟失、部分邊緣特征界限略有不清晰的情況，針對以上問題，設計有效的金字塔特征提取算法和更為精細的注意力模塊加深對小目標的提取和關(guān)注將是今后研究的重點。