李順新，吳 桐

1.武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430065

2.武漢科技大學(xué) 大數(shù)據(jù)科學(xué)與工程研究院，武漢 430065

3.湖北智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，武漢 430065

隨著計(jì)算機(jī)視覺領(lǐng)域的發(fā)展，基于深度學(xué)習(xí)的細(xì)分方法極大提高了語義分割的準(zhǔn)確性和收斂速度[1]。語義分割作為視覺智能領(lǐng)域的一個(gè)重要研究方向，可以在像素層面上將圖像按照語義分割為不同顏色的圖像區(qū)域，并根據(jù)語義類別標(biāo)記圖像中的不同區(qū)域，然后獲得具有像素語義標(biāo)注的圖像。因此將語義分割應(yīng)用于自動(dòng)駕駛，能幫助車輛感知并獲得周圍的道路環(huán)境信息，從而提高行駛安全[2]。

自動(dòng)駕駛過程中需要不斷地收集道路及周圍的環(huán)境、人群、建筑等圖像。傳統(tǒng)算法對(duì)這些類別不同、大小不一、無結(jié)構(gòu)、無規(guī)則的圖像進(jìn)行分析和處理時(shí)會(huì)產(chǎn)生實(shí)時(shí)性低、準(zhǔn)確度低等問題[3]。因此，如何兼顧道路場(chǎng)景識(shí)別結(jié)果的實(shí)時(shí)性與可靠性，對(duì)車輛精準(zhǔn)、高效地感知道路環(huán)境信息具有重要的研究意義。目前流行的眾多道路場(chǎng)景語義分割模型，在分割城市道路場(chǎng)景圖像方面已經(jīng)取得了一些的成果，但也存在占用系統(tǒng)資源巨大、算法收斂速度慢、無法滿足自動(dòng)駕駛的實(shí)時(shí)性要求和準(zhǔn)確度低等問題，無法適用于復(fù)雜的道路場(chǎng)景分割[4]。

在已有的文獻(xiàn)中，早先圖像語義分割（image semantic segmentation，ⅠSS）[5]技術(shù)一般采用紋理基元森林（texton forest，TF）或隨機(jī)森林（random forest，RF）等方法構(gòu)建語義分割的分類器[6]。全卷積網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN），將傳統(tǒng)卷積網(wǎng)絡(luò)中的全連接層全部替換為卷積層，提高了圖像分割的準(zhǔn)確性和效率[7]。但為了提取更細(xì)致的特征，F(xiàn)CN需進(jìn)行多次下采樣并保留池化過程中所舍棄的位置信息，會(huì)造成較大的空間信息損失。針對(duì)這一問題，提出了編碼-解碼（encoder-decoder，ED）體系結(jié)構(gòu)，使用編碼網(wǎng)絡(luò)獲取圖片的高層語義特征圖，并在解碼部分，還原圖像的細(xì)節(jié)特征和空間尺寸大小，最終實(shí)現(xiàn)同等分辨率的輸入與輸出[8]。同樣的，SegNet網(wǎng)絡(luò)[8]和U-Net網(wǎng)絡(luò)[9]都使用了ED結(jié)構(gòu)來捕獲豐富的空間信息。

為了進(jìn)一步提升語義分割精度，提出了DeepLabV3+模型[10-12]，將ED 結(jié)構(gòu)與空洞卷積空間金字塔（atrous spatial pyramid pooling，ASPP）模塊結(jié)合[13]，以捕獲足夠的淺層空間信息，從而更精準(zhǔn)、全面地恢復(fù)目標(biāo)圖像細(xì)節(jié)，并將注意力機(jī)制引入到計(jì)算機(jī)視覺領(lǐng)域[14]。但是注意力機(jī)制忽視了信道和位置的空間信息對(duì)高層特征提取的影響。為了解決此問題，F(xiàn)u等[15]提出雙注意力機(jī)制（double attention mechanism，DAM）模塊，提升了語義分割效果。例如，張漢等[16]將Resnet-50與雙注意力機(jī)制模塊相結(jié)合獲得了很好的效果。

語義分割技術(shù)向輕量化、實(shí)時(shí)性方向也有過嘗試，例如，提出的MobileNet 系列模型。其中MobileNetV1模型采用深度可分離卷積提取特征，以提升模型的計(jì)算效率，而MobileNetV2 模型在MobileNetV1 模型的基礎(chǔ)上引入了具有反向殘差和線性瓶頸的資源高效區(qū)塊，進(jìn)一步優(yōu)化了模型[17-18]。馬書浩等[19]通過改進(jìn)DeepLabV2進(jìn)行實(shí)時(shí)圖像語義分割。與傳統(tǒng)的卷積模型比較，都大幅度降低了模型計(jì)算量和參數(shù)量，而且極大程度減少了操作數(shù)量和實(shí)際測(cè)量的延遲，但其在分割精度方面無法適配自動(dòng)駕駛領(lǐng)域。王欣等[20]在U-Net 中引入Mobile-NetV2 與注意力機(jī)制，在實(shí)時(shí)性和分割精度上都有較好表現(xiàn)，但應(yīng)用的注意力機(jī)制缺少對(duì)其他維度特征的關(guān)注，并且只討論了人像分割等用途單一的應(yīng)用場(chǎng)景，沒有涉及道路場(chǎng)景這種具有高復(fù)雜度、多影響因素的應(yīng)用。

針對(duì)以上不足，本文提出了一種參數(shù)量小、實(shí)時(shí)性高、圖像分割精準(zhǔn)的并行輕量級(jí)模型（parallel lightweight model，PLM）來應(yīng)對(duì)自動(dòng)駕駛過程中的復(fù)雜道路場(chǎng)景。該模型以DeepLabV3+模型為基礎(chǔ)，采用MobileNetV2 作為主干網(wǎng)絡(luò)，并設(shè)計(jì)特有并行特征處理結(jié)構(gòu)。MobileNetV2 使模型計(jì)算過程更加集中，能減少獲得分割結(jié)果的時(shí)間，并且會(huì)大幅減少參數(shù)量，使模型更加輕量。并行特征處理結(jié)構(gòu)則提高了圖像分割的精準(zhǔn)度。實(shí)驗(yàn)結(jié)果表明，該模型能夠兼顧圖形分割精度和實(shí)時(shí)性，更加適應(yīng)自動(dòng)駕駛過程中復(fù)雜道路環(huán)境。

1 PLM模型

1.1 PLM模型整體結(jié)構(gòu)

PLM 模型（如圖1 所示）基于DeepLabV3+，首先采用MobileNetV2 為主干網(wǎng)絡(luò)；其次將MobileNetV2 與由ASPP和DAM組成的并行特征處理結(jié)構(gòu)相結(jié)合，以完成對(duì)圖像特征的提??；然后將提取出的高級(jí)特征圖先后進(jìn)行雙線性插值上采樣和特征融合；最后對(duì)融合結(jié)果上采樣，得到最終分割圖像。PLM模型中的MobileNetV2部分能以少量的參數(shù)和集中的計(jì)算過程精準(zhǔn)且高效地完成模型初始特征提取，同時(shí)其并行特征處理結(jié)構(gòu)對(duì)輸入圖像的重要區(qū)域和類別重點(diǎn)關(guān)注，并優(yōu)化物體分割邊界，提高分割精度。兩者結(jié)合使得模型能更好地理解道路場(chǎng)景圖像內(nèi)容。

圖1 PLM模型整體結(jié)構(gòu)Fig.1 Overall structure of PLM model

1.2 基于MobileNetV2的初始特征提取

DeepLabV3+模型的主干結(jié)構(gòu)為Xception。Xception計(jì)算過程較為零散，整體結(jié)構(gòu)體量大，參數(shù)量較多，導(dǎo)致其系統(tǒng)開銷較大。而MobileNet系列網(wǎng)絡(luò)主要采用深度可分離卷積，其中MobileNetV2具有線性瓶頸的逆殘差結(jié)構(gòu)進(jìn)一步提高了網(wǎng)絡(luò)性能。因此，MobileNetV2在結(jié)構(gòu)上比Xception更加輕量，計(jì)算過程更加集中。將其應(yīng)用在自動(dòng)駕駛鄰域中能夠在保持分割準(zhǔn)確度的同時(shí)，減少10倍左右的系統(tǒng)資源消耗。

表1 是DeepLabV3+主干網(wǎng)絡(luò)Xception 結(jié)構(gòu)。其中通道數(shù)表示神經(jīng)網(wǎng)絡(luò)每層輸入通道數(shù)；操作主要有以下幾種：卷積、極致的Ⅰnception以及平均池化；輸出步長表示輸入圖像與當(dāng)前特征圖大小的比值；Count 表示輸出通道數(shù)；n表示該層重復(fù)次數(shù)；Stride表示卷積的步幅。

表1 DeepLabV3+主干網(wǎng)絡(luò)Xception結(jié)構(gòu)Table 1 DeepLabV3+ backbone network Xception structure

Xception中極致的Ⅰnception模塊的輸出卷積圖，設(shè)Stride為1，padding如（1）所示：

其計(jì)算量為：DK×DK×M×N×DF×DF，M表示輸入通道數(shù)，N表示輸出通道數(shù)，DK表示卷積核大小，DF表示輸出特征圖大小。

MobileNetV2 的深度可分離卷積對(duì)每個(gè)通道使用一種卷積核，padding可以寫為：

其計(jì)算量為：DK×DK×M×DF×DF，經(jīng)過逐點(diǎn)卷積以后，深度可分離卷積的計(jì)算量變?yōu)椋篋K×DK×M×DF×DF+M×N×DF×DF。分析兩者計(jì)算量可得：MobileNetV2相較于Xception少了8~9倍的計(jì)算量。

為了進(jìn)一步提高實(shí)時(shí)性，且使MobileNetV2更加契合分割任務(wù)，在MobileNetV2 的基礎(chǔ)上截取其前八層，以減少特征圖的通道數(shù)量，從而降低資源消耗，提高實(shí)時(shí)性。將MobileNetV2 七層和八層的普通卷積換為空洞卷積，并把第七層的步長改為1。優(yōu)化后的Mobile-NetV2網(wǎng)絡(luò)結(jié)構(gòu)如表2所示。

表2 優(yōu)化后的MobileNetV2網(wǎng)絡(luò)各層結(jié)構(gòu)Table 2 Ⅰmproved layer structure of MobileNetV2 networks

其釋義與表1相同。對(duì)比表1和表2可得出以下結(jié)論：

（1）DeepLabV3+模型原有主干結(jié)構(gòu)Xception 的通道數(shù)最高可達(dá)2 048，而改進(jìn)后的MobileNetV2 模塊各層通道數(shù)明顯減少，最高僅達(dá)到320，因此能極大地減少開銷，增加實(shí)時(shí)性。

（2）Xception模塊計(jì)算過程零散，特征提取效率較低，而改進(jìn)后的MobileNetV2模塊層數(shù)相對(duì)較少，計(jì)算過程相對(duì)聚集，可以更快收斂，有助于網(wǎng)絡(luò)的遷移和訓(xùn)練。

因此，采用MobileNetV2作為PLM的主干網(wǎng)絡(luò)更符合自動(dòng)駕駛高精度、低消耗和高實(shí)時(shí)性的要求。

1.3 并行特征處理結(jié)構(gòu)

自動(dòng)駕駛過程中有大量不規(guī)則圖像數(shù)據(jù)需要處理，因此高精度和實(shí)時(shí)性都需要得到更好的保障，以此保證駕駛安全。為此PLM引入了雙注意力機(jī)制，計(jì)算分配注意力權(quán)重以指導(dǎo)特征學(xué)習(xí)，在極大增加模型特征表達(dá)能力的同時(shí)，重點(diǎn)關(guān)注重要特征和類別，抑制非必要的特征與類別。并將雙注意力模塊與ASPP并行放置組成并行特征處理結(jié)構(gòu)，使PLM在保留ASPP模塊多個(gè)比例捕捉圖像信息的同時(shí)，選擇性地聚合每個(gè)位置的特征以及再分配卷積信道之間的資源。圖2為并行特征處理結(jié)構(gòu)圖。

圖2 并行特征處理結(jié)構(gòu)圖Fig.2 Parallel feature extraction structure diagram

位置注意力模塊（position attention module，PAM）計(jì)算過程如下式：

最終輸出特征Pj除了其原始特征外，還聚合了特征圖位置的特征，使得網(wǎng)絡(luò)即使沒有學(xué)習(xí)到新的特征也不會(huì)丟失原始特征信息。

信道注意力模塊（channel attention module，CAM）計(jì)算過程表示如下式：

每個(gè)卷積核對(duì)應(yīng)通道的最終結(jié)果特征Pj是所有通道的特征與從原始骨干網(wǎng)獲得的局部特征的集成。CAM可以利用所有通道的空間信息之間的相關(guān)性和依賴性來重新調(diào)整特征圖，以增強(qiáng)特征的可辨別性。

綜上所述，PLM 模型通過雙注意力機(jī)制模塊和ASPP模塊，可以更有效地學(xué)習(xí)環(huán)境特征，提高圖像的分割精度，從而更好地保障自動(dòng)駕駛行駛安全。

2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)采用公開數(shù)據(jù)集Cityscapes，使用深度學(xué)習(xí)框架Pytorch，實(shí)驗(yàn)的軟硬件配置如表3所示。

表3 實(shí)驗(yàn)軟硬件配置Table 3 Experimental hardware and software configuration

2.2 定量評(píng)估指標(biāo)

使用平均交并比（mⅠoU）、類別平均像素準(zhǔn)確率（MPA）、時(shí)延（latency）作為定量指標(biāo)。下面分別對(duì)這三個(gè)指標(biāo)進(jìn)行介紹。

（1）平均交并比（mⅠoU）

該指標(biāo)分別對(duì)每個(gè)標(biāo)注類別計(jì)算其交并比（ⅠoU），然后再求所有類別的交并比的平均值。mⅠoU的值越大，代表分割精度越高。mⅠoU的計(jì)算公式如式（7）所示：

（2）類別平均像素準(zhǔn)確率（MPA）

MPA 分別對(duì)每個(gè)標(biāo)注類別計(jì)算像素準(zhǔn)確率，然后再對(duì)所有類別的像素準(zhǔn)確率求均值。MPA 的值越大，圖像分割性能越好。MPA的計(jì)算公式如式（8）所示：

（3）時(shí)延（latency）

在表3所列的軟硬件配置下，模型對(duì)圖像進(jìn)行分割的平均耗時(shí)。

2.3 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)設(shè)計(jì)共分為三個(gè)部分：

（1）分析模型整體結(jié)構(gòu)，對(duì)不同模型結(jié)構(gòu)進(jìn)行對(duì)比分析。

（2）為了驗(yàn)證改進(jìn)后的網(wǎng)絡(luò)模型分割性能，在相同的實(shí)驗(yàn)環(huán)境下，對(duì)改進(jìn)前后的模型進(jìn)行對(duì)比。

（3）將PLM 與近年來提出的經(jīng)典語義分割模型進(jìn)行定量對(duì)比。

2.3.1 模型結(jié)構(gòu)分析

模型的結(jié)構(gòu)、各模塊間的相互位置以及模型的參數(shù)都會(huì)嚴(yán)重影響最終的分割效果。因此本小節(jié)針對(duì)以上這些影響因素進(jìn)行了對(duì)比實(shí)驗(yàn)及分析，具體如下：

（1）DAM模塊與ASPP模塊的連接方式會(huì)直接影響模型對(duì)特征的提取效果，進(jìn)而影響最終分割結(jié)果的準(zhǔn)確性。表4是兩個(gè)模塊不同連接方式的對(duì)比。

表4 不同方式連接DAM與ASPP的性能對(duì)比Table 4 Comparison of DAM and ASPP performance under different connections

由表4 可知，無論DAM 與ASPP 是串聯(lián)還是并聯(lián)，對(duì)模型性能都有促進(jìn)作用，且并聯(lián)結(jié)構(gòu)性能優(yōu)于串聯(lián)結(jié)構(gòu)。當(dāng)Stride 為8 時(shí)，DAM 對(duì)網(wǎng)絡(luò)的提升比Stride 為16時(shí)更加明顯。所以PLM選擇Stride為8的并聯(lián)結(jié)構(gòu)。

（2）ASPP 模塊的rate 值會(huì)直接影響空洞卷積中各個(gè)元素之間的距離，進(jìn)而影響分割精準(zhǔn)度，而模型的參數(shù)量也會(huì)受到ASPP 通道數(shù)量的影響。因此，為了降低消耗、提高實(shí)時(shí)性，對(duì)ASPP中的rate組合和通道數(shù)量進(jìn)行了實(shí)驗(yàn)，如表5所示。

表5 ASPP不同rate值下性能對(duì)比Table 5 ASPP performance comparison of different rates

由表5可知，rate值的改變對(duì)模型性能影響不大，而通道數(shù)量對(duì)模型性能有較大影響。當(dāng)通道數(shù)從256 減少為128 時(shí)，模型性能稍有下降，但參數(shù)量僅為原參數(shù)量的二分之一，使得所占用的系統(tǒng)資源和時(shí)間也極大減少。通過分析實(shí)驗(yàn)數(shù)據(jù)可得，當(dāng)rate為1、6、12、18，通道數(shù)為128時(shí)，PLM整體性能最好。

2.3.2 模塊性能分析

為了更好地體現(xiàn)PLM 各模塊的作用，實(shí)驗(yàn)中將模型分為三類，分別是Xception+ASPP（DeeplabV3+）、MobileNetV2+ASPP 以及MobileNetV2+PFES（PLM），并對(duì)這三類模型分別進(jìn)行比較和分析。

PLM在Cityscapes數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)，其損失函數(shù)和mⅠoU的變化分別如圖3、4所示。

圖3 損失函數(shù)變化曲線Fig.3 Loss function change curve

由圖3 所知，損失值在40 輪迭代后趨于穩(wěn)定，其中MobileNetv2+ASPP 模型最終損失值最大，PLM 次之，而Xception+ASPP模型最終損失值最小。同時(shí)分析圖4可以得出，在Cityscapes 數(shù)據(jù)集上，MobileNetV2+ASPP模型mⅠoU 達(dá)到了70.59%，Xception+ASPP 模型達(dá)到了74.35%。而在此基礎(chǔ)上，通過并行特征提取結(jié)構(gòu)以及MobileNetV2 模塊用很小的計(jì)算代價(jià)使mⅠoU 提升到73.61%。

圖4 mⅠoU變化曲線Fig.4 mⅠoU change curve

表6是三種模型在分割精度、存儲(chǔ)空間以及平均時(shí)延等三個(gè)方面的實(shí)驗(yàn)對(duì)比數(shù)據(jù)。從表6 可知，PLM 模型相比MobileNetV2+ASPP模型mⅠoU提升了3.02個(gè)百分點(diǎn)。而在存儲(chǔ)空間和平均時(shí)延方面，PLM 比Mobile-NetV2+ASPP 模型多了55.94 MB 的存儲(chǔ)空間和7 ms 的時(shí)延，比Xception+ASPP 模型減少3 083.26 MB 的存儲(chǔ)空間和225 ms的時(shí)延。

表6 三種模型性能指標(biāo)對(duì)比Table 6 Comparison of performance indicators of three models

結(jié)合圖3、4 以及表6 分析可知，使用MobileNetV2作為主干模型可以在保持精度的同時(shí)，大幅度減少模型參數(shù)量、時(shí)延和系統(tǒng)性能消耗，提高了實(shí)時(shí)性。并且本文所提出的并行特征提取結(jié)構(gòu)對(duì)模型的分割精度和整體性能都有較大提升。

2.3.3 本文模型與經(jīng)典模型的定量對(duì)比

將PLM與FCN、DFN 和PSPNet[21]等模型在分割精度與實(shí)時(shí)性方面進(jìn)行定量對(duì)比。在Cityscapes 數(shù)據(jù)集下，不同模型得到的mⅠoU、類別平均像素準(zhǔn)確率和時(shí)延結(jié)果，如表7所示。

表7 本文模型與經(jīng)典模型對(duì)比Table 7 Comparison of proposed model with classical model

在對(duì)比實(shí)驗(yàn)中，統(tǒng)一輸入圖像像素為512×512，DeeplabV3+、MobileNetV2+ASPP以及PLM的mⅠoU分別排在第3、4、6名，但在實(shí)時(shí)性要求（＞30 FPS）和時(shí)延方面，MobileNetV2+ASPP和PLM表現(xiàn)優(yōu)于其他模型。表7中mⅠoU最高的是PSPNet模型，但其時(shí)延高達(dá)3 384 ms，實(shí)時(shí)幀率僅0.3，DFN 也是如此，時(shí)延高達(dá)1 248 ms，這都遠(yuǎn)遠(yuǎn)達(dá)不到實(shí)時(shí)處理要求。而PLM 能夠?qū)ⅠoU 保持在73.61%的情況下，達(dá)到39.7 FPS 的實(shí)時(shí)幀率，所消耗的時(shí)間僅為PSPNet的0.74%，DFN的2.00%。且對(duì)于其他經(jīng)典模型，無論是在分割精度還是實(shí)時(shí)處理方面，PLM 模型都更為出色。因此，PLM 模型更適用于自動(dòng)駕駛這種需要兼顧高精度和高實(shí)時(shí)性的復(fù)雜情形。

3 總結(jié)

本文設(shè)計(jì)了輕量級(jí)交通場(chǎng)景圖像分割模型PLM，該模型能在保證語義分割高精度的情況下，極大地減少模型參數(shù)量以及語義分割所消耗的系統(tǒng)資源與時(shí)間。首先，使用MobileNetV2 進(jìn)行初級(jí)特征處理，精簡上采樣過程，有效減少網(wǎng)絡(luò)參數(shù)量，以便于網(wǎng)絡(luò)遷移和訓(xùn)練；然后，引入雙注意力機(jī)制選擇性地聚合每個(gè)位置的特征，并再分配卷積信道之間的資源，最后設(shè)計(jì)并行特征提取結(jié)構(gòu)，多個(gè)比例捕捉圖像信息，更有效地學(xué)習(xí)環(huán)境特征。實(shí)驗(yàn)結(jié)果表明，PLM模型在Cityscapes數(shù)據(jù)集下mⅠoU 達(dá)到73.61%，處理一張512×512 的圖片僅需25 ms，相較于傳統(tǒng)語義分割模型極大地減少了網(wǎng)絡(luò)參數(shù)量與消耗時(shí)間。