王大方，劉 磊，曹 江，趙 剛，趙文碩，唐 偉

（1.哈爾濱工業(yè)大學(xué)（威海）汽車工程學(xué)院，威海 264200；2.陸軍裝甲兵學(xué)院兵器與控制系，北京 100072）

前言

自動駕駛能夠有效降低出行成本，提升車輛利用率。同時可以有效減少交通擁堵，進而提升通行效率。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)尤其是基于卷積神經(jīng)網(wǎng)絡(luò)的圖像語義分割得到了飛速的發(fā)展，在很大程度上提高了圖像語義分割的精度，與傳統(tǒng)的分割算法相比，基于深度學(xué)習(xí)的語義分割可以自動地學(xué)習(xí)圖像的特征，大大提升了圖像分割的精確度，降低了自動駕駛使用語義分割技術(shù)的門檻。

自動駕駛車輛必須了解其周圍環(huán)境，即道路上的各種車輛、行人、車道、交通標(biāo)志或交通燈等?；谏疃葘W(xué)習(xí)的語義分割方法是實現(xiàn)這一目標(biāo)的關(guān)鍵，因為深度神經(jīng)網(wǎng)絡(luò)在檢測和多類識別任務(wù)中具有驚人的準(zhǔn)確性。車輛在道路上如果能對攝像頭采集的圖片或視頻進行精確且快速的語義理解，就能在很大程度上對障礙躲避、路徑規(guī)劃等做出指導(dǎo)，這為自動駕駛提供了成本相對較低、部署較簡易的信息補充。所以，穩(wěn)定精確的語義分割結(jié)果為自動駕駛提供了豐富可靠的數(shù)據(jù)支持。綜上所述，圖像語義分割在自動駕駛領(lǐng)域有著非常重要的應(yīng)用潛力。

在自動駕駛一些需要低延遲操作的應(yīng)用中，語義分割方法的計算成本仍然非常有限。因為需要在精確的時間間隔內(nèi)做出決定。所以，有必要改進分割網(wǎng)路的模型，讓其能夠以適當(dāng)?shù)木葘崟r執(zhí)行高效的分割任務(wù)。本文中從精度和速度性能方面去考慮改進語義分割網(wǎng)絡(luò)的結(jié)構(gòu)，并通過實驗驗證算法在自動駕駛技術(shù)上應(yīng)用的可行性。

1 相關(guān)研究

圖像分割一直以來都是圖像研究中的一個重點和難點，之前的圖像分割方法多數(shù)是利用數(shù)學(xué)、拓?fù)鋵W(xué)或數(shù)字圖像處理等方法，深度學(xué)習(xí)方法對圖像分割方法產(chǎn)生了巨大的影響。自動駕駛車輛必須了解其周圍環(huán)境，現(xiàn)階段的基于深度學(xué)習(xí)的圖像語義分割結(jié)構(gòu)主要有編碼器-解碼器結(jié)構(gòu)、多分支結(jié)構(gòu)等，利用金字塔結(jié)構(gòu)提取深層語義信息，能夠解決深層語義信息利用率較低的問題，從而對圖像進行更加精確有效的分割。

1.1 傳統(tǒng)分割方法

傳統(tǒng)的圖像分割方法主要有基于閾值的分割方法、基于邊緣檢測的圖像分割方法、基于區(qū)域的圖像分割方法等?；陂撝档姆指罘椒ㄊ亲顬榛A(chǔ)的圖像分割方法，這類方法最重要的就是怎么去選取合適的閾值，它具有計算效率高、計算速度快和計算簡單等優(yōu)點，但是，也存在分割精度差、出錯率高等缺點。比較著名的基于閾值的分割方法有大律法，又稱最大類間方差法（OTSU）［1］，它是1979年由日本學(xué)者大津所提出來的，是一種自適應(yīng)的閾值確定方法。根據(jù)圖像的灰度特性將圖像目標(biāo)和背景分為兩個部分，目標(biāo)和背景的類間方差和構(gòu)成圖像的兩部分的差別成正比。由于圖像的目標(biāo)和背景在邊界處的灰度值變換通常非常劇烈，通過利用圖像目標(biāo)和背景的邊緣灰度不連續(xù)的這一屬性，檢測各個目標(biāo)區(qū)域的分界線，就能夠?qū)D像的目標(biāo)區(qū)域分割提取出來?；谶吘墮z測的分割方法通過求解相鄰圖像像素的1階導(dǎo)數(shù)的極值點或是2階導(dǎo)數(shù)的零點來作為檢測目標(biāo)的邊界點。常見的通過求1階導(dǎo)數(shù)的極值點來提取邊緣點的方法有Roberts算子、Prewitt算子、梯度算子和Sobel算子法等［2］?；趨^(qū)域的圖像分割方法更加關(guān)注目標(biāo)區(qū)域的內(nèi)部特征相似性，通過利用目標(biāo)區(qū)域和背景區(qū)域之間的屬性差來對圖像進行分割。利用相同目標(biāo)與背景之間的內(nèi)部特征具有相似性和不同的目標(biāo)與背景之間的特征具有不連續(xù)性的特點來實現(xiàn)。該方法成功解決了圖像在分割過程中不連續(xù)的缺點，但同時也存在圖像在分割過程中出現(xiàn)過度分割的缺點。常見的基于區(qū)域的圖像分割方法有區(qū)域生長算法、區(qū)域分裂合并法和分水嶺分割算法等［3］。

1.2 基于深度學(xué)習(xí)的分割方法

常見的基于深度學(xué)習(xí)的圖像語義分割方法有3種結(jié)構(gòu)，包括基于編碼器-解碼器結(jié)構(gòu)的語義分割方法、基于多分支結(jié)構(gòu)分語義分割方法和基于金字塔結(jié)構(gòu)的語義分割方法［4］。

第一種語義分割網(wǎng)絡(luò)基于編碼器-解碼器體結(jié)構(gòu)的網(wǎng)絡(luò)，代表性的例子是ENet［5］。其中編碼器模塊使用卷積層和池化層來執(zhí)行特征提取，解碼器模塊從子分辨率特征中恢復(fù)空間細(xì)節(jié)，同時預(yù)測對象標(biāo)簽（即語義分割）。編碼器模塊的標(biāo)準(zhǔn)選擇是一個CNN主 干網(wǎng)絡(luò)，如VGG16［6］、ResNet［7］、GoogleNet［8］等。解碼器模塊的設(shè)計通常包括基于雙極插值或轉(zhuǎn)置卷積的上采樣層。

為了設(shè)計高效且同時精確的模型，人們提出了雙分支和多分支網(wǎng)絡(luò)。與單分支編碼器不同，雙分支網(wǎng)絡(luò)使用深分支編碼高級語義上下文信息，使用淺分支編碼更高分辨率的豐富空間細(xì)節(jié)。在同一概念下，多分支體系結(jié)構(gòu)集成了處理輸入圖像不同分辨率（高、低和中）的分支。但是，從不同分支提取的特征必須合并才能進入分割圖。為此，兩個分支網(wǎng)絡(luò)引入了一個融合模塊來組合編碼分支的輸出。融合模塊可以是通過串聯(lián)或加法連接輸出特征的特征融合模塊、聚合層（BiSeNet V2）［9］、雙邊融合模塊（DDRNet）［10］或級聯(lián)特征融合單元（ICNet）［11］。

為了提高深層語義信息的利用率，獲取多尺度的語義信息，又有學(xué)者提出了金字塔模塊，常見的有兩種類型，在PSPNet［12］和PANet［13］中，作者使用不同尺寸和不同步長的卷積核來獲取不同分辨率的特征圖，在DeepLab［14］系列中，作者通過在各個分支使用不同的卷積來處理特征圖從而獲得不同分辨率的語義信息，使用不同膨脹率的膨脹卷積來完成相關(guān)的操作。DenseASPP［15］使用了更加密集的膨脹率的膨脹卷積來進行操作。這些方法在通過獲取圖像的多尺度語義信息，一定程度上提高圖像語義分割的精度。

2 網(wǎng)絡(luò)的設(shè)計

2.1 整體網(wǎng)絡(luò)設(shè)計

本文中提出了一種多分支的語義分割網(wǎng)絡(luò)模型，具體網(wǎng)絡(luò)結(jié)果如圖1所示，首先利用RseNet18作為網(wǎng)絡(luò)的特征提取基準(zhǔn)網(wǎng)絡(luò)模塊。ResNet18是由1個7×7的卷積層加上8個殘差模塊堆疊起的模塊。隨著網(wǎng)絡(luò)的加深，殘差模塊能夠有效解決深層網(wǎng)絡(luò)的退化問題。相比于VGG16在性能上能夠有較大的提升。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)

在ResNet18網(wǎng)絡(luò)的輸出端利用空洞空間池化金字塔改進網(wǎng)絡(luò)的下采樣結(jié)構(gòu)，獲取圖像多尺度語義信息。網(wǎng)絡(luò)的其中一個分支是由3個卷積、BN和ReLu層構(gòu)成，圖片經(jīng)過該模塊之后其尺寸縮小為原來的1/8，得到的特征圖含有非常豐富的圖像空間信息，能夠盡可能地保留圖片的細(xì)節(jié)信息。網(wǎng)絡(luò)的另外一個分支是由改進后的ResNet18和空洞空間池化金字塔模塊組成，主要用于圖像深層語義信息的提取，空洞空間池化金字塔結(jié)構(gòu)用于獲得深層特征的多尺度的圖像語義信息。ARM模塊的主要作用是用來優(yōu)化每一個階段的圖像特征，同時他的計算成本也比較小。ARM中使用的全局平均池化能夠很好地整合全局空間信息，提高網(wǎng)絡(luò)的魯棒性，同時全局池化沒有參數(shù)，可以降低網(wǎng)絡(luò)參數(shù)，防止網(wǎng)絡(luò)的過擬合。FFM模塊是為了將淺層語義信息和深層語義信息進行融合，能夠起到特征選擇和特征融合的作用。

2.2 網(wǎng)絡(luò)模塊優(yōu)化

本文在ASPP和ARM結(jié)構(gòu)的基礎(chǔ)上提出了一種新的特征提取結(jié)構(gòu)，該結(jié)構(gòu)有兩種類型，本文取名為A_ASPP_1和A_ASPP_2，結(jié)構(gòu)示意圖如圖2和圖3所示。在A_ASPP_1模塊中，輸入圖片通過一個常規(guī)的下采樣特征提取網(wǎng)絡(luò)，如ResNet、VGG16等，然后將輸出的特征圖通過空洞空間池化金字塔ASPP模塊獲取圖像的多尺度語義信息。將下采樣的子模塊輸出后通過注意力細(xì)化模塊ARM進行優(yōu)化，再與ASPP的輸出特征通過注意力細(xì)化模塊ARM后的均值進行疊加。ARM模塊能夠優(yōu)化每一個階段的特征，其使用了全局平均池化來獲取每一個階段的全局平均信息并指導(dǎo)特征學(xué)習(xí)［16］。在16倍下采樣階段的特征圖通過ARM得到優(yōu)化后的特征圖后，將優(yōu)化后的ASPP特征圖與優(yōu)化的16倍下采樣特征圖進行融合后加和輸出。該結(jié)構(gòu)主要對16倍下采樣和ASPP的輸出特征圖的輸出結(jié)構(gòu)進行優(yōu)化。A_ASPP_2的不同點在于將32倍下采樣的特征圖通過ARM模塊優(yōu)化后與空洞空間池化金字塔模塊輸出的均值進行加和后，再與優(yōu)化后的16倍下采樣特征進行疊加輸出。該結(jié)構(gòu)只對16倍和32倍下采樣的輸出特征圖進行了優(yōu)化。

圖2 A_ASPP_1結(jié)構(gòu)

圖3 A_ASPP_2結(jié)構(gòu)

圖中，4×down、8×down、16×down、32×down分別表示特征提取模塊對輸入圖片的4、8、16、32倍下采樣，ASPP表示空洞空間池化金字塔模塊，ARM表示特征優(yōu)化模塊。

2.3 空洞空間池化金字塔模塊

空洞空間池化金字塔模塊示意圖如圖4所示，該模塊是由一個1×1的卷積層、3個膨脹卷積層和一個池化層所組成。因為不同的膨脹率能夠獲得不用尺度的感受野，所以該結(jié)構(gòu)主要通過使用不同膨脹率的膨脹卷積來提取圖像的多尺度語義信息，而最后一個池化層是為了獲取圖像的全局特征。將獲取到的各種特征圖在深度方向進行堆疊再進行1×1卷積獲取圖像的多尺度語義信息。該模塊能夠有效提升深層語義信息的利用率，獲取圖像的多尺度語義信息，從而提升語義分割的精度［12］。

圖4 空洞空間池化金字塔模塊示意圖

2.4 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

本文使用ResNet18作為網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)，網(wǎng)絡(luò)編碼器和解碼器的具體結(jié)構(gòu)和參數(shù)如表1和表2所示。其中conv表示卷積操作，n×down表示n倍下采樣操作，其由殘差模塊堆疊而成實現(xiàn)，上采樣的實現(xiàn)為雙線性插值算法，ASPP為空洞空間池化金字塔結(jié)構(gòu)，conv_bn_relu分別表示卷積層、批量標(biāo)準(zhǔn)化和池化層，ARM表示注意力優(yōu)化模塊，F(xiàn)FM表示特征融合模塊。A_ASPP_1的結(jié)構(gòu)相比A_ASPP_2結(jié)構(gòu)在注意力優(yōu)化模塊ARM的使用處有所不一樣，優(yōu)化的子模塊不同，其余都相同。

表1 編碼器網(wǎng)絡(luò)結(jié)構(gòu)

表2 解碼器網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗驗證與結(jié)果分析

3.1 數(shù)據(jù)集簡介

本實驗所使用的數(shù)據(jù)集是VOC2012數(shù)據(jù)集，該數(shù)據(jù)集共有20個類別，包含行人、動物、自行車、火車、飛機、摩托車、自行車等常見的自動駕駛場景的類別圖像。數(shù)據(jù)集共有17 125張圖片，在圖像分割任務(wù)中，共有訓(xùn)練集約10 582張，同時包含圖片的語義標(biāo)注，驗證集1 449張，實驗過程中對數(shù)據(jù)集進行了隨機旋轉(zhuǎn)和裁剪增強處理。圖片的類別與標(biāo)簽如圖5所示。

圖5 VOC數(shù)據(jù)集圖像示例（從上到下：原圖；標(biāo)簽）

3.2 實驗平臺與超參數(shù)設(shè)置

使用該算法網(wǎng)絡(luò)需要完成對圖片的語義分割，其過程需要進行大量的矩陣計算，所以對設(shè)備具有較高的要求。本實驗在Ubuntu16.04的操作系統(tǒng)下使用當(dāng)前主流的深度學(xué)習(xí)框架Pytorch，利用python語言構(gòu)建網(wǎng)絡(luò)框架模型。CPU選用的型號為AMD Ryzen9 5950，硬件配置的GPU顯卡版本為Nvidia GTX 3090，使用的實驗平臺的內(nèi)存為芝奇DDR4 3 200 MHz 64 GB，同時使用了計算構(gòu)架CUDA11.1和GPU加速庫CUDNN進行高性能的并行計算。

在網(wǎng)絡(luò)訓(xùn)練的過程中，學(xué)習(xí)率是最重要的超參數(shù)之一，網(wǎng)絡(luò)訓(xùn)練過程中的初始化學(xué)習(xí)率設(shè)置為0.000 1。同時采用Warm Up的訓(xùn)練思想，在模型預(yù)訓(xùn)練階段，先使用較小的學(xué)習(xí)率訓(xùn)練一些Epochs，再修改為預(yù)先設(shè)置的學(xué)習(xí)率進行訓(xùn)練。這樣能夠使模型的收斂速度更快，提高模型的收斂效果。訓(xùn)練過程中對輸入圖片先進行預(yù)處理，對圖片進行隨機縮放再進行隨機翻轉(zhuǎn)和裁剪，最后進行填充到指定尺寸，同時進行平滑處理。這樣處理的作用是能夠增強模型的泛化能力，實驗最后選定尺寸為448×448。

另外，網(wǎng)絡(luò)使用當(dāng)前主流的優(yōu)化方法SGD優(yōu)化器對網(wǎng)絡(luò)的梯度進行更新，采用的損失函數(shù)為交叉熵?fù)p失。由于隨機梯度下降是連續(xù)的，且使用小批量，因此不容易并行化。使用更大的批量大小可以在更大程度上并行計算，因為可以在不同的工作節(jié)點之間拆分訓(xùn)練示例。這反過來可以顯著加快模型訓(xùn)練。然而，較大的Batch Size雖然能夠達到與較小的Batch Size相似的訓(xùn)練誤差，但往往對測試數(shù)據(jù)的泛化效果更差，綜合考慮本文選用的Batch Size為16。詳細(xì)的訓(xùn)練超參數(shù)如表3所示。

表3 實驗參數(shù)

3.3 實驗結(jié)果分析

本文采用的分割評價指標(biāo)是平均像素精度（mPA）和平均交并比（mIoU）。平均像素精度表示圖片中每個類中正確分類像素數(shù)的比例，然后再對其求平均，其定義見式（1）。平均交并比是圖像分割過程中真實值集合和預(yù)測值集合的交集和并集之比。IoU和mIoU的定義如式（2）和式（3）所示。

式中：k+1表示包括背景在內(nèi)的語義類別綜述；i表示真實值；j表示預(yù)測值；Pij表示將類別i預(yù)測為類別j的像素數(shù)量。

對于網(wǎng)絡(luò)速度的評價，本文采用每秒傳輸幀數(shù)（frames per second）作為評價指標(biāo)用于衡量模型的實時性能，表示網(wǎng)絡(luò)每秒分割圖像的數(shù)量。

為了驗證本文網(wǎng)絡(luò)的有效性，設(shè)置了模塊間的對比實驗，實驗的參數(shù)和環(huán)境設(shè)置都相同，實驗利用VOC2012數(shù)據(jù)集進行訓(xùn)練。訓(xùn)練集中常見的交通場景圖片實驗結(jié)果如表4所示。

表4 部分交通類別分割結(jié)果

從表中可以看出，本文提出的語義分割網(wǎng)絡(luò)能夠?qū)ψ詣玉{駛場景中各種位置的行人和常見的自行車、公交車、小汽車、摩托車等進行有效的分割?？梢钥闯鲂腥撕蛙囕v的分割結(jié)構(gòu)都能夠達到比較好的分割精度。實驗中部分人、自行車、公交、小轎車和摩托車等語義場景分割效果如圖6所示。

圖6 分割結(jié)果（從左到右：原圖；A_ASPP_1結(jié)果；A_ASPP_1結(jié)果；標(biāo)簽）

為了進一步說明本文設(shè)計的網(wǎng)絡(luò)有效性，本文在相同的超參數(shù)和訓(xùn)練環(huán)境下，使用VOC2012數(shù)據(jù)集訓(xùn)練相同的Epochs，對BiSeNet［16］網(wǎng)絡(luò)進行了復(fù)現(xiàn)處理，對復(fù)現(xiàn)結(jié)果與本文結(jié)果進行了對比實驗，實驗結(jié)果如表5所示。

表5 VOC2012數(shù)據(jù)集訓(xùn)練結(jié)果

從表中結(jié)果可以看出，本文設(shè)計的兩個模塊A_ASPP_1和A_ASPP_2都能有效提升圖像分割的精度，在VOC2012數(shù)據(jù)集上得到的71.8%和70.9%的平均交并比的訓(xùn)練結(jié)果，相對于現(xiàn)有圖像語義分割網(wǎng)絡(luò)BiSeNet，其在平均交并比上分別提升了2.1和1.2個百分點。同時在圖像的平均像素精度上也能夠達到91.9%和91.7%的結(jié)果，相比于現(xiàn)有語義分割網(wǎng)絡(luò)BiSeNet提升了0.8和0.6個百分點。相比于其他的語義分割算法，也能夠有效提升圖像的分割精度，實驗效果如圖7所示。在分割速度方面，A_ASPP_1和A_ASPP_2每秒分別能夠識別80和79張圖片，相比于BiSeNet有少量減少，分割速度有部分降低。綜上所述，改進的算法能夠在小范圍損失分割速度的基礎(chǔ)上，有效提升網(wǎng)絡(luò)的分割效果，實現(xiàn)語義分割在分割速度和分割精度上的平衡。

圖7 分割結(jié)果對比（從上到下：原圖；標(biāo)簽；BiseNet；A_ASPP_1；A_ASPP_2）

從圖中可以看出，本文所提出的算法對于各種交通場景中的行人和各種車輛能夠進行有效的分割，同時在相同的Backbone條件下，本文所提出的網(wǎng)絡(luò)能夠獲得更好的分割效果，對自動駕駛場景中的車輛和行人場景有著更加精確的分割效果，分割結(jié)果更加貼近標(biāo)簽值。

4 結(jié)論

本文在現(xiàn)有語義分割網(wǎng)絡(luò)的基礎(chǔ)上，利用空洞空間池化金字塔模塊進一步提取圖像的多尺度語義信息，然后利用注意力優(yōu)化模塊和特征融合模塊對圖像的深層語義信息和淺層語義信息進行融合，再進行上采樣輸出。相比于現(xiàn)有BiSeNet網(wǎng)絡(luò)而言，本文設(shè)計網(wǎng)絡(luò)能夠在損失少量分割速度的基礎(chǔ)上，使得圖像分割的平均交并比得到有效提升，分別提升了2.1和1.2個百分點，同時網(wǎng)絡(luò)有著更好的分割效果。

實驗結(jié)果表明，本文提出的兩種語義分割網(wǎng)絡(luò)模塊能夠有效地對自動駕駛場景類別的行人、自行車、公交、摩托車、汽車等圖像進行有效的分割。如何以更快的分割速度來實現(xiàn)更高的語義分割精度并應(yīng)用于實時語義分割領(lǐng)域，也是未來的重點研究方向之一。