谷湘煜,劉曉熠,周仁彬

(深圳市朗馳欣創(chuàng)科技股份有限公司成都分公司，成都 610000)

圖像語義分割是模式識(shí)別及計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)極為重要的研究課題，是計(jì)算機(jī)場(chǎng)景理解的核心技術(shù)之一[1]。所謂語義分割是根據(jù)圖像中的各個(gè)像素所表達(dá)語義含義的不同來進(jìn)行區(qū)分，將圖像劃分成不同的語義對(duì)象，即將圖像中各個(gè)像素進(jìn)行分類[2]。而隨著近幾年深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的不斷突破，語義分割技術(shù)被廣泛地應(yīng)用于各個(gè)領(lǐng)域，如自動(dòng)駕駛[3]、機(jī)器人自主導(dǎo)航[4]、醫(yī)學(xué)影像分析[5]等。對(duì)于自動(dòng)駕駛和機(jī)器人導(dǎo)航定位而言，基于道路場(chǎng)景的語義分割技術(shù)是實(shí)現(xiàn)自主行駛的重要輔助手段，通過對(duì)圖像中道路、行人、建筑等相關(guān)目標(biāo)進(jìn)行精確分割，為自動(dòng)駕駛汽車或機(jī)器人提供可靠的路況信息，進(jìn)而保障其能夠安全行駛。而在現(xiàn)實(shí)道路場(chǎng)景中，由于圖像中目標(biāo)相似性、場(chǎng)景復(fù)雜性以及圖像獲取質(zhì)量等因素都極大地限制了圖像分割的效果，無法較好地落地實(shí)際應(yīng)用中。由此可見，如何提高語義分割技術(shù)在道路場(chǎng)景中的應(yīng)用效果對(duì)于自動(dòng)駕駛以及機(jī)器人自主導(dǎo)航都是極具挑戰(zhàn)的研究課題，具有十分重要的研究意義以及實(shí)用價(jià)值。

為有效提升道路場(chǎng)景語義分割的效果，研究人員從不同角度進(jìn)行了大量的工作，并取得了不錯(cuò)的效果。根據(jù)語義分割技術(shù)發(fā)展演變歷程來看，這些工作可以大致分為傳統(tǒng)語義分割算法和基于深度學(xué)習(xí)的語義分割算法。傳統(tǒng)的語義分割算法主要根據(jù)圖像紅綠藍(lán)(red-green-blue，RGB)顏色、紋理、灰度、幾何形狀等特征信息將圖像分割成各個(gè)不同區(qū)域。Zhang等[6]提出了一種基于隨機(jī)森林語義分割算法，利用圖像局部特征直方圖探索語義上下文的相關(guān)性進(jìn)行建模，并通過利用隨機(jī)森林進(jìn)行分類加權(quán)構(gòu)建語義分割結(jié)果。Pont-Tuest等[7]通過將輪廓檢測(cè)方法與分離器結(jié)合，提出了修正共軛梯度(modified conjugate gradient，MCG)算法，利用輪廓檢測(cè)算法將圖像分割成多個(gè)塊狀再利用隨機(jī)分類器進(jìn)一步分割，實(shí)現(xiàn)圖像語義分割。傳統(tǒng)分割方法的結(jié)果相對(duì)粗糙，精度不高，但效率較高且實(shí)現(xiàn)較為簡(jiǎn)單。而基于深度學(xué)習(xí)的方法主要利用自主學(xué)習(xí)方式來提取圖像特征，通過不斷訓(xùn)練實(shí)現(xiàn)對(duì)圖像像素分類。Badrinarayanan等[8]提出基于編碼-解碼方式SegNet網(wǎng)絡(luò)，通過對(duì)圖像卷積編碼得到稀疏特征圖后再反卷積恢復(fù)成稠密分割圖。Xue等[9]提出了一種基于多層次函數(shù)、多尺度的生成對(duì)抗圖像分割網(wǎng)絡(luò)模型，通過利用判別器深入學(xué)習(xí)圖像分割過程中的局部屬性以及全局結(jié)構(gòu)，進(jìn)而獲取像素間的相對(duì)關(guān)系，實(shí)現(xiàn)像素分類?；谏疃葘W(xué)習(xí)的語義分割算法其分割精度與模型復(fù)雜度基本成正比，因此，相對(duì)于傳統(tǒng)方法盡管其精度較高，但模型效率以及可解釋性較差，這也一定程度限制了基于深度學(xué)習(xí)的語義分割方法落地。

針對(duì)上述情況，現(xiàn)借鑒傳統(tǒng)的圖像分割中特征提取技術(shù)與深度學(xué)習(xí)算法相結(jié)合，設(shè)計(jì)出一種多特征融合的道路場(chǎng)景語義分割網(wǎng)絡(luò)模型。該模型通過顏色空間轉(zhuǎn)化、灰度均衡、邊緣檢測(cè)、圖像銳化等傳統(tǒng)機(jī)器視覺處理方法來增強(qiáng)圖像關(guān)鍵信息，再利用深度可分離卷積提取目標(biāo)特征，同時(shí)結(jié)合邊緣檢測(cè)支路來細(xì)化圖像中各個(gè)目標(biāo)邊界，進(jìn)而實(shí)現(xiàn)高效分割。通過在公開標(biāo)準(zhǔn)道路場(chǎng)景數(shù)據(jù)集和實(shí)際變電站道路場(chǎng)景上的測(cè)試，有效驗(yàn)證所提模型的可行性以及實(shí)用性。

1 道路場(chǎng)景語義分割網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)整體框架

所設(shè)計(jì)的道路場(chǎng)景語義分割網(wǎng)絡(luò)模型整體結(jié)構(gòu)如圖1所示。該模型主要分為3個(gè)模塊：圖像特征增強(qiáng)模塊、語義分割子模塊以及邊緣檢測(cè)融合模塊。圖像特征增強(qiáng)模塊主要利用傳統(tǒng)計(jì)算機(jī)視覺圖像處理方法對(duì)原始圖像分別進(jìn)行顏色空間轉(zhuǎn)化、直方圖均衡化、邊緣檢測(cè)等操作，使輸入圖像中目標(biāo)信息更突出、邊界更清晰，并降低噪聲以及光照等因素的影響。語義分割子模塊主要利用卷積編碼結(jié)合跳層上采樣方式獲取初步語義分割結(jié)果。卷積編碼結(jié)構(gòu)采用深度可分離卷積對(duì)增強(qiáng)后的圖像進(jìn)行特征提取，保證網(wǎng)絡(luò)效率；而跳層上采樣通過逐步上采樣操作將深層特征與淺層融合，保障目標(biāo)準(zhǔn)確分割。邊緣檢測(cè)融合模塊則是通過學(xué)習(xí)各個(gè)目標(biāo)邊緣信息，再與初步分割結(jié)果圖融合，細(xì)化各目標(biāo)邊界信息，實(shí)現(xiàn)更精確的分割。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)框圖Fig.1 The structure diagram of network

1.2 特征增強(qiáng)模塊

圖像特征增強(qiáng)模塊主要是對(duì)圖像進(jìn)行預(yù)處理，傳統(tǒng)的針對(duì)深度學(xué)習(xí)的圖像預(yù)處理大多是對(duì)圖像進(jìn)行裁剪、旋轉(zhuǎn)、平移、模糊處理、高斯噪聲等操作，通過對(duì)圖像中的目標(biāo)進(jìn)行一定程度的破壞或引入噪聲的方式來模擬現(xiàn)實(shí)場(chǎng)景中攝像機(jī)可能采集到的圖像情況，同時(shí)也擴(kuò)充了數(shù)據(jù)集，進(jìn)而提升網(wǎng)絡(luò)識(shí)別精度以及泛化能力。而所設(shè)計(jì)的圖像特征增強(qiáng)模塊與上述傳統(tǒng)深度學(xué)習(xí)圖像預(yù)處理思路相悖，該模塊核心在于增強(qiáng)圖像中各個(gè)目標(biāo)特征信息，提高后續(xù)語義分割網(wǎng)絡(luò)對(duì)有效信息的獲取，并降低圖像噪聲對(duì)網(wǎng)絡(luò)的影響，從而提升對(duì)目標(biāo)的識(shí)別準(zhǔn)確率，模塊結(jié)構(gòu)如圖2所示。該模塊主要在圖像顏色空間、邊緣信息、對(duì)比度3個(gè)方面進(jìn)行增強(qiáng)，顏色空間除了RGB原圖外還引入了色調(diào)-飽和度-明度(hue-saturation-value，HSV)顏色空間，使網(wǎng)絡(luò)能從紅、綠、藍(lán)、色調(diào)、飽和度、明度6個(gè)顏色通道獲取目標(biāo)信息，使獲取的特征維度更高；邊緣信息通過邊緣檢測(cè)以及圖像銳化的方式進(jìn)行提升，考慮到算法檢測(cè)效率，采用Canny邊緣檢測(cè)和Laplacian圖像銳化算法；圖像對(duì)比度增強(qiáng)主要是利用灰度圖像直方圖均衡化算法，通過調(diào)整圖像各像素灰度來增強(qiáng)動(dòng)態(tài)范圍較小的圖像對(duì)比度，在一定程度上降低光照對(duì)圖像的影響。

圖2 特征增強(qiáng)結(jié)構(gòu)Fig.2 Feature enhancement structure

1.3 語義分割子模塊

目前，基于監(jiān)督學(xué)習(xí)的典型語義分割網(wǎng)絡(luò)大致分為以下幾類：基于擴(kuò)大感受野的網(wǎng)絡(luò)結(jié)構(gòu)(如DeepLab[10])、基于概率圖模型的網(wǎng)絡(luò)結(jié)構(gòu)(SegModel[11]、DFCN-DCRF[12])、基于特征融合的網(wǎng)絡(luò)結(jié)構(gòu)(如FCN[13]，ICNet[14]，APCNet[15])、基于編碼器-解碼器的網(wǎng)絡(luò)結(jié)構(gòu)(如SegNet[8]，UNet[16])、基于循環(huán)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)(如CRFasRNN[17])以及基于生成對(duì)抗網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)(如Segan[9])等。盡管網(wǎng)絡(luò)結(jié)構(gòu)不同，但其核心設(shè)計(jì)思路相似，即準(zhǔn)確獲取全局目標(biāo)類別和局部目標(biāo)邊緣特征信息并通過一定策略進(jìn)行融合?；诖嗽O(shè)計(jì)思路，搭建的道路場(chǎng)景的語義分割網(wǎng)絡(luò)采用多層卷積結(jié)合跳層上采樣的結(jié)構(gòu)來構(gòu)建。由于特征增強(qiáng)模塊增強(qiáng)了目標(biāo)間差異并細(xì)化目標(biāo)邊緣，因此語義分割子網(wǎng)絡(luò)關(guān)鍵在于盡量準(zhǔn)確獲取各目標(biāo)全局和局部信息。同時(shí)，考慮到網(wǎng)絡(luò)效率，網(wǎng)絡(luò)卷積部分采用深度可分離卷積對(duì)特征增強(qiáng)后的圖像進(jìn)行分層卷積再融合，對(duì)融合后的特征圖再由具體到抽象進(jìn)行逐層卷積操作，可以在保證效率的同時(shí)較好的獲取目標(biāo)特征；而跳層上采樣結(jié)構(gòu)則是通過上采樣的方式將深層次的目標(biāo)類別信息與淺層目標(biāo)邊界信息融合，從而實(shí)現(xiàn)語義分割。

語義分割子網(wǎng)絡(luò)主要分為卷積部分和上采樣部分，卷積部分由init結(jié)構(gòu)和多個(gè)stage模塊串聯(lián)構(gòu)成；上采樣部分由多個(gè)upsample跳層卷積構(gòu)成，如圖3所示。init結(jié)構(gòu)如圖3(a)所示，由卷積和池化兩條支路并列組成，卷積支路采用3×3深度卷積對(duì)特征增強(qiáng)后的圖像特征分別提??；池化支路采用2×2的最大池化操作提取目標(biāo)顯著信息。由于特征模塊增強(qiáng)模塊已經(jīng)對(duì)圖像進(jìn)行預(yù)處理，所以init結(jié)構(gòu)兩支路的操作皆設(shè)置步長(zhǎng)為2，使其在提取有效特征的同時(shí)盡可能提高網(wǎng)絡(luò)效率。stage模塊由多個(gè)子模塊堆疊而成，每個(gè)子模塊也由兩條支路組成，主要以深度可分離卷積為基礎(chǔ)，如圖3(b)所示。通過channel split操作將輸入特征圖均分成兩部分，其中一部分利用1×1卷積結(jié)合深度可分離卷積提取目標(biāo)信息；而另一部分特征圖不做任何操作與卷積后的特征進(jìn)行拼接，最后再利用channel shuffle操作混合特征之間信息，加強(qiáng)特征多樣性。對(duì)于stage與stage之間的連接則調(diào)整深度卷積步長(zhǎng)為2，并在無操作支路新增步長(zhǎng)為2的最大池化，如圖3(b)中虛線部分。上采樣部分如圖3(c)所示，主要通過將深層次的抽象類別信息逐步上采樣與相對(duì)淺層的邊緣信息融合。為了避免淺層信息噪聲的干擾，只融合了stage5～stage2的最后一層，保證關(guān)鍵信息的充分利用，同時(shí)，該方式也降低了網(wǎng)絡(luò)計(jì)算量，保證了網(wǎng)絡(luò)效率?？梢钥闯觯麄€(gè)語義分割子網(wǎng)絡(luò)都是以高效率的卷積操作和設(shè)計(jì)結(jié)構(gòu)為基礎(chǔ)，降低網(wǎng)絡(luò)對(duì)冗余信息的提取，保障整個(gè)語義分割網(wǎng)絡(luò)的整體效率。網(wǎng)絡(luò)具體結(jié)構(gòu)如表1所示。

圖3 特征提取模塊Fig.3 Feature extraction module

表1 語義分割子結(jié)構(gòu)Table 1 Semantic segmentation sub-structure

1.4 邊緣檢測(cè)融合模塊

通常，對(duì)于語義分割網(wǎng)絡(luò)而言，網(wǎng)絡(luò)對(duì)圖像中各目標(biāo)類別的識(shí)別相對(duì)準(zhǔn)確，而不同語義分割網(wǎng)絡(luò)之間精度的差距在于對(duì)各個(gè)目標(biāo)邊界的識(shí)別，準(zhǔn)確的邊緣信息可以很大程度提升分割精度。雖然特征增強(qiáng)模塊中引入了銳化和Canny邊緣檢測(cè)，但該操作不僅對(duì)目標(biāo)間的邊緣信息進(jìn)行了增強(qiáng)，也增強(qiáng)了目標(biāo)內(nèi)的邊界，同時(shí)隨著卷積操作的疊加，邊緣信息也存在不斷弱化的情況。基于此，設(shè)計(jì)了邊緣檢測(cè)融合模塊，如圖4所示。該模塊分為邊緣檢測(cè)和邊緣融合兩部分，邊緣檢測(cè)可以看作是語義分割子網(wǎng)絡(luò)的一個(gè)擴(kuò)展分支，用于識(shí)別目標(biāo)邊界，其詳細(xì)結(jié)構(gòu)如圖4(a)所示，首先提取特征增強(qiáng)模塊中Canny邊緣檢測(cè)圖像以及語義分割子網(wǎng)絡(luò)中各個(gè)階段的最后一層，利用點(diǎn)卷積進(jìn)行特征融合；然后，利用上采樣操作將不同維度的特征圖恢復(fù)至原圖大小，最后再通過點(diǎn)卷積融合各階段的特征信息。邊緣融合結(jié)構(gòu)如圖4(b)所示，主要是將邊緣檢測(cè)結(jié)果和語義分割子網(wǎng)絡(luò)的分割結(jié)果相融合，細(xì)化目標(biāo)邊界的同時(shí)也優(yōu)化目標(biāo)邊緣處各像素分類類別，進(jìn)而提升各目標(biāo)分割精度。具體融合過程首先利用concat操作對(duì)邊緣和分割結(jié)果進(jìn)行拼接；然后，采用3×3的多層卷積對(duì)兩路特征進(jìn)行融合，由于此時(shí)輸入圖像相對(duì)簡(jiǎn)單，為避免計(jì)算量過大，多次卷積特征圖的個(gè)數(shù)分別為8、16、32和64；最后再通過softmax函數(shù)對(duì)各個(gè)像素分類，得到最終的語義分割結(jié)果。

圖4 邊緣檢測(cè)融合模塊Fig.4 Edge detection fusion module

2 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證所設(shè)計(jì)網(wǎng)絡(luò)的有效性，采用CamVid和Cityscapes公開標(biāo)準(zhǔn)城市道路場(chǎng)景數(shù)據(jù)集以及實(shí)際變電站機(jī)器人巡檢道路場(chǎng)景數(shù)據(jù)集，分別在搭載NVIDIA Tian Xp的臺(tái)式機(jī)以及搭載NVIDIA Jetson TX2嵌入式平臺(tái)的變電站巡檢機(jī)器人上進(jìn)行測(cè)試驗(yàn)證。實(shí)驗(yàn)環(huán)境采用Ubuntu16.04操作系統(tǒng)，通過Caffe深度學(xué)習(xí)框架搭建本文所提的網(wǎng)絡(luò)結(jié)構(gòu)，為了較好地與同類網(wǎng)絡(luò)進(jìn)行對(duì)比，網(wǎng)絡(luò)訓(xùn)練時(shí)的超參數(shù)主要參考文獻(xiàn)[8、18-20]中的參超設(shè)置。

網(wǎng)絡(luò)訓(xùn)練過程中，采用SGD優(yōu)化器調(diào)整網(wǎng)絡(luò)參數(shù)；以step模式調(diào)整學(xué)習(xí)率，初始學(xué)習(xí)率設(shè)置為0.01，迭代3萬次之后每迭代10 000次學(xué)習(xí)率下降10倍；優(yōu)化算法采用Momentum動(dòng)量法，參數(shù)設(shè)置為0.9；權(quán)值衰減系數(shù)weight_decay設(shè)置為0.000 5。由于網(wǎng)絡(luò)中引入了邊緣檢測(cè)支路，因此，網(wǎng)絡(luò)訓(xùn)練時(shí)的損失為語義分割和邊緣檢測(cè)損失之和，損失函數(shù)都采用交叉熵?fù)p失函數(shù)進(jìn)行計(jì)算，區(qū)別在于邊緣檢測(cè)中圖像像素目標(biāo)類別只有兩類，即邊緣和背景；而語義分割則是實(shí)際圖像標(biāo)注的各目標(biāo)進(jìn)行分類。損失函數(shù)公式為

山洪災(zāi)害防御涉及社會(huì)的各個(gè)方面、各個(gè)部門，需要社會(huì)各部門通力協(xié)作。在統(tǒng)一規(guī)劃的基礎(chǔ)上逐步實(shí)現(xiàn)山洪災(zāi)害的綜合治理。水利部門要依法加強(qiáng)河道管理，加強(qiáng)水土保持、小河流治理，做好河道的清障劃界等工作。國(guó)土部門要指導(dǎo)居民主動(dòng)避災(zāi)建房，做好山洪地質(zhì)災(zāi)害的監(jiān)測(cè)預(yù)報(bào)等工作。氣象、水文、廣電等部門要利用現(xiàn)代先進(jìn)的設(shè)備，對(duì)每次暴雨信息在短時(shí)間內(nèi)及時(shí)通報(bào)，如遇災(zāi)害性暴雨，所在地區(qū)通過應(yīng)急系統(tǒng) (如警報(bào)器)等設(shè)備通知當(dāng)?shù)卣腿罕姟?/p>

(1)

(2)

Lall=Ledge+Lseg

(3)

式中：aj為像素屬于第j類的概率；T為類別數(shù)，邊緣檢測(cè)T為2，語義分割T為標(biāo)注目標(biāo)數(shù)；Sj為計(jì)算softmax值；yj為標(biāo)簽值；Ledge為邊緣檢測(cè)損失；Lseg為語義分割損失。

對(duì)于網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)，主要采用全局精度(G)、平均精度(C)、平均交并比(mIoU)以及網(wǎng)絡(luò)每秒處理幀數(shù)(FPS)來對(duì)網(wǎng)絡(luò)性能進(jìn)行度量。其計(jì)算公式為

(4)

(5)

(6)

(7)

2.1 標(biāo)準(zhǔn)數(shù)據(jù)集

CamVid數(shù)據(jù)集是由劍橋大學(xué)從駕駛汽車的角度采集的不同時(shí)間段的城市街道道路數(shù)據(jù)集。該數(shù)據(jù)集共有701張圖像，其中訓(xùn)練圖像有367張，驗(yàn)證圖像有101張，測(cè)試圖像有233張，標(biāo)注的目標(biāo)包含了道路、樹木、行人、車輛、建筑等11個(gè)類別，圖像大小為480×360。該數(shù)據(jù)集數(shù)量及圖像尺寸相對(duì)較小，可以快速驗(yàn)證網(wǎng)絡(luò)設(shè)計(jì)過程中各設(shè)計(jì)策略對(duì)網(wǎng)絡(luò)性能的影響。

Cityscapes數(shù)據(jù)集是另一個(gè)在語義分割領(lǐng)域廣泛使用的城市道路場(chǎng)景數(shù)據(jù)集，包含了多個(gè)城市不同季節(jié)、背景、場(chǎng)景的街景，涵蓋了現(xiàn)實(shí)城市街道中的各種復(fù)雜情況。該數(shù)據(jù)集包含5 000張高質(zhì)量標(biāo)注數(shù)據(jù)集，共19類目標(biāo)，將其中2 975張用于訓(xùn)練，500張用于驗(yàn)證，剩下的用于測(cè)試，圖像尺寸歸一化為512×256。該數(shù)據(jù)集與CamVid類似，但場(chǎng)景更為復(fù)雜，可以較好地驗(yàn)證所提網(wǎng)絡(luò)的泛化能力。

實(shí)驗(yàn)首先利用CamVid數(shù)據(jù)集在搭載Titan Xp的臺(tái)式機(jī)上測(cè)試了特征增強(qiáng)結(jié)構(gòu)中各個(gè)預(yù)處理操作以及邊緣檢測(cè)支路對(duì)網(wǎng)絡(luò)精度的影響，實(shí)驗(yàn)結(jié)果如表2所示。由表2可以看出，通過引入圖像增強(qiáng)模塊和邊緣檢測(cè)模塊對(duì)網(wǎng)絡(luò)精度都有較大的提升，而兩模塊結(jié)合后的網(wǎng)絡(luò)精度提升度最高，有效的驗(yàn)證了本文所提網(wǎng)絡(luò)的可行性。由于CamVid數(shù)據(jù)集中，圖像是基本為白天和傍晚采集，圖像光照強(qiáng)度差別較大，因此在引入直方圖均衡化操作后，降低了光照影響，網(wǎng)絡(luò)精度提升較為明顯；HSV顏色空間轉(zhuǎn)化的引入相當(dāng)于從另一個(gè)角度獲取圖像特征，主要是對(duì)RGB原圖的擴(kuò)充，盡管對(duì)網(wǎng)絡(luò)精度有一定提升，但提升較少；銳化和Canny邊緣檢測(cè)雖然引入了部分目標(biāo)內(nèi)邊界信息，但并不影響對(duì)整個(gè)圖像的分割精度的提升，而邊緣檢測(cè)支路則會(huì)弱化目標(biāo)內(nèi)的邊界而相對(duì)增強(qiáng)目標(biāo)間的邊界，對(duì)特征增強(qiáng)后的分割結(jié)果進(jìn)一步優(yōu)化處理，達(dá)到最優(yōu)分割效果。由實(shí)驗(yàn)結(jié)果也看出3種增強(qiáng)邊緣信息的策略并非冗余，而是相互之間特征互補(bǔ)。

表2 增強(qiáng)結(jié)構(gòu)測(cè)試結(jié)果Table 2 Feature enhancement structures test results

為更好地驗(yàn)證所提網(wǎng)絡(luò)的有效性，分別與多個(gè)同類型道路場(chǎng)景語義分割網(wǎng)絡(luò)進(jìn)行對(duì)比，對(duì)比結(jié)果如表3所示。

表3 CamVid數(shù)據(jù)集測(cè)試結(jié)果對(duì)比Table 3 CamVid dataset test results comparison

根據(jù)對(duì)比結(jié)果可以看出，本文網(wǎng)絡(luò)相對(duì)于傳統(tǒng)語義分割網(wǎng)絡(luò)(SegNet)，在精度與效率上都有較大提升，與當(dāng)前高精度和高效率網(wǎng)絡(luò)相比(ShuffleSeg/BiSiNet)，網(wǎng)絡(luò)以較小的時(shí)間代價(jià)，獲得了更高的精度，整個(gè)網(wǎng)絡(luò)有效地平衡了精度與效率之間的關(guān)系，使網(wǎng)絡(luò)能更好地落地實(shí)際應(yīng)用。

盡管所提網(wǎng)絡(luò)在CamVid數(shù)據(jù)集上有較好的表現(xiàn)，但該數(shù)據(jù)集相對(duì)簡(jiǎn)單，為了進(jìn)一步驗(yàn)證網(wǎng)絡(luò)在復(fù)雜場(chǎng)景中的性能，實(shí)驗(yàn)利用Cityscapes數(shù)據(jù)集對(duì)網(wǎng)絡(luò)的泛化能力進(jìn)行了驗(yàn)證，實(shí)驗(yàn)結(jié)果如表4所示。同時(shí)，網(wǎng)絡(luò)在CamVid和Cityscapes數(shù)據(jù)集上的分割效果如圖5所示。

表4 Cityscapes數(shù)據(jù)集測(cè)試結(jié)果對(duì)比Table 4 Cityscapes dataset test results comparison

根據(jù)圖5的測(cè)試結(jié)果可以看出，由于測(cè)試圖像的道路場(chǎng)景復(fù)雜度提高，使網(wǎng)絡(luò)的整體精度有所下降，但與其他網(wǎng)絡(luò)相比，本文網(wǎng)絡(luò)精度下降率相對(duì)較低，由此可見，本文網(wǎng)絡(luò)具有更好的泛化性能，可以更好地應(yīng)用于不同的道路場(chǎng)景中。

圖5 標(biāo)準(zhǔn)數(shù)據(jù)集測(cè)試結(jié)果Fig.5 Standard data set test results

2.2 變電站道路場(chǎng)景

通過公開標(biāo)準(zhǔn)數(shù)據(jù)集，可以較好地從理論角度對(duì)本文網(wǎng)絡(luò)進(jìn)行驗(yàn)證。為了進(jìn)一步測(cè)試網(wǎng)絡(luò)在現(xiàn)實(shí)場(chǎng)景中的落地情況，以變電站道路場(chǎng)景為實(shí)驗(yàn)環(huán)境，將網(wǎng)絡(luò)移植于搭載Jetson TX2的巡檢機(jī)器人平臺(tái)上，對(duì)機(jī)器人實(shí)際巡檢過程中的道路場(chǎng)景進(jìn)行語義分割。實(shí)驗(yàn)通過機(jī)器人搭載的相機(jī)獲取不同時(shí)間、光照、天氣的道路場(chǎng)景圖像約5 000張，利用labelme標(biāo)注工具將圖像中的目標(biāo)進(jìn)行人工標(biāo)注，主要包含道路、碎石、草、圍欄等6類目標(biāo)，并將圖像尺寸統(tǒng)一為480×360大小，最后以7∶1∶2的比例將數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，構(gòu)建變電站道路場(chǎng)景數(shù)據(jù)集。利用該數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，將收斂后的網(wǎng)絡(luò)應(yīng)用于巡檢機(jī)器人，在實(shí)際巡檢過程中進(jìn)行測(cè)試，測(cè)試結(jié)果如表5和圖6所示。

表5 變電站道路測(cè)試結(jié)果對(duì)比Table 5 Substation road test results comparison

圖6 變電站道路檢測(cè)效果Fig.6 Substation road detection results

根據(jù)上述實(shí)驗(yàn)結(jié)果可以看出，本文網(wǎng)絡(luò)可以有效地應(yīng)用于變電站場(chǎng)景中，而且由于變電站道路場(chǎng)景相對(duì)于城市街景較為簡(jiǎn)單，網(wǎng)絡(luò)的分割精度與當(dāng)前主流高精度網(wǎng)絡(luò)的分割精度不相上下。在效率方面，盡管受限于Jetson TX2嵌入式平臺(tái)性能，網(wǎng)絡(luò)處理效率降低，但對(duì)于巡檢速度相對(duì)較慢的變電站機(jī)器人而言，本文網(wǎng)絡(luò)也基本滿足其對(duì)實(shí)時(shí)性的需求，可以準(zhǔn)確高效地實(shí)現(xiàn)道路場(chǎng)景語義分割。

3 結(jié)論

針對(duì)目前道路場(chǎng)景語義分割領(lǐng)域存在的問題與挑戰(zhàn)，將傳統(tǒng)圖像處理方法與深度學(xué)習(xí)結(jié)合，提出了一種融合多特征的道路場(chǎng)景語義分割網(wǎng)絡(luò)。該網(wǎng)絡(luò)采用多種傳統(tǒng)圖像處理算法對(duì)原圖中的重要特征信息進(jìn)行提取和增強(qiáng)，保證后續(xù)特征提取的有效性和多樣性；然后，利用基于深度可分離卷積的高效率特征提取結(jié)構(gòu)對(duì)多維特征信息進(jìn)行提取融合，并通過跳層上采樣融合方式恢復(fù)目標(biāo)信息，保障了網(wǎng)絡(luò)的整體效率；同時(shí)，針對(duì)目標(biāo)邊緣特征引入了邊緣檢測(cè)網(wǎng)絡(luò)支路，細(xì)化目標(biāo)邊界的分割結(jié)果，進(jìn)一步提升網(wǎng)絡(luò)分割精度。通過在公開道路場(chǎng)景數(shù)據(jù)集測(cè)試結(jié)果表明，本文網(wǎng)絡(luò)以較小的計(jì)算代價(jià)最大化了分割精度，較好地平衡了網(wǎng)絡(luò)精度與效率。同時(shí)，在實(shí)際變電站巡檢機(jī)器人中，該網(wǎng)絡(luò)也能實(shí)現(xiàn)高效的道路場(chǎng)景語義分割，為機(jī)器人提供可靠的場(chǎng)景信息。

盡管本文網(wǎng)絡(luò)在道路場(chǎng)景語義分割取得了較好的結(jié)果，但仍有一些需要繼續(xù)研究的地方。在之后的工作中，將繼續(xù)探索如何以更少的計(jì)算量來獲取圖像多維特征；其次，將進(jìn)一步發(fā)掘傳統(tǒng)圖像算法與深度學(xué)習(xí)的結(jié)合點(diǎn)，將不同方法進(jìn)行優(yōu)勢(shì)互補(bǔ)，使網(wǎng)絡(luò)能應(yīng)用于更多的實(shí)際場(chǎng)景中。