葉 偉, 朱 明

(中國(guó)科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院, 合肥 230026)

近年來(lái), 隨著人工智能技術(shù)的蓬勃發(fā)展, 自動(dòng)駕駛成為最受歡迎的研究方向之一, 很多研究學(xué)者在此方向做出了突出的貢獻(xiàn). 車道線檢測(cè)作為無(wú)人駕駛中是最重要的模塊之一, 它可以為無(wú)人駕駛系統(tǒng)提供準(zhǔn)確的位置信息, 使得車輛在行駛過(guò)程中不會(huì)偏移規(guī)定的車道標(biāo)記線, 保證人車的安全. 目前, 在簡(jiǎn)單場(chǎng)景中車道線檢測(cè)算法的性能是能夠接受的. 但是, 在自然環(huán)境下存在許多不利條件, 例如其他車輛對(duì)車道線的遮擋、惡劣的天氣條件、長(zhǎng)時(shí)間被碾壓導(dǎo)致的車道線模糊等等, 使得車道線檢測(cè)成為具有挑戰(zhàn)性的工作.

目前的車道線檢測(cè)算法主要?jiǎng)澐譃閮煞N: 基于傳統(tǒng)特征提取的方法[1,2]和基于深度學(xué)習(xí)的方法[3]. 傳統(tǒng)的檢測(cè)算法利用車道線本身的結(jié)構(gòu)信息, 借助人為設(shè)計(jì)的低級(jí)特征(顏色特征[4]、線分割特征[5]、霍夫變換特征[6]等)識(shí)別車道線. 這種方法可以提取出簡(jiǎn)單環(huán)境下的車道線, 但是面對(duì)復(fù)雜的場(chǎng)景魯棒性較差. 而深度學(xué)習(xí)方法通過(guò)多層卷積學(xué)習(xí)圖像的高級(jí)特征, 然后對(duì)特征進(jìn)行分類完成檢測(cè)任務(wù). 這種方法由于需要大量的數(shù)據(jù)集進(jìn)行學(xué)習(xí), 對(duì)各種道路環(huán)境兼容性較好.

通常情況下, 基于CNN的方法都是把車道線檢測(cè)作為語(yǔ)義分割[7]的任務(wù)進(jìn)行逐像素的分類. 但是由于車道線的長(zhǎng)且窄的特性, 車道線的像素?cái)?shù)量遠(yuǎn)小于背景的像素?cái)?shù)量, 這種類別不平衡會(huì)導(dǎo)致分類的準(zhǔn)確率大打折扣. 同時(shí), 普通的語(yǔ)義分割方法并沒(méi)有考慮到車道線的空間相關(guān)性, 在提取特征階段無(wú)法學(xué)習(xí)車道線的精細(xì)特征, 導(dǎo)致檢測(cè)的準(zhǔn)確性進(jìn)一步降低. 此外, 車道線容易受到各種環(huán)境(如光線變化, 遮擋, 路面損壞等)的影響導(dǎo)致圖像中車道線的缺失, 由于普通的卷積神經(jīng)網(wǎng)絡(luò)只能提取到局部信息, 無(wú)法處理這種中斷的情況, 影響實(shí)際的檢測(cè)效果.

為了解決以上問(wèn)題, 大量的車道線檢測(cè)算法被提出, 其中一個(gè)比較經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)SCNN[8], 它將傳統(tǒng)的卷積層接層的連接形式的轉(zhuǎn)為特征圖中片連片(按行或者列切片)卷積的形式, 使得圖中像素相鄰行和列之間能夠傳遞信息. 這特別適用于檢測(cè)長(zhǎng)距離連續(xù)形狀的目標(biāo)或大型目標(biāo), 有著極強(qiáng)的空間關(guān)系但是外觀線索較差的目標(biāo). 但是其信息順序傳遞的方式十分耗時(shí), 并且行列之間長(zhǎng)距離的信息傳遞可能會(huì)丟失特征圖中的原有信息.

基于SCNN網(wǎng)絡(luò), 本文提出了特征聚合的模塊來(lái)學(xué)習(xí)特征圖中的空間相關(guān)性并且能夠更直接有效地傳遞像素之間的信息. 該方法依然是將特征圖按照行或者列切片, 被切片的特征圖經(jīng)過(guò)一維行卷積(或者列卷積)與非線性激活, 之后特征圖向某個(gè)方向(行切片向上或者向下, 列切片向左或者向右)平移固定步長(zhǎng)得到一個(gè)新的特征圖, 最后兩個(gè)特征圖做基于下標(biāo)方式的相加. 每一次迭代的時(shí)候都是將特征圖從4個(gè)方向(向上、向下、向左、向右)偏移聚合, 經(jīng)過(guò)多次迭代實(shí)現(xiàn)水平以及垂直方向上的特征聚合, 使得特征圖中每個(gè)像素都能獲取整個(gè)特征圖的空間信息.

1 相關(guān)工作

1.1 車道線檢測(cè)

深度學(xué)習(xí)的方法有較強(qiáng)的兼容性, 通過(guò)端到端的方法能夠有效學(xué)習(xí)車道線的特征. Huval等人[9]首次將CNN方法應(yīng)用于車道線檢測(cè). Lee等人[10]提出了一種利用車道消失點(diǎn)同時(shí)檢測(cè)車道和路標(biāo)的多任務(wù)CNN.Pizzati等人[11]級(jí)聯(lián)實(shí)例分割網(wǎng)絡(luò)和分類網(wǎng)絡(luò), 以檢測(cè)帶有類型的車道. Philion[12]采用ResNet50[13]自動(dòng)回歸車道線的曲線表示, 而不是對(duì)車道進(jìn)行分割, 從而可以檢測(cè)道路上任意數(shù)量的車道. De Brabandere等人[14]提出了一種通用的實(shí)例分割網(wǎng)絡(luò), 通過(guò)聚類快速后處理的特征達(dá)到檢測(cè)車道線的效果. 該網(wǎng)絡(luò)通過(guò)判別損失函數(shù)學(xué)習(xí)到一個(gè)從圖像空間到特征空間的映射, 該映射滿足同一實(shí)例的像素在特征空間中距離較近, 否則距離較遠(yuǎn)的條件. Neven等人[15]提出了一種復(fù)雜的網(wǎng)絡(luò), 包括車道分割子網(wǎng)絡(luò)、像文獻(xiàn)[14]那樣的像素嵌入子網(wǎng)絡(luò)和透視變換網(wǎng)絡(luò). 采用迭代聚類所預(yù)測(cè)出的車道掩碼和特征得到車道實(shí)例. 最后, 對(duì)所學(xué)的透視變換中的每個(gè)車道實(shí)例擬合一個(gè)三階多項(xiàng)式, 但是沒(méi)有充分利用特征圖的空間信息, 對(duì)于一些復(fù)雜的車道線檢測(cè)效果欠佳.

Pan等人[8]設(shè)計(jì)了一種稱為空間CNN (SCNN)的特殊層來(lái)分割道路車道線. SCNN是一種特殊的3D操作, 有助于信息沿著行/列傳遞, 并將感受野擴(kuò)大到整個(gè)圖像. 這對(duì)于車道識(shí)別是有用的, 因?yàn)橛行┸嚨揽赡軙?huì)充斥在整個(gè)圖像中, 但是SCNN是在同一層相鄰的片之間進(jìn)行信息傳遞, 這種順序的信息傳遞方法使其計(jì)算花費(fèi)較大, 并且可能隨著傳播距離的延長(zhǎng), 導(dǎo)致信息的丟失.

Hou等人[16]提出了一種新的模塊自注意力蒸餾(SAD), 讓ENet編碼器[17]學(xué)習(xí)兩個(gè)相鄰ENet編碼器之間的自我注意, 并分割出固定的車道線數(shù)量. 由于只在訓(xùn)練的時(shí)候使用SAD, 因此推理時(shí)間較少, 但是對(duì)于特征圖的空間信息利用不足.

為了降低計(jì)算量, 加快檢測(cè)速度, Yoo等人[18]將車道線檢測(cè)問(wèn)題轉(zhuǎn)換為逐行的分類任務(wù), 并以一種端到端的方法執(zhí)行預(yù)測(cè). Qin等人[19]提出的基于先驗(yàn)結(jié)構(gòu)的深度車道線檢測(cè)方法, 速度十分快, 其將車道線的檢測(cè)問(wèn)題視為逐行的分類問(wèn)題, 并提出了結(jié)構(gòu)損失去利用車道線的結(jié)構(gòu)模型. 但是由于沒(méi)有有效利用高級(jí)特征的全局信息, 對(duì)于特殊環(huán)境(遮擋、低光照等)下的車道線檢測(cè)效果并不是很理想.

由于車道線細(xì)長(zhǎng)的結(jié)構(gòu)特性, 關(guān)于圖像的上下文空間信息的使用是很必要的, 并且許多網(wǎng)絡(luò)也嘗試?yán)每臻g信息來(lái)提升網(wǎng)絡(luò)性能. 在文獻(xiàn)[20]中, 長(zhǎng)短期記憶網(wǎng)絡(luò)被應(yīng)用于處理車道線結(jié)構(gòu)的長(zhǎng)線性檢測(cè). Bell等人[21]探索循環(huán)神經(jīng)元網(wǎng)絡(luò)(RNN)的運(yùn)用. 循環(huán)神經(jīng)元網(wǎng)絡(luò)能夠有效收集上下文信息.

1.2 本文工作

首先, 本文基于SCNN模塊, 提出了空間特征聚合模塊. SCNN模塊將特征圖按行或者列切成特征片, 每個(gè)特征片依次進(jìn)行信息的傳遞, 因而比較耗時(shí). 本文的空間特征聚合模塊以并行的方式傳遞信息, 首先將特征圖做卷積操作, 然后向指定方向平移指定距離形成新的特征圖, 再將新的特征圖與原始特征圖相加得到最終結(jié)果, 實(shí)現(xiàn)了信息傳遞的并行性, 因此相對(duì)于SCNN計(jì)算代價(jià)更低. SCNN模塊只沿4個(gè)方向迭代各一次,信息傳遞的步長(zhǎng)固定, 且其在某一個(gè)方向長(zhǎng)距離信息傳遞的過(guò)程中, 原有特征圖的信息容易丟失. 本文的空間特征聚合模塊在4個(gè)方向各迭代K次, 每一次信息傳遞的步長(zhǎng)都可變, 每個(gè)方向的運(yùn)行過(guò)程中都會(huì)保留原有特征圖的信息. 其次, 在級(jí)聯(lián)的預(yù)測(cè)器部分采用文獻(xiàn)[19]的思路, 減少逐像素分割的計(jì)算量. 能夠在提升檢測(cè)效果的同時(shí)滿足檢測(cè)的實(shí)時(shí)性.

2 算法設(shè)計(jì)與實(shí)現(xiàn)

本章介紹完整的網(wǎng)絡(luò)結(jié)構(gòu)圖以及空間特征聚合模塊.

2.1 網(wǎng)絡(luò)架構(gòu)

整體的網(wǎng)絡(luò)架構(gòu)如圖 1所示. 網(wǎng)絡(luò)架構(gòu)主要由3個(gè)模塊組成, 分別是: 特征提取器、空間特征聚合模塊、預(yù)測(cè)器.

圖1 網(wǎng)絡(luò)架構(gòu)圖

(1)特征提取器

本文使用VGG[22]或者ResNet[13]的全連接層之前的網(wǎng)絡(luò)作為特征提取器, 原始的VGG和ResNet經(jīng)過(guò)多層卷積后得到的特征圖的尺寸為原圖的1/32, 由于車道線占圖像像素較少, 為避免下采樣造成語(yǔ)義信息的丟失, 本文參考了語(yǔ)義分割方法的操作, 將最后的全連接層去掉, 并將最后兩層的池化層修改為空洞卷積(保證不改變感受野的同時(shí)不改變特征圖的尺寸), 因此, 經(jīng)過(guò)特征提取器后的特征圖尺寸為原來(lái)的1/8. 最后將特征圖的通道數(shù)變?yōu)?28.

(2)空間特征聚合模塊

經(jīng)過(guò)骨架網(wǎng)絡(luò)可以提取到圖像的語(yǔ)義信息, 但是由于CNN本身的局限性, 所提取到的特征僅為局部特征. 對(duì)于特征圖上的每個(gè)點(diǎn)來(lái)說(shuō), 既沒(méi)有考慮到感受野之外的像素信息, 也沒(méi)有考慮到感受野內(nèi)的點(diǎn)與點(diǎn)之間的相關(guān)性. 這種簡(jiǎn)單的特征為后續(xù)的預(yù)測(cè)器分類帶來(lái)了極大的挑戰(zhàn). 如圖2所示, 為了解決局部的問(wèn)題,SCNN網(wǎng)絡(luò)先將特征圖進(jìn)行切片, 然后再按照下、上、右、左的順序進(jìn)行卷積以獲取各行各列像素間的空間信息. 以SCNN_D為例, 首先將特征圖X在H維度進(jìn)行切片, 得到H個(gè)N×C×1×W的特征向量, 表示H行的特征. 每一行的特征計(jì)算方式如式(1):

圖2 SCNN模塊

其中,Xi表示第i行特征向量原有值,Xi′表示第i行特征向量更新之后的結(jié)果,f是表示卷積運(yùn)算, 卷積核為1×w,relu為激活函數(shù). 第0行的特征向量輸入值就是輸出值, 之后只有第i行特征向量收到來(lái)自第i-1行特征向量的信息時(shí), 其才會(huì)將信息傳遞給第i+1行. 傳遞方式為先對(duì)第i行的特征向量使用一個(gè)1 ×w的卷積核做卷積運(yùn)算, 然后將卷積后的結(jié)果經(jīng)過(guò)非線性激活層relu進(jìn)行信息過(guò)濾, 再與第i+1行的原有特征向量相加,作為第i+1行特征向量的結(jié)果, 該結(jié)果同時(shí)也作為第i+2行特征向量計(jì)算的輸入, 依次計(jì)算, 得到整個(gè)特征圖的輸出. 而SCNN_U, SCNN_L, SCNN_R的過(guò)程也和SCNN_D類似, 其中SCNN_U和SCNN_D恰好方向相反, SCNN_L, SCNN_R則在維度W進(jìn)行切片.

但是SCNN在長(zhǎng)距離的傳播過(guò)程中會(huì)丟失信息,且由于SCNN網(wǎng)絡(luò)速度較慢, 本文使用空間特征聚合模塊增強(qiáng)特征, 這種特征聚合的方式對(duì)特征圖進(jìn)行多次迭代, 更加充分的利用了特征之間的空間信息. 在每一次迭代的時(shí)候也是按照從上到下、從下到上、從右到左、從左到右4個(gè)方向進(jìn)行信息的搜集, 經(jīng)過(guò)K次迭代之后, 特征圖中的每一個(gè)點(diǎn)都能獲得其他點(diǎn)的信息. 如圖1所示, 我們分別用Dk,Uk,Rk,Lk代表上述的4個(gè)過(guò)程, 其中k表示迭代次數(shù), 則第k次特征聚合模塊的迭代過(guò)程可用式(2)表示.

如圖3所示, 首先將特征圖X在H維度進(jìn)行切片,得到H個(gè)N×C×1×W的特征向量, 表示H行的特征.對(duì)于每一個(gè)特征向量使用一個(gè)1 ×w的卷積核G提取與其相隔sk行的特征信息, 然后將卷積后的結(jié)果經(jīng)過(guò)非線性激活層relu進(jìn)行信息過(guò)濾, 再與該特征向量相加, 作為與輸入特征向量相同行的結(jié)果. 其中表示步長(zhǎng). 此過(guò)程可用式(3)和式(4)表示, 其中G是一個(gè)一維的卷積核組,U是輸入特征圖,m的最大值是輸入特征圖的通道數(shù)(其值等于特征圖的輸出通道數(shù), 都為C),i和j分別表示特征圖的行和列值,T是中間結(jié)果, ρ是一個(gè)非線性函數(shù)(使用的是relu), 式(4)中的表示經(jīng)過(guò)第k次Uk迭代更新之后的結(jié)果. 通過(guò)第k次自下而上的信息提取, 每一行的特征向量都可以收集到相隔sk行的特征信息.

圖3 Uk工作流程(s表示第k次迭代的步長(zhǎng))

同樣的,Dk,Lk,Rk的過(guò)程也和Uk類似, 其中Dk和Uk恰 好方向相反,Lk,Rk則在維度W進(jìn)行切片, 再聚合其他列的特征.

(3)預(yù)測(cè)器

由于進(jìn)行多次特征融合會(huì)消耗減緩網(wǎng)絡(luò)的推斷速度, 為了滿足車道線檢測(cè)的實(shí)時(shí)性條件. 因而在預(yù)測(cè)部分采用了不同于SCNN中逐像素分類的方法, 而是使用文獻(xiàn)[19]中所述的分類部分來(lái)針對(duì)經(jīng)由空間特征聚合處理之后的特征圖作預(yù)測(cè). 該預(yù)測(cè)器也由兩個(gè)部分組成: 分類分支, 分割分支.

分類分支作為網(wǎng)絡(luò)的主分支負(fù)責(zé)對(duì)每個(gè)預(yù)定義行中車道線的歸屬做判斷. 首先, 根據(jù)數(shù)據(jù)集的先驗(yàn)知識(shí)(車道線大致位置), 挑選出h行. 然后將每一行等分為w+1個(gè)單元格, 以單元格為單位進(jìn)行預(yù)測(cè). 輸入圖像經(jīng)過(guò)空間特征聚合模塊處理之后展開(kāi)成一維向量, 該向量經(jīng)過(guò)全連接層后即得到C×h×(w+1)的特征圖, 表示每行網(wǎng)格存在某條車道線的概率. 最后使用該特征圖在每個(gè)預(yù)定義行上選擇正確的車道線位置.

分割任務(wù)作為輔助分支, 先將經(jīng)過(guò)空間特征聚合模塊處理之后的特征圖通道數(shù)變?yōu)檐嚨谰€的數(shù)量, 之后直接上采樣與原圖尺寸一致的特征圖作為分割結(jié)果；同時(shí)將通道數(shù)變換之后的特征圖展開(kāi)成一維向量, 經(jīng)過(guò)全連接層處理得到長(zhǎng)度為4的向量作為車道線存在與否的結(jié)果. 該分支只在訓(xùn)練的時(shí)候輔助訓(xùn)練, 測(cè)試的時(shí)候不參與信息傳播. 所以即使使用了輔助任務(wù), 在推理的時(shí)候也不影響網(wǎng)絡(luò)的檢測(cè)速度.

2.2 損失函數(shù)

分類任務(wù)中的損失函數(shù)與[19]中的一致, 先使用分類器選出每條車道線在每行中的位置, 然后使用交叉熵?fù)p失作為分類損失函數(shù), 如下所示:

The frequencies of acupoints,meridians,acupoints distribution on different body parts and acupoints attribute were extracted and analyzed.

其中,X是輸入特征圖, 其維度為C×h×w.fij是第i條車道線關(guān)于第j行位置的分類器,Pi,j,:是 一個(gè)w+1維的向量, 前w個(gè)元素表示第i條車道線在第j行中w個(gè)網(wǎng)格中的概率, 最后一個(gè)元素表示在第j行是否有第i條車道線,Ti,j,:表示正確位置的one-hot標(biāo)簽.

分割損失函數(shù)與SCNN中的一致采用的是分割的二元交叉熵?fù)p失Lseg和存在分類交叉熵?fù)p失Lexist, 并進(jìn)行類別平衡, 車道線的分割損失乘以0.4.

總的損失函數(shù)為:

實(shí)驗(yàn)中超參數(shù)α 和 β分別設(shè)置為1和0.1.

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)中使用的是兩個(gè)車道線的基準(zhǔn)數(shù)據(jù)集:

CULane數(shù)據(jù)集[8]和Tusimple數(shù)據(jù)集[23]. 在接下來(lái)的實(shí)驗(yàn)設(shè)置中, 優(yōu)化器選擇SGD[24], 動(dòng)量設(shè)置為0.9,權(quán)重衰減率設(shè)置為1e-4, Tusimple與CULane學(xué)習(xí)率分別為2.5e-2和1.6e-2, 訓(xùn)練周期分別為50和10, 批處理大小分別為4和2.

3.1 Tusimple數(shù)據(jù)集測(cè)試

Tusimple數(shù)據(jù)集的數(shù)據(jù)采集場(chǎng)景較為單一, 數(shù)據(jù)都是在穩(wěn)定光照的高速公路上采集的, 分辨率為1280×720； 數(shù)據(jù)集總共6408張圖片, 其中訓(xùn)練集3268張, 驗(yàn)證集358張, 測(cè)試集2782張. 本文中輸入圖片大小設(shè)置為 368×640.

Tusimple數(shù)據(jù)集使用的評(píng)價(jià)指標(biāo)是車道線的精度,定義如下:

其中,Sclip是 每個(gè)片段中標(biāo)簽點(diǎn)的數(shù)量,Cclip是預(yù)測(cè)正確的點(diǎn)的數(shù)量.

對(duì)于Tusimple數(shù)據(jù)集, 對(duì)比了5種方法, 這5種方法主要包括: ResNet18、ResNet34、Res18-SAD[16]、LaneNet[15]、SCNN. 本文使用ResNet18作為骨干網(wǎng)絡(luò), 結(jié)果顯示如表1.

表1 Tusimple數(shù)據(jù)集上各種方法結(jié)果對(duì)比

實(shí)驗(yàn)結(jié)果表明, 相較于SCNN本文的方法檢測(cè)精度降低略微降低, 但是速度有較大的提升. 速度提升的原因主要有兩點(diǎn), 其一是SCNN是在原始特征圖上進(jìn)行逐行逐列的順序操作, 每一次只傳遞某一行或者某一列的信息, 其他行和列必須等待接收到傳遞過(guò)來(lái)的信息之后才能將它的信息傳遞出去, 這種方法比較耗時(shí)； 而本文提出的方法是首先對(duì)原始特征圖使用1×w或w×1的共享卷積核執(zhí)行卷積操作, 然后將卷積后的結(jié)果沿某個(gè)方向平移指定步長(zhǎng)形成新的特征圖, 最后將新的特征圖與原始特征圖做下標(biāo)方式的求和運(yùn)算,這種信息的傳遞是并行的, 不需要逐行逐列的迭代運(yùn)算, 因此花費(fèi)時(shí)間少, 速度快, 同時(shí)在某個(gè)方向做卷積操作的時(shí)候SCNN不共享卷積核, 而文中所使用的空間特征聚合模塊共享卷積核參數(shù)量降低. 其二采用了預(yù)定義行的分類方法有效節(jié)省了對(duì)逐元素分割方法的時(shí)間, 逐元素分割需要對(duì)整個(gè)特征圖的每一個(gè)元素進(jìn)行分類, 但是預(yù)定義行只需要針對(duì)某一些指定行做分類, 因而節(jié)省時(shí)間.

3.2 CULane數(shù)據(jù)集測(cè)試

CULane數(shù)據(jù)集較為復(fù)雜, 其數(shù)據(jù)采集自9個(gè)不同的場(chǎng)景: 正常、擁擠、曲線、強(qiáng)光、夜晚、沒(méi)有線、陰暗、箭頭、交叉路口, 都是在城市和高速公路上采集的圖片, 分辨率為1640×590, 總共133 235張圖片,其中訓(xùn)練集88 880張, 驗(yàn)證集9675張, 測(cè)試集34 680張. 本文中輸入圖片大小設(shè)置為 288×800.

CULane數(shù)據(jù)集, 其中每一條車道線視為寬30像素的線, 然后如果預(yù)測(cè)值和真實(shí)值的交并比大于0.5則認(rèn)為其是真陽(yáng)性, 采用F1-measure作為評(píng)價(jià)指標(biāo), 定義如下:

對(duì)于CULane數(shù)據(jù)集, 幾個(gè)受歡迎的方法包括ResNet50、ResNet101、SCNN、RES18-SAD[16]、Res18-Ultra[19]； 本文所使用的方法采用ResNet18作為特征提取的骨干網(wǎng)絡(luò), 結(jié)果展示在表2. 相對(duì)于其它方法, 本文提出的方法在各個(gè)場(chǎng)景下的檢測(cè)性能均有提升, 證明了空間特征聚合模塊的有效性.

表2 CULane數(shù)據(jù)集幾種方法結(jié)果對(duì)比(對(duì)于交叉路口, 只顯示FP)

3.3 消融實(shí)驗(yàn)

為了探索超參數(shù)對(duì)檢測(cè)性能的影響, 本小結(jié)針對(duì)CULane數(shù)據(jù)集進(jìn)行了一系列的消融實(shí)驗(yàn).

考慮到速度的影響, 本文選擇了兩個(gè)輕量級(jí)的骨架網(wǎng)絡(luò)進(jìn)行對(duì)比. 結(jié)果如表3所示, 可以看出, 使用ResNet的特征提取器要明顯優(yōu)于VGG16.

表3 特征提取器替換的影響

在空間特征聚合模塊中, 對(duì)于每個(gè)特征片進(jìn)行聚合使用了1維的卷積操作, 因此卷積核的尺寸可調(diào), 改變卷積核的尺寸實(shí)驗(yàn), 結(jié)果在表4中. 因此, 在所有的實(shí)驗(yàn)中, 我們?cè)O(shè)置固定的核尺寸為9.

表4 核尺寸對(duì)模塊的影響

在空間特征聚合模塊中, 針對(duì)迭代次數(shù)進(jìn)行了實(shí)驗(yàn)探索. 理論上, 隨著迭代次數(shù)的增加, 每個(gè)像素位置可以聚合更多來(lái)自其他位置的信息, 從而獲得更好的性能. 因此, 我們對(duì)不同的迭代次數(shù)進(jìn)行了比較, 如表5所示, 隨著迭代次數(shù)的增加, 性能會(huì)越來(lái)越好. 然而, 更多的迭代會(huì)導(dǎo)致更多的計(jì)算時(shí)間成本. 為了平衡計(jì)算時(shí)間和性能, 我們?cè)谄渌麑?shí)驗(yàn)中選擇迭代次數(shù)為4.

表5 迭代次數(shù)的影響

為了驗(yàn)證我們的模塊的有效性, 統(tǒng)計(jì)了與SCNN在不同核尺寸下空間信息聚合模塊運(yùn)行的時(shí)間, 如表6所示, 可以看到在相同的核尺寸下我們模塊的運(yùn)行時(shí)間較SCNN幾乎快6倍. 主要原因是SCNN傳遞信息是一種連續(xù)的方式, 只有當(dāng)某一特征片接收到來(lái)自其他特征片的信息它才會(huì)將信息傳遞給下一個(gè)特征片, 但是我們的空間特征聚合模塊信息的傳遞是并行的, 信息的聚合也是整個(gè)特征圖基于下標(biāo)求和的方式完成.

表6 與SCNN不同核尺寸特征聚合模塊耗時(shí)比較

圖4是在CULane數(shù)據(jù)集上實(shí)驗(yàn)之后的可視化的檢測(cè)結(jié)果.

圖4 CULane數(shù)據(jù)上的檢測(cè)結(jié)果

4 結(jié)論與展望

本文基于SCNN, 設(shè)計(jì)了一個(gè)空間特征聚合模塊.本文利用空間特征聚合模塊, 以較小的計(jì)算時(shí)間融合特征圖每個(gè)點(diǎn)的全局信息, 在預(yù)測(cè)器部分, 加入了輔助分支提升系統(tǒng)性能. 實(shí)驗(yàn)證明了該網(wǎng)絡(luò)結(jié)構(gòu)對(duì)信息聚合的有效性與檢測(cè)的實(shí)時(shí)性.