于潤(rùn)潤(rùn), 朱凱贏, 蔣光好, 吳 益, 周 偉
(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院, 上海 201620)
車輛壓線檢測(cè)是指使用攝像機(jī)采集道路視頻數(shù)據(jù),并針對(duì)視頻中車輛壓線的行為進(jìn)行檢測(cè)。 已有的壓線檢測(cè)研究使用的大部分方法為傳統(tǒng)檢測(cè)方法,并且只能適用于固定攝像頭的靜止場(chǎng)景。 文獻(xiàn)[1]使用一定先驗(yàn)知識(shí)劃定感興趣區(qū),使用邊緣檢測(cè)和Hough 變換擬合出車道線,用判斷車道線區(qū)域是否有車輛來判定是否壓線。 文獻(xiàn)[2]使用連續(xù)圖像幀間的灰度平均差計(jì)算得到黃線殘缺信息,并設(shè)置殘缺長(zhǎng)度閾值來判斷是否有車輛違章壓線。 文獻(xiàn)[3]提出了使用黃線區(qū)域多角度拍攝,使用小波變換分割算法,對(duì)比相鄰幀圖像對(duì)應(yīng)像素的方法來辨別是否有壓線行為。 這類方法應(yīng)對(duì)不同天氣,光照等,都會(huì)出現(xiàn)較大誤差。
實(shí)際場(chǎng)景中經(jīng)常會(huì)出現(xiàn)光照變化的情況,比如相機(jī)與點(diǎn)光源的相對(duì)位置發(fā)生了變化,相機(jī)不斷地調(diào)整自身的曝光時(shí)間,光源本身的亮度發(fā)生變化。針對(duì)光照變化的問題,常見的解決方法有2 個(gè)方向,分別是:相機(jī)參數(shù)的標(biāo)定和調(diào)整圖像的亮度。 其中,相機(jī)參數(shù)的標(biāo)定主要針對(duì)相機(jī)曝光時(shí)間不固定的情況,需要在線標(biāo)定相機(jī)的曝光時(shí)間,這種方法常見于機(jī)器人自主定位導(dǎo)航中[4-5]。 但這種方法并不適用于基于深度學(xué)習(xí)構(gòu)建的方法,因此在本文提出的違章壓線檢測(cè)系統(tǒng)中,本文使用圖像亮度調(diào)整方法對(duì)輸入的圖像進(jìn)行預(yù)處理,保證連續(xù)圖像之間亮度始終保持相對(duì)一致。 最后,使用空間卷積模塊和像素統(tǒng)計(jì)的方法對(duì)存在遮擋下的車道線分割結(jié)果進(jìn)行補(bǔ)全,優(yōu)化了車道線分割結(jié)果。 本文創(chuàng)新點(diǎn)總結(jié)如下:
(1)在基于視覺的深度學(xué)習(xí)方法中加入圖像亮度調(diào)整方法,使前后圖像的亮度始終保持一致。
(2)使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行車道線語義分割和車輛目標(biāo)檢測(cè),并設(shè)計(jì)了感興趣區(qū)域以及像素統(tǒng)計(jì)方法用來提高車道線分割在遮擋情況下的魯棒性。
對(duì)于圖像中景物差異不大的情況,適合用直方圖匹配法對(duì)圖像進(jìn)行亮度調(diào)整。 首先計(jì)算參考圖像的像素直方圖H ={h0,h1,…,hl-1},其中l(wèi)表示圖像的灰度值范圍,對(duì)于本文中所用的灰度圖像,l =255。hi表示像素值等于i的像素的數(shù)量,其中i∈[0,l -1]。 再對(duì)需要調(diào)整亮度的圖像的所有像素根據(jù)各自的像素值大小進(jìn)行排序。 最后按照參考圖像的直方圖對(duì)排好序的像素進(jìn)行分組。 為排序后的像素重新分配像素值的過程見圖1。 由圖1 可知,按從小到大排列的像素中最小的前h0個(gè)像素被分為第一組,并對(duì)這一組中所有像素分配像素值0,接著再?gòu)男蛄兄腥『骽2個(gè)像素分為第二組,并對(duì)第二組中的每個(gè)像素分配像素值1。 依次類推,排好序的像素最終都會(huì)根據(jù)參考的像素直方圖被分配到相對(duì)應(yīng)所屬的組,并被重新分配像素值。
圖1 圖像像素值重分配過程Fig.1 Image pixel value redistribution process
為了對(duì)具有相同像素值的像素進(jìn)行嚴(yán)格的排序,對(duì)于這些像素值相同的像素,去計(jì)算這些像素鄰域的像素值的均值,再用相對(duì)應(yīng)的均值進(jìn)行比較。當(dāng)存在一些像素的鄰域均值也相等時(shí),擴(kuò)大鄰域選取范圍,再次計(jì)算均值進(jìn)行比較,反復(fù)上述比較步驟,直至每個(gè)像素都被嚴(yán)格地排序。 基于直方圖的圖像亮度調(diào)整效果如圖2 所示。
圖2 基于直方圖的圖像亮度調(diào)整效果Fig.2 Image brightness adjustment effect based on histogram
常用的目標(biāo)檢測(cè)算法可分為:一階段法[6-9]和兩階段法[10-12]。 其中,一階段法讓檢測(cè)任務(wù)集成在一個(gè)模型中,模型直接估計(jì)目標(biāo)的檢測(cè)概率和位置坐標(biāo),檢測(cè)速度更快。 本文選用一階段法中的YOLOv3[13]來進(jìn)行車輛目標(biāo)檢測(cè)。 在預(yù)測(cè)過程中不需要候選區(qū)域的選擇,模型根據(jù)提取的高維特征進(jìn)行目標(biāo)位置和類別的判定,相比兩階段法、如Faster R-CNN[12]快100 倍。 研究中使用大量車輛數(shù)據(jù)對(duì)預(yù)訓(xùn)練好的YOLOv3 模型的參數(shù)進(jìn)行微調(diào),讓模型進(jìn)一步學(xué)習(xí)車輛數(shù)據(jù)的特征。
基于深度學(xué)習(xí)的車道線分割方法中,SCNN[14]使用一種空間卷積層模塊,通過對(duì)每個(gè)特征層上特征點(diǎn)間的信息進(jìn)行交互加強(qiáng)空間特征的提取。 該方法使用4 種卷積核分別對(duì)上、下、左、右四個(gè)方向的信息進(jìn)行提取和融合,使模型加深,但訓(xùn)練預(yù)測(cè)速度下降,并且多卷積核的累加,有概率丟失重要特征信息,導(dǎo)致車道線分割中細(xì)節(jié)部分效果差。 針對(duì)這個(gè)問題,本文設(shè)計(jì)了更輕量的空間卷積結(jié)構(gòu),不再使用4 個(gè)方向的卷積核,而只使用向下和向左的卷積核進(jìn)行特征加強(qiáng)。 并且本文提出的方法將該輕量化的空間卷積模塊變?yōu)橐环N注意力機(jī)制,讓模型使用空間卷積模塊對(duì)提取的特征進(jìn)行自我校正。 輕量級(jí)空間卷積結(jié)構(gòu)如圖3 所示。
圖3 輕量級(jí)空間卷積結(jié)構(gòu)Fig.3 Light-weight spatial convolution structure
在空間卷積模塊中,大小為H*W*C的輸入特征圖被分割成為H個(gè)1*W*C的特征圖,使用1*w*c的卷積核對(duì)該特征進(jìn)行計(jì)算,其中則滿足w <W,在本次的實(shí)驗(yàn)中將w設(shè)為9。 同時(shí)也對(duì)該輸入特征從上到下以相似的方式進(jìn)行卷積運(yùn)算。 此后,將2 次卷積運(yùn)算的結(jié)果直接堆疊成一組特征圖,再進(jìn)行1*1*2C的卷積運(yùn)算,提取出結(jié)構(gòu)注意力圖。 最后將原始的特征圖和得到的結(jié)構(gòu)注意力圖進(jìn)行一一對(duì)應(yīng)地相乘,得到特征的自校正量,并將自校正量累加到原始特征上,得到具有強(qiáng)注意力機(jī)制的高維特征。 經(jīng)過結(jié)構(gòu)注意力機(jī)制的空間信息加強(qiáng),模型中提取的特征就會(huì)具有足夠的結(jié)構(gòu)信息來幫助提高車道線檢測(cè)的結(jié)果。
得到車輛檢測(cè)圖和車道線分割圖后,進(jìn)行車輛壓線判斷。 如果車輛的特定位置出現(xiàn)在車道線分割結(jié)果上,就判斷為出現(xiàn)壓線行為[15]。 在對(duì)車輛進(jìn)行目標(biāo)檢測(cè)時(shí),被檢測(cè)出的車輛會(huì)在圖像上有一個(gè)二維的矩形框,研究中設(shè)定該矩形框的底邊的左側(cè)區(qū)域和右側(cè)區(qū)域?yàn)? 個(gè)感興趣區(qū)域, 在檢測(cè)車輛是否壓線的同時(shí)判斷是左轉(zhuǎn)壓線、還是右轉(zhuǎn)壓線。 并且,為了適用于任何尺寸的輸入圖像,感興趣區(qū)域的大小設(shè)置成輸入圖像尺寸的20%。
為了驗(yàn)證本文設(shè)計(jì)的系統(tǒng)的有效性,通過車載行車記錄儀采集車輛行駛視頻,共計(jì)12 000張圖像,用于實(shí)驗(yàn),為保證實(shí)驗(yàn)數(shù)據(jù)的多樣性,額外加入了10 段網(wǎng)絡(luò)上違章壓線視頻來擴(kuò)充測(cè)試數(shù)據(jù)集。
對(duì)于車輛壓線檢測(cè)方法,文獻(xiàn)[15]使用圖像分割技術(shù)進(jìn)行判斷。 本文對(duì)此方法和本文所提出的方法進(jìn)行了對(duì)比實(shí)驗(yàn)。 具體結(jié)果見表1。 由于文獻(xiàn)[15]使用較深的神經(jīng)網(wǎng)絡(luò)模型來分割車道線,所以推斷時(shí)間更長(zhǎng);又由于在真實(shí)場(chǎng)景中,由于光照影響和實(shí)際照片成片中存在成像模糊的問題,導(dǎo)致在進(jìn)行車道線分割時(shí),車道線分割的邊緣比較模糊,最終使檢測(cè)效果下降。 本文采用的圖像亮度調(diào)整、目標(biāo)檢測(cè)和語義分割技術(shù)相結(jié)合的方法,在復(fù)雜的場(chǎng)景下也可以保持目標(biāo)檢測(cè)和車道線分割的準(zhǔn)確性。 本文設(shè)計(jì)的方法對(duì)于車輛壓線檢測(cè)的準(zhǔn)確率達(dá)到了96%以上,滿足實(shí)際需求。 具體壓線檢測(cè)結(jié)果如圖4 所示。
表1 移動(dòng)端車輛壓線檢測(cè)對(duì)比結(jié)果Tab.1 Comparison results of vehicle lane-crossing detection at mobile end
圖4 壓線檢測(cè)結(jié)果Fig.4 Results of vehicle lane-crossing detection
本文提出了一種車輛壓線檢測(cè)系統(tǒng),利用深度學(xué)習(xí)算法和傳統(tǒng)算法相結(jié)合,能夠在不同光照條件下檢測(cè)車輛壓線行為。 設(shè)計(jì)了輕量級(jí)的空間卷積模塊使得車道線分割網(wǎng)絡(luò)能夠準(zhǔn)確地提取到車道線特征。 最終的實(shí)驗(yàn)表明本文提出的方法能夠在復(fù)雜場(chǎng)景中準(zhǔn)確地檢測(cè)出車輛壓線行為。 然而,由于車道線檢測(cè)和車輛檢測(cè)沒有進(jìn)一步整合到一個(gè)模型中,系統(tǒng)的計(jì)算效率還沒有達(dá)到最高。 未來,希望將車輛檢測(cè)任務(wù)和車道線分割任務(wù)融合進(jìn)一個(gè)模型中,使得整個(gè)系統(tǒng)的訓(xùn)練過程更加容易,計(jì)算效率進(jìn)一步提高。