于潤(rùn)潤(rùn)， 朱凱贏， 蔣光好， 吳 益， 周 偉

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院， 上海 201620）

0 引 言

車輛壓線檢測(cè)是指使用攝像機(jī)采集道路視頻數(shù)據(jù)，并針對(duì)視頻中車輛壓線的行為進(jìn)行檢測(cè)。 已有的壓線檢測(cè)研究使用的大部分方法為傳統(tǒng)檢測(cè)方法，并且只能適用于固定攝像頭的靜止場(chǎng)景。 文獻(xiàn)［1］使用一定先驗(yàn)知識(shí)劃定感興趣區(qū)，使用邊緣檢測(cè)和Hough 變換擬合出車道線，用判斷車道線區(qū)域是否有車輛來判定是否壓線。 文獻(xiàn)［2］使用連續(xù)圖像幀間的灰度平均差計(jì)算得到黃線殘缺信息，并設(shè)置殘缺長(zhǎng)度閾值來判斷是否有車輛違章壓線。 文獻(xiàn)［3］提出了使用黃線區(qū)域多角度拍攝，使用小波變換分割算法，對(duì)比相鄰幀圖像對(duì)應(yīng)像素的方法來辨別是否有壓線行為。 這類方法應(yīng)對(duì)不同天氣，光照等，都會(huì)出現(xiàn)較大誤差。

實(shí)際場(chǎng)景中經(jīng)常會(huì)出現(xiàn)光照變化的情況，比如相機(jī)與點(diǎn)光源的相對(duì)位置發(fā)生了變化，相機(jī)不斷地調(diào)整自身的曝光時(shí)間，光源本身的亮度發(fā)生變化。針對(duì)光照變化的問題，常見的解決方法有2 個(gè)方向，分別是：相機(jī)參數(shù)的標(biāo)定和調(diào)整圖像的亮度。 其中，相機(jī)參數(shù)的標(biāo)定主要針對(duì)相機(jī)曝光時(shí)間不固定的情況，需要在線標(biāo)定相機(jī)的曝光時(shí)間，這種方法常見于機(jī)器人自主定位導(dǎo)航中［4-5］。 但這種方法并不適用于基于深度學(xué)習(xí)構(gòu)建的方法，因此在本文提出的違章壓線檢測(cè)系統(tǒng)中，本文使用圖像亮度調(diào)整方法對(duì)輸入的圖像進(jìn)行預(yù)處理，保證連續(xù)圖像之間亮度始終保持相對(duì)一致。 最后，使用空間卷積模塊和像素統(tǒng)計(jì)的方法對(duì)存在遮擋下的車道線分割結(jié)果進(jìn)行補(bǔ)全，優(yōu)化了車道線分割結(jié)果。 本文創(chuàng)新點(diǎn)總結(jié)如下：

（1）在基于視覺的深度學(xué)習(xí)方法中加入圖像亮度調(diào)整方法，使前后圖像的亮度始終保持一致。

（2）使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行車道線語義分割和車輛目標(biāo)檢測(cè)，并設(shè)計(jì)了感興趣區(qū)域以及像素統(tǒng)計(jì)方法用來提高車道線分割在遮擋情況下的魯棒性。

1 圖像亮度調(diào)整

對(duì)于圖像中景物差異不大的情況，適合用直方圖匹配法對(duì)圖像進(jìn)行亮度調(diào)整。 首先計(jì)算參考圖像的像素直方圖H ＝｛h0，h1，…，hl-1｝，其中l(wèi)表示圖像的灰度值范圍，對(duì)于本文中所用的灰度圖像，l ＝255。hi表示像素值等于i的像素的數(shù)量，其中i∈［0，l -1］。 再對(duì)需要調(diào)整亮度的圖像的所有像素根據(jù)各自的像素值大小進(jìn)行排序。 最后按照參考圖像的直方圖對(duì)排好序的像素進(jìn)行分組。 為排序后的像素重新分配像素值的過程見圖1。 由圖1 可知，按從小到大排列的像素中最小的前h0個(gè)像素被分為第一組，并對(duì)這一組中所有像素分配像素值0，接著再?gòu)男蛄兄腥『骽2個(gè)像素分為第二組，并對(duì)第二組中的每個(gè)像素分配像素值1。 依次類推，排好序的像素最終都會(huì)根據(jù)參考的像素直方圖被分配到相對(duì)應(yīng)所屬的組，并被重新分配像素值。

圖1 圖像像素值重分配過程Fig.1 Image pixel value redistribution process

為了對(duì)具有相同像素值的像素進(jìn)行嚴(yán)格的排序，對(duì)于這些像素值相同的像素，去計(jì)算這些像素鄰域的像素值的均值，再用相對(duì)應(yīng)的均值進(jìn)行比較。當(dāng)存在一些像素的鄰域均值也相等時(shí)，擴(kuò)大鄰域選取范圍，再次計(jì)算均值進(jìn)行比較，反復(fù)上述比較步驟，直至每個(gè)像素都被嚴(yán)格地排序。 基于直方圖的圖像亮度調(diào)整效果如圖2 所示。

圖2 基于直方圖的圖像亮度調(diào)整效果Fig.2 Image brightness adjustment effect based on histogram

2 壓線檢測(cè)模型

2.1 車輛檢測(cè)和車道線分割

常用的目標(biāo)檢測(cè)算法可分為：一階段法［6-9］和兩階段法［10-12］。 其中，一階段法讓檢測(cè)任務(wù)集成在一個(gè)模型中，模型直接估計(jì)目標(biāo)的檢測(cè)概率和位置坐標(biāo)，檢測(cè)速度更快。 本文選用一階段法中的YOLOv3［13］來進(jìn)行車輛目標(biāo)檢測(cè)。 在預(yù)測(cè)過程中不需要候選區(qū)域的選擇，模型根據(jù)提取的高維特征進(jìn)行目標(biāo)位置和類別的判定，相比兩階段法、如Faster R-CNN［12］快100 倍。 研究中使用大量車輛數(shù)據(jù)對(duì)預(yù)訓(xùn)練好的YOLOv3 模型的參數(shù)進(jìn)行微調(diào)，讓模型進(jìn)一步學(xué)習(xí)車輛數(shù)據(jù)的特征。

基于深度學(xué)習(xí)的車道線分割方法中，SCNN［14］使用一種空間卷積層模塊，通過對(duì)每個(gè)特征層上特征點(diǎn)間的信息進(jìn)行交互加強(qiáng)空間特征的提取。 該方法使用4 種卷積核分別對(duì)上、下、左、右四個(gè)方向的信息進(jìn)行提取和融合，使模型加深，但訓(xùn)練預(yù)測(cè)速度下降，并且多卷積核的累加，有概率丟失重要特征信息，導(dǎo)致車道線分割中細(xì)節(jié)部分效果差。 針對(duì)這個(gè)問題，本文設(shè)計(jì)了更輕量的空間卷積結(jié)構(gòu)，不再使用4 個(gè)方向的卷積核，而只使用向下和向左的卷積核進(jìn)行特征加強(qiáng)。 并且本文提出的方法將該輕量化的空間卷積模塊變?yōu)橐环N注意力機(jī)制，讓模型使用空間卷積模塊對(duì)提取的特征進(jìn)行自我校正。 輕量級(jí)空間卷積結(jié)構(gòu)如圖3 所示。

圖3 輕量級(jí)空間卷積結(jié)構(gòu)Fig.3 Light-weight spatial convolution structure

在空間卷積模塊中，大小為H*W*C的輸入特征圖被分割成為H個(gè)1*W*C的特征圖，使用1*w*c的卷積核對(duì)該特征進(jìn)行計(jì)算，其中則滿足w ＜W，在本次的實(shí)驗(yàn)中將w設(shè)為9。 同時(shí)也對(duì)該輸入特征從上到下以相似的方式進(jìn)行卷積運(yùn)算。 此后，將2 次卷積運(yùn)算的結(jié)果直接堆疊成一組特征圖，再進(jìn)行1*1*2C的卷積運(yùn)算，提取出結(jié)構(gòu)注意力圖。 最后將原始的特征圖和得到的結(jié)構(gòu)注意力圖進(jìn)行一一對(duì)應(yīng)地相乘，得到特征的自校正量，并將自校正量累加到原始特征上，得到具有強(qiáng)注意力機(jī)制的高維特征。 經(jīng)過結(jié)構(gòu)注意力機(jī)制的空間信息加強(qiáng)，模型中提取的特征就會(huì)具有足夠的結(jié)構(gòu)信息來幫助提高車道線檢測(cè)的結(jié)果。

2.2 車輛壓線判斷模型

得到車輛檢測(cè)圖和車道線分割圖后，進(jìn)行車輛壓線判斷。 如果車輛的特定位置出現(xiàn)在車道線分割結(jié)果上，就判斷為出現(xiàn)壓線行為［15］。 在對(duì)車輛進(jìn)行目標(biāo)檢測(cè)時(shí)，被檢測(cè)出的車輛會(huì)在圖像上有一個(gè)二維的矩形框，研究中設(shè)定該矩形框的底邊的左側(cè)區(qū)域和右側(cè)區(qū)域?yàn)? 個(gè)感興趣區(qū)域， 在檢測(cè)車輛是否壓線的同時(shí)判斷是左轉(zhuǎn)壓線、還是右轉(zhuǎn)壓線。 并且，為了適用于任何尺寸的輸入圖像，感興趣區(qū)域的大小設(shè)置成輸入圖像尺寸的20%。

3 實(shí)驗(yàn)

為了驗(yàn)證本文設(shè)計(jì)的系統(tǒng)的有效性，通過車載行車記錄儀采集車輛行駛視頻，共計(jì)12 000張圖像，用于實(shí)驗(yàn)，為保證實(shí)驗(yàn)數(shù)據(jù)的多樣性，額外加入了10 段網(wǎng)絡(luò)上違章壓線視頻來擴(kuò)充測(cè)試數(shù)據(jù)集。

對(duì)于車輛壓線檢測(cè)方法，文獻(xiàn)［15］使用圖像分割技術(shù)進(jìn)行判斷。 本文對(duì)此方法和本文所提出的方法進(jìn)行了對(duì)比實(shí)驗(yàn)。 具體結(jié)果見表1。 由于文獻(xiàn)［15］使用較深的神經(jīng)網(wǎng)絡(luò)模型來分割車道線，所以推斷時(shí)間更長(zhǎng)；又由于在真實(shí)場(chǎng)景中，由于光照影響和實(shí)際照片成片中存在成像模糊的問題，導(dǎo)致在進(jìn)行車道線分割時(shí)，車道線分割的邊緣比較模糊，最終使檢測(cè)效果下降。 本文采用的圖像亮度調(diào)整、目標(biāo)檢測(cè)和語義分割技術(shù)相結(jié)合的方法，在復(fù)雜的場(chǎng)景下也可以保持目標(biāo)檢測(cè)和車道線分割的準(zhǔn)確性。 本文設(shè)計(jì)的方法對(duì)于車輛壓線檢測(cè)的準(zhǔn)確率達(dá)到了96%以上，滿足實(shí)際需求。 具體壓線檢測(cè)結(jié)果如圖4 所示。

表1 移動(dòng)端車輛壓線檢測(cè)對(duì)比結(jié)果Tab.1 Comparison results of vehicle lane-crossing detection at mobile end

圖4 壓線檢測(cè)結(jié)果Fig.4 Results of vehicle lane-crossing detection

4 結(jié)束語

本文提出了一種車輛壓線檢測(cè)系統(tǒng)，利用深度學(xué)習(xí)算法和傳統(tǒng)算法相結(jié)合，能夠在不同光照條件下檢測(cè)車輛壓線行為。 設(shè)計(jì)了輕量級(jí)的空間卷積模塊使得車道線分割網(wǎng)絡(luò)能夠準(zhǔn)確地提取到車道線特征。 最終的實(shí)驗(yàn)表明本文提出的方法能夠在復(fù)雜場(chǎng)景中準(zhǔn)確地檢測(cè)出車輛壓線行為。 然而，由于車道線檢測(cè)和車輛檢測(cè)沒有進(jìn)一步整合到一個(gè)模型中，系統(tǒng)的計(jì)算效率還沒有達(dá)到最高。 未來，希望將車輛檢測(cè)任務(wù)和車道線分割任務(wù)融合進(jìn)一個(gè)模型中，使得整個(gè)系統(tǒng)的訓(xùn)練過程更加容易，計(jì)算效率進(jìn)一步提高。