孫建波，張 葉，常旭嶺

（1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所 應(yīng)用光學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，吉林 長(zhǎng)春130033；2.中國(guó)科學(xué)院大學(xué)，北京100049）

1 引 言

車輛壓線檢測(cè)是指對(duì)車輛在行駛過(guò)程中軋?jiān)綄?shí)線（白色實(shí)線、單黃實(shí)線、雙黃實(shí)線、黃色虛實(shí)線）通行的違章行為進(jìn)行檢測(cè)，因?yàn)檐囕v壓線會(huì)占用同向車道或?qū)ο蜍嚨溃斐蓳矶?、刮蹭甚至事故，危害公眾的?cái)產(chǎn)及生命安全［1］，因此，基于車載圖像的車輛壓線檢測(cè)研究是輔助駕駛乃至自動(dòng)駕駛技術(shù)中環(huán)境感知不可或缺的一部分，對(duì)于提高自動(dòng)駕駛系統(tǒng)的可靠性和保障行車安全具有重要意義［2］。

在車載圖像的車輛壓線檢測(cè)研究中，車道線的提取和車輛壓線判斷是關(guān)鍵。車道線檢測(cè)是車輛壓線判斷的重要前提環(huán)節(jié)。其算法大體上分為：基于特征的算法、基于模型的算法和基于深度學(xué)習(xí)的算法?；谔卣鞯能嚨谰€檢測(cè)方法主要根據(jù)車道與周圍環(huán)境的特征差異再結(jié)合其他方法提取車道線。常用的特征包括顏色［3］、灰度［4］、梯度［5］和邊緣寬度［6］等，在根據(jù)特征識(shí)別出車道線的前提下結(jié)合Hough變換［7］、粒子濾波［8］或Kalman濾波［9］等進(jìn)一步提取最終的車道線。這種傳統(tǒng)的車道檢測(cè)算法需要根據(jù)不同的街道場(chǎng)景人工手動(dòng)調(diào)節(jié)濾波算子和參數(shù)，工作量大且魯棒性較差，當(dāng)行車環(huán)境出現(xiàn)明顯變化時(shí)，易出現(xiàn)誤檢、漏檢的問(wèn)題，效果不佳，且對(duì)于車道特征的完整性依賴較大，適用性較差。

基于模型的車道線檢測(cè)方法通過(guò)利用道路車道線的先驗(yàn)知識(shí)，建立合適的數(shù)學(xué)模型來(lái)描述真實(shí)的車道線。為提高對(duì)于彎曲車道線檢測(cè)的適應(yīng)性，文獻(xiàn)［10］提出一種基于Hough變換的分段直線模型，以此檢測(cè)擬合彎曲車道線，但此算法對(duì)于急彎道車道線的檢測(cè)容易失效。為解決傳統(tǒng)Hough變換方法在彎道工況下識(shí)別能力不足的問(wèn)題，文獻(xiàn)［11］提出了一種動(dòng)態(tài)區(qū)域規(guī)劃的雙模型車道線檢測(cè)算法，根據(jù)“微元”理論進(jìn)行圖像動(dòng)態(tài)細(xì)化分區(qū)對(duì)各區(qū)域局部獨(dú)立識(shí)別，利用直線和B樣條曲線雙模型完成車道線擬合。為解決實(shí)際交通場(chǎng)景中光照條件惡劣引起的車道線檢測(cè)性能降低的問(wèn)題，Yoo等［12］提出了一種基于梯度增強(qiáng)轉(zhuǎn)換的具有光照魯棒性的車道線檢測(cè)算法。然而，這種檢測(cè)方法在車道線間斷或存在遮擋的場(chǎng)景下不能很好地工作，針對(duì)具體場(chǎng)景需要建立對(duì)應(yīng)的成像模型，具有較大的局限性。總的來(lái)說(shuō)，這類算法對(duì)于特定道路的車道線檢測(cè)準(zhǔn)確性較高，比基于特征的車道線檢測(cè)算法的魯棒性強(qiáng)，但是有較強(qiáng)的局限性，計(jì)算成本過(guò)大，不適應(yīng)復(fù)雜的環(huán)境。

與傳統(tǒng)算法相比，基于深度學(xué)習(xí)的車道線檢測(cè)算法表現(xiàn)出更準(zhǔn)確、魯棒性更強(qiáng)的特性。起初的深度學(xué)習(xí)算法大部分基于分類器進(jìn)行車道檢測(cè)，文獻(xiàn)［13］從圖像感興趣區(qū)域提取車道線的Haar特征并引入級(jí)聯(lián)的車道線分類器，對(duì)車道線進(jìn)行粗檢測(cè)，然后借助線段檢測(cè)器對(duì)粗檢測(cè)結(jié)果進(jìn)行車道線擬合?；诰矸e神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的深度學(xué)習(xí)方法通過(guò)強(qiáng)大的表現(xiàn)學(xué)習(xí)能力將場(chǎng)景理解推向了一個(gè)新的水平，但對(duì)于具有長(zhǎng)結(jié)構(gòu)區(qū)域并且可以被遮擋的車道線，仍然表現(xiàn)不佳。針對(duì)這一問(wèn)題，文獻(xiàn)［14］提出了空間CNN（Spatial CNN，SCNN），SCNN將feature map的行或列視為層，并順序地應(yīng)用卷積、非線性激活和求和操作，形成了一個(gè)空間上的深度神經(jīng)網(wǎng)絡(luò)，因?yàn)榭臻g信息可以通過(guò)層間傳播來(lái)加強(qiáng)，在CNN不連續(xù)或雜亂的情況下，SCNN可以很好地保持車道標(biāo)記的平滑性和連續(xù)性；但是其檢測(cè)速度較慢（7.5 frame/s），實(shí)際適用性較差。文獻(xiàn)［15］提出了一種自注意蒸餾模塊，基于信息蒸餾解決大主干網(wǎng)絡(luò)對(duì)速度的影響，可以聚合文本信息。該方法允許使用更輕量級(jí)的骨干，在保持實(shí)時(shí)效率的同時(shí)實(shí)現(xiàn)了高性能。類似YOLOv3或SSD的單階段模型，文獻(xiàn)［16］提出了基于錨點(diǎn)的車道檢測(cè)注意機(jī)制，該機(jī)制表現(xiàn)SOTA達(dá)到了250 frame/s，但以上兩種網(wǎng)絡(luò)難以保證存在遮擋及光線條件惡劣場(chǎng)景下車道線的檢測(cè)精度，應(yīng)用場(chǎng)景受限。

現(xiàn)有的壓線檢測(cè)算法大部分基于卡口監(jiān)控設(shè)備獲取的固定區(qū)域圖像進(jìn)行檢測(cè)判斷。文獻(xiàn)［17］根據(jù)壓線重疊區(qū)域特征進(jìn)行綜合判斷實(shí)現(xiàn)壓線檢測(cè)。文獻(xiàn)［18］利用幀數(shù)統(tǒng)計(jì)判斷當(dāng)前圖像的車道線邊界狀態(tài)，然后根據(jù)車道線的不同狀態(tài)分別采用檢測(cè)車前部的均勻灰度區(qū)域和檢測(cè)車頭復(fù)雜邊界信息的方法，來(lái)實(shí)現(xiàn)車輛的越線檢測(cè)。文獻(xiàn)［19］針對(duì)道路中間的單雙實(shí)黃線區(qū)域，采用相鄰兩幅圖像逐行平均灰度值進(jìn)行比較的方法實(shí)現(xiàn)壓線判斷。不同于固定卡口圖像的壓線檢測(cè)，基于車載圖像的車輛壓線檢測(cè)算法可以應(yīng)用于更加復(fù)雜多變的交通場(chǎng)景，但相關(guān)研究較少。文獻(xiàn)［20］綜合利用車道線的幾何特征與圖像特征，基于小波變換提取車道線區(qū)域，提出了一種基于圖像掩蔽局部匹配的越線行為判定方法，但該方法易受到非車輛遮擋車道線的干擾，從而造成誤判。文獻(xiàn)［21］在提取車道線的基礎(chǔ)上提出根據(jù)車載圖像中左右車道線夾角來(lái)判斷車輛壓線的方法，此方法簡(jiǎn)單易實(shí)現(xiàn)，但只限于直線、無(wú)大面積遮擋的車道，測(cè)試得出的壓線車道線的夾角范圍對(duì)于多車道（三車道以上）路況并不適用。文獻(xiàn)［22］利用GoogleNet-FCN語(yǔ)義分割網(wǎng)絡(luò)來(lái)識(shí)別車道線和wheel-line線，根據(jù)車道線和wheel-line線的交點(diǎn)位置設(shè)置閾值判斷是否壓線，但此方法中最佳閾值的設(shè)定取決于不同的壓線數(shù)據(jù)，需要根據(jù)不同場(chǎng)景對(duì)模型進(jìn)行針對(duì)性訓(xùn)練，泛化能力差。

針對(duì)上述問(wèn)題，本文提出基于改進(jìn)的Mask R-CNN+LaneNet的車載圖像車輛壓線檢測(cè)方法。采用雙立方插值取代Mask R-CNN網(wǎng)絡(luò)中感興趣區(qū)域（Region of Interest，RoI）Align層的雙線性插值算法，將特征候選框內(nèi)的圖像縮放為固定大小的RoI feature；改進(jìn)隨機(jī)擦除（Random Erasing，RE）算法進(jìn)行訓(xùn)練數(shù)據(jù)的增強(qiáng)，強(qiáng)化網(wǎng)絡(luò)對(duì)車輛更多局部特征的認(rèn)知，提高M(jìn)ask RCNN對(duì)于環(huán)境的魯棒性和檢測(cè)準(zhǔn)確度；將VGG16全連接層卷積化取代LaneNet網(wǎng)絡(luò)的ENet解碼器，以減少參數(shù)計(jì)算量和內(nèi)存消耗，提升車道線的檢測(cè)速度；采用Gamma校正算法根據(jù)不同圖像的灰度分布自動(dòng)調(diào)節(jié)校正算子，以適當(dāng)擴(kuò)大圖像中高灰度區(qū)域的動(dòng)態(tài)范圍并提升圖像亮度，提高車載圖像中車輛車道線的辨識(shí)度從而降低漏檢率、誤檢率；最后，結(jié)合車輛分割與車道線擬合結(jié)果，提出基于簡(jiǎn)化的RoI圖像提取wheel_line和車道擬合直線的方法判斷車輛壓線。

2 算法原理

2.1 算法總體流程

基于車載圖像的車輛壓線檢測(cè)算法分為兩個(gè)階段實(shí)現(xiàn)，如圖1所示。在訓(xùn)練階段，分別改進(jìn)Mask R-CNN車輛檢測(cè)網(wǎng)絡(luò)和LaneNet車道線檢測(cè)網(wǎng)絡(luò)；為了應(yīng)對(duì)實(shí)際交通場(chǎng)景下實(shí)體或陰影遮擋以及遠(yuǎn)景小目標(biāo)帶來(lái)的漏檢問(wèn)題，通過(guò)改進(jìn)RE算法進(jìn)行數(shù)據(jù)增強(qiáng)提升網(wǎng)絡(luò)對(duì)于復(fù)雜環(huán)境的魯棒性。在檢測(cè)階段，為解決欠曝光或光線不足等對(duì)車道線、車輛檢測(cè)的干擾，改進(jìn)Gamma算法校正圖像，并基于改進(jìn)的Mask R-CNN，LaneNet網(wǎng)絡(luò)訓(xùn)練生成的權(quán)重模型進(jìn)行車道線、車輛的提取，最后完成車輛壓線的判斷。

圖1 車輛壓線檢測(cè)算法流程Fig.1 Flow chart of vehicle pressing line detection algorithm

2.2 Random Erasing數(shù)據(jù)增強(qiáng)

在實(shí)際交通場(chǎng)景中，車輛會(huì)存在陰影或?qū)嶓w遮擋的情況，而Mask R-CNN模型的實(shí)例分割建立在其目標(biāo)檢測(cè)分支獲取預(yù)測(cè)框的基礎(chǔ)上，所以本文參考RE數(shù)據(jù)增強(qiáng)算法［23］，在模型訓(xùn)練過(guò)程中，通過(guò)隨機(jī)擦除目標(biāo)車輛的局部特征模擬不同的遮擋效果，使模型在訓(xùn)練過(guò)程中僅通過(guò)局部特征識(shí)別車輛，強(qiáng)化模型對(duì)于車輛局部特征的辨識(shí)能力以提高車輛的查全率。

改進(jìn)后的RE算法流程如圖2所示。首先對(duì)數(shù)據(jù)集中的車輛目標(biāo)進(jìn)行標(biāo)注得到標(biāo)簽文件，由標(biāo)簽內(nèi)容獲得車輛在圖像中的位置信息，遍歷圖片中的目標(biāo)車輛以概率P在其真實(shí)框內(nèi)創(chuàng)建矩形區(qū)域，并用圖像三通道的平均像素值擦除區(qū)域內(nèi)的像素，最終得到擦除后的圖像。其中，Sh，Sl分別是需要隨機(jī)擦除的矩形面積的上下閾值，r1是矩形長(zhǎng)寬比r的閾值上限（r1∈（0，1）），（xe，ye）是擦除區(qū)域左下角的坐標(biāo)。經(jīng)改進(jìn)的RE算法處理后的增強(qiáng)圖片如圖3所示。

圖2 改進(jìn)的隨機(jī)擦除算法流程Fig.2 Flow chart of improved random erasing algorithm

圖3 隨機(jī)擦除后的訓(xùn)練圖片F(xiàn)ig.3 Training images after random erasure

2.3 基于改進(jìn)Gamma算法的圖像校正

為了提高欠曝光或陰影場(chǎng)景下車道線和車輛檢測(cè)的查全率和準(zhǔn)確率，圖像預(yù)處理階段加入改進(jìn)的自適應(yīng)Gamma校正算法［24］進(jìn)行圖像正則化處理，步驟如下：

（1）將輸入圖像從RGB色彩空間轉(zhuǎn)換到HSV空間記為圖像I，并提取I的亮度分量IV；

（2）利用雙邊濾波處理從圖像亮度分量IV中提取出光照分量IS，得到（包含空域核和值域核）：

由于雙邊濾波算法處理圖像時(shí)考慮了空域信息和灰度相似性，可在盡可能保留車道線、車輛的邊緣信息的同時(shí)抑制圖像噪聲，濾波核ω包括空域核和值域核，其數(shù)學(xué)描述如下：

式中：IS(i，j)，IV(m，n)分別為坐標(biāo)(i，j)和(m，n)處的光照分量與亮度分量；σd，σr分別為空間鄰近高斯函數(shù)標(biāo)準(zhǔn)差和像素值相似度高斯函數(shù)標(biāo)準(zhǔn)差。

（3）改進(jìn)后的Gamma校正算法根據(jù)每一像素的光照分量IS(i，j)自適應(yīng)調(diào)整校正參數(shù)γ，如下：

校正后的像素光照分量為：

圖4為車載圖片校正前后的效果、灰度分布直方圖和累積曲線。顯然通過(guò)改進(jìn)Gamma算法可以增加中高灰度區(qū)域的動(dòng)態(tài)范圍，改善像素低灰度區(qū)域集中的現(xiàn)象，增強(qiáng)車輛、車道線與周圍環(huán)境的對(duì)比，提升了圖像的質(zhì)量。

圖4 改進(jìn)Gamma校正算法效果Fig.4 Effect of improved Gamma correction algorithm

2.4 基于改進(jìn)Mask R-CNN的車輛檢測(cè)

Mask R-CNN［25］的整體框架如圖5所示。主干特征提取網(wǎng)絡(luò)Resnet101（結(jié)構(gòu)見(jiàn)圖6）提取輸入圖片不同階段輸出的有效特征圖；由于有效特征層的高層特征語(yǔ)義較強(qiáng)，但位置和分辨率較低，不利于小物體的檢測(cè)，底層特征反之，特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）［26］可以實(shí)現(xiàn)底層到高層有效特征的多尺度融合；融合后的多尺度特征經(jīng)區(qū)域建議網(wǎng)絡(luò)（RPN）［27］得到候選框（RoI）；RoIAlign層通過(guò)雙線性插值將生成的不同尺寸RoI進(jìn)行區(qū)域匹配，即特征圖和固定的RoI特征圖的像素對(duì)應(yīng)，原圖和特征圖的像素對(duì)應(yīng)，從而將RoI映射為兩種固定尺寸（7×7×256，14×14×256）的RoI特征。

圖5 Mask R-CNN整體框架Fig.5 Overall framework of Mask R-CNN

圖6 Mask R-CNN主干特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Mask R-CNN backbone networks

如圖7所示，目標(biāo)檢測(cè)分支利用一次通道數(shù)為1 024，大小為7×7的卷積和一次通道數(shù)為1 024，大小為1×1的卷積模擬兩次1 024的全連接，對(duì)RoIAlign獲得的7×7×256的RoI特征進(jìn)行卷積，然后再分別全連接到類別總數(shù)（num_classes）和4倍的類別總數(shù)（num_classes×4）上（分別代表建議框內(nèi)的物體、預(yù)測(cè)框的4個(gè)調(diào)整參數(shù)），實(shí)現(xiàn)目標(biāo)的分類預(yù)測(cè)和回歸預(yù)測(cè)；實(shí)例分割分支首先對(duì)7×7×256的RoI特征進(jìn)行4次3×3的256通道的卷積，再進(jìn)行一次反卷積提升分辨率、一次通道數(shù)為類別總數(shù)（num_classes）的卷積，最終輸出28×28×num_classes的掩膜板，實(shí)現(xiàn)像素級(jí)實(shí)例分割。

圖7 目標(biāo)檢測(cè)分支和實(shí)例分割分支Fig.7 Classifier branch and mask branch

2.4.1 RoI Align層算法改進(jìn)

為了從RPN網(wǎng)絡(luò)確定的不同尺寸的候選框中導(dǎo)出固定大小的RoI特征圖，Mask R-CNN模型在RoI Align層采用雙線性插值來(lái)解決Faster R-CNN模型采用的RoI Pooling操作中兩次量化（特征圖與原圖對(duì)應(yīng)像素的坐標(biāo)取整，RoI特征圖與特征圖對(duì)應(yīng)像素的坐標(biāo)取整）造成的原圖與RoI特征圖中的像素區(qū)域不匹配問(wèn)題。但雙線性插值算法未考慮各相鄰像素點(diǎn)點(diǎn)間灰度值變化率的影響，而各鄰點(diǎn)間灰度值的斜率不連續(xù)會(huì)造成縮放后圖像的高頻分量受到損失，細(xì)節(jié)信息退化，RoI Align層輸出的RoI特征圖中的邊緣信息較為模糊，進(jìn)一步影響車輛分割精度和后續(xù)的車輛壓線判斷。

雙立方（三次卷積）插值（Bicubic Interpolation，BI）［28］不僅考慮到待插值點(diǎn)周圍4個(gè)直接相鄰像素點(diǎn)灰度值的影響，還兼顧了各相鄰點(diǎn)間灰度值變化率的影響，所以利用插值點(diǎn)周圍4×4鄰域像素的灰度值進(jìn)行插值，縮放后的圖像邊緣更為平滑，像質(zhì)損失更少。故本文采用BI替代雙線性插值，提高RoI Align層輸出的RoI特征圖的邊緣質(zhì)量，以提高車輛檢測(cè)的精度和車輛的實(shí)例分割效果。

根據(jù)連續(xù)信號(hào)采樣定理可知，對(duì)采樣值用理論上最佳插值函數(shù)sinπx/πx進(jìn)行插值，當(dāng)采樣頻率不低于信號(hào)頻譜最高頻率的兩倍時(shí)可以準(zhǔn)確恢復(fù)原信號(hào)。BI核函數(shù)sinπx/πx采用的三次近似多項(xiàng)式如下：

參數(shù)α的取值為-1，-0.5，0.25，0.75等。卷積過(guò)程的矩陣乘積表示如下：

其中：

其中：（i，j）表示待求的插值像素鄰域中某個(gè)像素位置，f（i，j）為對(duì)應(yīng)的灰度值，（u，v）表示待插值點(diǎn)相對(duì)（i，j）的位移，即待插值點(diǎn)位置表示為（i+u，j+v），f（i+u，j+v）為待插點(diǎn)的灰度值，h（x）為插值核函數(shù)：

以上插值過(guò)程可以用圖8表示，實(shí)心圓點(diǎn)表示已知原圖像像素，虛線圓點(diǎn)是求出的中間插值點(diǎn)，網(wǎng)格圓點(diǎn)為待求的插值像素。

圖8 雙立方卷積插值過(guò)程Fig.8 Bicube convolution interpolation process

2.5 基于改進(jìn)LaneNet的車道線檢測(cè)

本文通過(guò)改進(jìn)LaneNet［29］網(wǎng)絡(luò)的編碼器解碼器結(jié)構(gòu)實(shí)現(xiàn)車道線檢測(cè)，網(wǎng)絡(luò)架構(gòu)如圖9所示。圖像經(jīng)過(guò)編碼器提取到的共享特征分別流入到兩個(gè)解碼器來(lái)恢復(fù)細(xì)節(jié)和空間尺度，其中二值分割分支根據(jù)交叉熵?fù)p失函數(shù)生成車道線與背景的二值圖像，像素嵌入分支基于聚類的判別損失函數(shù)得到區(qū)分不同車道線的特征圖，對(duì)特征圖做聚類得到車道線的數(shù)量和像素所屬的車道線id，結(jié)合兩分支結(jié)果實(shí)現(xiàn)車道線的實(shí)例分割。神經(jīng)網(wǎng)絡(luò)H-Net根據(jù)原圖片訓(xùn)練出預(yù)測(cè)變換矩陣H，并利用轉(zhuǎn)換矩陣對(duì)同屬一條車道線的所有像素點(diǎn)進(jìn)行重新建模，完成車道線的擬合。

圖9 LaneNet車道檢測(cè)網(wǎng)絡(luò)架構(gòu)Fig.9 Framework of improved LaneNet for lane detection

為進(jìn)一步提升車道檢測(cè)速度，本文采用改進(jìn)的VGG16代替原網(wǎng)絡(luò)中的共享解碼器E-Net。VGG16的網(wǎng)絡(luò)復(fù)雜度遠(yuǎn)少于E-Net，廣泛應(yīng)用于圖像分割的特征提取上，將VGG16網(wǎng)絡(luò)的最后3個(gè)全連接層改為卷積層，最后一卷積層中卷積核數(shù)量由4 096減少到1 024，以降低參數(shù)的計(jì)算量和內(nèi)存消耗；同時(shí)編碼網(wǎng)絡(luò)全部采用3×3小卷積核和2×2的最大池化層，相比于大卷積核（5×5或7×7），不僅獲得相同的感受野且進(jìn)一步減少了參數(shù)量，達(dá)到了更好的特征提取能力，改進(jìn)的VGG16編碼器結(jié)構(gòu)如表1所示。

因?yàn)闄n案的類型具有多樣性，不同結(jié)構(gòu)的檔案具有不同類型的特征信息，同時(shí)信息特征提取方式也有較大差異。筆者認(rèn)為按照檔案特征提取方式對(duì)檔案進(jìn)行分類則可以將檔案劃分為文本類檔案和圖片類檔案兩大類，其中音頻類檔案通過(guò)語(yǔ)音識(shí)別技術(shù)預(yù)處理之后特征提取方式同文本類檔案，視頻類檔案通過(guò)拆幀處理之后特征提取方式同圖片類檔案。

表1 VGG16共享編碼器的結(jié)構(gòu)參數(shù)Tab.1 Architecture parameters of VGG16 shared encoder

2.6 車輛壓線判斷

如何利用二維空間的車載圖像對(duì)壓線車輛進(jìn)行檢測(cè)是本文的關(guān)鍵。本文在改進(jìn)的Mask RCNN和LaneNet提取出車載圖像中車輛和車道線的基礎(chǔ)上完成車輛壓線的判斷，具體步驟如下：

（1）考慮到車載攝像頭與目標(biāo)車輛距離較近，并且車道線的擬合準(zhǔn)確度在遠(yuǎn)景處較差，存在相交現(xiàn)象會(huì)干擾壓線的判斷，故對(duì)檢測(cè)完的圖像（10（a））截取RoI區(qū)域（圖10（b）），其寬度保持不變，高度取為圖像底部與擬合的車道線交匯點(diǎn)的距離；

圖10 壓線判斷過(guò)程Fig.10 Line pressing judgement process

（2）采用零值像素遮濾掉所有未檢測(cè)到的圖像信息，只保留檢測(cè)到的與車道線和車輛輪廓相關(guān)的特征，得到簡(jiǎn)化后的RoI圖，如圖10（c）所示；

（3）根據(jù)實(shí)例分割結(jié)果提取車輛輪廓的點(diǎn)集合，篩選出高度方向上坐標(biāo)數(shù)值最小的兩點(diǎn)即為車輛后車輪與地面相切線段wheel_line的兩端點(diǎn)，并采用改進(jìn)的概率Hough［30］變換對(duì)RoI內(nèi)每條車道線上的點(diǎn)進(jìn)行直線擬合，如圖10（d）所示；

（4）分析簡(jiǎn)化后RoI圖中車輛的wheel_line與所有車道擬合線的位置關(guān)系，若相交則判斷為壓線違規(guī)。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境配置

表2 實(shí)驗(yàn)的軟件及硬件配置Tab.2 Experimental software and hardware configuration

3.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)首先基于數(shù)據(jù)集MS COCO［32］對(duì)改進(jìn)后的Mask R-CNN網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，預(yù)訓(xùn)練最大迭代次數(shù)設(shè)置為3 000，初始學(xué)習(xí)率設(shè)置為0.001。為了防止訓(xùn)練陷入局部最優(yōu)，在迭代2 000次后將學(xué)習(xí)率調(diào)整為0.000 1完成預(yù)訓(xùn)練，并選取損失最小的最優(yōu)權(quán)重對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行初始化；然后在Tusimple訓(xùn)練集上采用批處理的隨機(jī)梯度下降法重新訓(xùn)練網(wǎng)絡(luò)，學(xué)習(xí)率調(diào)整為0.000 01，訓(xùn)練輪數(shù)設(shè)為50，批處理數(shù)據(jù)量（batch size）設(shè)置為4，最終損失函數(shù)值在4.6附近小幅波動(dòng)不再下降，說(shuō)明模型收斂，完成Mask RCNN網(wǎng)絡(luò)的訓(xùn)練。同時(shí)，利用Tusimple訓(xùn)練集對(duì)改進(jìn)后的LaneNet網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練輪數(shù)設(shè)置為12 000，batch size為4，訓(xùn)練權(quán)值衰減采用L 2歸一化，并采用Adam優(yōu)化器優(yōu)化訓(xùn)練效率，訓(xùn)練完成后保存損失最小的權(quán)重文件用于測(cè)試。

然后，分別利用原始網(wǎng)絡(luò)和改進(jìn)后的網(wǎng)絡(luò)在相同的Tusimple測(cè)試集中進(jìn)行檢測(cè)，采用目標(biāo)檢測(cè)中常用的誤檢率（FP）、漏檢率（FN）和每秒傳輸幀數(shù)（FPS）作為Mask R-CNN網(wǎng)絡(luò)車輛檢測(cè)以及LaneNet網(wǎng)絡(luò)車道線檢測(cè)的性能評(píng)價(jià)指標(biāo)。計(jì)算公式如下：

式中：Fpred為誤判為車道線或車輛的數(shù)目，Npred為檢測(cè)到的車道線或車輛總數(shù)，Mpred為未檢測(cè)到的車道線或車輛數(shù)目，Ngt為值標(biāo)簽中的車道線或車輛數(shù)量。改進(jìn)前后兩種網(wǎng)絡(luò)的檢測(cè)性能比較如表3所示，可見(jiàn)改進(jìn)后的網(wǎng)絡(luò)在誤檢率和漏檢率上均大幅下降，車輛漏檢率、誤檢率分別降低了38.93%，89.04%，車道線漏檢率、誤檢率分別降低了67.21%，87.05%，車輛檢測(cè)速度保持不變，車道線檢測(cè)速度提升了28%。相比于現(xiàn)有的實(shí) 例 分 割 主 流 算 法（BlendMask［33］和YOLACT［34］），本文提出的算法在檢測(cè)精度上性能更優(yōu)；相比于現(xiàn)有的車道線檢測(cè)算法（PINet［35］和Line CNN［36］），本文算法在檢測(cè)精度和速度上均具有優(yōu)勢(shì)。

表3 基于TuSimple測(cè)試集的算法性能對(duì)比Tab.3 Comparisions of algorithm performance on T uSimple testing set

類激活圖（Class Activation Map，CAM）是指網(wǎng)絡(luò)對(duì)輸入圖像生成的類激活的熱力圖，是與特定輸出類別相關(guān)的二維特征分?jǐn)?shù)網(wǎng)絡(luò)。網(wǎng)格每個(gè)位置的顏色信息表示對(duì)該類別判斷依據(jù)的重要程度［37］（由藍(lán)到紅重要程度遞減），可以顯示模型更側(cè)重于根據(jù)哪一部分特征進(jìn)行類別和目標(biāo)判別。為驗(yàn)證改進(jìn)后的RE算法對(duì)于Mask RCNN網(wǎng)絡(luò)識(shí)別車輛特征能力的提升，如圖11所示，獲取有無(wú)增強(qiáng)數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)在不同場(chǎng)景下車輛檢測(cè)輸出的3種網(wǎng)格尺度（13×13，26×26，52×52）的類激活圖，為避免干擾，不對(duì)輸入圖片進(jìn)行Gamma校正預(yù)處理。網(wǎng)格尺度小的類激活圖反映了網(wǎng)絡(luò)對(duì)于遠(yuǎn)處目標(biāo)車輛特征的識(shí)別情況，通過(guò)對(duì)比圖11（a2）與圖11（a5）及圖11（a3）與圖11（a6），可以看出圖11（a5）、圖11（a6）中遠(yuǎn)處更多的車輛特征被捕捉到，說(shuō)明采用增強(qiáng)數(shù)據(jù)訓(xùn)練后的模型對(duì)于小目標(biāo)車輛的檢測(cè)準(zhǔn)確度有所提升。原始網(wǎng)絡(luò)對(duì)于車體存在大面積遮擋的車輛存在無(wú)法識(shí)別的問(wèn)題（如圖11（b2）與圖11（b3）左車道存在的兩處被遮擋車輛），改進(jìn)后的網(wǎng)絡(luò)增強(qiáng)了車輛局部特征的識(shí)別能力，體現(xiàn)在圖11（b5）、圖11（b6）中，被遮擋車輛的局部特征被激活為其他顏色。陰影遮擋限制了網(wǎng)絡(luò)對(duì)車輛特征的識(shí)別（圖11（c1）～11（c3）陰影下的車輛特征未被激活），通過(guò)數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)，陰影環(huán)境的魯棒性明顯提升，如圖11（c4）～11（c6）陰影下的車輛特征均被捕捉到。

圖11 不同場(chǎng)景下的類激活圖Fig.11 Class activation maps in different scenarios

如圖12所示，在道路場(chǎng)景1，2中原始網(wǎng)絡(luò)（Baseline）均存在車輛誤檢的問(wèn)題，場(chǎng)景2，3，4中均存在車輛漏檢的現(xiàn)象。改進(jìn)后的網(wǎng)絡(luò)不僅改善了車輛的誤檢問(wèn)題，而且對(duì)于欠曝圖片中辨識(shí)度不高或遠(yuǎn)景的車輛的檢測(cè)精度有所提升，場(chǎng)景2，3，4中原始網(wǎng)絡(luò)漏檢的車輛均被改進(jìn)后的網(wǎng)絡(luò)召回并檢測(cè)到。在對(duì)4個(gè)場(chǎng)景中遠(yuǎn)景小車輛目標(biāo)和處于陰影中車輛的檢測(cè)上，Blend Mask與YOLACT算法都存在不同程度的漏檢，本文算法表現(xiàn)出更高的檢測(cè)精度，而且在場(chǎng)景2，3中，改進(jìn)后的網(wǎng)絡(luò)對(duì)于車輛邊緣的分割效果要優(yōu)于前兩種網(wǎng)絡(luò)。此外，通過(guò)在場(chǎng)景2，4中對(duì)比網(wǎng)絡(luò)改進(jìn)前后車道線的檢測(cè)效果，改進(jìn)后的網(wǎng)絡(luò)對(duì)于車體或陰影遮擋、欠曝、彎曲的車道檢測(cè)方面魯棒性有所提升。圖13進(jìn)一步對(duì)比了本算法與其他主流算法的車道線檢測(cè)效果。

圖12 車輛檢測(cè)效果對(duì)比Fig.12 Comparison of vehicle detection results

如圖13所示，5個(gè)場(chǎng)景中的車道線存在欠曝、陰影遮擋和不同程度的缺損，導(dǎo)致原網(wǎng)絡(luò)存在不同程度的漏檢甚至完全檢測(cè)不到（如場(chǎng)景3），Line CNN存在漏檢（如場(chǎng)景1，2，3）和單車道不完全擬合（如場(chǎng)景4，5），PINet存在漏檢（如場(chǎng)景1，2，3）、單車道擬合不完全（如場(chǎng)景2，3，5）和誤檢（如場(chǎng)景4）。本文基于LaneNet改進(jìn)后的車道線檢測(cè)算法一方面降低了漏檢率和誤檢率，另一方面，完整的擬合效果為車輛壓線判斷提供了更加準(zhǔn)確可行的前提條件。

圖13 車道線檢測(cè)效果對(duì)比Fig.13 Comparison of lane line detection results

4 結(jié) 論

本文以Mask R-CNN實(shí)例分割算法和LaneNet車道線檢測(cè)算法為基礎(chǔ)，實(shí)現(xiàn)了車載圖像的車壓線檢測(cè)。通過(guò)改進(jìn)RE算法擴(kuò)展增強(qiáng)Tusimple數(shù)據(jù)集并訓(xùn)練Mask R-CNN網(wǎng)絡(luò)，提升了網(wǎng)絡(luò)對(duì)于陰影或?qū)嶓w遮擋的魯棒性，改善了原模型在小目標(biāo)車輛檢測(cè)上存在的漏檢問(wèn)題；Gamma校正算法根據(jù)車載圖像的灰度分布自動(dòng)調(diào)整算子，從而擴(kuò)大中高灰度區(qū)域的動(dòng)態(tài)范圍、提升欠曝區(qū)域的亮度，改善了欠曝圖像中車輛及車道線的辨識(shí)度，進(jìn)一步解決了車道線與車輛的漏檢誤檢問(wèn)題，使得最終車輛的漏檢率、誤檢率分別下降了38.93%，89.04%，車道線的漏檢率和誤檢率分別下降了67.21%，87.05%；采用雙立方插值算法改進(jìn)Mask R-CNN網(wǎng)絡(luò)中RoIAlign層的雙線性插值算法對(duì)候選框內(nèi)的圖像信息進(jìn)行縮放，提高了RoI Align層輸出的RoI特征圖的邊緣質(zhì)量；將LaneNet的解碼器E-Net替換為全連接層卷積化的VGG16，減少了參數(shù)計(jì)算量和內(nèi)存消耗的同時(shí)車道線檢測(cè)速度提升了28%，可以滿足實(shí)時(shí)檢測(cè)的需求；在保證車輛與車道線的檢測(cè)效率的同時(shí)，對(duì)車載圖像RoI區(qū)域進(jìn)行簡(jiǎn)化處理，在此基礎(chǔ)上提取車輛后輪的wheel_line線段，通過(guò)其與車道擬合直線相交點(diǎn)的個(gè)數(shù)判斷有無(wú)車輛壓線違規(guī)，該方法具有一定的可行性。