黃林泉，蔣良衛(wèi)

（南華大學(xué)計算機(jī)學(xué)院，衡陽 421000）

0 引言

近年來隨著我國經(jīng)濟(jì)迅速發(fā)展，各地城市化進(jìn)程加快，機(jī)動車數(shù)量不斷增加，據(jù)公安部統(tǒng)計，截至2019年上半年全國機(jī)動車保有量達(dá)3.4億輛，新登記汽車1242萬輛，新領(lǐng)證駕駛?cè)?408萬人。全國66個城市汽車保有量超過100萬輛，其中北京、成都等11個城市超過300萬輛。如此巨大數(shù)目的機(jī)動車涌入街道使得城市交通不堪重負(fù)，交通事故、交通擁堵、環(huán)境污染以及能源浪費(fèi)等問題日益嚴(yán)重，與此同時，機(jī)動車違章行為也變得屢見不鮮。如何實施高效的交通管控治理儼然成為一大難題。而在如今大數(shù)據(jù)時代，隨著深度學(xué)習(xí)技術(shù)的不斷革新與突破，如目標(biāo)檢測、圖像分類、圖像分隔等技術(shù)被廣泛應(yīng)用于醫(yī)學(xué)領(lǐng)域、軍事領(lǐng)域以及工業(yè)領(lǐng)域，因此在交通領(lǐng)域中融入深度學(xué)習(xí)技術(shù)進(jìn)行智能交通管控將會是解決上述問題的一把利刃。

本文研究的是智能交通應(yīng)用中的一項核心基礎(chǔ)任務(wù)-車道行駛區(qū)域分隔，對車道行駛區(qū)域進(jìn)行有效的分隔可以很好地幫助統(tǒng)計各車道的車流量信息以及逆向行駛、違規(guī)越線等違章行為的判斷。本文提出了一種行駛區(qū)域自動擴(kuò)充的算法，首先使用目標(biāo)跟蹤技術(shù)獲取機(jī)動車運(yùn)動軌跡，然后對其進(jìn)行過濾擬合，結(jié)合軌跡端點(diǎn)與區(qū)域頂點(diǎn)之間的位置關(guān)系對各車道行駛區(qū)域進(jìn)行擴(kuò)充，并且可以通過學(xué)習(xí)各車道運(yùn)動軌跡的特征，以確定其合法行駛方向。

1 相關(guān)技術(shù)

1.1 目標(biāo)跟蹤

為了獲取機(jī)動車目標(biāo)的運(yùn)動軌跡信息，需要對機(jī)動車目標(biāo)跟蹤定位。本文使用了Nicolai Wojke等人提出的基于檢測的多目標(biāo)跟蹤算法Deepsort[2]負(fù)責(zé)機(jī)動車目標(biāo)的跟蹤任務(wù)。Deepsort算法在Sort算法的基礎(chǔ)上進(jìn)行改進(jìn)，解決了Sort算法在相機(jī)運(yùn)動情況下運(yùn)動信息關(guān)聯(lián)失效的問題。其引入了重識別網(wǎng)絡(luò)提取目標(biāo)的外形特征向量，同時考慮目標(biāo)的運(yùn)動信息和外形特征進(jìn)行關(guān)聯(lián)匹配。兩大核心算法是卡爾曼濾波和匈牙利算法。通過標(biāo)準(zhǔn)卡爾曼（Kalman）濾波器對目標(biāo)運(yùn)動狀態(tài)進(jìn)行預(yù)測。使用匈牙利算法進(jìn)行關(guān)聯(lián)匹配，運(yùn)動關(guān)聯(lián)程度用目標(biāo)檢測框與跟蹤器預(yù)測框之間的馬氏距離來描述：

其中dj表示第j個檢測框的位置，yi表示跟蹤器對目標(biāo)i的預(yù)測位置。Si表示目標(biāo)i的檢測位置與預(yù)測位置之間的協(xié)方差矩陣，即以檢測位置與預(yù)測位置之間標(biāo)準(zhǔn)差的形式來考慮狀態(tài)測量的不確定性。接著使用重識別網(wǎng)絡(luò)提取目標(biāo)128維的特征向量作為外觀信息，緩存每一幀成功匹配的結(jié)果作為特征向量集，對于每一個檢測框，將其特征向量與所有跟蹤器的特征向量集計算最小余弦距離：

其中rj表示第j個目標(biāo)檢測框的特征向量，Ri表示第i個跟蹤器的特征向量集。最后使用兩種關(guān)聯(lián)方式的線性加權(quán)值作為最終匹配度量，λ為權(quán)重系數(shù)，如公式（3）。

1.2 目標(biāo)檢測

前面提到了本文所使用的目標(biāo)跟蹤算法是基于檢測的，因此目標(biāo)檢測結(jié)果的好壞將直接影響到跟蹤算法的性能。目前的目標(biāo)檢測算法主要分為兩大方向，分別是以高精度著稱的兩階段方法和以高效率著稱的單階段方法。代表算法分別是Faster R-CNN[3-4]系列算法以及SSD[5]、YOLO[6-8]系列算法。本文為了在保證高準(zhǔn)確率的同時盡量提高算法效率，使用Alexey Boch?kovskiy等人提出的單階段算法YOLOv4[9]，YOLOv4算法在YOLOv3的基礎(chǔ)上從特征提取、特征融合、損失函數(shù)以及激活函數(shù)等方面進(jìn)行了全方面的優(yōu)化。使用了ResNeXt網(wǎng)絡(luò)結(jié)合CSPNet中的梯度分流階段機(jī)制提高卷積網(wǎng)絡(luò)的學(xué)習(xí)能力，引入了SPP Net和PA Net進(jìn)行特征融合豐富特征圖的表達(dá)能力，損失函數(shù)方面，使用了CIoU替代原來的均方差損失函數(shù)，提高目標(biāo)定位的精度。在開源數(shù)據(jù)集COCO和VOC上進(jìn)行驗證，在準(zhǔn)確率和效率之間達(dá)到最優(yōu)的權(quán)衡，算法結(jié)構(gòu)如圖1所示。

2 算法實現(xiàn)

通過目標(biāo)檢測與跟蹤算法獲取機(jī)動車的運(yùn)動軌跡之后，需要進(jìn)一步通過離心點(diǎn)判斷和拐角距離判斷過濾路邊不規(guī)則行駛車輛的干擾軌跡，然后對于直行車輛軌跡進(jìn)行優(yōu)化擬合得到軌跡線段，根據(jù)軌跡方向判斷其所處車道后結(jié)合軌跡端點(diǎn)和區(qū)域頂點(diǎn)的位置關(guān)系進(jìn)行區(qū)域擴(kuò)充，具體流程如圖2所示。

圖1 YOLOv4算法結(jié)構(gòu)

圖2 算法流程圖

2.1 軌跡預(yù)處理

通過目標(biāo)跟蹤算法記錄機(jī)動車的預(yù)測框中心點(diǎn)位置得到運(yùn)動軌跡之后，由于交通場景復(fù)雜，通常會檢測到一些非目標(biāo)區(qū)域內(nèi)的機(jī)動車以及一些曲線行駛的機(jī)動車，如圖3所示，綠色點(diǎn)為目標(biāo)軌跡點(diǎn)。

圖3 干擾軌跡示例

這些目標(biāo)的軌跡信息不但對行駛區(qū)域的擴(kuò)充沒有任何作用，還會使得區(qū)域頂點(diǎn)漂移產(chǎn)生較大誤差，所以首先需要對該類目標(biāo)產(chǎn)生的非近似直線軌跡進(jìn)行過濾。本文使用了離心點(diǎn)個數(shù)、平均離心距離和平均拐點(diǎn)后偏移角度三種方法對軌跡是否為曲線進(jìn)行判斷。首先使用軌跡起點(diǎn)和終點(diǎn)擬合一條線段，離心點(diǎn)個數(shù)即為軌跡點(diǎn)距擬合線段距離大于閾值（默認(rèn)為40像素）點(diǎn)的個數(shù)，大于軌跡點(diǎn)個數(shù)30%的即判斷為曲線；平均離心距離即為各軌跡點(diǎn)到擬合線段距離的平均值，大于平均閾值（默認(rèn)為60像素）則判斷為曲線；平均拐點(diǎn)后距離需要首先找到軌跡最大拐點(diǎn)，然后計算起點(diǎn)到拐點(diǎn)的線段與拐點(diǎn)到其后軌跡點(diǎn)線段夾角的平均值，大于45°即判定為曲線，計算過程如公式4所示。

其中i表示軌跡中拐點(diǎn)的下標(biāo)，N表示軌跡點(diǎn)總數(shù)，表示點(diǎn)p0和pi組成的向量，則表示pj和pi之間y方向的增量，則為x方向的增量。abs(t)表示對t取絕對值，min(a,b)表示取a和b的最小值。判斷示例如圖4所示。

圖4 軌跡分類示例

為了盡量降低干擾軌跡給算法帶來誤差的可能性，在任一方法判斷軌跡為曲線時均對其進(jìn)行丟棄，這樣做提高了直行軌跡的門檻可能對部分直行軌跡產(chǎn)生誤判，但是在最大程度上避免了干擾軌跡.在相同的10個場景下進(jìn)行實驗對比，以完成所有10個場景區(qū)域擴(kuò)充所需平均軌跡數(shù)、平均擴(kuò)充時間和最終的平均IoU作為指標(biāo)進(jìn)行評測，結(jié)果如表1所示，發(fā)現(xiàn)對部分直行軌跡的丟失對最終結(jié)果并無明顯影響。

2.2 擴(kuò)充條件判斷

在實際交通中，道路主要按行駛方向最多分為兩個車道，因此本文中首先生成兩個假設(shè)區(qū)域A和B，初始狀態(tài)全部為空，以運(yùn)動方向作為軌跡歸屬判斷的標(biāo)準(zhǔn)，然后對于第一條符合要求的直行軌跡，將其劃分到區(qū)域A中，即確定區(qū)域A所歸屬的車道，并且取其運(yùn)動方向作為區(qū)域初步行駛方向。對于后續(xù)軌跡，分別在假設(shè)區(qū)域A和B中使用隨機(jī)采樣的方法選擇最多10條軌跡計算平均角度，若平均角度小于90°說明與當(dāng)前區(qū)域軌跡集為相同運(yùn)動方向，屬于當(dāng)前假設(shè)區(qū)域，若平均角度大于等于90°，說明為相反運(yùn)動方向，應(yīng)歸屬于另一假設(shè)區(qū)域。當(dāng)任一假設(shè)區(qū)域軌跡數(shù)為2時，則由兩條線段可確定一個區(qū)域，需要嘗試進(jìn)行區(qū)域初始化。但是為了避免兩條軌跡相似度過高，即起點(diǎn)與終點(diǎn)距離較近導(dǎo)致初始化形成的區(qū)域近似為三角形或線段，因此需要兩軌跡起點(diǎn)距離和終點(diǎn)距離均大于初始化距離閾值（默認(rèn)為30像素），若滿足條件，則利用兩軌跡端點(diǎn)對假設(shè)區(qū)域進(jìn)行初始化，生成梯形區(qū)域。否則視當(dāng)前軌跡為無用軌跡，進(jìn)行拋棄，等待下一條軌跡信息嘗試初始化，如圖5所示。

圖5 假設(shè)區(qū)域初始化

生成假設(shè)區(qū)域之后，對于后續(xù)軌跡信息，首先判斷其所屬區(qū)域，然后根據(jù)軌跡端點(diǎn)與假設(shè)區(qū)域頂點(diǎn)之間的位置關(guān)系判斷其是否能夠擴(kuò)充區(qū)域，具體分為以下幾步：

（1）判斷軌跡端點(diǎn)與假設(shè)區(qū)域的包含關(guān)系

首先需要通過面積和判別法判斷軌跡端點(diǎn)是否處于假設(shè)區(qū)域內(nèi)部，面積和判別法通過依次連接端點(diǎn)P與多邊形任意兩頂點(diǎn)組成一個三角形，然后計算所有這樣的三角形面積和記為端點(diǎn)面積S。然后在多邊形頂點(diǎn)中選定一點(diǎn)V，同樣依次連接其與其他兩頂點(diǎn)組成一個三角形，計算面積和記為多邊形面積T，若S等于T則端點(diǎn)位于多邊形內(nèi)部，若S大于T則端點(diǎn)位于多邊形外部，其過程可用圖6表示。

圖6 面積和判別法示例

對于落在假設(shè)區(qū)域內(nèi)部的端點(diǎn)，無論從何種角度其都無法對假設(shè)區(qū)域進(jìn)行擴(kuò)充，應(yīng)當(dāng)直接拋棄。而對于假設(shè)區(qū)域外部的端點(diǎn)，則可以至少從一個維度（車道方向或車道范圍）對假設(shè)區(qū)域進(jìn)行擴(kuò)充，具體擴(kuò)充方案則需要進(jìn)一步判斷。

（2）判斷軌跡端點(diǎn)與假設(shè)區(qū)域最近方向邊的位置關(guān)系

對于落在假設(shè)區(qū)域外部的端點(diǎn)P，需要判斷其與所屬假設(shè)區(qū)域最近方向邊的位置關(guān)系，最近方向邊意為假設(shè)區(qū)域距離端點(diǎn)最近并且沿機(jī)動車行駛方向的邊，它們代表了各車道的長，如圖6中第三幅圖，P1的最近方向邊即為V24。本文首先通過公式5將端點(diǎn)p映射到最近方向邊Vij上得到點(diǎn)p'，然后通過公式6判斷端點(diǎn)p'是否在線段Vij上。

其中ρ(vi,vj)表示兩頂點(diǎn)vi和vj之間的歐式距離。如果端點(diǎn)落在最近方向邊之外，說明其可以沿行駛方向?qū)ψ罱较蜻呥M(jìn)行擴(kuò)充，否則該端點(diǎn)在行駛方向維度上對假設(shè)區(qū)域擴(kuò)充無貢獻(xiàn)，如圖7所示。

圖7 方向邊擴(kuò)充條件示例

可以看到在圖7第二幅圖中，端點(diǎn)p的映射點(diǎn)p'沒有落在線段Vij上，因此可以沿Vij向量方向?qū)㈨旤c(diǎn)vi移動至點(diǎn)p'，對假設(shè)區(qū)域進(jìn)行擴(kuò)充。

（3）判斷軌跡端點(diǎn)與假設(shè)區(qū)域最近范圍邊的位置關(guān)系

在上述（2）中判斷的是端點(diǎn)是否能在行駛方向維度上對假設(shè)區(qū)域進(jìn)行擴(kuò)充，除此之外，還需要判斷端點(diǎn)是否能在車道范圍維度上對假設(shè)區(qū)域擴(kuò)充，最近范圍邊指的是假設(shè)區(qū)域距離端點(diǎn)最近并且由同為軌跡起點(diǎn)或軌跡終點(diǎn)的頂點(diǎn)組成的邊，它們代表了各車道的寬度，如圖6中的端點(diǎn)P1的最近范圍邊為V34。同樣使用（2）中所提到的方法判斷端點(diǎn)p是否落在最近范圍邊上，如果落在最近范圍邊外，說明其可以在車道范圍維度上對假設(shè)區(qū)域進(jìn)行擴(kuò)充，否則對區(qū)域擴(kuò)充無貢獻(xiàn)。

結(jié)合上述判斷，我們可以對端點(diǎn)是否能擴(kuò)充假設(shè)區(qū)域的情況作出總結(jié)。當(dāng)端點(diǎn)落在假設(shè)區(qū)域內(nèi)部時，無法擴(kuò)充區(qū)域；當(dāng)端點(diǎn)落在其最近方向邊以及最近范圍邊以外時，可同時在方向維度和范圍維度上對假設(shè)區(qū)域進(jìn)行擴(kuò)充；當(dāng)端點(diǎn)僅落在其最近方向邊（最近范圍邊）以外時，可沿方向邊（范圍邊）對假設(shè)區(qū)域進(jìn)行擴(kuò)充；如圖8所示。

圖8 區(qū)域擴(kuò)充示例

2.3 區(qū)域確定

當(dāng)某個假設(shè)區(qū)域內(nèi)連續(xù)10條有效軌跡均無法對其進(jìn)行擴(kuò)充時，認(rèn)為該假設(shè)區(qū)域已經(jīng)基本覆蓋所有的行車軌跡，與實際車道區(qū)域基本一致，擴(kuò)充已完成。在所有假設(shè)區(qū)域均擴(kuò)充完成后則進(jìn)入?yún)^(qū)域確定階段。

在區(qū)域確定階段，需要完成車位擴(kuò)充以及合法行駛方向的確定。由于通過目標(biāo)跟蹤算法獲取的是機(jī)動車目標(biāo)中心點(diǎn)組成的軌跡信息，所有的區(qū)域初始化以及擴(kuò)充都是在中心點(diǎn)的基礎(chǔ)上得來的，這將使得最終生成的行駛區(qū)域方向邊均內(nèi)縮了近半個車位寬度。因此本文在記錄軌跡點(diǎn)中心坐標(biāo)的同時還記錄了各軌跡點(diǎn)的車身半寬，接著取前2個軌跡點(diǎn)車身半寬均值作為起點(diǎn)范圍擴(kuò)充距離ds，末位2個軌跡點(diǎn)的車身半寬均值作為終點(diǎn)范圍擴(kuò)充距離de在雙車道情況下，為了避免左右車道鄰近邊擴(kuò)充后出現(xiàn)相交的情況，需要保證鄰近邊擴(kuò)充后距離小于0.1倍車道寬。然后根據(jù)鄰近邊得到兩車道虛擬中線ls作為車道劃分線。從各假設(shè)區(qū)域中隨機(jī)采樣20條軌跡信息，通過公式4與公式7分別計算其與ls的夾角和位置。

其中(x1,y1,x2,y2)分別表示劃分線段ls的兩個頂點(diǎn)坐標(biāo)表示第i條軌跡向量的中點(diǎn)坐標(biāo)。Di小于0表示第i條軌跡向量位于劃分線段左側(cè)，大于0表示位于右側(cè)。然后結(jié)合投票機(jī)制得出假設(shè)區(qū)域位于劃分線段哪一側(cè)，如圖9所示。

圖9 區(qū)域確定示例圖

3 實驗分析

3.1 評測指標(biāo)

針對本文算法，其性能主要體現(xiàn)在擴(kuò)充行駛區(qū)域與實際車道區(qū)域之間的重疊程度以及完成區(qū)域擴(kuò)充所需時間兩個方面。因此，本文使用IoU與擴(kuò)充時間分別作為評測算法精度和效率的指標(biāo)。而IoU一般用來評測兩規(guī)則矩形區(qū)域的重疊程度，本文假設(shè)區(qū)域主要呈現(xiàn)梯形等不規(guī)則四邊形，因此使用了Python中的Polygon模塊計算兩不規(guī)則四邊形的相交面積，然后通過公式8計算IoU值。

其中intersection(area1,area2)用來計算area1和area2的相交面積。

3.2 實驗結(jié)果

本實驗在Ubuntu18.04、Python3.7環(huán)境下進(jìn)行測試，使用GPU加速工具CUDA 10.1。CPU為Intel Core i7 7700k@4.2GHz，GPU 為 NVDIA GTX 1080Ti@11 GB，內(nèi)存為16 GB。測試數(shù)據(jù)集包含30個不同場景不同角度不同車道數(shù)的視頻，結(jié)果如表1所示。

表1 分類方法實驗結(jié)果

圖10 擴(kuò)充效果示例圖

通過表1可以看到，僅使用單類方法對非直行軌跡進(jìn)行過濾時，區(qū)域擴(kuò)充完成是最快的，但是可能學(xué)習(xí)了部分干擾軌跡的特征，導(dǎo)致假設(shè)區(qū)域頂點(diǎn)漂移，最終生成的區(qū)域IoU值極低。在使用了二類方法進(jìn)行過濾后，區(qū)域IoU值明顯升高，而擴(kuò)充時間僅小幅度提升。三類方法同時使用時，IoU值達(dá)到最高，同時完成擴(kuò)充所需時間也最長，但是依舊處于可接受范圍之內(nèi)。部分最終測試擴(kuò)充效果如圖10所示。

其中紅色線段表示虛擬劃分線，圖10第一幅圖為一般情況；第二幅圖為額外車道干擾情況，左側(cè)和右側(cè)均有多車道，并且左上方存在轉(zhuǎn)彎車道；第三幅圖為單車道情況；第四幅圖為傾斜分布單車道情況；可以看到算法在各場景下均具有較好的區(qū)域擴(kuò)充結(jié)果且劃分線段位置準(zhǔn)確。

4 結(jié)語

本文提出了一種在直行道路場景下各車道行駛區(qū)域劃分及行駛方向確定的算法，結(jié)合目標(biāo)檢測與跟蹤技術(shù)實現(xiàn)過程自動化，并且結(jié)合多種軌跡過濾方法來提高區(qū)域劃分的準(zhǔn)確度。算法具備較高的魯棒性，在單車道、多車道等多種場景下進(jìn)行劃分?jǐn)U充準(zhǔn)確。車道行駛區(qū)域的劃分可有效的促進(jìn)智能交通的發(fā)展，但目前該算法擴(kuò)充時間取決于道路車流量，不確定性較高，后續(xù)希望可以從該角度進(jìn)行改進(jìn)以提高算法效率。