周君 包旭 高焱 李耘 姜晴

（淮陰工學(xué)院交通工程學(xué)院 江蘇 淮安223003）

0 引 言

車輛檢測(cè)技術(shù)被廣泛地應(yīng)用于城市道路交通流信息采集。因此，車輛檢測(cè)的精度直接影響到數(shù)據(jù)的準(zhǔn)確性[1]。原有的視頻圖像處理技術(shù)無法對(duì)遮擋嚴(yán)重的車輛進(jìn)行高精度檢測(cè)獲取車輛動(dòng)態(tài)信息。因此，改進(jìn)視頻圖像處理技術(shù)，解決車輛在行駛中的嚴(yán)重遮擋問題，能提高車輛檢測(cè)精度，有效提升交通事件檢測(cè)與預(yù)警的效率和質(zhì)量。

最早的車輛檢測(cè)技術(shù)是基于車輛輪廓的方法，如Zhao等[2]使用“snake”方法為檢測(cè)目標(biāo)提取車輛的輪廓，后來發(fā)現(xiàn)當(dāng)?shù)缆诽幱陲柡蜖顟B(tài)時(shí)車輛相互遮擋比較嚴(yán)重，該方法得不到較好的檢測(cè)結(jié)果。為了在車輛遮擋嚴(yán)重的飽和路段獲得較好的跟蹤結(jié)果，楊敏等[3]針對(duì)復(fù)雜交通場(chǎng)景中動(dòng)態(tài)光照變化、陰影和遮擋等因素帶來的影響，提出了1種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的高效、魯棒的車輛檢測(cè)方法。袁俊[4]使用Harris角點(diǎn)檢測(cè)算法和Shift特征描述符，提出了1種基于特征點(diǎn)匹配的車輛檢測(cè)方法，該方法提高了復(fù)雜交通場(chǎng)景中車輛檢測(cè)算法的魯棒性，降低了光照變化對(duì)車輛檢測(cè)造成的影響。為了提高遮擋環(huán)境下動(dòng)態(tài)視頻的檢測(cè)效率，有專家將圖像處理與數(shù)學(xué)模型相結(jié)合，提出了檢測(cè)效率較高的算法。劉陽(yáng)等[5]針對(duì)平交路口復(fù)雜環(huán)境下，認(rèn)為基于視覺的車輛跟蹤容易受車輛在圖像上投影的尺度變化，以及車輛的排隊(duì)與消散過程中鄰近車輛間的遮擋等因素的影響，提出了1種利用局部特征和Mean Shift改進(jìn)算法。王文龍等[6]提出了基于蒙特卡羅算法的車輛跟蹤檢測(cè)方法，運(yùn)用蒙特卡羅技術(shù)對(duì)下1幀目標(biāo)可能出現(xiàn)的位置和尺度進(jìn)行抽樣，然后計(jì)算各抽樣與參考目標(biāo)的相似度，最后通過估計(jì)目標(biāo)狀態(tài)來獲得檢測(cè)目標(biāo)。Wen等[7]提出了基于隨機(jī)結(jié)構(gòu)的HMM/MRF的車輛檢測(cè)算法，該算法運(yùn)用了MRF理論，利用了視頻幀間的時(shí)空關(guān)聯(lián)特性，對(duì)前景/背景對(duì)象、視頻圖像序列同時(shí)進(jìn)行隨機(jī)結(jié)構(gòu)建模，但該算法時(shí)間長(zhǎng)，準(zhǔn)確性較低，容易漏檢。

基于ST-MRF的自適應(yīng)車輛跟蹤算法[8]在道路非飽和狀態(tài)、且車輛之間的遮擋不嚴(yán)重的情況下，能準(zhǔn)確地獲得車輛檢測(cè)結(jié)果，但當(dāng)?shù)缆诽幱陲柡蜖顟B(tài)時(shí)，車輛在行駛中出現(xiàn)長(zhǎng)時(shí)間的遮擋（視頻監(jiān)控區(qū)域始終遮擋）將嚴(yán)重影響車輛檢測(cè)精度[9]。另外，由于環(huán)境光照變化的影響，車輛與其陰影之間的遮擋也同樣會(huì)降低車輛檢測(cè)精度[10]。原有的ST-MRF算法無法對(duì)遮擋嚴(yán)重的車輛進(jìn)行高精度檢測(cè)獲取車輛動(dòng)態(tài)信息。因此，筆者在原始ST-MRF算法的基礎(chǔ)上，結(jié)合車輛模式識(shí)別技術(shù)，解決車輛在行駛中的遮擋問題，從而提高車輛檢測(cè)精度。

1 研究思路

當(dāng)?shù)缆诽幱陲柡蜖顟B(tài)時(shí)，車輛之間經(jīng)常出現(xiàn)重疊遮擋[11]。這些現(xiàn)象屬于圖像分割問題，解決車輛之間的嚴(yán)重遮擋問題要求車輛檢測(cè)算法的識(shí)別率高，從而對(duì)車輛進(jìn)行精確檢測(cè)。筆者采用模式識(shí)別技術(shù)對(duì)相互遮擋的車輛進(jìn)行間隙識(shí)別，確定單個(gè)車輛的邊界，然后將模式識(shí)別結(jié)果反饋給ST-MRF算法，建立基于模式識(shí)別與ST-MRF相結(jié)合的車輛檢測(cè)算法，以解決車輛相互遮擋問題，提高車輛檢測(cè)精度。研究思路見圖1，具體步驟如下。

步驟1。通過模式識(shí)別技術(shù)分割相互遮擋的2輛車之間的邊界，識(shí)別相互遮擋車輛的邊緣間隙以及邊界信息。

步驟2。ST-MRF的能量函數(shù)分配標(biāo)號(hào)進(jìn)行提煉及優(yōu)化處理，并結(jié)合模式識(shí)別技術(shù)融合不完整的分割部分，得到車輛檢測(cè)算法。

步驟3。提取車輛的目標(biāo)地圖和矢量地圖，為交通流參數(shù)的采集提供技術(shù)支持。

圖1 研究路線圖Fig.1 Flow for the study

2 模式識(shí)別技術(shù)

圖2 2車相互遮擋示意圖Fig.2 Mutual occlusion between vehicles

相互遮擋的2輛車由于屬于不同車輛的像素塊具有相似的運(yùn)動(dòng)矢量，導(dǎo)致相互遮擋的2輛車難以被分割。見圖2，公交車為車輛1，小汽車為車輛2，車輛1接近并遮擋車輛2，這時(shí)車輛的邊界分割就變得越來越模糊，這是因?yàn)檐囕v1的邊界區(qū)域會(huì)包含一些屬于車輛2的像素塊。只有當(dāng)車輛1完全脫離車輛2時(shí)，車輛1的邊界才會(huì)被背景圖像分割為2個(gè)部分，這時(shí)將會(huì)出現(xiàn)屬于車輛2的不完整的部分。在這種情況下，可以采用模式識(shí)別技術(shù)識(shí)別車輛之間的不同間隙。

2.1 識(shí)別被遮擋車輛邊緣間隙

相互遮擋的車輛之間存在3種不同的間隙[12-13]：①大型車輛與小汽車邊界之間的寬度間隙（見圖3（a））；②相同類型或不同類型的小汽車邊界之間的主要軸線上的間隙（見圖3（b））；③小汽車自身陰影與小汽車邊界之間的邊緣間隔的密度間隙（見圖3（c））。

圖3 間隙類型Fig.3 Gap type

在1個(gè)區(qū)域檢測(cè)到相互遮擋的2輛車后，模式識(shí)別算法從原始圖像中提取與車輛行駛方向正交的直線邊緣，然后掃描邊緣，獲得邊緣模式，計(jì)算邊緣模式的漢明距離，采用式（1）計(jì)算每對(duì)碼字的漢明距離，獲到最小值[14]，最小值為相互遮擋嚴(yán)重區(qū)域的車輛邊界范圍，見圖4。

圖4 圖像掃描示意圖Fig.4 Image scanning

2.2 確定車輛邊界

如圖3所示，車輛的前部和頂部的邊緣較少，邊緣間隔密度由非密集變?yōu)槊芗饕性?輛車的邊界。圖像掃描技術(shù)獲得相互遮擋車輛的邊界范圍后，再使用邊緣間隔密度模式算法確定相互遮擋的2輛車之間的邊界，具體步驟如下。

步驟1。使用傳統(tǒng)的canny邊緣檢測(cè)算法進(jìn)行車輛水平邊界檢測(cè)[15]。

步驟2。統(tǒng)計(jì)邊界的數(shù)量，見圖5。

步驟3。閾值計(jì)算，T=αP+M[16]。式中：α為閾值調(diào)節(jié)系數(shù)，取值為0.03；M為運(yùn)動(dòng)矢量模的均值；P為方差。

步驟4。根據(jù)閾值的大小確定邊界類型。

步驟5。根據(jù)邊界類型識(shí)別不同的邊緣間隙，見圖3。

步驟6。計(jì)算邊緣間隔評(píng)估值，找出最大評(píng)估值，見圖6。

步驟7。確定相互遮擋的2輛車之間的邊界，見圖7。

圖5 邊界數(shù)Fig.5 Number of borders

圖6 邊緣間隔評(píng)估值Fig.6 Border interval evaluation

圖7 邊緣Fig.7 Border

模式識(shí)別是通過圖像掃描技術(shù)獲得相互遮擋車輛的邊界范圍后，再使用邊緣間隔密度模式算法確定相互遮擋的2輛車之間的邊界，以及單個(gè)車輛的區(qū)域。將模式識(shí)別結(jié)果反饋給ST-MRF算法，建立基于模式識(shí)別與ST-MRF相結(jié)合的車輛檢測(cè)算法，對(duì)背景和前景進(jìn)行準(zhǔn)確分割，提高檢測(cè)精度。

3 模式識(shí)別與ST-MRF相結(jié)合的車輛檢測(cè)算法

3.1 建立ST-MRF的能量函數(shù)

在ST-MRF模型中塊對(duì)應(yīng)1個(gè)場(chǎng)景，塊被標(biāo)號(hào)作為目標(biāo)區(qū)域的1個(gè)部分與背景圖像的紋理不一樣，這些塊聚集在一起被稱為目標(biāo)地圖[17]，每個(gè)塊上都有代表塊的運(yùn)動(dòng)矢量，ST-MRF模型就是根據(jù)前1個(gè)時(shí)刻的目標(biāo)地圖估計(jì)下1個(gè)時(shí)刻的目標(biāo)地圖，通過ST-MRF模型，優(yōu)化目標(biāo)地圖和運(yùn)動(dòng)矢量地圖的問題就變成了最小化式（2）的能量函數(shù)[18]。

式中：第1部分a(N yk-μN(yùn) y)2為目標(biāo)地圖中標(biāo)號(hào)的相鄰關(guān)系；第2部分為連續(xù)目標(biāo)地圖中的標(biāo)號(hào)的遮擋關(guān)系；第3部分為與運(yùn)動(dòng)矢量有關(guān)的連續(xù)圖像中的紋理關(guān)系；第4部分為運(yùn)動(dòng)矢量地圖中的運(yùn)動(dòng)矢量的相鄰關(guān)系；N yk為1個(gè)像素塊的相鄰像素塊和該像素塊有相同標(biāo)號(hào)的數(shù)目；N xk為1個(gè)像素塊的相鄰像素塊的數(shù)目；D xyk為t-1時(shí)刻的圖像與t時(shí)刻的圖像之間的紋理相關(guān)性，在發(fā)生遮擋時(shí)，分別計(jì)算屬于各輛車的概率；M xyk為部分遮擋的2個(gè)像素塊中遮擋部分的像素個(gè)數(shù)；μM xy為遮擋部分的像素個(gè)數(shù)，最大值為64，最小值為0；μN(yùn) y為鄰域基團(tuán)，本文采用二階鄰域系統(tǒng)，也稱為8-鄰域基團(tuán)，它的每1個(gè)位置有8個(gè)鄰域，則μN(yùn) y=8為最大值；Ck為當(dāng)前像素塊；Bk為相鄰像素塊；V為運(yùn)動(dòng)矢量；V C K(t-1)-V B K(t-1)為t-1時(shí)刻，當(dāng)前像素塊與相鄰像素塊的運(yùn)動(dòng)矢量之差；a，b，c，f和μM xy為設(shè)定的參數(shù)，取a=1/2，b=1/256，c=32/1 000 000，f=1/4，μM xy=0。

3.2 提煉及優(yōu)化處理

根據(jù)前一時(shí)刻的目標(biāo)地圖、運(yùn)動(dòng)矢量和當(dāng)前圖像，同時(shí)考慮在相鄰像素塊中的運(yùn)動(dòng)矢量和連續(xù)圖像中的紋理關(guān)系的相似性來最小化當(dāng)前時(shí)刻的目標(biāo)地圖和運(yùn)動(dòng)矢量的最小能量值，具體包括如下步驟。

步驟1。通過塊匹配方法獲得所有像素塊的運(yùn)動(dòng)矢量，確定運(yùn)動(dòng)矢量地圖的初始狀態(tài)V（t-1;t），令V（t-1;t）=V0，V（t-1;t）表示時(shí)刻t-1到t，每個(gè)像素塊的運(yùn)動(dòng)矢量。

步驟2。根據(jù)運(yùn)動(dòng)矢量地圖的初始狀態(tài)，將每1個(gè)像素塊的候選標(biāo)號(hào)設(shè)置為目標(biāo)地圖的二維初始狀態(tài)X（t）=y0。

步驟3。估算目標(biāo)地圖和運(yùn)動(dòng)矢量地圖，再進(jìn)行X（t）=yi和V（t-1;t）=Vi次迭代后的總能量，i為迭代次數(shù)。

步驟4。隨機(jī)同時(shí)轉(zhuǎn)換在當(dāng)前狀態(tài)下的目標(biāo)地圖X（t）=yi和運(yùn)動(dòng)矢量地圖V（t-1;t）=Vi到下一狀態(tài)的目標(biāo)地圖X（t+1）=yi+1和運(yùn)動(dòng)矢量地圖V(t;t+1)=Vi+1。

步驟5。在步驟3和步驟4之間反復(fù)循環(huán)操作，直到X（t）和V(t-1;t)收斂到能量函數(shù)值Ustmrf到極小值。

3.3 后驗(yàn)概率

結(jié)合模式識(shí)別技術(shù)融合不完整的分割部分，與ST-MRF相結(jié)合的圖像分割的后驗(yàn)概率為

式中：G(t-1)=g，G(t)=h：圖像G在時(shí)刻t-1時(shí)的值為g，在時(shí)刻t時(shí)的值為h；X(t-1)=x，X(t)=y：目標(biāo)地圖X在時(shí)刻t-1時(shí)被檢測(cè)到標(biāo)號(hào)分布為x，在時(shí)刻t時(shí)被檢測(cè)到的標(biāo)號(hào)分布為y；P(G(t-1)=g，X(t-1)=x，G(t)=h)為常數(shù)，所以后驗(yàn)概率的最大值取決于式（3）的分子。

3.4 車輛檢測(cè)結(jié)果

通過上述的車輛檢測(cè)算法獲得2種地圖（見圖8）：1種是目標(biāo)地圖（見圖8（b）），用于表示車輛ID分布圖的分割結(jié)果，目標(biāo)地圖是車輛標(biāo)號(hào)的集合，同1輛車的相同標(biāo)號(hào)組成跟車輛形狀相似的幾何體，對(duì)嚴(yán)重遮擋的車輛進(jìn)行分離；另1種是運(yùn)動(dòng)矢量地圖（見圖8（c）），用于表示與車輛ID號(hào)對(duì)應(yīng)的塊的運(yùn)動(dòng)矢量分布。

圖8 車輛檢測(cè)結(jié)果Fig.8 Vehicle detection results

4 實(shí)驗(yàn)分析

目前在車輛檢測(cè)方面比較盛行的1種方法是華盛頓大學(xué)的Redmon教授提出的YOLO（you only look once）算法[19]，該算法是基于DarkNet和CNN的實(shí)時(shí)目標(biāo)檢測(cè)算法，檢測(cè)速度很快，但對(duì)圖像中小目標(biāo)物體的檢測(cè)錯(cuò)誤率很高。各國(guó)學(xué)者在YOLO的基礎(chǔ)上提出YOLOv2、YOLOv3和YOLOv4。YOLOv2是在YOLO的基礎(chǔ)上進(jìn)行改進(jìn)，所以它的速度依然很快，對(duì)圖像中小目標(biāo)物體的檢測(cè)錯(cuò)誤率依然很高。YOLOv3由于加入了殘差模型和采用FPN架構(gòu)，可以對(duì)目標(biāo)進(jìn)行多尺度檢測(cè)，精度有所提升[20]。YOLOv4在YOLOv3的基礎(chǔ)上進(jìn)行了多方面的改進(jìn)，包括：特征提取網(wǎng)絡(luò)，激活函數(shù)，損失函數(shù)，數(shù)據(jù)處理和學(xué)習(xí)率。但是仍然存在問題，YOLOv4在機(jī)非混行的交叉口處，針對(duì)遮擋嚴(yán)重和重合嚴(yán)重的非機(jī)動(dòng)車和機(jī)動(dòng)車檢測(cè)準(zhǔn)確率有所下降[21]。基于模式識(shí)別與ST-MRF相結(jié)合的車輛檢測(cè)方法可以彌補(bǔ)YOLO算法在這方面的缺陷。

4.1 路段車輛檢測(cè)實(shí)驗(yàn)

實(shí)驗(yàn)所拍攝的視頻時(shí)間為2020年6月15日上午09：30，地點(diǎn)是在淮安市淮海南路與解放路交叉口北進(jìn)口處，拍攝時(shí)間長(zhǎng)度為10 min。該路段交通量為3 500輛/h，比較擁擠，且交叉口處機(jī)動(dòng)車與非機(jī)動(dòng)車混行，公交車與小汽車相互遮擋，幀頻為10幀/s，每幀圖像大小為720×640。其目的是比較模式識(shí)別與ST-MRF相結(jié)合的車輛檢測(cè)算法和原始的ST-MRF算法的檢測(cè)精度。

圖9 為檢測(cè)結(jié)果的比較圖，圖中淺色大矩形框?yàn)橐曨l檢測(cè)區(qū)域，此區(qū)域可以手動(dòng)調(diào)節(jié)，根據(jù)矩形框的大小可以檢測(cè)不同車道的車輛，區(qū)域之外的地方保持原樣，不予檢測(cè)。圖9（a）是原始ST-MRF算法的車輛檢測(cè)結(jié)果，此算法對(duì)某些相互遮擋的車輛會(huì)漏檢，見圖9（a）中被漏檢的2輛車，用淺色小矩形框標(biāo)出，漏檢原因是2輛車相互遮擋嚴(yán)重，用原始ST-MRF車輛檢測(cè)算法無法識(shí)別存在于2輛小汽車邊界之間的密度間隙，導(dǎo)致原始的ST-MRF車輛跟蹤算法不能對(duì)運(yùn)動(dòng)矢量進(jìn)行最優(yōu)化處理和融合處理，進(jìn)而導(dǎo)致2輛車的邊界模糊，最終被檢測(cè)為只有1輛車。圖9（b）是在原始ST-MRF算法的基礎(chǔ)上結(jié)合模式識(shí)別技術(shù)，使用邊緣間隔密度模式算法確定相互遮擋的2輛車之間的邊界，然后采用ST-MRF算法分割單個(gè)車輛并進(jìn)行檢測(cè)，圖9（a）中被淺色小矩形框標(biāo)出的2輛車被成功檢測(cè)到。

實(shí)驗(yàn)拍攝的10 min視頻中，在檢測(cè)區(qū)域內(nèi)有325輛車經(jīng)過，其中，84輛車被遮擋，用原始ST-MRF算法檢測(cè)統(tǒng)計(jì)到的車輛數(shù)為258輛，成功率為79%，用模式識(shí)別技術(shù)與ST-MRF相結(jié)合算法統(tǒng)計(jì)到車輛315輛，成功率為97%。

圖9 路段處2種算法車輛跟蹤結(jié)果比較Fig.9 Vehicle tracking results of two algorithms in the road section

4.2 交叉口車輛檢測(cè)實(shí)驗(yàn)

實(shí)驗(yàn)所拍攝的視頻時(shí)間為2021年2月16日上午10：30，地點(diǎn)是在淮安市淮海南路與解放路交叉口處，拍攝的時(shí)間長(zhǎng)度是10 min。交叉口處機(jī)動(dòng)車與非機(jī)動(dòng)車混行，公交車與小汽車相互遮擋，幀頻為10幀/s，每幀圖像大小為720×640。見圖10。

圖10 交叉口處2種算法車輛跟蹤結(jié)果比較Fig.10 Vehicle tracking results of two algorithms at the intersection

圖10 （a）是原始ST-MRF算法的車輛檢測(cè)結(jié)果，此算法對(duì)相互遮擋嚴(yán)重的公交車和小汽車之間存在漏檢，對(duì)相互遮擋嚴(yán)重的小汽車之間也存在漏檢，圖10（a）中被漏檢的2輛車，用淺色小矩形框標(biāo)出，漏檢原因是2輛車相互遮擋嚴(yán)重，用原始ST-MRF車輛檢測(cè)算法無法識(shí)別存在于大型車與小汽車邊界之間的寬度間隙，以及存在于相同類型的小汽車邊界之間的主要軸線上的間隙，導(dǎo)致原始的ST-MRF車輛跟蹤算法不能對(duì)運(yùn)動(dòng)矢量進(jìn)行最優(yōu)化處理和融合處理，進(jìn)而導(dǎo)致2輛車的邊界模糊，最終被檢測(cè)為只有1輛車。圖10（b）是在原始ST-MRF算法的基礎(chǔ)上結(jié)合模式識(shí)別技術(shù)，將模式識(shí)別結(jié)果反饋給ST-MRF算法，重新建立車輛檢測(cè)算法，從而較準(zhǔn)確檢測(cè)相互遮擋嚴(yán)重的車輛，圖10（a）中被淺色小矩形框標(biāo)出的相互遮擋嚴(yán)重的2輛車被成功檢測(cè)到。

實(shí)驗(yàn)拍攝的10 min視頻中，在檢測(cè)區(qū)域內(nèi)有15輛公交車通行，120輛小汽車通行，其中，有15輛小汽車被公交車遮擋，用原始ST-MRF算法檢測(cè)統(tǒng)計(jì)到的車輛數(shù)為115輛，成功率為85%，用模式識(shí)別技術(shù)與ST-MRF相結(jié)合算法統(tǒng)計(jì)到車輛132輛，成功率為97.8%。

5 結(jié)束語(yǔ)

在原始ST-MRF算法的基礎(chǔ)上，結(jié)合車輛模式識(shí)別技術(shù)，較好地解決了車輛在行駛中的嚴(yán)重遮擋問題。該方法改善了原始ST-MRF算法在遮擋嚴(yán)重的情況下魯棒性差的缺點(diǎn)。

1）用車輛模式識(shí)別技術(shù)，確定被遮擋的車輛的邊緣間隙以及邊界信息，準(zhǔn)確獲得單個(gè)車輛區(qū)域，并將模式識(shí)別結(jié)果反饋給ST-MRF檢測(cè)算法。

2）通過優(yōu)化和融合不完整的分割部分，算法對(duì)遮擋嚴(yán)重的車輛進(jìn)行了較準(zhǔn)確分割，解決了車輛在行駛中的遮擋問題，從而提高車輛的跟蹤精度，能為交通流參數(shù)提取提供了準(zhǔn)確信息。

3）通過對(duì)比原始ST-MRF算法和模式識(shí)別與ST-MRF相結(jié)合的車輛檢測(cè)算法，發(fā)現(xiàn)模式識(shí)別與ST-MRF相結(jié)合的車輛檢測(cè)算法得到比較高的目標(biāo)檢測(cè)成功率。

下一步研究將在高峰時(shí)段驗(yàn)證該算法的有效性，并對(duì)遮擋嚴(yán)重和重合嚴(yán)重的非機(jī)動(dòng)車和機(jī)動(dòng)車進(jìn)行檢測(cè)研究，同時(shí)考慮雨、霧霾、雪等自然因素的影響。