高維岳，陳宇拓+，劉 洋，陳 標

(1.中南林業(yè)科技大學 計算機與信息工程學院，湖南 長沙410004；2.湖南汽車工程職業(yè)學院 信息工程學院，湖南 株洲412001)

0 引 言

現(xiàn)階段基于機器視覺的車輛前方障礙物測距研究主要分為兩大類：多目視覺測距系統(tǒng)與單目視覺測距系統(tǒng)[1]。多目視覺測距系統(tǒng)利用多方向視覺差來獲取目標深度信息[2]，但計算速度慢且成本較大，同時圖像配準困難。單目視覺系統(tǒng)利用攝像機內(nèi)參與幾何關系進行測距，在保證較高的測距精度下相較于多目視覺系統(tǒng)具有結構簡單、運算量小、實時性高等優(yōu)點。目前國內(nèi)外單目視覺測距方法研究可分為兩類：基于數(shù)據(jù)回歸建模的方法與基于幾何位置關系的方法。數(shù)據(jù)回歸建模的方法[3]優(yōu)勢在于測距結果不會受到透鏡畸變以及光路偏差的影響，該方法通過獲取大量樣本點并與像平面坐標建立對應關系，再利用數(shù)據(jù)回歸建模方法建立映射模型，但對于不同參數(shù)的攝像系統(tǒng)需要重新建模?；趲缀挝恢藐P系的方法利用攝像機內(nèi)參與攝像機擺放高度、俯仰角等輔助參數(shù)進行建模與坐標變換，相較于數(shù)據(jù)回歸的方法更加靈活前期工作更小更具有可移植性。文獻[4]利用焦距和小孔成像原理提出的縱向車間距離檢測方法在路面水平且預測車輛在圖像正中央時可以取得較好的效果，但對識別處于路面兩側(cè)的障礙物誤差較大。文獻[5]利用車輛寬度比例關系進行測距，容易受到車輛寬度的多樣性與車輛拍攝角度變化的影響導致測距效果欠佳。而文獻[6]根據(jù)攝像機投影模型，通過幾何關系推導三維路面坐標系與二維像平面坐標系對應關系，以此建立測距模型的方法測距精度更高更適用于大多數(shù)駕駛場景。

現(xiàn)階段傳統(tǒng)的車輛前方障礙物檢測方法主要針對行車過程中的前方車輛，利用車輛顏色、陰影、對稱性、邊緣等特征對前方車輛進行檢測[7,8]。由于人工提取特征，傳統(tǒng)方法面對具有多種障礙物如行人、路障、摩托車的復雜路況時效果較差?；谏疃葘W習的目標檢測方法[9]通過卷積神經(jīng)網(wǎng)絡提取特征，為準確檢測識別多種障礙物提供了可能，通過使用多尺度訓練能夠檢測多種大小目標，較傳統(tǒng)方法泛化性更好、檢測準確性更高。

為了解決車輛單目測距系統(tǒng)中定位精度低、泛化性差等問題，本文提出了一種深度學習與幾何推導相結合的車前障礙物距離測量方法?；谏疃葘W習網(wǎng)絡YOLOv4[10]算法為核心構建目標檢測算法框架，利用卷積神經(jīng)網(wǎng)絡提取目標特征，預測目標類別和目標在圖片上的位置信息即檢測框。為了解決檢測算法的位置預測不準確問題，運用邊緣檢測算法修正目標檢測框的位置。根據(jù)攝像機投影模型，通過幾何關系建立了路面坐標系和像平面坐標系的對應關系，并對測距過程和算法進行了優(yōu)化，最后采用擬合算法對測量數(shù)據(jù)進行擬合降低了測距誤差。

1 YOLOv4算法實現(xiàn)行車障礙物目標檢測

YOLOv4算法是YOLO(you only look once)系列目標檢測算法的第四代，屬于基于深度學習的單階段目標檢測算法，對比兩階段目標檢測算法具有速度快、計算量小的優(yōu)點。在YOLOv3[11]算法的基礎上YOLOv4算法進一步加強了檢測精度以及檢測速率，在Darknet-53網(wǎng)絡的基礎上引進了CSPNet[12](cross stage partial network)將骨干網(wǎng)絡框架改為了CSPDarknet-53，并使用了Mish激活函數(shù)替換了Leaky-ReLU激活函數(shù)，有效提高了網(wǎng)絡的學習能力并減少了運算量。并使用了Mosaic數(shù)據(jù)增強方法，將4張圖片隨機縮放、裁剪、排布后進行拼接然后加入到訓練集中進行訓練以解決小目標分布不均勻的問題。為了解決過擬合問題，YOLOv4算法使用了DropBlock隨機減少神經(jīng)元數(shù)量從而對網(wǎng)絡正則化過程進行改進，使網(wǎng)絡變得簡單。在特征融合部分，利用FPN[13](feature pyramid networks)進行下采樣提取強語義特征進行目標分類，再利用PAN[14](path aggregation network)進行上采樣提取強定位特征進行位置檢測，顯著提升了模型性能。為了增加預測框回歸速度與檢測精度，在訓練時將二元交叉熵損失(binary cross-entropy loss)改進為CIoU_loss(complete intersection over union loss)，并將邊界框篩選方法NMS(non-maximum suppression)改進為DIoU-NMS(distance intersection over union non-maximum suppression)綜合考慮了重疊面積與中心距離問題，提高了對重疊目標的識別精度。YOLOv4算法在保證實時性的基礎上也擁有著較高的檢測精度，與上一代YOLOv3算法相比平均檢測精度AP(average precision)提高了10%，每秒幀率FPS(frame per second)提高了12%。圖1為多種障礙物目標檢測的結果。

圖1 多種障礙物目標檢測結果

2 障礙物目標檢測位置的修正

YOLOv4目標檢測算法通過分析檢測目標圖像特征來預測其類別信息與坐標信息，而檢測目標距離越遠圖像上所占像素越少其特征也越模糊，導致檢測算法所預測的位置信息偏差越大。目標檢測算法輸出的檢測框底邊與目標和地面實際接觸位置存在一定的差距。本文利用邊緣檢測算法獲取目標實際底邊位置得到坐標差來對檢測框進行調(diào)整，從而降低檢測算法位置預測誤差。

通過對YOLOv4算法獲得的大量檢測結果偏差分析，發(fā)現(xiàn)垂直方向位置偏差通常在30像素以內(nèi)，因此以檢測框底邊中點為中心，上下左右各取50像素對圖像進行截取，取100×100像素的圖片并對此圖片進行邊緣檢測運算?；诰禐V波和中值濾波的混合濾波器改進Canny算子，以提高邊緣檢測抗噪性、連續(xù)性和定位精度,降低誤判率。利用改進Canny算子對目標進行邊緣檢測結果如圖2所示。

圖2 改進的Canny算子邊緣檢測結果

圖3(a)目標下方的橫線為檢測框底邊且標識出了中點，需將檢測框底邊修正到如圖3(b)所示的目標與路面接觸邊位置。將邊緣檢測得到目標實際底邊所有像素的縱坐標平均值與原檢測框底邊中點像素的縱坐標值之差作為檢測框底邊中點縱向修正距離，修正后的結果如圖3(b)所示。

圖3 檢測框調(diào)整結果

將攝像機采集到的圖像輸入到YOLOv4算法中，算法通過卷積神經(jīng)網(wǎng)絡提取目標特征并進行預測，輸出前方障礙物的類別以及其在像平面中左上(u1,v1)與右下(u2,v2)坐標。為了對障礙物進行測距取檢測框底邊中點((u1+u2)/2,v2)代表其在像平面上的初始位置，通過位置修正算法得到目標在像平面上的坐標p(xp,yp)。

3 車輛前方障礙物測距方法

單目視覺系統(tǒng)可以通過小孔成像模型來描述其透視變換。圖像采集過程是將客觀世界的三維路面坐標系投影到攝像機的二維像平面坐標系中，而測距過程為圖像采集的逆過程。因此對目標進行測距首先需要獲取目標在攝像平面的坐標，然后利用攝像機的水平視角、垂直視角、俯仰角、擺放高度以及清晰度等參數(shù)，將攝像平面坐標轉(zhuǎn)換為三維路面坐標，通過坐標計算出障礙物目標與攝像機之間的距離。其中攝像機垂直和水平視角以及清晰度為攝像機固定參數(shù)，而攝像機俯仰角和擺放高度需要人為測定。

3.1 單目視覺成像模型

三維路面坐標系如圖4所示，平面ABK表示路面，ABCD為被處于O點的攝像機所拍攝到的路面區(qū)域，G為攝像機光軸OG與路面的交點，J為攝像機在路面平面上的垂直投影，OJ為攝像機的安裝高度h，x軸為路面X軸在像平面的映射軸?！螮OF為攝像機的水平視角，大小為2β，G點為坐標原點，行車前進方向為Y軸正方向。假設點P(XP,YP)為障礙物目標，點N和點M分別為點P在Y軸和X軸上的投影。

圖4 三維路面坐標系

攝像機所拍攝圖像如圖5所示，矩形abcd為路面ABCD的成像平面。像平面中p(xp,yp)點對應路面坐標系中P(XP,YP)點，像平面中e、f、g、i、l、m、n點分別對應路面坐標系中E、F、G、I、L、M、N點，H、W分別為像平面的高與寬。

圖5 二維像平面坐標系

圖6為Y軸方向正側(cè)面攝像機成像模型。N和n點分別為目標物體在路面坐標系Y軸和像平面坐標系y軸上的投影，因而有GN=YP和gn=yp。光軸OG與目標在Y軸上的投影點N的夾角∠GON為θ0，攝像機的垂直視角∠IOL為2α，攝像機的俯仰角∠JOG為γ。y軸為路面Y軸在像平面的映射軸。

圖6 Y軸方向正側(cè)面攝像機成像模型

3.2 測距算法推導

根據(jù)圖6由三角關系可得tanθ0的表達式

tanθ0=gn/og=2yp×tanα/H

(1)

P點在路面坐標系中的Y軸坐標

YP=GN=NJ-GJ=h(tan(γ+θ0)-tanγ)

(2)

將式(1)代入式(2)，利用三角函數(shù)和差化積公式可得路面坐標系P點Y軸坐標與像平面坐標系p點y軸坐標轉(zhuǎn)換式

(3)

圖6中∠IOG大小為α，∠JOG為俯仰角γ，因此可以算出線段

GI=GJ-IJ=h(tanγ-tan(γ-α))

(4)

根據(jù)圖4中直角三角形邊長關系有

(5)

(6)

根據(jù)圖4中△IKD與△FKG相似性有

(7)

將式(5)、式(6)代入式(7)得到KG的表達式

(8)

圖4中∠GOM夾角為θ1，則有

(9)

(10)

因△GKM與△NKP相似，有

(11)

從而解得P點的X軸坐標值

(12)

綜上，得到障礙物目標在三維路面坐標與二維像平面坐標的映射關系式如下

(13)

其中，W為圖像的寬，H為圖像的高度，h為攝像機擺放的高度，2β，2α，γ分別為攝像機的水平視角、垂直視角以及俯仰角。

通過第2節(jié)障礙物目標檢測位置修正算法得到的目標在像平面上坐標p(xp,yp)，代入式(13)解得路面坐標系目標位置P(XP,YP)，利用式(14)計算出前方障礙物與本車之間的距離，即目標P點至攝像機在路面垂點J之間的距離

(14)

4 測量數(shù)據(jù)的三次曲線擬合

在圖5像平面坐標系中，檢測目標距離攝像機越遠則圖像上的像素代表的距離信息量越大，信息特征也越模糊，因而導致遠距離目標通過檢測算法所預測的位置信息偏差較大。為了進一步提升測距的準確度，本文利用三次Bezier曲線方程對障礙物的實際測量距離與算法修正后預測的距離進行數(shù)據(jù)擬合，通過插值的方式構建方程以降低測距誤差。

三次Bezier曲線方程為

(15)

數(shù)據(jù)點到曲線的偏移量為

di=[Q(ti,V)-Pi]T·[Q(ti,V)-Pi]

(16)

數(shù)據(jù)點到曲線的總偏移量為

(17)

為了使數(shù)據(jù)點到曲線的距離和最小，即D(t,V)最小，需求解三次Bezier曲線的兩個中間控制點V1，V2來構建方程，求解過程如下：

對D(t,V)求V1和V2的偏導數(shù)，令其等于0

(18)

(19)

由式(19)解得控制點V1、V2，即得到式(15)三次Bezier曲線方程。

5 算法實驗結果與分析

本文采用圖像像素為4032×3024、焦距為4.216 ms、光圈大小為f/1.8，其橫向可視視角為65°、縱向可視視角為59.6°的廣角攝像機進行拍攝。通過測量得到攝像機安裝高度為1.2 m，攝像機俯仰角為87.9°。程序運行環(huán)境為Python3.6，YOLOv4目標檢測算法基于深度學習框架Tensorflow實現(xiàn)，版本號為1.11，并行計算庫為CUDA Toolkit 9+cuDNN 7.1。檢測到的障礙物使用矩形框表示其位置，目標識別結果及測距結果顯示在矩形框上。經(jīng)過檢測框位置調(diào)整后的部分結果如圖7所示。

圖7 檢測框調(diào)整后的測距結果

在路面上分別將障礙物汽車放置在距離攝像機5 m～80 m處，每間隔5 m測距一次，并隨機在路面上放置車輛進行測距，共測得60組實際測量距離和算法初始測量距離共120個距離數(shù)據(jù)，表1的第一和第二列呈現(xiàn)了其中14組距離數(shù)據(jù)。表1第三列是利用Canny算子檢測目標底邊修正目標位置后的測距結果。數(shù)據(jù)表明，檢測目標距離越遠，目標檢測算法所得檢測框位置誤差引起的測距誤差也越大，而本文提出的檢測框位置修正方法，起到了較大幅度降低測量誤差的作用。檢測框調(diào)整前平均誤差為6.21 m，調(diào)整后的平均誤差為1.504 m。

通過第4節(jié)三次Bezier曲線擬合算法，將60組實際測量距離和檢測框位置修正后的測距結果代入式(19)解得控制點V1、V2，結合控制點V0=P0、V3=Pn(曲線的首尾控制點分別等于曲線的起點和終點)，代入式(15)，展開三次Bezier曲線x、y參數(shù)方程得到如式(20)所示

(20)

將經(jīng)過檢測框位置修正后的測量距離代入式(20)，即可得到擬合后的距離，曲線擬合后的測量距離見表1第4列，根據(jù)Bezier曲線性質(zhì)起點和終點誤差為0。檢測框位置修正后的平均誤差距離為1.504 m，而三次Bezier曲線擬合后的平均誤差距離為0.776 m，通過擬合使測距誤差大大減小。

表1 測距結果

圖8為三次Bezier曲線擬合結果，圖中圓點為表1中14組位置修正后測量距離數(shù)據(jù)點，三角形為曲線控制點。

圖8 三次Bezier曲線擬合結果

實驗結果表明，在實際距離5 m～50 m之間，平均誤差距離為0.5356 m，最大誤差為1.0952 m，實際距離大于50 m后，由于檢測目標在圖像上所占像素區(qū)域變小造成測距誤差增大，當實際距離70 m時，測距誤差最大為2.362 m。

本文與文獻[4]中表1、文獻[6]中表4和文獻[15]中表1中所示的測距結果數(shù)據(jù)進行比較，相同距離下的測距誤差均有較大幅降低。其原因之一是本文進行了檢測目標位置修正，減小了目標檢測算法引起的目標位置偏差，而文獻[15]中所采用的差分檢測方法不能較準確檢測出目標的實際位置，且未進行位置修正；其二是本文對測距算法進行優(yōu)化，并對測量數(shù)據(jù)進行了曲線擬合，使得算法測距更接近實際距離，而文獻[4]和文獻[6]中測距方法易受到車輛水平偏移的影響。

6 結束語

本文基于單目視覺系統(tǒng)，提出了一種行進車輛前方障礙物距離測量方法。利用基于深度學習的目標檢測YOLOv4算法對車輛前方障礙物進行檢測，解決了傳統(tǒng)障礙物檢測算法泛化性差且僅能檢測單一障礙物的問題；針對目標檢測算法框定目標位置信息不準確問題，利用改進的Canny算子進行邊緣檢測獲取目標實際位置，通過計算檢測框底邊位置縱向坐標差對目標位置進行調(diào)整；基于攝像機投影模型，通過幾何推導建立測距模型，并用三次Bezier曲線擬合測距數(shù)據(jù)。實驗結果表明，本文方法較大幅度提高了障礙物測距的準確性和效率，能夠滿足日常車輛防碰撞預警的需求。