李寶軍,薛 炯,劉澤陽(yáng),王小超,肖志鵬

(1.大連理工大學(xué) 汽車(chē)工程學(xué)院, 遼寧 大連 116024;2.天津工業(yè)大學(xué) 數(shù)學(xué)科學(xué)學(xué)院, 天津 300387;3.北京中科慧眼科技有限公司, 北京 100023)

0 引言

國(guó)內(nèi)公路限高設(shè)施分布廣泛,通常架設(shè)在各個(gè)城市市區(qū)入口、高速路出入口、橋梁隧道前、火車(chē)道和港口附近,起到保護(hù)隧道和橋梁的作用。目前國(guó)內(nèi)的限高設(shè)施沒(méi)有統(tǒng)一的國(guó)標(biāo)規(guī)范,各地政府設(shè)置的限高設(shè)施在外觀、標(biāo)識(shí)和限高高度等方面千差萬(wàn)別,給大型車(chē)輛的正常通行帶來(lái)了諸多困擾。房車(chē)、大型貨車(chē)、大型客車(chē)等,由于車(chē)身尺寸大、造價(jià)高,在公路限高場(chǎng)景中一旦發(fā)生限高事故,會(huì)造成公共財(cái)產(chǎn)和個(gè)人財(cái)產(chǎn)的重大損失,同時(shí)也會(huì)給駕駛員和乘客生命安全帶來(lái)極大威脅。由于國(guó)內(nèi)公路限高場(chǎng)景復(fù)雜,限高設(shè)施外造型非標(biāo)、多樣,為限高目標(biāo)監(jiān)測(cè)領(lǐng)域相關(guān)研究帶來(lái)了巨大的挑戰(zhàn)。

車(chē)輛在行駛工況下,存在著車(chē)速變化非均勻、路面不平激勵(lì)輸入和車(chē)身震動(dòng)等多種不確定性因素,增加了中遠(yuǎn)距離傳感器測(cè)距測(cè)高的難度,造成了輸出結(jié)果不穩(wěn)定的問(wèn)題。目前自動(dòng)駕駛路面感知系統(tǒng)中常見(jiàn)的傳感器包括毫米波雷達(dá)、激光雷達(dá)和光學(xué)相機(jī)。研究表明[1],毫米波雷達(dá)可以探測(cè)到100～150 m范圍內(nèi)的行人,除了容易受到金屬物體的影響外,只能提供距離和角度信息,物體的高度信息缺失;使用激光雷達(dá)[2]在100 m的范圍內(nèi)測(cè)距精度可以達(dá)到±3 cm,但高線(xiàn)束的激光雷達(dá)使用成本太高。Shu等[3]提出的featdepth單目無(wú)監(jiān)督深度估計(jì)算法盡管在深度估計(jì)精度上接近單目有監(jiān)督的深度估計(jì)算法,但依然存在著尺度恢復(fù)困難和測(cè)距精度低的問(wèn)題,難以滿(mǎn)足公路限高預(yù)警中實(shí)時(shí)測(cè)距測(cè)高的需求。

隨著智能汽車(chē)的大規(guī)模量產(chǎn),盡管雙目相機(jī)測(cè)距精度低于激光雷達(dá),但是成本優(yōu)勢(shì)十分明顯,同時(shí)還具有豐富的圖像紋理信息,有利于限高檢測(cè)。原培新等[4]將雙目視覺(jué)應(yīng)用于列車(chē)把手位置并計(jì)算把手距離相機(jī)的物理距離,為機(jī)器人自動(dòng)摘鉤提供數(shù)據(jù)基礎(chǔ);王洪偉等[5]采用2個(gè)不同視角的CCD攝像頭對(duì)道路前側(cè)的紅綠燈進(jìn)行測(cè)距,50 m測(cè)距范圍誤差可以控制在6%以?xún)?nèi);王昊等[6]提出基于雙目視覺(jué)的車(chē)輛跟馳系統(tǒng),實(shí)現(xiàn)了在60 m車(chē)間距測(cè)量范圍內(nèi),使用25 mm焦距的雙目相機(jī)的平均相對(duì)誤差為2.66%;劉詩(shī)婷等[7]提出了一種基于雙目變焦的超分辨率成像測(cè)距算法,實(shí)現(xiàn)了在相同距離下具有更小的測(cè)距相對(duì)誤差,在相同的測(cè)距相對(duì)誤差下具有更大的測(cè)距范圍;劉志強(qiáng)等[8]提出了攝像頭和毫米波雷達(dá)多傳感器融合的算法,在晴天、雨天、夜晚和陰天4種不同天氣條件下對(duì)目標(biāo)的平均檢測(cè)率達(dá)到88.3%。雙目相機(jī)的缺點(diǎn)是分辨率有限,測(cè)距和測(cè)高精度對(duì)視差的依賴(lài)性較高,獲取到的視差數(shù)據(jù)存在著噪聲多、誤差大、特征不明晰和難分離等多方面的問(wèn)題。

針對(duì)上述問(wèn)題,本文提出了一種基于深度學(xué)習(xí)的雙目公路限高設(shè)施自動(dòng)監(jiān)測(cè)算法,對(duì)中遠(yuǎn)距離的限高設(shè)施進(jìn)行檢測(cè)和實(shí)時(shí)測(cè)距測(cè)高。通過(guò)目標(biāo)檢測(cè)和目標(biāo)跟蹤算法得到限高設(shè)施的二維檢測(cè)框,結(jié)合獲取的視差數(shù)據(jù)對(duì)檢測(cè)框內(nèi)的視差進(jìn)行多步多尺度濾波,計(jì)算限高目標(biāo)的距離和高度信息。最后,對(duì)計(jì)算得到的距離和高度信息進(jìn)行魯棒性輸出并預(yù)警,實(shí)現(xiàn)輸出高精度、實(shí)時(shí)性和魯棒性的目標(biāo)。

1 公路限高設(shè)施及場(chǎng)景分析

設(shè)置公路限高的目的是限制大型載重車(chē)輛通行,起到延長(zhǎng)公路使用壽命、保護(hù)立交橋梁或隧道等跨越物安全的作用。但是如果設(shè)置不當(dāng),在限高事故中會(huì)對(duì)駕駛員和乘客的生命安全造成威脅。國(guó)內(nèi)常見(jiàn)的公路限高設(shè)施主要包含限高桿、天橋、隧道、牌坊,考慮到橋梁和隧道的限高主體部分均無(wú)紋理,將其合并為橋洞類(lèi),故本文主要研究的限高對(duì)象為限高桿、橋洞、牌坊3大類(lèi)。

各類(lèi)限高設(shè)施缺乏統(tǒng)一的標(biāo)準(zhǔn),其外形特征具有多樣性、復(fù)雜性,因此對(duì)不同類(lèi)型的限高設(shè)施根據(jù)不同的外形特征對(duì)其進(jìn)行進(jìn)一步分類(lèi),限高設(shè)施分類(lèi)示意圖如圖1所示。

圖1 限高設(shè)施分類(lèi)示意圖

限高桿桿體除了常見(jiàn)的黃黑相間的紋理外,還有紅白相間的紋理和純色無(wú)紋理的類(lèi)型;限高橫桿主體除了單根類(lèi)型外,還有前后并排雙根、上下平行雙根、上下平行多根、底層懸掛式桿體和異形限高桿等多種類(lèi)型;部分限高桿上有限高標(biāo)識(shí)牌,但限高標(biāo)識(shí)牌懸掛的位置不固定,字體存在模糊不清的情況。對(duì)于橋洞類(lèi)限高設(shè)施,其限高主體無(wú)紋理,與墻體的區(qū)別在于以橋洞限高主體下沿作為分界線(xiàn),下方無(wú)實(shí)體。按照限高主體的造型可以分為水平型橋洞、拱門(mén)型橋洞、梯形橋洞3大類(lèi),與限高桿設(shè)備類(lèi)似,部分橋洞懸掛限高標(biāo)識(shí)牌。對(duì)于牌坊設(shè)施,常見(jiàn)于村鎮(zhèn)公路和景區(qū)門(mén)口,雖然紋理各不相同但其外形特征較為統(tǒng)一,均不懸掛限高標(biāo)識(shí),故牌坊不做分類(lèi)。

對(duì)場(chǎng)景分類(lèi)完成后采用基于深度學(xué)習(xí)的限高目標(biāo)自動(dòng)檢測(cè)算法,為了保證模型訓(xùn)練的準(zhǔn)確性,對(duì)不同場(chǎng)景的限高數(shù)據(jù)標(biāo)注進(jìn)行以下統(tǒng)一規(guī)范:1) 使用最小外接矩形框?qū)⑾薷咴O(shè)施主體完全包被;2) 對(duì)于有限高標(biāo)識(shí)牌的限高設(shè)施,則將限高標(biāo)識(shí)牌作為限高設(shè)施特征的一部分合并標(biāo)注;3) 對(duì)于限高設(shè)施水平主體和兩側(cè)垂直固定區(qū)域連接處的2個(gè)直角特征,需要完整的被標(biāo)注框包被;4) 對(duì)于橋洞類(lèi)水平主體無(wú)紋理的限高設(shè)施,需要在最小外接矩形框高度的基礎(chǔ)上在其下方增加矩形框高度的20%的標(biāo)注空間,用來(lái)與普通無(wú)紋理的墻體做區(qū)分。部分場(chǎng)景的標(biāo)注效果如圖2所示,從左到右分別為雙橫梁限高桿、橋洞+限高桿、牌坊場(chǎng)景。

圖2 不同的限高設(shè)施標(biāo)注效果圖

2 算法流程

本文采集的限高數(shù)據(jù)對(duì)應(yīng)的天氣情況主要分為晴朗天氣和陰天2種。雙目視覺(jué)公路限高實(shí)時(shí)預(yù)警算法的流程如圖3所示:首先,將雙目相機(jī)采集的限高場(chǎng)景的左目圖像作為輸入,利用目標(biāo)檢測(cè)網(wǎng)絡(luò)Yolov5[9]對(duì)限高目標(biāo)進(jìn)行特征檢測(cè),獲取限高目標(biāo)的二維檢測(cè)框信息;然后,對(duì)二維檢測(cè)框內(nèi)的視差數(shù)據(jù)進(jìn)行多步多尺度濾波[10]算法后根據(jù)雙目視覺(jué)原理[11]計(jì)算限高目標(biāo)距離相機(jī)的初步距離計(jì)算值和限高設(shè)施的初步高度計(jì)算值;最后,采用基于局部和全局的距離差分算法對(duì)初步計(jì)算的距離值、高度值進(jìn)行有效性和合理性判定,準(zhǔn)確且實(shí)時(shí)、穩(wěn)定地輸出限高目標(biāo)的測(cè)距、測(cè)高和預(yù)警信息。

圖3 雙目視覺(jué)公路限高實(shí)時(shí)預(yù)警算法流程

3 限高目標(biāo)提取和視差精確估計(jì)

為了實(shí)現(xiàn)公路限高目標(biāo)檢測(cè)的自動(dòng)化,首先要進(jìn)行限高目標(biāo)的自動(dòng)定位和提取[12]。為了獲取精度較高的視差數(shù)據(jù),需要對(duì)立體匹配得到的視差數(shù)據(jù)進(jìn)行多步多尺度濾波。

3.1 限高目標(biāo)提取

本文研究的公路限高場(chǎng)景繁雜且限高設(shè)施外造型多樣化,使用雙目相機(jī)的左目圖像作為目標(biāo)檢測(cè)的輸入,為了保證在復(fù)雜場(chǎng)景中限高目標(biāo)的自動(dòng)檢測(cè),本文采用YOLOv5s目標(biāo)檢測(cè)算法,為了降低限高目標(biāo)檢測(cè)過(guò)程中的漏檢率,在YOLOv5s目標(biāo)檢測(cè)算法中加入ByteTrack[13]跟蹤算法,得到限高目標(biāo)的二維檢測(cè)框。

本文使用的視差數(shù)據(jù)是通過(guò)雙目相機(jī)內(nèi)部封裝的立體匹配[14]算法獲取,利用限高目標(biāo)檢測(cè)得到的二維檢測(cè)框?qū)Λ@取到的視差數(shù)據(jù)進(jìn)行截取,得到連續(xù)幀圖像目標(biāo)區(qū)域內(nèi)的視差數(shù)據(jù)。

3.2 視差的精確估計(jì)

當(dāng)雙目相機(jī)距離限高目標(biāo)較遠(yuǎn)時(shí),通過(guò)對(duì)檢測(cè)框區(qū)域內(nèi)的視差數(shù)據(jù)進(jìn)行可視化分析發(fā)現(xiàn),限高目標(biāo)的視差數(shù)據(jù)中存在高度非均勻、離群點(diǎn)復(fù)雜、頻繁出現(xiàn)山谷分布以及包含不明強(qiáng)噪聲等問(wèn)題,影響目標(biāo)區(qū)域視差計(jì)算的精度。遠(yuǎn)距離視差噪聲分布的可視化效果如圖4所示。

針對(duì)視差存在的問(wèn)題,本文采用粗粒度濾波策略和多步多尺度的細(xì)粒度濾波策略對(duì)限高目標(biāo)的視差數(shù)據(jù)進(jìn)行清洗。

記ρ為每行視差數(shù)據(jù)中非零視差值所占的比率,2個(gè)清洗閾值分別為ρ1和ρ2,粗粒度濾波實(shí)現(xiàn)過(guò)程如下。

步驟1：對(duì)目標(biāo)區(qū)域內(nèi)的單行非零項(xiàng)目和單行所有項(xiàng)目分別求均值,若該行中有占比大于ρ的視差數(shù)據(jù)為0,將該行數(shù)據(jù)清零。

步驟2：對(duì)目標(biāo)區(qū)域內(nèi)的視差數(shù)據(jù)逐行進(jìn)行處理,若當(dāng)前像素的視差減該行的非零平均視差大于ρ1,將該像素的視差置為0。

步驟3：若當(dāng)前像素視差小于清洗閾值ρ2,將該像素的視差值用非零均值填充。

經(jīng)過(guò)粗粒度濾波后,視差數(shù)據(jù)中的大幅噪聲和近零視差均被濾除,替換為動(dòng)態(tài)非零均值,接下來(lái)將對(duì)視差數(shù)據(jù)進(jìn)行多步多尺度的細(xì)粒度濾波。假設(shè)限高設(shè)施處于水平狀態(tài),細(xì)粒度濾波的目標(biāo)是將粗粒度濾波得到的視差數(shù)據(jù)進(jìn)行更精細(xì)的過(guò)濾,在目標(biāo)區(qū)域內(nèi)準(zhǔn)確地定位限高目標(biāo)的上沿和下沿。

細(xì)粒度濾波實(shí)現(xiàn)過(guò)程:給定細(xì)粒度濾波步數(shù)ST,細(xì)粒度濾波步長(zhǎng)SL,動(dòng)態(tài)迭代尺度DM,i∈[1,ST],動(dòng)態(tài)迭代尺度公式為

DM=(ST+1)*SL-i*SL

步驟1：對(duì)粗粒度濾波得到的目標(biāo)區(qū)域逐行求視差均值,并將該行中的所有大于視差均值與當(dāng)前尺度DM之和的視差數(shù)據(jù)置為零。

步驟2：逐行求非零項(xiàng)目的平均值,將所有非零行中小于當(dāng)前尺度DM的視差數(shù)據(jù)替換為該行的視差非零平均值。

步驟3：重復(fù)以上步驟直到循環(huán)結(jié)束,將限高區(qū)域內(nèi)的所有非零視差數(shù)據(jù)的均值作為該限高目標(biāo)最終的視差值DS和相機(jī)光心與限高目標(biāo)下沿之間的像素高度值HP輸出。

3.3 距離和高度計(jì)算

本文的測(cè)距[15]和測(cè)高均基于3.2節(jié)濾波輸出后的視差數(shù)據(jù)DS,相機(jī)的安裝高度為HC,相機(jī)的焦距為f,基線(xiàn)長(zhǎng)度為BL,限高目標(biāo)和相機(jī)之間的距離為DT,限高目標(biāo)下沿與相機(jī)光心之間的實(shí)際高度為HT,限高目標(biāo)下沿與相機(jī)光心之間的像素高度為HP,限高目標(biāo)距離地面的高度為H。

4 魯棒性輸出與預(yù)警

不同于靜止場(chǎng)景的測(cè)距測(cè)高任務(wù),車(chē)輛在行駛過(guò)程中,車(chē)速存在非均勻變化、地面有不平激勵(lì)輸入、上下坡等多種不確定性因素,均會(huì)增加傳感器對(duì)限高目標(biāo)測(cè)量的難度,同時(shí)為測(cè)距測(cè)高輸出帶來(lái)大量噪聲導(dǎo)致最終輸出數(shù)據(jù)波動(dòng)大且不穩(wěn)定。本文提出的魯棒性輸出策略對(duì)初始輸出的距離和高度數(shù)據(jù)進(jìn)行處理,輸出準(zhǔn)確魯棒的距離信息和高度信息。該策略應(yīng)遵循以下2條假設(shè):1) 限高設(shè)施表面是平整的;2) 速度變化盡可能合理,即輸出的距離差分要盡可能均勻。

4.1 距離輸出

由于輸入距離的不確定性,采用2種策略并行處理。首先,假設(shè)條件信號(hào)滿(mǎn)足高斯噪聲,由于視差計(jì)算的不確定性,同時(shí)距離預(yù)測(cè)本質(zhì)上是一維線(xiàn)性信號(hào)問(wèn)題,故利用卡爾曼濾波[16]對(duì)距離預(yù)測(cè)值進(jìn)行濾波,盡可能降低噪聲的影響;其次,根據(jù)行車(chē)規(guī)律,為了達(dá)到單調(diào)性輸出的目標(biāo),盡可能遵循采集數(shù)據(jù)的規(guī)律,將距離信息還原?？紤]到輸入的信號(hào)在距離限高設(shè)施較遠(yuǎn)的時(shí)候以大幅度隨機(jī)分布為主,故采用局部鄰域的距離差分估計(jì)來(lái)擬合距離輸出。假設(shè)車(chē)輛以速度v1勻速前進(jìn),雙目相機(jī)幀率為n,從計(jì)算模塊輸出的連續(xù)N(N>30)幀對(duì)應(yīng)的計(jì)算距離分別為D1,D2,…,DN-1,DN,距離輸出的具體步驟如下。

步驟1：根據(jù)車(chē)速v1和雙目相機(jī)幀率n計(jì)算距離差分閾值α,其中α=v1/n。

步驟2：計(jì)算第N幀和第N-1幀的距離差分值αN,當(dāng)αN<=α?xí)r,將距離預(yù)測(cè)值DN作為最終距離預(yù)測(cè)值輸出,否則執(zhí)行步驟3,其中αN=DN-DN-1。

步驟3：給定全局控制參數(shù)β,局部控制參數(shù)θ,以當(dāng)前幀DN為基準(zhǔn),采用多項(xiàng)式擬合對(duì)[DN-β,DN-1]數(shù)據(jù)進(jìn)行擬合,得到當(dāng)前幀的全局距離預(yù)測(cè)值GD。

步驟4：若當(dāng)前幀沒(méi)有檢測(cè)到目標(biāo),以當(dāng)前幀DN為基準(zhǔn),利用直線(xiàn)擬合的方式對(duì)[DN-θ,DN-1]數(shù)據(jù)進(jìn)行擬合得到預(yù)測(cè)值LD,將LD輸出。

步驟6：若未出現(xiàn)當(dāng)前幀限高檢測(cè)失敗和連續(xù)幀檢測(cè)不到限高目標(biāo)的情況,給定全局預(yù)測(cè)權(quán)值r和局部預(yù)測(cè)權(quán)值(1-r),將當(dāng)前幀的全局預(yù)測(cè)值GD和局部預(yù)測(cè)值LD加權(quán)后輸出最終的距離預(yù)測(cè)值。

4.2 高度輸出

高度輸出部分由于高度計(jì)算與圖像中有效高度像素關(guān)聯(lián)較大,其計(jì)算精度與距離成正比,同時(shí)又受到限高設(shè)施是否水平、地面是否有不平激勵(lì)、是否存在上下坡等多種外部因素的影響,誤差范圍在近距離表現(xiàn)為高斯分布、椒鹽噪聲[17]、行車(chē)狀態(tài)和隨機(jī)噪聲,遠(yuǎn)距離表現(xiàn)為近距離噪聲和大幅隨機(jī)噪聲。故本文采用近似于累加貝葉斯估計(jì)算法,將局部鄰域的有效值進(jìn)行平均輸出,采用有效范圍的加權(quán)平均估計(jì)與小幅值加權(quán)均值估計(jì)結(jié)合,盡可能取小范圍進(jìn)行輸出,具體步驟如下。

步驟1：用第N幀和第N-1幀的距離差分值αN和距離差分閾值α判斷第N幀的視差值是否有效。若無(wú)效,則將[HN-3,HN-1]連續(xù)3幀的高度有效預(yù)測(cè)值的平均值作為當(dāng)前幀的高度預(yù)測(cè)值輸出;若N<3,則將前一幀高度預(yù)測(cè)值直接輸出;若當(dāng)前幀視差值有效,則執(zhí)行步驟2。

步驟2：以當(dāng)前幀DN為基準(zhǔn),采用多項(xiàng)式擬合的方式對(duì)[HN-β,HN-1]數(shù)據(jù)進(jìn)行擬合,預(yù)測(cè)當(dāng)前幀的全局高度預(yù)測(cè)值GH。

步驟3：若當(dāng)前幀沒(méi)有檢測(cè)到目標(biāo),以當(dāng)前幀DN為基準(zhǔn),對(duì)[HN-θ,HN-1]求均值得到預(yù)測(cè)值LH。

步驟6：結(jié)合相機(jī)的安裝高度,將當(dāng)前幀限高目標(biāo)距離地面的最終預(yù)測(cè)高度H輸出。

4.3 預(yù)警策略

將經(jīng)過(guò)魯棒性輸出策略的距離預(yù)測(cè)值DT和高度預(yù)測(cè)值H輸出,車(chē)輛高度為H0,安全高度預(yù)警閾值MV,當(dāng)H-H0>MV時(shí),在輸出界面顯示可安全通過(guò),不進(jìn)行預(yù)警。否則,在DT∈(2 m,30 m] 時(shí),進(jìn)行一級(jí)預(yù)警;在DT∈(30 m,60 m]時(shí),進(jìn)行二級(jí)預(yù)警;在DT∈(60 m,100 m]時(shí),進(jìn)行三級(jí)預(yù)警。

5 數(shù)值實(shí)驗(yàn)與結(jié)果分析

5.1 構(gòu)建公路限高數(shù)據(jù)集

考慮到公路限高場(chǎng)景具有非標(biāo)性、種類(lèi)多樣性、路況多樣性、天氣和光照多樣性、限高設(shè)施方位分布多樣性等特點(diǎn),給公路限高實(shí)時(shí)檢測(cè)和測(cè)高帶來(lái)了極大的挑戰(zhàn)。數(shù)據(jù)規(guī)模的大小和數(shù)據(jù)場(chǎng)景的多樣性均是影響限高目標(biāo)檢測(cè)精度和測(cè)高計(jì)算精度的關(guān)鍵因素,故本文采用實(shí)車(chē)搭載雙目相機(jī)在全國(guó)多個(gè)城市進(jìn)行實(shí)地采集、在線(xiàn)虛擬采集和網(wǎng)絡(luò)圖像庫(kù)中人工收集的方式,構(gòu)建大規(guī)模、多場(chǎng)景的公路限高數(shù)據(jù)集。

對(duì)收集的限高數(shù)據(jù)進(jìn)行統(tǒng)計(jì),本文構(gòu)建的公路訓(xùn)練數(shù)據(jù)集數(shù)據(jù)類(lèi)型為單目限高圖像,數(shù)據(jù)規(guī)模為26 600幅,覆蓋了北京、上海、廣州等國(guó)內(nèi)25個(gè)城市,包含85個(gè)限高桿場(chǎng)景,規(guī)模為 14 343;35個(gè)橋洞場(chǎng)景,規(guī)模為9 857;8個(gè)牌坊場(chǎng)景,規(guī)模為2 400。各類(lèi)限高場(chǎng)景的規(guī)模分布如圖5所示。

圖5 數(shù)據(jù)集中各類(lèi)限高數(shù)據(jù)規(guī)模分布圖

本文構(gòu)建的公路限高測(cè)試集數(shù)據(jù)類(lèi)型包括左目相機(jī)圖像、右目相機(jī)圖像、視差數(shù)據(jù)和相機(jī)內(nèi)外參文件,數(shù)據(jù)規(guī)模為6 089。其中正樣本數(shù)據(jù)規(guī)模為4 558,負(fù)樣本數(shù)據(jù)規(guī)模為1 531,正樣本數(shù)據(jù)中包含12個(gè)限高桿場(chǎng)景,規(guī)模為2 996;6個(gè)橋洞場(chǎng)景,規(guī)模為1 120;2個(gè)牌坊場(chǎng)景,規(guī)模為442。公路限高測(cè)試集中的左目相機(jī)圖像數(shù)據(jù)用來(lái)做目標(biāo)檢測(cè)實(shí)驗(yàn);左目相機(jī)圖像、視差數(shù)據(jù)和相機(jī)內(nèi)外參數(shù)據(jù)用作目標(biāo)檢測(cè)后的測(cè)距測(cè)高任務(wù)。

5.2 實(shí)驗(yàn)概況

硬件設(shè)備:中科慧眼雙目相機(jī)焦距為8 mm、基線(xiàn)長(zhǎng)度為119.5 mm、相機(jī)中心離地高度1 570 mm,分辨率為1 280×720,雙目相機(jī)與實(shí)驗(yàn)車(chē)輛之間剛性固定。硬件設(shè)備CPU為Intel(R) Core(TM) i7-10700 CPU@2.90 GHz,GPU為NVIDIA GeForce RTX3090,內(nèi)存為24 GB,實(shí)現(xiàn)平臺(tái)模塊為Matlab、Python 3.6、OpenCV等。實(shí)驗(yàn)內(nèi)容主要包括目標(biāo)檢測(cè)實(shí)驗(yàn)、測(cè)高精度實(shí)驗(yàn)、輸出穩(wěn)定性實(shí)驗(yàn)等。

實(shí)驗(yàn)工況:實(shí)驗(yàn)地點(diǎn)主要在北京和大連,實(shí)驗(yàn)路況包括平整公路路面、輕微不平激勵(lì)輸入路面和坡道路面,天氣工況僅考慮晴朗天氣及陰天,實(shí)驗(yàn)車(chē)速保持在30～50 km/h之間。

5.3 限高目標(biāo)檢測(cè)實(shí)驗(yàn)

在本文構(gòu)建的規(guī)模為26 600幅圖像的公路限高雙目訓(xùn)練集上使用YOLOv5s網(wǎng)絡(luò)訓(xùn)練目標(biāo)檢測(cè)模型,訓(xùn)練1 200個(gè)epoch,總耗時(shí)136.4 h,訓(xùn)練精度P達(dá)到98.8%,召回率R達(dá)到99.5%。

使用訓(xùn)練好的模型在規(guī)模為4 458的限高測(cè)試集上進(jìn)行測(cè)試實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表1所示;在規(guī)模為1 531的負(fù)樣本測(cè)試集上進(jìn)行測(cè)試實(shí)驗(yàn),誤檢率為0.3%,對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)得出本文算法的實(shí)際測(cè)距范圍為(0,100 m),限高檢測(cè)效果如圖6所示。

表1 YOLOv5s在公路限高測(cè)試集上的實(shí)驗(yàn)結(jié)果

注:距離為28 m; 高度為2.25 m; 真值為2.28 m

5.4 測(cè)高精度實(shí)驗(yàn)

測(cè)高精度實(shí)驗(yàn)采用測(cè)試集中20組不同類(lèi)型的限高場(chǎng)景,部分場(chǎng)景的測(cè)高結(jié)果如圖7—圖10所示。圖中所示的綠色基準(zhǔn)線(xiàn)為限高設(shè)施的真值,綠色區(qū)域?yàn)楦叨日嬷怠?.1 m的范圍,粉色區(qū)域?yàn)楦叨日嬷怠?.2 m的范圍。對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì),60 m內(nèi)的測(cè)高平均誤差<4%,具有較高的測(cè)量精度。

圖7 測(cè)高精度(按距離分布場(chǎng)景1)

圖9 測(cè)高精度(按距離分布場(chǎng)景3)

圖10 測(cè)高精度(按距離分布場(chǎng)景4)

5.5 輸出穩(wěn)定性實(shí)驗(yàn)

圖11為經(jīng)過(guò)細(xì)粒度濾波后直接把測(cè)高計(jì)算值輸出效果與使用魯棒性輸出策略后的高度輸出效果對(duì)比。在測(cè)試場(chǎng)景1中,使用魯棒性策略輸出后的測(cè)高曲線(xiàn)整體的波動(dòng)幅度收窄,測(cè)高輸出比使用魯棒性輸出策略前精度更高;在測(cè)試場(chǎng)景2中,[40 m,80 m]距離范圍內(nèi)的測(cè)高精度和波動(dòng)幅度均低于[8 m,40 m]距離范圍內(nèi)的測(cè)高輸出,符合距離目標(biāo)越近,視差精度越高的規(guī)律。

圖11 魯棒性輸出前后測(cè)高穩(wěn)定性對(duì)比圖

在中遠(yuǎn)距離范圍內(nèi),可以看出魯棒性輸出策略能夠有效地屏蔽車(chē)輛在行駛過(guò)程中由路況和車(chē)輛發(fā)動(dòng)機(jī)振動(dòng)產(chǎn)生的不確定性噪聲,同時(shí)能夠增加測(cè)高輸出的穩(wěn)定性,平滑高度輸出曲線(xiàn),給駕駛員帶來(lái)更加舒適的使用體驗(yàn),能夠滿(mǎn)足大型車(chē)車(chē)輛日常公路的限高場(chǎng)景使用要求。

6 結(jié)語(yǔ)

1) 針對(duì)公路限高設(shè)施種類(lèi)繁多、場(chǎng)景復(fù)雜導(dǎo)致限高目標(biāo)檢測(cè)難的問(wèn)題,構(gòu)建大規(guī)模、高場(chǎng)景覆蓋度的限高數(shù)據(jù)集,并在測(cè)試集上得到98.77%的檢測(cè)精度,漏檢率為0.87%,誤檢率為0.36%,幀率為50FPS,可實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。

2) 采用距離和高度魯棒性輸出策略,大幅提高測(cè)距輸出的合理性和測(cè)高輸出的穩(wěn)定性。

3) 針對(duì)雙目相機(jī)在中遠(yuǎn)距離下視差噪聲多、誤差大等問(wèn)題,采用多步多尺度濾波算法處理視差數(shù)據(jù),將60 m范圍內(nèi)的限高目標(biāo)測(cè)高平均誤差控制在4%以?xún)?nèi),為大型車(chē)輛的駕駛員在通過(guò)公路限高場(chǎng)景時(shí)提供決策依據(jù)。

盡管本文算法能夠?qū)崿F(xiàn)公路限高目標(biāo)的自動(dòng)檢測(cè),以及實(shí)時(shí)魯棒地輸出測(cè)距、測(cè)高和預(yù)警信息,但面對(duì)更加復(fù)雜的場(chǎng)景,如有坡度的限高場(chǎng)景,大霧、大雪、大雨等低能見(jiàn)度限高場(chǎng)景還存在一定的局限。在后續(xù)工作中將采集復(fù)雜光照和復(fù)雜坡度的限高場(chǎng)景數(shù)據(jù),進(jìn)一步提高算法在低能見(jiàn)度限高場(chǎng)景和有坡度的限高場(chǎng)景下的測(cè)距測(cè)高精度。