李振宇，李 林，朱曉峰，劉光東，張 超，羅文婷

(1. 福建農(nóng)林大學(xué) 交通與土木工程學(xué)院，福州 350108； 2. 福建省高速技術(shù)咨詢有限公司，福州 350002；3.南京工業(yè)大學(xué) 交通運(yùn)輸工程學(xué)院，南京 211816)

高速公路兩側(cè)護(hù)欄(以下簡(jiǎn)稱“護(hù)欄”)作為高速公路基礎(chǔ)設(shè)施的重要組成部分之一[1]，具有劃定車輛安全行駛區(qū)域、誘導(dǎo)行車視線、防止車輛沖出路面、吸收車輛發(fā)生碰撞時(shí)能量、保護(hù)車輛和司乘、減輕事故傷害等作用，其結(jié)構(gòu)完整性是發(fā)揮引導(dǎo)和保護(hù)作用的重要基礎(chǔ)[2-3]。為保障護(hù)欄結(jié)構(gòu)的完整性，高速養(yǎng)護(hù)部門需要對(duì)護(hù)欄展開巡檢作業(yè)，防患于未然?，F(xiàn)階段對(duì)護(hù)欄的巡檢作業(yè)主要是由人工完成，人工作業(yè)效率低、周期長(zhǎng)、成本高、具有較大的安全隱患，逐漸無(wú)法適應(yīng)高速發(fā)展的養(yǎng)護(hù)需求，因此，提出了結(jié)合雙目視覺(jué)、護(hù)欄識(shí)別模型、改進(jìn)的邊緣提取以及線性擬合分析的護(hù)欄形變檢測(cè)及里程定位方法，以提升巡檢作業(yè)中的安全性、準(zhǔn)確性和高效性。

近年來(lái)，針對(duì)護(hù)欄的自動(dòng)檢測(cè)國(guó)內(nèi)外學(xué)者開展了一些研究，主要包括基于激光雷達(dá)的3D點(diǎn)云建模、融合雷達(dá)數(shù)據(jù)和機(jī)器視覺(jué)檢測(cè)以及基于圖像處理和機(jī)器視覺(jué)的目標(biāo)檢測(cè)等方法。激光雷達(dá)往往具有檢測(cè)精度高、檢測(cè)速率慢的特點(diǎn)。Jiang等[4]在車載激光雷達(dá)移動(dòng)過(guò)程中獲得3D點(diǎn)云數(shù)據(jù)組成的掃描激光線，通過(guò)分割激光線提取候選掃描護(hù)欄特征，根據(jù)候選掃描特征估算網(wǎng)格特征點(diǎn)，使用網(wǎng)格跟蹤算法細(xì)化網(wǎng)格特征點(diǎn)獲得最終的檢測(cè)結(jié)果。郭斌[5]通過(guò)劃定三維感興趣區(qū)域，在感興趣區(qū)域內(nèi)處理激光雷達(dá)數(shù)據(jù)，提取護(hù)欄特征，降低了非目標(biāo)冗余數(shù)據(jù)對(duì)運(yùn)算速度的影響，但存在感興趣區(qū)域固定的問(wèn)題，不能很好地適應(yīng)所有場(chǎng)景。在融合雷達(dá)和機(jī)器視覺(jué)技術(shù)的檢測(cè)過(guò)程中，將來(lái)自雷達(dá)傳感器和相機(jī)的數(shù)據(jù)相融合，從而檢測(cè)出周圍和前方的目標(biāo)物。Broggi、Alessandretti等[6-7]提出了一種將雷達(dá)和圖像視覺(jué)數(shù)據(jù)相融合的護(hù)欄檢測(cè)方法，護(hù)欄檢測(cè)過(guò)程中首先使用Sobel算子對(duì)輸入圖像處理濾除垂直方向上的特征，然后運(yùn)用線搜索方法估計(jì)護(hù)欄所在區(qū)域，最后將雷達(dá)數(shù)據(jù)和圖像搜索輸出相匹配，從而實(shí)現(xiàn)護(hù)欄檢測(cè)。Matsumoto等[8]使用移動(dòng)測(cè)繪系統(tǒng)(MMS)同步采集道路環(huán)境周圍的點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)，分別對(duì)點(diǎn)云數(shù)據(jù)和圖像分割、裁剪，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)裁剪后的圖像進(jìn)行分類檢測(cè)，獲得護(hù)欄目標(biāo)后再由點(diǎn)云數(shù)據(jù)重建三維模型。Wada等[9]則借助護(hù)欄上的3D反射器實(shí)現(xiàn)對(duì)護(hù)欄信息的收集和檢測(cè)?；趫D像處理和機(jī)器視覺(jué)是當(dāng)前目標(biāo)檢測(cè)任務(wù)中最常用的方法，也被用于護(hù)欄檢測(cè)領(lǐng)域，在當(dāng)前的發(fā)展階段逐漸趨于成熟，該方法具有便捷性、低成本、高度自動(dòng)化的特點(diǎn)。王旭華[10]根據(jù)護(hù)欄線性和凹陷特征采用可控制濾波器對(duì)護(hù)欄進(jìn)行檢測(cè)，對(duì)圖像做逆透視變換，在此基礎(chǔ)上構(gòu)建護(hù)欄模型，再通過(guò)后續(xù)的可控制濾波器初始化檢測(cè)模板、自適應(yīng)模板匹配和模型擬合護(hù)欄特征等步驟實(shí)現(xiàn)檢測(cè)目的。Zhu等[11-12]采用傳統(tǒng)的圖像處理方法對(duì)高速護(hù)欄進(jìn)行檢測(cè)，通過(guò)方向梯度直方圖和局部二值模式的特征融合獲取護(hù)欄特征集，再利用主成分分析及聚類算法最終實(shí)現(xiàn)護(hù)欄的檢測(cè)。Scharwachter等[13]使用立體相機(jī)檢測(cè)高速護(hù)欄，提出了一種特征編碼方法，將護(hù)欄的幾何信息和外觀特征相匹配，基于霍夫(Hough)直線變換獲得潛在的護(hù)欄特征，設(shè)置護(hù)欄檢測(cè)的線性和高度期望值對(duì)潛在特征進(jìn)行篩選，再使用隨機(jī)森林聚類算法最終得到護(hù)欄特征。Stein[14]開發(fā)了一種駕駛員輔助系統(tǒng)用于檢測(cè)沿道路的護(hù)欄結(jié)構(gòu)，該系統(tǒng)采用單個(gè)相機(jī)安裝在車輛上，向前行駛過(guò)程中捕獲連續(xù)圖像，通過(guò)處理圖像中的護(hù)欄相對(duì)車輛的運(yùn)動(dòng)，響應(yīng)車輛的前向或橫向運(yùn)動(dòng)，從而達(dá)到提醒駕駛員行駛狀態(tài)目的，完成輔助駕駛功能。以上方法在護(hù)欄檢測(cè)任務(wù)中提供了不同的思路和方法，卻存在一個(gè)普遍的問(wèn)題，即缺少對(duì)護(hù)欄的形態(tài)狀況作進(jìn)一步分析和評(píng)估。王堯等[15]在高速鐵路場(chǎng)景下提出了一種基于機(jī)器視覺(jué)技術(shù)的高速鐵路線路護(hù)欄完整性自動(dòng)檢測(cè)系統(tǒng),該系統(tǒng)通過(guò)安裝在高速鐵路檢測(cè)車上的2臺(tái)攝像機(jī)獲取鐵道兩側(cè)的護(hù)欄圖像，通過(guò)圖像處理和自動(dòng)識(shí)別，進(jìn)而判斷護(hù)欄的完整性。王勝春等[16]提出了一種基于全景拼接的技術(shù)實(shí)現(xiàn)鐵路護(hù)欄的缺損檢測(cè)方法，該方法通過(guò)提取圖像的灰度均值和方差構(gòu)建二維直方圖實(shí)現(xiàn)鐵路護(hù)欄的自動(dòng)識(shí)別和缺損檢測(cè)。

激光雷達(dá)數(shù)據(jù)量大、使用成本較高；融合雷達(dá)和機(jī)器視覺(jué)技術(shù)具有一定的靈活性，但多傳感器下的數(shù)據(jù)融合使系統(tǒng)復(fù)雜、計(jì)算量大；圖像處理和機(jī)器視覺(jué)的方法具有便捷性、低成本、高度自動(dòng)化的優(yōu)點(diǎn)，隨著深度學(xué)習(xí)的發(fā)展，為護(hù)欄的檢測(cè)提供了更多選擇。因此，文中在已有方法的基礎(chǔ)上，引入深度學(xué)習(xí)技術(shù)，進(jìn)一步展開護(hù)欄的識(shí)別和形變檢測(cè)研究，并結(jié)合高速里程樁號(hào)，實(shí)現(xiàn)對(duì)檢測(cè)到的形變護(hù)欄進(jìn)行里程定位。

1 數(shù)據(jù)采集

1.1 道路巡檢采集設(shè)備

數(shù)據(jù)由道路巡檢設(shè)備在高速公路上采集得到，如圖1所示，組成部分包括雙目相機(jī)、定位模塊(GPS)、慣性測(cè)量單元(IMU)、邊緣計(jì)算單元。雙目相機(jī)架設(shè)在車頂位置，能夠?qū)崟r(shí)獲取當(dāng)前采集點(diǎn)對(duì)應(yīng)的前景圖像、深度圖像和速度、距離、經(jīng)緯度坐標(biāo)等傳感器信息。

開展采集工作時(shí)，巡檢車輛最高限速Vm取值為120 km·h-1，GPS工作頻率fz為10 Hz，即每秒鐘接收10條經(jīng)緯度坐標(biāo)信號(hào)，采集設(shè)備按觸發(fā)距離ds保存數(shù)據(jù)。計(jì)算當(dāng)前經(jīng)緯度坐標(biāo)和上一幀圖像采集時(shí)經(jīng)緯度坐標(biāo)的間隔，當(dāng)該間隔大于觸發(fā)距離時(shí)，觸發(fā)采集圖像，同時(shí)計(jì)算采集速度、采集間隔(當(dāng)前采集點(diǎn)到上一圖像采集點(diǎn)的距離)、采集距離(當(dāng)前采集點(diǎn)到初始采集點(diǎn)的距離)；當(dāng)小于觸發(fā)距離時(shí)，繼續(xù)接收下一條信號(hào)。觸發(fā)距離的設(shè)定應(yīng)滿足幀率和觸發(fā)距離的乘積小于最大限速值，即式(1)所述條件，可得ds≤3.3 m，若觸發(fā)距離過(guò)小，當(dāng)行駛速度較慢時(shí)，相鄰圖像包含較多的重復(fù)信息，造成數(shù)據(jù)冗余，因此觸發(fā)距離取值為3 m。

fz×ds≤Vm

(1)

圖1 數(shù)據(jù)采集設(shè)備

表1所示的部分采集參數(shù)信息表，記錄了圖像采集時(shí)的經(jīng)緯度坐標(biāo)、采集速度、采集間隔和采集距離。圖像編號(hào)0～2為開始采集時(shí)的參數(shù)信息，編號(hào)0對(duì)應(yīng)采集的第一幀圖像，此時(shí)的采集間隔和采集距離均為0；圖像編號(hào)530～532為勻速行駛時(shí)的參數(shù)信息。

表1 圖像采集信息

1.2 數(shù)據(jù)集構(gòu)建

使用前景圖像構(gòu)建數(shù)據(jù)集，數(shù)據(jù)集包含圖像2 400張，根據(jù)護(hù)欄的結(jié)構(gòu)特點(diǎn)分為4類，單層單波護(hù)欄(G)、單層雙波護(hù)欄(GD)、雙層單波護(hù)欄(GS)和護(hù)欄連接點(diǎn)(GJ)。在構(gòu)建數(shù)據(jù)集時(shí)使用多邊形標(biāo)注的方法對(duì)各類樣本進(jìn)行標(biāo)注，各類標(biāo)簽數(shù)量如表2所示。

表2 各類標(biāo)簽數(shù)量 個(gè)

2 檢測(cè)區(qū)域劃定及里程推算

2.1 雙目視覺(jué)原理

雙目視覺(jué)是一種利用視差原理實(shí)現(xiàn)對(duì)視場(chǎng)內(nèi)的目標(biāo)點(diǎn)進(jìn)行匹配,并實(shí)現(xiàn)距離測(cè)定的機(jī)器視覺(jué)方法[17]。如圖2所示，目標(biāo)點(diǎn)P(x,z)位于雙目相機(jī)左右鏡頭對(duì)應(yīng)的同一視場(chǎng)下，經(jīng)過(guò)極線校正的兩個(gè)鏡頭像平面位于同一水平面上，左右鏡頭滿足極線約束，即式(2)所述條件,同一點(diǎn)的左圖Y值坐標(biāo)等于右圖Y值坐標(biāo)。當(dāng)左右鏡頭分別拍攝對(duì)應(yīng)的左右圖像時(shí)，目標(biāo)點(diǎn)位于兩張圖像的不同位置。為測(cè)定點(diǎn)P的深度距離值，即點(diǎn)P(x,z)到相機(jī)基線的距離z，需要確定目標(biāo)P(x,z)在左圖像中的映射點(diǎn)和在右圖像中的映射點(diǎn)為同一目標(biāo)點(diǎn)。假定PL為左圖中拍攝到的目標(biāo)點(diǎn)，對(duì)應(yīng)Y值坐標(biāo)為yl,在右圖中相同的Y值坐標(biāo)yr下，使用極線搜索的方式搜索目標(biāo)點(diǎn)PR，并計(jì)算每個(gè)點(diǎn)對(duì)應(yīng)的匹配代價(jià)，匹配代價(jià)最小的點(diǎn)為左右圖中對(duì)應(yīng)的同一個(gè)目標(biāo)點(diǎn)。

yl=yr

(2)

式中:yl為左圖目標(biāo)點(diǎn)的Y值坐標(biāo)，yr為右圖對(duì)應(yīng)目標(biāo)點(diǎn)的Y值坐標(biāo)。

圖2 景深距離計(jì)算

基于雙目匹配結(jié)果，確定左右圖中的目標(biāo)點(diǎn)后，利用三角相似計(jì)算目標(biāo)點(diǎn)至雙目相機(jī)距離z為

(3)

式中:b為左右鏡頭間距，f為焦距，xl、xr分別為目標(biāo)左右成像點(diǎn)和Z軸的偏離。

雙目視覺(jué)是當(dāng)前立體視覺(jué)測(cè)定最常用的方法，相對(duì)只有在移動(dòng)和標(biāo)定條件才能計(jì)算深度的單目視覺(jué)具有更高的準(zhǔn)確性。由于雙目視覺(jué)采用極線搜索的匹配算法，計(jì)算量不到三目視覺(jué)算法的1/2，能夠滿足每秒鐘10幀以上的采集頻率。

2.2 基于雙目立體景深的檢測(cè)區(qū)域劃定

設(shè)備向前移動(dòng)過(guò)程中采集前景圖像，計(jì)算各點(diǎn)的距離并記錄在深度圖中。相同目標(biāo)物在連續(xù)圖像中具有不同的深度信息，為避免同一段變形護(hù)欄在連續(xù)圖像中的重復(fù)檢測(cè)，需要結(jié)合深度信息劃定每幀圖像的檢測(cè)區(qū)域，如圖3所示。

圖3 檢測(cè)區(qū)域劃定示例

經(jīng)測(cè)量,雙目相機(jī)架設(shè)位置離地高度約為2 m，相機(jī)鏡頭和地面平行。實(shí)線箭頭指示采集行駛方向，采集點(diǎn)由L1移動(dòng)至L2位置，兩段變形護(hù)欄位于圖示位置。h為相機(jī)至護(hù)欄的垂直高度，取值為相機(jī)離地高度和護(hù)欄高度之差，護(hù)欄高度約為0.8 m，故h值為1.2 m。w為雙目相機(jī)在地面的垂直投影點(diǎn)到護(hù)欄的橫向距離，可分為到左側(cè)護(hù)欄橫向距離wl和到右側(cè)護(hù)欄橫向距離wr，w隨采集設(shè)備所在車道位置的變換而發(fā)生變化。高速干道由超車道、其余車道及緊急停車帶構(gòu)成，標(biāo)準(zhǔn)單車道寬度為3.75 m，緊急停車帶為3.5 m。當(dāng)采集行駛路段單側(cè)車道數(shù)量為3條或3條以上時(shí)，由于路面較寬，橫向距離值過(guò)大，難以同時(shí)對(duì)兩側(cè)護(hù)欄進(jìn)行檢測(cè)，因此采集過(guò)程中車輛行駛在第二車道或緊急停車帶左側(cè)的緊鄰車道，采集的數(shù)據(jù)分別用于檢測(cè)左側(cè)護(hù)欄形變及右側(cè)護(hù)欄形變，此時(shí)分別以wl、wr作為護(hù)欄檢測(cè)的橫向距離。參考波形梁護(hù)欄布設(shè)規(guī)范護(hù)欄立柱應(yīng)保持到路肩邊緣距離為0.25 m，wl約為5.875 m(3.75+3.75/2+0.25)，wr約為5.625 m(3.5+3.75/2+0.25)，考慮到車輛行駛過(guò)程中的側(cè)向移動(dòng)，為簡(jiǎn)化計(jì)算過(guò)程，wl和wr均取值為6 m，即w約為6 m。d1為L(zhǎng)2采集點(diǎn)對(duì)應(yīng)的采集間隔，等于L1、L2的間距，可直接從采集參數(shù)中讀出，d2為L(zhǎng)2采集點(diǎn)的預(yù)估采集間隔，由于兩個(gè)采集點(diǎn)對(duì)應(yīng)的采集速度變化很小，d2數(shù)值約等于d1,故直接取為d1。P1、P2分別為2幀圖像檢測(cè)區(qū)域的邊界點(diǎn)。θ為L(zhǎng)2P2在護(hù)欄高度平面的投影線與護(hù)欄直線的夾角、θ1為L(zhǎng)2到形變護(hù)欄2區(qū)域中心連線在護(hù)欄高度平面的投影線與護(hù)欄直線的夾角。θ值由式(4)計(jì)算得到，θ1范圍為(θ，π/2)。檢測(cè)區(qū)域的劃定應(yīng)滿足L1位置對(duì)應(yīng)的圖像用于檢測(cè)變形護(hù)欄1，L2位置對(duì)應(yīng)的圖像用于檢測(cè)變形護(hù)欄2，檢測(cè)距離即對(duì)應(yīng)L1P1、L2P2的直線距離，該范圍內(nèi)的護(hù)欄作為檢測(cè)目標(biāo)，超出范圍的護(hù)欄在下一幀圖像中劃定檢測(cè)區(qū)域后再進(jìn)行檢測(cè)。以L2位置采集點(diǎn)為例，L2P2算式為式(5)所示。

(4)

(5)

(6)

(7)

(8)

高速縱坡場(chǎng)景下，最大縱坡為3%，雙目相機(jī)俯仰角不大于0.03 rad，相機(jī)所在平面、護(hù)欄高度平面、地面仍然相對(duì)平行，相機(jī)和護(hù)欄板的相對(duì)位置參數(shù)不變，以上方法在高速縱坡條件下同樣適用。

圖4 彎道示意

2.3 里程樁自動(dòng)識(shí)別及信息提取

高速里程樁等間隔均勻分布，具有里程定位功能[18]。為方便對(duì)變形護(hù)欄進(jìn)行養(yǎng)護(hù)維修，應(yīng)獲得其所在的里程位置。先使用訓(xùn)練好的YOLOV5模型對(duì)圖像中的里程樁自動(dòng)識(shí)別，獲得預(yù)測(cè)框，再借助PaddleOCR在預(yù)測(cè)框內(nèi)提取里程信息，如圖5所示。最終，推算各采集點(diǎn)及變形護(hù)欄的里程位置坐標(biāo)。

圖5 里程樁識(shí)別和信息提取

2.4 里程推算

圖像采集點(diǎn)和變形護(hù)欄里程位置坐標(biāo)推算流程如圖6所示。檢測(cè)到里程樁圖像，通過(guò)信息提取、景深計(jì)算獲得里程樁號(hào)信息和里程樁到采集點(diǎn)的距離，景深計(jì)算如式(9)所示。采集點(diǎn)的里程位置坐標(biāo)為里程樁號(hào)信息減去景深距離值，使用該坐標(biāo)對(duì)當(dāng)前圖像進(jìn)行里程編號(hào)，并作為后續(xù)里程推算的參考點(diǎn)。未檢測(cè)到里程樁的圖像按式(10)計(jì)算采集點(diǎn)的里程位置坐標(biāo)，得到的位置坐標(biāo)同樣作為圖像的里程編號(hào)。檢測(cè)到變形護(hù)欄時(shí)，通過(guò)圖像的里程編號(hào)及檢測(cè)區(qū)域深度信息計(jì)算變形護(hù)欄的里程位置坐標(biāo)，算式為

(9)

式中:x1、y1，x2、y2分別為檢測(cè)框的左上及右下坐標(biāo)；Sij對(duì)應(yīng)坐標(biāo)點(diǎn)(i，j)的深度值；n為檢測(cè)框內(nèi)像素總數(shù)；S為目標(biāo)到采集點(diǎn)的距離。

(10)

式中:L0為里程推算參考點(diǎn)，Lm為從上個(gè)參考點(diǎn)開始的第m幀圖像對(duì)應(yīng)的采集點(diǎn)位置坐標(biāo)，di為第i幀圖像的采集間隔。

LG=Lp+SG

(11)

式中:Lp為圖像采集點(diǎn)的里程位置坐標(biāo)，SG為按式(2)計(jì)算的距離值，LG為變形護(hù)欄的里程位置坐標(biāo)。

圖6 里程推算流程

3 形變護(hù)欄檢測(cè)

3.1 護(hù)欄分類識(shí)別

由護(hù)欄的形狀特點(diǎn)，選用基于實(shí)例分割的檢測(cè)方法[19-23]不僅能檢出護(hù)欄在圖像中的輪廓，實(shí)現(xiàn)像素級(jí)的分割，而且能減少檢測(cè)框內(nèi)的其他背景目標(biāo)。Mask_RCNN模型憑借經(jīng)典的算法、高精度、易訓(xùn)練、易擴(kuò)展的優(yōu)勢(shì)被廣泛應(yīng)用，在實(shí)例分割模型中一直保持著較高的識(shí)別精度[24]。文中選用Mask_RCNN網(wǎng)絡(luò)模型作為護(hù)欄特征提取器，通過(guò)對(duì)數(shù)據(jù)庫(kù)樣本訓(xùn)練，獲得0.973的AP50類平均精度(IOU閾值為0.5時(shí)的類平均精度)和0.81的召回率，損失值及mAP(AP在所有值下平均精度)變化如圖7所示。

圖7 訓(xùn)練評(píng)價(jià)指標(biāo)曲線

3.2 護(hù)欄形變概述

護(hù)欄形變是造成其防護(hù)功能衰減的主要因素，當(dāng)前有關(guān)護(hù)欄的形變分類、形變范圍等度量參數(shù)并沒(méi)有統(tǒng)一明確的技術(shù)標(biāo)準(zhǔn)。實(shí)車足尺碰撞實(shí)驗(yàn)中以護(hù)欄最大橫向動(dòng)態(tài)變形值及最大橫向動(dòng)態(tài)位移外延值作為護(hù)欄碰撞后的橫向形變范圍評(píng)價(jià)參數(shù)[25]，但未對(duì)參數(shù)范圍進(jìn)行限制。劉彥等[26]提出的彎曲變形護(hù)攔板再利用評(píng)級(jí)指標(biāo)表明266 mm為單塊護(hù)欄可再利用的彎曲形變閾值，即長(zhǎng)度為4 m的護(hù)攔形變撓度值在266 mm范圍內(nèi)時(shí)，仍然具有修復(fù)使用價(jià)值，當(dāng)超出該值時(shí)則不再使用。該形變量閾值為形變存在條件下可修復(fù)利用的最大值，對(duì)檢測(cè)護(hù)欄是否發(fā)生形變參考意義不大。對(duì)采集到的變形護(hù)欄數(shù)據(jù)統(tǒng)計(jì)分類，護(hù)欄形變類別大致可分為平行于地面的橫向形變、垂直于地面的縱向形變、橫向和縱向的組合形變，其中第一種形變及第三種形變?yōu)橹饕巫冾悇e。

3.3 形變護(hù)欄檢測(cè)

3.3.1 特征邊緣提取

經(jīng)過(guò)特征提取，獲得圖像中的護(hù)欄掩膜特征。為計(jì)算護(hù)欄形變狀況，使用改進(jìn)的邊緣提取矩陣γ對(duì)目標(biāo)邊緣進(jìn)行提取，γ如式(12)所示，矩陣各子元素對(duì)應(yīng)式(13)所示的矩陣變換子函數(shù)。

(12)

(13)

表征了護(hù)欄輪廓特征的掩膜Ma作為輸入，由式(14)的映射得到對(duì)應(yīng)的二進(jìn)制掩膜矩陣，二進(jìn)制掩膜矩陣再由式(15)的變換函數(shù)變換到掩膜變換矩陣M，如式(16)所示。

(14)

式(14)中，映射f將掩膜映射至二進(jìn)制掩膜矩陣。

(15)

(16)

不同的尺寸輸入，有時(shí)需要進(jìn)行補(bǔ)1操作，邊緣提取過(guò)程中Y軸移動(dòng)步長(zhǎng)Sy為1，移動(dòng)總步數(shù)Ny，X軸移動(dòng)步長(zhǎng)Sy為3，移動(dòng)總步數(shù)Nx，算式為

(17)

式中：hm，wm對(duì)應(yīng)為輸入變換矩陣高度值、寬度值；Py為輸入變換矩陣Y軸維度補(bǔ)1行數(shù)，取值為2；Px為輸入變換矩陣X軸維度補(bǔ)1列數(shù)，為wm對(duì)3的取余值。

邊緣提取矩陣對(duì)邊緣的提取算式為

(18)

式中:Mw×h為補(bǔ)1后的輸入變換矩陣，γyx為沿X軸滑動(dòng)x步、沿Y軸滑動(dòng)y步的邊緣提取矩陣。

輸入變換矩陣的邊緣滑動(dòng)計(jì)算如圖8所示，左側(cè)淺灰區(qū)域?qū)?yīng)目標(biāo)物，邊緣提取矩陣滑動(dòng)到圖示窗口位置時(shí)，計(jì)算得到右側(cè)的3×3子矩陣所示結(jié)果，上下邊緣提取過(guò)程如式(19)所示。提取效果如圖9所示。

(19)

式中：γ1j,γ2j,γ3j分別為輸出子矩陣第1行第j列、第2行第j列、第3行第j列的子元素。

圖8 邊緣提取滑動(dòng)計(jì)算

圖9 護(hù)欄邊緣提取效果

3.3.2 線性擬合分析

正常形態(tài)下的護(hù)欄具有直線特征，發(fā)生的異常形變通常為因碰撞造成的局部彎曲，文中提出使用線性擬合分析的方法判斷護(hù)欄是否發(fā)生形變。利用一階函數(shù)線性特性，對(duì)護(hù)欄輪廓的上下邊緣做一階擬合，獲得擬合邊緣線，計(jì)算擬合優(yōu)度，擬合優(yōu)度值越接近1，擬合效果越好，護(hù)欄邊緣越接近直線特征，形變程度則越小，反之亦然。考慮到彎道處的護(hù)欄也具有彎曲特征，一階函數(shù)可能無(wú)法恰當(dāng)?shù)財(cái)M合。由于高階函數(shù)具有擬合非線性特征能力，所以對(duì)彎道處護(hù)欄使用一階函數(shù)及三階函數(shù)進(jìn)行試探擬合，對(duì)比兩條擬合線的相關(guān)性，相關(guān)性的強(qiáng)弱即表明擬合的接近或偏離程度，并對(duì)形變護(hù)欄采取相同操作，比較彎道護(hù)欄和形變護(hù)欄的擬合差異性。采用均方差來(lái)評(píng)估預(yù)測(cè)值和實(shí)際值誤差，如式(20)所示，即預(yù)測(cè)值和實(shí)際值差的歐幾里得范數(shù)平方與樣本容量的比值。將J(W)作為代價(jià)函數(shù)，通過(guò)最小化J策略求得最佳權(quán)重系數(shù)。

(20)

式中:W為擬合權(quán)重系數(shù)，Y為實(shí)際值向量，P(x)為預(yù)測(cè)值。

(21)

(22)

(23)

式中:m為樣本容量；n為階數(shù)，一階擬合、三階擬合分別取1、3。

通過(guò)對(duì)圖10彎道護(hù)欄及變形護(hù)欄的上下邊緣試探擬合，分別得到一階擬合邊緣線及三階擬合邊緣線，如圖10中直線和曲線所示。

通過(guò)使用歐式距離和樣本容量的比值分析兩條擬合曲線的相關(guān)性，如式(24)所示，越接近0表示相關(guān)性越高，反之亦然，其擬合優(yōu)度值如式(25)所示，結(jié)果如表3所示。

(24)

式中:R為兩條曲線的相關(guān)性；m為樣本容量；y1i，y3i分別為一階擬合線、三階擬合線第i個(gè)預(yù)測(cè)值。

(25)

圖10 護(hù)欄邊緣擬合

表3 擬合優(yōu)度值及相關(guān)性

由表3可得到初步結(jié)論：彎道處護(hù)欄的一階擬合邊緣線和三階擬合邊緣線相關(guān)性較高，接近于直線特征,可通過(guò)一階函數(shù)對(duì)其近似擬合，形變護(hù)欄則不然。為進(jìn)一步驗(yàn)證一階函數(shù)對(duì)彎道護(hù)欄及形變護(hù)欄的擬合區(qū)分度，對(duì)180個(gè)護(hù)欄樣本實(shí)例逐一擬合，其中彎道護(hù)欄樣本75個(gè)，形變護(hù)欄樣本105個(gè)，包括橫向變形50個(gè)、縱向變形20個(gè)、橫向及縱向組合變形35個(gè)。分別計(jì)算一階和三階擬合邊緣線的擬合優(yōu)度，以及兩條擬合線的相關(guān)性，同時(shí)驗(yàn)證設(shè)備及算法對(duì)三類護(hù)欄形變的檢測(cè)適用性。

通過(guò)對(duì)采集到的180個(gè)護(hù)欄測(cè)試樣本統(tǒng)計(jì)發(fā)現(xiàn)，一階擬合和三階擬合邊緣線的相關(guān)性和初步結(jié)論一致；三階擬合邊緣線對(duì)彎道護(hù)欄的擬合優(yōu)度值均在0.99以上，對(duì)形變護(hù)欄的擬合優(yōu)度值均在0.9以上，數(shù)量分布如表4所示，可見三階函數(shù)的彎曲特征擬合能力能夠表征護(hù)欄的邊緣輪廓；一階擬合邊緣線對(duì)彎道護(hù)欄的擬合優(yōu)度值均在0.98以上，其與三階擬合優(yōu)度值差值在(0，0.01)范圍內(nèi)，對(duì)形變護(hù)欄的擬合優(yōu)度值在0～0.9范圍內(nèi)，0.8～0.9范圍內(nèi)的樣本分布僅為4例，最大值為0.83，0.7～0.8范圍內(nèi)的樣本分布為7例(見表4)。由擬合結(jié)果可知一階擬合邊緣線能夠近似擬合彎道護(hù)欄邊緣線，但對(duì)變形護(hù)欄的擬合能力不足，使用擬合優(yōu)度值能夠基本區(qū)分彎道護(hù)欄及形變護(hù)欄的形變特征。通過(guò)對(duì)所有形變護(hù)欄的擬合效果進(jìn)行分析發(fā)現(xiàn)，現(xiàn)有設(shè)備采用車頂架設(shè)的方式能夠突出顯示護(hù)欄的縱向變形、縱向及橫向組合變形以及大部分橫向變形，對(duì)少數(shù)沿鏡頭視線方向的形變由于雙目視覺(jué)的成像條件限制，區(qū)分度較小。

以上樣本擬合測(cè)試實(shí)驗(yàn)未對(duì)護(hù)欄形變可識(shí)別的最小形變量或形變量閾值進(jìn)行測(cè)定，原因包括采集點(diǎn)和護(hù)欄的空間位置差及護(hù)欄形變過(guò)程的隨機(jī)性。采集點(diǎn)到形變護(hù)欄中心區(qū)域的方向向量和護(hù)欄形變方向向量通常不滿足垂直條件，且兩向量的夾角關(guān)系難以獲知，無(wú)法測(cè)出其最大形變量。因此，無(wú)法對(duì)護(hù)攔形變位移的識(shí)別精度進(jìn)行具體值的度量。文中提出的基于擬合優(yōu)度值的護(hù)欄形變檢測(cè)方法從機(jī)器視覺(jué)角度出發(fā)，無(wú)需測(cè)量護(hù)欄的實(shí)際形變量大小，當(dāng)擬合邊緣線優(yōu)度值小于設(shè)定擬合優(yōu)度閾值時(shí)即可判定為變形。擬合優(yōu)度值的確定則通過(guò)樣本檢測(cè)經(jīng)過(guò)統(tǒng)計(jì)分析來(lái)確定。

4 現(xiàn)場(chǎng)實(shí)驗(yàn)結(jié)果及分析

選擇福州繞城高速福州西至福州南為試驗(yàn)路段,如圖11所示，該路段內(nèi)包含11處里程樁，樁號(hào)從K152下行至K142，全長(zhǎng)約12 km，有11處變形護(hù)欄。

圖11 試驗(yàn)路段軌跡

4.1 試驗(yàn)設(shè)定

該路段為雙車道，右側(cè)設(shè)緊急停車帶，巡檢車輛行駛在第二車道，可同時(shí)對(duì)左右兩側(cè)護(hù)欄進(jìn)行檢測(cè)。在已知形變護(hù)欄分布情況、里程樁分布及里程信息的條件下，對(duì)實(shí)驗(yàn)路段采集的連續(xù)圖像序列進(jìn)行測(cè)試，對(duì)比驗(yàn)證算法的檢測(cè)效果，檢測(cè)對(duì)象包括里程樁識(shí)別及樁號(hào)信息提取、護(hù)欄識(shí)別及其形變狀況的判斷、推算變形護(hù)欄的里程位置坐標(biāo)。由于護(hù)欄具有連續(xù)性特征，護(hù)欄識(shí)別準(zhǔn)確率的統(tǒng)計(jì)以每幀圖像劃定區(qū)域范圍內(nèi)的識(shí)別結(jié)果為準(zhǔn)，不同圖像檢測(cè)區(qū)域內(nèi)的護(hù)欄段當(dāng)作獨(dú)立的目標(biāo)進(jìn)行計(jì)數(shù)。為保證檢測(cè)算法的有效性及穩(wěn)定性，在該實(shí)驗(yàn)路段采集3組數(shù)據(jù)，控制采集起點(diǎn)和終點(diǎn)、行駛車道、行駛速度、設(shè)備架設(shè)位置，采集時(shí)間段內(nèi)車流量等采集變量參數(shù)基本一致，各組數(shù)據(jù)相互獨(dú)立，分別進(jìn)行檢測(cè)統(tǒng)計(jì)。3組數(shù)據(jù)采集到的圖像數(shù)量、包含有護(hù)欄的有效圖像數(shù)量、同時(shí)對(duì)左右兩側(cè)檢測(cè)區(qū)域內(nèi)的護(hù)欄段統(tǒng)計(jì)所得到的有效護(hù)欄樣本數(shù)量以及有效變形護(hù)欄樣本數(shù)量如表5所示。采集過(guò)程中由于存在車輛遮擋，第2組有效形變護(hù)欄樣本數(shù)為10個(gè)。

表5 實(shí)驗(yàn)路段信息

4.2 試驗(yàn)結(jié)果

對(duì)3組數(shù)據(jù)檢測(cè)結(jié)果進(jìn)行統(tǒng)計(jì)，里程樁標(biāo)志牌均被正確檢出，檢測(cè)框和里程樁所在實(shí)際區(qū)域的IOU值(面積交并比)大于0.9，提取的里程樁號(hào)信息和對(duì)應(yīng)實(shí)際里程信息一致，能夠滿足后續(xù)里程定位的需求。有效護(hù)欄樣本中各類護(hù)欄的識(shí)別情況如表6所示，數(shù)據(jù)GS、GD、G、GJ的綜合識(shí)別準(zhǔn)確率分別為98.9%、98.8%、98.2%、90.1%，通過(guò)對(duì)各類護(hù)欄的平均識(shí)別率求加權(quán)均值，得到綜合識(shí)別率為92.8%。由于訓(xùn)練集中護(hù)欄連接點(diǎn)樣本數(shù)量較少，模型對(duì)該類的識(shí)別效果不如前三類，但以GS、GD、G為主的護(hù)欄樣本識(shí)別率均達(dá)到了98%以上，三者樣本數(shù)量占總樣本數(shù)量的98.9%。結(jié)合3.2節(jié)的樣本測(cè)試結(jié)果，設(shè)定護(hù)欄形變擬合優(yōu)度經(jīng)驗(yàn)閾值為0.85，當(dāng)線性擬合邊緣線擬合優(yōu)度值小于0.85時(shí)，即判定為變形護(hù)欄。經(jīng)確認(rèn)，3組數(shù)據(jù)中有效變形護(hù)欄樣本均分類正確，部分示例如圖12所示；對(duì)推算得到的變形護(hù)欄的各組里程位置坐標(biāo)取均值，如表7所示，對(duì)比推算的里程位置和實(shí)際測(cè)量位置，除樣本1和樣本2的采集點(diǎn)位于收費(fèi)站和主干道的連接支道上外，其余樣本均位于實(shí)際位置范圍內(nèi)，推算里程位置誤差最大為8 m。

表6 各類護(hù)欄識(shí)別

圖12 變形護(hù)欄檢測(cè)示例

表7 變形護(hù)欄檢測(cè)及里程定位結(jié)果

4.3 對(duì)比分析及結(jié)論

當(dāng)前，有關(guān)護(hù)欄形變的自動(dòng)檢測(cè)方法研究仍處于起步階段，通過(guò)文獻(xiàn)檢索發(fā)現(xiàn)針對(duì)護(hù)欄的檢測(cè)內(nèi)容研究多為護(hù)欄本身的檢測(cè)識(shí)別，而未對(duì)護(hù)欄形態(tài)狀況進(jìn)行分析評(píng)價(jià)。與文中所提場(chǎng)景相同，文獻(xiàn)[10]采用傳統(tǒng)機(jī)器學(xué)習(xí)算法、基于視頻圖像的圖像采集檢測(cè)方法，采集過(guò)程將攝像機(jī)架設(shè)于車頂，采集頻率為30幀/s。通過(guò)在高速場(chǎng)景下實(shí)際測(cè)試，實(shí)現(xiàn)了一般場(chǎng)景下85%～89%的護(hù)欄識(shí)別準(zhǔn)確率，處理速度達(dá)到約20幀/s。對(duì)比文中基于神經(jīng)網(wǎng)絡(luò)的護(hù)欄檢測(cè)方法，在采用2 400張數(shù)據(jù)集的條件下，實(shí)現(xiàn)了92.8%識(shí)別準(zhǔn)確率，其中主要護(hù)欄類別識(shí)別率均達(dá)到了98%以上，在當(dāng)前硬件水平條件下，檢測(cè)速度約為6～8幀/s?？梢娢墨I(xiàn)[10]提出的檢測(cè)方法具有較快的處理速度，但識(shí)別準(zhǔn)確率有待提升，無(wú)法對(duì)形變護(hù)欄進(jìn)行檢測(cè)，且采集每秒鐘圖像數(shù)量為30幀，會(huì)造成連續(xù)圖像中包含較多的重復(fù)信息，造成數(shù)據(jù)冗余，需要較大的數(shù)據(jù)存儲(chǔ)空間和快速傳輸速度。而文中所提方法具有較高準(zhǔn)確率，處理速度相對(duì)較慢，但采集頻率不大于每秒鐘10幀。

文中所提的里程定位方法結(jié)合了雙目視覺(jué)測(cè)距、GPS定位、文本識(shí)別等多種融合信息，實(shí)現(xiàn)了動(dòng)態(tài)監(jiān)測(cè)過(guò)程中目標(biāo)物的里程定位，相對(duì)于當(dāng)前道路養(yǎng)護(hù)系統(tǒng)使用的基于GPS的里程定位方法[27]具有更高的定位精度。通過(guò)對(duì)福建省高速公路養(yǎng)護(hù)系統(tǒng)使用的基于該方法開發(fā)的里程定位軟件進(jìn)行測(cè)試，發(fā)現(xiàn)定位誤差在50～100 m范圍內(nèi)，且GPS定位單元存在一定的信號(hào)靜漂，易受遮擋影響，已無(wú)法適應(yīng)高速巡檢養(yǎng)護(hù)的定位需求。另外一種基于多傳感器信息融合的里程定位技術(shù)[28]同樣采用多種信息融合的方法，實(shí)現(xiàn)了公里樁的高精度里程定位，誤差范圍不超過(guò)2.5 m，但該方法主要針對(duì)靜態(tài)下的公里樁及百米樁的位置確定，無(wú)法對(duì)道路上的目標(biāo)物進(jìn)行定位?？梢姸嘈畔⑷诤系亩ㄎ环椒ㄏ鄬?duì)于僅使用GPS定位具有更高的精度，文中提出的方法具有更廣泛的使用場(chǎng)景。

5 結(jié) 語(yǔ)

數(shù)據(jù)采集源于實(shí)際高速場(chǎng)景，訓(xùn)練得到的特征提取器具有良好的適用性。通過(guò)護(hù)欄特征識(shí)別、邊緣提取及擬合分析、高速里程定位等算法流程能夠有效對(duì)形變護(hù)欄進(jìn)行檢測(cè)，并獲取其里程位置坐標(biāo)，具有一定的應(yīng)用參考價(jià)值。由試驗(yàn)結(jié)果可知，護(hù)欄模型的檢測(cè)精度和運(yùn)算速度仍有一定的提升空間，形變護(hù)欄的里程定位還存在誤差范圍較大的問(wèn)題，后續(xù)將針對(duì)當(dāng)前存在的主要問(wèn)題從兩個(gè)方面展開進(jìn)一步的研究：

1)根據(jù)護(hù)欄的連續(xù)性特征規(guī)范標(biāo)注方法，增加數(shù)據(jù)庫(kù)樣本數(shù)量，平衡護(hù)欄類別標(biāo)簽數(shù)量，改進(jìn)模型結(jié)構(gòu)，優(yōu)化檢測(cè)算法，從而提升護(hù)欄檢測(cè)精度和推理速度；

2)結(jié)合高速公路的百米樁分段校正里程位置坐標(biāo)，細(xì)化里程推算的里程單元,減小定位誤差；限于當(dāng)前的硬件性能水平，景深圖像在生成時(shí)，其尺寸為前景圖像尺寸的1/2，因此會(huì)造成一定的景深信息丟失，后續(xù)將通過(guò)使用高效率的雙目匹配算法和全尺寸的景深圖像，進(jìn)一步提升定位精度。