李占旗 鮑振標 賈鵬飛 劉全周

摘 要：為了實現(xiàn)汽車輔助駕駛系統(tǒng)對前方目標車輛的精確預(yù)警，文章對前方目標車輛測距方法進行了研究，采用車輛的車牌為參考靶標，利用機器視覺識別算法對車牌輪廓進行了檢測，得到車牌的位置角點坐標，由PNP相機姿態(tài)算法求得前方目標車輛的距離，并設(shè)計了靜態(tài)和動態(tài)測試場景對算法進行了驗證，該方法與地面是否起伏無關(guān)，并在20米的范圍內(nèi)，相對誤差小于0.25%。

關(guān)鍵詞：車輛距離測量;車牌;PNP算法;相對誤差

中圖分類號：U495 ?文獻標識碼：B ?文章編號：1671-7988（2020）21-32-04

Abstract： In order to achieve accurate early warning of vehicles in front of the driving assistance system， this paper studies the distance measurement method of the target vehicles. Using the vehicle license plate as the reference target， the contour of the license plate was detected by the machine vision recognition algorithm and the position corner coordinates of the license plate were obtained. The distance of the target vehicle in front was calculated by the PNP camera pose algorithm. Static and dynamic test scenarios were designed to verify the algorithm. The method has nothing to do with whether with whether the ground is undulating and the relative error is less than 0.25% within a range of 20 meters.

Keywords： Vehicle distance; License plate; PNP algorithm; Relative error

CLC NO.： U495 ?Document Code： B ?Article ID： 1671-7988（2020）21-32-04

前言

汽車駕駛過程中，高級駕駛輔助系統(tǒng)（ADAS）可實時對前方障礙物進行識別與檢測，可有效提升汽車的安全性，對目標信息的準確獲取是避免危險的前提條件[1-3]。

目前，ADAS輔助駕駛系統(tǒng)中，主要的信息感知傳感器有激光雷達、超聲波雷達和攝像頭。激光雷達可以實現(xiàn)對前方目標的精確檢測，但是其成本較高，數(shù)據(jù)處理工作量較大，難以在廣泛應(yīng)用于普通車輛中。超聲波雷達主要應(yīng)用于短距離的測量，但測量精度存在的誤差較大，且無法輸出角度的信息。相比之前，攝像頭價格較為低廉，獲得圖像信息豐富，被廣泛配備與車輛中。為了提高攝像頭對前方物體的感知能力，是目前國內(nèi)外大量學(xué)者做了很多的研究工作?，F(xiàn)有的視覺障礙物測距方法主要是單目視覺和雙目或者多目立體視覺;立體視覺的測量方法[4]利用視差原理實現(xiàn)前面障礙物的直接測距，測量精度較高，但是需要多個攝像頭信息的匹配，計算量大，實時測距成本高，應(yīng)用受到了限制;單目視覺測距方法算法簡單，計算量小，實時性能好。余厚云等多位學(xué)者[5-7]采用基于車道線消失點的幾何模型測量前方目標車輛的縱向距離的方法，其多適用于結(jié)構(gòu)化的道路。徐超等[8]提出了一種通過特征變換匹配算法估計坦克的姿態(tài)角，測距誤差較大且耗時較長。劉軍等[9]人提出一種考慮車輛偏航角和俯仰角的車距測量方法，可以在非結(jié)構(gòu)路面實現(xiàn)前方車距的測量。但是對道路還有一定要求，誤差也較大。

國外，Tuohy 等[10]提出了一種基于逆透視變換的測距方法，通過逆透視變換還原出道路平面的信息，并且該平面與真實道路平面具有線性的比例關(guān)系，該方法簡單易行，但是其沒有考慮汽車運動的偏航角和俯仰角補償，導(dǎo)致在汽車產(chǎn)生偏航和俯仰運動時會產(chǎn)生較大的測距誤差。Nakamura 等多人[11-13]結(jié)合估計車寬長度的單目視覺車輛測距方法，但是都沒有考慮到汽車運動過程中的姿態(tài)角變化，對車輛目標的測距誤差較大。

前述測距方法的前提是道路基本是平坦的，如果出現(xiàn)坡道情況，則產(chǎn)生很大的測量誤差，容易出現(xiàn)誤報現(xiàn)象。PNP算法應(yīng)用于靶標與相機姿態(tài)估計，無論靶標和相機之間處于什么狀態(tài)都能準確估計出二者之間的位置關(guān)系。為提高車輛單目視覺測距在復(fù)雜應(yīng)用場景的精度和穩(wěn)定性，本文將PNP算法應(yīng)用于前方車輛的位置姿態(tài)估計，借助車輛的車牌這一相對穩(wěn)定的目標，建立前車的方位與距離的估計模型，用于對前方車輛進行橫向和縱向位置的準確定位。

1 PNP算法原理

PNP算法是指通過多對3D和2D匹配點，在已知相機內(nèi)部參數(shù)的前提下，求解相機外參的算法。求解PNP 問題算法包括P3P、直接線性變換（DTL）、EPNP、UPNP 等， 以及構(gòu)建最小二乘問題并迭代求解。EPNP 需要 4 對不共面的3D與2D匹配點，是目前求解速度快精度較高的的PNP求解方法。本文采用EPNP算法，該算法實質(zhì)是建立一個笛卡爾坐標系，將3D點投射到該坐標系下。

世界坐標系下的坐標是pwi，相機坐標系下的坐標是pci，在世界坐標系下選取4個非共面虛擬控制點，虛擬 控制點的選擇可以通過文獻提供的方法給出， 4 個控制點在世界坐標系下坐標為 cwj（j = 1，2，3，4）， 相機坐標系下坐標為ccj（j = 1，2，3，4）。其中pwi、pci、cwj、ccj均為非齊次坐標系。

求解得到4個虛擬控制點在相機參考坐標下的坐標， 計算3D參考點在相機參考坐標系下的坐標，然后使用迭代最近點（iterative closest point，ICP）算法即可求出相機位姿。當n個參考點共面的情況下，依然可以計算出相機的位姿。

2 基于PNP算法前方車輛測距方法

在前方車輛上設(shè)置多個參考點，本車內(nèi)安裝經(jīng)過標定的相機，相機拍攝前方車輛上的參考點，利用圖像處理算法獲得參考點在圖像中的坐標。相機本身經(jīng)過實驗室內(nèi)部參數(shù)標定，則可以通過PNP算法，解算出參考點在相機參考坐標系下的坐標。

可以參考點在相機中的位姿，只需要在前方車輛上確定參考點，即可獲得參考點與車載相機之間的位置關(guān)系。考慮到車牌是車輛強制統(tǒng)一安裝的附屬件，其尺寸有統(tǒng)一規(guī)格，可以用來作為車輛定位算法中的參考點。本文提出的前方車輛定位方法分為前期前方車輛圖像采集與車牌識別和后期車牌檢測與定位兩個階段。前期通過車載相機采集含有車輛目標的視頻或圖像信息，通過深度學(xué)習(xí)[14]，識別場景中車輛及其車牌的信息， 用于后期的 PNP 算法。后期借助前期得到的車牌圖像信息，定位車牌角點在圖像中的坐標，并識別車牌種類，利用 PNP 算法得到待求圖像的準確的位姿信息，從而得到前方車輛的橫向縱向距離，如圖 1所示。

2.1 車牌檢測

車牌定位與識別算法已經(jīng)是較為成熟的算法，廣泛應(yīng)用于停車場及監(jiān)控應(yīng)用中。通過車牌上的文字數(shù)字、顏色信息等能迅速從車輛背景圖像中分離出車牌區(qū)域。本文僅需要提取車牌的邊框角點，因此僅需要定位車牌區(qū)域，然后將車牌邊緣交點的像素坐標計算出來，作為測量模型中靶標的成像坐標即可。

參考文獻[15]中的快速定位與邊緣檢測算法，實現(xiàn)車牌的快速定位。各種車型存在差異，小型車車牌和大型車前車牌尺寸是140x440mm，大型車的后車牌尺寸440x220mm，通過比例的計算可以確定車牌的規(guī)格。

2.2 車牌邊框圖像坐標測量

定位車牌后，需要獲得車牌邊緣交點的圖像坐標;測量模型中輸入?yún)?shù)僅靶標的圖像坐標，因此靶標的圖像坐標定位精確度決定了最終靶標與相機之間縱向橫向距離的準確度。

在確定車牌位置后，可以利用車牌與車身之間較為明顯的色彩差異等信息進行邊緣的分割定位。因車牌是長方形，因此需要提取長方形邊緣，求解四條邊交點，即為車牌邊框交點的圖像坐標值。車牌交點定位算法如圖2所示：

3 實驗與分析

測試車內(nèi)部裝有激光雷達用于測量前方目標的距離，相對精度0.1%，主要用于做測距精度比對。在中控臺位置安裝一臺相機，相機離地高度約1.3米，相機上安裝有12mm定焦鏡頭，在實驗室利用張正友標定法[16]標定相機內(nèi)部參數(shù)橫縱向等效焦距分別是[1526.87，0，1527.24]，透視中心[1000.42， 481.69]，前方車輛選擇小型車進行測試，其標準車牌邊框的尺寸為440x140mm。

3.1 靜態(tài)測試

前方被檢測車輛與測試車輛距離從5米緩慢移動到50米距離，分別進行測試，如圖3所示，其中距離數(shù)據(jù)均從激光雷達獲得的參照數(shù)據(jù)。每個位置測量5次，測量值的重復(fù)性優(yōu)于千分之一。

測量結(jié)果的偏差曲線如圖4所示。

在5-20米范圍內(nèi)，測量結(jié)果波動很小，主要是在這個區(qū)間內(nèi)，車牌圖像較為清晰，邊緣輪廓好，測量精度高，測量準確度較高，相對誤差較小。當超過20米后，由于車牌圖像變小，圖像的分辨率下降，邊緣出現(xiàn)模糊現(xiàn)象，導(dǎo)致車牌交點定位精度下降，最終導(dǎo)致測量得到的車牌定位值出現(xiàn)較大幅度的波動，相對誤差增大。

3.2 動態(tài)測試

測試車輛跟隨一輛行駛車輛以時速40公里/小時同向行駛，攝像頭幀速60幀/s，兩車距離約15米左右，攝像機采集處理系統(tǒng)連續(xù)抓拍前方車輛圖像，經(jīng)過算法處理得到前方車輛的距離變化，如圖5所示。測量距離在15米附近波動，相對誤差最大0.25%。

4 結(jié)論

本文對前方目標測距進行了研究，通過機器視覺算法對車輛進行了檢測與識別，借助于車牌為靶標，根據(jù)PNP算法求得前方目標車輛的距離，通過實驗證明在20米以內(nèi)，車距的檢測精度小于0.25%，當距離超過20米之后，由于車牌圖像分辨率降低，交點定位誤差開始變大，車距測量誤差開始變大，由于車輛預(yù)警距離往往在5-20米之內(nèi)，本文提出的方法測量精確度較高，能夠較好的實現(xiàn)距離測量與報警。后續(xù)研究需要考慮遠距離如何提高車牌區(qū)域定位精確度，以及尋找替換車牌的車載固定標記物，便于在距離較遠時也能得到較精確的測量靶標。

參考文獻

[1] 劉慶華，邱修林，謝禮猛等.基于行駛車速的車輛防撞時間預(yù)警算法[J].農(nóng)業(yè)工程學(xué)報，2017，33（12）：99-106.

[2] 方建超，周興林，毛雪松.利用多普勒激光雷達實現(xiàn)距離和速度同步測量[J].光電工程，2016，43（12）：212-218.

[3] 劉軍輝，陳宏濱.基于FMCW雷達測距的車輛防碰撞系統(tǒng)[J].桂林電子科技大學(xué)學(xué)報，2016，36（5）：349-354.

[4] 王忠立.基于立體視覺的空間球體快速定位方法[J].北京理工大學(xué)學(xué)報，2006（11）：974-977.

[5] 余厚云，張為公.基于單目視覺傳感器的車距測量與誤差分析[J].傳感器與微系統(tǒng)，2012，31（9）：10-13.

[6] 許宇能，朱西產(chǎn)，馬志雄等.基于單目攝像頭的車輛前方道路三維重建[J].汽車技術(shù)，2014（2）：48-52.

[7] 吳駿，李文杰，耿磊等.基于單目視覺的前方車輛檢測與測距[J].計算機工程，2017，43（2）：26-32.

[8] 徐超，高敏，曹歡.單目圖像中姿態(tài)角估計的坦克目標測距方法[J].光子學(xué)報，2015，44（5）：140-147.

[9] 劉軍，后士浩，張凱等.基于單目視覺車輛姿態(tài)角估計和逆透視變換的車距測量[J].農(nóng)業(yè)工程學(xué)報，2018，34（13）：70-76.

[10] Tuohy S， OCualain D， Jones E， et al. Distance determination for an automobile environment using inverse perspective mapping in Open -CV[C]， Signals and Systems Conference.IET，2010：100-105.

[11] Nakamura K， Ishigaki K，Ogata T，et al.Real-time monocular ranging by Bayesian triangulation[C]， Intelligent Vehicles Symposium. IEEE， 2013：1368-1373.

[12] Han J， Heo O， Park M， et al. Vehicle distance estimation using a mono-camera for FCW/AEB systems[J].International Journal of Automotive Technology， 2016，17（3）： 483-491.

[13] Bao D，Wang P.Vehicle distance detection based on monocular vision[C]， International Conference on Progress in Informatics and Computing. IEEE，2017：187-191.

[14] 曹詩雨，劉躍虎，李辛昭.基于Fast R-CNN的車輛目標檢測[J].中國圖象圖形學(xué)報，2017，22（05）：671-677.

[15] 王永杰，裴明濤，賈云得.多信息融合的快速車牌定位[J].中國圖像圖形學(xué)報，2014，19（03）：471-475.

[16] Zhang Zhengyou. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000.