賈鵬飛，張蕾，劉全周，李占旗

虛擬傳感器與視覺傳感器聯(lián)合標(biāo)定技術(shù)研究

賈鵬飛，張蕾，劉全周，李占旗

（中汽研（天津）汽車工程研究院有限公司，天津 300300）

為了在虛擬場(chǎng)景下實(shí)現(xiàn)對(duì)ADAS控制器的測(cè)試，文章對(duì)相機(jī)的測(cè)距模型進(jìn)行了研究，在虛擬場(chǎng)景下完成了相機(jī)的標(biāo)定，對(duì)相機(jī)捕獲的圖像進(jìn)行了畸變校正，設(shè)計(jì)了4層BP神經(jīng)網(wǎng)絡(luò)對(duì)虛擬傳感器與相機(jī)進(jìn)行聯(lián)合標(biāo)定，得到了虛擬傳感器與視覺傳感器的轉(zhuǎn)換關(guān)系，并設(shè)計(jì)了實(shí)驗(yàn)進(jìn)行驗(yàn)證，通過測(cè)試最終的數(shù)據(jù)誤差為0.37%。

ADAS；BP神經(jīng)網(wǎng)絡(luò)；聯(lián)合標(biāo)定

前言

在汽車駕駛輔助系統(tǒng)（ADAS）測(cè)試中，虛擬場(chǎng)景測(cè)試平臺(tái)可方便靈活地對(duì)輔助駕駛系統(tǒng)的控制策略進(jìn)行測(cè)試，具有節(jié)約勞動(dòng)成本，提升測(cè)試效率的優(yōu)點(diǎn)。虛擬場(chǎng)景平臺(tái)傳感器的標(biāo)定作為測(cè)試工作中的重要組成部分，其標(biāo)定的精度直接影響最終的測(cè)試精度，因此標(biāo)定技術(shù)已經(jīng)成為各個(gè)高校和企業(yè)研究的熱點(diǎn)[1-3]。

目前，ADAS主要通過實(shí)際場(chǎng)景和虛擬場(chǎng)景兩種方式進(jìn)行測(cè)試，在實(shí)際場(chǎng)景中的測(cè)試由于駕駛環(huán)境復(fù)雜，很多情況并不能完全模擬，因此存在很多局限性。而虛擬場(chǎng)景測(cè)試是通過在虛擬場(chǎng)景中模擬各種對(duì)象、路況、環(huán)境以及行為等，不僅能夠縮短測(cè)試時(shí)間，還能對(duì)ADAS系統(tǒng)做出全面考核，使考核指標(biāo)不僅僅局限在里程數(shù)。為了提升傳感器的標(biāo)定精度，實(shí)現(xiàn)ADAS的精確預(yù)警，國內(nèi)外學(xué)者做了大量工作。

牛萍娟等人通過神經(jīng)網(wǎng)絡(luò)的非線性映射能力直接建立了毫米波雷達(dá)坐標(biāo)系和視覺圖像坐標(biāo)系之間的映射關(guān)系，減少了傳感器標(biāo)定的時(shí)間。韓正勇等對(duì)相機(jī)內(nèi)外參數(shù)的求解問題做了研究，利用采集的幾幀圖像得到標(biāo)定的轉(zhuǎn)換矩陣，并求解出矩陣參數(shù)。俞德崎等用ArUco標(biāo)簽確定標(biāo)定板與相機(jī)坐標(biāo)系間的關(guān)系，通過隨機(jī)采樣一致性算法提取紙板角點(diǎn)以建立對(duì)應(yīng)關(guān)系，采用Kabsh 算法求解最有配準(zhǔn)參數(shù)。Jaroslav Moravec提出基于多項(xiàng)式劃分的攝像機(jī)標(biāo)定修正模型，提升了模型的計(jì)算速度。

針對(duì)提升虛擬場(chǎng)景平臺(tái)下ADAS測(cè)試精度，本文提出虛擬場(chǎng)景平臺(tái)傳感器與視覺傳感器聯(lián)合標(biāo)定的方法，通過使用BP神經(jīng)網(wǎng)絡(luò)的非線性擬合出兩者之間的轉(zhuǎn)換關(guān)系，并實(shí)現(xiàn)虛擬場(chǎng)景傳感器與視覺傳感器之間的聯(lián)合標(biāo)定。

1 相機(jī)測(cè)距模型

視覺傳感器標(biāo)定主要涉及三個(gè)坐標(biāo)系之間的相互轉(zhuǎn)換：圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系和世界坐標(biāo)系。圖像坐標(biāo)系一般值相機(jī)捕捉到圖像畫面后，目標(biāo)在圖像中的坐標(biāo)位置點(diǎn)，圖像為*行矩陣的數(shù)據(jù)，每個(gè)矩陣點(diǎn)代表圖像坐標(biāo)，如圖1所示。

圖1 圖像坐標(biāo)系

圖1中，（、）為圖像的像素坐標(biāo)，在進(jìn)行坐標(biāo)轉(zhuǎn)換時(shí)，會(huì)將圖像坐標(biāo)轉(zhuǎn)換為相機(jī)坐標(biāo)，即以相機(jī)的中心為原點(diǎn)，得到圖像坐標(biāo)與相機(jī)中心原點(diǎn)的位置關(guān)系，兩者的轉(zhuǎn)換關(guān)系為：

齊次坐標(biāo)和矩陣形式：

由相機(jī)坐標(biāo)系到世界坐標(biāo)的轉(zhuǎn)換示意圖如圖2所示，Oc為世界坐標(biāo)原點(diǎn)，OZ為相機(jī)的光束中心，P(x,y)圖像的坐標(biāo)點(diǎn)，通過小孔成像的原理計(jì)算得到點(diǎn)Oc與Xc、Yc、Zc的距離關(guān)系。

從世界坐標(biāo)系到相機(jī)坐標(biāo)系的變換：可以由一個(gè)旋轉(zhuǎn)矩陣和一個(gè)平移向量來描述：

化為齊次坐標(biāo)：

相機(jī)坐標(biāo)系到圖像物理坐標(biāo)系：

其中是焦距?；升R次坐標(biāo)為：

通過圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系和世界坐標(biāo)系之間的相互關(guān)系可以得到從世界坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換：

其中1、2分別為相機(jī)的內(nèi)外參數(shù)矩陣。視覺傳感器通過標(biāo)定之后，可得到相機(jī)的內(nèi)外參數(shù)，從而確定圖像坐標(biāo)到空間距離的轉(zhuǎn)換關(guān)系，實(shí)現(xiàn)物體的測(cè)距。

2 虛擬場(chǎng)景中的聯(lián)合標(biāo)定

2.1 BP神經(jīng)網(wǎng)絡(luò)算法

BP神經(jīng)網(wǎng)絡(luò)在進(jìn)行學(xué)習(xí)時(shí)，是以輸入數(shù)據(jù)和期望數(shù)據(jù)對(duì)內(nèi)部權(quán)值進(jìn)行計(jì)算得到合適的神經(jīng)節(jié)點(diǎn)閾值與權(quán)重。輸入數(shù)據(jù)經(jīng)過BP神經(jīng)網(wǎng)絡(luò)內(nèi)外神經(jīng)元節(jié)點(diǎn)的非線性計(jì)算得到輸出值，會(huì)同期望輸出進(jìn)行比較，計(jì)算兩者的偏差，由偏差量反過來更新BP網(wǎng)絡(luò)內(nèi)部的神經(jīng)元節(jié)點(diǎn)的權(quán)重與閾值，使誤差沿梯度方向下降，經(jīng)過不斷學(xué)習(xí)，確定合適的神經(jīng)元節(jié)點(diǎn)參數(shù)，并保證誤差最小。訓(xùn)練完成后，輸入與輸出之間會(huì)確定非線性的關(guān)系式，當(dāng)有新的數(shù)據(jù)變量輸入時(shí)，會(huì)根據(jù)此關(guān)系式計(jì)算出輸出變量，圖3為典型多層神經(jīng)網(wǎng)絡(luò)示意圖[4-6]。

圖3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

令輸入向量為：

輸出向量為：

第l隱含層各神經(jīng)元的輸出為：

其中，為第層神經(jīng)元的個(gè)數(shù)。

設(shè)()為從1層第個(gè)神經(jīng)元與層第個(gè)神經(jīng)元之間的權(quán)重值，()為第l層第個(gè)神經(jīng)元的偏置：

()= f (()) （10）

t為節(jié)點(diǎn)的期望輸出值；0為節(jié)點(diǎn)計(jì)算輸出值。

在訓(xùn)練學(xué)習(xí)過程中，網(wǎng)絡(luò)層節(jié)點(diǎn)之間的權(quán)重矩陣w的設(shè)定和誤差會(huì)進(jìn)行不斷的修正，修正的模型為：

為學(xué)習(xí)因子；φ為輸出節(jié)點(diǎn)的計(jì)算誤差；0為輸出節(jié)點(diǎn)的計(jì)算輸出；為動(dòng)量因子。

2.2 聯(lián)合標(biāo)定算法設(shè)計(jì)

本文中訓(xùn)練數(shù)據(jù)是通過虛擬場(chǎng)景下測(cè)量的前車距離與視覺傳感器測(cè)量的目標(biāo)在圖像中的坐標(biāo)進(jìn)行聯(lián)合標(biāo)定。虛擬場(chǎng)景下的數(shù)據(jù)可以通過設(shè)置前方目標(biāo)與主車之間的距離獲得，視覺傳感器數(shù)據(jù)則是通過消除畸變后的視覺傳感器檢測(cè)虛擬場(chǎng)景中目標(biāo)所在圖像中的坐標(biāo)獲取，算法流程如圖4所示。

圖4 聯(lián)合標(biāo)定流程圖

虛擬場(chǎng)景平臺(tái)傳感器與視覺傳感器聯(lián)合標(biāo)定就是通過BP神經(jīng)網(wǎng)絡(luò)的非線性功能擬合出虛擬場(chǎng)景平臺(tái)傳感器與視覺傳感器之間的關(guān)系，在預(yù)測(cè)階段即可通過計(jì)算得到的非線性關(guān)系預(yù)測(cè)出相應(yīng)的目標(biāo)位置。實(shí)驗(yàn)中使用300組輸入輸出數(shù)據(jù)，從中隨機(jī)選擇200組作為訓(xùn)練集數(shù)據(jù)用于訓(xùn)練，100組作為測(cè)試集數(shù)據(jù)用于測(cè)試網(wǎng)絡(luò)的擬合性能。

3 試驗(yàn)與驗(yàn)證

3.1 數(shù)據(jù)獲取

在實(shí)驗(yàn)數(shù)據(jù)獲取中主要為虛擬場(chǎng)景平臺(tái)傳感器數(shù)據(jù)的獲取和視覺傳感器數(shù)據(jù)獲取。虛擬平臺(tái)傳感器數(shù)據(jù)獲取是通過despace軟件中虛擬傳感器獲取前方目標(biāo)的坐標(biāo)，前方目標(biāo)距離不同時(shí)所在的坐標(biāo)位置也不同，因此在本實(shí)驗(yàn)中以此數(shù)據(jù)作為輸入?yún)?shù)，即有兩個(gè)輸入?yún)?shù)。視覺傳感器獲取數(shù)據(jù)是在暗箱中安裝攝像頭，通過攝像頭所拍攝的圖像中目標(biāo)的坐標(biāo)作為BP神經(jīng)網(wǎng)絡(luò)的輸出參數(shù)，數(shù)據(jù)采集如圖5所示，圖6所示：

圖5 虛擬傳感器目標(biāo)信息獲取

圖6 攝像頭目標(biāo)數(shù)據(jù)獲取

3.2 聯(lián)合標(biāo)定

實(shí)驗(yàn)中視覺傳感器的標(biāo)定是通過攝像頭拍攝暗箱中虛擬場(chǎng)景下的標(biāo)定板圖像，經(jīng)過計(jì)算攝像頭內(nèi)外參數(shù)消除畸變[7-10]。如圖所示，攝像頭拍攝的虛擬場(chǎng)景下標(biāo)定板圖像，通過計(jì)算所得到的攝像頭內(nèi)外參數(shù)矯正圖像畸變后得到的虛擬場(chǎng)景下標(biāo)定板圖像如圖7所示。

圖7 虛擬場(chǎng)景中圖像校正

通過測(cè)試集95組數(shù)據(jù)測(cè)試，其結(jié)果如圖8所示，圖中紅色代表預(yù)測(cè)輸出，藍(lán)色代表期望輸出（真實(shí)輸出），經(jīng)過對(duì)比發(fā)現(xiàn)，除個(gè)別數(shù)據(jù)存在較小誤差外，其他預(yù)測(cè)數(shù)據(jù)基本接近期望輸出。預(yù)測(cè)誤差百分比如圖9所示。

圖8 BP神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)預(yù)測(cè)曲線

圖9 數(shù)據(jù)誤差圖

通過虛擬場(chǎng)景平臺(tái)傳感器與視覺傳感器聯(lián)合標(biāo)定技術(shù)能夠準(zhǔn)確地獲取虛擬場(chǎng)景下目標(biāo)的坐標(biāo)位置，且平均誤差小于0.37%。

4 結(jié)論

本文對(duì)ADAS攝像頭的測(cè)距模型進(jìn)行了推到，得到了圖像坐標(biāo)到空間坐標(biāo)的轉(zhuǎn)換關(guān)系，利用虛擬場(chǎng)景的標(biāo)定板圖片實(shí)現(xiàn)了攝像頭圖像的畸變校正，借助于BP神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)了虛擬傳感器和攝像頭數(shù)據(jù)的聯(lián)合標(biāo)定，通過實(shí)驗(yàn)室驗(yàn)證平均的標(biāo)定誤差為小于0.37%，可實(shí)現(xiàn)輔助駕駛系統(tǒng)在虛擬場(chǎng)景下的測(cè)試。

[1] 劉慶華,邱修林,謝禮猛,等.基于行駛車速的車輛防撞時(shí)間預(yù)警算法[J].農(nóng)業(yè)工程學(xué)報(bào),2017,33(12):99-106.

[2] 方建超,周興林,毛雪松.利用多普勒激光雷達(dá)實(shí)現(xiàn)距離和速度同步測(cè)量[J].光電工程,2016,43(12):212-218.

[3] 王忠立.基于立體視覺的空間球體快速定位方法[J].北京理工大學(xué)學(xué)報(bào),2006(11):974-977.

[4] 余厚云,張為公.基于單目視覺傳感器的車距測(cè)量與誤差分析[J].傳感器與微系統(tǒng),2012,31(9):10-13.

[5] 許宇能,朱西產(chǎn),馬志雄,等.基于單目攝像頭的車輛前方道路三維重建[J].汽車技術(shù),2014(2):48-52.

[6] Tuohy S, O’Cualain D, Jones E, et al. Distance determination for an automobile environment using inverse perspective mapping in OpenCV[C].Signals and Systems Conference. IET,2010:100-105.

[7] Nakamura K,Ishigaki K, Ogata T, et al. Real-time monocular ranging by Bayesian triangulation[C].Intelligent Vehicles Symposium. IEEE, 2013:1368-1373.

[8] Han J,Heo O,Park M,et al.Vehicle distance estimation using a mono- camera for FCW/AEB systems[J].International Journal of Automo- tive Technology, 2016,17(3):483-491.

[9] Bao D,Wang P.Vehicle distance detection based on monocular vision [C].International Conference on Progress in Informatics and Com- puting. IEEE,2017:187-191.

[10] 王永杰,裴明濤,賈云得.多信息融合的快速車牌定位[J].中國圖像圖形學(xué)報(bào),2014,19(03):471-475.

Research on Joint Calibration Technology of Virtual Sensor and Visual Sensor

JIA Pengfei, ZHANG Lei, LIU Quanzhou, LI Zhanqi

（CATARC (Tianjin) Automotive Engineering Research Institute Co., Ltd., Tianjin 300300）

In order to test the ADAS controller in the virtual scene, the ranging model of the camera was studied in this paper. The camera calibration was completed in the virtual scene and the distortion of the image captured by the camera was corrected. A 4-layer BP neural network was designed to calibrate the virtual sensor and the camera. The conversion relationship between the virtual sensor and the visual sensor was obtained.The experiment is designed, and the data error is 0.37%.

ADAS;BP neural network; Joint calibration

10.16638/j.cnki.1671-7988.2021.021.009

U495

B

1671-7988(2021)21-36-04

U495

B

1671-7988(2021)21-36-04

賈鵬飛，碩士、工程師，就職于中汽研（天津）汽車工程研究院有限公司，研究方向汽車輔助駕駛系統(tǒng)。

天津市科技計(jì)劃項(xiàng)目（編號(hào)：17YDLJGX00020）。