盧 鋒， 陳 震， 張聰炫， 葛利躍， 張 陀

（1. 南昌航空大學(xué) 測(cè)試與光電工程學(xué)院，南昌 330063； 2. 南昌航空大學(xué) 信息工程學(xué)院，南昌 330063；3. 中國(guó)人民解放軍第五七一九工廠，成都 610000）

引 言

基于多傳感器信息融合的環(huán)境感知技術(shù)是利用兩個(gè)或多個(gè)不同傳感器的冗余和互補(bǔ)信息完成對(duì)環(huán)境進(jìn)行更加可靠、準(zhǔn)確的描述[1]。21 世紀(jì)以來(lái)，隨著傳感器成像質(zhì)量和探測(cè)精度的大幅提升，該項(xiàng)技術(shù)已被廣泛應(yīng)用于無(wú)人機(jī)自主巡航、軍事目標(biāo)探測(cè)與打擊、車輛輔助駕駛以及視障人群視覺增強(qiáng)等社會(huì)生產(chǎn)生活的諸多領(lǐng)域。在多傳感器數(shù)據(jù)融合系統(tǒng)中，不同傳感器對(duì)目標(biāo)的空間坐標(biāo)描述各不相同，將傳感器數(shù)據(jù)統(tǒng)一到同一空間坐標(biāo)系上進(jìn)行標(biāo)定是實(shí)現(xiàn)多傳感器數(shù)據(jù)融合的基礎(chǔ)。

目前，國(guó)內(nèi)外介紹測(cè)距傳感器（如雷達(dá)、激光）與可見光傳感器的標(biāo)定方法主要分為兩步，即可見光傳感器的內(nèi)參標(biāo)定和毫米波雷達(dá)或激光雷達(dá)與可見光傳感器的外部標(biāo)定[2-3]?？梢姽鈧鞲衅鞯膬?nèi)參標(biāo)定已經(jīng)發(fā)展非常成熟了，有很多可直接使用的方法[4-5]?，F(xiàn)有關(guān)于毫米波雷達(dá)與可見光傳感器外部標(biāo)定的文獻(xiàn)較少，其中多數(shù)標(biāo)定方法是通過(guò)建立毫米波雷達(dá)坐標(biāo)系、世界坐標(biāo)系、可見光傳感器坐標(biāo)系、圖像坐標(biāo)系以及像素坐標(biāo)系之間的空間坐標(biāo)轉(zhuǎn)換關(guān)系，從而求得雷達(dá)掃描平面坐標(biāo)系與可見光圖像像素坐標(biāo)系之間的轉(zhuǎn)換矩陣[6-9]，此類標(biāo)定方法存在操作步驟繁瑣、標(biāo)定可靠性低等問題，難以滿足實(shí)際應(yīng)用需求。本文針對(duì)毫米波雷達(dá)與可見光傳感器的外部標(biāo)定方法進(jìn)行研究，提出了一種基于單應(yīng)性變換的傳感器標(biāo)定方法，有效提高了傳感器標(biāo)定的效率與精度。

1 毫米波雷達(dá)數(shù)據(jù)處理

本文選用的毫米波雷達(dá)為DelphiESR 2.5，該款毫米波雷達(dá)最多可同時(shí)返回64 個(gè)目標(biāo)信息，其中存在一些空信號(hào)、噪聲干擾信號(hào)、靜止目標(biāo)以及虛假目標(biāo)信號(hào)，因此需要對(duì)雷達(dá)數(shù)據(jù)進(jìn)行預(yù)處理，剔除無(wú)效目標(biāo)數(shù)據(jù)。此外，為了獲得穩(wěn)定有效的雷達(dá)目標(biāo)數(shù)據(jù)，本文采用濾波算法對(duì)預(yù)處理后的雷達(dá)目標(biāo)進(jìn)行跟蹤。在實(shí)際應(yīng)用場(chǎng)景中，目標(biāo)（如車輛、行人）的運(yùn)動(dòng)通常是非線性運(yùn)動(dòng)，需要建立非線性運(yùn)動(dòng)模型，本文采用擴(kuò)展卡爾曼濾波算法（Extended Kalman Filter，EKF）對(duì)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)和更新[10]。

如表1 所示為隨機(jī)抽取的兩個(gè)周期內(nèi)部分雷達(dá)原始數(shù)據(jù)。經(jīng)過(guò)上述雷達(dá)數(shù)據(jù)處理操作后，得到如表2 所示的有效目標(biāo)數(shù)據(jù)。對(duì)上述雷達(dá)目標(biāo)數(shù)據(jù)進(jìn)行可視化，結(jié)果如圖1 所示，其中圖1a 為可見光數(shù)據(jù)幀，圖1b 為對(duì)應(yīng)時(shí)刻的雷達(dá)原始目標(biāo)數(shù)據(jù)可視化結(jié)果。由圖可以直觀發(fā)現(xiàn)，未經(jīng)處理的雷達(dá)原始數(shù)據(jù)存在許多噪聲，采用雷達(dá)數(shù)據(jù)處理算法，可以從諸多繁雜目標(biāo)中選出有效目標(biāo)。圖2 所示為雷達(dá)數(shù)據(jù)處理后的有效目標(biāo)可視化結(jié)果，圖中3 個(gè)目標(biāo)分別對(duì)應(yīng)表2 中3 組目標(biāo)數(shù)據(jù)。

圖2 雷達(dá)目標(biāo)濾波結(jié)果示意圖

表1 毫米波雷達(dá)探測(cè)的原始目標(biāo)數(shù)據(jù)

表2 雷達(dá)探測(cè)的有效目標(biāo)數(shù)據(jù)

2 基于單應(yīng)性變換的毫米波雷達(dá)與可見光傳感器標(biāo)定

考慮到現(xiàn)有的傳感器標(biāo)定方法存在操作步驟繁瑣、標(biāo)定精度低等問題，本文提出一種簡(jiǎn)單、易操作的毫米波雷達(dá)與可見光傳感器標(biāo)定方法。

基于毫米波雷達(dá)掃描平面與地面平行的特點(diǎn)，本文利用雷達(dá)掃描平面和可見光圖像平面之間的單應(yīng)性變換關(guān)系，利用點(diǎn)對(duì)齊的方法來(lái)估計(jì)單應(yīng)性變換矩陣[11]，從而實(shí)現(xiàn)毫米波雷達(dá)與可見光傳感器之間的數(shù)據(jù)標(biāo)定。其中點(diǎn)對(duì)齊的方法表示為雷達(dá)掃描平面的一個(gè)點(diǎn)目標(biāo)轉(zhuǎn)換到可見光圖像平面上對(duì)應(yīng)位置用一個(gè)像素點(diǎn)表示，此時(shí)雷達(dá)目標(biāo)點(diǎn)與該像素點(diǎn)為一組對(duì)齊點(diǎn)。如圖3 所示為標(biāo)定場(chǎng)景與標(biāo)定物示意圖，其中圖3a 所示為本文設(shè)定的標(biāo)定場(chǎng)。在標(biāo)定場(chǎng)中放置六塊30 cm × 30 cm 大小的金屬面板，同時(shí)獲取標(biāo)定場(chǎng)中金屬面板的毫米波雷達(dá)數(shù)據(jù)與可見光圖像，基于點(diǎn)對(duì)齊方法獲取六組雷達(dá)目標(biāo)與可見光目標(biāo)的對(duì)齊目標(biāo)點(diǎn)集。

圖3 標(biāo)定場(chǎng)景與標(biāo)定物示意圖

以下為推導(dǎo)求解雷達(dá)掃描平面坐標(biāo)系與可見光圖像平面坐標(biāo)系之間變換的單應(yīng)性矩陣的過(guò)程：

如圖4 所示，以上分析可得運(yùn)動(dòng)目標(biāo)在雷達(dá)平面坐標(biāo)系下的位置坐標(biāo) (xr,yr)和可見光圖像平面坐標(biāo)系下的位置坐標(biāo) (u,v)之間的齊次坐標(biāo)轉(zhuǎn)換關(guān)系，如式（2）所示，其中s表示尺度因子，由于轉(zhuǎn)換過(guò)程為剛性運(yùn)動(dòng)，故令s=1。

圖4 坐標(biāo)系轉(zhuǎn)換示意圖

3×3的 矩陣R和 3×1的 向量t分別表示毫米波雷達(dá)坐標(biāo)系與可見光傳感器坐標(biāo)系之間的旋轉(zhuǎn)矩陣和平移向量，3 × 3 的矩陣M表示可見光傳感器的內(nèi)參，3 × 4 的矩陣T表示毫米波雷達(dá)坐標(biāo)系與可見光傳感器坐標(biāo)系之間的轉(zhuǎn)換矩陣。針對(duì)求解轉(zhuǎn)換矩陣T的復(fù)雜性問題，本文基于雷達(dá)掃描平面與地面平行的特點(diǎn)，利用雷達(dá)掃描平面和可見光圖像平面之間的單應(yīng)性變換關(guān)系，可將式（2）轉(zhuǎn)換為式（3），從而避免了求取內(nèi)參矩陣M、旋轉(zhuǎn)矩陣R和平移向量t，簡(jiǎn)化了標(biāo)定過(guò)程，減少了額外誤差的引入。

上述過(guò)程即可求解雷達(dá)掃描平面坐標(biāo)系與可見光圖像平面坐標(biāo)系轉(zhuǎn)換的單應(yīng)性矩陣H，即毫米波雷達(dá)與可見光傳感器之間的標(biāo)定矩陣。

3 實(shí)驗(yàn)與分析

為了驗(yàn)證本文提出的傳感器標(biāo)定方法的效率和精度，將本文方法與文獻(xiàn)[12]和文獻(xiàn)[13]的標(biāo)定方法分別在晴天、傍晚、雨天等不同天氣條件以及存在自然光干擾和近距離大目標(biāo)等多個(gè)場(chǎng)景下進(jìn)行實(shí)驗(yàn)測(cè)試，實(shí)驗(yàn)結(jié)果如圖5 所示。圖中圓點(diǎn)為雷達(dá)目標(biāo)點(diǎn)經(jīng)過(guò)標(biāo)定之后投射到可見光圖像上的可視化結(jié)果，由圖中標(biāo)定結(jié)果可直觀發(fā)現(xiàn)，本文標(biāo)定方法與文獻(xiàn)[12]、文獻(xiàn)[13]標(biāo)定方法相比，能夠更準(zhǔn)確的將雷達(dá)目標(biāo)標(biāo)定到對(duì)應(yīng)可見光圖像目標(biāo)的中心位置附近。

為了定量分析本文方法標(biāo)定精度，分別統(tǒng)計(jì)了在多個(gè)不同場(chǎng)景下3 種方法標(biāo)定誤差的平均值，誤差值表示為雷達(dá)目標(biāo)標(biāo)定位置與對(duì)應(yīng)圖像目標(biāo)的中心位置之間的像素差值。統(tǒng)計(jì)結(jié)果如表3 所示，具體分析如下：

表3 標(biāo)定誤差平均值統(tǒng)計(jì)

1）針對(duì)同一場(chǎng)景橫向分析，本文方法較其他兩種方法的標(biāo)定精度均具有顯著的提升。

2）針對(duì)不同場(chǎng)景縱向分析，3 種標(biāo)定方法在不同場(chǎng)景下的標(biāo)定誤差均有所不同，對(duì)于近距離目標(biāo)，如圖5a、圖5b、圖5c 和圖5m、圖5n、圖5o所示，三種方法的標(biāo)定誤差較其他場(chǎng)景均有所降低，但本文方法表現(xiàn)最出色；對(duì)于遠(yuǎn)距離小目標(biāo)，如圖圖5d、圖5e、圖5f 所示，其他兩種方法的標(biāo)定誤差相對(duì)較大，但本文標(biāo)定方法的精度依然很穩(wěn)定。

圖5 多場(chǎng)景標(biāo)定結(jié)果

3）針對(duì)不同天氣情況分析，天氣狀況對(duì)三種方法的標(biāo)定效果影響不大。

綜上分析，本文標(biāo)定方法與現(xiàn)有的標(biāo)定方法相比，不僅操作步驟簡(jiǎn)單、標(biāo)定效率高，且標(biāo)定可靠性高、魯棒性好，能夠適應(yīng)各種不同復(fù)雜場(chǎng)景。

4 結(jié) 論

針對(duì)現(xiàn)有的傳感器標(biāo)定方法操作步驟繁瑣、標(biāo)定精度低等問題，本文提出了一種基于單應(yīng)性變換的毫米波雷達(dá)與可見光傳感器標(biāo)定方法；基于雷達(dá)掃描平面與地面平行的特點(diǎn)，利用雷達(dá)掃描平面和可見光圖像平面之間的單應(yīng)性變換關(guān)系，基于點(diǎn)對(duì)齊方法的偽逆來(lái)估計(jì)單應(yīng)性變換矩陣；最少只需要四組對(duì)齊點(diǎn)即可求得單應(yīng)性變換矩陣，從而完成可見光與毫米波雷達(dá)的標(biāo)定。實(shí)驗(yàn)結(jié)果，表明本文標(biāo)定方法簡(jiǎn)單易操作、且標(biāo)定精度高。