許凌志，符欽偉，陶 衛(wèi)，趙 輝

（上海交通大學(xué) 儀器科學(xué)與工程系，上海200240）

1 引 言

實(shí)時(shí)車輛位姿估計(jì)旨在對(duì)車輛目標(biāo)進(jìn)行檢測(cè)的同時(shí)獲取位置與姿態(tài)信息，在智能汽車以及智慧交通管理等領(lǐng)域中有著重要的應(yīng)用。例如在自動(dòng)駕駛車輛上，系統(tǒng)需要獲取周圍車輛的位姿及運(yùn)動(dòng)狀態(tài)信息以進(jìn)行穩(wěn)健的決策。在現(xiàn)有的車輛位姿估計(jì)方法中，基于視覺的位姿估計(jì)方法有著無(wú)接觸、應(yīng)用范圍廣的特點(diǎn)。特別是基于單目視覺傳感器的方法成本低且有著廣泛的使用基礎(chǔ)，使得基于單目視覺的位姿估計(jì)方法成為近年來(lái)的研究熱點(diǎn)。

但是，基于單目視覺的車輛目標(biāo)位姿估計(jì)呈現(xiàn)出幾個(gè)特別之處：其一，車輛目標(biāo)通常出現(xiàn)在城市道路或室內(nèi)車庫(kù)中，當(dāng)通過(guò)安裝于路口或者角落上的監(jiān)控相機(jī)進(jìn)行低角度拍攝時(shí)，車輛目標(biāo)之間或車輛目標(biāo)與其他目標(biāo)間易出現(xiàn)遮擋嚴(yán)重或者在相機(jī)邊緣處被截?cái)嗟那闆r；其二，車輛目標(biāo)的運(yùn)動(dòng)范圍大，造成目標(biāo)在圖像上的尺度變化大，位姿估計(jì)的難度更大；其三，與在二維圖像上的任務(wù)不同，三維位姿估計(jì)需要建立二維圖像到三維空間的映射關(guān)系，然而單目視覺傳感器在圖像采集的過(guò)程中丟失了深度信息，因而無(wú)法獲得目標(biāo)的絕對(duì)尺度信息。

目前，基于視覺的車輛位姿估計(jì)主要有以下三種方法：第一類是基于深度信息的方法，常見于自動(dòng)駕駛場(chǎng)景。針對(duì)單目相機(jī)無(wú)法獲取深度信息的問(wèn)題，該類方法的主要思路是依靠激光雷達(dá)等深度傳感器，彌補(bǔ)三維目標(biāo)投影到二維圖像中所損失的深度信息，通過(guò)多源信息融合實(shí)現(xiàn)對(duì)車輛位姿的精確估計(jì)［1-3］?；谏疃刃畔⒌奈蛔斯烙?jì)方法精度最高，但在實(shí)際使用中需要昂貴的硬件設(shè)備作為支撐，且龐大的數(shù)據(jù)量對(duì)計(jì)算機(jī)的性能配置提出更高的要求，不利于推廣和使用。第二類方法是基于深度學(xué)習(xí)的直接法，這一類方法依賴于深度神經(jīng)網(wǎng)絡(luò)的擬合能力及大規(guī)模人工標(biāo)注的數(shù)據(jù)集，將目標(biāo)車輛的位姿直接作為神經(jīng)網(wǎng)絡(luò)的輸出，單目圖像作為輸入進(jìn)行端到端的訓(xùn) 練。相 關(guān) 研 究 中，6D-VNet［4］在 目 標(biāo) 檢 測(cè) 網(wǎng) 絡(luò)的基礎(chǔ)上，增加了兩個(gè)額外分支來(lái)進(jìn)行目標(biāo)的平移和旋轉(zhuǎn)四元數(shù)的回歸，以實(shí)現(xiàn)位姿估計(jì)；SSD-6D［5］將姿態(tài)空間劃分為相鄰子空間，從而將位姿估計(jì)由連續(xù)問(wèn)題轉(zhuǎn)化為離散問(wèn)題；MonoPair［6］中基于地平面假設(shè)對(duì)問(wèn)題進(jìn)行簡(jiǎn)化，直接回歸了車輛在地平面上的坐標(biāo)以及偏航角。然而，這類方法缺乏顯式的幾何約束關(guān)系，精度較低。第三類方法利用目標(biāo)先驗(yàn)?zāi)Ｐ?，通過(guò)傳統(tǒng)特征算子或者神經(jīng)網(wǎng)絡(luò)提取目標(biāo)特征，并與三維模型進(jìn)行模板匹配［7-8］，得到目標(biāo)的位姿信息。Li［9］等人通過(guò)預(yù)測(cè)車輛目標(biāo)的掩模并與不同姿態(tài)對(duì)應(yīng)的模板進(jìn)行匹配度計(jì)算得到結(jié)果。Barowski［10］是對(duì)目標(biāo)進(jìn)行部位級(jí)別的精細(xì)分割進(jìn)而建立二維到三維的對(duì)應(yīng)關(guān)系。Deep manta［11］，Yolo-6d［12］等方法［13］則是利用目標(biāo)關(guān)鍵點(diǎn)特征，建立二維到三維的關(guān)鍵點(diǎn)對(duì)應(yīng)關(guān)系，求解PnP問(wèn)題得到目標(biāo)位姿。這類方法利用三維模型恢復(fù)了尺度信息并獲得了較高的精度，然而復(fù)雜的實(shí)際場(chǎng)景導(dǎo)致的遮擋或者截?cái)嗟葐?wèn)題，會(huì)增加目標(biāo)特征提取的難度并影響位姿估計(jì)的精度。

綜合考慮位姿估計(jì)應(yīng)用場(chǎng)景與現(xiàn)有的遮擋和截?cái)嘁约败囕v目標(biāo)尺度變化較大等問(wèn)題，本文提出一種單目相機(jī)結(jié)合車輛先驗(yàn)?zāi)Ｐ瓦M(jìn)行位姿估計(jì)的改進(jìn)方法，首先對(duì)檢測(cè)圖像中的目標(biāo)進(jìn)行尺度歸一化。隨后在姿態(tài)估計(jì)模塊中使用基于向量場(chǎng)的關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)得到所有關(guān)鍵點(diǎn)的亞像素級(jí)坐標(biāo)，在此基礎(chǔ)上提出基于距離加權(quán)的損失函數(shù)以優(yōu)化網(wǎng)絡(luò)的訓(xùn)練目標(biāo)，同時(shí)改進(jìn)基于隨機(jī) 抽 樣 一 致（Random Sample Consensus，RANSAC）的關(guān)鍵點(diǎn)投票算法，最終通過(guò)關(guān)鍵點(diǎn)坐標(biāo)以及三維目標(biāo)模型建立二維到三維空間的對(duì)應(yīng)關(guān)系，進(jìn)而求解車輛的位姿信息。

2 基于車輛三維模型的位姿估計(jì)

2.1 車輛位姿估計(jì)原理

給定一幅圖像，姿態(tài)估計(jì)的目標(biāo)是獲得圖像中目標(biāo)在三維空間的方向及位置信息。具體來(lái)說(shuō)，假設(shè)三維空間建立在相機(jī)坐標(biāo)系中，定義車輛目標(biāo)的位置為車輛的底面中心點(diǎn)，并以此為原點(diǎn)，車的正前方、左側(cè)方及正上方為坐標(biāo)軸方向建立車輛坐標(biāo)系。車輛目標(biāo)的位姿估計(jì)問(wèn)題轉(zhuǎn)換為計(jì)算車輛坐標(biāo)系到相機(jī)坐標(biāo)系的變換矩陣。該變換矩陣包括表示各個(gè)坐標(biāo)軸旋轉(zhuǎn)角度的旋轉(zhuǎn)矩陣R和表示車輛坐標(biāo)系原點(diǎn)在相機(jī)坐標(biāo)系中的三維坐標(biāo)的平移變換向量T。

本文提出的車輛位姿估計(jì)方法利用了已知的車輛三維模型，這些三維模型可以通過(guò)攝影測(cè)量或者激光掃描技術(shù)獲得，三維模型無(wú)其他特殊要求。原理如圖1所示，首先在輸入圖像中檢測(cè)出目標(biāo)車輛，然后對(duì)所有目標(biāo)的尺度進(jìn)行歸一化后送入向量場(chǎng)回歸網(wǎng)絡(luò)，根據(jù)向量場(chǎng)的預(yù)測(cè)結(jié)果投票得到目標(biāo)關(guān)鍵點(diǎn)的二維坐標(biāo)，最終通過(guò)關(guān)鍵點(diǎn)的二維以及三維坐標(biāo)建立二維圖像到三維空間的對(duì)應(yīng)關(guān)系并求解車輛位姿。

圖1 位姿估計(jì)原理Fig.1 Principle diagram of pose estimation

2.2 尺度歸一化

為了預(yù)測(cè)目標(biāo)的關(guān)鍵點(diǎn)坐標(biāo)，首先需要對(duì)目標(biāo)區(qū)域進(jìn)行精確定位。常見的定位方法多采用語(yǔ)義分割的方式得到目標(biāo)區(qū)域，但是對(duì)于車輛位姿估計(jì)任務(wù)而言，圖像中通常含有多個(gè)車輛目標(biāo)，此時(shí)基于語(yǔ)義分割的方法無(wú)法區(qū)分屬于同一類別的目標(biāo)。其次，與普通目標(biāo)相比，車輛目標(biāo)在相機(jī)視野中的運(yùn)動(dòng)范圍更大，導(dǎo)致車輛在圖像上的尺寸差異較大，造成后續(xù)位姿估計(jì)網(wǎng)絡(luò)的感受野波動(dòng)，進(jìn)而影響位姿估計(jì)精度。

為此本文設(shè)計(jì)了一個(gè)尺度估計(jì)模塊，如圖2所示。針對(duì)圖像中尺寸變化劇烈的車輛目標(biāo)，在對(duì)它進(jìn)行位姿估計(jì)前，將目標(biāo)尺寸縮放到同一大小以消除尺度變化引起的位姿估計(jì)網(wǎng)絡(luò)訓(xùn)練的不穩(wěn)定。通過(guò)一個(gè)尺度估計(jì)模塊獲取目標(biāo)在圖像中的尺度信息，并將提取的目標(biāo)區(qū)域進(jìn)行尺度歸一化。具體地，本文使用一個(gè)輕量的目標(biāo)檢測(cè)［14］網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)尺度估計(jì)的功能，獲得每個(gè)目標(biāo)在圖像中的矩形框后在原圖中進(jìn)行裁剪，并對(duì)目標(biāo)區(qū)域進(jìn)行尺度縮放，使得所有目標(biāo)處于相同的尺度空間。這里使用雙線性插值對(duì)目標(biāo)區(qū)域進(jìn)行縮放，在保持長(zhǎng)寬比的條件下將包含目標(biāo)的矩形框的較短邊縮放到256個(gè)像素。

圖2 車輛位姿估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Network architecture for vehicle pose estimation

2.3 基于向量場(chǎng)形式的關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)

本文采用回歸向量場(chǎng)的形式對(duì)關(guān)鍵點(diǎn)進(jìn)行預(yù)測(cè)。向量場(chǎng)是一種關(guān)鍵點(diǎn)的中間表達(dá)形式，OpenPose［15］中用它來(lái)建模關(guān)鍵點(diǎn)之間的對(duì)應(yīng)關(guān)系，PoseCNN［16］和PVNet［17］中將它作為中間變量來(lái)代替對(duì)關(guān)鍵點(diǎn)的回歸。使用向量場(chǎng)來(lái)回歸每個(gè)像素點(diǎn)與指定關(guān)鍵點(diǎn)之間的相對(duì)角度，并最終通過(guò)投票的方式得出關(guān)鍵點(diǎn)的坐標(biāo)，采用向量場(chǎng)的形式可以更好地預(yù)測(cè)被截?cái)嗷蛘哒趽醯年P(guān)鍵點(diǎn)。具體地，對(duì)每個(gè)關(guān)鍵點(diǎn)，網(wǎng)絡(luò)為屬于目標(biāo)的所有像素點(diǎn)預(yù)測(cè)一個(gè)指向該關(guān)鍵點(diǎn)的單位向量，在輸出層中使用兩個(gè)和原圖尺寸一樣的單通道圖分別表示該單位向量在x軸和y軸上的分量。

其中：p為當(dāng)前像素點(diǎn)，(kx，ky)，(p x，p y)分別是對(duì)應(yīng)關(guān)鍵點(diǎn)和當(dāng)前像素點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)。

向量場(chǎng)的預(yù)測(cè)通過(guò)一個(gè)全卷積網(wǎng)絡(luò)實(shí)現(xiàn)，網(wǎng)絡(luò)輸出包含目標(biāo)的像素級(jí)分割掩模及向量場(chǎng)預(yù)測(cè)結(jié)果。本文使用U-net［18］結(jié)構(gòu)，在網(wǎng)絡(luò)最終結(jié)果輸出前將來(lái)自4個(gè)尺度的特征圖分別上采樣到原圖尺寸后疊加在一起，最終通過(guò)一個(gè)卷積層輸出分割以及向量場(chǎng)預(yù)測(cè)的結(jié)果，如圖2所示。

2.4 基于距離加權(quán)的向量場(chǎng)損失函數(shù)

在關(guān)鍵點(diǎn)檢測(cè)部分，向量場(chǎng)回歸網(wǎng)絡(luò)有兩個(gè)預(yù)測(cè)對(duì)象，分別是目標(biāo)區(qū)域的像素級(jí)掩模及關(guān)鍵點(diǎn)向量場(chǎng)，因此本文使用多任務(wù)損失函數(shù)進(jìn)行監(jiān)督。損失函數(shù)由兩部分組成：

其中λ1，λ2代表不同損失函數(shù)的權(quán)重。式（3）中的兩項(xiàng)分別對(duì)應(yīng)目標(biāo)分割以及關(guān)鍵點(diǎn)向量場(chǎng)回歸兩個(gè)任務(wù)。

由于在該網(wǎng)絡(luò)中僅需對(duì)目標(biāo)區(qū)域和背景區(qū)域進(jìn)行區(qū)分，在本文中使用二分類交叉熵?fù)p失函數(shù)。在PoseCNN［16］和PVNet［17］中，對(duì) 于 向 量 場(chǎng)的回歸采用Smooth l1損失函數(shù)分別對(duì)單位向量在x軸和y軸上的分量進(jìn)行監(jiān)督，如公式（4）所示：法表現(xiàn)訓(xùn)練的最終目標(biāo)，由于向量場(chǎng)回歸網(wǎng)絡(luò)的最終目標(biāo)是預(yù)測(cè)關(guān)鍵點(diǎn)在圖像上的坐標(biāo)，而該損失函數(shù)的優(yōu)化目標(biāo)卻是每個(gè)像素點(diǎn)指向向量的角度，沒有引入關(guān)鍵點(diǎn)定位誤差與每個(gè)像素點(diǎn)指向向量的關(guān)系。其二，通過(guò)對(duì)最終結(jié)果的損失值進(jìn)行可視化發(fā)現(xiàn)（圖3），關(guān)鍵點(diǎn)周圍像素的損失值遠(yuǎn)大于其余像素；在訓(xùn)練的過(guò)程中，關(guān)鍵點(diǎn)周圍像素的梯度占據(jù)了主導(dǎo)進(jìn)而導(dǎo)致在訓(xùn)練過(guò)程中對(duì)該部分像素過(guò)于關(guān)注；在投票得到關(guān)鍵點(diǎn)的過(guò)程中，關(guān)鍵點(diǎn)周圍像素在整體中僅僅占據(jù)很小的比例，由于像素自身特征與關(guān)鍵點(diǎn)特征過(guò)于相似，鄰近像素對(duì)應(yīng)的單位向量的學(xué)習(xí)難度大大提高，從而導(dǎo)致在訓(xùn)練過(guò)程中對(duì)占據(jù)主體的像素的優(yōu)化不夠充分。

圖3 像素權(quán)值損失值可視化Fig.3 Visualization of pixel weight loss

其中：K是所有關(guān)鍵點(diǎn)的集合，P是所有屬于目標(biāo)實(shí) 例 的 像 素 集 合，v x|p，k，vy|p，k，gx|p，k，gy|p，k分 別 表 示向量在x軸和y軸分量的預(yù)測(cè)值與真值。

經(jīng)過(guò)分析，將該損失函數(shù)用于向量場(chǎng)回歸會(huì)產(chǎn)生兩個(gè)問(wèn)題。其一是該損失函數(shù)在形式上無(wú)針對(duì)于這個(gè)問(wèn)題，本文提出基于距離加權(quán)的向量場(chǎng)損失函數(shù)，根據(jù)像素點(diǎn)與關(guān)鍵點(diǎn)的距離為每個(gè)像素點(diǎn)的損失值賦予一個(gè)與距離成正比的權(quán)重，在訓(xùn)練過(guò)程中使得網(wǎng)絡(luò)更加關(guān)注距離較遠(yuǎn)的像素點(diǎn)。損失函數(shù)的具體形式如下：

其中d p，k表示當(dāng)前像素點(diǎn)p與對(duì)應(yīng)關(guān)鍵點(diǎn)k的像素L2距離。

2.5 關(guān)鍵點(diǎn)誤差最小化的投票方法

在網(wǎng)絡(luò)推理階段，需要根據(jù)關(guān)鍵點(diǎn)向量場(chǎng)的預(yù)測(cè)結(jié)果投票得到關(guān)鍵點(diǎn)在圖像中的坐標(biāo)。在原始的投票過(guò)程中，首先在目標(biāo)區(qū)域中隨機(jī)選取兩個(gè)點(diǎn)，將這兩個(gè)點(diǎn)對(duì)應(yīng)的向量的交點(diǎn)作為候選關(guān)鍵點(diǎn)，重復(fù)N次獲得多組候選關(guān)鍵點(diǎn)，最終，基于所有像素點(diǎn)為候選關(guān)鍵點(diǎn)打分并選擇分?jǐn)?shù)最高的候選關(guān)鍵點(diǎn)作為結(jié)果。然而在生成候選關(guān)鍵點(diǎn)的過(guò)程中，隨機(jī)選取的兩個(gè)點(diǎn)對(duì)應(yīng)的向量的夾角過(guò)小或過(guò)大，在向量角度誤差相同的情況下得到的關(guān)鍵點(diǎn)坐標(biāo)誤差相應(yīng)地會(huì)更大，如圖4所示。為了簡(jiǎn)化問(wèn)題，假設(shè)p2點(diǎn)對(duì)應(yīng)的向量沒有誤差，p1點(diǎn)對(duì)應(yīng)的向量的角度誤差為α，關(guān)鍵點(diǎn)為k，p1與關(guān)鍵點(diǎn)k的距離為r，p1和p2點(diǎn)對(duì)應(yīng)向量的夾角為β，則關(guān)鍵點(diǎn)位置的誤差為：

圖4 候選關(guān)鍵點(diǎn)誤差示意圖Fig.4 Geometric diagram of estimation error of candi?date key point

當(dāng)β=π/2時(shí)，e取得最小值，且誤差隨著|β?π/2|的增大而增大，因此用于生成候選關(guān)鍵點(diǎn)的兩個(gè)向量之間的夾角應(yīng)盡可能接近π/2。

在改進(jìn)的投票過(guò)程中，首先隨機(jī)選取一個(gè)點(diǎn)，在選取第二個(gè)點(diǎn)時(shí)要求該點(diǎn)與第一個(gè)點(diǎn)所在向量的夾角在一定范圍內(nèi)，以獲得更精確的關(guān)鍵點(diǎn)坐標(biāo)。實(shí)驗(yàn)選擇的夾角為60°~120°。

在獲取關(guān)鍵點(diǎn)在目標(biāo)區(qū)域中的相對(duì)坐標(biāo)后，需將它們重新映射到原始圖像上。假設(shè)關(guān)鍵點(diǎn)在目標(biāo)區(qū)域中的相對(duì)坐標(biāo)為（x k，y k），對(duì)應(yīng)目標(biāo)檢測(cè)框在原始圖像的坐標(biāo)為（xmin，ymin)，(xmax，ymax)，w，h為尺度歸一化后的目標(biāo)區(qū)域尺寸，（x，y）為映射后關(guān)鍵點(diǎn)在原始圖像中的坐標(biāo)，則有：

最后建立每個(gè)關(guān)鍵點(diǎn)在原始圖像中的二維坐標(biāo)及它在車輛坐標(biāo)系中的三維坐標(biāo)的對(duì)應(yīng)關(guān)系，并使用EPnP［19］算法求解目標(biāo)位姿。

3 數(shù)據(jù)集與實(shí)驗(yàn)結(jié)果

3.1 合成數(shù)據(jù)集介紹

現(xiàn)有的包含有車輛位姿標(biāo)注的數(shù)據(jù)集例如Kitti［20］，主要面向自動(dòng)駕駛場(chǎng)景。它在標(biāo)注過(guò)程中考慮了道路地平面假設(shè)，僅僅對(duì)車輛在地平面上的位置以及其偏航角進(jìn)行了標(biāo)注，降低了車輛位姿估計(jì)問(wèn)題的難度，此外這些數(shù)據(jù)集中存在由于多傳感器標(biāo)定與同步問(wèn)題而導(dǎo)致的位姿錯(cuò)誤標(biāo)注問(wèn)題，如圖5所示。

圖5 傳感器同步（左）以及地平面假設(shè)（右）導(dǎo)致的錯(cuò)誤位姿標(biāo)注［21］Fig.5 Incorrect pose annotation caused by sensor syn?chronization（left）and ground plane assumption（right）［21］

為了驗(yàn)證車輛位姿估計(jì)算法的有效性，本文提出了新的車輛位姿估計(jì)數(shù)據(jù)集，利用圖像渲染技術(shù)將真實(shí)的車輛三維模型根據(jù)指定位姿渲染到圖像中，生成訓(xùn)練以及測(cè)試圖像，并且提供豐富的標(biāo)注信息。標(biāo)注信息包括目標(biāo)二維以及三維的包圍矩形框、二維圖像上的目標(biāo)實(shí)例分割標(biāo)注、目標(biāo)關(guān)鍵點(diǎn)在三維車輛坐標(biāo)系和所有二維圖像上的坐標(biāo)標(biāo)注和以及相機(jī)內(nèi)參。

該數(shù)據(jù)集使用的三維車輛模型來(lái)源于Shap?eNet［22］數(shù)據(jù)集。ShapeNet是一個(gè)大型的3D形狀數(shù)據(jù)集，包含橫跨270個(gè)類別的51 000個(gè)三維模型。由于ShapeNet中的車輛三維模型缺乏實(shí)際尺寸信息，本文在網(wǎng)絡(luò)上查找三維車輛模型的真實(shí)尺寸，并將三維模型縮放到實(shí)際尺寸。為了增加背景的復(fù)雜性，以衡量算法在復(fù)雜場(chǎng)景下的能力并且防止算法對(duì)相同背景的過(guò)擬合問(wèn)題，本文選擇場(chǎng)景分類數(shù)據(jù)集MIT places365［23］作為合成數(shù)據(jù)集的背景圖片，該數(shù)據(jù)集中包含來(lái)自365個(gè)復(fù)雜場(chǎng)景的180萬(wàn)張圖片。在數(shù)據(jù)合成時(shí)從數(shù)據(jù)集中隨機(jī)選取背景圖片。

在車輛關(guān)鍵點(diǎn)選擇方面，本文在車輛三維模型表面手動(dòng)選擇關(guān)鍵點(diǎn)，分別是4個(gè)車輪中心以及頂部的4個(gè)頂點(diǎn)作為關(guān)鍵點(diǎn)，如圖6所示。

圖6 車輛關(guān)鍵點(diǎn)Fig.6 Vehicle key points

在對(duì)車輛位姿進(jìn)行采樣時(shí)，考慮在實(shí)際場(chǎng)景中相機(jī)一般不會(huì)從車輛底部進(jìn)行觀察，因此相機(jī)始終在車輛的上半部分，如圖7所示。同時(shí)增大相機(jī)與車輛目標(biāo)的距離，以模擬車輛在實(shí)際場(chǎng)景下的多尺度變換特性。最終生成了10 000張圖片，包含有目標(biāo)以及對(duì)應(yīng)的標(biāo)注。圖8為部分生成的圖片及其標(biāo)注。

圖7 車輛位姿采樣示意圖Fig.7 Schematic diagram of vehicle pose sampling

圖8 合成數(shù)據(jù)集實(shí)例（第一行為原圖，第二到四行為對(duì)應(yīng)的位姿、關(guān)鍵點(diǎn)以及掩模標(biāo)注）Fig.8 Example of synthetic dataset（the first line is the original images and the second to fourth line are the corresponding pose，key point and mask annotation）

3.2 訓(xùn)練細(xì)節(jié)

尺度估計(jì)模塊中，本文采用Yolov3［24］作為目標(biāo)檢測(cè)網(wǎng)絡(luò)。對(duì)于向量場(chǎng)回歸網(wǎng)絡(luò)，采用ResNet18［25］作為特征提取網(wǎng)絡(luò)，在第4和第5部分不進(jìn)行降采樣，并將后續(xù)的卷積更換為空洞卷積，保證網(wǎng)絡(luò)最小的特征圖為原圖的1/8。采用Adam優(yōu)化器，初始學(xué)習(xí)率是0.001，使用poly學(xué)習(xí)率調(diào)整策略，總共訓(xùn)練50輪。多任務(wù)損失函數(shù)之間的權(quán)重設(shè)置為1，整個(gè)訓(xùn)練過(guò)程使用一塊NVIDIA 2080ti顯卡完成。

3.3 評(píng)價(jià)指標(biāo)

對(duì)于3D車輛檢測(cè)任務(wù)而言，3D檢測(cè)框的IOU是一個(gè)常用的評(píng)價(jià)指標(biāo)；但是3D IOU的計(jì)算同時(shí)考慮了目標(biāo)的位置和姿態(tài)，不能全面地衡量網(wǎng)絡(luò)位姿估計(jì)的性能，因此在實(shí)驗(yàn)過(guò)程中采用平均定位精度［26］和平均角度精度以及平均定位誤差T和累積角度誤差R來(lái)對(duì)網(wǎng)絡(luò)的位姿估計(jì)性能進(jìn)行全面的衡量。平均定位誤差為相機(jī)坐標(biāo)系下車輛目標(biāo)中心的真實(shí)位置以及預(yù)測(cè)位置之間的歐式距離，X，Y，Z為它在x軸、y軸以及z軸上的誤差分量；α，β，λ分別為車輛自坐標(biāo)系下目標(biāo)以x軸、y軸、z軸為旋轉(zhuǎn)中心軸的角度誤差。

3.4 實(shí)驗(yàn)結(jié)果

在上文提出的合成車輛位姿數(shù)據(jù)集上對(duì)本文提出的方法進(jìn)行了測(cè)試，隨機(jī)選擇其中的80%作為訓(xùn)練集，20%作為測(cè)試集。表1為實(shí)驗(yàn)得到的平均定位誤差以及角度誤差。

表1 實(shí)驗(yàn)得到的平均定位誤差和累積角度誤差Tab.1 Average position errors and cumulated angular errors in experiment

表1 中，第一行使用PVNet作為基礎(chǔ)對(duì)比網(wǎng)絡(luò)，由于PVNet要求圖像中只能存在單個(gè)目標(biāo)，為了對(duì)比的公平性，實(shí)驗(yàn)中生成的數(shù)據(jù)集中每幅圖像只合成一個(gè)目標(biāo)。分別對(duì)本文提出的尺度估計(jì)模塊和改進(jìn)的損失函數(shù)和投票過(guò)程進(jìn)行測(cè)試，可以看出使用尺度估計(jì)模塊和改進(jìn)的投票方法均能提升位姿估計(jì)的準(zhǔn)確性，特別是尺度估計(jì)模塊的位置和角度誤差分別降低了37%和32%。同時(shí)，實(shí)驗(yàn)發(fā)現(xiàn)在基礎(chǔ)網(wǎng)絡(luò)上僅僅使用基于距離加權(quán)的損失函數(shù)會(huì)降低算法性能。經(jīng)理論分析，這是由于前序分割提取的目標(biāo)區(qū)域尺寸波動(dòng)較大，導(dǎo)致?lián)p失函數(shù)中基于像素距離的權(quán)值波動(dòng)較大，進(jìn)而導(dǎo)致?lián)p失函數(shù)不穩(wěn)定影響網(wǎng)絡(luò)性能。將尺度估計(jì)模塊和基于距離加權(quán)的損失函數(shù)結(jié)合可以進(jìn)一步提高精度。定位誤差主要分布于相機(jī)坐標(biāo)系的z軸方向，說(shuō)明使用單目相機(jī)進(jìn)行目標(biāo)位置估計(jì)的難點(diǎn)主要在于目標(biāo)深度的估計(jì)。實(shí)驗(yàn)結(jié)果表明，本文提出的方法相較于基礎(chǔ)方法在位置和角度誤差方面分別降低了43.3%和43.5%。

圖9 為算法在測(cè)試集中的平均定位精度以及平均角度精度。同樣可以發(fā)現(xiàn)，尺度估計(jì)模塊對(duì)于位姿估計(jì)精度的提升較大，基于距離加權(quán)的損失函數(shù)和投票方式可以進(jìn)一步提升精度。測(cè)試集中90%的目標(biāo)的定位誤差在0.4 m以內(nèi)，累積角度誤差在7°以內(nèi)。

圖9 平均定位精度和平均角度精度Fig.9 Average position accuracy and average angle accuracy

圖10 為位姿估計(jì)結(jié)果，可以看出基于向量場(chǎng)的形式不僅可以檢測(cè)可見的關(guān)鍵點(diǎn)，對(duì)于不可見的關(guān)鍵點(diǎn)同樣有著很高的檢測(cè)精度，可以有效地提升對(duì)于遮擋以及截?cái)嗄繕?biāo)的位姿估計(jì)精度。

圖10 位姿估計(jì)結(jié)果（第一行為測(cè)試圖片，第二行為關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果，第三行為位姿估計(jì)結(jié)果）Fig.10 Pose estimation result（the first behavior test picture，the second behavior key point prediction result and the third behavior pose estimation result）

4 結(jié) 論

本文提出了一種基于單目相機(jī)并結(jié)合車輛三維模型進(jìn)行車輛位姿估計(jì)方法，結(jié)合尺度估計(jì)模塊和向量場(chǎng)的中間表達(dá)形式能夠很好地適應(yīng)常見的多尺度和被截?cái)嗪驼趽醯能囕v目標(biāo)。同時(shí)還提出了基于距離的向量場(chǎng)損失函數(shù)，以更加有針對(duì)性地優(yōu)化向量場(chǎng)的訓(xùn)練目標(biāo)，并且改進(jìn)了基于RANSAC的投票機(jī)制，進(jìn)一步提高了位姿估計(jì)準(zhǔn)確性。除此之外，本文貢獻(xiàn)了一個(gè)含有豐富標(biāo)注信息的合成數(shù)據(jù)集，在其上的驗(yàn)證結(jié)果表明，所提算法的平均定位誤差和角度誤差分別為0.162 m和4.692°，相比于目前方法有顯著提升，在實(shí)際場(chǎng)景中有著巨大的應(yīng)用價(jià)值。