倪健 甄玉航

摘要：為了實(shí)現(xiàn)自動(dòng)駕駛，提高道路車輛姿態(tài)檢測(cè)識(shí)別精度，實(shí)驗(yàn)以計(jì)算機(jī)視覺識(shí)別技術(shù)為基礎(chǔ)，提出了一種基于CenterNet的車輛姿態(tài)識(shí)別方法。首先使用在車輛正常行駛道路拍攝的高清圖片模擬行車記錄儀所拍到的每幀圖像;然后，用CenterNet網(wǎng)絡(luò)模型進(jìn)行特征提取;最后，特征網(wǎng)絡(luò)用回歸的方式，輸出一個(gè)四元數(shù)，來(lái)描述車輛具體的位置信息和姿態(tài)信息。實(shí)驗(yàn)結(jié)果表明，此方法能有效檢測(cè)出圖片中車輛姿態(tài)信息。

關(guān)鍵詞：計(jì)算機(jī)視覺;車輛姿態(tài)識(shí)別;四元數(shù);CenterNet

中圖分類號(hào)：TP18? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）20-0001-03

1 引言

在日常生活中，路上的私家車越來(lái)越多，伴隨著汽車數(shù)量增多的同時(shí)，汽車具有自動(dòng)駕駛功能也成了需求與趨勢(shì)，這成為汽車制造商需要關(guān)注和解決的實(shí)際問題。自動(dòng)駕駛這一部分，最基礎(chǔ)的功能就是計(jì)算機(jī)視覺中的目標(biāo)檢測(cè)與識(shí)別。因?yàn)轳{駛系統(tǒng)是以檢測(cè)到前方車輛并且獲取到其位置信息為前提下才能做出反應(yīng)與調(diào)整，所以目標(biāo)檢測(cè)是自動(dòng)駕駛后續(xù)所有操作的前提。因此如何提升目標(biāo)檢測(cè)算法[1]的精準(zhǔn)度、速度是主要問題。

首先，利用Anchor的方法來(lái)獲取到可能會(huì)存在目標(biāo)物體位置的信息，再通過(guò)目標(biāo)物體位置信息對(duì)其進(jìn)行分類，是前些年目標(biāo)檢測(cè)常采納的方法。此種方法不但耗時(shí)長(zhǎng)、效率還低，并且還需要NMS去除重復(fù)框[2]，所以，這樣的目標(biāo)檢測(cè)法正逐漸被摒棄。近幾年的目標(biāo)檢測(cè)算法層出不窮，如CornerNet、Yolo 、CenterNet等，這類Anchor-Free算法提供了更大更靈活的解空間，以提升計(jì)算量的方式擺脫Anchor，使檢測(cè)和分割進(jìn)一步走向?qū)崟r(shí)高精度，體現(xiàn)了計(jì)算機(jī)視覺領(lǐng)域的技術(shù)正以蓬勃的勢(shì)頭發(fā)展。對(duì)于數(shù)字設(shè)備來(lái)講，檢測(cè)識(shí)別圖片以及視頻中的物體可以集快速、準(zhǔn)確于一體，這對(duì)于交通、體育、建筑等行業(yè)來(lái)說(shuō)，為其行業(yè)內(nèi)的視覺數(shù)據(jù)的收集、處理、分析等提供了更便利的條件與基礎(chǔ)。

本文采用CenterNet [3]目標(biāo)檢測(cè)算法對(duì)城市道路的車輛進(jìn)行目標(biāo)檢測(cè)，加入EfficientNet網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練數(shù)據(jù)集，結(jié)合翻轉(zhuǎn)、旋轉(zhuǎn)等手段來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)，再利用四元數(shù)來(lái)解決歐拉角產(chǎn)生的萬(wàn)向鎖問題，網(wǎng)絡(luò)采用[x，y，z，yaw，pitch，roll]等變量輸出，顯示更為簡(jiǎn)潔直觀。

2 模型方法

2.1 實(shí)驗(yàn)內(nèi)容

本實(shí)驗(yàn)主要包括兩部分：目標(biāo)檢測(cè)、姿態(tài)評(píng)估。目標(biāo)檢測(cè)用CenterNet算法把輸入圖片進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，得到關(guān)鍵點(diǎn)的熱力圖，熱力圖中中心點(diǎn)的位置預(yù)測(cè)了目標(biāo)的寬高。用訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行特征提取，之后姿態(tài)評(píng)估部分為了避免軸共面，產(chǎn)生萬(wàn)向鎖問題，所以利用網(wǎng)絡(luò)特征回歸的方式輸出為一個(gè)四元數(shù)，用來(lái)描述圖片車輛具體的位置信息、姿態(tài)信息。

CenterNet網(wǎng)絡(luò)結(jié)構(gòu)包括主干網(wǎng)絡(luò)（EfficientNet）、上采樣模塊（雙線性差值或轉(zhuǎn)置卷積）、head輸出預(yù)測(cè)值。

2.2 CenterNet算法

本實(shí)驗(yàn)算法CenterNet的前身為CornerNet[3]，CornerNet算法可取之處在于可以消除anchor box（錨框） ，如圖1所示，把目標(biāo)檢測(cè)轉(zhuǎn)化為一對(duì)關(guān)鍵點(diǎn)的檢測(cè)，即左上角點(diǎn)和右下角點(diǎn)。

相對(duì)于CornerNet而言，CenterNet的中心思想是把目標(biāo)檢測(cè)問題轉(zhuǎn)化成目標(biāo)物體的一個(gè)關(guān)鍵點(diǎn)估計(jì)問題[5]，如圖2所示，傳入卷積網(wǎng)絡(luò)一張圖片，得到熱力圖（heatmap） ，圖中的峰值點(diǎn)、中心點(diǎn)為同一點(diǎn)，目標(biāo)的寬高由中心點(diǎn)的位置預(yù)測(cè)決定。

CenterNet的檢測(cè)過(guò)程關(guān)鍵點(diǎn)熱力圖生成：

輸入圖像的規(guī)格為I∈RW×H×3，W為寬，H為高。生成的關(guān)鍵點(diǎn)熱力圖規(guī)格為 Y∈[[0，1]WR×HR×C]，其中R為輸出圖像的步長(zhǎng)（stride） ，C是關(guān)鍵點(diǎn)類型數(shù)（特征圖通道數(shù)） 。

在目標(biāo)檢測(cè)中，Yx，y，c=1表示檢測(cè)到的物體預(yù)測(cè)值為1，即在坐標(biāo)（x，y） 處檢測(cè)到了類別為C的物體;反之，Yx，y，c=0則表示未檢測(cè)到。

在訓(xùn)練中，CenterNet沿用CornerNet的方法，對(duì)標(biāo)簽圖（ground truth） 里的某一C類，把真實(shí)關(guān)鍵點(diǎn)（true keypoint） p∈R2計(jì)算出來(lái)用于訓(xùn)練，中心點(diǎn)坐標(biāo)的計(jì)算方式為P =（[x1+x22，y1+y22]） ，對(duì)于下采樣后的坐標(biāo)設(shè)為 p^=[pR]，其中 R是上文中提到的下采樣因子4。所以計(jì)算出來(lái)的中心點(diǎn)與低分辨率的中心點(diǎn)[4]相對(duì)應(yīng)。

然后利用 Y∈[[0，1]WR×HR×C] 來(lái)對(duì)圖像進(jìn)行標(biāo)記，在下采樣的[128，128]圖像中標(biāo)簽真值點(diǎn)（ground truth point） 以 Y∈[[0，1]WR×HR×C]的形式，用一個(gè)高斯核將關(guān)鍵點(diǎn)分布到特征圖上。

Yxyc=exp（-[x-px2+y-py22σ2p]）? ? ? ? ? （1）

其中 σp是標(biāo)準(zhǔn)差，σp的值與目標(biāo)物體的寬高相關(guān)。如果某一個(gè)類的兩個(gè)高斯分布發(fā)生了重疊，取最大元素即可。

每個(gè)點(diǎn)Y∈[[0，1]WR×HR×C]的范圍為0～1，當(dāng)Y=1時(shí)，代表此點(diǎn)為目標(biāo)中心點(diǎn)（預(yù)測(cè)學(xué)習(xí)的點(diǎn)） 。

運(yùn)行demo，輸入一張圖，得到其熱力圖如圖3所示。

2.3 損失函數(shù)

整體損失函數(shù)（Ldet） 包括目標(biāo)中心點(diǎn)預(yù)測(cè)損失（Lk） 、目標(biāo)中心偏置損失（Loff）、目標(biāo)大小損失（Lsize），總公式如下：

Ldet=Lk+λsizeLsize+λoffLoff? （2）

其中λsize=0.1，λoff=1。在主干網(wǎng)絡(luò)后，每個(gè)坐標(biāo)生成C+4個(gè)數(shù)據(jù)，包括類別、偏置x與y、寬、高。

2.4 歐拉角、四元數(shù)

實(shí)驗(yàn)已經(jīng)用訓(xùn)練模型進(jìn)行特征提取，下一步實(shí)現(xiàn)車輛姿態(tài)的識(shí)別，識(shí)別的思路為利用網(wǎng)絡(luò)特征回歸的方式輸出為一個(gè)四元數(shù)，用來(lái)描述圖片車輛具體的位置信息，此時(shí)引入歐拉角和四元數(shù)。

歐拉角[6]包括三個(gè)獨(dú)立的角參量，如圖4：章動(dòng)角θ、旋進(jìn)角（進(jìn)動(dòng)角） ψ和自轉(zhuǎn)角φ。三個(gè)參量為一組來(lái)描述一個(gè)以定點(diǎn)轉(zhuǎn)動(dòng)的剛體的位置。

繞X軸旋轉(zhuǎn)Roll翻滾角，繞Y軸旋轉(zhuǎn)Pitch仰俯角，繞Z軸旋轉(zhuǎn)Yaw偏航角。

萬(wàn)向鎖問題：正常情況下，物體旋轉(zhuǎn)時(shí)三個(gè)旋轉(zhuǎn)軸相互獨(dú)立，但是選擇±90°作為pitch角，在時(shí)間上產(chǎn)生了共軸、共面，就會(huì)使第一次旋轉(zhuǎn)和第三次旋轉(zhuǎn)效果相同，整個(gè)旋轉(zhuǎn)表示系統(tǒng)被限制在只能繞豎直軸旋轉(zhuǎn)，缺少一個(gè)表示維度。

為了解決萬(wàn)向鎖，這里引入四元數(shù)，四元數(shù)是一種簡(jiǎn)單的超復(fù)數(shù)，包括實(shí)數(shù)部和三個(gè)虛數(shù)部，一般形式為a + bi+ cj + dk（a、b、c、d均為實(shí)數(shù)，i、j、k均為虛數(shù)單位） 。可以把i j k（X軸Y軸Z軸） 本身的幾何含義當(dāng)作是旋轉(zhuǎn)，滿足左手系準(zhǔn)則：大拇指指向旋轉(zhuǎn)軸，另外四根手指所握方向即為旋轉(zhuǎn)的正方向，所轉(zhuǎn)角度即為正角度，反之為反向旋轉(zhuǎn)。依次可得出i、j、k的正向旋轉(zhuǎn)與反向旋轉(zhuǎn)[7]。

用四元數(shù)表示姿態(tài)信息優(yōu)點(diǎn)在于只要參考坐標(biāo)系、動(dòng)坐標(biāo)系恒定，四元數(shù)就唯一，并且四元數(shù)保存的姿態(tài)信息數(shù)據(jù)可以轉(zhuǎn)化成歐拉角。

3 數(shù)據(jù)收集與增強(qiáng)

本次實(shí)驗(yàn)采用多種方式獲取數(shù)據(jù)，用來(lái)測(cè)試和訓(xùn)練模型。包括個(gè)人拍攝圖片30張，網(wǎng)絡(luò)圖片108張，Kaggle無(wú)人車大賽公開數(shù)據(jù)集2762張。其中Kaggle為車輛的目標(biāo)檢測(cè)提供車輛的類別標(biāo)簽，從中提取車輛圖像。這樣的數(shù)據(jù)集進(jìn)行模型訓(xùn)練，更能準(zhǔn)確地檢測(cè)識(shí)別出單幀圖像中的車輛姿態(tài)。最終用于模型訓(xùn)練的訓(xùn)練集1703張，測(cè)試集662張，驗(yàn)證集530張。

實(shí)驗(yàn)中數(shù)據(jù)增強(qiáng)的操作包括尺寸變換（scale）、翻轉(zhuǎn)變換（flip）。其中scale設(shè)置為8，在主干網(wǎng)絡(luò)上采樣中，產(chǎn)生的mask特征圖尺寸為128[×]40，訓(xùn)練模型中圖像尺寸1024[×]320的1/8。開啟翻轉(zhuǎn)（flip）的話，就將mask特征圖（單通道的）、 regression特征圖（7通道的） 取反。通過(guò)數(shù)據(jù)增強(qiáng)可以阻止神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)不相關(guān)的特征，從根本上提升網(wǎng)絡(luò)的整體性能。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)操作系統(tǒng)Win10下完成，CPU為Intel（R） Core（TM） i7-6700HQ /GPU：GTX950M，內(nèi)存為16G。開發(fā)環(huán)境為Python3.8、EfficientNet-B0等。

4.2 實(shí)驗(yàn)結(jié)果

最后驗(yàn)證經(jīng)過(guò)訓(xùn)練后的模型，如圖5所示，分別為原圖和測(cè)試結(jié)果圖。

以表1為圖5中各個(gè)車輛的位置信息：

4.3 實(shí)驗(yàn)結(jié)果分析

通過(guò)圖片驗(yàn)證與測(cè)試可以看出，車輛即使較遠(yuǎn)，小目標(biāo)車輛也能很好地檢測(cè)到，對(duì)于其位置姿態(tài)，也能用偏航角（pitch）、x、y、z等直觀地展現(xiàn)出來(lái)，達(dá)到了本實(shí)驗(yàn)的基本目的。本實(shí)驗(yàn)僅對(duì)車輛這一類物體進(jìn)行識(shí)別，因此采用精確率[8]（Precision） 、召回率（Recall） 兩個(gè)參數(shù)評(píng)價(jià)模型。精確率反映在測(cè)試集識(shí)別時(shí)，預(yù)測(cè)正樣本中實(shí)際正樣本所占的比例;召回率反映所有正樣本中預(yù)測(cè)正樣本所占的比例。

Precision=[tptp+fp] （3）

Recall=[tptp+fn] （4）

注：[tp]為識(shí)別到樣本中的正樣本，[fp]為識(shí)別到樣本中的負(fù)樣本，[fn]為未識(shí)別到樣本中的正樣本。

使用662張圖片測(cè)試集在訓(xùn)練好的模型上進(jìn)行驗(yàn)證，得到基于CenterNet的車輛姿態(tài)識(shí)別模型的精確率和召回率如表2所示：

通過(guò)表2以及圖5可以看出，本實(shí)驗(yàn)訓(xùn)練的基于CenterNet的車輛姿態(tài)識(shí)別模型，對(duì)一些目標(biāo)較小、較偏的車輛也能進(jìn)行識(shí)別，其精準(zhǔn)率以及召回率都在90%以上，可以較準(zhǔn)確地檢測(cè)車輛、識(shí)別車輛姿態(tài)，達(dá)到本實(shí)驗(yàn)?zāi)康摹?/p>

5 結(jié)論

針對(duì)道路車輛姿態(tài)識(shí)別問題，傳統(tǒng)目標(biāo)檢測(cè)算法識(shí)別率較低，魯棒性不強(qiáng)，所以本文在基于CenterNet的目標(biāo)檢測(cè)算法上，實(shí)現(xiàn)了車輛的檢測(cè)與姿態(tài)識(shí)別。結(jié)果表明，識(shí)別準(zhǔn)確度與識(shí)別速度都得到了不錯(cuò)的結(jié)果，在662張圖片測(cè)試集測(cè)試下進(jìn)行模型評(píng)估，精準(zhǔn)度基本在93%，證實(shí)了本實(shí)驗(yàn)的可行性，滿足車輛姿態(tài)識(shí)別的要求。同樣，后續(xù)的車輛姿態(tài)識(shí)別依然有很大的改進(jìn)空間，進(jìn)一步優(yōu)化網(wǎng)絡(luò)能得到更理想的效果。

參考文獻(xiàn)：

[1] 黃健，張鋼.深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法綜述[J].計(jì)算機(jī)工程與應(yīng)用，2020，56（17）：12-23.

[2] 杜鵬，諶明，蘇統(tǒng)華.深度學(xué)習(xí)與目標(biāo)檢測(cè)[M].北京：電子工業(yè)出版社，2020.

[3] 黃躍珍，王乃洲，梁添才，等.基于改進(jìn)CenterNet的車輛識(shí)別方法[J].華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，49（7）：94-102.

[4] Law H，Deng J.CornerNet：detecting objects as paired keypoints[J].International Journal of Computer Vision，2020，128（3）：642-656.

[5] 石先讓，蘇洋，提艷，等.基于CenterNet目標(biāo)檢測(cè)算法的改進(jìn)模型[J].計(jì)算機(jī)工程，2021，47（9）：240-251.

[6] 中國(guó)大百科全書總編輯委員會(huì)《力學(xué)》編輯委員會(huì).中國(guó)大百科全書（力學(xué)） [M].北京：中國(guó)大百科全書出版社，1987：373.

[7] 程烺，俞家勇，馬龍稱，等.單位四元數(shù)、羅德里格轉(zhuǎn)換模型與歐拉角的映射關(guān)系[J].北京測(cè)繪，2020，34（1）：44-50.

[8] 李航.統(tǒng)計(jì)學(xué)習(xí)方法[M].北京：清華大學(xué)出版社，2012.

【通聯(lián)編輯：唐一東】