劉福明

（廣東工貿(mào)職業(yè)技術(shù)學(xué)院 廣東省廣州市 510510）

1 引言

在自動(dòng)駕駛、巡檢機(jī)器人、視覺(jué)地圖采集等應(yīng)用中常常使用相機(jī)感知場(chǎng)景，達(dá)到學(xué)習(xí)、避障等目的[1][2]。基于目標(biāo)檢測(cè)、跟蹤、視覺(jué)測(cè)量技術(shù)可獲知場(chǎng)景中目標(biāo)在相機(jī)坐標(biāo)系下的定位，而在實(shí)際應(yīng)用領(lǐng)域中，常常需要對(duì)目標(biāo)在世界坐標(biāo)系下定位，實(shí)現(xiàn)避障、地圖元素采集等功能。對(duì)既定的相機(jī)，相機(jī)內(nèi)外參是影響定位精度的關(guān)鍵因素，其中相機(jī)不發(fā)生強(qiáng)烈碰撞、拆解等操作，內(nèi)參不變，通常傳統(tǒng)內(nèi)參標(biāo)定方法滿(mǎn)足大部分應(yīng)用需求。當(dāng)今ADAS、地圖矢量數(shù)據(jù)眾包方式采集等應(yīng)用與維護(hù)對(duì)外參標(biāo)定提出新的要求，既要高精度，也快速有效，甚至要求標(biāo)定自動(dòng)化。

為了標(biāo)定高精度的相機(jī)外參，常規(guī)方法是建設(shè)標(biāo)定場(chǎng)地輔助標(biāo)定。zhang 等[3]提出根據(jù)九點(diǎn)標(biāo)定法[4]約束設(shè)置特定標(biāo)定物，以標(biāo)志物與相機(jī)的空間位姿關(guān)系計(jì)算外參。石麗梅等[5]提出一種外方位元素標(biāo)定方法，布設(shè)高精度GPS控制點(diǎn)，通過(guò)重投影建立點(diǎn)的相關(guān)性，結(jié)合地理參考絕對(duì)定位方程和坐標(biāo)變換，求得外參。上述方法能標(biāo)定精度較高的外參，但是對(duì)標(biāo)定場(chǎng)所與標(biāo)定物配置有特殊要求，只能離線標(biāo)定，對(duì)產(chǎn)品量產(chǎn)與維護(hù)有較大限制。為解決標(biāo)定場(chǎng)地依賴(lài)的局限，一些方法[6][7]提出結(jié)合視覺(jué)里程計(jì)在線標(biāo)定外參，不需要專(zhuān)門(mén)的標(biāo)定場(chǎng)地和特定的標(biāo)定物。但這類(lèi)方法運(yùn)用在車(chē)載相機(jī)應(yīng)用上時(shí)，由于戶(hù)外道路空曠、平滑，圖像顯著特征點(diǎn)稀疏，增加圖像幀間特征點(diǎn)關(guān)聯(lián)與約束關(guān)系建立的難度，并增加視覺(jué)里程累加誤差，外參標(biāo)定成功率不高。孫士杰等[8]和陳錦龍等[9]分別基于RGB-D 相機(jī)和雙目相機(jī)獲得場(chǎng)景的3D點(diǎn)云，擬合參數(shù)化道路面，根據(jù)地平面與世界坐標(biāo)系的約束關(guān)系、與相機(jī)坐標(biāo)系的空間關(guān)系，計(jì)算相機(jī)的外參。然而，RGB-D 相機(jī)對(duì)自然光敏感，在戶(hù)外測(cè)量誤差較大，且只能應(yīng)用在設(shè)備低速、平整道路面直行標(biāo)定場(chǎng)景，因此，這類(lèi)方法不適用于開(kāi)發(fā)道路對(duì)車(chē)載相機(jī)外參標(biāo)定。廖文龍等[10]提出在開(kāi)放道路中通過(guò)匹配高精度地圖對(duì)外參自校正方法，通過(guò)深度學(xué)習(xí)檢測(cè)并提取車(chē)道線，結(jié)合高精度地圖真值重投影關(guān)聯(lián)，通過(guò)梯度下降迭代逼近校正外參。該方法對(duì)相機(jī)外參改變時(shí)能迅速自動(dòng)校正，支持實(shí)時(shí)在線外參優(yōu)化，但是依賴(lài)高精度地圖真值，限制了標(biāo)定場(chǎng)地要求。á. Catalá-Prat 等[11]提出對(duì)車(chē)道線檢測(cè)與提取，并初始透視矩陣投影在俯視圖中，使用牛頓法迭代求解相機(jī)的俯仰角、翻滾角、偏航角，同步校正透視矩陣，改變俯視圖中車(chē)道線的平行度、寬度評(píng)估外參精度。該方法不依賴(lài)具體標(biāo)定場(chǎng)地與真值，能快速標(biāo)定外參，且操作簡(jiǎn)便，但是采用牛頓法迭代容易陷入局部最優(yōu)值。

綜上所述，現(xiàn)有的相機(jī)外參標(biāo)定方法已有較為成熟的方案，但新的應(yīng)用形態(tài)對(duì)外參標(biāo)定提出了新的要求，基于這種情況，本文方法采用雙目相機(jī)對(duì)場(chǎng)景視覺(jué)測(cè)量，使用平整道路面點(diǎn)云擬合參數(shù)化平面，檢測(cè)并提取車(chē)輛直行狀態(tài)下車(chē)道線并以其3D 坐標(biāo)計(jì)算車(chē)輛行駛方向矢量，基于左手系以參數(shù)化平面與車(chē)輛前向矢量建立世界坐標(biāo)系，并構(gòu)建世界坐標(biāo)系與相機(jī)坐標(biāo)系的歐式變換模型，進(jìn)而得到相機(jī)外參。為了實(shí)現(xiàn)標(biāo)定自動(dòng)化，通過(guò)檢測(cè)、提取、跟蹤圖像中車(chē)道線，識(shí)別車(chē)輛直行狀態(tài)；以網(wǎng)格采樣檢測(cè)點(diǎn)，統(tǒng)計(jì)相機(jī)坐標(biāo)系下縱向相鄰兩測(cè)量點(diǎn)間的距離關(guān)系，進(jìn)而檢測(cè)平整道路面；通過(guò)世界坐標(biāo)點(diǎn)重投影，以重投影點(diǎn)透視變換產(chǎn)生俯視圖，自動(dòng)對(duì)車(chē)道線采樣并對(duì)其一致性度量驗(yàn)證外參精度。

2 系統(tǒng)框架

由于相機(jī)安裝相對(duì)世界坐標(biāo)系存在位移、俯仰角、偏航角和翻滾角，導(dǎo)致相機(jī)坐標(biāo)系與世界坐標(biāo)系不重合，因此需要標(biāo)定安裝外參。常用外參標(biāo)定方法是，根據(jù)相機(jī)的剛性運(yùn)動(dòng)特性，構(gòu)建歐式變換關(guān)系[R|T]，實(shí)現(xiàn)世界坐標(biāo)系Owxwywzw與相機(jī)坐標(biāo)系Ocxcyczc間的轉(zhuǎn)換。

本文主要對(duì)雙目相機(jī)的外參標(biāo)定，相機(jī)外參為：

本文所述車(chē)載雙目相機(jī)自標(biāo)定流程如圖1 所示。讀取視頻幀或?qū)崟r(shí)采集圖像作為系統(tǒng)輸入；根據(jù)車(chē)道線檢測(cè)、提取與跟蹤檢測(cè)車(chē)輛是否在直行道路行駛，篩選用于標(biāo)定的場(chǎng)景；使用相機(jī)內(nèi)參與半全局匹配算法[12]獲得場(chǎng)景的視差圖，并進(jìn)一步計(jì)算地平面3D 點(diǎn)云；對(duì)平整道路擬合參數(shù)化道路面，并結(jié)合車(chē)輛前向向量構(gòu)建世界坐標(biāo)系；基于相機(jī)剛性運(yùn)動(dòng)特性，通過(guò)相機(jī)與世界坐標(biāo)系的歐式變換關(guān)系計(jì)算相機(jī)外參?；诟┮晥D下道路標(biāo)線的寬度、延伸方向等一致性度量對(duì)每次標(biāo)定的相機(jī)外參進(jìn)行精度驗(yàn)證，對(duì)符合精度要求的相機(jī)外參持久化存儲(chǔ)。

圖1：車(chē)載雙目相機(jī)外參標(biāo)定流程圖

2.1 坐標(biāo)系建立

由于相機(jī)標(biāo)定是確定相機(jī)坐標(biāo)系與世界坐標(biāo)系（或車(chē)身坐標(biāo)系）的變換關(guān)系，因此，需先建立相機(jī)坐標(biāo)系與世界坐標(biāo)系。其中，相機(jī)坐標(biāo)系基于左手系建立，以雙目相機(jī)鏡頭連線的中心點(diǎn)為坐標(biāo)系原點(diǎn)Oc，Xc軸沿著相機(jī)橫向方向往右，Zc為相機(jī)拍攝方向，Yc為垂直相機(jī)向上。

一般情況世界坐標(biāo)系根據(jù)具體需求建立，為了便于計(jì)算，以車(chē)身為參考建立世界坐標(biāo)系。如圖2 所示，以相機(jī)坐標(biāo)系原點(diǎn)垂直地平面投影點(diǎn)為世界坐標(biāo)系原點(diǎn)Ow；車(chē)身坐標(biāo)系Yw軸指向車(chē)輛正前方向；世界坐標(biāo)系Zw軸垂直地平面向上；世界坐標(biāo)系Xw軸為垂直車(chē)身向右。其中，H 為雙目相機(jī)安裝高度。

圖2：坐標(biāo)系建立示意圖

通過(guò)上述方式建立坐標(biāo)系，可以清晰地描述兩個(gè)坐標(biāo)系的變換關(guān)系，并簡(jiǎn)化外參標(biāo)定計(jì)算過(guò)程。

2.2 相機(jī)外參計(jì)算方法

由于相機(jī)運(yùn)動(dòng)屬于剛性運(yùn)動(dòng)，一個(gè)向量在兩坐標(biāo)系下的長(zhǎng)度和夾角不改變，因此兩坐標(biāo)系的變換為歐式變換。對(duì)歐式變換，根據(jù)式（1），可以把齊次坐標(biāo)變換表示為：

因此，雙目相機(jī)的外參標(biāo)定的核心任務(wù)是計(jì)算車(chē)輛前行方向矢量和擬合參數(shù)化道路面。

3 車(chē)輛前向向量計(jì)算

為了獲得魯棒的前向向量，需要在車(chē)輛保持直行狀態(tài)下，檢測(cè)視覺(jué)場(chǎng)景中與車(chē)輛前向平行的道路標(biāo)線。車(chē)道線作為開(kāi)放道路上最常見(jiàn)的道路標(biāo)線元素，而且平行于車(chē)輛行駛方向，通過(guò)對(duì)車(chē)道線檢測(cè)、跟蹤，可判別車(chē)輛是否保持直行。當(dāng)車(chē)輛保持直行時(shí)，基于車(chē)道線檢測(cè)與雙目測(cè)量可獲得較為健壯的車(chē)輛前向向量。

3.1 車(chē)道線檢測(cè)

通常圖像中車(chē)道線區(qū)域比其它區(qū)域更加顯著，因此，根據(jù)與周邊像素的顯著程度檢測(cè)圖像中車(chē)道線區(qū)域，提出基于寬度的顯著性比較的車(chē)道線檢測(cè)方法：

其中，I(x,y)表示像素(x,y)的灰度值。δ 為顯著度比較的兩像素坐標(biāo)橫向距離，近似圖像中車(chē)道線寬度，由于車(chē)道線寬度在圖像中由近至遠(yuǎn)，呈由大變小，因此，δ 設(shè)定為根據(jù)像素縱坐標(biāo)自適應(yīng)：

其中，max 與min 分別為ROI 內(nèi)車(chē)道線寬度最大、最小值；yvp為車(chē)道線滅點(diǎn)對(duì)應(yīng)的縱坐標(biāo)；ε 為補(bǔ)償值（默認(rèn)值為5）。對(duì)圖像ROI 區(qū)域所有像素點(diǎn)，對(duì)滿(mǎn)足d1>0,d2>0,D>θ 的像素點(diǎn)判別為車(chē)道線區(qū)域像素點(diǎn)，其中，θ為像素顯著性判斷閾值，設(shè)為0.5*I(x,y)用以自適應(yīng)光照變化。

遍歷圖像ROI 中所有像素點(diǎn)，生成二值圖，如圖3 所示，其中白色區(qū)域表示車(chē)道線，黑色區(qū)域?yàn)榉擒?chē)道線區(qū)域。

圖3：基于寬度的車(chē)道線檢測(cè)效果圖

3.2 車(chē)輛直行檢測(cè)

由于雙目相機(jī)相對(duì)車(chē)輛是固定的，通過(guò)對(duì)同一車(chē)道線在圖像中成像區(qū)域跟蹤，可判斷車(chē)輛是否保持直行。但車(chē)道線在圖像中呈面狀區(qū)域（如圖3 所示），難以用于跟蹤、矢量表示，基于車(chē)道線的邊緣具有平整、連續(xù)、沿前方延伸等特性，采用霍夫變換提取圖3 車(chē)道線兩側(cè)邊線（如圖4 所示），以車(chē)道線邊線進(jìn)行跟蹤與矢量計(jì)算。同一車(chē)道線的左右邊線的情況具有相對(duì)一致性，因此，選取車(chē)道線的內(nèi)邊線表示車(chē)道線。

圖4：霍夫變換提取車(chē)道線邊線效果

圖5：道路面測(cè)量點(diǎn)成像示意圖

跟蹤模型對(duì)任意跟蹤的車(chē)道線表示為車(chē)道線與橫向夾角anglei和線與ROI 底線交點(diǎn)的橫坐標(biāo)xi組合成的二元組(anglei, xi)，而跟蹤模型由若干車(chē)道線組成，可表示為二元組集M{(anglei, xi)|i=1,…n}。

跟蹤模型包含車(chē)道線的預(yù)測(cè)與更新兩部分。對(duì)圖像序列，以二元組集M 作為車(chē)道線的預(yù)測(cè)值，根據(jù)新提取的霍夫線與二元組集M 的相似性判斷是否為車(chē)道線，并劃分歸屬車(chē)道線。第t 幀圖像提取的霍夫線HLt{(anglej, xj)|j=1,…m}符合模型M 要求滿(mǎn)足：

4 坐標(biāo)系轉(zhuǎn)換模型

圖6：測(cè)量點(diǎn)棋盤(pán)采樣示意圖

車(chē)身坐標(biāo)系的建立依賴(lài)車(chē)輛前向矢量和道路面法向量，其中，前向矢量通過(guò)3.2 節(jié)方法求解，而法向量通過(guò)構(gòu)建精確的參數(shù)化道路面獲得。為了更好檢測(cè)參數(shù)化地平面，獲得精確的法向量，須在平整道路面，通過(guò)視覺(jué)測(cè)量獲取地平面的3D 點(diǎn)云，運(yùn)用RANSAC[13]過(guò)濾外點(diǎn)，采用最小二乘法擬合最優(yōu)地平面，最后通過(guò)地平面計(jì)算法向量。

4.1 標(biāo)定道路檢測(cè)

在開(kāi)放道路上標(biāo)定，常常因?yàn)榈缆访娌黄秸?、傾斜道路面、障礙物，擁堵路況前方車(chē)輛影響等因素影響參數(shù)化地平面精度，因此，通過(guò)對(duì)圖像中道路面自檢，篩選出符合標(biāo)定要求的道路面。

4.2 參數(shù)化道路面評(píng)估與法向量計(jì)算

5 相機(jī)外參驗(yàn)證模型

為保障外參的標(biāo)定精度，建立外參驗(yàn)證模型對(duì)外參自動(dòng)評(píng)估與精度驗(yàn)證。車(chē)輛在開(kāi)放道路標(biāo)定，基于法律法規(guī)、安全等考慮，不能在車(chē)輛行駛的道路面放置標(biāo)志物，因此，傳統(tǒng)的檢驗(yàn)方法不再適用。本文參考á. Catalá-Prat 等[11]提出的基于俯視圖中車(chē)道線寬度一致性、車(chē)道線間平行度、車(chē)道線是否平行縱向評(píng)估外參準(zhǔn)確性。

由于相機(jī)坐標(biāo)系與車(chē)身坐標(biāo)系間的變換為歐式變換，公式（1）可世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣：

如圖7 所示為根據(jù)圖像進(jìn)行透視變換生成車(chē)前區(qū)域道路面的俯視圖，通過(guò)若干橫向采樣線，采集與車(chē)道線邊界的霍夫線交點(diǎn)作為計(jì)算車(chē)道線寬度和平行性質(zhì)的驗(yàn)證點(diǎn)，由于寬度、平行性質(zhì)具有共性，因此通過(guò)計(jì)算車(chē)道線寬度一致性評(píng)估外參：

圖7：驗(yàn)證點(diǎn)采樣示意圖

6 實(shí)驗(yàn)與分析

本文采用深度雙目相機(jī)裝車(chē)，采集廣州生物島片區(qū)開(kāi)放道路數(shù)據(jù)，并在硬件為Intel i5 7300 CPU，16GB DDR4 RAM，操作系統(tǒng)為64 位Windows 10 的PC 機(jī)上，基于Python 平臺(tái)進(jìn)行算法驗(yàn)證。

如圖8 所示，左圖為車(chē)輛直行狀態(tài)下連續(xù)3 幀車(chē)道線跟蹤效果，把車(chē)道線根據(jù)位置投影在黑色背景區(qū)域，各圖像的車(chē)道線內(nèi)邊界霍夫線基本重疊，可以判斷車(chē)輛為直行狀態(tài)。右圖車(chē)輛在當(dāng)前車(chē)道行駛時(shí)發(fā)生了輕微的偏航，相機(jī)與車(chē)道線的相對(duì)位置發(fā)生了改變，因此車(chē)道線根據(jù)位置投影在黑色背景區(qū)域時(shí)可以區(qū)分各線段，如此便判斷車(chē)輛不是直行狀態(tài)。

圖8：基于車(chē)道線跟蹤效果圖

如圖9 所示對(duì)道路面平整檢測(cè)，使用網(wǎng)格采集測(cè)試點(diǎn)并根據(jù)縱向相鄰兩點(diǎn)間距離為判斷依據(jù)，其中“大圓點(diǎn)”為無(wú)效點(diǎn)，該類(lèi)點(diǎn)一般為障礙物、前方車(chē)輛、深度圖的空洞區(qū)域上的點(diǎn)，屬于干擾點(diǎn)，而“小圓點(diǎn)”為有效點(diǎn)。其中上圖為平整道路面檢測(cè)結(jié)果，雖然存在稀疏的“大圓點(diǎn)”，但是絕大部分采集檢測(cè)點(diǎn)為可用點(diǎn)，符合道路面擬合要求。下圖前方有車(chē)輛，且車(chē)輛部分與采樣區(qū)域重疊，其中車(chē)輛上的采樣點(diǎn)不符合參數(shù)化道路面擬合要求。由此避免障礙物、前方車(chē)輛等不屬于道路面的干擾點(diǎn)用于擬合參數(shù)化道路面，影響標(biāo)定效果。

圖9：道路面檢測(cè)效果示意圖

如圖10 所示（a）和（b）分別為不同路段采集的視頻進(jìn)行外參標(biāo)定效果圖。（a）和（b）俯視圖中車(chē)道線的評(píng)估指標(biāo)σw和σa均符合驗(yàn)證模型要求，自動(dòng)判別并持久化。然而，即使均判別為符合標(biāo)定精度要求，但是（b）的標(biāo)定精度優(yōu)于（a）的精度。

圖10：外參標(biāo)定重投影生成俯視圖效果圖

7 結(jié)論

本文提出一種開(kāi)放道路的車(chē)載雙目相機(jī)安裝外參自動(dòng)標(biāo)定方法。該方法通過(guò)建立車(chē)輛直行狀態(tài)識(shí)別模型、并通過(guò)檢測(cè)點(diǎn)采樣評(píng)估道路面平整程度，篩選車(chē)輛直行、平整的道路面擬合參數(shù)化平面，基于左手系建立車(chē)身坐標(biāo)系，并通過(guò)相機(jī)坐標(biāo)系與世界坐標(biāo)系的歐式變換計(jì)算相機(jī)標(biāo)定外參，并設(shè)計(jì)外參驗(yàn)證模型，在線評(píng)估外參精度，實(shí)現(xiàn)標(biāo)定自動(dòng)化。解決了傳統(tǒng)外參標(biāo)定方法依賴(lài)專(zhuān)門(mén)標(biāo)定場(chǎng)地和特定標(biāo)志物，只能離線人工操作并依賴(lài)操作人經(jīng)驗(yàn)等問(wèn)題，為自動(dòng)駕駛、ADAS 等量產(chǎn)與維護(hù)在外參標(biāo)定上面臨的新問(wèn)題提供了解決方案。

另外，本文通過(guò)檢測(cè)點(diǎn)采樣、視覺(jué)測(cè)量、兩點(diǎn)距離統(tǒng)計(jì)等操作檢測(cè)平整道路面，效果受視覺(jué)測(cè)量、視覺(jué)場(chǎng)景等因素影響，在過(guò)曝、車(chē)輛高速行駛時(shí)往往不具備應(yīng)用條件。另外，即使部分參數(shù)通過(guò)模型驗(yàn)證，測(cè)量效果不一，誤差5-20cm 間。在后續(xù)工作中，可結(jié)合深度學(xué)習(xí)對(duì)場(chǎng)景中元素檢測(cè)，提高抗干擾能力；融合imu 等傳感器檢測(cè)車(chē)輛狀態(tài)對(duì)測(cè)量、參數(shù)補(bǔ)償。