李聰亮，宋煥生，穆勃辰，張文濤

長安大學(xué) 信息工程學(xué)院，西安 710064

近年來，隨著交通相機(jī)價(jià)位持續(xù)降低以及計(jì)算機(jī)視覺領(lǐng)域的迅速發(fā)展，在智慧交通系統(tǒng)（intelligent traffic system，ITS）中，交通相機(jī)愈發(fā)普及，相機(jī)標(biāo)定的重要性不斷提高，其主流應(yīng)用包括車速測量、車輛長寬高測量、車型識(shí)別、車流量監(jiān)控等[1-3]。由于交通相機(jī)所獲取的是二維圖像，不能直接求取三維空間中的物理交通參數(shù)，因此需要建立二維坐標(biāo)系到三維坐標(biāo)系的映射關(guān)系，即相機(jī)標(biāo)定。這是計(jì)算機(jī)視覺在交通領(lǐng)域應(yīng)用的基礎(chǔ)和最重要的先決條件之一[4-5]。

目前我國ITS中的相機(jī)主要分為三種：不可變焦、不可旋轉(zhuǎn)相機(jī)，不可變焦、可旋轉(zhuǎn)相機(jī)，以及全方位可變焦（pan-tilt-zoom，PTZ）的云臺(tái)相機(jī)。隨著云臺(tái)相機(jī)的大范圍推廣，交通相機(jī)也逐步向云臺(tái)相機(jī)更新。由于云臺(tái)相機(jī)的可變焦、可旋轉(zhuǎn)的特性，使得現(xiàn)有單目相機(jī)標(biāo)定方法暴露出兩個(gè)問題：傳統(tǒng)方法在部分旋轉(zhuǎn)角度下誤差劇烈增大；傳統(tǒng)方法在云臺(tái)相機(jī)旋轉(zhuǎn)過程中相機(jī)高度偏差較大。因此傳統(tǒng)標(biāo)定算法優(yōu)化問題亟待解決。

現(xiàn)有的相機(jī)標(biāo)定主要包含傳統(tǒng)的人工相機(jī)標(biāo)定[6]和相機(jī)自標(biāo)定方法[7]兩種。人工標(biāo)定主要分為張氏標(biāo)定法[8]和消失點(diǎn)標(biāo)定法[9]；相機(jī)自標(biāo)定算法，一種是在張氏標(biāo)定法基礎(chǔ)上衍生出來的PNP標(biāo)定法，一種則是在消失點(diǎn)標(biāo)定法上衍生出來的通過圖像處理，自動(dòng)檢測所需先驗(yàn)條件的相機(jī)標(biāo)定算法?？紤]到張氏標(biāo)定法先驗(yàn)條件在交通場景下難以實(shí)現(xiàn)，因此本文采用消失點(diǎn)優(yōu)化方法。

針對(duì)交通場景的特殊性，很多學(xué)者提出了各種解決辦法：Kanhere等人[10]提出了基于一個(gè)消失點(diǎn)、兩個(gè)物理標(biāo)識(shí)和兩個(gè)消失點(diǎn)、一個(gè)物理標(biāo)識(shí)的辦法，其中消失點(diǎn)包括沿道路方向、垂直于道路方向和垂直于路平面三個(gè)，物理標(biāo)識(shí)包括道路寬度、道路標(biāo)線長度、相機(jī)高度等。該類方法靈活多變，具有較高的適應(yīng)性，但是在一些特殊角度，如夾角比較小的情況下，誤差會(huì)急劇提高。Sochor等人[11]提出了一種基于車輛線框模型的標(biāo)定方法，將Kanhere等人[10]提出的物理標(biāo)識(shí)擴(kuò)展到車輛本身的長寬高。該方法提高了原有算法的魯棒性，但是考慮到車輛三維線框獲取難度較高且精度較差，同時(shí)原有算法的特殊角度誤差大的問題并未解決，因此具有較大局限性。Zheng等人[12]提出了一種基于最小二乘約束的道路相機(jī)標(biāo)定模型，該方法基于兩個(gè)消失點(diǎn)和一條消失線，通過最小二乘約束求取標(biāo)定參數(shù)，得到較好的標(biāo)定結(jié)果。然而在實(shí)際交通場景中，第二個(gè)方向的消失點(diǎn)難以獲取，可適應(yīng)場景較少，具有較大局限性。Bhardwaj等人[13]提出了基于深度學(xué)習(xí)的方法，采用DNN網(wǎng)絡(luò)學(xué)習(xí)車輛本身具有的關(guān)鍵點(diǎn)特征，并采用濾波和聚合算法求取相機(jī)的外參矩陣。該方法通過深度學(xué)習(xí)求解相機(jī)參數(shù)，精度較高，但需已知相機(jī)內(nèi)參，不適用于云臺(tái)相機(jī)。朱憶[14]提出了一種基于交通信息流分析的運(yùn)動(dòng)消失點(diǎn)獲取方式，該方法使用交通流求取消失點(diǎn)，應(yīng)用場景廣泛，但并未解決標(biāo)定算法中的誤差問題，并且考慮到交通流獲取消失點(diǎn)過程引起的誤差，導(dǎo)致其最終標(biāo)定精度較差。

綜上所述，本文研究了國內(nèi)外現(xiàn)有的交通場景標(biāo)定方法后，發(fā)現(xiàn)主流標(biāo)定方法均在Kanhere等人[10]方法上提高魯棒性或提高先驗(yàn)條件的測量精度，對(duì)其方法本身存在的小角度誤差急劇增大和相機(jī)高度不穩(wěn)定問題并未解決。

在實(shí)驗(yàn)過程中發(fā)現(xiàn)，Kanhere等人[10]算法中相機(jī)高度和焦距呈現(xiàn)類反比例關(guān)系，這對(duì)于高度固定的交通相機(jī)顯然不適合。因此本文提出了一種金字塔迭代優(yōu)化方案，對(duì)基礎(chǔ)標(biāo)定結(jié)果在沿道路方向和垂直于道路方向上進(jìn)行迭代優(yōu)化，以求解精確、穩(wěn)定的相機(jī)焦距和高度，提高標(biāo)定精度和穩(wěn)定性。

1 相關(guān)工作

1.1 基礎(chǔ)標(biāo)定模型

與當(dāng)前主流交通場景下相機(jī)標(biāo)定模型相同，本文將相機(jī)簡化為針孔模型[15]，假定路面為水平面。參考Kanhere等人[10]的模型，圖1（a）為道路場景下相機(jī)標(biāo)定模型的側(cè)視圖，圖1（b）為道路場景下相機(jī)標(biāo)定模型的側(cè)視圖。為方便分析，設(shè)相機(jī)焦距為f，高度為h，道路寬度為w，偏航角為θ，俯仰角為φ，考慮到交通場景下相機(jī)不進(jìn)行側(cè)傾[13]，因此不予考慮。

本文標(biāo)定模型中，共定義了3個(gè)坐標(biāo)系：圖像坐標(biāo)系（uv坐標(biāo)）、相機(jī)坐標(biāo)系（XcYcZc坐標(biāo)）和世界坐標(biāo)系（XwYwZw坐標(biāo)）[16]。圖像坐標(biāo)系原點(diǎn)在圖像左上點(diǎn)，u軸與行平行，v軸與列平行；相機(jī)坐標(biāo)系Xc和Yc與圖像坐標(biāo)系平行，Zc為相機(jī)光軸。世界坐標(biāo)系以相機(jī)坐標(biāo)系原點(diǎn)到路平面的垂直投影點(diǎn)為原點(diǎn)，垂直于道路方向?yàn)閄w，沿道路方向?yàn)閅w，原點(diǎn)正上方指向相機(jī)方向?yàn)閆w。假設(shè)圖像像素坐標(biāo)系上某點(diǎn)坐標(biāo)為p=[uv1]，該點(diǎn)在世界坐標(biāo)系下的對(duì)應(yīng)點(diǎn)為x=[x y z1]，比例因子[17]為α。圖像到世界坐標(biāo)系的轉(zhuǎn)換關(guān)系為：為外參矩陣，R為旋轉(zhuǎn)矩

其中，K為內(nèi)參矩陣陣，T為位移矩陣。

由標(biāo)定模型可知：

式中，u0、v0為圖像中心，θ為偏航角，φ為俯仰角。

1.2 基于VWL的標(biāo)定模型

考慮到交通場景中相機(jī)高度無法準(zhǔn)確獲得，求解第二個(gè)方向上的消失點(diǎn)誤差較大[18]，本文采用基于VWL的標(biāo)定模型[19]。下面進(jìn)行詳細(xì)推導(dǎo)：

在VWL的模型中，假設(shè)沿道路方向上的消失點(diǎn)(u0,v0)、道路寬度w（單車道3.75 m）、道路虛線長度ls和虛線間隔ll（虛線長度為6 m，間隔為9 m），存在世界坐標(biāo)系中道路平面上某點(diǎn)(x,y,0)，與之對(duì)應(yīng)的圖像坐標(biāo)系中的點(diǎn)為(u,v)，則：

由先驗(yàn)條件得，消失點(diǎn)在世界坐標(biāo)系中的位置為(-tanθ,1,0)，代入式（3）、（4），得：

將上式轉(zhuǎn)換，得：

此時(shí)，建立關(guān)于u0、v0、φ、θ和f的關(guān)系式，在式（7）、（8）中共存在3個(gè)未知量，因此引入道路寬度w對(duì)應(yīng)的真實(shí)距離為ww，圖像坐標(biāo)系中沿道路方向兩點(diǎn)(u1,v1)和(u2,v2)之間的虛線距離，對(duì)應(yīng)的真實(shí)長度為lw，利用虛線長度和道路寬度的坐標(biāo)系映射關(guān)系，求得：

考慮到焦距f必為正值，故得到：

將f代入式（7）、（8），求解得到相機(jī)旋轉(zhuǎn)角φ、θ。利用相機(jī)模型，反算高度h得：

將f、φ、θ、h代入式（2），得到圖像坐標(biāo)系到世界坐標(biāo)系的映射關(guān)系。

2 基于VWL的優(yōu)化模型

傳統(tǒng)的VWL模型，在相機(jī)俯仰角和偏航角發(fā)生變動(dòng)時(shí)，存在以下問題：（1）因采用單一道路寬度和標(biāo)線長度，容易產(chǎn)生局部最優(yōu)問題；（2）相機(jī)高度h與相機(jī)焦距f成一種類反比例關(guān)系變換，但在旋轉(zhuǎn)過程中焦距不斷改變，而高度固定不變，因此不適用于云臺(tái)相機(jī)。因此在本文中，對(duì)原有算法進(jìn)行以下改進(jìn)：將高度h和焦距f均作為可變參數(shù)進(jìn)行優(yōu)化，去除原有模型對(duì)焦距和高度的約束關(guān)系，并將固定不變的道路標(biāo)線長度和車道寬度作為對(duì)比對(duì)象，采用迭代求取最小誤差的方法求解相機(jī)焦距和高度，提升了標(biāo)定結(jié)果的準(zhǔn)確性。

世界坐標(biāo)系以國標(biāo)作為參照，道路虛線長度為6 m、虛線間隔距離為9 m、單車道寬度為3.75 m。將其作為評(píng)判標(biāo)準(zhǔn)，采用枚舉試探的方式，求解準(zhǔn)確的相機(jī)標(biāo)定結(jié)果。詳細(xì)過程如下：

步驟1假定圖像坐標(biāo)系下，靠近相機(jī)一側(cè)車道線上存在兩點(diǎn)(un1,vn1)、(un2,vn2)，遠(yuǎn)離相機(jī)一側(cè)的車道線上存在兩點(diǎn)(uf1,vf1)、(uf2,vf2)；采用n條虛線（n為正整數(shù)）對(duì)結(jié)果進(jìn)行優(yōu)化，每條虛線端點(diǎn)的坐標(biāo)為{(p2i-1x,p2i-1y),(p2i x,p2i y)|i=1,2,…,n}。根據(jù)映射關(guān)系，得到世界坐標(biāo)系下的對(duì)應(yīng)點(diǎn)坐標(biāo)為(xn1,yn1)、(xn2,yn2)、(xf1,yf1)、(xf2,yf2),

步驟2采用道路標(biāo)線長度作為沿道路方向的參照物，道路標(biāo)線長為ls，道路標(biāo)線間隔為ll，采用n條虛線對(duì)結(jié)果進(jìn)行優(yōu)化。首先求取車道標(biāo)線預(yù)測值{(pre_mark_xi,pre_mark_yi)|i=0,1,…,n}，公式如下所示：

則沿道路方向上的誤差為：

步驟3采用道路寬度作為垂直于道路方向上的參照物，在世界坐標(biāo)系中求取靠近相機(jī)一側(cè)和遠(yuǎn)離相機(jī)一側(cè)車道線方程分別為anearx+bneary+cnear=0、afarx+bfary+cfar=0。利用式（12）求車道標(biāo)線預(yù)測值{(pre_mark_xi,pre_mark_yi)|i=0,1,…,n}，并對(duì)每個(gè)預(yù)測值的橫坐標(biāo)與真實(shí)值橫坐標(biāo)對(duì)比，同時(shí)將預(yù)測值的橫坐標(biāo)分別加減單車道寬度w，求得靠近相機(jī)一側(cè)和遠(yuǎn)離相機(jī)一側(cè)的預(yù)測車道線坐標(biāo)分別為

步驟4求取預(yù)測車道線坐標(biāo)點(diǎn)到真實(shí)車道直線方程的距離l_neari、l_fari，如下式所示：

則垂直于道路線方向上的誤差為：

步驟5設(shè)基礎(chǔ)標(biāo)定結(jié)果為fst和hst，將f和h在[fst-fb,fst+fb]和[hst-hb,hst+hb]區(qū)間中進(jìn)行枚舉試探，并設(shè)定兩個(gè)方向的誤差閾值為threx、threy，進(jìn)行初步閾值過濾，得到f和h的集合M={(f0,h0),(f1,h1),(f2,h2),…}。

步驟6設(shè)垂直于道路方向上誤差εx的權(quán)重為weight，對(duì)集合M上的每個(gè)元素求取綜合誤差，誤差求解如下所示：

步驟7對(duì)集合M中每個(gè)元素求取綜合誤差的最小值εmin，其對(duì)應(yīng)的焦距和高度即為最佳焦距fopt和最佳高度hopt。

本文算法對(duì)相機(jī)焦距和高度進(jìn)行二次循環(huán)迭代，采用金字塔的迭代方式，二次循環(huán)為算法中的最高循環(huán)次數(shù)，因此本文算法的時(shí)間復(fù)雜度為O(n2)。本文算法在執(zhí)行過程中，采用數(shù)組對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)，并且使用了歸并排序?qū)?shù)據(jù)進(jìn)行排序，因此本文算法的空間復(fù)雜度為O(n)。

3 實(shí)驗(yàn)與結(jié)果分析

對(duì)本文算法進(jìn)行分組測試，其一為同一場景下，改變相機(jī)焦距和旋轉(zhuǎn)角，測試相機(jī)高度的穩(wěn)定性和誤差變化；其二為多個(gè)不同場景下，測試標(biāo)定結(jié)果的橫向誤差εx、縱向誤差εy和綜合誤差ε；其三為算法時(shí)間消耗和內(nèi)存消耗的對(duì)比。

根據(jù)國家標(biāo)準(zhǔn)，單車道寬度為3.75 m，道路虛線長度為6 m，道路虛線間隔為9 m，即：w=3.75 m,ls=6 m,ll=9 m,并取weight=0.5。

選取同一場景中的12個(gè)相同相機(jī)高度、不同角度的情況，采用傳統(tǒng)標(biāo)定方法和本文方法進(jìn)行標(biāo)定，得到相機(jī)高度、沿道路方法誤差、垂直于道路方向誤差、綜合誤差對(duì)比。圖2為不同角度下標(biāo)定結(jié)果對(duì)比，其中圖2（a）為其中3個(gè)角度下的原圖，圖2（b）為傳統(tǒng)標(biāo)定結(jié)果，圖2（c）為本文迭代優(yōu)化結(jié)果，圖中紅色線條代表標(biāo)定后的道路寬度，綠色線條代表標(biāo)定后的道路標(biāo)線長度。圖3為12個(gè)角度下的誤差對(duì)比，其中圖3（a）為沿道路方向45 m的累計(jì)誤差，圖3（b）為垂直于道路線方向37.5 m的累計(jì)誤差。垂直于道路方向和沿道路方向的誤差對(duì)比。圖4為同場景下綜合誤差和高度波動(dòng)對(duì)比，其中圖4（a）為綜合誤差對(duì)比，圖4（b）為相機(jī)高度波動(dòng)對(duì)比。

圖2 同場景標(biāo)定結(jié)果對(duì)比Fig.2 Comparison of calibration results in same scene

圖3 同場景誤差對(duì)比Fig.3 Same scene error comparison

圖4 同場景綜合誤差和高度波動(dòng)對(duì)比Fig.4 Comprehensive error and height fluctuation comparison

表1為12個(gè)同場景不同角度下，傳統(tǒng)標(biāo)定方法與本文方法相機(jī)標(biāo)定參數(shù)及綜合誤差對(duì)比結(jié)果，表2為同場景不同角度下的誤差的對(duì)比結(jié)果。表3為不同角度上的高度對(duì)比結(jié)果。

表1 同場景不同角度下標(biāo)定優(yōu)化結(jié)果及誤差Table 1 Calibration optimization results and errors under different angles in same scene

表2 同場景不同角度下方法對(duì)比Table 2 Comparison of methods in same scene from different angles 單位：m

表3 同場景不同角度下高度對(duì)比Table 3 High contrast in different angles of same scene

選取12個(gè)完全不同的場景，采用傳統(tǒng)算法和本文算法進(jìn)行相機(jī)標(biāo)定，得到沿道路方向誤差、垂直于道路方向誤差和綜合誤差對(duì)比。圖5為其中3個(gè)不同場景下的標(biāo)定結(jié)果對(duì)比，其中圖5（a）為其中3個(gè)不同場景原圖，圖5（b）為傳統(tǒng)標(biāo)定方法誤差，圖5（c）為本文方法誤差，紅色線條代表標(biāo)定后的道路寬度，綠色線條代表標(biāo)定后的道路標(biāo)線長度。圖6為12個(gè)不同場景下的誤差對(duì)比，其中圖6（a）～（c）分別為12個(gè)不同場景下沿道路方向、垂直于道路方向及綜合誤差對(duì)比。

圖5 不同場景標(biāo)定結(jié)果對(duì)比Fig.5 Comparison of calibration results in different scene

圖6 不同場景誤差對(duì)比Fig.6 Different scene error comparison

表4為12個(gè)不同場景下的相機(jī)參數(shù)及綜合誤差對(duì)比。表5為兩種方法對(duì)不同場景進(jìn)行標(biāo)定時(shí)，沿道路方向、垂直于道路方向及綜合誤差的誤差對(duì)比。

表4 不同場景下標(biāo)定優(yōu)化結(jié)果及誤差Table 4 Calibration optimization results and errors in different scenarios

表5 不同場景下方法對(duì)比Table 5 Comparison of methods in different scenarios單位：m

隨機(jī)選取12個(gè)場景，在Inter?CoreTMi7-6800K CPU@3.40 GHz和NVIDIAGeForce GTX 1080Ti上，使 用Kanhere等人[10]方法與本文方法測試，計(jì)算兩種方法的時(shí)間消耗和內(nèi)存消耗。表6為兩種方法時(shí)間消耗對(duì)比，表7為內(nèi)存消耗對(duì)比。本文方法的時(shí)間消耗和內(nèi)存消耗明顯高于Kanhere等人[10]方法，但時(shí)間消耗低于1 s，內(nèi)存消耗低于40 MB，考慮到相機(jī)標(biāo)定算法在實(shí)際應(yīng)用中，僅當(dāng)相機(jī)啟動(dòng)、相機(jī)角度或相機(jī)焦距改變時(shí)調(diào)用，因此多余時(shí)間消耗和內(nèi)存消耗在實(shí)際應(yīng)用幾乎沒有影響。

表6 時(shí)間消耗對(duì)比Table 6 Time consumption comparison

表7 內(nèi)存消耗對(duì)比Table 7 Memory consumption comparison

與傳統(tǒng)單消失點(diǎn)算法對(duì)比，本文算法具有較高的精度和穩(wěn)定性，其中，相機(jī)高度誤差在2%左右，沿道路方向誤差低于2%，垂直于道路方向誤差低于0.5%，綜合誤差低于2%。同時(shí)本文算法雖增大了時(shí)間和內(nèi)存消耗，但是工程應(yīng)用中標(biāo)定算法使用頻率較低，因此在實(shí)際應(yīng)用中影響較小。

4 結(jié)束語

通過實(shí)驗(yàn)驗(yàn)證，在常見交通場景下，本文算法取得了較好的標(biāo)定結(jié)果。本文貢獻(xiàn)主要有：（1）通過相機(jī)多角度旋轉(zhuǎn)進(jìn)行標(biāo)定，一方面通過投票求取相機(jī)高度的精確值，另一方面通過相機(jī)高度的波動(dòng)情況來判斷標(biāo)定算法的精度，進(jìn)一步提高標(biāo)定結(jié)果的穩(wěn)定性，為云臺(tái)相機(jī)下標(biāo)定算法的精確度判斷提供了一種新的方式；（2）針對(duì)先驗(yàn)條件不夠精確造成的誤差，在三維世界坐標(biāo)系下，通過沿道路方向和垂直于道路方向上的實(shí)際距離進(jìn)行約束降低誤差，提高了標(biāo)定精度。

本文算法的最小標(biāo)定條件為一個(gè)消失點(diǎn)、道路虛線長度以及道路寬度，其中交通場景下，實(shí)際道路虛線長度和道路寬度都為國標(biāo)，消失點(diǎn)提取可通過車輛軌跡聚類提取，道路虛線和道路寬度則依賴于道路本身，且算法提取精度較人工標(biāo)定精度較低。未來的工作主要從提高道路虛線和道路寬度的檢測精度，在交通場景下尋找更多標(biāo)識(shí)物著手，擴(kuò)大算法的應(yīng)用場景，同時(shí)減少先驗(yàn)條件不準(zhǔn)確造成的誤差，提高標(biāo)定精度。