亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        相機(jī)標(biāo)定的金字塔迭代優(yōu)化算法

        2022-10-17 11:14:54李聰亮宋煥生穆勃辰張文濤
        關(guān)鍵詞:方向方法

        李聰亮,宋煥生,穆勃辰,張文濤

        長安大學(xué) 信息工程學(xué)院,西安 710064

        近年來,隨著交通相機(jī)價(jià)位持續(xù)降低以及計(jì)算機(jī)視覺領(lǐng)域的迅速發(fā)展,在智慧交通系統(tǒng)(intelligent traffic system,ITS)中,交通相機(jī)愈發(fā)普及,相機(jī)標(biāo)定的重要性不斷提高,其主流應(yīng)用包括車速測量、車輛長寬高測量、車型識(shí)別、車流量監(jiān)控等[1-3]。由于交通相機(jī)所獲取的是二維圖像,不能直接求取三維空間中的物理交通參數(shù),因此需要建立二維坐標(biāo)系到三維坐標(biāo)系的映射關(guān)系,即相機(jī)標(biāo)定。這是計(jì)算機(jī)視覺在交通領(lǐng)域應(yīng)用的基礎(chǔ)和最重要的先決條件之一[4-5]。

        目前我國ITS中的相機(jī)主要分為三種:不可變焦、不可旋轉(zhuǎn)相機(jī),不可變焦、可旋轉(zhuǎn)相機(jī),以及全方位可變焦(pan-tilt-zoom,PTZ)的云臺(tái)相機(jī)。隨著云臺(tái)相機(jī)的大范圍推廣,交通相機(jī)也逐步向云臺(tái)相機(jī)更新。由于云臺(tái)相機(jī)的可變焦、可旋轉(zhuǎn)的特性,使得現(xiàn)有單目相機(jī)標(biāo)定方法暴露出兩個(gè)問題:傳統(tǒng)方法在部分旋轉(zhuǎn)角度下誤差劇烈增大;傳統(tǒng)方法在云臺(tái)相機(jī)旋轉(zhuǎn)過程中相機(jī)高度偏差較大。因此傳統(tǒng)標(biāo)定算法優(yōu)化問題亟待解決。

        現(xiàn)有的相機(jī)標(biāo)定主要包含傳統(tǒng)的人工相機(jī)標(biāo)定[6]和相機(jī)自標(biāo)定方法[7]兩種。人工標(biāo)定主要分為張氏標(biāo)定法[8]和消失點(diǎn)標(biāo)定法[9];相機(jī)自標(biāo)定算法,一種是在張氏標(biāo)定法基礎(chǔ)上衍生出來的PNP標(biāo)定法,一種則是在消失點(diǎn)標(biāo)定法上衍生出來的通過圖像處理,自動(dòng)檢測所需先驗(yàn)條件的相機(jī)標(biāo)定算法??紤]到張氏標(biāo)定法先驗(yàn)條件在交通場景下難以實(shí)現(xiàn),因此本文采用消失點(diǎn)優(yōu)化方法。

        針對(duì)交通場景的特殊性,很多學(xué)者提出了各種解決辦法:Kanhere等人[10]提出了基于一個(gè)消失點(diǎn)、兩個(gè)物理標(biāo)識(shí)和兩個(gè)消失點(diǎn)、一個(gè)物理標(biāo)識(shí)的辦法,其中消失點(diǎn)包括沿道路方向、垂直于道路方向和垂直于路平面三個(gè),物理標(biāo)識(shí)包括道路寬度、道路標(biāo)線長度、相機(jī)高度等。該類方法靈活多變,具有較高的適應(yīng)性,但是在一些特殊角度,如夾角比較小的情況下,誤差會(huì)急劇提高。Sochor等人[11]提出了一種基于車輛線框模型的標(biāo)定方法,將Kanhere等人[10]提出的物理標(biāo)識(shí)擴(kuò)展到車輛本身的長寬高。該方法提高了原有算法的魯棒性,但是考慮到車輛三維線框獲取難度較高且精度較差,同時(shí)原有算法的特殊角度誤差大的問題并未解決,因此具有較大局限性。Zheng等人[12]提出了一種基于最小二乘約束的道路相機(jī)標(biāo)定模型,該方法基于兩個(gè)消失點(diǎn)和一條消失線,通過最小二乘約束求取標(biāo)定參數(shù),得到較好的標(biāo)定結(jié)果。然而在實(shí)際交通場景中,第二個(gè)方向的消失點(diǎn)難以獲取,可適應(yīng)場景較少,具有較大局限性。Bhardwaj等人[13]提出了基于深度學(xué)習(xí)的方法,采用DNN網(wǎng)絡(luò)學(xué)習(xí)車輛本身具有的關(guān)鍵點(diǎn)特征,并采用濾波和聚合算法求取相機(jī)的外參矩陣。該方法通過深度學(xué)習(xí)求解相機(jī)參數(shù),精度較高,但需已知相機(jī)內(nèi)參,不適用于云臺(tái)相機(jī)。朱憶[14]提出了一種基于交通信息流分析的運(yùn)動(dòng)消失點(diǎn)獲取方式,該方法使用交通流求取消失點(diǎn),應(yīng)用場景廣泛,但并未解決標(biāo)定算法中的誤差問題,并且考慮到交通流獲取消失點(diǎn)過程引起的誤差,導(dǎo)致其最終標(biāo)定精度較差。

        綜上所述,本文研究了國內(nèi)外現(xiàn)有的交通場景標(biāo)定方法后,發(fā)現(xiàn)主流標(biāo)定方法均在Kanhere等人[10]方法上提高魯棒性或提高先驗(yàn)條件的測量精度,對(duì)其方法本身存在的小角度誤差急劇增大和相機(jī)高度不穩(wěn)定問題并未解決。

        在實(shí)驗(yàn)過程中發(fā)現(xiàn),Kanhere等人[10]算法中相機(jī)高度和焦距呈現(xiàn)類反比例關(guān)系,這對(duì)于高度固定的交通相機(jī)顯然不適合。因此本文提出了一種金字塔迭代優(yōu)化方案,對(duì)基礎(chǔ)標(biāo)定結(jié)果在沿道路方向和垂直于道路方向上進(jìn)行迭代優(yōu)化,以求解精確、穩(wěn)定的相機(jī)焦距和高度,提高標(biāo)定精度和穩(wěn)定性。

        1 相關(guān)工作

        1.1 基礎(chǔ)標(biāo)定模型

        與當(dāng)前主流交通場景下相機(jī)標(biāo)定模型相同,本文將相機(jī)簡化為針孔模型[15],假定路面為水平面。參考Kanhere等人[10]的模型,圖1(a)為道路場景下相機(jī)標(biāo)定模型的側(cè)視圖,圖1(b)為道路場景下相機(jī)標(biāo)定模型的側(cè)視圖。為方便分析,設(shè)相機(jī)焦距為f,高度為h,道路寬度為w,偏航角為θ,俯仰角為φ,考慮到交通場景下相機(jī)不進(jìn)行側(cè)傾[13],因此不予考慮。

        本文標(biāo)定模型中,共定義了3個(gè)坐標(biāo)系:圖像坐標(biāo)系(uv坐標(biāo))、相機(jī)坐標(biāo)系(XcYcZc坐標(biāo))和世界坐標(biāo)系(XwYwZw坐標(biāo))[16]。圖像坐標(biāo)系原點(diǎn)在圖像左上點(diǎn),u軸與行平行,v軸與列平行;相機(jī)坐標(biāo)系Xc和Yc與圖像坐標(biāo)系平行,Zc為相機(jī)光軸。世界坐標(biāo)系以相機(jī)坐標(biāo)系原點(diǎn)到路平面的垂直投影點(diǎn)為原點(diǎn),垂直于道路方向?yàn)閄w,沿道路方向?yàn)閅w,原點(diǎn)正上方指向相機(jī)方向?yàn)閆w。假設(shè)圖像像素坐標(biāo)系上某點(diǎn)坐標(biāo)為p=[uv1],該點(diǎn)在世界坐標(biāo)系下的對(duì)應(yīng)點(diǎn)為x=[x y z1],比例因子[17]為α。圖像到世界坐標(biāo)系的轉(zhuǎn)換關(guān)系為:為外參矩陣,R為旋轉(zhuǎn)矩

        其中,K為內(nèi)參矩陣陣,T為位移矩陣。

        由標(biāo)定模型可知:

        式中,u0、v0為圖像中心,θ為偏航角,φ為俯仰角。

        1.2 基于VWL的標(biāo)定模型

        考慮到交通場景中相機(jī)高度無法準(zhǔn)確獲得,求解第二個(gè)方向上的消失點(diǎn)誤差較大[18],本文采用基于VWL的標(biāo)定模型[19]。下面進(jìn)行詳細(xì)推導(dǎo):

        在VWL的模型中,假設(shè)沿道路方向上的消失點(diǎn)(u0,v0)、道路寬度w(單車道3.75 m)、道路虛線長度ls和虛線間隔ll(虛線長度為6 m,間隔為9 m),存在世界坐標(biāo)系中道路平面上某點(diǎn)(x,y,0),與之對(duì)應(yīng)的圖像坐標(biāo)系中的點(diǎn)為(u,v),則:

        由先驗(yàn)條件得,消失點(diǎn)在世界坐標(biāo)系中的位置為(-tanθ,1,0),代入式(3)、(4),得:

        將上式轉(zhuǎn)換,得:

        此時(shí),建立關(guān)于u0、v0、φ、θ和f的關(guān)系式,在式(7)、(8)中共存在3個(gè)未知量,因此引入道路寬度w對(duì)應(yīng)的真實(shí)距離為ww,圖像坐標(biāo)系中沿道路方向兩點(diǎn)(u1,v1)和(u2,v2)之間的虛線距離,對(duì)應(yīng)的真實(shí)長度為lw,利用虛線長度和道路寬度的坐標(biāo)系映射關(guān)系,求得:

        考慮到焦距f必為正值,故得到:

        將f代入式(7)、(8),求解得到相機(jī)旋轉(zhuǎn)角φ、θ。利用相機(jī)模型,反算高度h得:

        將f、φ、θ、h代入式(2),得到圖像坐標(biāo)系到世界坐標(biāo)系的映射關(guān)系。

        2 基于VWL的優(yōu)化模型

        傳統(tǒng)的VWL模型,在相機(jī)俯仰角和偏航角發(fā)生變動(dòng)時(shí),存在以下問題:(1)因采用單一道路寬度和標(biāo)線長度,容易產(chǎn)生局部最優(yōu)問題;(2)相機(jī)高度h與相機(jī)焦距f成一種類反比例關(guān)系變換,但在旋轉(zhuǎn)過程中焦距不斷改變,而高度固定不變,因此不適用于云臺(tái)相機(jī)。因此在本文中,對(duì)原有算法進(jìn)行以下改進(jìn):將高度h和焦距f均作為可變參數(shù)進(jìn)行優(yōu)化,去除原有模型對(duì)焦距和高度的約束關(guān)系,并將固定不變的道路標(biāo)線長度和車道寬度作為對(duì)比對(duì)象,采用迭代求取最小誤差的方法求解相機(jī)焦距和高度,提升了標(biāo)定結(jié)果的準(zhǔn)確性。

        世界坐標(biāo)系以國標(biāo)作為參照,道路虛線長度為6 m、虛線間隔距離為9 m、單車道寬度為3.75 m。將其作為評(píng)判標(biāo)準(zhǔn),采用枚舉試探的方式,求解準(zhǔn)確的相機(jī)標(biāo)定結(jié)果。詳細(xì)過程如下:

        步驟1假定圖像坐標(biāo)系下,靠近相機(jī)一側(cè)車道線上存在兩點(diǎn)(un1,vn1)、(un2,vn2),遠(yuǎn)離相機(jī)一側(cè)的車道線上存在兩點(diǎn)(uf1,vf1)、(uf2,vf2);采用n條虛線(n為正整數(shù))對(duì)結(jié)果進(jìn)行優(yōu)化,每條虛線端點(diǎn)的坐標(biāo)為{(p2i-1x,p2i-1y),(p2i x,p2i y)|i=1,2,…,n}。根據(jù)映射關(guān)系,得到世界坐標(biāo)系下的對(duì)應(yīng)點(diǎn)坐標(biāo)為(xn1,yn1)、(xn2,yn2)、(xf1,yf1)、(xf2,yf2),

        步驟2采用道路標(biāo)線長度作為沿道路方向的參照物,道路標(biāo)線長為ls,道路標(biāo)線間隔為ll,采用n條虛線對(duì)結(jié)果進(jìn)行優(yōu)化。首先求取車道標(biāo)線預(yù)測值{(pre_mark_xi,pre_mark_yi)|i=0,1,…,n},公式如下所示:

        則沿道路方向上的誤差為:

        步驟3采用道路寬度作為垂直于道路方向上的參照物,在世界坐標(biāo)系中求取靠近相機(jī)一側(cè)和遠(yuǎn)離相機(jī)一側(cè)車道線方程分別為anearx+bneary+cnear=0、afarx+bfary+cfar=0。利用式(12)求車道標(biāo)線預(yù)測值{(pre_mark_xi,pre_mark_yi)|i=0,1,…,n},并對(duì)每個(gè)預(yù)測值的橫坐標(biāo)與真實(shí)值橫坐標(biāo)對(duì)比,同時(shí)將預(yù)測值的橫坐標(biāo)分別加減單車道寬度w,求得靠近相機(jī)一側(cè)和遠(yuǎn)離相機(jī)一側(cè)的預(yù)測車道線坐標(biāo)分別為

        步驟4求取預(yù)測車道線坐標(biāo)點(diǎn)到真實(shí)車道直線方程的距離l_neari、l_fari,如下式所示:

        則垂直于道路線方向上的誤差為:

        步驟5設(shè)基礎(chǔ)標(biāo)定結(jié)果為fst和hst,將f和h在[fst-fb,fst+fb]和[hst-hb,hst+hb]區(qū)間中進(jìn)行枚舉試探,并設(shè)定兩個(gè)方向的誤差閾值為threx、threy,進(jìn)行初步閾值過濾,得到f和h的集合M={(f0,h0),(f1,h1),(f2,h2),…}。

        步驟6設(shè)垂直于道路方向上誤差εx的權(quán)重為weight,對(duì)集合M上的每個(gè)元素求取綜合誤差,誤差求解如下所示:

        步驟7對(duì)集合M中每個(gè)元素求取綜合誤差的最小值εmin,其對(duì)應(yīng)的焦距和高度即為最佳焦距fopt和最佳高度hopt。

        本文算法對(duì)相機(jī)焦距和高度進(jìn)行二次循環(huán)迭代,采用金字塔的迭代方式,二次循環(huán)為算法中的最高循環(huán)次數(shù),因此本文算法的時(shí)間復(fù)雜度為O(n2)。本文算法在執(zhí)行過程中,采用數(shù)組對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ),并且使用了歸并排序?qū)?shù)據(jù)進(jìn)行排序,因此本文算法的空間復(fù)雜度為O(n)。

        3 實(shí)驗(yàn)與結(jié)果分析

        對(duì)本文算法進(jìn)行分組測試,其一為同一場景下,改變相機(jī)焦距和旋轉(zhuǎn)角,測試相機(jī)高度的穩(wěn)定性和誤差變化;其二為多個(gè)不同場景下,測試標(biāo)定結(jié)果的橫向誤差εx、縱向誤差εy和綜合誤差ε;其三為算法時(shí)間消耗和內(nèi)存消耗的對(duì)比。

        根據(jù)國家標(biāo)準(zhǔn),單車道寬度為3.75 m,道路虛線長度為6 m,道路虛線間隔為9 m,即:w=3.75 m,ls=6 m,ll=9 m,并取weight=0.5。

        選取同一場景中的12個(gè)相同相機(jī)高度、不同角度的情況,采用傳統(tǒng)標(biāo)定方法和本文方法進(jìn)行標(biāo)定,得到相機(jī)高度、沿道路方法誤差、垂直于道路方向誤差、綜合誤差對(duì)比。圖2為不同角度下標(biāo)定結(jié)果對(duì)比,其中圖2(a)為其中3個(gè)角度下的原圖,圖2(b)為傳統(tǒng)標(biāo)定結(jié)果,圖2(c)為本文迭代優(yōu)化結(jié)果,圖中紅色線條代表標(biāo)定后的道路寬度,綠色線條代表標(biāo)定后的道路標(biāo)線長度。圖3為12個(gè)角度下的誤差對(duì)比,其中圖3(a)為沿道路方向45 m的累計(jì)誤差,圖3(b)為垂直于道路線方向37.5 m的累計(jì)誤差。垂直于道路方向和沿道路方向的誤差對(duì)比。圖4為同場景下綜合誤差和高度波動(dòng)對(duì)比,其中圖4(a)為綜合誤差對(duì)比,圖4(b)為相機(jī)高度波動(dòng)對(duì)比。

        圖2 同場景標(biāo)定結(jié)果對(duì)比Fig.2 Comparison of calibration results in same scene

        圖3 同場景誤差對(duì)比Fig.3 Same scene error comparison

        圖4 同場景綜合誤差和高度波動(dòng)對(duì)比Fig.4 Comprehensive error and height fluctuation comparison

        表1為12個(gè)同場景不同角度下,傳統(tǒng)標(biāo)定方法與本文方法相機(jī)標(biāo)定參數(shù)及綜合誤差對(duì)比結(jié)果,表2為同場景不同角度下的誤差的對(duì)比結(jié)果。表3為不同角度上的高度對(duì)比結(jié)果。

        表1 同場景不同角度下標(biāo)定優(yōu)化結(jié)果及誤差Table 1 Calibration optimization results and errors under different angles in same scene

        表2 同場景不同角度下方法對(duì)比Table 2 Comparison of methods in same scene from different angles 單位:m

        表3 同場景不同角度下高度對(duì)比Table 3 High contrast in different angles of same scene

        選取12個(gè)完全不同的場景,采用傳統(tǒng)算法和本文算法進(jìn)行相機(jī)標(biāo)定,得到沿道路方向誤差、垂直于道路方向誤差和綜合誤差對(duì)比。圖5為其中3個(gè)不同場景下的標(biāo)定結(jié)果對(duì)比,其中圖5(a)為其中3個(gè)不同場景原圖,圖5(b)為傳統(tǒng)標(biāo)定方法誤差,圖5(c)為本文方法誤差,紅色線條代表標(biāo)定后的道路寬度,綠色線條代表標(biāo)定后的道路標(biāo)線長度。圖6為12個(gè)不同場景下的誤差對(duì)比,其中圖6(a)~(c)分別為12個(gè)不同場景下沿道路方向、垂直于道路方向及綜合誤差對(duì)比。

        圖5 不同場景標(biāo)定結(jié)果對(duì)比Fig.5 Comparison of calibration results in different scene

        圖6 不同場景誤差對(duì)比Fig.6 Different scene error comparison

        表4為12個(gè)不同場景下的相機(jī)參數(shù)及綜合誤差對(duì)比。表5為兩種方法對(duì)不同場景進(jìn)行標(biāo)定時(shí),沿道路方向、垂直于道路方向及綜合誤差的誤差對(duì)比。

        表4 不同場景下標(biāo)定優(yōu)化結(jié)果及誤差Table 4 Calibration optimization results and errors in different scenarios

        表5 不同場景下方法對(duì)比Table 5 Comparison of methods in different scenarios單位:m

        隨機(jī)選取12個(gè)場景,在Inter?CoreTMi7-6800K CPU@3.40 GHz和NVIDIAGeForce GTX 1080Ti上,使 用Kanhere等人[10]方法與本文方法測試,計(jì)算兩種方法的時(shí)間消耗和內(nèi)存消耗。表6為兩種方法時(shí)間消耗對(duì)比,表7為內(nèi)存消耗對(duì)比。本文方法的時(shí)間消耗和內(nèi)存消耗明顯高于Kanhere等人[10]方法,但時(shí)間消耗低于1 s,內(nèi)存消耗低于40 MB,考慮到相機(jī)標(biāo)定算法在實(shí)際應(yīng)用中,僅當(dāng)相機(jī)啟動(dòng)、相機(jī)角度或相機(jī)焦距改變時(shí)調(diào)用,因此多余時(shí)間消耗和內(nèi)存消耗在實(shí)際應(yīng)用幾乎沒有影響。

        表6 時(shí)間消耗對(duì)比Table 6 Time consumption comparison

        表7 內(nèi)存消耗對(duì)比Table 7 Memory consumption comparison

        與傳統(tǒng)單消失點(diǎn)算法對(duì)比,本文算法具有較高的精度和穩(wěn)定性,其中,相機(jī)高度誤差在2%左右,沿道路方向誤差低于2%,垂直于道路方向誤差低于0.5%,綜合誤差低于2%。同時(shí)本文算法雖增大了時(shí)間和內(nèi)存消耗,但是工程應(yīng)用中標(biāo)定算法使用頻率較低,因此在實(shí)際應(yīng)用中影響較小。

        4 結(jié)束語

        通過實(shí)驗(yàn)驗(yàn)證,在常見交通場景下,本文算法取得了較好的標(biāo)定結(jié)果。本文貢獻(xiàn)主要有:(1)通過相機(jī)多角度旋轉(zhuǎn)進(jìn)行標(biāo)定,一方面通過投票求取相機(jī)高度的精確值,另一方面通過相機(jī)高度的波動(dòng)情況來判斷標(biāo)定算法的精度,進(jìn)一步提高標(biāo)定結(jié)果的穩(wěn)定性,為云臺(tái)相機(jī)下標(biāo)定算法的精確度判斷提供了一種新的方式;(2)針對(duì)先驗(yàn)條件不夠精確造成的誤差,在三維世界坐標(biāo)系下,通過沿道路方向和垂直于道路方向上的實(shí)際距離進(jìn)行約束降低誤差,提高了標(biāo)定精度。

        本文算法的最小標(biāo)定條件為一個(gè)消失點(diǎn)、道路虛線長度以及道路寬度,其中交通場景下,實(shí)際道路虛線長度和道路寬度都為國標(biāo),消失點(diǎn)提取可通過車輛軌跡聚類提取,道路虛線和道路寬度則依賴于道路本身,且算法提取精度較人工標(biāo)定精度較低。未來的工作主要從提高道路虛線和道路寬度的檢測精度,在交通場景下尋找更多標(biāo)識(shí)物著手,擴(kuò)大算法的應(yīng)用場景,同時(shí)減少先驗(yàn)條件不準(zhǔn)確造成的誤差,提高標(biāo)定精度。

        猜你喜歡
        方向方法
        2022年組稿方向
        2022年組稿方向
        2021年組稿方向
        2021年組稿方向
        2021年組稿方向
        學(xué)習(xí)方法
        可能是方法不對(duì)
        用對(duì)方法才能瘦
        Coco薇(2016年2期)2016-03-22 02:42:52
        四大方法 教你不再“坐以待病”!
        Coco薇(2015年1期)2015-08-13 02:47:34
        賺錢方法
        伊人大杳焦在线| 亚洲成生人免费av毛片| 久久日本视频在线观看| 欧美老肥婆牲交videos| 亚洲精品无码久久久久| 免费高清日本中文| 日本美女性亚洲精品黄色| 西川结衣中文字幕在线| 欧洲freexxxx性少妇播放| 国产精品亚洲А∨天堂免下载| 亚洲精品一区二区三区国产 | 国产精品久久久久高潮| 国产成人无码精品午夜福利a | 久久综合久中文字幕青草| 国产一区二区三区中文在线| 国产 字幕 制服 中文 在线| 成人xx免费无码| 少妇人妻在线伊人春色| 久久精品国产久精国产爱| 欧美人与动牲猛交xxxxbbbb| 亚洲av不卡电影在线网址最新 | 久久久久久久国产精品电影| 男人的天堂av你懂得| 夜夜爽日日澡人人添| 亚洲av无码一区二区乱子伦as| 又色又爽又黄的视频网站| av成人一区二区三区| 日韩欧美成人免费观看| 亚洲精品国产字幕久久vr| 久久无人码人妻一区二区三区| 日韩女同视频在线网站| 国产国语熟妇视频在线观看 | 国产美女久久精品香蕉69| av中文字幕少妇人妻| 久久人妻少妇嫩草av蜜桃| 亚洲国产一区二区三区在线观看| 老熟女毛茸茸浓毛| 亚洲春色视频在线观看| 白嫩丰满少妇av一区二区| 无遮挡又黄又刺激又爽的视频| 亚洲va欧美va人人爽夜夜嗨|