王子昂， 李 剛， 劉秉琦， 黃富瑜， 陳一超

陸軍工程大學(xué)石家莊校區(qū)電子與光學(xué)工程系， 河北 石家莊 050003

引 言

在紅外光譜譜段， 短波、 中波、 長波主要的大氣窗口分別為0.7～2.5， 3～5和8～14 μm[1]。 由于不同物質(zhì)對(duì)于可見光、 紅外線吸收性能不同， 因此通過紅外相機(jī)可以探測(cè)可見光無法看到的一些差別。 長波紅外一般用于探測(cè)300 k左右的目標(biāo)， 即常溫下目標(biāo)。 與可見光相機(jī)相比， 雙目超大視場(chǎng)長波紅外相機(jī)具有不受光照強(qiáng)度影響， 在復(fù)雜條件下全天候工作， 獲取大空域信息等諸多優(yōu)點(diǎn)[2-3]。 軍事應(yīng)用中， 需要紅外立體視覺系統(tǒng)對(duì)目標(biāo)進(jìn)行定位以獲取完整的空間信息， 為作戰(zhàn)決策奠定基礎(chǔ)； 民用領(lǐng)域中， 將紅外立體視覺系統(tǒng)裝載到車輛上， 可在車輛行駛過程中規(guī)避障礙物， 提高車輛駕駛安全性。 伴隨智能化的快速發(fā)展， 立體視覺在視覺測(cè)量[4]， 二維運(yùn)動(dòng)圖像的三維重建[5]， 即時(shí)定位與地圖構(gòu)建[6]等方面起著關(guān)鍵作用。 立體視覺旨在從雙目相機(jī)拍攝圖像中獲取密集的3D信息， 圖像三維重建精度主要取決于相機(jī)系統(tǒng)參數(shù)， 標(biāo)定的過程就是解算相機(jī)系統(tǒng)參數(shù)的過程。 內(nèi)部參數(shù)是相機(jī)的固有屬性， 它表示相機(jī)系統(tǒng)的物像關(guān)系。 外部參數(shù)標(biāo)定指求解兩個(gè)相機(jī)之間的坐標(biāo)變換矩陣， 該矩陣描述右目相機(jī)相對(duì)于左目相機(jī)的位置關(guān)系。

目前， 外部參數(shù)標(biāo)定方法主要分為兩類： 需要移動(dòng)相機(jī)的外部參數(shù)標(biāo)定[7]和固定相機(jī)的外部參數(shù)標(biāo)定[8]。 在前者中， 手眼標(biāo)定和基于反射鏡的方法最常用； 對(duì)于后者， 研究人員移動(dòng)相機(jī)視野中的物體來計(jì)算姿勢(shì)并重建軌跡。 針對(duì)不同立體視覺系統(tǒng)和應(yīng)用， 標(biāo)定模型的相機(jī)參數(shù)和計(jì)算方法各不相同。 此外， 自標(biāo)定方法和其他新興方法由于準(zhǔn)確性不高或者實(shí)現(xiàn)復(fù)雜， 不能用于超大視場(chǎng)長波紅外立體視覺系統(tǒng)。 由于超大視場(chǎng)長波紅外圖像低分辨率和嚴(yán)重失真， 導(dǎo)致標(biāo)定準(zhǔn)確性下降， 常見的外部參數(shù)標(biāo)定方法[9-11]不再適用。 此外， 針對(duì)標(biāo)定精度的評(píng)價(jià)方法也有待提高。 對(duì)于內(nèi)部參數(shù)標(biāo)定的評(píng)價(jià)， 角點(diǎn)平均重投影誤差(mean reprojection error， MRE)運(yùn)用最普遍； 針對(duì)內(nèi)外參數(shù)的整體評(píng)價(jià)， 大多數(shù)方法從三維重建入手， 對(duì)角點(diǎn)進(jìn)行三維重建， 根據(jù)角點(diǎn)間相對(duì)距離評(píng)價(jià)標(biāo)定精度[12]； 或者運(yùn)用MRE評(píng)價(jià)內(nèi)部參數(shù)后， 直接以高精度坐標(biāo)測(cè)量機(jī)測(cè)得的外部參數(shù)作為真值評(píng)估外部參數(shù)標(biāo)定[13]。 前者依賴于三維重建方法的準(zhǔn)確性， 在評(píng)價(jià)過程中不可避免摻雜了三維重建方法的本身誤差； 后者需要高精度的三維坐標(biāo)測(cè)量儀器， 對(duì)實(shí)驗(yàn)設(shè)備要求很高。

為標(biāo)定超大視場(chǎng)長波紅外立體視覺外部參數(shù)并易于評(píng)價(jià)參數(shù)標(biāo)定準(zhǔn)確性， 在Scaramuzza相機(jī)模型[14]標(biāo)定單目相機(jī)基礎(chǔ)上， 提出了一種基于最小二乘法的外部參數(shù)標(biāo)定方法； 根據(jù)單目相機(jī)內(nèi)部參數(shù)的角點(diǎn)平均重投影誤差評(píng)價(jià)方法， 提出一種雙目平均重投影誤差(binocular mean reprojection error， BMRE)的內(nèi)外參數(shù)評(píng)價(jià)方法。 該方法提高了外部參數(shù)標(biāo)定精度， 并且簡化了內(nèi)外參數(shù)評(píng)價(jià)過程。

1 標(biāo)定方法

1.1 超大視場(chǎng)相機(jī)模型

由于超大視場(chǎng)長波紅外相機(jī)成像過程不符合傳統(tǒng)小視場(chǎng)成像的線性模型， 而是遵循非相似成像原理， 所以通用的Scaramuzza相機(jī)模型在超大視場(chǎng)長波紅外相機(jī)標(biāo)定過程中被使用。 在該相機(jī)模型中， 傳感器平面像點(diǎn)p(x,y)與圖像平面像點(diǎn)q(u,v)之間關(guān)系表示為

(1)

其中，c，d和e為常數(shù)， 表示鏡頭光軸和傳感器平面中心非對(duì)準(zhǔn)的誤差系數(shù)， (u0,v0)為圖像畸變中心坐標(biāo)。 標(biāo)定板上角點(diǎn)Pw與p之間關(guān)系表示為

(2)

f(ρ)=k0+k2ρ2+…+knρn

(3)

(4)

其中，λij為正常數(shù)， 表示第i幅圖像中第j個(gè)角點(diǎn)成像的比例系數(shù)；k0,k2， …，kn是泰勒多項(xiàng)式系數(shù)， 通常n=4； [r1r2t]i表示第i幅圖像中標(biāo)定板與相機(jī)的相對(duì)位置關(guān)系，r1和r2為旋轉(zhuǎn)向量，t為平移向量。

1.2 基于最小二乘法的外部參數(shù)標(biāo)定

Scaramuzza相機(jī)模型描述了單目相機(jī)成像中的物像關(guān)系， 然而， 因?yàn)樵撓鄼C(jī)模型不能標(biāo)定雙目相機(jī)的外部參數(shù)， 所以無法進(jìn)行立體視覺標(biāo)定。 本節(jié)在該相機(jī)模型基礎(chǔ)上， 提出一種最小二乘法方法來標(biāo)定立體視覺中的外部參數(shù)。

角點(diǎn)在世界坐標(biāo)系中與相機(jī)坐標(biāo)系中的關(guān)系可由式(5)和式(6)表示

(5)

(6)

其中，Plij和Prij分別代表世界坐標(biāo)系中第i幅圖像的第j個(gè)角點(diǎn)在左目相機(jī)坐標(biāo)系和右目相機(jī)坐標(biāo)系中的投影坐標(biāo)， [r1r1t]li， [r1r1t]ri， [XwXw1]T從單目相機(jī)模型的標(biāo)定結(jié)果中獲得。

根據(jù)三維空間中兩個(gè)坐標(biāo)系轉(zhuǎn)換關(guān)系

Prij=RPlij+t

(7)

其中， 旋轉(zhuǎn)矩陣R和平移向量t共同描述了右目相機(jī)相對(duì)于左目相機(jī)的位置， 將Plij和Prij展開為坐標(biāo)形式可以得到

(8)

將R和t展開為坐標(biāo)形式， 并把式(8)轉(zhuǎn)化為線性方程組形式

(9)

將所有Plij和Prij代入式(9)即得到以R和t為未知量的超定線性方程組， 運(yùn)用最小二乘法求出該超定線性方程的最優(yōu)解

(10)

最終， 外部參數(shù)R和t為

(11)

t=[t1t2t3]T=[txtytz]T

(12)

1.3 基于雙目角點(diǎn)重投影的內(nèi)外參數(shù)評(píng)價(jià)

雙目內(nèi)外參數(shù)的標(biāo)定直接影響立體視覺圖像匹配和目標(biāo)定位， 目前存在兩種常用方法對(duì)內(nèi)外參數(shù)準(zhǔn)確性進(jìn)行評(píng)估， 一種是采用三維重建后目標(biāo)點(diǎn)間距與實(shí)際間距的差值來評(píng)價(jià)外部參數(shù)標(biāo)定準(zhǔn)確性； 另一種是以高精度坐標(biāo)測(cè)量機(jī)對(duì)外部參數(shù)的測(cè)量結(jié)果為真值， 根據(jù)外部參數(shù)真值與標(biāo)定值的差值評(píng)價(jià)標(biāo)定準(zhǔn)確性， 坐標(biāo)測(cè)量機(jī)測(cè)量精度要達(dá)到微米量級(jí)， 這種方法對(duì)實(shí)驗(yàn)設(shè)備要求很高。 在評(píng)價(jià)單目相機(jī)內(nèi)部參數(shù)標(biāo)定準(zhǔn)確性時(shí)， 通常用到角點(diǎn)平均重投影誤差MRE， MRE表示三維空間中角點(diǎn)經(jīng)過已標(biāo)定相機(jī)模型成像后的投影點(diǎn)與圖像檢測(cè)角點(diǎn)的接近程度。 為簡化內(nèi)外參數(shù)評(píng)價(jià)， 避免引入其他變量， 本節(jié)在內(nèi)部參數(shù)評(píng)價(jià)方法基礎(chǔ)上提出一種雙目角點(diǎn)重投影誤差的內(nèi)外參數(shù)評(píng)價(jià)方法。

單目相機(jī)內(nèi)部參數(shù)評(píng)價(jià)的角點(diǎn)重投影過程如圖1。

圖1 單目相機(jī)角點(diǎn)重投影過程

在標(biāo)定出單目相機(jī)成像模型后， 根據(jù)第i幅圖像中標(biāo)定板相對(duì)于相機(jī)的外部參數(shù)， 將標(biāo)定板上角點(diǎn)Pw投影到相機(jī)坐標(biāo)系為Pc

Pc=[r1r2t]iPw(13)

Pw和Pc實(shí)際是同一個(gè)點(diǎn)， 只是在世界坐標(biāo)系和相機(jī)坐標(biāo)系中該點(diǎn)坐標(biāo)不同。 展開式(13)， 可以得到

(14)

(15)

根據(jù)Scaramuzza相機(jī)模型可以得到

(16)

p′=(u′，v′)

(17)

p′與p的歐式距離即該角點(diǎn)的重投影誤差， 一次標(biāo)定實(shí)驗(yàn)中所有角點(diǎn)重投影誤差的均值即MRE。 根據(jù)單目相機(jī)內(nèi)部參數(shù)角點(diǎn)重投影誤差評(píng)價(jià)方法， 引入立體視覺標(biāo)定結(jié)果中的外部參數(shù)， 提出一種雙目角點(diǎn)重投影誤差的內(nèi)外參數(shù)評(píng)價(jià)方法， 如圖2。

在分別標(biāo)定出左右目相機(jī)成像模型后， 根據(jù)第i幅圖像中標(biāo)定板相對(duì)于左相機(jī)的外部參數(shù)， 將標(biāo)定板上角點(diǎn)Pw投影到左相機(jī)坐標(biāo)系為Pl

Pl=[r1r2t]liPw

(18)

根據(jù)標(biāo)定結(jié)果中表征左右目相機(jī)相對(duì)位置關(guān)系的外部參數(shù)， 通過式(19)將Pl投影到右相機(jī)坐標(biāo)系中， 得到Pr

Pr=RPl+t

(19)

圖2 雙目相機(jī)角點(diǎn)重投影過程

(20)

(21)

p″=(u″，v″)

(22)

P″與p的歐式距離即該角點(diǎn)的雙目重投影誤差， 單目相機(jī)角點(diǎn)重投影誤差取決于單目相機(jī)標(biāo)定的準(zhǔn)確性， 而雙目重投影誤差不僅與單目相機(jī)標(biāo)定參數(shù)有關(guān)， 而且受到雙目標(biāo)定外部參數(shù)的影響， 因此雙目相機(jī)角點(diǎn)重投影誤差應(yīng)該大于單目相機(jī)角點(diǎn)重投影誤差。

2 實(shí)驗(yàn)部分

超大視場(chǎng)紅外立體視覺實(shí)驗(yàn)系統(tǒng)如圖3， 整個(gè)裝置由主動(dòng)紅外輻射自適應(yīng)標(biāo)定板、 雙目超大視場(chǎng)長波紅外相機(jī)、 計(jì)算機(jī)組成。 標(biāo)定板根據(jù)帕爾貼原理制成， 通電后黑色標(biāo)定塊發(fā)熱， 白色標(biāo)定塊制冷， 從而在標(biāo)定塊連接處產(chǎn)生明顯的角點(diǎn)， 這些角點(diǎn)作為標(biāo)定過程的目標(biāo)點(diǎn)進(jìn)行相機(jī)標(biāo)定。 標(biāo)定板采用模塊式設(shè)計(jì)以便根據(jù)實(shí)驗(yàn)需求調(diào)整角點(diǎn)數(shù)量， 本實(shí)驗(yàn)中采用圖中紅色矩形框內(nèi)部標(biāo)定塊。 通過設(shè)置標(biāo)定板中的電流大小， 可對(duì)標(biāo)定塊溫度進(jìn)行控制， 從而實(shí)現(xiàn)對(duì)相機(jī)像面探測(cè)器響應(yīng)波段的自適應(yīng)。 圖4顯示了超大視場(chǎng)長波紅外相機(jī)(FOV=210°)拍攝的標(biāo)定板圖像。 立體視覺系統(tǒng)中的超大視場(chǎng)長波紅外相機(jī)安裝在平行導(dǎo)軌上， 在導(dǎo)軌上平移鏡頭改變左右目相機(jī)相對(duì)位置， 調(diào)整鏡頭下方調(diào)節(jié)機(jī)構(gòu)改變左右目相機(jī)的旋轉(zhuǎn)角度， 從而改變雙目相機(jī)之間的外部參數(shù)。 通過相機(jī)與計(jì)算機(jī)的連接， 計(jì)算機(jī)屏幕能實(shí)時(shí)顯示并儲(chǔ)存圖像。

圖3 實(shí)驗(yàn)系統(tǒng)

3 結(jié)果與討論

實(shí)驗(yàn)過程中， 通過調(diào)節(jié)相機(jī)鏡頭使標(biāo)定板位于圖像中不同位置并且具備不同姿態(tài)， 從一系列圖像中選取16幅作為標(biāo)定的輸入圖像。 由于超大視場(chǎng)紅外圖像高噪聲、 低分辨率、 低對(duì)比度特性， Bouguet[15]角點(diǎn)定位方法準(zhǔn)確性不高，實(shí)驗(yàn)中采用基于多項(xiàng)式曲線擬合方法定位角點(diǎn)。 該方法主要包括圖像邊緣檢測(cè)、 角點(diǎn)初步定位、 邊緣曲線多項(xiàng)式擬合、 求解兩擬合曲線交點(diǎn)。 為充分驗(yàn)證基于最小二乘法的外部參數(shù)標(biāo)定方法一般性， 實(shí)驗(yàn)過程中使用FOV=180°和FOV=210°的兩組鏡頭分別進(jìn)行3組標(biāo)定實(shí)驗(yàn)， 并且與Bouguet外部參數(shù)標(biāo)定方法進(jìn)行比較， 實(shí)驗(yàn)結(jié)果如表1。

圖4 超大視場(chǎng)紅外標(biāo)定板圖像

表1 外部參數(shù)標(biāo)定結(jié)果

表1中rx，ry和rz根據(jù)羅德里格斯轉(zhuǎn)換從旋轉(zhuǎn)矩陣R得到， 它們分別表示右目相機(jī)相對(duì)于左目相機(jī)在x，y和z三個(gè)方向上的旋轉(zhuǎn)角度。 從表1可以看出， 兩種方法標(biāo)定的外部參數(shù)相近， 直觀上無法比較外部參數(shù)標(biāo)定準(zhǔn)確性。 因此， 運(yùn)用基于雙目角點(diǎn)重投影方法對(duì)外部參數(shù)準(zhǔn)確性進(jìn)行評(píng)估， 兩種標(biāo)定結(jié)果的雙目角點(diǎn)平均重投影誤差如表2, 折線圖如圖5。

從表2可以看出， Bouguet方法BMRE在0.782～0.943之間， 而基于最小二乘法方法BMRE在0.620～0.754 pixels之間， 并且每組實(shí)驗(yàn)中基于最小二乘法方法BMRE都明顯小于Bouguet方法BMRE， 這表明基于最小二乘法方法比Bouguet方法標(biāo)定結(jié)果更準(zhǔn)確。 從圖5可以發(fā)現(xiàn)， 同一折線中后三組實(shí)驗(yàn)BMRE明顯大于前三組實(shí)驗(yàn)， 這表明POV越大的紅外相機(jī)， 成像畸變?cè)絿?yán)重， 標(biāo)定后BMRE越大； 由于表1中ty和tz遠(yuǎn)小于tx， 所以tx大致體現(xiàn)左右目相機(jī)之間的基線距離。 在標(biāo)定同一雙目相機(jī)時(shí)， 伴隨基線距離的增加， BMRE有增大趨勢(shì)， 這說明標(biāo)定參數(shù)準(zhǔn)確性伴隨基線距離增加而降低。 為比較BMRE和MRE的差別， 實(shí)驗(yàn)中選取了右目相機(jī)MRE和雙目相機(jī)基于最小二乘法方法BMRE， 如圖6。

理想情況下， 所有角點(diǎn)成像關(guān)系都應(yīng)該完全符合成像模型， 因此MRE=0， BMRE=0。 但在實(shí)際情況中為標(biāo)定更多角點(diǎn)減小誤差， 避免某個(gè)角點(diǎn)占標(biāo)定模型權(quán)重過大， 角點(diǎn)數(shù)量要遠(yuǎn)多于標(biāo)定過程中方程組未知量數(shù)量， 標(biāo)定出的相機(jī)成像模型是方程組的最優(yōu)解， 所以角點(diǎn)成像關(guān)系并不完全符合成像模型， MRE>0， BMRE>0。 MRE和BMRE越小表明標(biāo)定結(jié)果越準(zhǔn)確。 從圖6可以發(fā)現(xiàn)， 單目相機(jī)MRE在0.31～0.36之間， 明顯小于BMRE。 這是因?yàn)橛夷縈RE只表征了右目鏡頭標(biāo)定誤差， 而BMRE不僅包含右目鏡頭MRE， 而且增加了雙目相機(jī)之間外部參數(shù)的標(biāo)定誤差， 所以BMRE>MRE。 這也符合1.3節(jié)中基于雙目角點(diǎn)重投影標(biāo)定參數(shù)準(zhǔn)確性評(píng)價(jià)對(duì)于右目角點(diǎn)重投影過程的分析。

表2 雙目平均重投影誤差

圖5 雙目平均重投影誤差折線圖

圖6 單目平均重投影誤差與雙目平均重投影誤差折線圖

4 結(jié)論

為標(biāo)定超大視場(chǎng)長波紅外立體視覺外部參數(shù)， 提出一種基于最小二乘法的外部參數(shù)標(biāo)定方法， 為量化內(nèi)外參數(shù)標(biāo)定準(zhǔn)確性， 提出一種雙目角點(diǎn)重投影誤差的評(píng)價(jià)方法。 實(shí)驗(yàn)表明： 基于最小二乘法的外部參數(shù)標(biāo)定方法能準(zhǔn)確標(biāo)定超大視場(chǎng)長波紅外立體視覺外部參數(shù)， 并且雙目角點(diǎn)重投影誤差可以精確評(píng)估內(nèi)外參數(shù)標(biāo)定精度。 與廣泛使用的bouguet方法相比， 外部參數(shù)標(biāo)定更精確； 相比于三維重建計(jì)算角點(diǎn)間距的評(píng)價(jià)方法， 本文方法不引入角點(diǎn)三維重建的額外誤差； 相比于運(yùn)用微米級(jí)坐標(biāo)測(cè)量儀器的評(píng)價(jià)方法， 本方法操作簡便， 避免了對(duì)實(shí)驗(yàn)設(shè)備的高要求。 本文方法提高了外部參數(shù)標(biāo)定準(zhǔn)確性， 簡化了外部參數(shù)評(píng)價(jià)過程， 將促進(jìn)超大視場(chǎng)長波紅外相機(jī)在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用， 拓展了紅外光譜中長波波段相機(jī)的使用。