陸曉杰,韓貴丞,姚 波,蔡能斌,亓洪興

(1.中國科學(xué)院上海技術(shù)物理研究所空間主動(dòng)光電技術(shù)重點(diǎn)實(shí)驗(yàn)室,上海 200083；2.中國科學(xué)院大學(xué),北京 100049；3.上海市現(xiàn)場物證重點(diǎn)實(shí)驗(yàn)室,上海 200083)

1 引 言

雙目視覺系統(tǒng)利用相機(jī)模擬人眼,從不同角度獲取同一三維場景的兩幅二維圖像,從而實(shí)現(xiàn)測距、三維重建等功能。實(shí)現(xiàn)雙目測距首先要對相機(jī)進(jìn)行標(biāo)定[1],以確定相機(jī)的幾何模型,建立兩臺相機(jī)之間的位置模型,精確的模型參數(shù)可以為后續(xù)的圖像立體匹配打下良好的基礎(chǔ)。

目前,雙目測距系統(tǒng)主要應(yīng)用于可見光波段?？梢姽庀鄼C(jī)需要輔助光成像,相較之下,熱紅外相機(jī)可以較好的工作在夜晚、霧霾、能見度差等特殊環(huán)境。隨著熱紅外成像技術(shù)的日益成熟,利用熱紅外相機(jī)搭建的雙目測距系統(tǒng)越來越具有應(yīng)用前景[2-3]。

一方面,由于熱紅外相機(jī)接收熱輻射成像,成像機(jī)理不同導(dǎo)致標(biāo)定過程不同[4]。另一方面,熱紅外圖像較可見光圖像存在紋理信息差、圖像分辨率低,信噪比低、圖像質(zhì)量差等問題[5]。因此,需要單獨(dú)研究熱紅外相機(jī)的標(biāo)定技術(shù)。在現(xiàn)有的研究中對于熱紅外雙目相機(jī)的標(biāo)定技術(shù)研究較少,制作方式和靶標(biāo)形狀各不相同。綜合以上內(nèi)容考慮,本文中制作對比了兩種熱紅外靶標(biāo):①由黑色氧化鋁板和鍍鎳鋁板制成的棋盤格靶標(biāo)；②由黑色氧化鋁板和鍍鎳釹鐵磁制成的圓形點(diǎn)陣靶標(biāo),并通過實(shí)驗(yàn)分析兩種熱紅外靶標(biāo)的標(biāo)定結(jié)果。

2 雙目相機(jī)標(biāo)定

2.1 雙目相機(jī)標(biāo)定模型

根據(jù)小孔成像原理,相機(jī)的成像過程可以用幾何投影法表示,如圖1所示[6]。某三維空間點(diǎn)的世界坐標(biāo)PW(XW,YW,ZW)與其圖像像素坐標(biāo)p(i,j)之間的關(guān)系可由式(1)表示。

圖1 相機(jī)小孔成像模型Fig.1 Pinhole camera model

(1)

式中,圖像像素大小(dx,dy)、焦距f及圖像坐標(biāo)原點(diǎn)到圖像左上角的距離(u0,v0)均為相機(jī)的內(nèi)部參數(shù),相機(jī)的安裝位置和方式?jīng)Q定了相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣R和平移矩陣T,屬于外部參數(shù)。當(dāng)相機(jī)被選定且確定了其安裝方式和位置時(shí),此成像系統(tǒng)的內(nèi)外參數(shù)就確定了。

事實(shí)上相機(jī)不可能符合理想的小孔成像模型,因此標(biāo)定時(shí)還需要進(jìn)行建立畸變模型。相機(jī)的畸變主要包括:由于相機(jī)的圖像傳感器與光軸未能完全垂直安裝而造成的切向畸變；鏡頭光學(xué)特性導(dǎo)致目標(biāo)點(diǎn)沿著像面徑向方向偏移的徑向畸變。通常使用式(2)、(3)來表達(dá)對相機(jī)畸變的精確估計(jì)。

(2)

(3)

一般為雙目視覺選擇鏡頭時(shí),需要確保鏡頭的最大畸變小于1 %,即徑向畸變?nèi)1、k2、k3即可。

相較單目相機(jī)的模型,建立雙目相機(jī)系統(tǒng)模型時(shí)除了需要計(jì)算左右相機(jī)各自的內(nèi)外參數(shù),還需要計(jì)算左右相機(jī)之間的旋轉(zhuǎn)和平移參數(shù)。通常為了簡化模型,將左相機(jī)所在坐標(biāo)系定義為世界坐標(biāo)系,即左相機(jī)模型沒有旋轉(zhuǎn)和平移參數(shù),只需要計(jì)算右相機(jī)的旋轉(zhuǎn)矩陣和平移向量即可,如式(4)、(5)所示。

(4)

(5)

2.2 標(biāo)定板設(shè)計(jì)

可見光相機(jī)標(biāo)定理論發(fā)展已有幾十年之久,目前較為常見的方法大多基于張正友在《A Flexible New Technique for Camera Calibration》一文中提出的方法[7],主要包括以下幾步:

①制作一張模板并貼在一個(gè)平面上；

②從不同角度拍攝若干張模板圖像,作為基準(zhǔn)圖像的一張需要使模板盡量垂直于光軸；

③檢測出圖像中的特征點(diǎn)；

④求出攝像機(jī)的內(nèi)參數(shù)和外參數(shù),畸變系數(shù)。

針對可見光靶標(biāo)在熱紅外成像中無法正常確定特征點(diǎn)坐標(biāo)的問題,文獻(xiàn)[8]中使用了加熱模塊和光源板的組合制作熱紅外相機(jī)靶標(biāo),成像效果良好,但需要配套為系統(tǒng)供電的穩(wěn)壓電源、調(diào)整溫度的調(diào)溫模塊、用于供電加熱條等復(fù)雜結(jié)構(gòu),操作繁瑣；文獻(xiàn)[9]指出不同材質(zhì)的發(fā)射率和太陽輻射吸收率不同,實(shí)驗(yàn)得出了適合制作熱紅外相機(jī)靶標(biāo)的黑色氧化鋁和鍍鎳鋁板,這兩種材質(zhì)在熱紅外圖像中DN值差異較大,有利于特征點(diǎn)提取,結(jié)構(gòu)簡單易于攜帶?？紤]到不同靶標(biāo)特征點(diǎn)形狀具有不同的特性,文獻(xiàn)[10]中提出在可見光波段下圓形特征點(diǎn)相較棋盤格角點(diǎn)具有更好的抗噪能力。結(jié)合以上兩方面,本文選用黑色氧化鋁和鍍鎳釹鐵磁制成了圓形點(diǎn)陣靶標(biāo),如圖2所示。通過實(shí)驗(yàn),對比分析與圖3所示的棋盤格熱紅外相機(jī)靶標(biāo)的標(biāo)定效果。

圖2 圓形點(diǎn)陣靶標(biāo)Fig.2 Circular lattice calibration target

圖3 棋盤格靶標(biāo)Fig.3 Checkerboard calibration target

3 熱紅外雙目相機(jī)系統(tǒng)標(biāo)定實(shí)驗(yàn)

本次實(shí)驗(yàn)雙目測距系統(tǒng)由兩臺相同型號的熱紅外相機(jī)組成,如圖4所示。該熱像儀探測器為非制冷焦平面探測器,波長范圍7.5～14 μm,面陣大小為640×480,像素尺寸17 μm,測溫范圍-20～150 ℃,焦距25 mm,視場角25°×19°,滿足實(shí)驗(yàn)需要。

圖4 熱紅外雙目測距系統(tǒng)實(shí)驗(yàn)裝置Fig.4 Experimental device of thermal infrared binocular ranging system

具體實(shí)驗(yàn)操作包括以下步驟:

首先利用上述熱紅外雙目系統(tǒng)分別拍攝兩個(gè)靶標(biāo),將靶標(biāo)以不同傾斜角度放置在系統(tǒng)可清晰成像范圍內(nèi),拍攝多組照片,其中必須保證一次靶標(biāo)盡量垂直于光軸。本次實(shí)驗(yàn)共拍攝13組,如圖5～8所示。

圖5 棋盤格靶標(biāo)-左相機(jī)圖像Fig.5 Left images of checkerboard calibration target

圖6 棋盤格靶標(biāo)-右相機(jī)圖像Fig.6 Right images of checkerboard calibration target

圖7 圓形點(diǎn)陣靶標(biāo)-左相機(jī)圖像Fig.7 Left images of circular lattice calibration target

圖8 圓形點(diǎn)陣靶標(biāo)-右相機(jī)圖像Fig.8 Right images of circular lattice calibration target

針對棋盤格靶標(biāo),利用matlab的camera calibration toolbox工具箱對左右相機(jī)分別進(jìn)行標(biāo)定,再將左右相機(jī)的標(biāo)定文件載入Stereo Camera Calibrator工具箱計(jì)算系統(tǒng)外參。標(biāo)定結(jié)果如表1所示。

表1 棋盤格靶標(biāo)標(biāo)定結(jié)果Tab.1 The result of checkerboard calibration target

針對圓形點(diǎn)陣靶標(biāo),利用Labview的IMAQ Learn Camera Model函數(shù)對左右相機(jī)分別進(jìn)行標(biāo)定,再將左右相機(jī)的標(biāo)定文件載入IMAQ Learn Binocular Stereo Calibration計(jì)算系統(tǒng)外參。標(biāo)定結(jié)果如表2所示。

表2 圓形點(diǎn)陣靶標(biāo)標(biāo)定結(jié)果Tab.2 The result of circular lattice calibration target

4 棋盤格靶標(biāo)和圓形點(diǎn)陣靶標(biāo)標(biāo)定結(jié)果分析

目前對于相機(jī)標(biāo)定結(jié)果的優(yōu)劣與否還沒有形成系統(tǒng)的評價(jià)理論,通常選用重投影誤差這個(gè)值作為評價(jià)標(biāo)準(zhǔn)。重投影誤差是指投影的點(diǎn)(理論值)與圖像上的測量點(diǎn)的誤差。認(rèn)定靶標(biāo)上的物理點(diǎn)是理論值,它經(jīng)過投影變換后會(huì)得到理論的像素點(diǎn)a,而測量的點(diǎn)經(jīng)過畸變矯正后的像素點(diǎn)為a′,它們的歐氏距離即表示重投影誤差。顯然,重投影誤差越小,表面相機(jī)標(biāo)定結(jié)果越準(zhǔn)確,如表3所示。

表3 棋盤格靶標(biāo)與圓形點(diǎn)陣靶標(biāo)的 重投影誤差對比(原始)Tab.3 Reprojection errors of checkerboard and circular lattice calibration target (original)

由于計(jì)算圓形點(diǎn)陣靶標(biāo)的重投影誤差是在世界坐標(biāo)系下測算的誤差,因此需要將此絕對誤差換算到像素坐標(biāo)系下。經(jīng)查閱熱紅外相機(jī)的系統(tǒng)參數(shù),可知兩臺相機(jī)的角分辨率均為0.68 mrad,已知靶標(biāo)距離與相機(jī)距離為1.6 m,即可計(jì)算出像素坐標(biāo)下的重投影誤差,如表4所示。

表4 棋盤格靶標(biāo)與圓形點(diǎn)陣靶標(biāo)的 重投影誤差對比(像素坐標(biāo)系)Tab.4 Reprojection errors of checkerboard and circular lattice calibration target (pixel coordinate system)

由表4可知,當(dāng)以重投影誤差為評價(jià)標(biāo)準(zhǔn)時(shí),圓形點(diǎn)陣靶標(biāo)相較棋盤格靶標(biāo)具有更準(zhǔn)確的標(biāo)定效果。

另一方面,在雙目視覺系統(tǒng)中建立準(zhǔn)確的相機(jī)模型,是為了校正左右圖像使得圖像特征點(diǎn)“行對齊”,從而縮小特征點(diǎn)尋找范圍以提高立體匹配的準(zhǔn)確性。因此,左右相機(jī)的圖像是否“行對齊”也是評判相機(jī)模型是否準(zhǔn)確最直觀的標(biāo)準(zhǔn)。圖9為左右圖像校正之前的原圖,圖10、11分別顯示了兩組標(biāo)定結(jié)果的圖像校正效果,兩組標(biāo)定結(jié)果的“行對齊”矯正效果都十分優(yōu)秀,這主要是因?yàn)閮山M標(biāo)定結(jié)果雖然有差異但均在1個(gè)像素之內(nèi),人眼難以辨別。

圖9 左右圖像原圖Fig.9 Left and right images (original)

圖10 棋盤格靶標(biāo)標(biāo)定結(jié)果矯正效果圖Fig.10 Left and right images of checkerboard calibration target (rectified)

圖11 圓形點(diǎn)陣靶標(biāo)標(biāo)定結(jié)果矯正效果圖Fig.11 Left and right images of circular lattice calibration target (rectified)

5 總 結(jié)

通常來說,熱紅外圖像較可見光圖像有分辨率低、噪聲大、紋理信息差等特點(diǎn),但隨著熱紅外成像技術(shù)的發(fā)展,熱紅外相機(jī)的成像效果也越來越清晰。由上述實(shí)驗(yàn)結(jié)果可知,在熱紅外雙目測距系統(tǒng)標(biāo)定中,棋盤格角點(diǎn)的特征提取沒有因?yàn)樵肼暤脑蜉^圓形點(diǎn)陣出現(xiàn)明顯的劣勢,重投影誤差也控制在1個(gè)像素之內(nèi),左右圖像的矯正結(jié)果兩者基本一致。因此,在標(biāo)定熱紅外雙目測距系統(tǒng)時(shí),一般情況下,由于后續(xù)的立體匹配算法大多是亞像素級的,即兩種靶標(biāo)標(biāo)定結(jié)果的差異不足以影響后續(xù)立體匹配的精確度,如有特別精確的標(biāo)定需求應(yīng)盡可能使用圓形點(diǎn)陣靶標(biāo)。