徐子程，姜肇國，呂耀文，宮玄睿

（長春理工大學(xué) 光電工程學(xué)院，長春 130022）

折反射全景成像系統(tǒng)是將反射鏡與傳統(tǒng)相機(jī)結(jié)合起來，可在大俯仰角范圍內(nèi)，由單一攝像機(jī)獲取360°全向?qū)捯晥龅南到y(tǒng)。與多攝像機(jī)拼接獲取寬視場的方法相比，其結(jié)構(gòu)更加簡單，也不用考慮圖像拼接。而寬視場的魚眼鏡頭、光學(xué)鏡頭結(jié)構(gòu)設(shè)計(jì)復(fù)雜、邊緣圖像畸變嚴(yán)重，需要對圖像進(jìn)行畸變校正［1-2］。廣角相機(jī)通常只能實(shí)現(xiàn)圖像中心的調(diào)焦，在實(shí)際中圖像四周可能還是模糊的［3］。根據(jù)視點(diǎn)的個(gè)數(shù)，折反射全景成像系統(tǒng)分為單視點(diǎn)和非單視點(diǎn)兩類。相比非單視點(diǎn)系統(tǒng)，單視點(diǎn)系統(tǒng)的物-像映射過程較容易建立數(shù)學(xué)模型，模型中的參數(shù)經(jīng)過標(biāo)定后可以定量確定物-像的對應(yīng)關(guān)系，從而可根據(jù)圖像定量測量物空間中實(shí)際物體的方向和運(yùn)動狀態(tài)等［4］。隨著CMOS、CCD等成像器件像元規(guī)模的擴(kuò)大、折反射全景成像系統(tǒng)已較為廣泛地應(yīng)用于視覺導(dǎo)航［5］、視頻監(jiān)控、計(jì)算機(jī)視覺、消費(fèi)類電子產(chǎn)品等領(lǐng)域［6］。因此研究單視點(diǎn)折反射成像系統(tǒng)具有很好的應(yīng)用前景。

1998 年，Baker和 Nayar［7］證明了單視點(diǎn)結(jié)構(gòu)約束的折反射全景成像系統(tǒng)的反射面必須是二次曲面。相機(jī)標(biāo)定的目的歸根到底是研究如何計(jì)算相機(jī)內(nèi)部參數(shù)的問題。常見的用于描述普通透視相機(jī)投影過程的透視投影模型無法用來描述全向相機(jī)的成像過程。2000年由Geyer和Daniilidis［8］根據(jù)二次曲面投影與球面投影等價(jià)證明了球面投影和折反射投影的等價(jià)性，從而說明可以使用球面投影建模中心折反射系統(tǒng)。2006年Scaramuzza等人［9］通過拍攝采集不同位置的標(biāo)定模板的圖像，使用多項(xiàng)式模型實(shí)現(xiàn)了單視點(diǎn)折反射系統(tǒng)標(biāo)定。2018年張靜等人［10］基于多項(xiàng)式模型，使用圖像投影描述為泰勒級數(shù)展開的標(biāo)定方法，并通過非線性最小二乘擬合的方法求解得到相機(jī)的內(nèi)外參數(shù)［11］。針對球面統(tǒng)一模型沒有利用成像系統(tǒng)的旋轉(zhuǎn)對稱性和多項(xiàng)式模型沒有實(shí)現(xiàn)降低標(biāo)定維度的缺點(diǎn)，在深入分析折反射圖像點(diǎn)與空間直線之間的關(guān)系的基礎(chǔ)上，綜合已有折反射成像模型的數(shù)學(xué)表達(dá)形式，利用折反射成像系統(tǒng)的旋轉(zhuǎn)對稱特性，根據(jù)投影幾何理論，優(yōu)化折反射成像模型，創(chuàng)建折反射圖像點(diǎn)與空間直線之間的經(jīng)緯儀模型，由此將廣義成像模型的二維標(biāo)定問題轉(zhuǎn)變?yōu)橐痪S標(biāo)定問題，降低系統(tǒng)復(fù)雜度，提高系統(tǒng)標(biāo)定精度。

1 單視點(diǎn)折反射系統(tǒng)的經(jīng)緯儀模型

1.1 經(jīng)緯儀模型投影原理

如圖1（a）所示為中心折反射成像系統(tǒng)的示意圖，空間中的一點(diǎn)p，經(jīng)反射鏡反射后，投影在圖像平面上的一點(diǎn)m，即直線pq上的任一點(diǎn)都對應(yīng)投影點(diǎn)m。假設(shè)在坐標(biāo)系o-xyz中直線pq的方位角為α、俯仰角為β，那么建模的目的是給出俯仰角（α，β）與投影圖像點(diǎn)m（u，v）之間的數(shù)學(xué)描述。因?yàn)榉瓷溏R具有旋轉(zhuǎn)對稱性，因此，提出將投影圖像點(diǎn)（u，v）用極坐標(biāo)的形式表示，則方位角α與點(diǎn)m的極角相等，俯仰角β則僅與點(diǎn)m的極半徑相關(guān)，由此可以將二維建模問題簡化為一維問題，如圖1（b）所示。而該一維投影問題，可由中心反射鏡的面形參數(shù)推導(dǎo)出來。

圖1 中心的折反射成像系統(tǒng)的經(jīng)緯儀模型

1.2 圖像點(diǎn)與空間射線對應(yīng)幾何關(guān)系的推導(dǎo)

常見的單視點(diǎn)折反射相機(jī)系統(tǒng)主要有五種組成形式。在實(shí)際應(yīng)用中，平面鏡和透視相機(jī)的組合不能擴(kuò)大視場；球面鏡和透視相機(jī)的組合焦點(diǎn)需要放在球面上，實(shí)際操作難以實(shí)現(xiàn)；而橢圓面鏡的曲率大，兩個(gè)焦點(diǎn)之間的距離很近，不適宜用于折反射全景成像。因此，主要研究拋物面鏡與正交相機(jī)和雙曲面鏡與透視相機(jī)的折反射系統(tǒng)。

1.2.1 拋物面鏡折反射結(jié)構(gòu)的經(jīng)緯儀模型

由于空間點(diǎn)與其對應(yīng)的圖像點(diǎn)方位角相同，所以建模的坐標(biāo)系就簡化成截取空間點(diǎn)與其對應(yīng)的圖像點(diǎn)所在的平面上的二維坐標(biāo)系。如圖2所示，設(shè)三維坐標(biāo)下的空間點(diǎn)坐標(biāo)為P=(X ,Y,Z)T，拋物面的平面方程為：

其中，4p為拋物線的正焦弦，將其轉(zhuǎn)化到二維平面上，則有空間點(diǎn)坐標(biāo)P′=(x ,z)T，這里的 x=，拋物線的曲線方程為：

圖2中的空間點(diǎn)P′經(jīng)過第一步投影到拋物線 上 的 點(diǎn) 為 P′′(x ′,z′)，空 間 射 線 經(jīng) 過 反 射 鏡 反射，出射光線變?yōu)橐粭l平行于主光軸的射線，所以圖像點(diǎn)到圖像中心的距離γ=x′。因?yàn)榭臻g射線的俯仰角α滿足：

圖2 拋物面折反射相機(jī)投影示意圖

且 P′′(x ′,z′)在 拋物 線上 ，則 將 P″點(diǎn)帶 入公式（2）并與公式（3）聯(lián)立可得：

1.2.2 雙曲面鏡折反射結(jié)構(gòu)的經(jīng)緯儀模型

由于整個(gè)系統(tǒng)的旋轉(zhuǎn)對稱性，同樣將三維的雙曲面系統(tǒng)簡化為截取空間點(diǎn)與其對應(yīng)的圖像點(diǎn)所在的平面上的二維坐標(biāo)系。如圖3所示，設(shè)三維坐標(biāo)下的空間點(diǎn)坐標(biāo)為P=(X ,Y,Z)T，雙曲面的平面方程為：

圖3 雙曲面折反射相機(jī)投影示意圖

和拋物面鏡類似，在圖3中雙曲面投影即空間點(diǎn)P′和雙曲線的一個(gè)焦點(diǎn)O的連線與雙曲線的交點(diǎn)與第二個(gè)焦點(diǎn)形成入射光投影到圖像平面?？臻g中點(diǎn)P′經(jīng)過第一步投影到雙曲線上的點(diǎn)為 P″(x ′,z′)，空間射線經(jīng)過反射鏡反射，出射一條經(jīng)過雙曲線另一個(gè)焦點(diǎn)的射線，由此可以得出一個(gè)相似關(guān)系，即：

又因?yàn)镻″在雙曲線上，所以滿足：

由于空間射線的俯仰角α滿足：

所以將式（9）-式（11）聯(lián)立即可求出空間射線俯仰角α與圖像點(diǎn)到投影中心之間的距離γ的關(guān)系為：

2 經(jīng)緯儀模型與球面統(tǒng)一模型的等價(jià)性證明

首先在球面統(tǒng)一模型的基礎(chǔ)上，利用已知的空間三維點(diǎn)坐標(biāo)以及相關(guān)內(nèi)參數(shù)求出圖像點(diǎn)的二維坐標(biāo)。第二步將球面統(tǒng)一模型中的相關(guān)參數(shù)轉(zhuǎn)換成經(jīng)緯儀模型中的對應(yīng)參數(shù)。第三步將第一步求取的圖像點(diǎn)二維坐標(biāo)轉(zhuǎn)化為圖像點(diǎn)到投影中心之間的距離γ，再根據(jù)上一節(jié)中γ與α的關(guān)系求出空間射線的俯仰角，最后將所求的空間射線俯仰角與球面統(tǒng)一模型的三維點(diǎn)相對于坐標(biāo)原點(diǎn)的俯仰角進(jìn)行對比，兩者一致則證明經(jīng)緯儀模型的正確性。

2.1 拋物面鏡經(jīng)緯儀模型與球面統(tǒng)一模型的等價(jià)性證明

所得結(jié)果與球面統(tǒng)一模型中三維點(diǎn)的俯仰角相同，即證明兩個(gè)模型等價(jià)。

圖4 球面統(tǒng)一模型投影示意圖

2.2 雙曲面鏡經(jīng)緯儀模型與球面統(tǒng)一模型的等價(jià)性證明

3 實(shí)驗(yàn)

實(shí)驗(yàn)使用天津煋鳥科技有限公司的360°環(huán)視全景式相機(jī)采集圖片，該相機(jī)的反射面型為雙曲面，鏡面參數(shù)分別為雙曲面焦點(diǎn)之間距離d=2.342 5，正焦弦 4p=2.211 6，焦距f=3 mm，主點(diǎn)坐標(biāo)為［644.36，522.96］，外部參數(shù)應(yīng)用基于P4P原理進(jìn)行計(jì)算。實(shí)驗(yàn)過程中，采用Harris算子角點(diǎn)提取方法［12］，通過人機(jī)交互方式分別對7張影像的棋盤格提取角點(diǎn)坐標(biāo)，使其坐標(biāo)精度達(dá)到亞像素級精度。標(biāo)定板如圖5所示，選用7×9的棋盤格［12］，每個(gè)棋盤的尺寸是 30 mm×30 mm，每幅圖提取的角點(diǎn)為6×8=48個(gè)。在不同位置和角度選取7幅圖片，標(biāo)定板在攝像機(jī)中的圖像如圖6所示。

圖5 標(biāo)定板

圖6 全景圖像中標(biāo)定板

實(shí)驗(yàn)流程如圖7所示。以反投影誤差的大小作為評價(jià)模型精度的基準(zhǔn)，將圖像平面上提取的點(diǎn)和與該點(diǎn)對應(yīng)的空間點(diǎn)通過已知的攝像機(jī)內(nèi)參數(shù)和計(jì)算出來的外參數(shù)投影到圖像坐標(biāo)系中的點(diǎn)坐標(biāo)對比，即可比較這兩個(gè)點(diǎn)在兩個(gè)方向上的偏差。選用一個(gè)二維坐標(biāo)圖即可直觀地顯示圖像平面上提取的點(diǎn)與投影到圖像平面上的點(diǎn)在x、y方向的距離偏差。圖8為全部影像上反投影后在方向的偏差示意圖。落在原點(diǎn)附近的點(diǎn)越多表明標(biāo)定的誤差越小。從圖中可以看出，提出的模型反投影誤差結(jié)果較為理想。

圖7 實(shí)驗(yàn)流程圖

圖8 有圖片反投影誤差分布圖

4 結(jié)論

通過介紹國內(nèi)外的折反射相機(jī)標(biāo)定模型，針對現(xiàn)有的折反射成像模型要么經(jīng)過兩次投影映射，要么采用多參數(shù)的非線性幾何描述，模型復(fù)雜、標(biāo)定和測量計(jì)算繁瑣等問題，提出了利用折反射全景成像系統(tǒng)的旋轉(zhuǎn)對稱性建立的經(jīng)緯儀模型，并驗(yàn)證模型的準(zhǔn)確性。首先使用Harris算子進(jìn)行角點(diǎn)坐標(biāo)提取，然后用已知的相機(jī)內(nèi)參和計(jì)算出來的相機(jī)外參計(jì)算空間點(diǎn)在圖像上的投影坐標(biāo)，最后將兩組坐標(biāo)進(jìn)行對比得出反投影誤差。結(jié)果表明在x，y兩個(gè)方向上的距離偏差都在0.2個(gè)像素內(nèi)，滿足三維重建的精度要求。