朱虹，程松，王棟，陳好剛，王佳

1.西安理工大學(xué)自動(dòng)化與信息工程學(xué)院，西安 710048

2.洛陽(yáng)圣瑞機(jī)電技術(shù)有限公司，河南洛陽(yáng) 471000

雙線陣CCD相機(jī)的畸變校正和標(biāo)定方法

朱虹1，程松1，王棟1，陳好剛2，王佳2

1.西安理工大學(xué)自動(dòng)化與信息工程學(xué)院，西安 710048

2.洛陽(yáng)圣瑞機(jī)電技術(shù)有限公司，河南洛陽(yáng) 471000

1 引言

相機(jī)標(biāo)定是雙目視覺(jué)三維重建的重要環(huán)節(jié)，對(duì)于面陣CCD相機(jī)的標(biāo)定方法，主要分為設(shè)置參照物進(jìn)行標(biāo)定的基于標(biāo)定物的標(biāo)定法[1]，以及僅依靠相機(jī)在運(yùn)動(dòng)過(guò)程中周圍環(huán)境的圖像與圖像之間的對(duì)應(yīng)關(guān)系實(shí)現(xiàn)的自標(biāo)定方法[2-3]兩類，自標(biāo)定法目前理論還不成熟，標(biāo)定精度較差。張正友平面標(biāo)定法[4]是介于基于標(biāo)定物的標(biāo)定法與自標(biāo)定法之間的方法，對(duì)于面陣相機(jī)的標(biāo)定具有良好的效果。對(duì)于線陣CCD相機(jī)的標(biāo)定，有文獻(xiàn)[5-7]把線陣數(shù)據(jù)當(dāng)作是面陣CCD數(shù)據(jù)的一行，從面陣相機(jī)數(shù)學(xué)模型和標(biāo)定方法來(lái)推導(dǎo)計(jì)算線陣相機(jī)的內(nèi)方位元素完成標(biāo)定，均忽略了鏡頭畸變[8-11]的影響。鏡頭的光學(xué)畸變主要有徑向畸變和偏心畸變。由于線陣相機(jī)視場(chǎng)較寬，相機(jī)越靠近視場(chǎng)邊界，光路越長(zhǎng)，鏡頭畸變使得距離相機(jī)中心越遠(yuǎn)的物體偏離其實(shí)際位置越大，嚴(yán)重影響后續(xù)的圖像匹配。因此，本文提出了一種雙目線陣CCD標(biāo)定及鏡頭畸變校正方法，設(shè)計(jì)了平行等距條帶和角度等距條帶的兩種標(biāo)定板，在左右相機(jī)單應(yīng)性變換實(shí)現(xiàn)三維重建的前提下，以垂直方向上姿態(tài)角和水平方向的錯(cuò)切角建立線陣CCD的模型，將其標(biāo)定和畸變校正確立為消除這兩個(gè)角度的影響。

2 雙目線陣CCD的標(biāo)定原理

2.1 基于單應(yīng)性變換的三維信息

面陣左右相機(jī)的單應(yīng)性變換為：

對(duì)左右相機(jī)做單應(yīng)性變換后，其基準(zhǔn)平面上的物體匹配重合，而其上的立體物匹配后則會(huì)出現(xiàn)像差，且像差的大小與立體物相對(duì)于基準(zhǔn)面的高度成正比。因此可以將求物體在世界坐標(biāo)系中的三維信息轉(zhuǎn)換為求物體相對(duì)于某一基準(zhǔn)面的高度，并利用其繪制三維圖像。

2.2 雙線陣CCD成像模型

線陣CCD的數(shù)據(jù)可以看做是面陣CCD數(shù)據(jù)的一行，根據(jù)針孔成像模型，可得線陣相機(jī)的模型如圖1所示，OXYZ是相機(jī)坐標(biāo)系，OAB是線陣相機(jī)視平面，v是物體運(yùn)動(dòng)方向。

圖1 線陣CCD模型

理想情況下，兩相機(jī)之間沒(méi)有任何角度差異，在水平面處于同一直線，在垂直面處于同一高度，則同一時(shí)刻兩視平面相交部分拍攝到的是同一內(nèi)容。實(shí)際上，在相機(jī)安裝過(guò)程中，不可避免地左右相機(jī)的位置會(huì)出現(xiàn)偏差，以左相機(jī)為主視，右相機(jī)相對(duì)于左相機(jī)在空間上有姿態(tài)角α和錯(cuò)切角β，如圖2所示。

α角的存在會(huì)使得離相機(jī)遠(yuǎn)的物體在圖像上比其實(shí)際尺寸小。如圖3所示，用線陣CCD拍攝等寬且平行的線條，根據(jù)線寬的變化，可以估算出該姿態(tài)角。

平面CDEF上的直線a,b,c,d,e互相平行，且間距相等，構(gòu)成了等寬條帶。OAB是相機(jī)的視平面，L1是理想的線陣CCD的位置，平行于平面CDEF，L2是實(shí)際的線陣CCD的位置，它與平面CDEF存在一個(gè)α角度。可以看出，線陣CCD所拍攝的圖像中，幾條直線間的間距將不同。

圖2 姿態(tài)角和錯(cuò)切角示意圖

圖3 α角影響示意圖

如圖4所示，線陣CCD在同一時(shí)刻拍攝到的只有一行數(shù)據(jù)，左右相機(jī)之間的β角會(huì)使得同一時(shí)刻兩相機(jī)拍攝到的不是同一物體。

圖4 β角影響示意圖

兩黑色條帶寬度相等，成一定角度γ，L3是左相機(jī)所在直線，理想條件下，右相機(jī)應(yīng)在該直線上，L4是右相機(jī)實(shí)際位置，與直線夾角為β。x1與x2是拍攝圖像上得到的標(biāo)定靶圖的兩個(gè)等寬條帶的寬度，理想條件下，x1=x2cosγ，由于β角的存在，使得其偏離正確比例。當(dāng)已知x1，x2和γ時(shí)，它們與β角之間有如下關(guān)系：

由此可以解出β。

α和β描述了左右相機(jī)之間的旋轉(zhuǎn)平移關(guān)系，即左右相機(jī)之間的單應(yīng)性變換關(guān)系。

當(dāng)相機(jī)鏡頭的畸變可忽略時(shí)，采用上面的方法便可對(duì)雙目相機(jī)進(jìn)行標(biāo)定，然而，由于相機(jī)鏡頭是非理想的光學(xué)系統(tǒng)，存在著非線性畸變，而多種畸變疊加時(shí)的解析模型較難準(zhǔn)確給出。線陣相機(jī)視場(chǎng)寬，鏡頭畸變嚴(yán)重影響后續(xù)的圖像匹配，因此需要在標(biāo)定的過(guò)程中，進(jìn)行畸變的校正。

3 鏡頭畸變校正的相機(jī)標(biāo)定

本文所提出的鏡頭畸變校正的相機(jī)標(biāo)定分為兩個(gè)部分，首先，設(shè)計(jì)如圖5（a）所示的由等寬條帶構(gòu)成的標(biāo)定板1，對(duì)拍攝標(biāo)定板1的數(shù)據(jù)進(jìn)行曲線擬合，利用曲線關(guān)系得到校正系數(shù)，消除鏡頭畸變和角α的影響；之后，設(shè)計(jì)由如圖5（b）等寬成一定角度的條帶，對(duì)拍攝標(biāo)定板2得到的數(shù)據(jù)，根據(jù)公式（2）計(jì)算β角并校正。

圖5 相機(jī)標(biāo)定板示意圖

3.1 姿態(tài)角α和鏡頭畸變的校正

由于角度α和鏡頭畸變的存在，使得等寬條帶在平面上的投影為非等寬的條帶。為了避免物體運(yùn)動(dòng)時(shí)引入的其他誤差，本文采用了對(duì)圖5（a）所示的標(biāo)定板1靜止放置拍攝，這樣，線陣CCD以一定頻率重復(fù)對(duì)同一位置采樣得到拍攝圖像。

由于標(biāo)定板采用的是黑白間隔的條帶，因此，以全局閾值方法便可獲得黑色條帶區(qū)域的寬度，設(shè)為w1,w2,…,wn。將標(biāo)定板左右移動(dòng)，以獲得相機(jī)視場(chǎng)不同位置上的數(shù)據(jù)為移動(dòng)標(biāo)定板的次數(shù)，得到條帶寬度信息點(diǎn)集

圖6 左右視分段擬合二次曲線并三次樣條插值

對(duì)條帶寬度點(diǎn)集數(shù)據(jù)進(jìn)行數(shù)據(jù)擬合。姿態(tài)角α?xí)?dǎo)致黑色條帶距相機(jī)由近到遠(yuǎn)，圖像上黑色條帶寬度由寬變窄線性變化，鏡頭畸變導(dǎo)致從圖像中心向兩邊黑色條帶寬度非線性變化。另外鏡頭從中心向兩邊進(jìn)光量變小，圖像兩邊會(huì)比中心暗且模糊。因此本文在擬合時(shí)采用最小二乘擬合方法，將點(diǎn)集分為三段，段與段之間的數(shù)據(jù)部分重疊，每段均以二次曲線進(jìn)行擬合，之后再將三段融合并進(jìn)行三次樣條插值得到最終的擬合曲線。選取左右相機(jī)擬合曲線中間段的最大值作為標(biāo)準(zhǔn)，根據(jù)擬合曲線獲得校正系數(shù)，分別對(duì)左右相機(jī)進(jìn)行校正。

3.2 錯(cuò)切角β的校正

將圖5（b）給出的標(biāo)定板2放置在相機(jī)視場(chǎng)內(nèi)進(jìn)行拍攝，得到的圖像經(jīng)過(guò)3.1節(jié)的校正之后，代入公式（3）：

其中，x1，x2分別為垂直條帶以及傾斜條帶的寬度，γ為傾斜條帶的傾角。

分別將γ=30°和γ=45°代入公式（3），計(jì)算β角，分別為β30和β45，則β為：

求得β后，對(duì)圖像進(jìn)行錯(cuò)切校正。

4 實(shí)驗(yàn)

4.1 標(biāo)定實(shí)驗(yàn)

根據(jù)第3章中的標(biāo)定方法，標(biāo)定實(shí)驗(yàn)首先對(duì)拍攝的標(biāo)定板1的左右圖像檢測(cè)其黑色條帶寬度點(diǎn)集如圖6（a）（d）所示，可以看到其變化趨勢(shì)由一個(gè)凸點(diǎn)及兩個(gè)凹點(diǎn)組成，將其分為三段每段以二次曲線擬合得到的擬合曲線如圖6（b）（e）所示，將三段融合并三次樣條插值得到的最終擬合曲線如圖（c）（f）所示。

圖7 左右視姿態(tài)角α及鏡頭畸變的校正結(jié)果

根據(jù)擬合曲線得到的校正系數(shù)對(duì)圖像進(jìn)行校正之后再檢測(cè)其條帶寬度，校正前后條帶寬度對(duì)比如圖7所示，可以看到校正之后條帶寬度基本相等，誤差在兩個(gè)像素以內(nèi)。

對(duì)拍攝到的標(biāo)定板2的圖像根據(jù)前面求得的校正系數(shù)進(jìn)行圖像校正后檢測(cè)其條帶寬度，并根據(jù)式（3）求出β角，對(duì)圖像進(jìn)行錯(cuò)切校正，表1給出了求得的β及校正結(jié)果。可以看到，校正后x1和x2符合其正確比例，誤差小于0.5個(gè)像素。

4.2 標(biāo)定結(jié)果的驗(yàn)證

經(jīng)過(guò)標(biāo)定校正后的圖像，同一平面上的物體應(yīng)能匹配，以一個(gè)平面作為基準(zhǔn)面，則相對(duì)于該基準(zhǔn)面的立體物存在一定像差。為了驗(yàn)證本文算法的有效性，設(shè)計(jì)以下實(shí)驗(yàn)：（1）在相機(jī)視場(chǎng)全范圍內(nèi)放置平面待匹配物，為了便于驗(yàn)證，這里選擇的測(cè)試目標(biāo)為具有豐富紋理的平面測(cè)試靶圖。圖8（a）是標(biāo)定校正前將左右視圖像匹配的效果，可以看到，當(dāng)圖像中間的文字匹配上時(shí)，圖像水平兩邊的文字出現(xiàn)了位置的偏移且文字有上下錯(cuò)切。圖8（b）是標(biāo)定校正之后左右視圖像匹配的結(jié)果，左右視圖像在全視場(chǎng)范圍內(nèi)都能較為準(zhǔn)確匹配；（2）在紋理豐富的平面上放置形狀各異的立體物，將底面作為基準(zhǔn)面進(jìn)行匹配，標(biāo)定校正之前和之后的匹配結(jié)果如圖8（c）（d）所示，基準(zhǔn)面匹配后，其上的立體物會(huì)出現(xiàn)一定的像差，該像差隱含著立體物的深度信息。圖8（e）（f）是將具有一定高程的一個(gè)立體物的頂面作為基準(zhǔn)面匹配并將這一局部放大的結(jié)果，可以看到，在標(biāo)定校正之前這個(gè)平面上的紋理不能完全匹配，在標(biāo)定校正之后，該平面匹配較為準(zhǔn)確。

表1 錯(cuò)切角β的校正結(jié)果

圖8 標(biāo)定校正前后左右視圖像匹配結(jié)果對(duì)比

經(jīng)過(guò)本文算法的兩步標(biāo)定校正之后，左右視圖像在全視場(chǎng)范圍內(nèi)匹配都較為準(zhǔn)確。在0.2 mm/pixel的圖像上，誤差在2個(gè)像素之內(nèi)。

5 結(jié)論

針對(duì)具有鏡頭畸變的雙目線陣CCD的標(biāo)定，本文提出了兩步畸變校正與標(biāo)定方法，首先將姿態(tài)角的標(biāo)定與鏡頭畸變校正同時(shí)進(jìn)行，通過(guò)分段二次擬合融合曲線，給出校正關(guān)系，并對(duì)雙目線陣CCD進(jìn)行姿態(tài)角的標(biāo)定校正；之后，根據(jù)所求出的錯(cuò)切角進(jìn)行錯(cuò)切變換，完成對(duì)雙目線陣CCD的標(biāo)定與校正。實(shí)驗(yàn)結(jié)果表明，對(duì)于0.2 mm/pixel的圖像，經(jīng)過(guò)校正后在任意方向匹配誤差在2個(gè)像素之內(nèi)。

[1]邱茂林，馬頌德，李毅.計(jì)算機(jī)視覺(jué)中攝像機(jī)定標(biāo)綜述[J].自動(dòng)化學(xué)報(bào)，2000，26（1）：43-55.

[2]Guo Yang，F(xiàn)ang Zheng，Xu Xinhe.An analytic solution of a linear camera self-calibration[C]//The Sixth World Congress on Intelligent Control and Automation，2006，2：9930-9934.

[3]孟曉橋，胡占義.攝像機(jī)自標(biāo)定方法的研究與進(jìn)展[J].自動(dòng)化學(xué)報(bào)，2003，29（1）：110-124.

[4]Zhang Zhengyou.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[5]Horaud R，Mohr R，Lorecki B.Linear-camera calibration[C]// IEEE International Conference on Robotics and Automation，1992，2：1539-1544.

[6]張洪濤，段發(fā)階，丁克勤，等.基于兩步法線陣CCD標(biāo)定技術(shù)研究[J].計(jì)量學(xué)報(bào)，2007，28（4）：311-313.

[7]曲文乾，葉澤田，趙文吉，等.車載多傳感器集成系統(tǒng)中線陣相機(jī)的檢校方法及數(shù)據(jù)分析[J].光學(xué)技術(shù)，2009，35（5）：649-653.

[8]楊必武，郭曉松.攝像機(jī)鏡頭非線性畸變校正方法綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2005，10（3）：269-274.

[9]賀俊吉，張廣軍，楊憲銘.基于交比不變性的鏡頭畸變參數(shù)標(biāo)定方法[J].儀器儀表學(xué)報(bào)，2004，25（5）：597-599.

[10]朱錚濤，黎紹發(fā).鏡頭畸變及其校正技術(shù)[J].光學(xué)技術(shù)，2005，31（1）：136-141.

[11]韓友美，王留召，鐘若飛.基于激光掃描儀的線陣相機(jī)動(dòng)態(tài)高精度標(biāo)定[J].測(cè)繪學(xué)報(bào)，2010，39（6）：631-635.

ZHU Hong1,CHENG Song1,WANG Dong1,CHEN Haogang2,WANG Jia2

1.Faculty of Automation and Information Engineering,Xi’an University of Technology,Xi’an 710048,China
2.Luoyang Sunray Technology Co.Ltd.,Luoyang,Henan 471000,China

Camera calibration and lens distortion correction for linear CCD are the basic parts of 3D reconstruction with binocular linear CCD.An approach of calibration and lens distortion correction for binocular linear CCD used in 3D reconstruction is proposed.Based on the homography between left camera and right camera,and linear CCD imaging principle, spatial relationship between binocular camera is modeled as attitude angle and shear angle.By data fitting,the attitude angle and lens distortion are corrected,the shear angle is also computed to complete camera calibration.As to the analysis above,camera calibration and lens distortion correction are achieved.The experiment results show that the precision of calibration and correction could satisfy the need of image matching of 3D reconstruction in the future.

linear Charge-Couple Device;3D reconstruction;camera calibration;lens distortion correction

在雙線陣CCD的三維重建中，對(duì)線陣CCD相機(jī)的標(biāo)定和鏡頭畸變校正是基礎(chǔ)環(huán)節(jié)。提出了一種用于三維重建中的雙線陣CCD標(biāo)定及鏡頭畸變校正方法。根據(jù)左右相機(jī)間的單應(yīng)性關(guān)系，以及線陣CCD的成像原理，將雙目相機(jī)間的空間關(guān)系分解成姿態(tài)角與錯(cuò)切角的關(guān)系。通過(guò)靶圖數(shù)據(jù)的擬合，對(duì)姿態(tài)角和鏡頭畸變進(jìn)行校正，根據(jù)求出的錯(cuò)切角完成相機(jī)間的標(biāo)定，實(shí)現(xiàn)對(duì)具有鏡頭畸變的雙線陣CCD的標(biāo)定。實(shí)驗(yàn)結(jié)果表明，標(biāo)定和校正精度滿足后續(xù)三維重建中圖像匹配的需求。

線陣電荷耦合元件；三維重建；相機(jī)標(biāo)定；鏡頭畸變校正

A

TP391.4

10.3778/j.issn.1002-8331.1212-0208

ZHU Hong,CHENG Song,WANG Dong,et al.Camera calibration and lens distortion correction for binocular linear CCD.Computer Engineering and Applications,2014,50（22）：175-179.

國(guó)家國(guó)際科技合作項(xiàng)目（No.2011DRF10480）。

朱虹（1963—），女，博士，教授，主要研究領(lǐng)域?yàn)閿?shù)字圖像處理與模式識(shí)別；程松，碩士研究生；王棟，講師。E-mail：zhuhong@xaut.edu.cn

2012-12-17

2013-03-19

1002-8331（2014）22-0175-05

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-03-29,http://www.cnki.net/kcms/detail/11.2127.TP.20130329.1540.007.html