朱瑤 王治樂(lè) 賀磊 周程灝

?

線掃描相機(jī)標(biāo)定及畸變矯正方法

朱瑤 王治樂(lè) 賀磊 周程灝

（哈爾濱工業(yè)大學(xué)航天學(xué)院，哈爾濱 150001）

線掃描相機(jī)由于其高分辨率以及高數(shù)據(jù)處理效率的優(yōu)勢(shì)，使得其在測(cè)量領(lǐng)域的應(yīng)用越來(lái)越廣泛。但線掃描相機(jī)也會(huì)因光學(xué)系統(tǒng)畸變的存在影響成像的幾何位置精度，造成圖像的失真。文章面向線掃描相機(jī)標(biāo)定及畸變矯正的應(yīng)用需求，提出一種將一維數(shù)據(jù)映射到二維數(shù)據(jù)而不改變?cè)紨?shù)據(jù)的方法，以利用面陣相機(jī)的標(biāo)定方法來(lái)標(biāo)定線掃描相機(jī)。在標(biāo)定過(guò)程中，采用新型的標(biāo)定板來(lái)創(chuàng)建世界坐標(biāo)系與圖像坐標(biāo)系之間的關(guān)系。文章利用數(shù)字圖像處理的方法，對(duì)光學(xué)鏡頭自身畸變進(jìn)行標(biāo)定和矯正，基本消除了由于圖像變形而產(chǎn)生的測(cè)量誤差，有效解決了由于鏡頭畸變而降低圖像中物體的幾何位置精度的問(wèn)題。

圖像處理 相機(jī)標(biāo)定 畸變矯正 線掃描相機(jī)

0 引言

由于線掃描相機(jī)具有獲取數(shù)據(jù)準(zhǔn)確性好、效率高等優(yōu)點(diǎn)，因此，其用于測(cè)量的應(yīng)用變得越來(lái)越重要，尤其當(dāng)物體較大、連續(xù)移動(dòng)或需高分辨率成像時(shí)，線掃描相機(jī)有著不可替代的優(yōu)勢(shì)[1-5]。為了對(duì)大型零件的變形和大空間內(nèi)物體的運(yùn)動(dòng)狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，大視場(chǎng)高精度的線掃描相機(jī)應(yīng)運(yùn)而生。該類相機(jī)可以應(yīng)用于航天飛行器試驗(yàn)、飛機(jī)結(jié)構(gòu)強(qiáng)度靜力/疲勞試驗(yàn)、大型雷達(dá)測(cè)量等領(lǐng)域，并且滿足高精度動(dòng)態(tài)測(cè)量的需求，還可以推廣到造船、電力、建筑、交通等領(lǐng)域的大型零件測(cè)量應(yīng)用中[6]。

然而，由于光學(xué)系統(tǒng)設(shè)計(jì)、光學(xué)鏡頭的制造誤差和裝調(diào)誤差等因素，造成物體在經(jīng)過(guò)光學(xué)系統(tǒng)后實(shí)際所成的像與理想像之間存在不同程度的非線性幾何畸變[7-10]。而且，光學(xué)鏡頭不同視場(chǎng)的畸變也不同，邊緣視場(chǎng)的畸變最大。畸變的存在直接影響成像的幾何位置精度，在視場(chǎng)比較小的光學(xué)系統(tǒng)中畸變不顯著，但大視場(chǎng)的光學(xué)系統(tǒng)就必須采取措施來(lái)消除畸變帶來(lái)的影響[11]。

要想對(duì)光學(xué)系統(tǒng)進(jìn)行畸變矯正，首先需要對(duì)光學(xué)系統(tǒng)進(jìn)行標(biāo)定。目前基于面陣相機(jī)的標(biāo)定方法已有很多，如：文獻(xiàn)[12]提出了一種用于機(jī)器視覺(jué)測(cè)量的相機(jī)標(biāo)定技術(shù)，采用兩步法獲取攝像機(jī)的外部參數(shù)、焦距、徑向畸變以及圖像掃描參數(shù)；文獻(xiàn)[13]提出了一種靈活的方法來(lái)標(biāo)定相機(jī)，此方法僅需要相機(jī)獲取幾個(gè)（至少兩個(gè)）不同方向的平面圖案，并使用基于最大似然準(zhǔn)則的非線性優(yōu)化技術(shù)，得到解析解，方法靈活且容易實(shí)施，測(cè)試數(shù)據(jù)也非常好。目前對(duì)于線掃描相機(jī)的畸變校正方法很少被提及。線掃描相機(jī)獲得的是一維圖像信息，通常比二維面陣相機(jī)測(cè)量更精確有效，并且可以更簡(jiǎn)單方便地對(duì)獲取圖像進(jìn)行處理。面陣相機(jī)是基于二維圖像進(jìn)行標(biāo)定的，而線掃描相機(jī)只能獲得一維圖像，因此，面陣相機(jī)的標(biāo)定方法并不適用于線掃描相機(jī)。本文所述的線掃描相機(jī)標(biāo)定方法實(shí)現(xiàn)了一維到二維圖像數(shù)據(jù)的轉(zhuǎn)換，能夠通過(guò)坐標(biāo)轉(zhuǎn)換建立世界坐標(biāo)系與圖像坐標(biāo)系的關(guān)系，從而實(shí)現(xiàn)線掃描相機(jī)的標(biāo)定以及畸變矯正。

1 線掃描相機(jī)圖像采集系統(tǒng)

線掃描相機(jī)其CCD/CMOS傳感器由單線感光元件構(gòu)成，與拍攝二維圖像的面陣傳感器相機(jī)不同，如圖1所示。雖然傳感器只有一個(gè)像素高，但可以足夠?qū)?，以一定速度移?dòng)物體或相機(jī)逐行獲取圖像，最終獲得一幅二維圖像。線掃描相機(jī)具有比面陣傳感器相機(jī)更好的測(cè)量精度，且線性傳感器通常具有比面陣相機(jī)高的分辨率。當(dāng)物體較大，連續(xù)移動(dòng)或高分辨率成像時(shí)，線掃描相機(jī)通常是比面陣相機(jī)更好的選擇[13]。

圖1 面陣相機(jī)與線掃描相機(jī)

圖2 光學(xué)系統(tǒng)結(jié)構(gòu)

圖2為光學(xué)系統(tǒng)結(jié)構(gòu)示意圖，是由低畸變廣角成像光學(xué)鏡頭、線掃描CMOS探測(cè)器組成的光機(jī)電一體化產(chǎn)品。線掃描CMOS探測(cè)器組件與低畸變廣角成像光學(xué)鏡頭固定在一起，光學(xué)鏡頭將搜集到的可見(jiàn)光圖像清晰成像在探測(cè)器焦面上。探測(cè)器通過(guò)光電轉(zhuǎn)換，生成相應(yīng)強(qiáng)度的電信號(hào)輸出，生成可見(jiàn)光圖像，供后續(xù)圖像處理，從而實(shí)現(xiàn)大視場(chǎng)、高清晰、遠(yuǎn)距離目標(biāo)觀測(cè)及圖像采集功能。

具體的光學(xué)系統(tǒng)技術(shù)指標(biāo)如下：

1）工作波段：480～650nm；

2）視場(chǎng)角：≥90o；

3）光學(xué)畸變：≤5%；

4）工作距離：3～100m；

5）MTF≥0.4（0視場(chǎng)，100線對(duì)/mm），MTF≥0.3（0.7視場(chǎng)，100線對(duì)/mm）；

6）工作溫度：–10℃～＋70℃；

2 相機(jī)標(biāo)定

2.1 制備標(biāo)定板

圖3 標(biāo)定板

2.2 采集圖像

將線掃描相機(jī)、光源以及標(biāo)定板固定好，使線掃描相機(jī)對(duì)準(zhǔn)標(biāo)定板，對(duì)標(biāo)定板進(jìn)行拍照，由于相機(jī)是靜止不動(dòng)的，所以可以在相機(jī)視線上得到一維數(shù)據(jù)，視線與標(biāo)定板圖樣的線條相交有13個(gè)點(diǎn)（特征點(diǎn)），因此在線掃描相機(jī)像面上得到這13個(gè)點(diǎn)的一維信息，并且可以推算各個(gè)特征點(diǎn)的位置信息。圖4為標(biāo)定板成像圖。

視線與標(biāo)定板圖樣的交點(diǎn)為0，1，2，···，12，同一視線拍數(shù)幅圖，可以拼接成一幅圖，但依舊是一維信息，在這幅圖像上獲得與0，1，2，···，12相對(duì)應(yīng)的像點(diǎn)0，1，2，···，12，如圖4中13條黑豎線，并且可以得到

式中為正整數(shù)。

結(jié)合式（1），由此可以得到標(biāo)定點(diǎn)的橫坐標(biāo)與縱坐標(biāo)，對(duì)于1，3，5，…，2n-1特征點(diǎn)，其橫縱坐標(biāo)分別為

同理，可以計(jì)算2，4，6，…，2n的橫縱坐標(biāo)，分別為

2.3 創(chuàng)建二維圖像數(shù)據(jù)

得到標(biāo)定板的特征點(diǎn)和它們?cè)趫D像坐標(biāo)系下的相關(guān)位置后，開(kāi)始相機(jī)標(biāo)定。文獻(xiàn)[12]和文獻(xiàn)[13]提出的標(biāo)定方法都是針對(duì)面陣相機(jī)，在這種情況下，本文提出了一種新方法，即創(chuàng)建一組數(shù)據(jù)既適用于面陣相機(jī)標(biāo)定，并且不會(huì)改變線掃描相機(jī)獲得的信息。

用線掃描相機(jī)對(duì)靜止物體進(jìn)行拍照，只能獲得水平方向上的有效數(shù)據(jù)，此水平方向的數(shù)據(jù)為線掃描相機(jī)探測(cè)器獲得的一維數(shù)據(jù)，而垂直方向的數(shù)據(jù)只是時(shí)間累積的結(jié)果，即重復(fù)水平方向的一維數(shù)據(jù)。雖然采集圖像時(shí)可以得到特征點(diǎn)的二維位置信息，但是這些特征點(diǎn)都位于同一視線上，也就是說(shuō)，這些來(lái)自物方的特征點(diǎn)都是線性相關(guān)的。然而，當(dāng)前基于面陣探測(cè)器相機(jī)的標(biāo)定方法無(wú)法接受線性相關(guān)的輸入數(shù)據(jù)。因此，將一維數(shù)據(jù)變?yōu)槎S數(shù)據(jù)并且線性獨(dú)立，同時(shí)與線掃描相機(jī)標(biāo)定的結(jié)果保持一致。本文提出的解決方案是創(chuàng)建一個(gè)二維圖像坐標(biāo)，即在垂直維度上添加另一組與原始一維數(shù)據(jù)完全相同的圖像數(shù)據(jù)。這意味著在水平方向上存在的透鏡畸變將對(duì)垂直方向施加相同的效果。

根據(jù)鏡頭畸變的相關(guān)原理[14]，徑向畸變是像點(diǎn)沿徑向方向移動(dòng)，其數(shù)學(xué)模型為

圖5 二維圖像數(shù)據(jù)的創(chuàng)建

2.4 參數(shù)計(jì)算

考慮到平面的單應(yīng)性[16]，即二維平面上的點(diǎn)映射到相機(jī)的成像平面上，那么，三維點(diǎn)到像面上的點(diǎn)的映射可以用矩陣相乘的方式表示，且點(diǎn)與點(diǎn)空間位置關(guān)系如圖6所示，圖6描述了世界坐標(biāo)系、相機(jī)坐標(biāo)系、成像平面坐標(biāo)系與圖像坐標(biāo)系之間的關(guān)系[17-19]，三維點(diǎn)到二維像點(diǎn)的數(shù)學(xué)表達(dá)式可以表述為

式中 Q是世界坐標(biāo)系中的一點(diǎn)，；q是像面坐標(biāo)系的一點(diǎn)，；s是一個(gè)任意尺度比列；是外部參數(shù)，表示旋轉(zhuǎn)矩陣和平移矩陣；M是內(nèi)部參數(shù)；是主點(diǎn)坐標(biāo)；分別對(duì)應(yīng)在u軸和v軸上的焦距。

根據(jù)式（9），不難得到關(guān)于像點(diǎn)與物點(diǎn)的關(guān)系[20]。

而旋轉(zhuǎn)向量在構(gòu)造中是相互正交的，即

參考文獻(xiàn)[12]提出的最大似然估計(jì)方法，給出關(guān)于標(biāo)定板平面的幅圖像和個(gè)特征點(diǎn)，并考慮到采集的圖像像點(diǎn)因鏡頭畸變和噪音而失真，那么，可以通過(guò)最小化下面的函數(shù)得到最大似然估計(jì)

3 畸變矯正

對(duì)于線掃描相機(jī)，方向的畸變量可以忽略，因此，由式（7）和式（12）可以得到

通過(guò)計(jì)算，可以得到矯正后的點(diǎn)

由于計(jì)算的非失真點(diǎn)并不是整數(shù)像素點(diǎn)，使用KR插值算法[22]獲得均勻分布的亞像素點(diǎn)灰度信息，然后應(yīng)用1/10細(xì)分技術(shù)來(lái)選出圖像點(diǎn)，最后將這些點(diǎn)擬合到所需的未失真圖像坐標(biāo)。

通過(guò)上述的相機(jī)標(biāo)定方法，用本光學(xué)系統(tǒng)對(duì)標(biāo)定板進(jìn)行拍攝，計(jì)算相機(jī)各個(gè)參數(shù)，得出=26mm線掃描相機(jī)的標(biāo)定結(jié)果，見(jiàn)表1。

表1 相機(jī)參數(shù)

Tab.1 Camera parameters

圖7 畸變矯正結(jié)果

為了驗(yàn)證畸變矯正算法的準(zhǔn)確性，對(duì)5幅標(biāo)定板試驗(yàn)參與的情況下進(jìn)行畸變矯正，試驗(yàn)圖像的畸變矯正結(jié)果如表2所示，從表2中可以看出，畸變平均矯正精度優(yōu)于1個(gè)像素。

表2 畸變矯正精度

Tab.2 The accuracy of distortion correction

4 結(jié)束語(yǔ)

本文對(duì)線掃描相機(jī)的原理進(jìn)行了簡(jiǎn)單的介紹，詳細(xì)闡述了如何將線掃描相機(jī)采集的一維數(shù)據(jù)映射成二維圖像數(shù)據(jù)以適用于現(xiàn)有的面陣相機(jī)的標(biāo)定方法。在制備新型標(biāo)定板的情況下，建立世界坐標(biāo)系和圖像坐標(biāo)系之間的關(guān)系，以求解相機(jī)的內(nèi)外參數(shù)以及畸變系數(shù)。而對(duì)于線掃描相機(jī)的畸變，只需要矯正水平方向即可。該相機(jī)標(biāo)定以及畸變矯正方法操作簡(jiǎn)單，標(biāo)定板制備容易，并且能夠?qū)崿F(xiàn)較好的畸變矯正效果，畸變平均矯正精度均優(yōu)于1個(gè)像素。

[1] LUNA C A, MAZO M, LáZARO J L, et al. Calibration of Line-scan Cameras[J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(8): 2185-2190.

[2] KATAOKA K, OSAWA T, OZAWA S, et al. 3D Building Fa?ade Model Reconstruction Using Parallel Images Acquired by Line Scan Cameras[C]//IEEE International Conference on Image Processing, Genova, 2005, 1: I-1009.

[3] LI Y S, YOUNG T Y, MAGERL J A. Subpixel Edge Detection and Estimation with A Microprocessor- controlled Line Scan Camera [J]. IEEE Transactions on Industrial Electronics, 1988, 35(1): 105-112.

[4] DOUXCHAMPS D, MACQ B, CHIHARA K. High Accuracy Traffic Monitoring Using Road-Side Line-Scan Cameras[C]// IEEE Intelligent Transportation Systems Conference, Toronto, 2006: 875-878.

[5] CHRISTENSEN H I, F?RSTNER W. Editorial Performance Characteristics of Vision Algorithms[J]. Machine Vision & Applications, 1997, 9(5): 215-218.

[6] FANG S, XIA X, XIAO Y. A Calibration Method of Lens Distortion for Line Scan Cameras[J]. Optik-international Journal for Light and Electron Optics, 2013, 124(24): 6749-6751.

[7] 李晉惠, 韓黃璞. CCD 光學(xué)系統(tǒng)成像畸變量與視場(chǎng)角的標(biāo)定[J]. 西安工業(yè)大學(xué)學(xué)報(bào), 2012, 32(2): 99-102. LI Jinhui, HAN Huangpu. Calibrating Aberrations and Visual Angles in the CCD Imaging Optical System[J]. Journal of Xi’an Technological University, 2012, 32(2): 99-102. (in Chinese)

[8] WENG J, COHEN P, HERNIOU M. Camera Calibration with Distortion Models and Accuracy Evaluation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(10): 965-980.

[9] PER? J, KOVACIC S. Nonparametric, Model-based Radial Lens Distortion Correction Using Tilted Camera Assumption[C]// Proceedings of the Computer Vision Winter Workshop, 2002, 1: 286-295.

[10] PRESCOTT B, MCLEAN G F. Line-based Correction of Radial Lens Distortion[J]. Graphical Models and Image Processing, 1997, 59(1): 39-47.

[11] 羅紅娥, 陳平, 顧金良, 等. 線陣 CCD 測(cè)量系統(tǒng)的鏡頭畸變校正新方法[J]. 半導(dǎo)體光電, 2009, 30(3): 441-443. LUO Honge, CHEN Ping, GU Jinliang, et al. A New Method of Lens Distortion Calibration of Linear CCD Measurement System[J]. Semiconductor Optoelectronics, 2009, 30(3): 441-443. (in Chinese)

[12] ZHANG Z. Camera Calibration with One-dimensional Objects[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(7): 892-899.

[13] LIU H, YANG L, GUO Y, et al. Precise Calibration of Linear Camera Equipped with Cylindrical Lenses Using a Radial Basis Function-based Mapping Technique[J]. Optics Express, 2015, 23(3): 3412-3426.

[14] 劉金國(guó). 大視場(chǎng)光電測(cè)量系統(tǒng)的精密幾何標(biāo)定和畸變校正的研究[J]. 光學(xué)精密工程, 1994, 2(4): 109-120. LIU Jinguo. Study on High Accurate Geometric Calibration of Precision Photo-electronic Measuring System with Large Field of View and Distortion Correcting[J]. Optics and Precision Engineering, 1994, 2(4): 109-120. (in Chinese)

[15] 張蔚, 李恩普, 陳建明. 大視場(chǎng)光學(xué)系統(tǒng)畸變曲線擬合[J]. 電光與控制, 2004, 11(4): 57-59. ZHANG Wei, LI Enpu, CHEN Jianming. Curved-fitting Methods for Distortion Correction of Large-FOV Optical System[J]. Electronics Optics & Control, 2004, 11(4): 57-59. (in Chinese)

[16] ZHANG Z. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[17] TSAI R. A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology Using Off-the-shelf TV Cameras and Lenses[J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323-344.

[18] LIU Y, HUANG T S, FAUGERAS O D. Determination of Camera Location from 2-D to 3-D Line and Point Correspondences[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(1): 28-37.

[19] HEIKKILA J, SILVEN O. A Four-step Camera Calibration Procedure with Implicit Image Correction [C]//Computer Vision and Pattern Recognition, 1997 Proceedings, 1997 IEEE Computer Society Conference on. IEEE, 1997: 1106-1112.

[20] 李立春, 許穎慧, 孟彥鵬, 等. 月面探測(cè)中的單目相機(jī)成像測(cè)量方法[J]. 航天返回與遙感, 2015, 36(5): 36-43. LI Lichun, XU Yinghui, MENG Yanpeng, et al. Measurement Method Based on Image of Mono-view in Lunar Exploration[J]. Spacecraft Recovery and Remote Sensing, 2015, 36(5): 36-43. (in Chinese)

[21] MORé J J. The Levenberg-marquardt Algorithm: Implementation and Theory[M]//Numerical Analysis. Berlin: Springer Berlin Heidelberg, 1978: 105-116.

[22] TAKEDA H, FARSIU S, MILANFAR P. Kernel Regression for Image Processing and Reconstruction[J]. IEEE Transactions on Image Processing, 2007, 16(2): 349-366.

（編輯：王麗霞）

Calibration and Distortion Correction Method of Line Scan Camera

ZHU Yao WANG Zhile HE Lei ZHOU Chenghao

（School of Astronautics, Harbin Institute of Technology, Harbin 150001, China）

Line scan cameras are more and more widely used in measurement filed owning to their high resolution and high data-processing efficiency. However, optical distortion of the line scan camera can have direct impact on the accuracy of geometric position, and even results in a failure to image. In this paper, a method mapping data from one dimension to two dimension without changing the original ones is proposed to calibrate the line scan camera using the existing area-based calibration method. During the calibration, a new calibration pattern is used to correlate the world coordinate system and the image coordinate system. The digital image processing method is used to calibrate and correct the distortion of the optical lens, which basically eliminates the measurement error caused by the image deformation and effectively solves the problem of reducing the accuracy of geometric position due to the lens distortion.

image processing; camera calibration; distortion correction; line scan camera

V557+.1

A

1009-8518(2017)06-0046-08

10.3969/j.issn.1009-8518.2017.06.006

朱瑤，男，1991年生，2016年獲哈爾濱工業(yè)大學(xué)光學(xué)工程專業(yè)工程碩士學(xué)位，現(xiàn)在哈爾濱工業(yè)大學(xué)光學(xué)工程專業(yè)攻讀博士學(xué)位。研究方向?yàn)楣鈱W(xué)圖像處理技術(shù)和光電系統(tǒng)半實(shí)物仿真技術(shù)。E-mail：yuzhimingren@163.com。

2017-04-12

國(guó)家重大科學(xué)儀器設(shè)備開(kāi)發(fā)專項(xiàng)（2013YQ350747）