王海濤，洪 亮，譚成國

(1. 中國地質(zhì)大學(武漢)國家地理信息系統(tǒng)工程技術(shù)研究中心，湖北 武漢 430074； 2. 湖北省基礎(chǔ)地理信息中心(湖北省北斗衛(wèi)星導(dǎo)航應(yīng)用技術(shù)研究院)，湖北 武漢 430074； 3. 武大吉奧信息技術(shù)有限公司，湖北 武漢 430074)

一種用于相機檢校的黑白棋盤格角點提取算法

王海濤1，2，洪 亮1，2，譚成國3

(1. 中國地質(zhì)大學(武漢)國家地理信息系統(tǒng)工程技術(shù)研究中心，湖北 武漢 430074； 2. 湖北省基礎(chǔ)地理信息中心(湖北省北斗衛(wèi)星導(dǎo)航應(yīng)用技術(shù)研究院)，湖北 武漢 430074； 3. 武大吉奧信息技術(shù)有限公司，湖北 武漢 430074)

黑白棋盤格作為一種人造平面控制條件，是一種重要的相機標定的參考條件。本文基于其角點的對稱性、尺度不變性和領(lǐng)域特性，提出了一種有效的角點提取算法；同時針對格網(wǎng)邊緣的特性，提出了雙邊緣的匹配算法，以提取高精度的角點；使用不同型號的相機、不同棋盤格制設(shè)備進行試驗表明，本文提出的算法是一種具有很強魯棒性的黑白棋盤格角點提取算法，可以高精度地定位角點。

黑白棋盤格；光束法平差；邊緣匹配；直接線性變換；液晶顯示器

將平面控制條件(平面格網(wǎng)板[1]、聚脂薄膜格網(wǎng)[2]、打印紙張格網(wǎng)[3]、LCD繪制圓[4]等)作為相機檢校參考對象已被廣泛應(yīng)用，黑白棋盤格[5-8]更是被廣泛使用。計算機視覺庫OpenCV(open source computer vision library)[9]實現(xiàn)了黑白棋盤格角點的自動提取和文獻[1](張正友，2000)標定的算法[1]，但其速度和提取效果有待改善，本文使用黑白棋盤格的自身特性提出一種可靠的高精度網(wǎng)格點提取算法。

棋盤格使用內(nèi)角點(稱為X角點)作為平面控制點，多采用Harris[7，10]、SUSAN[5，11]等算子提取，經(jīng)處理后獲得有效格網(wǎng)角點[12]。黑白棋盤格角點作為人造的特征，有其自身的特性，本文稱為對稱性和尺度不變特性[13]；另外提取的X角點與其鄰域點有重要幾何特性，本文稱為鄰域特性，利用該特性可對X角點進行錯誤檢測。

采用光束法平差對相機檢校，檢校精度與X角點的提取精度相關(guān)。棋盤格網(wǎng)作為人造特征，格網(wǎng)黑白變換處形成階躍邊緣，邊緣匹配可以高精定位邊緣[17-18]，使用提取的邊緣直線相交計算子X角點子像素坐標。本文將針對黑白棋盤格網(wǎng)進行詳細分析，提出采用自適應(yīng)邊緣模板的邊緣匹配方法，以提高X角點的定位精度。

一、黑白棋盤格網(wǎng)繪制及特點分析

黑白棋盤格(如圖1—圖2所示)使用兩類角點(X角點)(圖1、圖2的點Ⅰ、Ⅱ)用于相機檢校。

圖1 繪制棋盤格

圖2 投影后的棋盤格

1. X角點的相關(guān)性

截取圖2中X角點的局部圖并反向(見表1)。從表1可知，每類X角點原始局部影像與另一類點的反向圖像相似。使用相關(guān)系數(shù)[19]可對X角點進行評估，同類X角點局部影像相關(guān)系數(shù)約等于1，不同類X角點局部影像相關(guān)系數(shù)約等于-1。

表1 X角點的局部圖及反向圖

2. X角點的對稱特性

(1) 對稱模式選擇

改革開放至今，中國經(jīng)濟發(fā)展取得了較大成就，外向型經(jīng)濟發(fā)展的特征也愈加明顯，特別是中國“入世”以后，中國對外貿(mào)易經(jīng)濟環(huán)境得到改善，憑借自身比較優(yōu)勢，對外貿(mào)易規(guī)模不斷擴大，逐漸成為美國的第二大貿(mào)易伙伴。據(jù)中國海關(guān)總署公布2017年全年進出口統(tǒng)計數(shù)據(jù)顯示，中國對美國貿(mào)易順差2758億美元，超過了2015年的2610億美元的最高紀錄，貿(mào)易順差擴大13%，達到了中美貿(mào)易順差的新高。中美貨物貿(mào)易赤字不斷擴大，美國部分經(jīng)濟學認為中美貿(mào)易發(fā)展導(dǎo)致美國制造業(yè)就業(yè)崗位縮減，并導(dǎo)致藍領(lǐng)失業(yè)人口上升30%。 隨著中國對美國貿(mào)易順差，中美貿(mào)易摩擦持續(xù)升級，美國貿(mào)易保護主義抬頭勢頭明顯。

本文選擇原點對稱、X軸對稱、Y軸對稱、y=x軸對稱、y=-x軸對稱。圖3為Ⅰ類X角點關(guān)于以上對稱軸的示意圖(Ⅱ類X角點同理)，點A對稱點依次為B、C、D、E、F。

圖3 X角點對稱特性

(2) X角點對稱特性及與像素值關(guān)系

表2 X角點對稱特性像素值關(guān)系

(3) 圖像對稱變換及特性分析

使用圖3的對稱方式將X角點圖像進行變換，變換后的圖像表達式及特性見表3。圖4(a)為黑白棋盤格網(wǎng)原始影像，圖4(b)—(f)為表4變換方式表達的新影像。

圖4 對稱特性變換影像表達

(4) 對稱特性影像變換及相似性

按照圖3對稱方式對X角點局部圖像進行變換，以Ⅰ類X角點為例(Ⅱ類X角點同理)。為便于突出變換效果，給Ⅰ類X角點不同部分用字母A、B、C、D標識，變換后點結(jié)果見表4，可知原始影像關(guān)于原點對稱，y=x軸與y=-x軸變換影像相似，x軸與y軸變換影像相似，對此相似性可用相關(guān)系數(shù)[19]進行評定。

3. X角點尺度特性

David Lowe在局部特征描述子提出尺度空間[13]的概念，本文使用影像金字塔的方式表達尺度。由表5可知，對于Ⅰ類X角點來說(Ⅱ類X角點同理)，在不同金字塔影像級別依然相似。不同尺度影像間的相關(guān)系數(shù)[19]應(yīng)約等于1。

二、X角點子像素提取

1. 格網(wǎng)點邊緣特征

將拍攝的黑白棋盤格影像灰度值作為高度值進行配色顯示局部放大，效果如圖5(a)所示。將圖5(a)橢圓圈住部分顯示剖面(如圖5(b)所示)，圖5(b)箭頭標識部分對應(yīng)圖5(a)白色雙線對應(yīng)部分。另外，將圖5(a)白色雙線對應(yīng)部分對應(yīng)的邊緣進行三維剖面顯示，效果如圖5(c)所示。

表3 影像變換及特性

表4 Ⅰ類X角點影像對稱變換效果圖

表5 X角點不同級別金字塔局部影像

圖5 棋盤格剖面

分析圖5可知，黑白棋盤格網(wǎng)黑白過渡地方的邊緣為直線A和B的中間部分。下面分析X角點與格網(wǎng)邊緣的關(guān)系，從圖6可知，X角點的邊緣需使用雙線邊緣表述。

圖6 棋盤格雙邊緣

2. 邊緣匹配

使用理論邊緣模板進行邊緣匹配[17，20]是一種有效點直線邊緣定位方法。圖7是文獻[17—18]使用的一種邊緣描述模板。

圖7 邊緣理論模板

從圖5(b)剖面圖可知，圖7邊緣理論模板不能充分表達棋盤格網(wǎng)影像黑白過渡區(qū)域邊緣特征。圖8是y=-tan-1x點曲線圖，可以看出曲線與棋盤格網(wǎng)影像黑白過渡區(qū)域邊緣特征相似。本文選擇該函數(shù)描述棋盤格網(wǎng)影像黑白過渡區(qū)域邊緣特征，則邊緣灰度值與理論模板曲線的關(guān)系可表達為

(1)

圖8 函數(shù)曲線

圖9 邊緣匹配及提取角點(放大4倍)

三、試驗分析

筆者采用攝影測量的自檢校光束法進行平差[2，4]，相機的畸變模型采用文獻[4]、文獻[17]中的畸變模型參數(shù)。對未知數(shù)初值的解算有多種方法(如二維DLT、SVD分解等)，本文采用張永軍[2]的二維DLT算法。對于LCD本身的誤差[4]，采用附有限制條件的間接平差[4，20]模型進行平差計算。為克服自檢校平差中的過度參數(shù)化[16]，采用小二乘平差的嶺估計解法[21]。

本文使用不同型號的數(shù)碼相機(見表8)、不同黑白棋盤格網(wǎng)的繪制設(shè)備(見表9)來驗證算法。繪制黑白棋盤格X角點的數(shù)量為391個(23×17)。本文拍攝方式采用文獻[4]的方法，拍攝效果如圖10所示。

1. X角點提取試驗

使用表8中型號的數(shù)碼相機和表9中的繪制設(shè)備，拍攝12組影像，共1076張，驗證X角點的提取算法。圖11是一副拍攝影像的提取效果圖，所有試驗結(jié)果見表10。

表8 試驗用數(shù)碼相機

表9 格網(wǎng)繪制設(shè)備

圖10 拍攝方式

圖11 提取的X角點

2. 平差試驗

對不同型號的相機、不同型號的黑白棋盤格網(wǎng)繪制設(shè)備開展平差試驗。采用兩種方式見表11—表15：①同一型號相機、不同型號黑白棋盤格網(wǎng)繪制設(shè)備；②同型號黑白棋盤格網(wǎng)不同型號相機、繪制設(shè)備?？紤]到不同相機像元尺寸的不同，本文將精度統(tǒng)一到像素單位。

1) 同一型號相機，不同型號黑白棋盤格網(wǎng)繪制設(shè)備，見表11、表12。

表11 相機5D Mark Ⅲ(24 mm)

表12 相機ILCE-7R

2) 同型號黑白棋盤格網(wǎng)繪制設(shè)備，不同型號相機，見表13—表15。

表13 繪制設(shè)備KDL-52V5500

表14 繪制設(shè)備LG 27EA33

表15 繪制設(shè)備飛利浦 HNA7170T

四、結(jié)束語

通過不同型號數(shù)碼相機、不同型號的繪制設(shè)備來繪制黑白棋盤格網(wǎng)的大量試驗表明，基于X角點自身特性(對稱性、尺度不變性、領(lǐng)域特性)的角點提取算法具有很強的魯棒性，是一種有效的X角點提取算法。光束法平差驗證表明，雙邊緣的邊緣匹配算法可以提取高精度X角點，本文提出的邊緣匹配算法是一種有效的邊緣定位算法。

[1] ZHANG Z Y. A Flexible New Technique for Camera Calibration[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2000,22(11): 1330-1334.

[2] 張永軍. 利用二維DLT 及光束法平差進行數(shù)字攝像機標定[J]. 武漢大學學報(信息科學版),2002,27(6): 576-571.

[3] NOMA T, OTANI H, ITO T, et al. New System of Digital Camera Calibration,DC-1000[C]∥ISPRS Commission 5 Symposium. Corfu, Greece：[s.n.]，2002.

[4] 詹總謙.基于純平液晶顯示器的相機標定方法與應(yīng)用研究[D]. 武漢：武漢大學,2006.

[5] 徐樹奎,李國輝,張軍,等. 基于多方向?qū)ΨQ和勻質(zhì)約束的SUSAN棋盤格角點檢測算法[J].計算機科學,2011,38(9):248-253.

[6] 劉洋，王福利，常玉清,等. 黑白棋盤格角點檢測算法[J].東北大學學報(自然科學版),2007,28(8):1090-1093.

[7] 王忠石，徐心和. 棋盤格模板圖像角點的識別[C]∥2005年中國控制與決策學術(shù)年會(17CDC)論文集. 哈爾濱：[s.n.]，2005.

[8] 吳海濱,周英蔚,周雨潤,等. 基于Hessian矩陣的黑白棋盤格角點檢測[J]. 大氣與環(huán)境光學學報, 2013, 8(5): 395-400.

[9] OpenCV. Intel OpenCV Computer Vision Library[EB/OL]. [2016-05-31]. http:∥www.intel.com/research/mrl/research/opencv.

[10] HARRIS C, STEPHENS M. A Combined Corner and Edge Detector[C]∥Proceedings Alvey Conference. Manchester, UK:[s.n.]，1988.

[11] SMITH S M,BRADY J M.SUSAN——A New Approach to Low Level Image Processing[J].International Journal of Computer Vision,1997,23(1): 45-78.

[12] 王忠石,徐心和. 棋盤格模板角點的自動定位[J]. 東北大學學報(自然科學版),2006,27(9):949-952.

[13] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision(S0920-5691),2004,60(2):91-110.

[14] TSAI. A Versatile Camera Calibration Technique for High Accuracy 3D Machine Vision Metrology Using Off-the-shelf TV Cameras and Lenses[J]. IEEE J. Robotics and Automation,1987,3(4): 323-344.

[15] 馮文灝.近景攝影測量[M].武漢：武漢大學出版社,2002.

[16] 李德仁，袁修孝.誤差處理與可靠性理論[M].武漢：武漢大學出版社，2002.

[17] HU X,ZHANG Z, ZHANG J. An Approach of Semiautomated Road Extraction from Aerial Image Based on Template Matching and Neural Network[J].International Archives of Photogrammetry and Remote Sensing, 2000, ⅩⅩⅩⅢ(B3/2): 994-999.

[18] 吳軍.三維城市建模的建筑墻面紋理快速重建研究[D].武漢：武漢大學，2003.

[19] 張祖勛，張劍清. 數(shù)字攝影測量學[M].2版.武漢：武漢大學出版社，2012.

[20] 高士純. 附有限制條件的間接分組平差模型與公式[J]. 武漢測繪科技大學學報,1996,21(1):36-40.

[21] 王樂洋，許才軍，魯鐵定. 病態(tài)加權(quán)總體最小二乘平差的嶺估計解法[J]. 武漢大學學報(信息科學版)，2010, 35(11): 1346-1350.

[22] GRUEN A W. Adaptive Least Square Correlation: A Powerful Image Matching Technique[J]. South African Journal of Photogrammetry and Remote Sensing,1985, (14)3:175-187.

[23] 林宗堅,崔紅霞,孫杰,等. 數(shù)碼相機的畸變差檢測研究[J]. 武漢大學學報(信息科學版),2005,30(2):122-125.

[24] 張祖勛.數(shù)字攝影測量與計算機視覺[J]. 武漢大學學報(信息科學版),2004,29(12):1035-1039.

An Effective Algorithm of the Black and White Checkerboard Corner Detection for the Camera Calibration

WANG Haitao，HONG Liang，TAN Chengguo

2016-06-21

國家863計劃(2013AA122104)；測繪地理信息公益性行業(yè)科研專項(201512012)

王海濤(1976—)，男，博士生，高級工程師，研究方向為攝影測量與計算機視覺。E-mail：306550757@qq.com

王海濤，洪亮，譚成國.一種用于相機檢校的黑白棋盤格角點提取算法[J].測繪通報，2016(12)：33-38.

10.13474/j.cnki.11-2246.2016.0396.

P237

B

0494-0911(2016)12-0033-06