劉文慶 馮鋒

關(guān)鍵詞： 相機(jī)校準(zhǔn); 概率分布; 3D重建; 相機(jī)內(nèi)參; 信息增益; 最優(yōu)路線

中圖分類(lèi)號(hào)： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）05?0048?05

Camera internal parameter optimization method based on probability distribution

LIU Wenqing， FENG Feng

（Ningxia University， Yinchuan 750021， China）

Abstract： The accuracy of the camera parameter determines the realization result of subsequent vision tasks. An internal parameter determination method based on probability distribution outliers removal and information gain is proposed to improve the calibration accuracy of camera. A camera is used to shoot a set of pictures of a certain size of the checkerboard， then a number of pictures are randomly selected in the picture set， and the Zhang′s calibration method is adopted to carry out the [N]?group calibration experiment for the pictures. The outliers are removed from the calibrated result set according to its probability distribution. The factor values of each internal parameter in residual dataset are divided into three categories. The parameter category with highest information gain under current root node is selected as the optimal node， that is， the optimal route has the maximum information gain. The camera parameters are estimated by using the median value of the result set with higher accuracy in the optimal route. The experimental results show that， in comparison with the original method， the accuracy of the proposed method is improved.

Keywords： camera calibration; probability distribution; 3D reconstruction; camera internal parameter; information gain; optimal route

0 ?引 ?言

在基于圖像的光學(xué)測(cè)量系統(tǒng)中，相機(jī)是最重要的功能模塊之一。相機(jī)的數(shù)學(xué)模型是相機(jī)的測(cè)量空間和圖像平面之間的投影關(guān)系。相機(jī)校準(zhǔn)用于獲取相機(jī)數(shù)學(xué)模型中的所有參數(shù)，光學(xué)測(cè)量系統(tǒng)對(duì)于獲得高精度的相機(jī)校準(zhǔn)很重要。任何視覺(jué)系統(tǒng)通過(guò)從相機(jī)或數(shù)據(jù)存儲(chǔ)設(shè)備獲取圖像或一組圖像來(lái)開(kāi)始其工作。在大多數(shù)工業(yè)案例中，需要從以現(xiàn)實(shí)世界坐標(biāo)表示的視覺(jué)系統(tǒng)中獲取測(cè)量值，這需要將像素度量轉(zhuǎn)換為度量值。為了進(jìn)行這種轉(zhuǎn)換，需要獲得相機(jī)的適當(dāng)剛性變換和內(nèi)在參數(shù)的知識(shí)。

無(wú)論系統(tǒng)配置如何，相機(jī)校準(zhǔn)的過(guò)程對(duì)于應(yīng)用視覺(jué)系統(tǒng)至關(guān)重要，并且專(zhuān)注于確定一組相機(jī)內(nèi)在參數(shù)。 后者描述像素尺寸、投影中心、主長(zhǎng)度和失真特性。流行的校準(zhǔn)方法通常使用不同形式的目標(biāo)，使用2D平面目標(biāo)的最典型的方法是Zhang提出的方法（稱(chēng)為張氏法），該方法具有靈活的校準(zhǔn)過(guò)程和高校準(zhǔn)精度的優(yōu)點(diǎn)，由于其實(shí)用性和簡(jiǎn)便性而被廣泛使用。張氏方法的校準(zhǔn)誤差主要來(lái)自于目標(biāo)的制造誤差和圖像特征點(diǎn)位置誤差兩個(gè)部分。相機(jī)的內(nèi)在和外在參數(shù)的集合允許從圖像恢復(fù)度量測(cè)量。給定與校準(zhǔn)信息相結(jié)合的深度信息，則可以獲得所謂的3D圖像，即具有度量信息和顏色的圖像。

本文提出一種基于信息增益的參數(shù)估計(jì)以及內(nèi)參的最終選擇方法，旨在提高視覺(jué)系統(tǒng)校準(zhǔn)過(guò)程的精度和魯棒性。

1 ?相關(guān)工作

1.1 ?相機(jī)成像模型

真正的相機(jī)成像模型可以分為兩部分：針孔相機(jī)模型和鏡頭失真模型。 在針孔相機(jī)成像和透視幾何理論的基礎(chǔ)上，理想的相機(jī)模型如圖1所示。

圖1中三維點(diǎn)由[pw=x，y，zT]表示，2D點(diǎn)由[pu=u，vT]表示，這是[pw]的理想成像點(diǎn)。 使用[x]表示增加的向量，加1作為向量的最后一個(gè)元素值：[pu=u，vT]和[pw=x，y，zT]。[pw]和[pu]的關(guān)系由下式給出：

[λpu=ARTpw， ? ? λ≠0] ?（1）

式中：[R，T]分別是3×3正交旋轉(zhuǎn)矩陣和3×1的平移向量;[pu]表示計(jì)算機(jī)像素中圖像坐標(biāo)系中某一點(diǎn)的均勻坐標(biāo)（以像素為單位）;[pw]表示3D世界坐標(biāo)系中物體的3D坐標(biāo);[λ]是任意的比例因子，使得[λ≠0];[A]是一個(gè)內(nèi)部參數(shù)矩陣，定義為：

[A=fu0u00fvv0001]

[fu]和[fv]分別是相機(jī)在[u，v]軸有效焦距長(zhǎng)度（以像素為單位），[u0]和[v0]是相機(jī)的主點(diǎn)坐標(biāo)。

鏡頭畸變使用式（2）進(jìn)行更正：

[xd=xu+xu（k1r2+k2r4）+2p1xuyu+p2（r2+2x2u）yd=yu+yu（k1r2+k2r4）+2p2xuyu+p1（r2+2y2u）] （2）

式中：[r2=x2u+y2u]，參數(shù)[k1]，[k2]，[p1]和[p2]是圖像對(duì)稱(chēng)的徑向和切向畸變系數(shù)。通過(guò)應(yīng)用基于平面的校準(zhǔn)算法，可以使用棋盤(pán)圖案的多個(gè)視圖校準(zhǔn)攝像機(jī)的內(nèi)部參數(shù)。 方程（2）的非線性性質(zhì)意味著必須使用迭代算法，通過(guò)最小化模型和觀測(cè)值之間的誤差來(lái)估計(jì)參數(shù)。通常使用最小化平方誤差之和的最小二乘擬合來(lái)執(zhí)行該過(guò)程。目標(biāo)函數(shù)表示為：

[J=i=1N（xmi-xdi）2+（ymi-ydi）2] （3）

式中：（[xdi]，[ydi]）是圖像中點(diǎn)的真正坐標(biāo);（[xmi]，[ymi]）是使用基于小孔成像模型模擬估計(jì)的3D坐標(biāo)。

1.2 ?提高相機(jī)標(biāo)定精度

為了確保校準(zhǔn)算法的結(jié)果更準(zhǔn)確，必須滿足一些基本要求，比如平面校準(zhǔn)目標(biāo)的視圖不得在兩個(gè)或更多個(gè)校準(zhǔn)圖像中平行。為了更好地估計(jì)相機(jī)失真，校準(zhǔn)目標(biāo)應(yīng)出現(xiàn)在圖像的四個(gè)角落，并盡可能地覆蓋外部取向。

文獻(xiàn)[1]首先確定圖像特征點(diǎn)的初始值和不確定性。然后將圖像干擾因子添加到每個(gè)目標(biāo)圖像特征點(diǎn)。此外，根據(jù)目標(biāo)平面和圖像平面之間的單應(yīng)性矩陣，將圖像投影誤差建立為最小目標(biāo)函數(shù)。通過(guò)使用Zhang的方法結(jié)合優(yōu)化的特征點(diǎn)坐標(biāo)，可以實(shí)現(xiàn)相機(jī)內(nèi)在和外在參數(shù)的校準(zhǔn)。

文獻(xiàn)[2]中介紹了一種用于校準(zhǔn)多個(gè)Kinect V2傳感器的工具。從每個(gè)攝像機(jī)至少進(jìn)行三次采集，而且可以在相鄰傳感器之間獲得多個(gè)3D點(diǎn)匹配，并用它們來(lái)估計(jì)攝像機(jī)參數(shù)。

文獻(xiàn)[3]中提出一種使用反投影過(guò)程（BPP）的通用攝像機(jī)校準(zhǔn)方法。首先使用前向投影模型來(lái)獲得具有流行平面棋盤(pán)圖案的初始內(nèi)在和外在參數(shù)。然后，將提取的圖像點(diǎn)投影回3D空間并與理想點(diǎn)坐標(biāo)進(jìn)行比較。最后，通過(guò)非線性函數(shù)最小化過(guò)程來(lái)改進(jìn)攝像機(jī)參數(shù)的估計(jì)。

文獻(xiàn)[4]通過(guò)去除用于校準(zhǔn)的每個(gè)圖像中的異常值特征點(diǎn)，改進(jìn)了張氏校準(zhǔn)算法的準(zhǔn)確性和魯棒性。如果一個(gè)特征點(diǎn)的投影誤差是不可接受的，那么它被認(rèn)為是一個(gè)異常值。這可能是由圖像噪聲，照明不均勻，相機(jī)或物體表面的污染或特征檢測(cè)器實(shí)現(xiàn)的性能造成的。

文獻(xiàn)[5]中，Zhang的校準(zhǔn)方法補(bǔ)充了附加優(yōu)化程序。提出的方法最小化了校準(zhǔn)平面與光線的交點(diǎn)與3D攝像機(jī)坐標(biāo)系中的已知特征點(diǎn)之間的距離。

Zhang的校準(zhǔn)誤差主要來(lái)自于標(biāo)定物目標(biāo)的數(shù)量、目標(biāo)中特征點(diǎn)的數(shù)量以及提取精確度、目標(biāo)的規(guī)格、單位網(wǎng)格的尺寸、鏡頭畸變等。因此很多文獻(xiàn)已經(jīng)從這些方面入手，并討論了標(biāo)定物理設(shè)備對(duì)標(biāo)定精度的影響。本文從標(biāo)定結(jié)果集的數(shù)值考慮，通過(guò)有效的數(shù)據(jù)分析得到最優(yōu)的相機(jī)參數(shù)解。

2 ?相機(jī)參數(shù)的確定

2.1 ?參數(shù)估計(jì)

令[I]用不同的校準(zhǔn)對(duì)象視圖來(lái)表示一大組圖像，所有這些圖像都被正確地檢測(cè)到。如果[I]的大小為[N]，則[I={i1，i2，…，iN}]。

令[S]表示[I]的隨機(jī)抽取子集的冪集，每個(gè)大小為[m]。 因此，[S={s1，s2，…，sn}]，使得[sk∈Im]。給定[m≤N]，來(lái)自[N]個(gè)對(duì)象的唯一[m]長(zhǎng)度組合的最大數(shù)量計(jì)算如下：

[CmN=N！m！（N-m）！] （4）

隨著集合[I]的大小[N]的增加，可能的[m]長(zhǎng)度組合的數(shù)量顯著增加。 因此，如果[N]足夠大，則可以從[I]生成所需數(shù)量的唯一子集。

提出的算法步驟如下：

1） 以不同的方向獲取校準(zhǔn)圖案的原始圖像的圖像集[Iori]。

2） 在每個(gè)圖像中，[ik∈Iori]檢測(cè)校準(zhǔn)對(duì)象的特征。特征檢測(cè)成功的那些圖像屬于一個(gè)新的集合[I?Iori]的長(zhǎng)度為[N]。

3） 給定子集大小[m]和唯一子集數(shù)[n]， 檢查[n≤CmN]。如果后一個(gè)表達(dá)式成立，則繼續(xù)，否則終止。

4） 從[I]生成尺寸為[m]的[n]個(gè)子集：[S={s1，s2，…，sn}]。

5） 對(duì)每個(gè)圖像集[sk∈S]執(zhí)行相機(jī)校準(zhǔn)。

6） 將校準(zhǔn)結(jié)果存儲(chǔ)在數(shù)據(jù)幀[D]中，形成矩陣[Rn×6]，其中每行對(duì)應(yīng)于使用[sk]獲得的相機(jī)內(nèi)參[（fx，fy，u0，v0，k1，k2）]。

7） 異常值的剔除。對(duì)于[D]的每一列分別計(jì)算其均值[μp]和標(biāo)準(zhǔn)差[σp]，對(duì)于每一行的數(shù)據(jù)，如果有一個(gè)不滿足[[μp-3σp，μp+3σp]]，則從數(shù)據(jù)幀[D]中刪除這一行。然后重新計(jì)算新數(shù)據(jù)幀的均值和標(biāo)準(zhǔn)差，直到所有的數(shù)據(jù)都在范圍之內(nèi)。

8） 對(duì)于剔除異常值之后的標(biāo)定結(jié)果集[（fx，fy，u0，v0，k1，k2，errx，erry）]，以[errx]為主序，對(duì)整個(gè)結(jié)果集進(jìn)行排序，然后根據(jù)排序后的[erry]進(jìn)行標(biāo)記標(biāo)定結(jié)果的好壞。

9） 對(duì)相機(jī)內(nèi)參分別以[fx，fy，u0，v0]為主序進(jìn)行排序，然后分別按照[fx，fy，u0，v0]分為三類(lèi)，即分支節(jié)點(diǎn)。首先根節(jié)點(diǎn)包含全部例子，并且分別計(jì)算好與壞的標(biāo)定比例，[fx，fy，u0，v0]中信息增益最大的為根節(jié)點(diǎn)。根節(jié)點(diǎn)的信息熵、信息增益分別定義如下：

[H（D）=-i=1rpilog2pi] （5）

[Gain（D，fx）=H（D）-v=1V fxv DH（fxv）] （6）

10） 以[fx]為例，分為三類(lèi)分別標(biāo)記為[fx1，fx2，fx3]，然后根據(jù)式（5）分別計(jì)算三個(gè)分支節(jié)點(diǎn)的信息熵，根據(jù)等式（6）計(jì)算[fx]的信息增益。同理求出[fy，u0，v0]的信息增益。選擇增益最大的屬性作為根節(jié)點(diǎn)進(jìn)行劃分，在分支節(jié)點(diǎn)中選擇增益最大的一個(gè)節(jié)點(diǎn)繼續(xù)同樣的步驟進(jìn)一步劃分，最后得到一條最優(yōu)路線。

11） 在最優(yōu)路線的結(jié)果集中，按照根節(jié)點(diǎn)為主序進(jìn)行排序，然后在好的標(biāo)定結(jié)果中取中值作為最佳內(nèi)參選擇。

2.2 ?精度評(píng)估

相機(jī)校準(zhǔn)精度的典型測(cè)量是重投射誤差，其中給定內(nèi)參[（fx，fy，u0，v0，k1，k2）]以及視圖[ik]的已知外參，然后，在真實(shí)像素坐標(biāo)[（ui，vi）]和投影像素坐標(biāo)[（uproi，vproi）]之間計(jì)算均方根（RMS）投影誤差。像素誤差即在[x]和[y]方向上以像素為單位的重投影誤差的標(biāo)準(zhǔn)差，重投影誤差越小，標(biāo)定精度越高。然而，對(duì)于給定的圖像集合[sk]，最小化的RMS誤差將不同。

[E=1ni=1n[（ui-uproi）2+（vi-vproi）2]] ?（7）

3 ?實(shí) ?驗(yàn)

3.1 ?實(shí)驗(yàn)準(zhǔn)備

校準(zhǔn)實(shí)驗(yàn)使用640×480分辨率的Kinect2攝像機(jī)以及三角架，使用方格尺寸為30.0 mm的9×7規(guī)格的方格圖案棋盤(pán)通過(guò)使用張氏算法對(duì)相機(jī)進(jìn)行校準(zhǔn)。使用圖像采集系統(tǒng)采集圖像時(shí)，方格圖約占整個(gè)屏幕的[13]，使用的標(biāo)定工具是Matlab的校準(zhǔn)工具箱Toolbox for Matlab。

3.2 ?實(shí) ?驗(yàn)

1） 使用圖像采集系統(tǒng)采集不同方位的方格棋盤(pán)圖像20張，生成子集的大小為18，子集數(shù)量為190。

2） 對(duì)190組圖像分別用Matlab標(biāo)定箱進(jìn)行標(biāo)定，標(biāo)定結(jié)果集如圖2a）～圖2e）所示。其中，圖2a）～圖2e）分別為焦距[f]在[x]方向、焦距[f]在[y]方向、主點(diǎn)[u0]、主點(diǎn)[v0]隨著標(biāo)定次數(shù)參數(shù)值的變化情況。

3） 本次實(shí)驗(yàn)異常值的剔除。依據(jù)2.1節(jié)的步驟7）需要剔除23個(gè)數(shù)據(jù)。

4） 以[errx]為主序，對(duì)整個(gè)結(jié)果集進(jìn)行排序，然后根據(jù)排序后的[erry]進(jìn)行標(biāo)記，標(biāo)定結(jié)果的好壞。此次實(shí)驗(yàn)中將[0.108 ?98≤erry≤0.113 ?97]的標(biāo)定結(jié)果標(biāo)記為好。

5） [fx，fy，u0，v0]的信息增益分別為：[Gain（D，fx）=0.112]，[Gain（D，fy）=0.135]，[Gain（D，u0）=0.144]，[Gain（D，v0）=0.133]，因此選擇[u0]為劃分根節(jié)點(diǎn)。

6） 以[u0]為劃分根節(jié)點(diǎn)，[u01，u02，u03]為分支節(jié)點(diǎn)，以[u01]為例，需要計(jì)算除了[u0]之外的[fx，fy，v0]的信息增益。如[Gain（u01，fx）=0.196]，[Gain（u01，fy）=0.171]，[Gain（u01，v0）=]0.029。因此，[u01]下的分支節(jié)點(diǎn)為[fx]。

7） 同理，依次求出[fx2]的下一個(gè)分支節(jié)點(diǎn)是[fy2]，最后是[v0]。

8） 因?yàn)閇Gain（fx2，fy）=0.096]，[Gain（fx3，v0）=0.224]，因此選擇[fx3?v0]。

9） 同上，從中選擇的最優(yōu)路線是[u01?fx3?v01?fy2]。

10） 將上述結(jié)果集按照[u0]進(jìn)行排序，然后將標(biāo)定結(jié)果標(biāo)記為好的結(jié)果取均值確定其內(nèi)參。屬于[u01]的結(jié)果集如表1所示。即[fx=511.720 ?64]，[fy=515.499 ?36]，[u0=320.945 ?88， ? v0=249.225 ?52， ? ? k1=0.210 ?28， ? ? k2=][-0.457 ?346]。

3.3 ?結(jié)果分析

使用張氏方法和本文方法校準(zhǔn)的內(nèi)參結(jié)果比較，見(jiàn)表2。從表2的數(shù)據(jù)可看出，使用本文方法可以得到對(duì)相機(jī)參數(shù)更精確的估計(jì)。由于大多數(shù)攝像機(jī)校準(zhǔn)過(guò)程是離線執(zhí)行的，所以認(rèn)為過(guò)程耗費(fèi)時(shí)間不是考慮的主要因素，并且校準(zhǔn)的準(zhǔn)確性比它更重要。

在[n=]190的原始內(nèi)參中，除去異常值23個(gè)子集，還存在21個(gè)子集小于最優(yōu)參數(shù)的重投影誤差，因此約有88%的例子證明提出的方法比原有的張氏方法提高了精確度。

4 ?結(jié) ?語(yǔ)

本文首先使用一個(gè)攝像機(jī)對(duì)規(guī)格為9×7，網(wǎng)格大小為30 mm×30 mm的物理棋盤(pán)圖獲取了20張圖像，然后設(shè)定每個(gè)子集的大小是18，則子集數(shù)量為190，使用Matlab的標(biāo)定箱進(jìn)行相機(jī)校準(zhǔn)，獲得內(nèi)參集之后，按照本文方法執(zhí)行內(nèi)參估計(jì)。所提出的方法提高了相機(jī)校準(zhǔn)的魯棒性，因?yàn)閷?duì)于內(nèi)參的確定，返回的是自然平均值而不是固定值。結(jié)果表明，該方法在使用不同圖像集的相同相機(jī)校準(zhǔn)，可獲得不同組的相機(jī)內(nèi)在參數(shù)，在88%的情況下可以有更高的精度。

參考文獻(xiàn)

[1] LIU Z， WU Q， CHEN X， et al. High?accuracy calibration of low?cost camera using image disturbance factor [J]. Optics express， 2016， 24（21）： 24321?24336.

[2] C?RDOVA?ESPARZA D M， TERVEN J R， JIM?NEZ?HERN?NDEZ H， et al. A multiple camera calibration and point cloud fusion tool for Kinect V2 [J]. Science of computer programming， 2016， 143（20）： 1?8.

[3] GU F F， ZHAO H， MA Y Y， et al. Camera calibration based on the back projection process [J]. Measurement science & technology， 2015， 26（12）： 125?134.

[4] ZHOU F Q， CUI Y， WANG Y X， et al. Accurate and robust estimation of camera parameters using RANSAC [J]. Optics & lasers in engineering， 2013， 51（3）： 197?212.

[5] ZHOU F Q， CUI Y， PENG B， et al. A novel optimization method of camera parameters used for vision measurement [J]. Optics & laser technology， 2012， 44（6）： 1840?1849.

[6] 孫玉青，冀小平.Matlab標(biāo)定工具箱在攝像機(jī)定標(biāo)中的應(yīng)用[J].科技創(chuàng)新與生產(chǎn)力，2010，45（3）：99?100.

SUN Yuqing， JI Xiaoping. Application of Matlab calibration toolbox in camera calibration [J]. Science and technology innovation and productivity， 2010， 45（3）： 99?100.

[7] 馮煥飛.三維重建中的相機(jī)標(biāo)定方法研究[D].重慶：重慶交通大學(xué)，2013.

FENG Huanfei. Three?dimensional reconstruction of the camera calibration method [D]. Chongqing： Chongqing Jiaotong University， 2013.

[8] 王建華，馮帆，梁偉，等.基于Matlab的攝像機(jī)標(biāo)定系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)與數(shù)字工程，2012，40（3）：97?99.

WANG Jianhua， FENG Fan， LIANG Wei， et al. Design and implementation of camera calibration system based on Matlab [J]. Computer & digital engineering， 2012， 40（3）： 97?99.

[9] 王立中，薛河儒，王靖韜.一種改進(jìn)的相機(jī)標(biāo)定方法[J].內(nèi)蒙古大學(xué)學(xué)報(bào)（自然版），2010，41（2）：223?228.

WANG Lizhong， XUE Heru， WANG Jingtao. An improved camera calibration method [J]. Journal of Inner Mongolia University （natural science）， 2010， 41（2）： 223?228.

[10] 顏遠(yuǎn)輝，夏海英.三維重建中的攝像機(jī)標(biāo)定研究[J].廣西物理，2014，21（1）：21?25.

YAN Yuanhui， XIA Haiying. Study on camera calibration in 3D reconstruction [J]. Guangxi physics， 2014， 21（1）： 21?25.