譚啟蒙 胡成威 高升

（北京空間飛行器總體設(shè)計部，北京 100094）

1 引言

鑒于國際空間站的成功應(yīng)用經(jīng)驗[1-2]，空間機械臂是深入開展航天活動不可或缺的重要組成部分，其作為支持空間站組裝、運營、維護和空間應(yīng)用的關(guān)鍵技術(shù)手段，承擔著艙段轉(zhuǎn)位、懸停飛行器捕獲和輔助對接、艙外貨物搬運、支持航天員出艙活動、支持艙外狀態(tài)檢查、支持艙外大型設(shè)備維修維護更換、照料暴露平臺試驗載荷、照料光學平臺等任務(wù)。

空間機械臂在軌工作過程中，不僅自身需要實現(xiàn)大范圍的運動轉(zhuǎn)移，還特別需要完成一系列如設(shè)備拆裝、貨物抓取、艙段轉(zhuǎn)位對接等高精度的精準操作[3]。為滿足上述要求，空間機械臂的必備組成之一——視覺相機可以實現(xiàn)對機械臂整個工作區(qū)域的監(jiān)控和觀測目標的三維（3D）位姿測量，為機械臂在軌運行提供必需的圖像信息和目標的位置、朝向以及運動信息。與目前各類航天器攜帶的載荷相機比較，機械臂視覺相機除兼顧以往傳統(tǒng)的監(jiān)視、觀測功能外，還須具備檢測識別觀測目標、跟蹤與測量空間位姿等功能。視覺相機測量原理主要是根據(jù)圖像平面中的二維（2D）圖像坐標及其所對應(yīng)的3D 空間坐標之間的映射關(guān)系，解算出合作目標的空間位置姿態(tài)。為建立2D 圖像坐標與3D 空間坐標之間的對應(yīng)關(guān)系，就必須對視覺相機實施標定，以獲取視覺相機內(nèi)部成像模型中的所有未知參數(shù)[4]，即表征相機內(nèi)部幾何結(jié)構(gòu)的內(nèi)部參數(shù)，主要包括焦距、主點坐標、畸變系數(shù)等，并為空間目標位姿計算提供系數(shù)矩陣。因此，視覺相機內(nèi)參標定作為空間機械臂至關(guān)重要的技術(shù)環(huán)節(jié)，是實現(xiàn)目標3D 位姿精確測量的基本前提和重要保障。

“加拿大臂”作為人類歷史上第一個得到成功應(yīng)用的空間機械臂，其自身攜帶的空間視覺系統(tǒng)SVS（Space Vision System）早在1990年就已成功完成了視覺相機的內(nèi)參標定任務(wù)[5-6]。其標定原理是：利用相機在多個不同站位處，觀測同一個位置已知固定的圓形標記點陣列圖案靶標，根據(jù)前方交會原理，將所有圖像代入攝影測量共線方程式，利用光束平差法解算出相機內(nèi)方位參數(shù)值，從而完成內(nèi)參標定。該標定方法標定精度高，但其不足之處在于：必須嚴格規(guī)定靶標的位置；在共線方程組求解與光束平差過程中，需要使用非線性優(yōu)化算法，從而引入過多的非線性參數(shù)，這樣不但不會提高標定精度，反而會引起解的不穩(wěn)定性。針對這一問題，本文提出了一種基于2D 平面靶的空間機械臂相機內(nèi)參標定方法，對靶標的位置不作特殊要求，即平面靶可在相機視場范圍內(nèi)隨意運動；在內(nèi)參求解中，實施分步計算，先利用線性成像模型計算焦距與主點初值，再引入畸變系數(shù)建立非線性成像模型，并利用非線性優(yōu)化算法獲取內(nèi)參最優(yōu)解，如此既能保證較高的標定精度，又能夠確保最優(yōu)解處于收斂狀態(tài)，且有效簡化了目標函數(shù)的計算難度。

2 空間機械臂視覺相機

2.1 視覺相機配置

視覺相機主要安裝在機械臂的末端執(zhí)行機構(gòu)上，其采用單目測量方式，通常需要配置光源以增強、補償相機對弱光照或惡劣光照條件的適應(yīng)性，如圖1所示。視覺相機的功能主要表現(xiàn)在以下幾個方面：1）實時監(jiān)控相機視場范圍內(nèi)的可操作區(qū)域；2）實時檢測、識別與跟蹤近距離處的空間合作目標；3）精確估計近距離處的空間合作目標的3D 空間位置姿態(tài)。

現(xiàn)以合作目標飛行器抓取捕獲為例，簡要概述視覺相機的工作流程：空間機械臂在軌執(zhí)行任務(wù)過程中，當觀測目標位于遠距離處，機械臂按照預(yù)編程的路徑規(guī)劃，緩慢地靠近合作目標；當觀測目標位于近距離處，目標已經(jīng)成功進入視覺相機的有效視場范圍內(nèi)，視覺相機能夠?qū)崟r檢測、識別與跟蹤近距離處的空間合作目標，并精確估計近距離處的空間目標3D 位姿，從而引導機械臂末端執(zhí)行機構(gòu)進一步調(diào)整自身位置姿態(tài)以逐步減小其與空間合作目標之間的旋轉(zhuǎn)差異和平移差異，確保機械臂末端執(zhí)行機構(gòu)能夠準確捕獲、抓取、鎖定合作目標飛行器。

圖1 空間機械臂視覺相機配置示意Fig.1 Configuration of space manipulator camera

2.2 視覺相機位姿測量原理

圖2 解釋了視覺相機位姿測量的基本原理。合作目標攜帶的某一個標記點P，該標記點P 與相機光心cO 的連線與像平面之間的交點q 即為該點在視覺相機成像面上所成的對應(yīng)圖像特征點。則3D 空間坐標值與2D 圖像坐標值之間的函數(shù)關(guān)系可表示為[7]

式中 （u,v ）為點q 的2D 圖像坐標，主要通過對采集圖像信息進行亞像素圖像特征點中心定位算法檢測得到；（X0,Y0,Z0）為標記點P 在目標坐標系下的3D 空間坐標，通常利用電子經(jīng)緯儀或激光跟蹤儀等高精度測量儀器實施精密測量得到[8]，可視為已知量；A為視覺相機成像模型的內(nèi)參矩陣，包括焦距、主點坐標、畸變系數(shù)等，主要依賴于視覺相機的內(nèi)參標定結(jié)果；R,T 分別為旋轉(zhuǎn)矩陣和平移矢量，為待求未知參數(shù)，形象描述了空間合作目標的包含6個自由度信息的相對空間位置姿態(tài)關(guān)系。

圖2 視覺相機位姿測量原理示意Fig.2 Principle of estimation of position and orientation

3 視覺相機內(nèi)參標定技術(shù)

空間機械臂視覺相機內(nèi)參標定的目的在于準確計算焦距、主點坐標、畸變系數(shù)等相機內(nèi)部固有參數(shù)，主要設(shè)計一種基于2D 平面靶的內(nèi)參標定方法。與張正友標定方法相類似[9-10]，該法假定相機內(nèi)部參數(shù)在整個標定過程中始終保持不變，即不論相機從任何角度拍攝標定靶，相機內(nèi)參均為常數(shù)，只有外部參數(shù)發(fā)生改變。通過采集二維平面靶在不同方位下的多幅圖像，利用平面靶和圖像之間的點對應(yīng)關(guān)系即可得到平面靶與圖像平面之間的對應(yīng)矩陣，即可得到相機內(nèi)參的約束方程，利用非線性優(yōu)化算法，從而解算出相機內(nèi)部參數(shù)最優(yōu)值。

基于2D 平面靶的視覺相機內(nèi)參標定方法的數(shù)學計算過程具體如下。

假設(shè)平面標定靶上的某一個標記點M 的3D 空間坐標為(X,Y,Z)，其在相機圖像平面上的對應(yīng)特征點m 的2D 圖像坐標為(u,v)，點m和M 的齊次坐標分別表示為(u,v,1)，(X,Y,Z,1)。根據(jù)視覺相機線性成像模型，3D 空間點M 與2D 圖像點m 之間的映射關(guān)系為[7]

式中 (u0,0v)為主點坐標；α和β 分別為水平和垂直方向的等效焦距；γ為圖像坐標軸的偏斜因子。

3.1 平面靶與相機圖像之間的映射矩陣

不失一般性，以標定平面作為目標空間坐標系的xy 平面來建立目標坐標系，那么標定靶上特征點坐標滿足：Z=0，記旋轉(zhuǎn)矩陣R=[r1r2r3]，由式（2）得

此時，用M=[X Y]T來代替M=[X Y Z ]T，記M～=[X Y1]T，平面標定靶上點M和對應(yīng)像點m 之間可以通過映射矩陣H 來轉(zhuǎn)換：

映射矩陣H 可以通過使得像點的重投影誤差最小的優(yōu)化方法來計算得到[9]，優(yōu)化目標函數(shù)為

3.2 相機內(nèi)參約束條件

設(shè)H=[h1h2h3]，從式（5）可以得出 [h1h2h3]=λA[r1r2t]，此處的λ 是比例系數(shù)，根據(jù)R的正交性[7]，可以得到為相機內(nèi)參的兩個基本約束條件：

3.3 內(nèi)參矩陣求解

因為B 是對稱矩陣，可以用六維的矢量b 來表示。

設(shè)矩陣H 的第i 列向量為hi=[hi1hi2hi3]T，則有

因此，可以將相機內(nèi)參的兩個基本約束關(guān)系式表示為

式（9）中，b為六維向量，因此，至少需要6個方程才能進行求解。移動平面標定靶至不同的位置，可以得到n（n≥3）幅圖像，對應(yīng)得到2n個方程，組合起來表示為

方程（12）的解對應(yīng)于矩陣VTV最小特征值對應(yīng)的特征向量。一旦b 求解出來，就可以通過Cholesky矩陣分解計算得到相機的內(nèi)參矩陣A。

根據(jù)式（13）計算出的上述參數(shù)值對應(yīng)了式（3）表示的內(nèi)參矩陣A 的所有分量，這些參數(shù)即為相機標定的全部內(nèi)參。

3.4 非線性模型

實際上，由于相機光學系統(tǒng)設(shè)計和加工誤差而引起的圖像幾何變形較大，需要引入非線性的相機模型[10]。

相機的非線性畸變可以表示為

式中 （xu,yu）為由相機線性模型計算出來的圖像點坐標；（xd,yd）為實際圖像點的坐標；δx和 δy為非線性畸變值，它與圖像點在圖像中的位置有關(guān)，可表示為

其中，δx和 δy的第一組多項式稱為徑向畸變，第二組多項式稱為切向畸變。式（15）中，k1,k2,k3,p1,p2通常簡稱為（非線性）畸變系數(shù)。

最后，通過建立優(yōu)化目標函數(shù)：

4 試驗結(jié)果與分析

視覺相機內(nèi)參標定試驗旨在確定焦距、主點坐標、畸變系數(shù)等成像參數(shù)?，F(xiàn)以空間機械臂視覺相機為例，完成相機內(nèi)參標定試驗。具體操作過程如下：

首先，將帶有棋盤格圖案的平面標定靶置于視覺相機的視場范圍內(nèi)；然后，利用相機先后拍攝平面靶在40個不同位置、姿態(tài)處的圖像；隨后，將所有采集后的標定靶圖像分別代入上述基于2D 平面靶的標定算法中進行處理，根據(jù)靶面與圖像平面之間的特征角點對應(yīng)關(guān)系即可得到平面靶所在平面與相機圖像平面之間的對應(yīng)矩陣，以此建立若干相機內(nèi)參的約束方程；最后，利用Levenberg-Marquardt 優(yōu)化算法解算出相機內(nèi)參矩陣最優(yōu)解。

將上述40 幅不同位置處的平面靶圖像分別代入內(nèi)參標定算法進行計算，可得內(nèi)參標定結(jié)果（如表1所示）。

表1 視覺相機內(nèi)參標定試驗結(jié)果Table 1 Experimental result for calibration of camera intrinsic parameters

表1 列出了視覺相機內(nèi)參矩陣A 中的焦距、主點坐標、畸變系數(shù)等不確定量，可視為相機內(nèi)部參數(shù)的標定精度與誤差水平。水平、垂直方向的歸一化焦距的不確定量均近似于1mm，主點坐標不確定量不超過1個像素，畸變系數(shù)不確定量基本可忽略不計。鑒于上述分析可知，文中設(shè)計的一種基于2D 平面靶的內(nèi)參標定方法可適用于機械臂相機內(nèi)參標定，標定結(jié)果真實可靠，符合空間機械臂視覺相機獲取合作目標3D 位姿的測量精度要求，可直接用于解算觀測目標的位置、姿態(tài)。

5 結(jié)束語

為適應(yīng)空間機械臂的實際任務(wù)需求，視覺相機不僅需要兼顧以往各類航天器攜帶的載荷相機的監(jiān)視和觀測功能，還必須具備觀測目標檢測識別、空間位姿跟蹤與測量功能，也就是說，它能為機械臂在軌運行提供必需的圖像信息和目標的位置、朝向以及運動信息。根據(jù)合作目標空間位姿測量基本原理，相機內(nèi)參標定的目的是提供一組表征相機成像模型的可靠的內(nèi)參矩陣，主要涉及焦距、主點坐標、畸變系數(shù)等，它是實現(xiàn)目標3D 位姿精確測量的重要保障。文中設(shè)計一種基于2D 平面靶的視覺相機內(nèi)參標定方法有效解決了“加拿大臂”中視覺相機內(nèi)參標定的計算復雜性等問題。該方法具有標定精度高、計算簡便快捷等優(yōu)點，主要表現(xiàn)為兩個方面：1）該方法完全不受相機站位和靶標位置的限制，即平面靶可在相機視場范圍內(nèi)隨意運動；2）求解內(nèi)參約束方程時，實施分步計算，先利用特征值分解計算出相機線性成像模型中的焦距與主點坐標初值，再考慮引入徑向畸變和切向畸變構(gòu)建非線性模型，并利用Levenberg-Marquardt 非線性優(yōu)化算法求解，可得到焦距、主點坐標、畸變系數(shù)等相機內(nèi)參的最優(yōu)解?？臻g機械臂視覺相機標定試驗中，焦距標定誤差近似于1mm，主點坐標誤差不超過1個像素，所有畸變系數(shù)誤差均忽略不計。因此，基于2D 平面靶的內(nèi)參標定方法適用于機械臂相機內(nèi)參標定，且標定結(jié)果均符合機械臂相機獲取目標3D 位姿的精度要求，可直接用于解算觀測目標的位置、姿態(tài)等后續(xù)任務(wù)。

References)

[1]于登云,孫京,馬興瑞.空間機械臂技術(shù)及發(fā)展建議[J].航天器工程,2007,16(4):1-8.YU Dengyun,SUN Jing,MA Xingrui.Suggestion on Development of Chinese Space Manipulator Technology[J].Spacecraft Engineering,2007,16(4):1-8.(in Chinese)

[2]秦文波,陳萌,張崇峰,等.空間站大型機構(gòu)研究綜述[J].上海航天,2010,(4):32-42.QIN Wenbo,CHEN Meng,ZHANG Chongfeng,et al.Surveys on Large-Scale Mechanism of Space Station[J].Aerospace Shanghai,2010,(4):32-42.(in Chinese)

[3]張凱鋒,周暉,溫慶平,等.空間站機械臂研究[J].空間科學學報,2010,30(6):612-619.ZHANG Kaifeng,ZHOU Hui,WEN Qingping,et al.Review of the Development of Robotic Manipulator for International Space Station[J].Chinese Journal of Space Science,2010,30(6):612-619.(in Chinese)

[4]http://www.asc-csa.gc.ca/eng/default.asp.

[5]http://www.asc-csa.gc.ca/eng/canadarm/vision.asp.

[6]G.MacLean S,Pinkey H F L.Calibration Procedures for the Space Vision System Experiment[J].Industrial Vision Metrology,1991,1526:113-122.

[7]張廣軍.視覺測量[M].北京:科學出版社,2008.ZHANG Guangjun.Vision Measurement[M].Beijing:Science Press,2008.(in Chinese)

[8]李廣云.工業(yè)測量系統(tǒng)最新進展及應(yīng)用[J].測繪工程,2001,10(2):36-40.LI Guangyun.The State of the Art and Applications of the Industrial Measuring Systems[J].Engineering of Surveying and Mapping,2001,10(2):36-40.(in Chinese)

[9]ZHAGN Zhengyou.A Flexible New Technique for Camera Calibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[10]馬頌德,張正友.計算機視覺——計算理論與算法基礎(chǔ)[M].北京:科學出版社,2003.MA Songde,ZHANG Zhengyou.Computer Vision——Computational Theory and Algorithm[M].Beijing:Science Press,2003.(in Chinese)

[11]Marquardt D W.An Algorithm for Least-squares Estimation of Nonlinear Parameters[J].Journal of the Society for Industrial and Applied mathematics,1963,11(2):431-441.

[12]Madsen K,Nielsen H B,Tingleff O.Methods for Non-linear Least Squares Problems[M].Copenhagen:Informatics and Mathemetical Modelling Technical University of Denmark,2ndEdition,2004.

[13]Jose Pujol.The Solution of Non-linear Inverse Problems and The Levenberg-Marquardt Method[J].Geophysics,2007,72(4):W1-W16.