伍顯勝，徐榮華，高雪峰，錢東海

（1.上海大學 精密機械工程系，上海200072；2.浙江中煙工業(yè)有限責任公司 寧波卷煙廠，浙江 寧波315040）

0 引 言

在卷煙廠自動化生產(chǎn)中，為提高生產(chǎn)效率，常采用云臺攝像機對煙包進行檢測，然后將煙包的相關(guān)信息反饋給工業(yè)機器人，最后工業(yè)機器人進行打包帶裁剪、煙包抓取等操作。目前的攝像機云臺多為兩個自由度，由于云臺自身轉(zhuǎn)動以及目標物體所處位置的影響，會出現(xiàn)采集圖像相對人眼或顯示器傾斜的情況，這增加了檢測難度，也有可能造成誤檢。為解決上述問題，現(xiàn)將攝像機固定在三自由度云臺上，使其具有水平旋轉(zhuǎn)、俯仰轉(zhuǎn)動及繞攝像機光軸的旋轉(zhuǎn)，其中第3個自由度可以使采集的圖像正向顯示。

為提高視覺檢測能力，云臺攝像機在系統(tǒng)的控制下可以時刻進行3個自由度的轉(zhuǎn)動。由于攝像機的位置時刻變化，圖像坐標系與世界坐標系之間的轉(zhuǎn)換關(guān)系也在變化，這就要求能夠?qū)z像機進行實時標定。傳統(tǒng)的標定方法［1－3］主要依賴預先制作的高精度的特殊標靶，雖然此類標定方法精度高，但標定過程繁瑣，每當云臺攝像機姿態(tài)發(fā)生變化時，不能利用場景中的物體進行標定，需要重新將標靶放入標定場景中再進行標定，不具備實時自動標定的能力。鄭紅等［4］雖然對云臺攝像機自標定方法進行了研究，但其標定方法只用于二自由度云臺攝像機，其成像模型無法套用在三自由度云臺攝像機上；李勃等［5，6］對云臺攝像機自標定方法進行了創(chuàng)新，但其成像模型把像素坐標原點設在了光軸與像平面的交點上，沒有求取成像平面中心點，并且由圖像信息無法直接得到空間點的絕對坐標，需要間接求解；目前很多學者［6－9］采用基于平行直線進行攝像機標定的方法，利用現(xiàn)場物體的一些平行直線特征作為參考進行標定。因為煙包在解包之前是用打包帶捆扎的，其捆扎規(guī)則有序，因此本文也采用平行直線方法來進行攝像機標定。

針對以上情況，本文提出一種適用于煙包解包系統(tǒng)中三自由度云臺攝像機的標定方法。將捆扎規(guī)范且打包帶互相平行的煙包放在指定位置，在系統(tǒng)的控制下調(diào)整云臺攝像機，使得圖像中的煙包正向顯示并且煙包圖像盡可能多地布滿整個畫面。在此情況下，利用文中的標定方法可以得出此時云臺攝像機的姿態(tài)及需要標定的攝像機內(nèi)外參數(shù)，從而在后續(xù)生產(chǎn)中可以對后續(xù)煙包上任意捆扎打包帶的位置進行實時檢測。當云臺攝像機的姿態(tài)發(fā)生變化時，仍可以利用該方法對云臺攝像機的內(nèi)外參數(shù)重新進行標定，即具有實時標定的能力。

1 三自由度云臺攝像機成像模型

機器人煙包自動解包系統(tǒng)如圖1所示，將三自由度云臺攝像機安裝在固定桿上，云臺中心 （第二自由度轉(zhuǎn)動軸線在其法平面的交點）到水平面的高度為H。煙包放在物料車上，煙包上表面到水平面的高度為h。其中H，h可以通過測量獲得。

圖1 機器人煙包自動解包系統(tǒng)

1.1 坐標系的建立

結(jié)合上述內(nèi)容，現(xiàn)將煙包上表面作為參考面來建立攝像機成像模型，如圖2所示。假定在云臺結(jié)構(gòu)設計和安裝符合要求的情況下，云臺中心與攝像機光心重合，則此時攝像機光心OC到煙包上表面的垂直距離s＝H－h(huán)。如圖2所示，攝像機成像模型中有4 個坐標系，世界坐標系XW－YW－ZW、攝像機坐標系XC－YC－ZC、圖像坐標系u－v及物料坐標系Xm－Ym－Zm，其中物料坐標系Xm－Ym－Zm原點Om為攝像機光軸與煙包上表面的交點。

圖2 三自由度云臺攝像機成像模型

世界坐標系XW－YW－ZW中YW－ZW平面與煙包上表面重合，YW軸平行于物料車定位線且正向指向右方，ZW軸與攝像機光心OC到煙包上表面的垂線重合，正向指向光心OC，XW滿足右手準則。物料坐標系Xm－Ym－Zm與世界坐標系XW－YW－ZW平行。

圖像坐標系u－v位于成像平面上且垂直光軸，原點O不是光軸與成像平面的交點。坐標系XC－YC－ZC為攝像機實際坐標系，其原點OC與物料坐標系Xm－Ym－Zm原點Om的距離為t，坐標系XCγ－YCγ－ZC為攝像機理想坐標系，YCγ軸位于OC－OW－Om平面內(nèi)，其中XC－YC平面和XCγ－YCγ平面都與成像平面平行。設三自由度云臺攝像機在任意時刻的3個轉(zhuǎn)動角分別為α、β、γ，α代表云臺的水平轉(zhuǎn)動角，為攝像機光軸在煙包上表面的投影線與YW軸正向的夾角；β代表云臺的俯仰轉(zhuǎn)動角，為光軸與煙包上表面的夾角 （銳角）；γ代表攝像機繞光軸的轉(zhuǎn)動角，為攝像機實際坐標系XC－YC－ZC相 對 于 理 想 坐 標 系XCγ－YCγ－ZC繞ZC軸 的 轉(zhuǎn) 角。α、β、γ的初始值都為0。

1.2 坐標系之間的轉(zhuǎn)換

攝像機標定的主要目的是求取圖像中二維信息與實際三維空間中物體之間的對應關(guān)系，接下來將結(jié)合以上坐標和參數(shù)建立各坐標系之間的相互關(guān)系。

為建立圖像坐標系與世界坐標系之間的轉(zhuǎn)換關(guān)系，現(xiàn)將坐標系變換分解為3個步驟。

（1）建立物料坐標系與世界坐標系對應關(guān)系。由圖2及坐標定義知，物料坐標系與世界坐標系之間只有平移變換，設此變換為T1，其對應關(guān)系為

（2）建立攝像機坐標系與物料坐標系之間的關(guān)系。由圖2 可 知，理 想 攝 像 機 坐 標 系XCγ－YCγ－ZC與 物 料 坐 標 系Xm－Ym－Zm之間既有轉(zhuǎn)動又有平移，設旋轉(zhuǎn)變換為R1，平移變換為T2，其變換過程如下：先將物料坐標系Xm－Ym－Zm繞Zm軸順時針 （從旋轉(zhuǎn)軸正向看向原點）旋轉(zhuǎn)α角度，再繞Xm軸順時針旋轉(zhuǎn)β＋π／2角度，最后沿攝像機光軸即ZC軸向OC點平移t長度。其對應關(guān)系如下

將理想攝像機坐標系XCγ－YCγ－ZC繞ZC軸順時針旋 轉(zhuǎn)γ角度就可以得到實際攝像機坐標系XC－YC－ZC，設此變換為R2，得到對應關(guān)系如下

（3）根據(jù)攝像機線性成像原理［10］，可得到圖像坐標系與實際攝像機坐標系之間的對應關(guān)系如下

式中：fx＝f·dx，fy＝f·dy，f 為攝像機的焦距，dx、dy分別表示圖像中橫向、縱向上單位長度的像素個數(shù)，在已知攝像機分辨率和標準成像圖像大小的情況下，可獲得dx、dy的值大小，因此本文假定dx、dy已知，焦距f 為未知量。（u0，v0）為圖像中心，即攝像機光軸與成像平面的交點。

現(xiàn)設M1＝R2T2R1T1，由攝像機標定的定義可知，M1是包含外參數(shù)α、β、γ、t的轉(zhuǎn)換矩陣，M2是包含內(nèi)參數(shù)f、u0、v0的轉(zhuǎn)換矩陣，攝像機標定的主要工作就是求出這些未知參數(shù)。圖像坐標系與世界坐標系的對應關(guān)系如式（5），這里用符號M 表示實際計算結(jié)果，M＝M2M1

求出M 以后，就可以知道圖像坐標系與世界坐標系之間的對應關(guān)系。對于煙包來說，知道圖像中任意點的圖像坐標，再結(jié)合煙包上表面ZW＝0，就可以得出該點在煙包上表面對應的世界坐標，從而可以實現(xiàn)對煙包的位置檢測。

2 攝像機內(nèi)參數(shù)的標定

對于三維空間中的一對平行線來說，當攝像機光軸與平行線及其所在平面都不垂直時，其在圖像中對應的兩條直線已不再平行，此時這兩條非平行直線在成像平面中的交點稱為消失點［11］。接下來將結(jié)合消失點求解攝像機的內(nèi)參數(shù)f、u0、v0。

2.1 求解消失點

卷煙廠生產(chǎn)中的煙包一般用3條打包帶捆扎，每條打包帶之間相互平行，如圖3所示。

圖3 煙包捆扎模型

煙包的3個可見面的9條邊線在圖像中會形成3個消失點J、P、Q，如圖4所示。

圖4 消失點求解

如圖4所示，根據(jù)直線AD、BC 及其相交延長線的比例關(guān)系可得如下方程

式中：（uA，vA）、（uB，vB）、（uC，vC）、（uD，vD）、（uJ，vJ）分別是A、B、C、D、J的圖像坐標，點A、B、C、D 的坐標可以從圖像中直接獲取，聯(lián)立求解可以得出消失點J的坐標（uJ，vJ）。同理，利用直線DC、AB可以求出消失點P的圖像坐標（uP，vP），利用直線AF、BG 可以求出消失點Q 的圖像坐標（uQ，vQ）。

2.2 求解圖像中心 （u0，v0）

圖5 圖像中心求解

在得到3個消失點的基礎上，由每個消失點向另外兩個消失點所連的直線作垂線，3 條垂線相交且只有一個交點即圖像中心I［12］，如圖5 所示?，F(xiàn)取其中任意一條垂線如垂線JL⊥PQ，根據(jù)幾何關(guān)系可得出直線JL的方程為同理可以求出另外兩條垂線的方程，由于3條垂線都經(jīng)過圖像中心，將未知圖像中心 （u0，v0）代入上述3 條垂線方程可得到含有圖像中心坐標的方程組利用最小二乘法求解上述方程組，可以獲得圖像中心I的坐標 （u0，v0）。

2.3 求解焦距f

由圖5得出了3條垂線，現(xiàn)以其中一條垂線段QH 為直徑作圓，過圖像中心I作線段QH 的垂線，該垂線與圓相交，取其中任意一個交點S，線段SI的長度乘以像素列間距即1／dx，乘積結(jié)果即為焦距f［12］，如圖6所示。

由幾何知識可求得以線段QH 為直徑的圓的方程

圖6 焦距求解

由圖5、圖6可知，直線JP⊥QH，SI⊥QH，所以JP∥SI，又圖像中心I點坐標 （u0，v0）已知，則直線SI的方程為

聯(lián)立式 （9）、式 （10）可以求出圓與直線SI交點S的坐標 （us，vs），此時S、I的坐標都已知，可以求出線段SI的長度，最后SI的長度值乘以像素的列間距1／dx，得到焦距f。求得焦距f，根據(jù)fx＝f·dx，fy＝f·dy，即可求出參數(shù)fx、fy。

結(jié)合本節(jié)求出的參數(shù)就可以求出內(nèi)參數(shù)轉(zhuǎn)換矩陣M2。

3 攝像機外參數(shù)的標定

由圖像的成像原理可知，當攝像機沿光軸正向 （攝像機繞光軸的轉(zhuǎn)角γ＝0）拍攝時，實際空間中無窮遠處 （即地平線）在圖像中的成像是一條水平直線；當攝像機傾斜時，空間中無窮遠處在圖像中的成像將是一條傾斜直線，傾斜角度等于攝像機繞光軸的轉(zhuǎn)角γ。此外，由消失點的知識可知，空間中同方向的平行直線在成像平面中對應的所有直線都會相交于同一點即消失點［13］，此消失點位于實際空間中地平線在圖像中的對應直線上。利用以上知識可以求得攝像機繞光軸的轉(zhuǎn)角γ。需要強調(diào)的是，本小節(jié)中的A、B、C等所有代號與前述的A、B、C等所有代號分別代表不同的點。

物料小車最右端處于定位線上，在物料車中輥道與擋塊的共同作用下，煙包會進行粗定位，如圖7 所示。煙包上表面的上、下邊線處于水平，左、右邊線豎直，在擋塊的作用下，只有上邊線在世界坐標系中的YW已知，其它邊線的坐標未知。Xm，Ym方向如圖7 所示，其中線段AB、EF、CD 為3 條打包帶在煙包上表面的部分，AB∥EF∥CD。

3.1 求解外參數(shù)γ

圖7 煙包標定模型俯視

假設圖7中煙包所對應的圖像如圖8所示，利用消失點求取式 （6）可以求得線段AB、EF、CD 的公共消失點O1以及線段AC、BD 的消失點O2。

圖8 煙包上表面打包帶成像及其消失點

由前述知識可知，O1、O2位于地平線在圖像中的對應直線上。此時線段O1O2的傾斜角度等于攝像機繞光軸的轉(zhuǎn)角γ，如下所示

由上式求出γ 以后，可以通過電機控制云臺使得攝像機繞光軸轉(zhuǎn)動γ角度 （γ為正則逆時針轉(zhuǎn)動，γ 為負則順時針轉(zhuǎn)動），使攝像機實際坐標系XC－YC－ZC與理想坐標系XCγ－YCγ－ZC重合。此時圖像坐標系與世界坐標系的對應關(guān)系由式 （1）、式 （2）和式 （4）決定，如式 （12），此時用M3表示總的轉(zhuǎn)換矩陣，M3＝M2T2R1T1，M3中只有外參數(shù)α、β、t未知，參數(shù)γ、fx、fy、u0、v0已經(jīng)在前面求出，如下式

3.2 求解外參數(shù)α、β、t

因為云臺中心到煙包上表面的距離S＝H－h(huán)已知，結(jié)合圖2的成像模型可以得出下式

將式 （13）代入式 （12），則總的轉(zhuǎn)轉(zhuǎn)矩陣M3只含有α、β兩個未知參數(shù)。由圖2的成像模型可知，本文主要針對的是煙包上表面包含打包帶的平面所成的圖像，因此式（5）、式 （12）中Zm＝ZW＝0，在此情況下通過換算可以求出ZC，ZC的表達式中包含α、β以及XW、YW。對式 （12）進行轉(zhuǎn)換以后，可以得出下式

式中：N——只含未知參數(shù)α、β的矩陣?，F(xiàn)取打包帶中A、B、C這3點為參考點，（XA、YA）、（XB、YB）、（XC、YC）為A、B、C這3點的世界坐標，值得注意的是此時并不需要知道這3點世界坐標的具體值。根據(jù)世界坐標系中平行線之間的關(guān)系以及圖8可得出下式

從圖8中可以獲知A、B、C 這3點的圖像坐標，結(jié)合式 （14）、式 （15）可得到包含未知參數(shù)α、β的兩個等式，聯(lián)立這兩個等式即可求出參數(shù)α、β的具體值。

將求得的β值代入式 （13），即可求出參數(shù)t。

至此，攝像機外參數(shù)α、β、γ、t和內(nèi)參數(shù)f、u0、v0已全部求出，則圖像坐標系與世界坐標系之間的兩個轉(zhuǎn)換矩陣M、N 變?yōu)橐阎?，根?jù)式 （5）、式 （14）再結(jié)合煙包上表面ZW＝0，可以對煙包上表面的世界坐標與其對應的圖像坐標進行相互求解。

4 結(jié)束語

利用煙包表面平行直線特征的攝像機標定方法，不需要借助特殊制作的標靶，只需一系列煙包圖像以及云臺中心到煙包上表面的高度，就可以實現(xiàn)三自由度云臺攝像機的標定。此外，本文的標定方法也適用于其它一些應用云臺及場景中具有平行直線特征的場合。該標定方法建立在理想模型的基礎上，接下來的工作需要分析影響標定的因素，并在實際應用中提高攝像機標定精度。

［1］YU Xiaqiong，GAO Yan，CHEN Xiangning.Nonlinear optimization algorithms for camera calibration based on 2Dpatern［J］.Engineering of Surveying and Mapping，2013，22 （5）：25－33 （in Chinese）.［喻夏瓊，高巖，陳向?qū)?基于非線性優(yōu)化的 攝 像 機2D 標 定 法 ［J］.測 繪 工 程，2013，22 （5）：25－33.］

［2］DUAN Jian，ZHANG Shaopeng，WANG Xiankang.Calibration for visual system in teaching demonstration industrial robot［J］.Mechanical Engineering and Automation，2013 （1）：97－101 （in Chinese）.［段堅，張少鵬，王現(xiàn)康.工業(yè)機器人視覺檢測系統(tǒng)的攝像機標定 ［J］.機械工程與自動化，2013 （1）：97－101.］

［3］NIU Haitao，ZHAO Xunjie.New method of camera based on checkerboard ［J］.Infrared and Laser Engineering，2011，40（1）：133－137 （in Chinese）.［牛海濤，趙勛杰.采用棋盤格模板的攝像機標定新方法 ［J］.紅外與激光工程，2011，40（1）：133－137.］

［4］ZHENG Hong，LIU Zhenqiang.Self－calibration of pan－tilt camera based on accurate model［J］.Robot，2013，35 （3）：326－338 （in Chinese）.［鄭紅，劉振強.基于精確模型的云臺攝像機自標定 ［J］.機器人，2013，35 （3）：326－338.］

［5］Dong Rong，Li Bo，Chen Qimei.An automatic calibration method for PTZ camera in expressway monitoring system［C］／／WRI World Congress on Computer Science and Information Engineering，2009：636－640.

［6］LI Bo，DONG Rong，CHEN Qimei.Automation calibration method for PTZ camera ［J］.Journal of Beijing University of Posts and Telecommunication，2009 （S1）：24－29 （in Chinese）.［李勃，董蓉，陳啟美.路況PTZ攝像機自動標定方法［J］.北京郵電大學學報，2009 （增刊1）：24－29.］

［7］YAN Hongping，WANG Lingfeng，PAN Chunhong.Automatic self－calibration of expressway surveillance camera under dynamic condition ［J］.Journal of Computer－Aided Design and Computer Graphics，2013，25 （7）：1036－1044 （in Chinese）.［嚴紅平，汪凌峰，潘春洪.高速公路動態(tài)環(huán)境下的攝像機自標定 ［J］.計算機輔助設計與圖形學學報，2013，25 （7）：1036－1044.］

［8］HU Binghua，YAN Hui，CHEN Bei.Research on camera calibration in flight test［J］.Measurement and Control Technology，2013，32 （5）：134－137 （in Chinese）. ［胡丙華，晏暉，陳貝.試飛測試中攝像機標定方法研究 ［J］.測控技術(shù)，2013，32 （5）：134－137.］

［9］Alvarez S，Llorca DF，Sotelo MA.Camera auto－calibration using zooming and zebra－crossing for traffic monitoring applications［C］／／Proceedings of the 16th International IEEE Conference on Intelligent Transportation Systems，2013：608－613.

［10］LU Jin，SUN Huibin，CHANG Zhiyong.A novel method for camera calibration with orthogonal vanishing points［J］.Chinese Journal of Lasers，2014，41 （2）：1－9 （in Chinese）.［盧津，孫惠斌，常智勇.新型正交消隱點的攝像機標定方法［J］.中國激光，2014，41 （2）：1－9.］

［11］XU De，TAN Min，LI Yuan.Visual measurement and control for robots ［M］.2nd ed.Beijing：National Defense Industry Press，2011 （in Chinese）.［徐德，譚民，李原.機器人視覺測量與控制 ［M］.2 版.北京：國防工業(yè)出版社，2011.］

［12］Bénallal M，Meunier J.Camera calibration with simple geometry［C］／／International Conference On Image And Signal Processing，2003.

［13］Radu Orghidan A，Gordan CM，Aurel Vlaicu D，et al.Projector－camera calibration for 3Dreconstruction using vanishing points［C］／／International Conference on 3DImaging，2012：1－6.