金廣智，石林鎖，司海峰,劉均超，劉　浩

(1.第二炮兵工程大學(xué) 五系，西安　710025; 2.西安思源學(xué)院，西安　710038；3.中航工業(yè)西安航空動力控制科技有限公司，西安　700077)

?

基于機械臂輔助的相機標(biāo)定研究

金廣智1，石林鎖1，司海峰2,劉均超3，劉浩1

(1.第二炮兵工程大學(xué) 五系，西安710025; 2.西安思源學(xué)院，西安710038；3.中航工業(yè)西安航空動力控制科技有限公司，西安700077)

摘要：隨著變焦鏡頭攝像機越來越多地被應(yīng)用于計算機視覺的各個領(lǐng)域，其內(nèi)部參數(shù)與放大倍數(shù)的關(guān)系的準(zhǔn)確獲知就顯得尤為重要;采用建立內(nèi)部參數(shù)與放大倍數(shù)之間函數(shù)關(guān)系的方式來構(gòu)造參數(shù)模型;為了提高各放大倍數(shù)狀態(tài)下的標(biāo)定速度，采用舵機驅(qū)動的多自由度機械臂并由程序根據(jù)標(biāo)定進程來靈活控制標(biāo)定模板的移動位置，減少了人工干預(yù);在通過張正友標(biāo)定算法得到一系列離散的參數(shù)值后，采用了3種不同的擬合函數(shù)對其進行曲線擬合，并給出了各種方法的擬合效果及誤差對比;通過該方法，可以有效建立起鏡頭的參數(shù)模型，為視覺分析提供準(zhǔn)確的參數(shù)信息。

關(guān)鍵詞：計算機視覺；變焦鏡頭；標(biāo)定；機械臂；曲線擬合

0引言

近年來，變焦鏡頭攝像機越來越廣泛地被應(yīng)用于監(jiān)控及工業(yè)檢測等各種場合,如PTZ攝像機。相對于固定焦距攝像機，變焦鏡頭攝像機即可工作于短焦距狀態(tài)用于大范圍的監(jiān)視與警戒，也可工作于長焦距狀態(tài)用于重點區(qū)域的遠(yuǎn)距離監(jiān)控[1]。安裝有變焦鏡頭的PTZ攝像機由于具有良好的可操控性，因而被廣泛用精確的自動跟蹤[2-3]、大場景的深度重建[4]和標(biāo)定測量[5]等領(lǐng)域。

將變焦鏡頭應(yīng)用于機器視覺時，需要知道鏡頭準(zhǔn)確的焦距、主點位置、畸變等參數(shù)。由于變焦鏡頭的放大倍數(shù)可以視為連續(xù)可變的。因此，如何得到工作在特定放大倍數(shù)下的鏡頭的各項參數(shù)成為變焦鏡頭的一個重要研究內(nèi)容。文獻(xiàn)[6-7]通過建立場景特征點，并采取實時標(biāo)定的方法來獲取鏡頭的焦距參數(shù)，雖然使用靈活，但精度無法得到保證，并且該方法受環(huán)境的極大制約，且無法獲取除焦距以外的其他參數(shù)；文獻(xiàn)[8]采用場景中的消隱點來得到近似焦距，仍然存在精度不高和受環(huán)境影響大的缺點；文獻(xiàn)[9]對主點和焦距采取了分開標(biāo)定的方法，并假設(shè)鏡頭的不存在畸變參數(shù)，忽視了對處于低放大倍數(shù)狀態(tài)的鏡頭的畸變較大的問題；文獻(xiàn)[10]對所有放大倍數(shù)下的焦距、主點等參數(shù)進行了分析，并建立了各參數(shù)與放大倍數(shù)之間的函數(shù)關(guān)系。本文對焦距、主點坐標(biāo)、畸變等參數(shù)進行了張正友標(biāo)定算法進行標(biāo)定，由于該算法對于每個放大倍數(shù)的標(biāo)定都需要采集一定數(shù)量的標(biāo)定模板圖像，在放大倍數(shù)檔位較多的情況下，需要大量手工移動標(biāo)定模板的操作。為了加快標(biāo)定速度，減少人工操作，本文使用了機械臂來固定標(biāo)定模板，借助機械臂的運動功能來代替手工移動標(biāo)定模板。通過控制板的驅(qū)動程序，可以根據(jù)標(biāo)定進程由程序同步控制機械臂的運動狀態(tài)，實現(xiàn)一定程度上的自動標(biāo)定。該方法極大地減少了人工干預(yù)，有效縮短了標(biāo)定時間。

文獻(xiàn)[11]給出了各個參數(shù)隨放大倍數(shù)的變化關(guān)系，但沒有給出函數(shù)擬合結(jié)果；為了建立精確的放大倍數(shù)與各項參數(shù)之間的函數(shù)關(guān)系，文獻(xiàn)[9,10]對焦距參數(shù)進行了曲線擬合，但沒有考慮其他參數(shù)的分布情況。在文獻(xiàn)[9,10]的基礎(chǔ)上，本文加入了切向畸變參數(shù)，并使用3種不同的擬合函數(shù)來對焦距、徑向畸變、切向畸變參數(shù)進行擬合，并以SONY-D90P變焦攝像機為例，對比了各種擬合函數(shù)的擬合誤差。

1基于參照物的參數(shù)標(biāo)定方法

1.1攝像機模型

基于參照物的參數(shù)標(biāo)定方法，首先需要定義像素、圖像、攝像機和世界4個坐標(biāo)系，并在小孔成像模型和非線性畸變模型基礎(chǔ)上建立起4個坐標(biāo)系的關(guān)系。

1.1.1小孔成像模型

圖1為小孔成像模型的示意圖，Oc點為攝像機的光心，OcXcYcZc為攝像機坐標(biāo)系，OwXwYwZw為世界坐標(biāo)系，O1xy為圖像坐標(biāo)系，Opuv為像素坐標(biāo)系。OcO1為攝像機的焦距。

圖1　標(biāo)定所使用的各參考坐標(biāo)系

可得如下的關(guān)系式：

(1)

其中：s為所有參數(shù)的一個尺度因子。R和t分別為攝像機坐標(biāo)相對世界坐標(biāo)的旋轉(zhuǎn)矩陣和位移矩陣。式(1)也可用式(2)展開：

(2)

1.1.2非線性畸變模型

通常鏡頭會產(chǎn)生畸變，包括徑向畸變和切向畸變，因此，加入畸變后的投影公式可以改寫為式(3)：

(3)

因此，我們需要通過標(biāo)定得到8個未知數(shù)，它們分別是焦距fx和fy、主點坐標(biāo)cx和cy以及徑向畸變k1和k2和切向畸變p1和p2。

1.2基于二維平面參照物的標(biāo)定方法

基于參照物的參數(shù)標(biāo)定方法主要有利用最優(yōu)化算法[12]的標(biāo)定法和Tsai的兩步標(biāo)定法[13]和張正友的二維平面模板標(biāo)定法[14]。最優(yōu)化算法的標(biāo)定法由于需要給定初值以及優(yōu)化程序比較復(fù)雜而應(yīng)用并不廣泛；兩步標(biāo)定法雖然精度較高，但它對三維標(biāo)定物的制作精度及檢測精度要求也比較高。張正友提出的二維平面模板作為參照物進行標(biāo)定的方法，因其模板制作簡單和算法速度快而受到廣泛的應(yīng)用。張正友標(biāo)定方法主要包括以下幾個步驟：

1)制作所角點坐標(biāo)參數(shù)已知的二維平面標(biāo)定模板；

2)獲取標(biāo)定模板在不同位置的攝像機圖像；

3)檢測每幅圖像的角點，并與原始模板建立對應(yīng)關(guān)系；

4)利用檢測到的角點坐標(biāo)與原始模板已知的坐標(biāo)參數(shù)估計攝像機參數(shù)的解析解；

5)通過最小二乘法解出偏轉(zhuǎn)參數(shù)；

6)利用非線性規(guī)劃方法迭代求出精確解。

為了進一步提高精度要，減少圖像噪聲帶來的誤差干擾，通常需要采集10張以上的標(biāo)定模板圖像進行標(biāo)定。

2多自由度機械臂輔助標(biāo)定

由于變焦鏡頭的標(biāo)定需要確定鏡頭焦距等參數(shù)與控制參數(shù)之間的對應(yīng)關(guān)系，通常需要得到不同控制參數(shù)下的對應(yīng)的鏡頭參數(shù)，并建立兩者之間的映射關(guān)系。因此，我們需要對多組不同參數(shù)情況下的鏡頭圖像進行標(biāo)定，這需要大量的重復(fù)工作。假設(shè)每一次標(biāo)定需要使用N張標(biāo)定圖像，共有Cz個放大倍數(shù)檔位，則標(biāo)定人員需要移動標(biāo)定模板N×Cz次，以N=15，Cz=20為例，則需要300次。為了提高標(biāo)定速度，減少人為操作。本文提出了一種自動控制標(biāo)定模板運動的方法，該方法以多自由度機械臂為平臺，通過控制其運動來得到不同的標(biāo)定模板位置，通常每個控制參數(shù)下需要十張以上的模板圖像。

機械臂使用可以精確控制舵機作為關(guān)節(jié)運動組件，如圖2(a)所示，每個關(guān)節(jié)可以轉(zhuǎn)動180°以上。標(biāo)定模板固定在機械臂最末一個關(guān)節(jié)上，如圖2(b)所示，借助機械手的多自由度運動功能，轉(zhuǎn)動標(biāo)定標(biāo)定模板至任何期望的位置，減少了以往人工移動標(biāo)定模板的操作及固定困難的問題。由于張正友標(biāo)定算法并不關(guān)系標(biāo)定模板與鏡頭的相對位置關(guān)系，因此，機械臂并不需要精確的運動參數(shù)，只要固定于其上的標(biāo)定模板能完全位于成像中并且所有的角點能被正確檢測到即可。

圖2　機械臂結(jié)構(gòu)與標(biāo)定模板的安裝

2.2標(biāo)定過程中機械臂的運動控制方案

機械臂的控制有專用的驅(qū)動板通過串口通訊來實現(xiàn)，由于機械臂控制板可以實現(xiàn)多種組合操作，因此可以提供以下3種組合程度由低至高的標(biāo)定模板運動方案：

1)全部手動操作控制標(biāo)定模板運動，通過控制每一個舵機的轉(zhuǎn)動角度，來實現(xiàn)不同的姿勢，達(dá)到移動標(biāo)定模板的目的；

2)使用動作組功能，通過預(yù)先設(shè)計好的舵機角度組合得到對應(yīng)的標(biāo)定模板位置，標(biāo)定時人工選擇對應(yīng)的動作組來進行獲取標(biāo)定圖像；

3)通過預(yù)先設(shè)定的動作組，由標(biāo)定算法程序與舵機控制板直接通訊，實現(xiàn)自動標(biāo)定。

為了加快標(biāo)定速度，本文采用了方式3)的控制方案，其流程如圖X所示。在得到每一幅標(biāo)定圖像以后，首先對標(biāo)定模板進行角點檢測，如果角點檢測成功且與預(yù)設(shè)的模板相匹配，則控制機械臂帶動標(biāo)定模板轉(zhuǎn)動至下一個位置，重復(fù)該過程。可以設(shè)計冗余的標(biāo)定模板位置動作組，保證最終每個鏡頭控制參數(shù)下的標(biāo)定圖像數(shù)目達(dá)到預(yù)設(shè)的最低個數(shù)。

1.5.1 藥物治療有效率 本研究以骨折發(fā)生率作為評估治療效果的指標(biāo)。原發(fā)性骨質(zhì)疏松癥防治的終點目標(biāo)是降低骨折發(fā)生率，因而主要探討治療藥物在防治骨質(zhì)疏松性骨折的優(yōu)勢。芪骨膠囊方案組和仙靈骨葆膠囊方案組的骨折發(fā)生率來自于《密骨膠囊治療原發(fā)性骨質(zhì)疏松癥Ⅲ期臨床試驗》［6］。有效率為未發(fā)生骨折患者人數(shù)占總治療人數(shù)的比例。

與固定焦距鏡頭不同，變焦鏡頭的標(biāo)定需要得到多組標(biāo)定圖像，因此，機械臂的使用可以大大標(biāo)定速度，只要提前定義好動作組，程序即可自動運行，得到該變倍參數(shù)下的所有鏡頭參數(shù)。

2.3標(biāo)定流程

使用機械臂輔助標(biāo)定的流程如圖3、4所示，其中圖4為圖3中帶陰影過程塊的具體步驟。需要說明的是，由于大變焦鏡頭的焦距覆蓋范圍較廣，機械臂由于關(guān)節(jié)長度的限制不可能在所有放大倍數(shù)下都能將標(biāo)定模板置于攝像機視野范圍內(nèi)，因此需要在每調(diào)節(jié)幾檔放大倍數(shù)后適當(dāng)移動機械臂的位置，以保證標(biāo)定模板被攝像機完整拍攝。

圖3 變焦鏡頭的標(biāo)定流程圖4 單個放大倍數(shù)的標(biāo)定流程

3變焦鏡頭參數(shù)的曲線擬合

變焦鏡頭的標(biāo)定是在一組離散的變倍參數(shù)下進行的，為了得到連續(xù)的變倍參數(shù)與鏡頭參數(shù)之間的關(guān)系，本文對其進行了曲線擬合，以期得到以變倍參數(shù)為自變量，各鏡頭參數(shù)為因變量的函數(shù)。

3.1主點的坐標(biāo)估計

通過圖5可以看出，主點坐標(biāo)可以視為常數(shù)值，其值在全焦距范圍內(nèi)保持恒定。本文采用求取平均值的方式來確定主點的坐標(biāo)，如式(4)：

(4)

圖5主點坐標(biāo)隨放大倍數(shù)的變化曲線

3.2擬合函數(shù)的選擇

文獻(xiàn)[9]對所有鏡頭參數(shù)均采用了四階多項式擬合，沒有根據(jù)各參數(shù)的變化趨勢進行具體考慮。為了提高精度，降低擬合結(jié)果的和方差(SSE)和均方根誤差(RMSE)，其定義如式(5)、(6)。接下來本文將以SONYD90P攝像機為例，對廣大倍數(shù)從0~20倍進行了標(biāo)定，得到各項參數(shù)，并用3種不同的擬合函數(shù)進行了擬合試驗。

(5)

(6)

本文分別使用了如下形式的3種擬合函數(shù)：

1)指數(shù)函數(shù)(Exp2)：y=aebx+cedx

其中階數(shù)的選取是在多次試驗后根據(jù)擬合效果及誤差大小最終確定的。

3.3擬合試驗對比分析

圖6　參數(shù)fx的3種不同函數(shù)的曲線擬合及殘差分析

圖7　參數(shù)k1的3種不同函數(shù)的曲線擬合及殘差分析

圖8　參數(shù)p1的3種不同函數(shù)的曲線擬合及殘差分析

圖6~圖8為分別采用三種擬合函數(shù)后的擬合效果與殘差對比，圖5的縱坐標(biāo)分別代表SSE擬合值與RMSE誤差值(pix)，橫坐標(biāo)均為放大倍數(shù)。通過圖6~圖8的擬合效果和殘差對比和表1的誤差分析，可以看出與Poly4和相比Exp2擬合函數(shù)在多數(shù)情況下僅以4個系數(shù)的代價取得較好的擬合效果，僅對于k1這個變化趨勢接近直線的參數(shù)沒有得到有效的擬合結(jié)果；Fourier3具有最好的擬合性能，但其付出了系數(shù)較多代價(Fourier3需要8個參數(shù))。

表1　3種算法實時性能對比　　　　　　　　　　　ms

因此，在實際標(biāo)定時，需要根據(jù)具體的鏡頭進行對比擬合實驗，并在使用這些擬合結(jié)果函數(shù)時，根據(jù)系數(shù)的多少和精度的要求靈活選擇最合適的擬合函數(shù)。另外，對于不同的參數(shù)還應(yīng)具體考慮擬合函數(shù)的選擇，例如k1參數(shù)的擬合函數(shù)就可以用最簡單的直線函數(shù)代替。

4結(jié)論

建立內(nèi)部參數(shù)與放大倍數(shù)之間的關(guān)系是變焦鏡頭在計算機視覺應(yīng)用中的一個重要步驟，本文采用多自由度機械臂來控制標(biāo)定模板的運動，減少了人工干預(yù)，通過標(biāo)定得到一系列離散參數(shù)值，采用曲線擬合的方式建立起內(nèi)部參數(shù)與放大倍數(shù)之間的函數(shù)關(guān)系。該方法精度高，標(biāo)定速度快，可以快捷有效地建立起變焦鏡頭的內(nèi)部參數(shù)變化模型。

參考文獻(xiàn)：

[1]GansN,HuG,DixonW.KeepingmultipleobjectsinthefieldofviewofasinglePTZcamera[A].ProceedingsofAmericanControlConference[C].St.Louis,USA:IEEEPress, 2013: 5259-5264.

[2]ADelBimbo,LisantiG,MasiI,etal.Device-taggedfeature-basedlocalizationandmappingofwideareaswithaptzcamera[A].ProceedingsofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionWorkshops[C].SanFrancisco,USA:IEEEPress, 2010: 39-44.

[3]BimboAD,DiniF,LisantiG,etal.Exploitingdistinctivevisuallandmarkmapsinpan-tilt-zoomcameranetworks[J].ComputerVisionandImageUnderstanding, 2014, 114 (6): 611-623.

[4]WanD,ZhouJ.StereovisionusingtwoPTZcameras[J].ComputerVisionandImageUnderstanding, 2013, 112 (2): 184-194.

[5] 張小苗, 尚洋, 于起峰. 單目變焦攝像機自運動的標(biāo)定測量法[J]. 計算機工程, 2008, 34(3): 29-31.

[6]WuZ,RadkeRJ.Usingscenefeaturestoimprovewide-areavideosurveillance[A].ProceedingsofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionWorkshops[C].RhodeIsland,USA:IEEEPress, 2012: 50-57.

[7]SinhaSN,PollefeysM.Pan-tilt-zoomcameracalibrationandhigh-resolutionmosaicgeneration[J].ComputerVisionandImageUnderstanding, 2013, 103(3)：170-183.

[8]SongKT,TaiJC.Dynamiccalibrationofpan-tilt-zoomcamerasfortrafficmonitoring[J].IEEETransactionsonSystems,Man,andCybernetics，2014, 36 (5): 1091-1103.

[9] 萬定銳, 周杰. 雙PTZ攝像機系統(tǒng)的標(biāo)定[J]. 中國圖象圖形學(xué)報, 2012, 13(4): 786-793.

[10]TrajkovicM.InteractivecalibrationofaPTZcameraforsurveillanceapplications[A].ProceedingsofThe5thAsianConferenceonComputerVision[C].Melbourne,Australia:AFCVPress, 2013: 1-8.

[11]LiM,LavestJM.Someaspectsofzoomlenscameracalibration[J].PatternAnalysisandMachineIntelligence,1996, 18 (11): 1105-1110.

[12]FaigW.Calibrationofclose-rangephotogrammetricsystems:mathematicalformulation[J].Photogrammetricengineeringandremotesensing，1975, 41 (12):1479-1486.

[13]TsaiR.Aversatilecameracalibrationtechniqueforhigh-accuracy3Dmachinevisionmetrologyusingoff-the-shelfTVcamerasandlenses[J].IEEEJournalofRoboticsandAutomation, 1987, 3 (4): 323-344.

[14]ZhangZ.Aflexiblenewtechniqueforcameracalibration[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2000, 22(11): 1330-1334.

Manipulator Assisted Calibration and Parameter Curve Fitting for Zoom Lens

Jin Guangzhi1, Shi Linsuo1, Si Haifeng2, Liu Junchao3, Liu Hao1

(1.Second Artillery Engineering University, Xi’an710025,China； 2.Xi’an Siyuan University,Xi’an7100038,China； 3.China Avic Xian’ Aero-Engine Controls Technology Co,Xi’an700077,China)

Abstract:While the zoom lens cameras are increasingly used in various areas of computer vision, to accurately inform the relationship between the zoom values and the internal parameters is especially important. A parameter model using the function between zoom values and the internal parameters is proposed to express the relationship of them. In order to improve the calibration speed and reduce the manual intervention in different zoom state, servos driving manipulator is used and its movement is flexible controlled in accordance with the calibration process by the program. After a series of discrete parameter values are calibrated by Zhang zhenyou’s calibration algorithm, three different functions are used to fit the curve of the values, and fitting effect and error are also compared. Through the proposed method, parameter model of the zoom lens can be established which can provide accurate parameter information for further visual analysis.

Keywords:computer vision; zoom lens; calibration; manipulator; curve fitting

文章編號：1671-4598(2016)02-0186-04

DOI：10.16526/j.cnki.11-4762/tp.2016.02.051

中圖分類號：TP391

文獻(xiàn)標(biāo)識碼：A

作者簡介：金廣智(1987-)，男，河北滄州人，博士研究生，主要從事模式識別、機器學(xué)習(xí)及計算機視覺方面的研究。石林鎖(1958-)，男，陜西鳳翔人，教授，博士生導(dǎo)師，主要從事機器視覺、機電設(shè)備故障診斷等方面的研究。

基金項目：國家自然科學(xué)基金項目(F0111,F03048)。

收稿日期：2015-08-09；修回日期：2015-09-05。