楊 攀，朱堅(jiān)民，李記崗

(上海理工大學(xué) 機(jī)械工程學(xué)院，上海 200093)

基于遺傳優(yōu)化標(biāo)定和神經(jīng)網(wǎng)絡(luò)補(bǔ)償?shù)钠矫鏈y量

楊 攀，朱堅(jiān)民，李記崗

(上海理工大學(xué) 機(jī)械工程學(xué)院，上海 200093)

針對用于平面尺寸測量的傳統(tǒng)攝像機(jī)標(biāo)定方法難以同時(shí)保證標(biāo)定步驟簡單、標(biāo)定精度高的問題，提出了一種遺傳優(yōu)化標(biāo)定攝像機(jī)的方法。該方法以圖像主點(diǎn)坐標(biāo)和圖像縱橫比為優(yōu)化變量，以理論世界坐標(biāo)和實(shí)際世界坐標(biāo)之間的最大偏差最小化為目標(biāo)函數(shù)，基于針孔成像模型中徑向一致約束原理和遺傳優(yōu)化理論，逐步迭代一次性獲得攝像機(jī)全部內(nèi)外參數(shù)。針對攝像機(jī)模型所存在的模型誤差大小可影響后續(xù)尺寸測量精度的問題，建立了基于神經(jīng)網(wǎng)絡(luò)的尺寸測量補(bǔ)償模型。測量結(jié)果相對誤差<0.3%，驗(yàn)證了該方法的可行性、有效性。

遺傳優(yōu)化；攝像機(jī)標(biāo)定；神經(jīng)網(wǎng)絡(luò)；尺寸補(bǔ)償；平面尺寸測量

視覺測量是根據(jù)攝像機(jī)所采集的二維圖像信息映射出目標(biāo)的幾何尺寸、位置、姿態(tài)等信息的過程，因具有非接觸、易自動化、強(qiáng)實(shí)時(shí)性等優(yōu)點(diǎn)，其發(fā)展迅速、應(yīng)用廣泛[1-2]。單目測量不存在雙目測量和多目測量中立體匹配的難題，其標(biāo)定簡單、易于實(shí)現(xiàn)，具有廣闊的應(yīng)用前景[3-4]。

現(xiàn)有攝像機(jī)標(biāo)定方法可依據(jù)攝像機(jī)模型及其求解算法類型分為線性法和非線性法。線性法[5]標(biāo)定簡單、求解快速，但因忽略透鏡畸變，其準(zhǔn)確性低；非線性法[6-8]考慮了透鏡畸變等因素，標(biāo)定精度較高，是目前研究的重點(diǎn)。文獻(xiàn)[9]采用添加實(shí)驗(yàn)的方法，預(yù)先標(biāo)定圖像縱橫比和主點(diǎn)坐標(biāo)，但這增加了標(biāo)定步驟復(fù)雜性、操作難度。文獻(xiàn)[10]采用LM法優(yōu)化標(biāo)定出畸變模型系數(shù)和主點(diǎn)坐標(biāo)，但仍無法準(zhǔn)確確定圖像縱橫比。

針對上述問題，本文提出一種遺傳優(yōu)化標(biāo)定攝像機(jī)的方法，以圖像主點(diǎn)坐標(biāo)和圖像縱橫比為優(yōu)化變量，以理論世界坐標(biāo)和實(shí)際世界坐標(biāo)之間的最大偏差最小化為目標(biāo)函數(shù)，基于遺傳優(yōu)化理論逐步迭代一次性獲得攝像機(jī)全部標(biāo)定參數(shù)。

現(xiàn)有平面視覺測量可歸納為兩類：直接法和補(bǔ)償法。直接法[11-12]是指圖像坐標(biāo)經(jīng)已標(biāo)定的攝像機(jī)成像模型求解出世界坐標(biāo)后，直接計(jì)算目標(biāo)尺寸但均忽略了模型誤差?，F(xiàn)有補(bǔ)償法是指根據(jù)一定模型求出尺寸后，增加相應(yīng)的補(bǔ)償值以逼近實(shí)際目標(biāo)尺寸,補(bǔ)償法[13-14]均是基于后續(xù)圖像處理中對尺寸進(jìn)行補(bǔ)償，而沒有考慮攝像模型所存在的模型誤差。

針對攝像機(jī)模型所存在的模型誤差大小可影響后續(xù)測量精度的問題，建立了基于神經(jīng)網(wǎng)絡(luò)的尺寸測量補(bǔ)償模型，進(jìn)而提出了一種基于遺傳優(yōu)化標(biāo)定和神經(jīng)網(wǎng)絡(luò)補(bǔ)償模型的單目視覺平面測量方法。

1 遺傳優(yōu)化標(biāo)定攝像機(jī)原理

1.1 攝像機(jī)模型

攝像機(jī)針孔成像模型如圖1所示，Oc點(diǎn)是攝像機(jī)光心，Zc軸是攝像機(jī)光軸，Xc軸和Yc軸分別與圖像傳感器成像平面的長邊和短邊平行，Oc-XcYcZc所組成的直角坐標(biāo)系表示攝像機(jī)坐標(biāo)系；O點(diǎn)是光心Oc點(diǎn)沿光軸方向在成像平面上的投影，X軸和Y軸分別與Xc軸和Yc軸平行，O-XY所組成的直角坐標(biāo)系表示以毫米為單位的圖像坐標(biāo)系；Ouv-UV所組成的直角坐標(biāo)系是像素為單位的像素坐標(biāo)系，U軸和V軸分別與Xc軸和Yc軸平行；Ow-XwYwZw所組成的直角坐標(biāo)系是世界坐標(biāo)系。

圖1 攝像機(jī)針孔成像模型

對于空間任意一點(diǎn)P，在世界坐標(biāo)系和攝像機(jī)坐標(biāo)系下的坐標(biāo)分別是(Xw,Yw,Zw)和(Xc,Yc,Zc)；理想成像時(shí)，其投影在圖像坐標(biāo)系下的坐標(biāo)是(Xu,Yu)，考慮透鏡徑向畸變時(shí)，其投影在圖像坐標(biāo)系下的坐標(biāo)是(Xd,Yd)，在像素坐標(biāo)系下的坐標(biāo) 可表示為

(1)

式中，(Cx,Cy)是點(diǎn)O的像素坐標(biāo)即主點(diǎn)坐標(biāo)，dx和dy分別是圖像平面上x，y方向上單位像素間的距離，Sx是圖像縱橫比。

基于徑向一致約束，僅考慮透鏡一階徑向畸變所建立的畸變模型為

(2)

式中，k為一階徑向畸變系數(shù)；Rd為圖像坐標(biāo)系下實(shí)際投影點(diǎn)到主點(diǎn)的距離，其值可表示為

(3)

針孔成像模型下理想成像時(shí)，由攝像機(jī)坐標(biāo)系到圖像坐標(biāo)系變換為

(4)

式中，f是透鏡的有效焦距。由世界坐標(biāo)系到攝像機(jī)坐標(biāo)系之間的變換為

(5)

1.2 遺傳優(yōu)化標(biāo)定攝像機(jī)

攝像機(jī)標(biāo)定就是由一定數(shù)量的特征點(diǎn)像素坐標(biāo)的和所對應(yīng)的世界坐標(biāo)確定攝像機(jī)模型參數(shù)：外參數(shù)R、T和內(nèi)參數(shù)(Cx,Cy)、Sx、k和f。針對平面尺寸測量而言，依據(jù)已確定的攝像機(jī)模型參數(shù)和被測目標(biāo)的像素坐標(biāo)可求解出目標(biāo)的世界坐標(biāo)，即

(6)

為簡化攝像機(jī)標(biāo)定步驟和提高標(biāo)定精度以保證后續(xù)尺寸測量精度，本文采用遺傳優(yōu)化算法以攝像機(jī)的內(nèi)參數(shù)(Cx,Cy)和Xx為優(yōu)化變量，以式(8)為優(yōu)化目標(biāo)函數(shù)，基于Tsai兩步法，對攝像機(jī)內(nèi)外參數(shù)進(jìn)行優(yōu)化標(biāo)定。在優(yōu)化標(biāo)定攝像機(jī)過程中，需要考慮以下幾點(diǎn)：

(1)優(yōu)化變量。對于圖像縱橫比Sx，依據(jù)現(xiàn)有CCD生產(chǎn)技術(shù)水平，設(shè)定其變化范圍為[0.8,1]。對于主點(diǎn)坐標(biāo)(Cx,Cy)，為便于設(shè)定其變動范圍，引入旋轉(zhuǎn)角α和旋轉(zhuǎn)半徑rc作為參變量替代(Cx,Cy)，具體計(jì)算如下

(7)

式中，(Cx0,Cy0)為主點(diǎn)坐標(biāo)初值；旋轉(zhuǎn)角α∈[0,2π]；旋轉(zhuǎn)半徑rc∈[0,5]。因此，本文只需對旋轉(zhuǎn)角α、旋轉(zhuǎn)半徑rc和圖像縱橫比Sx3個變量編碼，進(jìn)而遺傳優(yōu)化標(biāo)定攝像機(jī)。

(8)

1.3 外參數(shù)R、T和內(nèi)參數(shù)k、f的求解

本文采用平面靶標(biāo)標(biāo)定攝像機(jī)，并將世界坐標(biāo)系建立在標(biāo)定平面上，可知Zw=0，基于徑向一致約束有

(9)

上式兩邊同除以Tz，并整理得

[YdXw,YdYw,Yd,-XdXw,-XdYw]×h=Xd

(10)

(11)

(1)先設(shè)t2為正，由h求出r1、r2、r4、r5、t1；

(2)選取一個用于標(biāo)定攝像機(jī)的世界坐標(biāo)點(diǎn)，并根據(jù)式(5)和步驟(1)中的參數(shù)，求出所對應(yīng)的攝像機(jī)坐標(biāo)點(diǎn)(xc,yc)；

(3)比較所求的攝像機(jī)坐標(biāo)點(diǎn)(xc,yc)和所對應(yīng)的圖像坐標(biāo)點(diǎn)(xd,yd)的符號，若xc與xd同號，且yc與yd同號，則t2為正；否則t2為負(fù)。

根據(jù)旋轉(zhuǎn)矩陣R的正交性，可知

(12)

(13)

r7=r2r6-r3r5

(14)

r8=r3r4-r1r6

(15)

r9=r1r5-r2r4

(16)

如果后面計(jì)算的有效焦距f為負(fù)號，則r3、r6、r7、r8的符號與上述符號相反。

不考慮透鏡畸變時(shí)，利用式(17)獲得有效焦距f和平移參數(shù)t3的初始值，即

(17)

式中，Y=V-Cy。

考慮透鏡畸變時(shí)，建立精確求解一階徑向畸變系數(shù)k、有效焦距f、平移參數(shù)t3的非線性優(yōu)化目標(biāo)函數(shù)，其計(jì)算表達(dá)式為

(18)

式中，Y=V-Cy；Rd為圖像坐標(biāo)系下實(shí)際投影點(diǎn)到主點(diǎn)的距離；以式(17)所求解的焦距f、平移參數(shù)t3、定義k=0作為初值，利用非線性回歸法將目標(biāo)函數(shù)F(k,f,t3)逼近0方向優(yōu)化精確求解一階徑向畸變系數(shù)k、利用有效焦距f和平移參數(shù)t3。

2 基于神經(jīng)網(wǎng)絡(luò)的尺寸補(bǔ)償模型

(19)

針對攝像機(jī)成像模型存在一定誤差的問題，為提高后續(xù)尺寸的測量精度，本文基于可以任意精度逼近任何連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)，以用于攝像機(jī)標(biāo)定的像素坐標(biāo)(U,V)為神經(jīng)網(wǎng)絡(luò)的輸入單元，以理論世界坐標(biāo)和實(shí)際世界坐標(biāo)之間的偏差(Ex,Ey)為神經(jīng)網(wǎng)絡(luò)的輸出單元，進(jìn)行網(wǎng)絡(luò)訓(xùn)練直至獲得滿意的網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)系數(shù)，建立了基于神經(jīng)網(wǎng)絡(luò)的尺寸測量補(bǔ)償模型。

理論世界坐標(biāo)與世界坐標(biāo)補(bǔ)償尺寸補(bǔ)償值的和值作為實(shí)際世界坐標(biāo)，其計(jì)算式為

(20)

3 實(shí)驗(yàn)研究與分析

3.1 遺傳優(yōu)化標(biāo)定攝像機(jī)的實(shí)驗(yàn)研究

實(shí)驗(yàn)采用NI公司生產(chǎn)的1778智能相機(jī)，Computar公司的M1620-MPV光學(xué)鏡頭，采集視場中棋盤格標(biāo)定模板的圖像(每個棋盤格格子的水平和豎直方向的長度分別為5 mm)。采用圖像處理和角點(diǎn)檢測算法獲取500個圖像角點(diǎn)的像素坐標(biāo)，如圖2所示。

圖2 攝像機(jī)標(biāo)定圖像

以圖像中左上角第一個黑色方塊的左上角點(diǎn)為原點(diǎn)，以原點(diǎn)到左下角第一個方格的右上角方向?yàn)閤軸，以原點(diǎn)到右上角第一個方格的左下角方向?yàn)閥軸，垂直標(biāo)靶向上為z軸，建立世界坐標(biāo)系。將圖像角點(diǎn)的像素坐標(biāo)和世界坐標(biāo)一一對應(yīng)。經(jīng)圖像處理，得到相應(yīng)500組數(shù)據(jù)，每組數(shù)據(jù)包括一個點(diǎn)的圖像坐標(biāo)(u,v)和三維世界坐標(biāo)(x,y,z)(其中z=0,將世界坐標(biāo)系定義在標(biāo)定板上)。將獲得的數(shù)據(jù)分成標(biāo)定點(diǎn)和檢測點(diǎn)兩組，250個點(diǎn)用于遺傳算法的標(biāo)定計(jì)算，250個點(diǎn)用于檢驗(yàn)立體視覺系統(tǒng)標(biāo)定后的三維測量精度。分別采用直接線性法[15]、BP神經(jīng)網(wǎng)絡(luò)法[16]、Tsai法[7]、遺傳算法進(jìn)行標(biāo)定。將整個測試點(diǎn)的x軸和y軸方向最大均方根誤差MSE、總的均方根誤差RMS作為標(biāo)定方法的評價(jià)指標(biāo)，表1給出了部分點(diǎn)的標(biāo)定結(jié)果。可以看出線性標(biāo)定的結(jié)果較差，BP神經(jīng)網(wǎng)絡(luò)的標(biāo)定精度一般，Tsai的結(jié)果較好，遺傳算法的結(jié)果最好，說明采用優(yōu)化主點(diǎn)坐標(biāo)和縱橫比方法是有效的。

表1 部分點(diǎn)的標(biāo)定結(jié)果

3.2 基于神經(jīng)網(wǎng)絡(luò)的尺寸測量補(bǔ)償模型

將標(biāo)定點(diǎn)像素坐標(biāo)作神經(jīng)網(wǎng)絡(luò)的訓(xùn)練輸入，標(biāo)定點(diǎn)的實(shí)際世界坐標(biāo)和計(jì)算得到的世界坐標(biāo)差作為神經(jīng)網(wǎng)絡(luò)的輸出。神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，將測試點(diǎn)像素坐標(biāo)作為神經(jīng)網(wǎng)絡(luò)的輸入，得到測試點(diǎn)的世界坐標(biāo)補(bǔ)償值。然后通過標(biāo)定完成后的攝像機(jī)系統(tǒng)，得到測試點(diǎn)的世界坐標(biāo)，通過對坐標(biāo)點(diǎn)進(jìn)行補(bǔ)償，得到新的坐標(biāo)點(diǎn)。將補(bǔ)償后的坐標(biāo)點(diǎn)與實(shí)際的世界坐標(biāo)點(diǎn)的均方根誤差結(jié)果。結(jié)果如表2所示。將補(bǔ)償后得到的結(jié)果與表1的結(jié)果進(jìn)行比較。最大均方根誤差和總的均方根誤差的結(jié)果誤差值都得到減小。說明神經(jīng)網(wǎng)絡(luò)補(bǔ)償方法是有效的，能夠提高計(jì)算結(jié)果的測量精度。

表2 遺傳補(bǔ)償?shù)慕Y(jié)果

3.3 單目視覺平面測量算法的實(shí)驗(yàn)研究

為驗(yàn)證遺傳補(bǔ)償方法的有效性，本文以壹元、伍角、壹角面值硬幣直徑為被測對象，將計(jì)算結(jié)果與實(shí)際結(jié)果進(jìn)行對比。本文采用數(shù)顯式游標(biāo)卡尺(卡尺規(guī)格0～200 mm，精度0.01 mm)分別測量硬幣直徑。結(jié)果如表3所示。說明提出的基于遺傳標(biāo)定和神經(jīng)網(wǎng)絡(luò)補(bǔ)償模型，測量的硬幣直徑與實(shí)際直徑之間的長度與實(shí)際長度相對誤差<0.3% 。說明本文方法是可行、有效的。

表3 硬幣的直徑及相對誤差

4 結(jié)束語

本文將遺傳優(yōu)化算法引入攝像機(jī)標(biāo)定，遺傳算法以圖像主點(diǎn)坐標(biāo)和圖像縱橫比為優(yōu)化變量，通過對標(biāo)定點(diǎn)的結(jié)果對比，說明本文遺傳優(yōu)化方法是可行的、有效的。神經(jīng)網(wǎng)絡(luò)對三維空間點(diǎn)進(jìn)行位置補(bǔ)償，將標(biāo)定點(diǎn)補(bǔ)償結(jié)果與未補(bǔ)償結(jié)果進(jìn)行對，說明補(bǔ)償?shù)挠行浴?shí)驗(yàn)研究表明，平面測量方法得到的結(jié)果最大相對誤差小于0.3%，具有較高精度，說明本文提出的遺傳優(yōu)化標(biāo)定和神經(jīng)網(wǎng)絡(luò)補(bǔ)償?shù)钠矫娣椒ㄊ怯行У摹?/p>

[1] 唐巍,葉東,袁鋒,等.均勻設(shè)計(jì)與灰色理論應(yīng)用于視覺系統(tǒng)誤差分析[J].儀器儀表學(xué)報(bào), 2013,34(2):371-378.

[2] 趙汝進(jìn),劉恩海,張文明,等.基于弱透視成像模型的目標(biāo)三維姿態(tài)測量[J].光子學(xué)報(bào),2014,43(5):1-6.

[3] 劉長英,高印寒,車仁生.單目視覺測量系統(tǒng)不確定的分析[J].機(jī)械工程學(xué)報(bào),2008,44(7):75-78.

[4] 葛寶臻,李曉潔,邱實(shí).基于共面點(diǎn)直接線性變換的攝像機(jī)畸變校正[J].中國激光,2010, 37(2):488-494.

[5] 劉昶.二維目標(biāo)視覺測量的雙平行平面標(biāo)定[J].光學(xué)學(xué)報(bào),2013,33(11):1-7.

[6] 劉金頌,原思聰,江鄉(xiāng)奎,等.基于PSO和LSSVM回歸的攝像機(jī)標(biāo)定[J].光電工程,2010,37(5):47-51.

[7] Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machie vision metrology using off-the-shelf TV camera and lenses[J].IEEE Journal of Robotics and Automation,1987(8):323-344.

[8] Zhang Z Y.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000,22(11):1330-1334.

[9] 李勤,達(dá)飛鵬,溫晴川,等.任意方向下的攝像機(jī)鏡頭畸變標(biāo)定[J].儀器儀表學(xué)報(bào),2010,31(9):2022-2027.

[10] 陳天飛,馬孜,李鵬,等.一種基于非量測畸變校正的攝像機(jī)圖標(biāo)定方法[J].控制與決策, 2012,27(2):243-251.

[11] 呂朝輝,張兆楊,安平.基于神經(jīng)網(wǎng)絡(luò)的立體視覺攝像機(jī)標(biāo)定[J].機(jī)械工程學(xué)報(bào),2003,39(9):93-96.

[12] De C W,Ya Q T,Tie N Z.Research on the application of PSO algorithm in non-linear camera calibration[C].Kunming:Intelligent Control and Automation,2008.

[13] 盧清華,許重川,王華.基于機(jī)器視覺的大幅面陶瓷地磚尺寸測量研究[J].光學(xué)學(xué)報(bào),2013,33(3):1-7.

[14] 何博俠,張志勝,戴敏,等.基于序列局部圖像的高精度測量[J].光學(xué)精密工程,2008,16(2):367-373.

[15] 尹英杰,徐德,張正濤,等.基于單目視覺的平面測量[J].電子測量與儀器學(xué)報(bào),2013,27(4):347-352.

[16] 宗曉萍,石圣羽,田華.基于BP 神經(jīng)網(wǎng)絡(luò)的足球機(jī)器人攝像機(jī)標(biāo)定[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(8) :204-206.

歡迎訂閱《電子科技》

郵發(fā)代號：52-246

Plane Measurement Based on Genetic Optimization Calibration and Compensation of Neural Networks

YANG Pan，ZHU Jianmin，LI Jigang

(School of Mechanical of Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China)

Traditional camera calibration methods using in planar dimension measurement fail to guarantee both simple procedure and high precision. A method for camera calibration based on genetic is proposed. This method, taking the main point coordinate of the image and the image aspect ratio as optimization variables and seeing the maximum deviation between the theoretical world coordinates and the real world coordinates as the objective function, gets all internal and external parameters of camera in one-time based on genetic optimization theory. Aiming at the issues that the existing model error value of the camera model can influence on subsequent dimensional measurement accuracy, a measurement compensation model by neural network is established. The relative errors are less than 0.3%, which verifies the method is feasible and effective.

genetic optimization; camera calibration; neural network; dimension compensation; planar dimension measurement

2016- 11- 24

楊攀(1989-)，男，碩士研究生。研究方向：機(jī)器視覺等。

10.16180/j.cnki.issn1007-7820.2017.05.013

TP301.6；TP391.41

A

1007-7820(2017)05-047-05