項(xiàng)輝宇，劉倩倩，韓寶安，李 鶴

（北京工商大學(xué) 材料與機(jī)械工程學(xué)院，北京 100037）

基于HALCON的板料成形網(wǎng)格應(yīng)變的測(cè)量

項(xiàng)輝宇，劉倩倩，韓寶安，李 鶴

（北京工商大學(xué) 材料與機(jī)械工程學(xué)院，北京 100037）

計(jì)算機(jī)視覺(jué)在網(wǎng)格應(yīng)變測(cè)量領(lǐng)域的應(yīng)用已成為研究熱點(diǎn)，本實(shí)驗(yàn)是基于先進(jìn)的圖像處理軟件HALCON，利用雙目立體視覺(jué)原理，對(duì)印制有圓形網(wǎng)格的板料應(yīng)變測(cè)量。首先采用印制有圓形標(biāo)志點(diǎn)的平面標(biāo)準(zhǔn)標(biāo)定板，對(duì)攝像機(jī)進(jìn)行標(biāo)定，獲得攝像機(jī)的內(nèi)外參數(shù)。采用基于NCC的匹配方法對(duì)左右圖像特征點(diǎn)進(jìn)行匹配，利用視差原理獲得匹配點(diǎn)的三維坐標(biāo)，對(duì)印制有圓形網(wǎng)格的板料進(jìn)行三維重建。然后根據(jù)圓形網(wǎng)格變形后的橢圓長(zhǎng)短軸的長(zhǎng)度變化，計(jì)算得到真實(shí)應(yīng)變，用OpenGL語(yǔ)言將應(yīng)變可視化。

標(biāo)定；立體匹配；三維重建；HALCON；應(yīng)變可視化

0 引言

傳統(tǒng)接觸式的應(yīng)變測(cè)量方法已無(wú)法完成對(duì)大撓度塑形變形的應(yīng)變測(cè)量，工具顯微鏡法[1]是板料成形的傳統(tǒng)應(yīng)變測(cè)量方法，其采用圓形陣列網(wǎng)格，通過(guò)工具顯微鏡直接讀取變形后的橢圓的長(zhǎng)短軸長(zhǎng)度，并與初始圓網(wǎng)格的直徑進(jìn)行比較，從而獲得單個(gè)圓形區(qū)域的應(yīng)變值，對(duì)手工操作的依賴性較大，效率和精度較低，難以解決復(fù)雜板件的應(yīng)變測(cè)量。采用HALCON進(jìn)行非接觸式的快速精確的應(yīng)變測(cè)量方法已在各領(lǐng)域都得到廣泛的應(yīng)用。HALCON擁有一套圖像處理庫(kù)，由一千多個(gè)獨(dú)立的函數(shù)以及底層的數(shù)據(jù)管理核心構(gòu)成。包含了濾波，色彩以及幾何、數(shù)學(xué)轉(zhuǎn)換，形態(tài)學(xué)計(jì)算分析，校正，分類辨識(shí)，形狀搜尋及影像計(jì)算等功能，基于HALCON強(qiáng)大的計(jì)算分析能力，應(yīng)用范圍幾乎沒(méi)有限制，涵蓋從醫(yī)學(xué)，遙感探測(cè)，監(jiān)控，到工業(yè)上的各類自動(dòng)化檢測(cè)[2]。本實(shí)驗(yàn)利用強(qiáng)大的HALCON的算子和算法實(shí)現(xiàn)對(duì)板料成形網(wǎng)格應(yīng)變的測(cè)量。

1 雙目立體視覺(jué)標(biāo)定

雙目立體視覺(jué)標(biāo)定的流程如圖1所示。為了進(jìn)行攝像機(jī)標(biāo)定，必須在世界坐標(biāo)系中已知足夠多空間點(diǎn)的三維坐標(biāo)，找到這些點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)，并建立對(duì)應(yīng)關(guān)系，通常將容易提取特征的目標(biāo)物或標(biāo)志放置在一個(gè)已知位置上。本實(shí)驗(yàn)中使用的是（60×60）mm平面標(biāo)準(zhǔn)標(biāo)定板。

利用算子open_frameg-rabber()打開(kāi)和配置選定的圖像獲取設(shè)備，利用算子grab_image()實(shí)時(shí)采集圖像。通過(guò)while循環(huán)，利用get_mposition()算子，實(shí)現(xiàn)鼠標(biāo)左鍵點(diǎn)擊圖像窗口時(shí)進(jìn)行圖像采集并保存。為了簡(jiǎn)化復(fù)雜的非線性問(wèn)題，需要給定攝像機(jī)的初始參數(shù)，攝像機(jī)參數(shù)包括焦距、畸變、像元大小、圖像中心點(diǎn)坐標(biāo)以及圖像大小。本實(shí)驗(yàn)中使用的攝像機(jī)參數(shù)為Start-Paramater=[0.016,0,5.2x10-6,5.2x10-6,640,512,1280,1024]。然后將抓取的圖像利用算子find_caltab ()提取標(biāo)定板內(nèi)部區(qū)域。找到標(biāo)定對(duì)象上的內(nèi)部區(qū)域之后利用算子find_marks_and_pose()從圖像中提取2D標(biāo)定標(biāo)志，并計(jì)算攝像機(jī)外部參數(shù)的初始值，該算子使用亞像素邊緣提取方法來(lái)提取標(biāo)志點(diǎn)的邊緣如圖2所示。確定了標(biāo)志點(diǎn)與它們?cè)趫D像中投影之間的對(duì)應(yīng)關(guān)系后，利用算子binocular_calibration()根據(jù)上述過(guò)程可以計(jì)算出雙目立體視覺(jué)系統(tǒng)中攝像機(jī)的內(nèi)部參數(shù)以及兩個(gè)攝像機(jī)之間的位置關(guān)系，結(jié)果如圖3所示。

圖1 標(biāo)定流程圖

為使攝像機(jī)參數(shù)更加準(zhǔn)確，需要有足夠多的標(biāo)定圖像，因?yàn)閿z像機(jī)參數(shù)之間存在不容忽視的相關(guān)性，這些參數(shù)只能通過(guò)多次無(wú)關(guān)測(cè)量進(jìn)行求解。標(biāo)定板在標(biāo)定圖像中最好能夠覆蓋整個(gè)視野，這樣可以使計(jì)算得到的畸變k更加準(zhǔn)確。如果標(biāo)定板可以覆蓋較大的深度范圍，所得到的攝像機(jī)參數(shù)會(huì)更準(zhǔn)確，可以通過(guò)將標(biāo)定板繞其x軸和y軸旋轉(zhuǎn)一定角度，或者將標(biāo)定板放置在與攝像機(jī)不同距離的位置上，以增大標(biāo)定板覆蓋的深度范圍[3]。

圖2 提取的標(biāo)志點(diǎn)

圖3 雙目立體標(biāo)定結(jié)果

2 立體匹配

2.1 立體匹配

進(jìn)行立體重構(gòu)主要的一步就是得到圖像中每個(gè)點(diǎn)的視差，一般是指第一幅圖像的所有點(diǎn)，求視差的過(guò)程可以看做模板匹配問(wèn)題。圖像的匹配就是要找出同一目標(biāo)在左右成像面上的特征對(duì)應(yīng)關(guān)系，根據(jù)二者視差恢復(fù)圖像的深度信息[4,5]。一般情況下基于灰度值的匹配方法是立體匹配中最快的方法。最簡(jiǎn)單的計(jì)算相似度量[6]的方法是SAD （sum of absolute gray value differences）和SSD（Sum of squared gray value differences），對(duì)于立體問(wèn)題來(lái)講，可使用如下等式表示：

這兩種相似度量方法的運(yùn)算速度非?？欤贿^(guò)這兩種方法受光照變化影響比較大，而由于兩個(gè)攝像機(jī)視角不同，加之被測(cè)對(duì)象本身等原因，光照變化在立體重建中經(jīng)常出現(xiàn)，因此在一些應(yīng)用中必須使用歸一化互相關(guān)方法（NCC）計(jì)算相似度量，在解決立體匹配時(shí)，可以使用下式表示：

式中，mi和si（i=1,2）分別表示第一幅和第二圖圖像中窗口部分的均差和標(biāo)準(zhǔn)差。使用歸一化互相關(guān)方法可以保證線性的光照變化不會(huì)導(dǎo)致互相關(guān)系數(shù)發(fā)生變化。

2.2 匹配過(guò)程

圖4 匹配過(guò)程流程圖

在HALCON中調(diào)用相關(guān)算子進(jìn)行匹配并得到視差圖，匹配過(guò)程流程圖如圖4所示。

攝像機(jī)標(biāo)定完成后，在攝像機(jī)相對(duì)位置以及各項(xiàng)內(nèi)部參數(shù)均未發(fā)生改變的情況下，獲取變形后的板料的左右兩幅圖像。為簡(jiǎn)化匹配過(guò)程需要對(duì)圖像進(jìn)行校正，實(shí)現(xiàn)兩幅圖像處在同一平面，根據(jù)極線約束原理，對(duì)于左圖像中一點(diǎn)，其在右圖像中的匹配點(diǎn)肯定位于與該點(diǎn)在左圖像相同的行上，這樣匹配的過(guò)程中只需在與已知點(diǎn)的相同行上進(jìn)行搜索即可。利用標(biāo)定得到的攝像機(jī)內(nèi)外參數(shù)對(duì)圖像進(jìn)行變換，使得變換后的圖像共軛極線共線，并平行于圖像的水平軸。算子gen_binocular_rectification_map()用于創(chuàng)建校正后圖像對(duì)所在的圖像平面，而map_image()將測(cè)量圖像投影到剛創(chuàng)建的圖像平面，對(duì)板料圖像進(jìn)行校正后的圖像如圖5所示，此時(shí)左右圖像中對(duì)應(yīng)匹配點(diǎn)位于相同的行上，匹配結(jié)果如圖6所示。

HALCON中算子binocular_disparity()利用相關(guān)一致性技術(shù)，計(jì)算校正后的兩幅圖像之間像素級(jí)精度的對(duì)應(yīng)關(guān)系，輸出結(jié)果為視差圖和匹配分值圖，如圖7所示。兩幅圖像均是參考第一幅校正圖幾何，即第一幅校正圖像中點(diǎn)的視差就是視差圖中位置處的灰度值。在視差圖中匹配失敗的區(qū)域以白色顯示，而在匹配分值圖中則以黑色顯示。

圖5 圖像校正結(jié)果

圖6 匹配結(jié)果

圖7 視差圖和匹配分值圖

3 三維重建

3.1 三維重建過(guò)程

整個(gè)三維重建過(guò)程如圖8所示。在HALCON中算子draw_rectangle2()定義區(qū)域并利用算子reduce_domain ()來(lái)創(chuàng)建感興趣區(qū)域ROI。利用算子edges_sub_pix()對(duì)ROI進(jìn)行亞像素精度邊緣提取，配合使用算子select_contours_xld()和select_shape_xld()，對(duì)提取的邊緣進(jìn)行選擇，由于印制的網(wǎng)格有一定的寬度，因此每個(gè)圓形網(wǎng)格均會(huì)有內(nèi)邊緣和外邊緣。

圖8 三維重建流程圖

本實(shí)驗(yàn)中使用自編的算子sort_contours_xld_by_line ()，實(shí)現(xiàn)按線段或直線對(duì)提取的橢圓輪廓進(jìn)行排序。在HALCON中，先按照輪廓排列順序，從中選出一個(gè)，然后用算子fit_ellipse_contour_xld()進(jìn)行橢圓擬合，得到擬合后橢圓的各項(xiàng)參數(shù)包括中心坐標(biāo)、長(zhǎng)短軸方向、長(zhǎng)短軸長(zhǎng)度以及長(zhǎng)短軸終點(diǎn)坐標(biāo)，將內(nèi)外輪廓對(duì)應(yīng)的這些參數(shù)按照排列順序進(jìn)行平均運(yùn)算，得到真實(shí)位置橢圓的各項(xiàng)參數(shù)，再利用算子gen_ellipse_contour_xld()生成橢圓。

3.2 三維坐標(biāo)轉(zhuǎn)換

雙目立體模型在經(jīng)過(guò)校正后變成了雙目平視模型，空間點(diǎn)在兩圖像中的投影 （稱為共軛點(diǎn)）的圖像坐標(biāo)分別可表示為：

共軛點(diǎn)在兩圖像上的位置差稱為視差d，即：

其中焦距f和基線b均為校正后的圖像參數(shù)，為已知，而視差d由算子binocular_disparity()求得，這樣空間點(diǎn)的三維重建將大大簡(jiǎn)化。

算子disparity_to_point_3d()以校正后的攝像機(jī)參數(shù)、圖像坐標(biāo)和視差值為輸入?yún)?shù)，將圖像坐標(biāo)轉(zhuǎn)換為校正立體系統(tǒng)下的三維坐標(biāo)（Xc，Yc，Zc）。

4 應(yīng)變計(jì)算

4.1 應(yīng)變計(jì)算

常用的網(wǎng)格類型有圓網(wǎng)格、方網(wǎng)格和混合網(wǎng)格，對(duì)于不同的網(wǎng)格計(jì)算應(yīng)變的方法也不同。采用圓網(wǎng)格進(jìn)行應(yīng)變計(jì)算時(shí)，計(jì)算方法非常簡(jiǎn)便。記d0為變形前圓的直徑，d2和 d1分別為變形后的橢圓之長(zhǎng)、短軸的長(zhǎng)度[8]，變形后橢圓的長(zhǎng)軸方向?yàn)橹鲬?yīng)變方向，短軸方向?yàn)榱硪粋€(gè)主應(yīng)變方向，主應(yīng)變的計(jì)算公式為：

真實(shí)應(yīng)變：

4.2 應(yīng)變可視化板料表面的應(yīng)變計(jì)算出來(lái)后，為了便于方便的觀察板料成形應(yīng)變，需要通過(guò)科學(xué)計(jì)算可視化技術(shù)顯示出這些數(shù)據(jù)的意義。本文中的科學(xué)計(jì)算可視化是在 OpenGL的基礎(chǔ)上實(shí)現(xiàn)的[9～11]，其整個(gè)可視化流程如圖9所示。

圖9 可視化流程

4.3應(yīng)變可視化系統(tǒng)實(shí)現(xiàn)

本實(shí)驗(yàn)利用OpenGL語(yǔ)言，在VC++6.0基礎(chǔ)上編程實(shí)現(xiàn)了應(yīng)變可視化系統(tǒng)，如圖10所示，該系統(tǒng)中可以觀察三維曲面、主應(yīng)變、工程應(yīng)變、等效應(yīng)變、厚向應(yīng)變的離散點(diǎn)圖和曲面圖，通過(guò)鼠標(biāo)操作可實(shí)現(xiàn)平移、旋轉(zhuǎn)、縮放和復(fù)位同時(shí)在系統(tǒng)設(shè)置中可對(duì)雙線性插值次數(shù)、離散點(diǎn)大小和背景顏色進(jìn)行設(shè)置[12]。本實(shí)驗(yàn)以主應(yīng)變?yōu)槔?，顯示應(yīng)變效果如圖11所示。

圖10 應(yīng)變可視化系統(tǒng)界面

5 結(jié)論

圖11 真實(shí)主應(yīng)變

本文將圖像處理軟件HALCON引入到板料成形網(wǎng)格應(yīng)變測(cè)量中，采用平面標(biāo)準(zhǔn)標(biāo)定板，通過(guò)在標(biāo)定板區(qū)域內(nèi)對(duì)標(biāo)志點(diǎn)輪廓進(jìn)行橢圓擬合，確定標(biāo)志點(diǎn)中心在圖像中的投影，根據(jù)多幅圖像中的這種對(duì)應(yīng)關(guān)系確定兩攝像機(jī)內(nèi)部參數(shù)和兩攝像機(jī)之間位置關(guān)系，根據(jù)雙目立體視覺(jué)原理得到了準(zhǔn)確的標(biāo)定結(jié)果。通過(guò)基于灰度值的匹配方法獲得圖像的視差，為了消除光照變化的影響，本實(shí)驗(yàn)采用NCC相似度量方法，得到匹配結(jié)果——視差圖和匹配分值圖。要完成三維重建，除了校正后攝像機(jī)的參數(shù)和視差圖，還需確定特征點(diǎn)的位置以及對(duì)應(yīng)的視差值，因此需要對(duì)特征點(diǎn)的提取進(jìn)行預(yù)處理操作，包括創(chuàng)建感興趣區(qū)域、亞像素邊緣、輪廓提取及排序、橢圓擬合和平均運(yùn)算，得到橢圓中心點(diǎn)坐標(biāo)，根據(jù)視差原理求得特征點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)，進(jìn)而獲得圓網(wǎng)格應(yīng)變。在VC下調(diào)用OpenGL圖像庫(kù)，實(shí)現(xiàn)應(yīng)變的可視化。實(shí)驗(yàn)證明，基于HALCON的板料成形網(wǎng)格應(yīng)變測(cè)量方法快速、準(zhǔn)確，具有很強(qiáng)的魯棒性。

[1]工具顯微鏡編寫(xiě)組.工具顯微鏡[M].北京：機(jī)械工業(yè)出版社，1978.

[2]王家國(guó).瓶裝啤酒異物在線檢測(cè)關(guān)鍵技術(shù)研究[D].山東大學(xué),2009.

[3]（德)Steger,C.,Ulrich,M.,Wiedemann,C.,等；楊少榮，等（譯）.機(jī)器視覺(jué)算法與應(yīng)用[M].北京：清華大學(xué)出版社，2008:218-245.

[4]王玉翰.基于雙目立體視覺(jué)的番茄識(shí)別與定位技術(shù)研究[D].浙江大學(xué)，2012.

[5]王曉華.基于雙目視覺(jué)的三維重建技術(shù)研究[D].山東科技大學(xué)，2004.

[6]王瑞.基于計(jì)算機(jī)視覺(jué)的深度信息提取技術(shù)的研究[D].沈陽(yáng)工業(yè)大學(xué)，2007.

[7]徐玉華.二維光學(xué)和距離圖像配準(zhǔn)方法及其應(yīng)用研究[D].合肥工業(yè)大學(xué)，2011.

[8]靳海亮，高井祥，康建榮.基于VC和OpenGL的地形三維可視化[J].微計(jì)算機(jī)應(yīng)用，2006，5.

[9]王海濤，張力，項(xiàng)輝宇.基于視覺(jué)的汽車覆蓋件塑性主應(yīng)變測(cè)定[J].北京工商大學(xué)學(xué)報(bào)（自然科學(xué)版），2008，4.

[10]郭濤，平西建.基于OpenGL的三維地形可視化技術(shù)研究[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，1.

[11]劉媛媛.板料成形試驗(yàn)中應(yīng)變測(cè)量與數(shù)據(jù)處理系統(tǒng)開(kāi)發(fā)[D].南京航空航天大學(xué)，2012.

Grid Strain Measurement in Sheet Metal Part Forming Based on HALCON

XIANG Hui-Yu，LIU Qian-Qian，HAN Bao-An，LI He
(Materials and Mechanical Engineering College,Beijing Technology and Business University,Beijing 100037,China)

Computer vision application in the field of strain grid measuring has become a research topic,the study mainly measure strain to sheet metal with circular grid using the principle of binocular stereo vision based on advanced HALCON which is an image processing software.First calibrate the cameras with plane standard calibration plate to acquire the cameras'internal and external parameters.Matching feature points of left and right images by matching method based on NCC.Using the disparity principle to get three-dimensional coordinates of the matching points with which to conduct 3D reconstruction to the sheet metal part printed with circular grids.Then according to the length change of the elliptical axis after circular grid deformation,calculate the the true strain,and visualize each strain with OpenGL language.

calibrations；stereo matching；3D reconstruction；HALCON；visualization strains

TP39

：Adoi:10.3969/j.issn.1002-6673.2014.03.048

1002－6673（2014）03－125－04

2014－04－03

項(xiàng)輝宇(1966-)，男，工學(xué)博士，教授。主要研究方向：數(shù)字化設(shè)計(jì)制造技術(shù)；劉倩倩（1988-），女，碩士研究生。