薛 真，項(xiàng)輝宇

（北京工商大學(xué) 材料與機(jī)械工程學(xué)院，北京 100048）

一種用于工件視覺測量的圖像拼接方法的研究

薛 真，項(xiàng)輝宇

（北京工商大學(xué) 材料與機(jī)械工程學(xué)院，北京 100048）

在工件的生產(chǎn)制造過程中，視覺測量技術(shù)以其具有的快速、準(zhǔn)確的特點(diǎn)發(fā)揮著越來越重要的作用，針對大尺寸物體的視覺測量，提出了圖像拼接技術(shù)。該方法基于視覺圖像處理軟件HALCON，利用經(jīng)過標(biāo)定的攝像機(jī)采集帶有一定特征信息的零件的序列圖像，對圖像進(jìn)行坐標(biāo)變換、高斯濾波等預(yù)處理，在相鄰圖像之間的重疊區(qū)域使用Harris角點(diǎn)檢測算法進(jìn)行特征點(diǎn)提取，將提取出的特征點(diǎn)進(jìn)行匹配，根據(jù)特征點(diǎn)之間的匹配關(guān)系完成圖像配準(zhǔn)，實(shí)現(xiàn)由多幅圖像拼接成為一幅圖像。闡述了相關(guān)理論并進(jìn)行了實(shí)驗(yàn)，驗(yàn)證了該方法的可行性。

攝像機(jī)標(biāo)定；HALCON；特征點(diǎn)提??；圖像匹配；圖像拼接

0　引言

目前，對于大尺寸工件的測量，可以采用大尺寸導(dǎo)軌或者標(biāo)準(zhǔn)件進(jìn)行測量，但是這種方法操作不方便，精度較低，而且成本較高。也可以采用間接法，如高弦長法，這種方法存在原理誤差，結(jié)果的可靠性較差。隨著計算機(jī)視覺技術(shù)斷發(fā)展，采用視覺測量的方法可以解決上面兩種方法的不足[1]。但在一些大尺寸工件的測量中，由于攝像機(jī)視角、拍攝角度、攝像機(jī)的視場不足等因素的影響，不能一次性獲得一幅包含工件完整信息的圖像。這時就需要將不同時刻、不同角度拍攝的、存在一定重疊區(qū)域的圖像拼接融合，獲得一幅全景圖像，這就是圖像拼接技術(shù)。

本文提出了一種基于HALCON軟件的圖像拼接方法，該方法的基本流程如圖1所示。該方法基于計算機(jī)視覺技術(shù)，先建立攝像機(jī)模型，通過攝像機(jī)標(biāo)定確定物體圖像坐標(biāo)與世界坐標(biāo)之間的關(guān)系，利用該攝像機(jī)采集一系列待拼接的圖像，進(jìn)行圖像處理。在處理后的圖像中提取特征點(diǎn)，根據(jù)這些點(diǎn)之間的關(guān)系完成圖像配準(zhǔn)工作，實(shí)現(xiàn)圖像拼接。

圖1　圖像拼接方法的流程

1　視覺測量與圖像拼接

圖像拼接的基本原理是利用幾幅圖像在時間或空間上的冗余或互補(bǔ)信息，根據(jù)一定的拼接算法合成一幅大視野、高分辨率的圖像[2]。在實(shí)現(xiàn)拼接的過程中，攝像機(jī)標(biāo)定是其中的關(guān)鍵步驟之一。

1.1攝像機(jī)標(biāo)定原理與過程

進(jìn)行攝像機(jī)標(biāo)定可以確定二維圖像與世界坐標(biāo)系中物體的對應(yīng)關(guān)系，從而可以由圖像中物體的尺寸計算出物體的實(shí)際尺寸[3]。攝像機(jī)標(biāo)定過程就是確定攝像機(jī)內(nèi)參數(shù)和外參數(shù)的過程。內(nèi)參數(shù)包括攝像機(jī)的主距、畸變、縮放比例因子、主點(diǎn)等，外參數(shù)指攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系。進(jìn)行攝像機(jī)標(biāo)定時，首先要建立攝像機(jī)模型，如圖2所示。在建立好的攝像機(jī)模型中將世界坐標(biāo)系中的點(diǎn)轉(zhuǎn)換到圖像坐標(biāo)系中，需要經(jīng)過以下三個步驟：

1）從世界坐標(biāo)系（WCS）變換到攝像機(jī)坐標(biāo)系（CCS）中。

這一變換屬于剛性變換，我們在世界坐標(biāo)系中取一點(diǎn)，設(shè)它在攝像機(jī)坐標(biāo)系中的對應(yīng)坐標(biāo)為，則它們之間有如下轉(zhuǎn)換關(guān)系：

2）從攝像機(jī)坐標(biāo)系投影到成像平面坐標(biāo)系（IPCS）中，若鏡頭沒有畸變，則該過程可以利用下式實(shí)現(xiàn)。

式中f是攝像機(jī)的主距，Zc是目標(biāo)物體與攝像機(jī)之間的距離。

但在實(shí)際應(yīng)用中，鏡頭往往會存在不同程度的畸變，在機(jī)器視覺的應(yīng)用中，可以將這種畸變近似為徑向畸變，并且可以用下式進(jìn)行修正。

式中k表示徑向畸變的量級，k＞0表示枕形畸變，k＜0表示桶形畸變。是考慮鏡頭畸變后，在成像平面上的投影點(diǎn)的坐標(biāo)。

3）從成像平面坐標(biāo)系轉(zhuǎn)換到圖像坐標(biāo)系（ICS）中。

式中Sx和Sy是比例縮放因子，代表圖像傳感器上水平和垂直方向上相鄰像素之間的距離。點(diǎn)是光心在成像坐標(biāo)系中的投影點(diǎn)，即圖像的主點(diǎn)。

上述公式中的f、k、Sx、Sy、Cx和Cy就是攝像機(jī)的內(nèi)參數(shù)，它們確定了攝像機(jī)實(shí)現(xiàn)三維空間點(diǎn)到二維圖像點(diǎn)的投影的方法。至此，世界坐標(biāo)系中點(diǎn)Pw與圖像坐標(biāo)系中的對應(yīng)關(guān)系可由上述四個公式得出[4]。由此可知，要完成攝像機(jī)的標(biāo)定，需要知道足夠多的三維空間點(diǎn)的坐標(biāo)，并找到圖像中的對應(yīng)點(diǎn)，建立對應(yīng)關(guān)系。

圖2　攝像機(jī)模型

在HALCON系統(tǒng)下，實(shí)現(xiàn)攝像機(jī)標(biāo)定的過程如圖3所示。

圖3　攝像機(jī)標(biāo)定流程圖

實(shí)驗(yàn)采用60mm×60mm的圓點(diǎn)型平面標(biāo)定板進(jìn)行攝像機(jī)標(biāo)定。標(biāo)定板制作過程簡單，精度較高，便于操作[5]。用于攝像機(jī)標(biāo)定的標(biāo)定板的圖像數(shù)量是影響攝像機(jī)參數(shù)準(zhǔn)確度的重要因素。本實(shí)驗(yàn)拍攝了標(biāo)定板在不同位置的20幅圖像，然后利用HALCON圖像處理軟件對這些圖像處理，得到相機(jī)的內(nèi)外參數(shù)。

HALCON是德國MVTec Software GmbH公司開發(fā)的圖像處理軟件，功能強(qiáng)大，內(nèi)部包含1600多個算子。在執(zhí)行標(biāo)定過程中利用算子set_calib_data_calib_object設(shè)置標(biāo)定模板句柄；find_caltab可以將標(biāo)定板內(nèi)部區(qū)域與背景分隔開，該算子對輸入圖像進(jìn)行高斯濾波，再采用閾值分割的方法找到標(biāo)定板的內(nèi)部區(qū)域；find_marks_ and_pose找到每個圓心的中心并確定它們相應(yīng)的世界坐標(biāo)，并且可以粗略計算相機(jī)的外參數(shù)。最后通過算子calibrate_cameras和get_calib_data得到攝像機(jī)的參數(shù)，如表1所示。標(biāo)定誤差為0.143194個像素。

表1　攝像機(jī)初始參數(shù)及標(biāo)定結(jié)果

1.2圖像處理

在完成攝像機(jī)標(biāo)定后需要保持?jǐn)z像機(jī)的位置不變，通過標(biāo)定后的攝像機(jī)模型得到待拼接圖像的圖像坐標(biāo)與世界坐標(biāo)的關(guān)系。在實(shí)際應(yīng)用中，采集的圖像可能存在幾何失真或者受到噪聲的干擾，因此，在提取特征點(diǎn)之前要對圖像進(jìn)行預(yù)處理，本文用到的圖像處理技術(shù)主要有圖像坐標(biāo)變換和圖像濾波。

1.3特征點(diǎn)的提取與圖像配準(zhǔn)

在本文中，特征點(diǎn)提取采用了Harris角點(diǎn)檢測算法。Harris角點(diǎn)檢測算子具有快速便捷的特點(diǎn)。它的原理是：首先選取圖像上的某一點(diǎn)，讓該點(diǎn)在任意方向發(fā)生一個小小的偏移f(x,y)，然后判斷該點(diǎn)的灰度是否發(fā)生很大的變化，如果是，就說明該點(diǎn)是角點(diǎn)。在使用該算法時，需要注意選取合適的梯度平滑值。

在完成特征點(diǎn)提取之后，再根據(jù)重疊區(qū)域的一致性求解圖像間的投影變換矩陣[6]。經(jīng)過初步匹配之后，采用RANSAC算法進(jìn)行魯棒匹配，剔除錯誤的匹配點(diǎn)，完成圖像配準(zhǔn)。

在HALCON中，算子change_radial_distortion_ image( )用來校正圖像的畸變；tile_images_offset( )提供待拼接圖像的坐標(biāo)位置及排列方式；points_harris( )表示利用hariss角點(diǎn)檢測算法檢測關(guān)注點(diǎn)，并提取出特征點(diǎn)；proj_match_points_ransac( )通過找到兩幅圖像中點(diǎn)與點(diǎn)之間的映射計算一個投影變換矩陣；gen_ projective_mosaic( )把多重圖像合成一個馬賽克圖像，即完成圖像拼接過程。

2　實(shí)例驗(yàn)證

基于上述原理，本文進(jìn)行了拼接實(shí)驗(yàn)。實(shí)驗(yàn)采用DH-HV1302UM攝像機(jī)，通過HALCON中的算子open_ framegrabber( )打開該攝像機(jī)并進(jìn)行圖像的采集工作。首先固定攝像機(jī)位置，采集標(biāo)定板圖像進(jìn)行攝像機(jī)標(biāo)定，再利用標(biāo)定后的攝像機(jī)采集要拼接的圖像。

實(shí)驗(yàn)采集了一個沖壓工件的九幅圖像，經(jīng)過圖像處理后，提取到的特征點(diǎn)及特征點(diǎn)之間的匹配關(guān)系如圖4所示，圖中綠色的點(diǎn)代表特征點(diǎn)，藍(lán)色的線代表特征點(diǎn)之間的匹配關(guān)系。

圖4　圖像特征點(diǎn)提取及匹配結(jié)果

圖像拼接結(jié)果如圖5所示。

圖5　圖像拼接結(jié)果

3　結(jié)束語

本文提出了基于HALCON的圖像拼接算法，即：用攝像機(jī)采集一系列具有重疊區(qū)域的待拼接的圖像，對圖像進(jìn)行處理后，在每相鄰兩幅圖像之間提取特征點(diǎn)。根據(jù)這些點(diǎn)的對應(yīng)關(guān)系，完成圖像之間的配準(zhǔn)，將配準(zhǔn)后的圖像拼接成一幅完整的圖像。通過本文的實(shí)驗(yàn)，驗(yàn)證了這種基于HALCON的拼接算法的可行性。在現(xiàn)代化的制造業(yè)中，將圖像拼接技術(shù)應(yīng)用于視覺測量中，可以在一定程度上解決大尺寸物體的測量與檢測問題。因此，從提高精度和準(zhǔn)確度的角度出發(fā)，對圖像拼接技術(shù)進(jìn)行研究很有必要。

[1] 白福忠.視覺測量技術(shù)基礎(chǔ)[M].北京:電子工業(yè)出版社,2013: 13-16.

[2] 韓九強(qiáng).機(jī)器視覺技術(shù)及應(yīng)用[M].北京:高等教育出版社,2009: 10-11.

[3] 項(xiàng)輝宇,劉倩倩,韓寶安,冷崇杰.基于HALCON的單目視覺系統(tǒng)沖壓件的幾何特征檢測[J].制造業(yè)自動化,2014,12:48-50,63.

[4] 羅珍茜,薛雷,孫峰杰,陸士清,李長遠(yuǎn).基于HALCON的攝像機(jī)標(biāo)定[J].電視技術(shù),2010,04:100-102.

[5] C.Steger等著,楊少榮等譯.機(jī)器視覺算法與應(yīng)用[M].北京:清華大學(xué)出版社,2008:255-274.

[6] 王中任,全燕鳴.大尺寸工件在機(jī)視覺測量的圖像拼接方法[J].工具技術(shù),2010,01:95-98.

Study on image mosaic approach for workpiece vision measurement

XUE Zhen, XIANG Hui-yu

TH161

A

1009-0134(2016)02-0045-03

2015-10-28

薛真（1992 -），女，河北人，碩士研究生，研究方向?yàn)橐曈X測量與分析。