陳海松，李益民，韓秀清

(深圳職業(yè)技術(shù)學(xué)院 工業(yè)中心，廣東 深圳 518055)

機(jī)器視覺(jué)技術(shù)是精密測(cè)試技術(shù)領(lǐng)域內(nèi)最具有發(fā)展?jié)摿Φ男录夹g(shù)是，它綜合運(yùn)用了電子學(xué)、光學(xué)探測(cè)、圖像處理和計(jì)算機(jī)技術(shù)，將機(jī)器視覺(jué)引入到工業(yè)檢測(cè)中，實(shí)現(xiàn)對(duì)物體的三維尺寸或位置的快速測(cè)量，具有非接觸性、速度快、柔性好等突出優(yōu)點(diǎn)，在現(xiàn)代制造業(yè)中有著重要的應(yīng)用前景。隨著對(duì)測(cè)量精度要求的不斷提高，依靠機(jī)械運(yùn)動(dòng)精度的定位方法已經(jīng)不能滿足要求，而高精度圖像拼接技術(shù)不再依靠機(jī)械運(yùn)動(dòng)的精度，而是利用相鄰圖像重合部分的特征來(lái)確定其相對(duì)位置。這種方法擺脫了機(jī)械精度的限制，使視覺(jué)測(cè)量精度得到了很大的提高[1]。同時(shí)，隨著圖像量測(cè)中對(duì)精度和幅面要求的提高，在同一幅圖像中往往不能同時(shí)滿足兩方面的要求，而可以采用被測(cè)量物體與圖像傳感器相對(duì)運(yùn)動(dòng)的方式，以采集到的多幅圖像為依據(jù)進(jìn)行量測(cè)、縫合和圖像拼接，將所有合并的圖像映射到同一圖像坐標(biāo)系內(nèi)，顯示在同一圖像空間內(nèi)。

1 計(jì)算機(jī)視覺(jué)檢測(cè)系統(tǒng)的組成

計(jì)算機(jī)視覺(jué)檢測(cè)系統(tǒng)按功能主要包含以下幾個(gè)部分：(1)圖像信息獲取模塊；(2)圖像信息處理模塊；(3)系統(tǒng)控制模塊；(4)X-Y運(yùn)動(dòng)載物平臺(tái)模塊。

計(jì)算機(jī)視覺(jué)系統(tǒng)結(jié)構(gòu)框圖如圖1所示。系統(tǒng)的工作過(guò)程：系統(tǒng)控制模塊給X-Y平臺(tái)控制部分的單片機(jī)一個(gè)命令，要求X-Y平臺(tái)移動(dòng)到相應(yīng)的位置，到達(dá)位置后，反饋一個(gè)信號(hào)給系統(tǒng)控制部分，系統(tǒng)控制部分收到信息后與圖像采集模塊和處理模塊通信，完成整個(gè)系統(tǒng)的操作。系統(tǒng)控制模塊與單片機(jī)通過(guò)RS232協(xié)議進(jìn)行通信，而系統(tǒng)控制模塊與圖像采集模塊進(jìn)行通信并且接收?qǐng)D像信息，其計(jì)算機(jī)需要配備專用的圖像采集卡和I/O模塊。在本系統(tǒng)中，圖像采集卡采用的是Cognex MVS-8600，圖像采集卡與相機(jī)通過(guò)專用15芯電纜相連，I/O模塊采用的是基于PCI總線的并行輸入輸出端口。

圖1 系統(tǒng)結(jié)構(gòu)框圖

2 檢測(cè)系統(tǒng)的工作原理

計(jì)算機(jī)視覺(jué)檢測(cè)系統(tǒng)工作流程主要分為圖像信息獲取、圖像信息處理和機(jī)電系統(tǒng)執(zhí)行檢測(cè)結(jié)果三個(gè)部分。另外，根據(jù)系統(tǒng)需要還可以實(shí)時(shí)地通過(guò)人機(jī)界面進(jìn)行參數(shù)設(shè)置和調(diào)整。檢測(cè)系統(tǒng)工作原理圖如圖2所示。系統(tǒng)正常運(yùn)行時(shí)，當(dāng)被檢測(cè)的樣品在檢測(cè)平臺(tái)上裝夾完成后，操作者手動(dòng)向系統(tǒng)輸入開(kāi)始檢測(cè)的指令，系統(tǒng)將首先根據(jù)對(duì)需要采集的圖像參數(shù)的設(shè)置情況進(jìn)行預(yù)計(jì)算，確定圖像采集過(guò)程中平臺(tái)需要定位的位置參數(shù)，然后自動(dòng)移動(dòng)到第一個(gè)圖像采集位置，并向圖像采集模塊發(fā)出就位信號(hào)，圖像采集系統(tǒng)接收到此信號(hào)并對(duì)當(dāng)前視野內(nèi)的圖像進(jìn)行采集，采集完成后向控制器發(fā)出完成圖像采集信號(hào)，平臺(tái)再次運(yùn)動(dòng)到下一個(gè)采集位置。重復(fù)上面的工作，直至所有的圖像采集完成后，系統(tǒng)進(jìn)入圖像處理模塊進(jìn)行處理，根據(jù)得出的檢測(cè)結(jié)果進(jìn)行顯示或者報(bào)警等操作。在整個(gè)操作過(guò)程中，圖像采集模塊和圖像處理模塊還需要連續(xù)地進(jìn)行實(shí)時(shí)圖像監(jiān)視。這一操作只有在圖像采集的瞬時(shí)時(shí)刻才會(huì)暫時(shí)掛起，每完成一次圖像采集操作后，都會(huì)回到圖像的實(shí)時(shí)監(jiān)視界面。

圖2 檢測(cè)系統(tǒng)工作原理圖

2.1 圖像信息獲取和處理模塊設(shè)計(jì)

圖像信息獲取模塊的硬件主要包括視覺(jué)傳感器(CCD攝相機(jī))、光學(xué)鏡頭、光源系統(tǒng)三個(gè)部分，根據(jù)被測(cè)工件特點(diǎn)和檢測(cè)系統(tǒng)要求，合理選擇與搭配這三個(gè)部分是高性能視覺(jué)檢測(cè)系統(tǒng)的前提[2]。此模塊的功能就是按系統(tǒng)控制模塊的指令獲得檢測(cè)系統(tǒng)所需的圖像信息，并以標(biāo)準(zhǔn)的圖像信息格式傳送給圖像信息處理模塊。

圖像信息處理模塊的功能是通過(guò)對(duì)系統(tǒng)獲取的圖像信息進(jìn)行處理得出控制系統(tǒng)所需要的結(jié)果信息。此模塊的核心是圖像信息處理的算法，在本文系統(tǒng)中，采用的是Cognex公司提供的圖像處理算法開(kāi)發(fā)包CVL。

2.2 圖像可拼接性的數(shù)學(xué)驗(yàn)證

圖像的拼接結(jié)果可以看成是全景圖像的部分或者全部，而全景圖像是一種形式的全光函數(shù)，所以圖像的可拼接性論證是基于全光函數(shù)的數(shù)學(xué)理論進(jìn)行的。

全光函數(shù)是一個(gè)7維函數(shù)，其定義為：在任意時(shí)刻t，通過(guò)任意視點(diǎn)(x，y，z)的任意角度(θ，φ)的任意波長(zhǎng) λ的光線的強(qiáng)度 P7=P(x，y，z，θ，φ，λ，t)，所以只要在某一視點(diǎn)采集所有入射光線，記錄全光函數(shù)，就能通過(guò)某種方法構(gòu)造出此場(chǎng)景。在圖像拼接的實(shí)際應(yīng)用中，可以通過(guò)對(duì)圖像采集過(guò)程的約束來(lái)降低全光函數(shù)的維數(shù)。如果在圖像采集過(guò)程中，視點(diǎn)的位置為同一個(gè)，則可以減少由于視點(diǎn)位置變化所引入的三個(gè)變量 (x，y，z)；再對(duì)于同一個(gè)場(chǎng)景具有時(shí)間不變性或在采集的時(shí)刻之間，場(chǎng)景的變化可以忽略，則時(shí)間變量也可以去掉；同樣，波長(zhǎng)也是同一場(chǎng)景中的固定物理量，所以也可以去掉。據(jù)此，全光函數(shù)則可簡(jiǎn)化為一個(gè)二維函數(shù)P2=P(θ，φ)。由此可以看出，只要記錄同一視點(diǎn)的各個(gè)不同的角度的光線信息，據(jù)此構(gòu)造出全景圖像。也就是說(shuō)，可以通過(guò)在同一位置拍攝的不同角度的圖像來(lái)得到一個(gè)完整的全景圖像，這就是進(jìn)行圖像拼接的理論依據(jù)。

2.3 圖像拼接的基本過(guò)程

圖像拼接過(guò)程步驟[3-4]如下：

(1)獲得在同一位置拍攝的具有重疊區(qū)域的兩幅或者更多的圖像。

(2)對(duì)圖像進(jìn)行坐標(biāo)轉(zhuǎn)換，解決相鄰圖像在深度方向上由于圖像采集時(shí)采用不同焦距所帶來(lái)的差異。如果圖像在采集的過(guò)程中所采用的是同一焦距，則可以不進(jìn)行這一步操作[5]。

(3)重疊區(qū)域局部匹配，找出相鄰圖像之間的精確位置關(guān)系。

(4)圖像縫合，根據(jù)第(3)步所得到的相鄰圖像的精確位置關(guān)系，將圖像進(jìn)行合并。

(5)圖像輸出，將所有合并的圖像映射到同一圖像坐標(biāo)系，顯示在同一圖像空間內(nèi)。

在圖像采集的過(guò)程中，為了簡(jiǎn)化圖像坐標(biāo)變換過(guò)程，應(yīng)盡量采用同一焦距進(jìn)行采集。所以，在同一視點(diǎn)所得的圖像在深度方向上不需進(jìn)行校正，如圖3所示。

另外，如圖4所示，在焦距不變的情況下，視點(diǎn)沿一條直線平移，則每次所得圖像平面在同一個(gè)平面內(nèi)，可以得到深度方向不具有差異性的圖像信息。所以圖4所示的情況也不需要進(jìn)行坐標(biāo)變換。圖5所示為同一視點(diǎn)按不同焦距進(jìn)行的拍攝方式，每次的成像平面在不同深度位置上，則需要通過(guò)坐標(biāo)變換進(jìn)行深度方向上的校正。

圖3 同一視點(diǎn)，同一焦距

圖4 視點(diǎn)平移，同一焦距

圖5 同一視點(diǎn)，不同焦距

圖像的局部特征匹配是通過(guò)比對(duì)相鄰兩幅具有重疊區(qū)域的圖像，找到最佳匹配位置，實(shí)際上可以歸結(jié)為如下模式的識(shí)別問(wèn)題：設(shè)相鄰的兩幅圖像中分別包含A、B兩個(gè)相同的區(qū)域，求區(qū)域A相對(duì)于區(qū)域B的準(zhǔn)確位置。常用的算法有：基于塊的匹配、基于比值的匹配以及基于網(wǎng)格的快速匹配。

在這三種算法中，基于塊的匹配算法的精度最高，但計(jì)算量較大，它是取一幅圖像上重疊區(qū)域內(nèi)的一部分作為模板，在另一幅圖像上進(jìn)行匹配，模板的尺寸越大，匹配的精度越高，計(jì)算量也越大，通常在不計(jì)時(shí)間成本的情況下采用該匹配算法?；诒戎档钠ヅ渌惴ㄊ且环N精度比較低的算法，它是取一個(gè)圖像上重疊區(qū)域內(nèi)相隔一定寬度的兩列圖像的灰度比值作為模板，在另一圖像上進(jìn)行匹配，其計(jì)算量相對(duì)于基于塊的匹配有所減少，但仍然很大，并且有大量除法運(yùn)算，其精度也較低?；诰W(wǎng)格的快速匹配方法是基于塊的匹配算法的簡(jiǎn)化算法，包括粗略匹配和精確匹配兩個(gè)匹配過(guò)程。粗略匹配過(guò)程是取較大的步長(zhǎng)，通過(guò)計(jì)算匹配對(duì)應(yīng)點(diǎn)的灰度差的平方和找到大致的匹配位置，然后再使用較小的步長(zhǎng)進(jìn)行匹配，直至補(bǔ)償為零。這種算法在精度方面有所損失，但速度較基于塊的匹配方法有所提高。

得到相鄰圖像的精確匹配位置后，就可將相應(yīng)的圖像重疊部分合并，進(jìn)行圖像的縫合。但如果簡(jiǎn)單地將圖像進(jìn)行合并，會(huì)由于兩幅圖像之間的亮度差異在圖像上顯現(xiàn)出明顯的拼接邊緣，所以要對(duì)圖形拼接部分進(jìn)行灰度的平衡處理，使兩幅圖像得到平滑地過(guò)渡。常用的灰度平衡處理有固定權(quán)重的重疊圖像合并和權(quán)重線性漸變的重疊圖像合并兩種方法。

固定權(quán)重的重疊圖像合并為：

權(quán)重線形漸變的重疊圖像合并為：

其中，INEW、I1、I2分別為合并后的圖像與合并前的左、右兩幅圖像；ω為固定權(quán)重合并方法中圖像I1的固定權(quán)重；N為圖形重疊區(qū)域的寬度，用該區(qū)域內(nèi)像素的列數(shù)表示；n表示當(dāng)前的合并位置，規(guī)定重疊區(qū)域從左到右依次為1～N。

圖像經(jīng)過(guò)縫合后，通常圖像左右兩側(cè)能達(dá)到較好的過(guò)渡效果，但是如果原始圖像之間亮度相差較大，則拼接圖像的亮度會(huì)明顯地分布不均衡。在這種情況下，最好先對(duì)原始圖像進(jìn)行亮度調(diào)節(jié)，觀察兩幅圖像的灰度分布曲線，盡量使其最大值和最小值位于相近的灰度級(jí)附近，這樣拼接后的圖像會(huì)得到較好的整體均衡效果。

2.4 圖像拼接仿真設(shè)計(jì)

圖6是從在同一位置拍攝的兩幅圖像中分別取出的具有重合區(qū)域(重合區(qū)域約為80%)的兩部分，由于是兩次拍攝所得，所以圖像上應(yīng)該存在非零的偏移量，適合于驗(yàn)證上述拼接方法。由于兩幅照片拍攝時(shí)間相距很短，所以圖像的亮度幾乎一致。為了驗(yàn)證在敏感區(qū)域模板配準(zhǔn)過(guò)程中，差異矩陣的灰度均值差方根對(duì)圖像亮度變化的適應(yīng)能力，人為地將圖6(b)中每個(gè)像素提高5個(gè)灰度級(jí)進(jìn)行計(jì)算。

拼接仿真實(shí)驗(yàn)采用Matlab 7.0圖像處理平臺(tái)，分別對(duì)圖像拼接的兩次配準(zhǔn)過(guò)程和圖像的灰度重建過(guò)程編寫(xiě)Matlab函數(shù)實(shí)現(xiàn)，拼接過(guò)程的流程圖如圖7所示。像素級(jí)圖像配準(zhǔn)過(guò)程中，選擇圖6(a)中20×20的矩形區(qū)域作為敏感區(qū)域模板，以圖6(b)中差異矩陣灰度均值差方根取最小值的位置作為最佳配準(zhǔn)位置，Jmin=0.670 3(差異矩陣灰度均值差方根的最小值為0.670 3)。在像素內(nèi)的配準(zhǔn)過(guò)程中，取所得到的極大值位置偏移量序列的平均值，行、列偏移位置分別為0.3和0.45個(gè)像素尺度單位。分別對(duì)相應(yīng)區(qū)域進(jìn)行相應(yīng)的灰度加權(quán)運(yùn)算后得到拼接后的圖像如圖8所示。其中的虛線(左區(qū)域)、實(shí)線(右區(qū)域)線條標(biāo)示了原始圖像所包含的區(qū)域。

圖6 待拼接圖像(左右)拼接

圖7 拼接流程圖

圖8 拼接后的圖像

高精度二維運(yùn)動(dòng)平臺(tái)可以從不同位置對(duì)物體進(jìn)行取像，由圖像處理單元對(duì)圖像實(shí)現(xiàn)高精度拼接后進(jìn)行檢測(cè)和測(cè)量，其拼接過(guò)程由軟件自動(dòng)完成二次精密校準(zhǔn)和雙重加權(quán)圖像重建，圖像的測(cè)量不再依靠平臺(tái)運(yùn)動(dòng)的機(jī)械精度。按圖6所示的流程進(jìn)行圖像拼接就可以得到高精度的拼接圖像，可以滿足大幅面圖像測(cè)量的要求，對(duì)于視覺(jué)測(cè)量過(guò)程中擺脫平臺(tái)的運(yùn)動(dòng)誤差，提高測(cè)量精度具有重要意義。

[1]段峰，王耀南.機(jī)器視覺(jué)技術(shù)及其應(yīng)用綜述[J].自動(dòng)化博覽，2002(3).

[2]王俊杰，劉家茂，胡運(yùn)發(fā)，等.圖像拼接技術(shù)[J].計(jì)算機(jī)科學(xué)，2003(1)：71-74.

[3]趙唯，李端義.基于小波變換與形態(tài)學(xué)的一種邊界重疊圖像的拼接算法[J].微機(jī)發(fā)展，2001(6)：3-6.

[4]BUTALEB A S.Automatic thresholding ofgray-level pictures using two-dimensional entropy[J].Computer Vision Graphics Image Processing， 1989，47：22-32.

[5]Dalsa Inc.CCD image capture technology databook[M].CCD Image Sensors， Waterloo， Ontario， 1998.