, ,

(西南科技大學 計算機科學與技術(shù)學院,四川 綿陽 621010)

0 引言

隨著圖像處理在工業(yè)領(lǐng)域的應(yīng)用，以計算機視覺為基礎(chǔ)的視覺測量技術(shù)成為機械零件尺寸測量的一種新方式。對大尺寸零件的測量，其尺寸超出圖像采集攝像機的視場范圍，就先利用圖像拼接技術(shù)獲取待測零件的大視角全景圖像。

圖像拼接技術(shù)主要包括圖像配準和圖像融合，核心是圖像配準，即找出待拼接圖像之間重疊區(qū)域及重疊位置。隨著圖像拼接技術(shù)的應(yīng)用，各種圖像配準算法相繼被研究并改進，主要工作圍繞圖像配準的速度、精度、抗干擾性等方面進行。圖像配準方法主要分為基于灰度的配準、基于特征的配準和基于頻域的配準。基于灰度的圖像配準[1-2]是利用數(shù)學方法計算待配準圖像和參考圖像的灰度值差異，分析比較待配準圖像重疊區(qū)域的相似度，求配準參數(shù)來完成圖像的配準，算法簡單，但是容易受到光照的影響，速度比較慢，適用于外形特征和灰度信息豐富的景物圖像?；谔卣鞯膱D像配準方法[3-5]是利用能在一定程度上代表待配準圖像相似性的特征作為配準依據(jù)，確定圖像特征間對應(yīng)關(guān)系，找到待配準圖像間的變換參數(shù)，對待配準圖像對應(yīng)特征區(qū)域進行配準，但是對圖像要求有足夠的特征信息并且特征選取要正確，對噪聲非常敏感?；陬l域的圖像拼接方法[6-7]利用二維傅里葉變換的性質(zhì)，空域上的平移等效于頻域相位的平移。對圖像進行傅里葉變換，將圖像從空間域轉(zhuǎn)換到頻域，再求配準參數(shù)來完成圖像配準。相對自然景物圖像而言，平面鈑金圖像形狀簡單，紋理信息少，灰度信息不豐富，特征點少，對比分析基于圖像灰度和基于特征匹配的圖像拼接算法，發(fā)現(xiàn)難以從圖像灰度信息和特征點兩個角度實現(xiàn)鈑金圖像拼接。為了實現(xiàn)形狀簡單、紋理信息少、特征點稀少、輪廓比較對稱的鈑金圖像拼接，提出了一種在待拼接鈑金零件圖像中選擇包含重疊部分的等大小區(qū)域作為待配準區(qū)域，對待配準區(qū)域提取輪廓，然后對輪廓圖利用相位相關(guān)法求待配準區(qū)域的配準參數(shù)，再根據(jù)待配準區(qū)域圖像與待拼接圖像的坐標關(guān)系轉(zhuǎn)換求待拼接零件圖像的配準參數(shù)對圖像進行配準，再使用漸入漸出融合算法消除拼接縫隙，實現(xiàn)鈑金零件圖像拼接的方法。

1 圖像拼接流程

不同的圖像拼接方法具體步驟可能不同，但基本流程是一致的，主要包括3個重要步驟：圖像預(yù)處理、圖像配準和圖像融合，核心的部分是圖像配準技術(shù)，拼接基本流程圖如圖1所示。

圖1 圖像拼接算法基本流程圖

圖像預(yù)處理主要是為圖像配準做準備工作，如對待拼接圖像進行幾何畸變校正及噪聲抑制，降低圖像配準難度，提高圖像配準精度，減少誤匹配。圖像預(yù)處理主要包括圖像處理的基本操作(如圖像平滑濾波，直方圖處理、圖像投影、圖像去噪、圖像修正等)、對圖像進行某種變換(如傅里葉變換，小波變換等)、圖像特征提取等操作。由于圖像配準的準確度決定圖像拼接的質(zhì)量，所以圖像配準是圖像拼接技術(shù)的核心，旨在找到參考圖像和待拼接圖像之間重疊區(qū)域及重疊部分的位置，然后確定一種最能描述待拼接圖像之間映射關(guān)系的變換模型，再將從不同視角、不同傳感器或不同時間獲取的同一場景的兩幅或多幅圖像統(tǒng)一到同一坐標系下，完成待拼接圖像之間的對齊。圖像融合是圖像拼接的主要目的是保證待拼接圖像之間重疊區(qū)域連續(xù)和沒有可見的縫合線。由于采集的圖像可能存在灰度、視野、光照的差異，使重疊區(qū)域在兩幅或多幅圖像中有較大的差異，根據(jù)配準參數(shù)進行簡單的圖像疊加拼接后的圖像容易出現(xiàn)明顯的拼接縫隙和重合區(qū)域模糊的問題，所以需要綜合多幅原圖像的有用信息，對配準后的圖像進行圖像融合，實現(xiàn)待拼接圖像的無縫拼接和重疊區(qū)域平滑過渡。

2 基于輪廓相位相關(guān)法的圖像配準

2.1 相位相關(guān)法基本原理

圖像拼接技術(shù)的3個重要步驟，主要針對圖像配準這一核心步驟進行研究，一些機器視覺測量應(yīng)用中，成像系統(tǒng)有嚴格的運動要求且只存在簡單的水平和垂直方向的平移運動。由于平面鈑金圖像形狀簡單，特征點少，灰度信息不豐富，輪廓比較對稱，所以選擇基于相位相關(guān)法來實現(xiàn)鈑金圖像拼接。相位相關(guān)法[8-10]是基于頻域圖像配準的常用算法，該算法理論依據(jù)是二維傅里葉變換的平移性質(zhì)，即信號在空間域上的平移等效于頻域相位的平移。相位相關(guān)法利用圖像互功率譜中的相位信息求配準參數(shù)，算法描述如下：

設(shè)空間域兩幅待拼接的圖像f1(x,y)和f2(x,y)，f2(x,y)在f1(x,y)的基礎(chǔ)上存在平移量(x0,y0)，滿足公式(1)：

f2(x,y)=f1(x-x0,y-y0)

(1)

設(shè)圖像f1(x,y)和f2(x,y)對應(yīng)的傅里葉變換分別為F1(u,v)和F2(u,v)，對公式(1)兩端做傅里葉變換，得到公式(2):

F2(u,v)=e-j2π(ux0+vy0)*F1(u,v)

(2)

由上式可得到，待拼接圖像f1(x,y)和f2(x,y)在頻域中幅值相同，相位不同。F1和F2之間的相位差可以等效為互功率譜的相位，它們之間的互功率譜為F1(u,v)F2*(u,v)，*表示共軛，對其歸一化互功率譜得到公式(3)：

(3)

對公式(3)進行傅里葉逆變換，得到公式(4)：

δ(x-x0,y-y0)

(4)

δ(x-x0,y-y0)是二維脈沖函數(shù)，是在平移運動坐標上的脈沖，在δ函數(shù)中搜索脈沖峰值，其對應(yīng)的就是δ(x-x0,y-y0)處的值，x0和和y0即為兩幅圖像間的水平和垂直平移量。

相位相關(guān)法的優(yōu)點是算法簡單，不受圖像亮度變化的影響，運行速度快，具有一定的抗干擾能力。缺點是待拼接圖像重疊區(qū)域比較小時，容易造成誤匹配，對有一半左右的重疊區(qū)域的待配準圖像有比較好的效果。所以采集的鈑金圖像重合度最好在1/2-2/3范圍，同時由于一些鈑金圖像灰度信息不豐富，表面特征稀少，紋理特征少，非重疊區(qū)域相似性明顯，尤其是對輪廓比較對稱的鈑金圖像更是如此，在使用相位相關(guān)法求配準參數(shù)時，可能獲得的脈沖峰值在相似性明顯的非重疊區(qū)域，從而導致誤匹配。如圖2(a)、圖2(b)所示，兩幅圖像重疊部分在中間區(qū)域，但是圖像邊緣的凹槽完全一致，且左圖和右圖非重疊部分在圖像提取輪廓圖后也比較對稱相似，在這種情況下，如果直接對完整圖像利用基于特征點或者相位相關(guān)法，會將左右兩個矩形識別為重疊區(qū)域，如圖3所示。

圖2 原始圖像

圖3 特征點匹配

為了解決形狀簡單、紋理信息少、特征稀少、輪廓比較對稱、非重疊區(qū)域相似度大造成的誤匹配問題，在待拼接的鈑金圖像中，選擇包含重疊區(qū)域的等大小的子圖像作為待配準區(qū)域，對待配準區(qū)域提取輪廓，然后對輪廓圖利用相位相關(guān)法求待配準區(qū)域的配準參數(shù)，再根據(jù)配準區(qū)域圖像與待拼接原始圖像之間的坐標關(guān)系轉(zhuǎn)換求待配準原始圖像的配準參數(shù)。由于輪廓反映灰度相對變化的特征，在圖像信息中相對穩(wěn)定，受光照變化影響相對較小，用來提高相位相關(guān)法的健壯性，所以對待拼接圖像進行輪廓提取，對二值化輪廓圖進行相位相關(guān)計算會得到更好的效果。

2.2 圖像噪聲處理

鈑金零件圖像采集過程中，由于成像系統(tǒng)內(nèi)部干擾和外界環(huán)境的影響，采集的圖像不可避免的含有噪聲，噪聲損害圖像的質(zhì)量。圖像去噪旨在提高圖像質(zhì)量并保留圖像輪廓及邊緣等重要信息，提高人們視覺識別圖像的精確度，為后續(xù)圖像處理提供可靠保證。所以為了避免噪聲影響圖像配準的精確性，從而導致誤匹配，在圖像配準前，選用中值濾波對所選擇的配準區(qū)域進行噪聲濾波。

2.3 基于輪廓的相位相關(guān)算法

本文提出的對鈑金圖像進行圖像拼接的具體算法如下：

(1)圖像采集：采集待拼接鈑金圖像f1(x,y)和f2(x,y)；

(2)區(qū)域選擇：在圖像f1(x,y)中f2(x,y)中選取包含重疊區(qū)域的等大小子圖像作為配準區(qū)域，并記錄其在原始圖像中的坐標，便于后續(xù)坐標轉(zhuǎn)換；

(3)圖像預(yù)處理：對所選取的配準區(qū)域進行噪聲濾波，保護圖像輪廓及邊緣信息；

(4)輪廓提?。簩θピ牒蟮淖訄D像進行輪廓提??；

(5)相位相關(guān)法：對輪廓圖進行相位相關(guān)法，求兩子圖像間的配準參數(shù)；

(6)求原始圖像的配準參數(shù)：根據(jù)子圖像和原始圖像的坐標關(guān)系，將子圖像的配準參數(shù)轉(zhuǎn)換為原始圖像的配準參數(shù)；

(7)圖像融合：重疊區(qū)域的處理，如果直接將待拼接圖像拼接起來或者取兩幅圖像像素的平均值，在重疊區(qū)域會出現(xiàn)明顯的拼接縫隙，影響拼接效果。為了實現(xiàn)重疊區(qū)域平滑過渡，本文采用漸入漸出法對圖像進行融合，漸變因子使用重疊區(qū)域像素與其到重疊區(qū)域邊界的距離設(shè)為d(0?d?1)，待拼接兩幅圖像為f1(x,y)和和和f2(x,y)，拼接后結(jié)果為f(x,y)，則有公式(5)。

(5)

3 實驗結(jié)果及分析

該文在待拼接的鈑金圖像(如圖4所示)中選擇等大小且稍大于重疊區(qū)域的子圖像(如圖5所示)，對子圖像進行輪廓提取獲取子圖像輪廓圖(如圖6所示)，然后對輪廓圖利用相位相關(guān)法求子圖像間的配準參數(shù)，求得配準區(qū)域第二幅圖相對于第一幅圖水平方向左移2.92個像素，垂直方向上移27.27個像素。根據(jù)子圖像和原始圖像坐標關(guān)系轉(zhuǎn)換為待拼接原始圖像間配準參數(shù)，原始待拼接第二幅圖相對于第一幅圖左移177.92個像素，上移27.27個像素。根據(jù)水平方向和垂直方向平移量，以待配準圖像(a)為參考圖像，(b)為待拼接圖像，將待拼接圖像坐標統(tǒng)一到參考圖像(a)的坐標系中，如圖7所示，可以看到圖7重疊區(qū)域有明顯的拼接縫隙，且縫隙兩側(cè)灰度過渡不平滑。為了實現(xiàn)圖像的無縫拼接和重疊區(qū)域的平滑過渡，采用漸入漸出法對重疊區(qū)域進行圖像融合，實現(xiàn)重疊區(qū)域的平滑過渡，如圖8所示。

圖4 待配準圖像

圖5 選擇的配準區(qū)域圖6 配準區(qū)域輪廓圖

圖7 圖像統(tǒng)一坐標系效果圖

圖8 圖像融合效果圖

對待配準圖像加椒鹽噪聲，如圖9所示，利用上述提出的對包含重疊區(qū)域的子圖像采用基于輪廓的相位相關(guān)法求配準參數(shù)，求得配準參數(shù)仍然為第二幅圖相對于第一幅圖左移177.92個像素，上移27.05個像素，再利用漸入漸出法對圖像進行融合消除拼接縫隙和實現(xiàn)重疊區(qū)域的平滑過渡，效果如圖10所示。由于基于相位相關(guān)法的圖像配準被轉(zhuǎn)換為查找歸一化互功率譜的傅里葉反變換的峰值位置，只取互功率譜中的相位信息，相位差對于所有頻率的作用是一樣的，所以相位相關(guān)法適用于含有噪聲或者不同光照條件下獲得的圖像間的配準，具有一定的抗干擾能力。

圖9 原始圖像加椒鹽噪聲效果圖

對待拼接鈑金零件圖像選擇包含重疊區(qū)域的等大小區(qū)域作為待配準區(qū)域，然后分別對待配準區(qū)域圖像的灰度圖和輪廓圖

圖10 原始圖像加椒鹽噪聲后拼接效果圖

利用相位相關(guān)法求配準參數(shù)，并轉(zhuǎn)換為完整圖像之間的配準參數(shù)，進行對比，如表1所示。

通過對上述實驗結(jié)果分析總結(jié)可以得出，對輪廓圖進行相位相關(guān)法求圖像配準參數(shù)比直接對灰度圖進行相位相關(guān)法求配準參數(shù)更加準確，耗時更少，具有比較好的拼接效果，抗干擾能力強。

4 結(jié)論

對圖像拼接關(guān)鍵技術(shù)圖像配準和圖像融合進行研究，對特征點比較少、形狀簡單，紋理結(jié)構(gòu)單一，灰度信息不豐富、輪廓比較對稱的鈑金零件圖像直接利用基于灰度和基于特征點的方法求配準參數(shù)，會導致匹配結(jié)果存在大量的誤匹配，不能得到正確的拼接結(jié)果。實驗結(jié)果表明在待拼接鈑金零件圖像中選擇合適的配準區(qū)域并提取輪廓圖，再利用相位相關(guān)法對輪廓圖求配準參數(shù)，可以有效避免輪廓比較對稱、非重疊區(qū)域相似性明顯的現(xiàn)象，得到比較準確的配準參數(shù)，速度快，具有一定的抗干擾能力和魯棒性，實現(xiàn)正確拼接，穩(wěn)定性比較好。

[1] 張建華. 基于灰度的模板匹配算法研究[D]. 呼和浩特：內(nèi)蒙古農(nóng)業(yè)大學, 2013.

[2] 李厚君. 快速模板匹配方法及其在眉毛識別中的應(yīng)用[D]. 北京：北京工業(yè)大學, 2015.

[3] 汪 松. 在圖像配準中基于點特征的匹配算法[D]. 鄭州：鄭州大學, 2015.

[4] Harris C. A combined corner and edge detector[J]. Proc Alvey Vision Conf, 1988,1988(3):147-151.

[5] Shao M, Shi P, Gu X, et al. An automatic image mosaic algorithm based on SURF detector[J]. Proceedings of Spie the International Society for Optical Engineering, 2011,8009(14):1309-1311.

[6] Kuglin C D. The phase correlation image alignment method[J]. Proc.intl Conf.cybernetics & Society, 1975:163-165.

[7] Zitová B, Flusser J. Image registration methods: a survey[J]. Image & Vision Computing, 2003,21(11):977-1000.

[8] Douini Y, Riffi J, Mahraz A M, et al. An image registration algorithm based on phase correlation and the classical Lucas-Kanade technique[J]. Signal Image & Video Processing, 2017(11):1-8.

[9] 周美麗, 白宗文, 延小進. 基于相位相關(guān)法的圖像拼接系統(tǒng)設(shè)計[J]. 國外電子測量技術(shù), 2015(5):31-33.

[10] 王瑞瑞, 馮伍法, 張 艷, 等. 一種結(jié)合相位相關(guān)法和AKAZE算法的紋理缺乏地區(qū)影像匹配技術(shù)[J]. 測繪通報, 2017(4):49-52.