郭鵬霞，馮沖，薛嚴(yán)冰，徐丹丹

(1. 大連交通大學(xué) 電氣信息學(xué)院，遼寧 大連 116028；2. 大連民族大學(xué) 信息與通信工程學(xué)院,遼寧 大連 116000；3. 大連理工大學(xué) 電子科學(xué)與技術(shù)博士后流動(dòng)站，遼寧 大連 116000)*

0　引言

在工業(yè)實(shí)際焊錫膏質(zhì)量檢測(cè)應(yīng)用中，通過普通的相機(jī)來獲取大范圍的PCB圖像時(shí)，要調(diào)節(jié)相機(jī)的焦距來達(dá)到目的，這樣做的缺點(diǎn)是全景圖像的分辨率相對(duì)較低.而且，當(dāng)PCB與相機(jī)間距固定時(shí)，也存在無法用一張照片把大尺寸的PCB圖拍攝下來的情況.雖然有專門的拍攝全景圖像的硬件設(shè)備，但是這些設(shè)備昂貴，使用不方便，而且廣角鏡頭獲得的照片邊緣會(huì)發(fā)生扭曲變形.為了獲得高分辨率的大范圍的全景PCB圖像，研究者提出了圖像拼接技術(shù).圖像拼接就是把數(shù)張有重疊部分的圖像拼接成一幅大型的沒有縫隙、高分辨率的圖像.目前,對(duì)全景圖像拼接技術(shù)的基本理論、性能評(píng)價(jià)和工程的實(shí)際應(yīng)用等問題的研究已成為國(guó)內(nèi)外學(xué)者關(guān)注的熱點(diǎn)課題之一[1].

全景圖像拼接作為新興的技術(shù)，短短幾年就得到了快速的發(fā)展，并已應(yīng)用于諸多領(lǐng)域，具有很高的實(shí)用價(jià)值.因此，對(duì)圖像拼接技術(shù)的研究具有非常重要的意義[2].實(shí)現(xiàn)圖像拼接有很多工具，比如常見的有MATLAB、Opencv、Halcon等處理軟件.Halcon軟件是由德國(guó)MVTec公司所研發(fā)的一個(gè)功能強(qiáng)大機(jī)器視覺軟件，在工業(yè)領(lǐng)域應(yīng)用廣泛.它提供了數(shù)學(xué)形態(tài)學(xué)、分類器、幾何變換、模式匹配、Blob分析、圖像標(biāo)定、三維視覺、圖像拼接等算子，本文采用Halcon軟件來進(jìn)行研究.在圖像拼接部分已有多種方法實(shí)現(xiàn)其結(jié)果.2011年2月譚杰、王殊軼等人[3]提出基于Halcon的圖像拼接算法研究；2016年2月薛真、項(xiàng)輝宇[4]提出一種用于工件視覺測(cè)量的圖像拼接方法的研究；2017年2月李明穎、王偉等人[5]提出基于Halcon圖像拼接技術(shù)在工件測(cè)量中的應(yīng)用研究.但是這些研究都是單一的拼接方法的研究，并沒有對(duì)幾種拼接方法的比對(duì).本文以兩幅分場(chǎng)景PCB圖作為拼接對(duì)象，研究了三種不同的圖像拼接方法，其結(jié)果通過與標(biāo)準(zhǔn)圖進(jìn)行比對(duì)，對(duì)三種圖像拼接方法的結(jié)果進(jìn)行了質(zhì)量評(píng)價(jià)，綜合考慮得出方法一在可接受的時(shí)間范圍內(nèi)，可以有較好的拼接效果.

1　圖像拼接的方法

圖像拼接的基本步驟流程如圖1所示.該流程可分為三個(gè)模塊：圖像的預(yù)處理、特征點(diǎn)的提取和拼接實(shí)現(xiàn).其中圖像預(yù)處理模塊包括圖像采集和幾何校正.拼接實(shí)現(xiàn)作為關(guān)鍵環(huán)節(jié)，主要工作是根據(jù)提取的有效興趣點(diǎn)建立投影矩陣，然后利用矩陣關(guān)系實(shí)現(xiàn)圖像的拼接.針對(duì)每個(gè)模塊，Halcon軟件都提供了不同的算子.本文中圖像預(yù)處理部分和興趣點(diǎn)檢測(cè)部分均采用相同的算子實(shí)現(xiàn)，重點(diǎn)對(duì)圖像拼接實(shí)現(xiàn)方法這一關(guān)鍵環(huán)節(jié)采用了三種不同方法的相關(guān)算子進(jìn)行拼接實(shí)驗(yàn).

圖1　拼接流程圖

第一種方法利用提取的特征點(diǎn)自動(dòng)建立矩陣關(guān)系，完成圖像的拼接.其中涉及的包括有通過尋找點(diǎn)之間的對(duì)應(yīng)關(guān)系，來計(jì)算兩個(gè)圖像之間的一個(gè)投影變換矩陣的算子proj_match_points_ransac，以及把多幅圖像拼接成一幅圖像的算子gen_projective _mosaic.第二種方法利用提取的興趣點(diǎn)，自動(dòng)建立矩陣關(guān)系，然后合理設(shè)置參數(shù)，執(zhí)行捆綁調(diào)整，完成圖像的拼接.其中涉及的算子有執(zhí)行圖像拼接的捆綁調(diào)整的bundle_adjust_mosaic算子,多幅圖執(zhí)行拼接的算子是gen_bundle_adjust_mosaic.第三種方法首先生成高斯圖像，在每層區(qū)域提取興趣點(diǎn)，建立矩陣關(guān)系，完成圖像的拼接.其中涉及的算子有計(jì)算高斯金字塔的算子gen_gauss_pyramid，通過尋找點(diǎn)之間的對(duì)應(yīng)關(guān)系，來計(jì)算兩個(gè)圖像之間的一個(gè)投影變換矩陣的算子proj_match_points_ransac，多幅圖像拼接成一幅圖像的算子gen_projective _mosaic等算子.

2　圖像拼接的實(shí)驗(yàn)

本文需要高分辨率全景圖做參考對(duì)象來評(píng)判拼接結(jié)果的質(zhì)量，因此選擇兩幅有重合部分的PCB圖作為實(shí)驗(yàn)拼接用圖，如圖2(a)，以標(biāo)準(zhǔn)PCB圖(圖2(b))作全景圖進(jìn)行拼接質(zhì)量評(píng)價(jià).

圖2　Lena實(shí)驗(yàn)圖

2.1　圖像的預(yù)處理

由圖1的流程可看出，圖像預(yù)處理分為獲取圖像和圖像幾何校正兩個(gè)部分.在圖像獲取部分，Halcon軟件可以直接通過助手選項(xiàng)中的Image Acquisition來獲取圖像所在的文件夾來獲取圖片，也可以直接調(diào)用read_image算子來獲取待拼接圖像.本文是通過read_image算子獲取圖像.由于在采集圖像的過程中，采集設(shè)備具有非線性因素，或者因?yàn)榕臄z角度不同，導(dǎo)致生成的圖像會(huì)發(fā)生幾何失真現(xiàn)象.所以需要對(duì)失真的圖像進(jìn)行幾何校正，以提高圖像拼接后續(xù)環(huán)節(jié)的匹配精度.

Halcon機(jī)器視覺軟件在幾何校正的過程是:第一步是獲取相機(jī)的相關(guān)部分參數(shù)，緊接著利用算子change_radial_distortion_cam_par根據(jù)指定的徑向變形來確定相機(jī)新的相關(guān)的參數(shù).最后一步是通過change_radial_distortion_image算子來改變圖像的徑向失真.

2.2　圖像特征點(diǎn)檢測(cè)

特征點(diǎn)[6]本質(zhì)就是一幅圖像內(nèi)灰度在水平和垂直方向都有顯著變化的一類特殊點(diǎn)，其有信息量小，信息含量高的特點(diǎn).常用的提取算子特征點(diǎn)有Moravec算子、Forstner算子、Harris算子等.由于Harris算子提取的特征點(diǎn)均勻而且合理,在紋理信息豐富的區(qū)域中,Harris算子可以提取出大量有用的特征點(diǎn)；同時(shí)Harris算子中只用到灰度的一階差分以及濾波[7],操作簡(jiǎn)單且計(jì)算過程中只涉及到了圖像的一階導(dǎo)數(shù),對(duì)角點(diǎn)的提取也比較穩(wěn)定.

Harris算子是Harris和Stephens提出[8]的一種基于信號(hào)的角點(diǎn)特征提取算子，其可以表示為：

(1)

式中，M表示相關(guān)矩陣，I為x方向的差分，Iy為y方向的差分，ω(x,y)為高斯函數(shù).

R=det(M)-k(traceM)2

(2)

式(2)是來進(jìn)行角點(diǎn)的判斷.Det為該矩陣的行列式，trace是其矩陣的秩，k是常數(shù)，通常取為0.04～0.06，本文取0.04.

因此介于上述介紹的優(yōu)點(diǎn)，本文在Halcon軟件中直接調(diào)用points_harris算子就可以對(duì)待拼接圖像提取特征點(diǎn).

2.3　圖像拼接的實(shí)驗(yàn)

在圖像拼接的實(shí)現(xiàn)部分是根據(jù)已提取的興趣點(diǎn)，利用不同算子自動(dòng)建立相應(yīng)的投影矩陣，最后生成全景圖像.該部分基于點(diǎn)匹配的剛體配準(zhǔn)方法[9]是使用最多的空間配準(zhǔn)方法.其中Halcon是由1000個(gè)獨(dú)立的函數(shù)，算子即其與相關(guān)的算法相結(jié)合.因此可以認(rèn)為不同算子的使用，就代表著采用了不用的算法.本文采用了三種方法的實(shí)現(xiàn)過程：

方法一：首先通過算子points_harris提取興趣點(diǎn)，為了能夠清晰的可以看到兩個(gè)圖像的興趣點(diǎn)，用gen_cross_contour_xld算子生成一個(gè)XLD輪廓交叉的形狀來標(biāo)注圖像內(nèi)的每一個(gè)興趣點(diǎn).然后通過算子proj_match_points_ransac找到兩圖興趣點(diǎn)之間的對(duì)應(yīng)關(guān)系，來計(jì)算兩個(gè)圖像之間的投影矩陣，下一步通過concat_obj算子把兩個(gè)標(biāo)志性的數(shù)組連接起來，最后利用gen_projective_mosaic算子把兩幅圖生成一幅圖像.實(shí)驗(yàn)拼接結(jié)果如圖3(a).

方法二：同樣利用points_harris算子來提取興趣點(diǎn)，然后通過proj_match_points_ransacs算子得到兩圖像之間的投影變換矩陣，接下來利用bundle_adjust_mosaic算子根據(jù)圖像的特點(diǎn)設(shè)置該算子合理的參數(shù)來執(zhí)行圖像拼接的捆綁調(diào)整，在該算子參數(shù)里投影變換類型設(shè)置為剛體變化模型.最后通過gen_bundle_adjust_mosaic算子把兩圖像拼接成一幅圖.實(shí)驗(yàn)拼接結(jié)果如圖3(b).

方法三：在這種方法中，使用一個(gè)圖像金字塔來計(jì)算兩個(gè)圖像之間的投影變化.首先利用gen_gauss_pyramid算子生成高斯金字塔，每層都通過points_harris來提取圖像的特征點(diǎn)，在最高的金字塔層，用proj_mathc_points_ransac算子來得到圖像之間的投影變換矩陣，而在較低水平的金字塔層，使用從上層近似投影，用proj_match_points _ransac_guided算子通過投影變換矩陣的已知近似點(diǎn)之間的對(duì)應(yīng)關(guān)系計(jì)算兩個(gè)圖像之間的對(duì)應(yīng)關(guān)系，并求出兩個(gè)圖像之間的一個(gè)投影變換矩陣.本文的圖像的點(diǎn)之間建立的變換模型都是剛體變換，所以要把該變換通過算子vector_to_rigid強(qiáng)行轉(zhuǎn)換成剛體變換.在這種情況下，值得注意的是用proj_match_points_ ransac_ guided算子所得到的轉(zhuǎn)化結(jié)果是被忽略的.所以要用于下一個(gè)較低的金字塔級(jí)，因此該投影矩陣只能通過hom_mat2d_ scale _local、hom_mat2d_scale算子調(diào)整到新規(guī)模尺寸的大小.最后利用gen_projective_mosaic算子把兩圖像拼接成一幅圖像.實(shí)驗(yàn)拼接結(jié)果如圖3(c).

(a) 方法一

(b) 方法二

(c) 方法三

對(duì)圖3的結(jié)果直觀觀測(cè)可發(fā)現(xiàn)，圖3(b)和圖3(c)稍微有些許瑕疵，圖3(a)的細(xì)節(jié)相對(duì)較好，但是這只是主觀臆斷.靠人眼是無法客觀評(píng)價(jià)拼接方法的效果，因此需要研究客觀評(píng)價(jià)圖像拼接質(zhì)量的方法.

3　圖像拼接評(píng)價(jià)分析與結(jié)果

圖像拼接多種方法的實(shí)驗(yàn)結(jié)果目測(cè)是比較理想的，為了指出一種合理圖像拼接方法，要引進(jìn)圖像拼接結(jié)果評(píng)價(jià)的概念.目前常用并且典型的評(píng)價(jià)方法有：基于像素誤差信息的PSNR[10]、基于結(jié)構(gòu)相似度的SSIM[11]方法和DoEM評(píng)價(jià)方法[12]等.文獻(xiàn)[12]表明三種方法比較可得DoEM方法能有較好的結(jié)果，相對(duì)更好地能體現(xiàn)出實(shí)際主觀感受.所以本文采取DoEM方法來對(duì)拼接結(jié)果做出評(píng)價(jià).

3.1　DoEM圖像拼接評(píng)價(jià)方法

DoEM的基本思想是把圖像像素信息的統(tǒng)計(jì)與結(jié)構(gòu)信息的相似性原理相結(jié)合，并利用邊緣輪廓圖像，對(duì)其差分譜信息進(jìn)行統(tǒng)計(jì)，進(jìn)而對(duì)圖像拼接質(zhì)量進(jìn)行評(píng)價(jià).大致可以分為三個(gè)步驟:

(1)圖像邊緣檢測(cè)；

(2)構(gòu)建圖像邊緣差分譜；

首先獲得邊緣的差分譜，然后用權(quán)值矩陣對(duì)差分譜進(jìn)行加權(quán)處理.其中涉及到的權(quán)值矩陣元素的取值范圍為0～1，并且越靠近拼接圖像重疊區(qū)域的邊界其取值越大.

(3)統(tǒng)計(jì)差分譜信息并計(jì)算評(píng)分；

是否存在錯(cuò)位和亮度過渡是影響圖像拼接質(zhì)量的兩個(gè)主要因素.而邊緣差分譜的均值和方差與決定圖像拼接質(zhì)量的兩個(gè)因素存在正相關(guān)的關(guān)系.DoEM 是檢測(cè)邊界區(qū)域差分譜的亮度均值，并將其與整體的均值相比，利用比值來判斷亮暗突變是否占據(jù)質(zhì)量評(píng)價(jià)主導(dǎo)地位.DoEM在計(jì)算評(píng)分時(shí)，亮度突變和錯(cuò)位因素的評(píng)價(jià)所占比重隨著差分譜的方差變化動(dòng)態(tài)進(jìn)行調(diào)整.主觀評(píng)價(jià)曲線形狀呈現(xiàn)墨西哥草帽型，經(jīng)過曲線函數(shù)模擬以及大量仿真修正，得到具體計(jì)算公式如下 ：

(3)

定義評(píng)分因素比重為 ：

(4)

其中，C1、C2、C3、C4分別為 4 個(gè)常數(shù)值，C1、C2是通過評(píng)分隨著邊緣差分譜的均值變化的相關(guān)程度而確定；C3、C4所在項(xiàng)為類正態(tài)分布曲線.μe為邊緣差分譜過渡區(qū)域邊界區(qū)均值，μa為過渡區(qū)域整體均值，σ2為過渡區(qū)域整體方差.

3.2　圖像拼接評(píng)價(jià)數(shù)據(jù)結(jié)果

本文通過時(shí)間、興趣點(diǎn)的個(gè)數(shù)，以及DoEM方法來評(píng)價(jià)這三種不同角度的方法的情況，圖4是評(píng)價(jià)結(jié)果.

(a) 拼接時(shí)間

(b) 興趣點(diǎn)

(c) DoEM評(píng)分

從圖4(a)中可以看出，在拼接時(shí)間上，方法一耗時(shí)最長(zhǎng)，為5.19 s,方法二耗時(shí)最短，為3.57s，方法三耗時(shí)4.52 s.圖4(b)中可以看出，方法一提取的興趣點(diǎn)數(shù)目為148個(gè)，方法二提取興趣點(diǎn)數(shù)為138個(gè)，方法一略比方法二數(shù)目多10個(gè).方法三提取了280個(gè)興趣點(diǎn)，興趣點(diǎn)數(shù)約為其它兩種方法的二倍.對(duì)于DoEM評(píng)分而言，方法一為0.926 0，方法二為0.810 6，方法三為0.763 5，由此看出方法一的評(píng)分是最好的，方法二居中，方法三的評(píng)分結(jié)果最差.綜合考慮，在實(shí)現(xiàn)兩幅圖拼接的過程中，方法一在較少匹配點(diǎn)數(shù)的條件下，匹配結(jié)果最好，同時(shí)拼接時(shí)間也在可接受的范圍內(nèi)，是拼接效果最佳的一種方法.

4　結(jié)論

本文針對(duì)如何獲得大范圍、高分辨率的全景PCB圖片這一問題，利用Halocn機(jī)器視覺軟件研究了三種不同的圖像拼接方法，通過匹配的興趣點(diǎn)數(shù)目、時(shí)間、DoEM評(píng)分對(duì)拼接結(jié)果進(jìn)行了評(píng)價(jià)，客觀、準(zhǔn)確地反映了拼接圖像的真實(shí)質(zhì)量和所使用圖像拼接算法的性能.通過本文Halcon軟件實(shí)驗(yàn)的研究表明，基于兩幅PCB圖的拼接而言，可以得出在本文研究的三種方法中，方法一綜合評(píng)價(jià)結(jié)果最好，可適用于兩幅不同圖像的全景拼接中.

參考文獻(xiàn):

[1] 余讓明 ,安維勝.基于特征的全景圖像拼接技術(shù)研究[D].四川:西南交通大學(xué) ,2015.

[2] 姜小會(huì),陳清奎.基于特征點(diǎn)的圖像拼接技術(shù)研究[D].山東:山東建筑大學(xué),2015.

[3] 譚杰，王殊軼.基于Halcon的圖像拼接算法研究[J].微電子學(xué)與計(jì)算機(jī)，2011,28(12):184-188.

[4] 薛真,項(xiàng)輝宇.一種用于工件視覺測(cè)量的圖像拼接方法的研究[J].制造業(yè)自動(dòng)化,2016,38(2):45-47.

[5] 李明穎,王偉.基于Halcon圖像拼接技術(shù)在工件測(cè)量中的應(yīng)用研究[J].輕工科技,2017, 219 (2):74-75.

[6] 李曉娟 ,郭玉龍 .圖像拼接技術(shù)研究[D].西安:西安科技大學(xué) ，2007.

[7] SCHMIED C,MOHR R,BUACKHAGE C.Evaluation of Interest Point Detectors[J].International Journal of Computer Vision,2000,37(2):151-172.

[8] HARISS C, STEPHENS M. A combined corner and edge detector[C]. Proceedings 4th Alvey Vision Conference Manchester, 1988,147-151.

[9] 曹彤 ,王碩 ,倪自強(qiáng),等 .基于 SIFT算子的腦立體定向手術(shù)標(biāo)記點(diǎn)自動(dòng)定位方法 [J].高技術(shù)通訊 ,2014, 24 (2):165-170.

[10] HUYNH HU Q, GHANBARI M. Scope of validity of PSNR in image/video quality assessment[J]. Electronics Letters, 2008, 44(13): 800-801.

[11] WANG Z H R, BOVIK A, SHEIKH C. Image quality assessment: From errorvisibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4) :600- 612.

[12] 萬國(guó)挺 ,王俊平 ,李錦,等 .圖像拼接質(zhì)量評(píng)價(jià)方法 [J].通信學(xué)報(bào) ,2013,34(8):76-81.