常 江，秦品樂，韓雪濤，武曉娟

(1.中北大學(xué)計(jì)算機(jī)與控制工程學(xué)院，山西太原030051;2.山西省國稅局信息中心，山西太原030051)

一種加入標(biāo)志識別的圖像拼接技術(shù)

常 江1，秦品樂1，韓雪濤1，武曉娟2

(1.中北大學(xué)計(jì)算機(jī)與控制工程學(xué)院，山西太原030051;2.山西省國稅局信息中心，山西太原030051)

圖像拼接過程中，由于兩張圖片曝光度和拍攝角度不同，對應(yīng)匹配區(qū)域無法正確識別，進(jìn)而導(dǎo)致圖像融合失敗或者融合時(shí)間過長。針對此問題，利用高斯濾波對圖像平滑處理，起到減少圖像噪聲的作用。此時(shí)，處理后的圖像就不會(huì)因?yàn)槠毓舛鹊扰臄z問題導(dǎo)致特征點(diǎn)配準(zhǔn)出現(xiàn)誤差。此外，針對有明顯相同特征區(qū)域的兩副圖像，提出要標(biāo)志共有區(qū)域，并以此為中心通過距離和角度的關(guān)系進(jìn)行迭代，去除基于尺度不變特征變換(SIFT)算法提取的兩副圖像不匹配的特征點(diǎn)，進(jìn)而減少后續(xù)匹配時(shí)間和提高圖像拼接成功率。實(shí)驗(yàn)結(jié)果表明該算法的可行性。

圖像拼接;高斯濾波;尺度不變特征變換;拼接成功率

圖像拼接基本步驟為圖像灰度處理、特征點(diǎn)提取、特征點(diǎn)匹配和圖像融合4部分。應(yīng)用在工業(yè)測量與設(shè)計(jì)、遙感圖像處理，醫(yī)學(xué)圖像處理以及一些視頻監(jiān)控等方面。圖像拼接技術(shù)在歷史上有幾次里程碑式的提高。1981年，由Fischler和Bolles提出了RANSAC(Random Sample Consensus)算法，通過用局外點(diǎn)和局內(nèi)點(diǎn)的概念精簡圖像匹配復(fù)雜度［1］。2004年，英國學(xué)者D.G.Lowe提出SIFT(Scale Invariant Feature Transform)算法，很大程度加快了圖像拼接速度及更形象描述了圖像的區(qū)域特征［2-3］。國內(nèi)外研究學(xué)者同時(shí)又通過各種濾波處理原始圖像，以減少圖像對比度、亮度等對圖像拼接造成的影響，通過研究對噪聲點(diǎn)、不對應(yīng)特征點(diǎn)的去除算法也大大提高了圖像拼接的準(zhǔn)確性和時(shí)效性［4-6］。但是圖像拼接技術(shù)依舊具有局限性。

本文提出的算法在一定條件下可以提高圖像拼接的準(zhǔn)確性和時(shí)效性。首先考慮到照片曝光度和拍攝角度的不同造成兩待拼接圖像共有特征區(qū)域不易匹配，本文采用高斯濾波對圖像平滑處理，并消除一部分噪聲點(diǎn)。其次，本文針對特征點(diǎn)提取后不容易匹配或匹配老失敗的圖像，采取人工相同特征區(qū)域標(biāo)記，并以此為準(zhǔn)通過距離和角度的關(guān)系去除以SIFT算法提取的兩圖不匹配的特征點(diǎn)，減少后續(xù)匹配時(shí)間和提高圖像拼接成功率。

1 圖像匹配預(yù)處理

圖像因?yàn)槠毓舛?、拍攝角度不同會(huì)使圖像在旋轉(zhuǎn)、縮放的狀態(tài)下圖像的亮度和對比度也產(chǎn)生變化。本文采用高斯濾波對圖像進(jìn)行預(yù)處理，使隨機(jī)噪聲較少，提高匹配點(diǎn)的精度和數(shù)量，增強(qiáng)圖像特征信息識別。如圖1、圖2所示。

圖1 高斯濾波對圖像的處理過程

圖2 高斯濾波處理的圖像

本文采用高斯濾波器為［7］

式中:x是到中心點(diǎn)最遠(yuǎn)點(diǎn)的距離;λ是截止波長;?≈0.4。

2 SIFT特征點(diǎn)提取

基于SIFT的算法是基于尺度空間的，對圖像旋轉(zhuǎn)、縮放及其仿射變化的圖形局部保持不變的算法。這種算法可以提取出大量穩(wěn)定的特征點(diǎn)，并且可以保持較高的匹配率。SIFT算法提取特征點(diǎn)，示意圖如圖3所示。

圖3 SIFT算法提取特征點(diǎn)

SIFT算法主要分為3個(gè)部分［8-9］:

1)尺度空間的建立，這一步驟主要是尺度空間建立，并對極值點(diǎn)進(jìn)行檢測和定位，生成特征向量。

2)極值點(diǎn)精確定位。

通過擬合三維二次函數(shù)求極值點(diǎn)的位置和尺度。

將尺度空間函數(shù)D(x，y，σ)展開

對式(3)函數(shù)求導(dǎo)數(shù)，并令其導(dǎo)函數(shù)為零，存在精確極值點(diǎn)位置

3)確定特征點(diǎn)主方向并生成特征點(diǎn)描述符。

點(diǎn)(x，y)的梯度大小及梯度方向如

式中:L為關(guān)鍵點(diǎn)所在尺度。實(shí)際用直方圖統(tǒng)計(jì)領(lǐng)域像素的梯度方向，峰值代表了該特征點(diǎn)的主方向。以坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的主方向，然后以關(guān)鍵點(diǎn)為中心取窗口均勻地分為16個(gè)小塊，在每個(gè)小塊的每隔45°的8個(gè)方向的梯度直方圖繪制各個(gè)方向的累加值，形成種子點(diǎn)。

3 特征點(diǎn)的匹配、篩選和圖像融合

3.1 特征點(diǎn)的基本匹配算法

上述特征點(diǎn)提取后，從待匹配圖像中選擇一個(gè)匹配點(diǎn)，采用優(yōu)先k-d樹查找與該點(diǎn)最近的兩個(gè)點(diǎn)，求通過最近點(diǎn)與次近點(diǎn)與此匹配點(diǎn)距離的比值，如果小于給定閾值，則認(rèn)為最近的點(diǎn)為匹配點(diǎn)。距離計(jì)算公式為

式中:m=(m1，m2，…，mp)和n=(n1，n2，…，np)分別為兩圖像的特征向量。用q=di/di-1表示距離比值。根據(jù)經(jīng)驗(yàn)本文設(shè)定q=0.6。

3.2 RANSAC算法

RANSAC算法是剔除上文中誤匹配點(diǎn)對的算法。該算法的原理是:從上述點(diǎn)對隨機(jī)選擇n個(gè)樣本估計(jì)模型參數(shù)，代入模型加以計(jì)算，把小于閾值的匹配點(diǎn)作為內(nèi)點(diǎn)。重復(fù)C次以上過程，選擇包含內(nèi)點(diǎn)最多的點(diǎn)集并以此計(jì)算模型參數(shù)［10-11］。

估計(jì)次數(shù)C的計(jì)算公式為

式中:經(jīng)過C次至少有一次估計(jì)中的所有數(shù)據(jù)點(diǎn)都是內(nèi)點(diǎn)的概率是p;w為內(nèi)點(diǎn)概率;n為確定模型參數(shù)的最少點(diǎn)數(shù)。

3.3 本文提出的改進(jìn)算法

對于部分待匹配圖像不容易匹配或匹配失敗的問題，本文提出采取人工標(biāo)記相同特征區(qū)域，并以此為準(zhǔn)通過距離和角度的關(guān)系，迭代去除誤匹配點(diǎn)對的算法大大提高了圖像拼接的準(zhǔn)確度，以及加快了圖像拼接的速度。

算法過程如下:

1)從兩圖像特征點(diǎn)集(定義為點(diǎn)集P，點(diǎn)集Q)中標(biāo)志匹配區(qū)域，求此區(qū)域質(zhì)點(diǎn)為p1，q1。

2)求pn∈P到點(diǎn)p1的距離d(pu)，u=1，2，3，…，n-1，然后按照距離d(pu)排序，得到P'S=p1'p2'p3'…pu'。同理，qm∈Q到點(diǎn)q1的距離d(qv)，v=1，2，3，…，m-1，然后按照距離d(qv)排序，得到Q'S=q1'q2'q3'…qv'。

3)作出p1與p2的連線，同時(shí)連接pn∈P和p1的連線，求兩條直線夾角的余弦θ(pu)，u=1，2，3，…，n-3，然后按這個(gè)方向余弦對點(diǎn)進(jìn)行一次排序，得到P″S= p1″p2″p3″…pu″。作出q1與q2的連線，同時(shí)連接qm∈Q和q1的連線，求兩條直線夾角的余弦θ(qv)，v=1，2，3，…，m-3，然后按這個(gè)方向余弦對點(diǎn)進(jìn)行一次排序，得Q″S= q1″q2″q3″…qu″。

4)利用d(pu)，θ(pu)，d(qv)，θ(qv)，對字串P″S和Q″S進(jìn)行匹配。反復(fù)應(yīng)用下面的局部匹配算法:

設(shè)(pu″，qv″)取自{(pi1″，qi1″)，(pi2″，qi2″)，(pi3″，qi3″)，…，(pil″，qil″)}，檢查(pu″，qv″)是否匹配成功，如是，換下一對點(diǎn)。

(2)返回到(1)，所有特征點(diǎn)被檢測完。

3.4 求解變換矩陣

從上述所求匹配點(diǎn)集中選取4個(gè)標(biāo)準(zhǔn)點(diǎn)集，利用下述公式求兩幅圖像的變換矩陣H

式中:m(i，j)，n(i'，j')為正確匹配的點(diǎn)對。

3.5 圖像融合

本文采用加權(quán)平均算法來做圖像融合。設(shè)A(i，j)，B(i，j)是待拼接的兩圖像，C(i，j)是圖像重疊區(qū)域的像素。計(jì)算公式如

式中:l=(i2-i)/(i1-i)，i1＜i＜i2。

4 實(shí)驗(yàn)結(jié)果和分析

本實(shí)驗(yàn)圖像是在自然光環(huán)境下拍攝完成的，來源于實(shí)驗(yàn)樓拍攝的30組840×1 480分辨率的照片。圖像拼接利用 Matlab2013編程，運(yùn)行在配置為 Genuine Intel (R)T1600 CPU 2 GHz和1.87 Gbyte RAM的微機(jī)上。

因?yàn)楦咚篂V波對圖像的處理圖，以及基于SIFT算法的特征點(diǎn)的提取圖已經(jīng)在敘述算法中展示，實(shí)驗(yàn)過程就不再展示。圖5表示原始圖像，圖6表示特征點(diǎn)對匹配圖示，圖7表示融合后圖像。統(tǒng)計(jì)結(jié)果如表1、表2所示。

圖5 原始圖像(截圖)

圖6 特征點(diǎn)對匹配(截圖)

圖7 融合后圖像(截圖)

表1 本文圖像拼接統(tǒng)計(jì)結(jié)果

表2 30對圖像拼接統(tǒng)計(jì)結(jié)果

實(shí)驗(yàn)結(jié)果表明本文算法在處理相同特征區(qū)域可以識別、標(biāo)志的圖像會(huì)比基本算法有更高的成功率，且圖像匹配時(shí)間會(huì)有所縮短。本文通過改進(jìn)算法使符合本算法使用條件下的圖像拼接具有更強(qiáng)的準(zhǔn)確性和高效性，為以后的目標(biāo)識別提供了良好的研究價(jià)值。

5 結(jié)束語

本文首先通過高斯濾波處理圖像，減少圖像噪聲，處理后的圖像也會(huì)減小因曝光度等原因引起的色調(diào)不均的問題。并通過標(biāo)志圖像相同特征區(qū)域，以距離和角度的關(guān)系進(jìn)行迭代，去除兩待拼接圖像的不匹配特征點(diǎn)，得到穩(wěn)定的變換矩陣，并與加權(quán)平均算法得到融合圖像。對于可標(biāo)志局部相同特征的圖像進(jìn)行拼接，本文算法有很高的拼接準(zhǔn)確性和時(shí)效性。

在下一步的研究中，希望可以使本文所用算法有更強(qiáng)的適應(yīng)性。

［1］FISCHLER M，BOLLESR.Random sample consensus:a paradigm for model fitting with application to image analysis and automated cartography［J］.Communications of the ACM，1981(24):381-395.

［2］ LOWE D G.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60(2):91-110.

［3］BAY H，ESS A，TUYTELAARS T，et al.Speeded-up robust features (SURF)［J］.Computer Vision and Image Understanding，2008，110 (3):346-359.

［4］鄒北驥，阮鵬，向遙.一種精確匹配的全景圖自動(dòng)拼接算法［J］.計(jì)算機(jī)工程與科學(xué)，2010，32(8):60-63.

［5］王永明，王貴錦.圖不變性特征與描述［M］.北京:國防工業(yè)出版社，2010.

［6］BROWN M，LOWE DG.Automatic panoramic image stitching using invariant features［J］.International Journal of Computer Vision，2007，4(1):59-73.

［7］石美紅，毛江輝，梁穎，等.一種強(qiáng)高斯噪聲的圖像濾波方法［J］.計(jì)算機(jī)應(yīng)用，2007，27(7):1637-1640.

［8］朱利成，姚明海.基于SIFT算法的目標(biāo)匹配和識別［J］.機(jī)電工程，2009，26(4):73-75.

［9］趙壘，候振杰.一種改進(jìn)的SIFT圖像配準(zhǔn)方法［J］.計(jì)算機(jī)工程，2010，36(12):226-228.

［10］付倩文，何明一，徐晨宇.一種帶預(yù)處理RANSAC圖像拼接算法［J］.電子設(shè)計(jì)工程，2013，21(15):181-186.

［11］BHATTACHARYA P，GAVRI-LOVA M.Improving RANSAC featurematchingwith local topological information［C］//Proc.Ninth International Symposium on Voronoi Diagrams in Science and Engineering.［S.l.］:IEEE Press，2012:17-23.

常 江(1988—)，研究生，主要從事視頻與圖像處理的研究;

秦品樂(1978—)，副教授，博士，主要從事工業(yè)控制與應(yīng)用的研究;

韓學(xué)濤(1989—)，研究生，主要從事動(dòng)態(tài)圖像特征提取的研究;

武曉娟(1982—)，女，中級工程師，碩士，主要從事網(wǎng)絡(luò)安全與視頻監(jiān)督的研究。

Image M osaics Adding Logo Recognition

CHANG Jiang1，QIN Pinle1，HAN Xuetao1，WU Xiaojuan2
(1.North University of China Computer and Control Engineering，Taiyuan 030051，China; 2.Shanxi State Tax Bureau Information Center，Taiyuan 030051，China)

In imagemosaic process，due to the differentexposure and shooting angle of the two pictures，correspondingmatching areas are unable to identify properly，then leading to image fusion failure or long fusion time.Aiming at this problem，Gaussian filter isused for the image smooth processing，playing the role of image noise reduction.At this point，the images after processing，because of shooting problems such as exposure，do not lead to feature pointsmatching error.Besides，in view of two imageswhich have the same characteristic region obviously.In this paper，signing a total area is proposed，iterating as a center through distance and angle，removing themismatched feature points of the two images based on SIFT algorithm，then reducing subsequentmatch time and improving success rate of imagemosaics.The experimental results show the feasibility of the algorithm.

imagemosaic;Gaussian filter;scale invariant feature transform;success rate ofmosaics

TN391

A

?? 盈

2014-03-18

【本文獻(xiàn)信息】常江，秦品樂，韓雪濤，等.一種加入標(biāo)志識別的圖像拼接技術(shù)［J］.電視技術(shù)，2014，38(23).

山西省青年基金項(xiàng)目(201002106-13)