李加亮 蔣品群

摘 要：針對(duì)圖像拼接算法存在效率低下、特征點(diǎn)錯(cuò)誤匹配、重影和拼接縫等問(wèn)題，提出一種基于尺度不變特征變換、薄板樣條函數(shù)和冪函數(shù)的圖像拼接方法。該方法通過(guò)對(duì)輸入圖像進(jìn)行采樣匹配，計(jì)算輸入圖像間的點(diǎn)映射關(guān)系和重合區(qū)域，使用點(diǎn)映射關(guān)系對(duì)重合區(qū)域內(nèi)的特征點(diǎn)進(jìn)行定向配準(zhǔn)，利用特征點(diǎn)集合計(jì)算出圖像的局部扭曲模型，使用圖像插值方法對(duì)圖像進(jìn)行變形映射;采用冪函數(shù)權(quán)重模型對(duì)變形圖像中的像素進(jìn)行平滑過(guò)渡，完成圖像拼接。實(shí)驗(yàn)結(jié)果表明，在拼接相同圖像的情況下，所提方法與傳統(tǒng)的尺度不變特征變換算法相比，特征點(diǎn)配準(zhǔn)效率提高了約59.78%，而且得到了更多的特征點(diǎn)對(duì);與經(jīng)典的圖像拼接算法相比，該方法解決了圖像的重影和拼接縫的問(wèn)題，同時(shí)提高了圖像的質(zhì)量評(píng)估指標(biāo)的得分。

關(guān)鍵詞：圖像拼接;多分辨率融合;重影;圖像變形;尺度不變特征變換;權(quán)重

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A

Abstract： An image stitching method based on Scale-Invariant Feature Transform （SIFT）， thin-plate spline function and power function was proposed to solve the problem of low efficiency， mismatching of feature points， ghosting and stitching seam in image stitching algorithm. The point mapping relationship and overlapping area between the images were calculated by sampling and matching the input images. The local distortion model of the image was calculated by the feature point set， and the deformation of the image was completed by image interpolation. The power function weighting model was used to realize smooth transaction of the pixels in the deformed image to complete the image stitching. Experimental results show that the proposed method improves the registration efficiency of the feature points approximately by 59.78% and obtains more pairs of feature points compared to the traditional SIFT algorithm. Moreover， compared with the classical image stitching algorithm， the method solves the problems of image ghosting and stitching seam， and improves the score of image quality evaluation index.Key words： image stitching; multi-resolution fusion; ghosting; image deformation; Scale-Invariant Feature Transform （SIFT）; weight

0 引言

圖像拼接技術(shù)將一組存在重合區(qū)域的圖像融合，得到一幅包含該組圖像信息的新圖像，可分為特征點(diǎn)的配準(zhǔn)、圖像的變形和圖像的融合等過(guò)程。

Lowe[1]結(jié)合高斯濾波器與尺度空間理論，提出了具有較強(qiáng)穩(wěn)定性的尺度不變特征變換（Scale Invariant Feature Transform， SIFT）算法。Bay等[2]使用盒式濾波器代替高斯濾波提出加速穩(wěn)健特征（Speeded Up Robust Features， SURF）算法結(jié)合積分圖簡(jiǎn)化計(jì)算提升了SIFT算法的效率。Rublee等[3]通過(guò)對(duì)尺度不變性的圖像金字塔應(yīng)用角點(diǎn)檢測(cè)，構(gòu)建二進(jìn)制串特征描述符提出了快速指向和旋轉(zhuǎn)二進(jìn)制描述符，提出了快速指向和旋轉(zhuǎn)二進(jìn)制描述符（Oriented fast and Rotated Brief， ORB）算法，提高了特征點(diǎn)的配準(zhǔn)速度，但不具有尺度不變性，且穩(wěn)定性較差。Brown等[4]提出自動(dòng)拼接的算法（AutoStitch）利用全局單應(yīng)性矩陣對(duì)齊圖像，解決了微小視差圖像的拼接問(wèn)題，但無(wú)法處理大視差圖像。Zaragoza等[5]首先將網(wǎng)格優(yōu)化模型引入圖像拼接，提出了盡可能如投影般的圖像拼接（As Projective As Possible image stitching， APAP）對(duì)圖像進(jìn)行網(wǎng)格化，使用局部單應(yīng)性矩陣完成圖像拼接。Lin等[6]使用線性化的單應(yīng)性矩陣控制透視變換的逐漸變化，并采用全局相似變換投影圖像，提出盡可能自然的自適應(yīng)圖像拼接（Adaptive As Natural As Possible image stitching， AANAP），能夠自適應(yīng)確定圖像旋轉(zhuǎn)角度，使拼接圖像更加自然。在拼接有曝光度差異以及較大視差的圖像時(shí)，AutoStitch、APAP和AANAP等算法[4-6]均出現(xiàn)了物體變形、重影與拼接縫等問(wèn)題。

為了解決拼接圖像的過(guò)程中存在的特征點(diǎn)錯(cuò)誤匹配，及拼接結(jié)果中存在重影和拼接縫等拼接痕跡的問(wèn)題，本文提出一種定向配準(zhǔn)特征點(diǎn)與優(yōu)化的變形函數(shù)相結(jié)合的方法使圖像的對(duì)齊更加精確，采用冪函數(shù)權(quán)重模型對(duì)變形圖像的像素進(jìn)行平滑過(guò)渡以消除拼接痕跡的問(wèn)題。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法能有效解決上述問(wèn)題，使拼接圖像更加自然。

[6] LIN C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1155-1163.

[7] BOOKSTEIN F L. Principal warps： thin-plate splines and the decomposition of deformations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1989， 11（6）： 567-585.

[8] SHENG H， LOU C， XU W， et al. A seamless approach to stitching lunar DOMs with TPS[J]. Applied Mathematics & Information Sciences， 2013， 7（2L）： 555-562.

[9] CHEN C， HUNG Y， CHENG J. RANSAC-based DARCES： a new approach to fast automatic registration of partially overlapping range images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1999， 21（11）：1229-1234.

[10] HOSSEIN-NEJAD Z， NASRI M. An adaptive image registration method based on SIFT features and RANSAC transform [J]. Computers & Electrical Engineering， 2017， 62（8）： 524-537.

[11] MEYER C R， BOES J L， KIM B， et al. Demonstration of accuracy and clinical versatility of mutual information for automatic multimodality image fusion using affine and thin-plate spline warped geometric deformations [J]. Medical Image Analysis， 1997， 1（3）： 195-206.

[12] GUO H， HOU Y， ZHAO Y. An image matching algorithm using Thin Plate Splines （TPS） transformation model [J]. International Journal of Simulation Systems， Science and Technology， 2016， 17（8）： No.13.

[13] LI J， WANG Z， LAI S， et al. Parallax-tolerant image stitching based on robust elastic warping [J]. IEEE Transactions on Multimedia， 2018， 20（7）： 1672-1687.

[14] 谷雨，周陽(yáng)，任剛，等.結(jié)合最佳縫合線和多分辨率融合的圖像拼接[J].中國(guó)圖象圖形學(xué)報(bào)，2017（6）：842-851. （GU Y， ZHOU Y， REN G， et al. Image stitching by combining optimal seam and multi-resolution fusion [J]. Journal of Image and Graphics， 2017， 22（6）： 842-851.）.

[15] 瞿中， 喬高元， 林嗣鵬. 一種消除圖像拼接縫和鬼影的快速拼接算法[J]. 計(jì)算機(jī)科學(xué)， 2015， 42（3）： 280-283. （QU Z， QIAO G Y， LIN S P. Fast image stitching algorithm eliminates seam line and ghosting [J]. Computer Science， 2015， 42（3）： 280-283.）.

[16] HORE A， ZIOU D. Image quality metrics： PSNR vs. SSIM [C]// Proceedings of the 20th International Conference on Pattern Recognition. Piscataway： IEEE， 2010： 2366-2369.